robots.txt文件放在哪里?
robots.txt文件放在哪里?
robots.txt文件應(yīng)該放置在網(wǎng)站根目錄下。舉例來說,當(dāng)spider訪問一個網(wǎng)站(比如 http://www.abc.com)時,首先會檢查該網(wǎng)站中是否存在http://www.abc.com/robots.txt這個文件,如果 Spider找到這個文件,它就會根據(jù)這個文件的內(nèi)容,來確定它訪問權(quán)限的范圍。
網(wǎng)站 URL
相應(yīng)的 robots.txt的 URL
http://www.w3.org/
http://www.w3.org/robots.txt
http://www.w3.org:80/
http://www.w3.org:80/robots.txt
http://www.w3.org:1234/
http://www.w3.org:1234/robots.txt
http://w3.org/
http://w3.org/robots.txt
來源:百度搜索資源平臺 百度搜索學(xué)堂