名稱 搜索引擎
google蜘蛛: googlebot
百度蜘蛛:baiduspider
yahoo蜘蛛:slurp
alexa蜘蛛:ia_archiver
msn蜘蛛:msnbot
altavista蜘蛛:scooter
lycos蜘蛛: lycos_spider_(t-rex)
alltheweb蜘蛛: fast-webcrawler/
inktomi蜘蛛: slurp
一個在線寫robots.txt的工具。
最后需要注意，robots.txt文件名必須是小寫，而且放在網(wǎng)站根目錄
來源：360站長平臺
robots是網(wǎng)站跟爬蟲間的協(xié)議，用簡單直接的txt格式文本方式告訴對應(yīng)的爬蟲被允許的權(quán)限，也就是說robots.txt是搜索引擎中訪問網(wǎng)站的時候要查看的第一個文件。當(dāng)一個搜索蜘蛛訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，搜索機器人就會按照該文件中的內(nèi)容來確定訪問的范圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護的頁面。搜索引擎通過一
設(shè)置搜索robots協(xié)議的后果針對短視頻類內(nèi)容，視頻搜索將不再索引、展現(xiàn)網(wǎng)站的視頻資源，歷史已索引部分會從搜索中屏蔽。若設(shè)置部分目錄不希望被收錄 ，該目錄下內(nèi)容將從搜索中屏蔽，其余內(nèi)容在搜索中則以正常結(jié)果展示。來源：百度搜索資源平臺
什么是robots文件Robots是站點與spider溝通的重要渠道，站點通過robots文件聲明本網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。搜索引擎使用spider程序自動訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息。spider在訪問一個網(wǎng)站時，會首先會檢查該網(wǎng)站的根域下是否有一個叫做 robots.txt的純文本文件，這個文件用于指定spider在您網(wǎng)站上的抓取范圍。您可以在您的網(wǎng)
用幾個最常見的情況，直接舉例說明：1. 允許所有SE收錄本站：robots.txt為空就可以，什么都不要寫。2. 禁止所有SE收錄網(wǎng)站的某些目錄：User-agent: *Disallow: /目錄名1/Disallow: /目錄名2/Disallow: /目錄名3/3. 禁止某個SE收錄本站，例如禁止百度：User-agent: BaiduspiderDisallow: /4. 禁止所有SE收錄
