百度搜索robots協(xié)議全新升級公告
尊敬的用戶： 為了更好地保護網(wǎng)站主的合法權(quán)益、提升百度搜索用戶搜索體驗，百度搜索于2020年10月27日發(fā)布了新版robots協(xié)議，主要特性包括： 1. 支持抓取控制與數(shù)據(jù)保護視角的并存 新增規(guī)定了兩個特殊的抓取指令： allow-if-previously-blocked 和 noindex-if-previously-indexed，用于方便網(wǎng)站主在控制抓取行為的同時，保護網(wǎng)站內(nèi)容的安全性。 2. 明細化規(guī)范 為了更好地支持抓取控制與數(shù)據(jù)保護視角的并存，新版robots協(xié)議增加了大量規(guī)定，對協(xié)議的細節(jié)進行了明細化，以便網(wǎng)站主使用。 3. 融入網(wǎng)站主實際生活 新版robots協(xié)議進一步增強了其實用性。協(xié)議中包括了比較常用的content-disposition和content-language指令，并對User-agent指令在臨時禁止搜索方面的規(guī)定進行了補充。 4. 增加特殊對待百度機器人的規(guī)定 針對百度搜索所使用的機器人，新版robots協(xié)議增加了特殊規(guī)定，為百度機器人提供更好的抓取引導，以提高搜索結(jié)果的質(zhì)量。 本次robots協(xié)議的升級，將為廣大網(wǎng)站主提供更加豐富的抓取控制功能和更好的搜索體驗，我們誠懇地邀請各位網(wǎng)站主按照新版規(guī)范，完善自身站點的robots協(xié)議文件。 祝愿您的網(wǎng)站越來越優(yōu)秀！ 百度搜索運營團隊 2020年11月4日
