robots封禁后,為什么線上結(jié)果沒有立刻消除或百度爬蟲依舊對封禁目錄進行抓?。?/a>
- 威海百度搜索資源平臺 威海百度搜索資源平臺
- 910
您好,網(wǎng)站在設(shè)置robots封禁,您可以使用搜索資源平臺的robots工具進行更新,更新后可以嘗試使用抓取診斷工具進行檢測。 百度在robots封禁后,百度可以保證不再對robots封禁的網(wǎng)站和目錄進行抓取,但無法保證線上結(jié)果會立即消除,線上更新需要一定周期。如您站想快速刪除索引,您可以將域名設(shè)置404狀態(tài),使用死鏈工具進行提交。如問題依舊存在,請進行人工反饋。