BaiDuSpider百度蜘蛛占用流量,robots.txt設(shè)置
- 威海Spider 威海Baiduspider
- 1018
注：以下BaiDuSpider等于百度蜘蛛、Googlebot等于google蜘蛛、Sogou Spider等于搜狗蜘蛛
一、問題
因某些原因，搜索引擎蜘蛛抓取網(wǎng)站占用很大流量，如圖：
網(wǎng)站訪問日志也可看見很多蜘蛛爬行記錄。
如果是正常的搜索引擎蜘蛛訪問，不建議對蜘蛛進(jìn)行禁止，否則網(wǎng)站在百度等搜索引擎中的收錄和排名將會丟失，造成客戶流失等損失。可以優(yōu)先考慮升級虛擬主機(jī)型號以獲得更多的流量或升級為云服務(wù)器（不限流量）。
二、認(rèn)識、學(xué)習(xí)
我們知道，搜索引擎都遵守互聯(lián)網(wǎng)robots協(xié)議，可通過robots.txt來進(jìn)行限制。先對robots.txt一些實例說明，然后根據(jù)上面網(wǎng)站情況進(jìn)行規(guī)則設(shè)置，通過上面截圖可以看出BaiDuSpider占用流量非常大，首先在網(wǎng)站跟目錄下面建立一個robots.txt文件。
例1. 禁止所有搜索引擎訪問網(wǎng)站的任何部分
User-agent: *
Disallow: /
例2. 允許所有的robot訪問 (或者也可以建一個空文件 “/robots.txt” file)
User-agent: *
Allow:
例3. 禁止某個搜索引擎的訪問（禁止BaiDuSpider）
User-agent: BaiDuSpider
Disallow: /
例4. 允許某個搜索引擎的訪問
User-agent: Baiduspider
allow:/
例5.禁止二個目錄搜索引擎訪問
User-agent: *
Disallow: /admin/
Disallow: /install/
例6. 僅允許Baiduspider以及Googlebot訪問
User-agent: Baiduspider
Allow: /
User-agent: Googlebot
Allow: /
User-agent: *
Disallow: /
例7. 禁止百度搜索引擎抓取你網(wǎng)站上的所有圖片
User-agent: Baiduspider
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$
三、 問題解決（規(guī)則設(shè)置）
根據(jù)以上實例，經(jīng)過分析網(wǎng)站日志，主要是百度抓取圖片占用了流量，他還有兩個目錄也不希望搜索引擎抓取，設(shè)置規(guī)則如下解決：
User-agent: *
Disallow: /admin/
Disallow: /install/
User-agent: Baiduspider
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$
因為搜索引擎索引數(shù)據(jù)庫的更新需要時間。雖然蜘蛛已經(jīng)停止訪問您網(wǎng)站上的網(wǎng)頁，但百度搜索引擎數(shù)據(jù)庫中已經(jīng)建立的網(wǎng)頁索引信息，可能需要數(shù)月時間才會清除。也就是說設(shè)置限制之后日志還會看見蜘蛛爬行，逐漸會降低抓取直到完全生效，這種問題會持續(xù)一段時間。如果您需要盡快屏蔽，訪問以下幫助中心進(jìn)行投訴，搜索引擎就會較快處理。
如果設(shè)置后無效（或部分蜘蛛不遵守robots協(xié)議，可以用：使用偽靜態(tài)規(guī)則攔截蜘蛛訪問 http://www.west.cn/faq/list.asp?unid=662?。?/p>
四、Baiduspider抓取次數(shù)太多造成的帶寬堵塞，影響網(wǎng)站正常訪問如何解決？
訪問百度站長工具h(yuǎn)ttp://zhanzhang.baidu.com/ ，注冊用戶名登錄，先添加網(wǎng)站通過驗證。
然后到網(wǎng)頁抓取》抓取頻次》當(dāng)前抓取頻次過大如何解決？提示內(nèi)容：
您可以按照如下方法依次進(jìn)行排查及解決頻次過大問題：
1、如果您覺得Baiduspider 抓取了您認(rèn)為的無價值鏈接, 請更新網(wǎng)站robots.txt進(jìn)行屏蔽抓取，然后到robots工具頁面操作生效。
2、如果Baiduspider的抓取影響了您網(wǎng)站的正常訪問，請到抓取頻次上限調(diào)整頁面進(jìn)行抓取頻次上限下調(diào)。
3、若以上方法均不能解決問題，請到反饋中心反饋
建議采用第二個方法，調(diào)整百度抓取頻次上限。以下截圖為“頻次上限調(diào)整頁面”，如影響訪問，可把值適當(dāng)調(diào)整小。
1.png
五、 知識加強(qiáng)
為更詳細(xì)了解蜘蛛爬行原理和robots.txt寫法，建議詳細(xì)閱讀以下標(biāo)準(zhǔn)資料：
其他辦法： 使用偽靜態(tài)規(guī)則攔截蜘蛛訪問 http://www.west.cn/faq/list.asp?unid=662
BaiDuSpider幫助中心 http://www.baidu.com/search/spider.html
Googlebot幫助中心 http://support.google.com/webmasters/bin/answer.py?hl=zh-Hans&answer=182072
Sogou Spider幫助中心 http://www.sogou.com/docs/help/webmasters.htm
Robots.txt 詳細(xì)介紹：http://baike.baidu.com/view/1280732.htm
baidu提供標(biāo)準(zhǔn)robots.txt寫法：http://www.baidu.com/search/robots.html
如果按流程禁止了百度蜘蛛訪問但是仍有百度蜘蛛訪問的，請直接反饋給百度公司調(diào)查處理：
http://tousu.baidu.com/webmaster/suggest#1
http://zhanzhang.baidu.com/feedback/index
來源：西部數(shù)碼
