1. 設(shè)置robots.txt文件 在根目錄中建立一個robots.txt文件，設(shè)置禁止百度抓取即可達到屏蔽百度爬蟲的效果，具體設(shè)置內(nèi)容如下： User-agent: Baiduspider Disallow: / 2. 自定義Http請求 百度爬蟲最顯著的特征就是它的User_Agent中包含Baiduspider，一般在Http頭中添加請求頭：X-Baidu-Env：martin-spider可以阻止百度爬蟲。 3. IP偽裝 將服務器IP做轉(zhuǎn)換，將真實的IP改成池外的IP地址，讓百度爬蟲無法訪問。
搜狗暫不對外提供搜狗spider IP列表，但您可以通過DNS反查IP的方式判斷某只spider是否來自搜狗搜索引擎。根據(jù)不同平臺有不同的驗證方法。linux平臺：命令為host ip,如下圖。搜狗spider的hostname以 *.sogou.com格式命名，非 *.sogou.com均為冒充。在windows平臺或者IBM OS/2平臺：命令為nslookup ip，搜狗spider的hos
不要看所謂的IP段，IP也不是一沉不變的，過去開頭有220.181的 大家都知道，但是后面百度方面在不同的城市都建立了更多的服務器，總要有IP的增加，而IP段不可能一直是固定的那幾個。所以單純的以IP段來看，是非常不嚴謹?shù)?。那么如何查看呢？可以使用cmd命令： nslookup IP地址 的方式來進行查看，如果返回的信息中，有百度子域名，那么說明是百度的IP，如果無法返回，或者返回了諸
注：以下BaiDuSpider等于百度蜘蛛、Googlebot等于google蜘蛛、Sogou Spider等于搜狗蜘蛛一、問題因某些原因，搜索引擎蜘蛛抓取網(wǎng)站占用很大流量，如圖：網(wǎng)站訪問日志也可看見很多蜘蛛爬行記錄。如果是正常的搜索引擎蜘蛛訪問，不建議對蜘蛛進行禁止，否則網(wǎng)站在百度等搜索引擎中的收錄和排名將會丟失，造成客戶流失等損失?？梢詢?yōu)先考慮升級虛擬主機型號以獲得更多的流量或升級為云服務器（
PC搜索完整UA：Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）移動搜索完整UA：Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile
