Chrome瀏覽器模擬百度蜘蛛訪問
某些網站可能針對搜索引擎掛馬(百度/360/搜狗等),Chrome瀏覽器可以安裝User-Agent Switcher for Chrome模擬百度蜘蛛來訪問網頁,如果是針對搜索引擎掛馬的就會顯示。
下載蜘蛛模擬軟件,模擬蜘蛛訪問查看非法信息。
準備工作
已經安裝Google Chrome瀏覽器
安裝擴展
訪問 User-AgentSwitcher_1_0_43.crx 并下載這個擴展
按照下圖打開Chrome瀏覽器 - 擴展程序
設置百度蜘蛛
安裝完成在擴展程序頁面可以看到User-Agent Switcher for Chrome點選項
按照如下截圖添加百度蜘蛛(藍色的文字部分)
New User-agent name:baidu
New User-Agent String:Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html;soso;360;sogou)
Group:spider
Append?:Repalce
Indicator Flag:1
測試
安裝擴展后Chrome瀏覽器右上角多出一個小眼睛,點擊小眼睛 - spider - baidu,這樣就可以模擬百度蜘蛛訪問了。
比如訪問一個針對搜索引擎掛馬的網頁:http://www.zttoten.com/index.php?rmlbgh=cbfmcm&westauditpageinfo=1 [這個地址可能會會失效],這樣就可以看到被掛馬的情況。(默認情況下訪問這個地址可能會跳轉到網站首頁。)
注意事項
如果之前已經用正常模式訪問過非法信息網頁,再模擬百度蜘蛛的時候可能會失效,清除下瀏覽器緩存(cookie),然后重新選擇百度蜘蛛訪問非法信息頁面測試。
此方法僅針對搜索引擎掛馬有效,其它掛馬類型并不適用。
來源:西部數(shù)碼