蜘蛛也稱為機器人，指的是查找引擎運行的核算機程序，沿著頁面上的超鏈接發(fā)現(xiàn)和匍匐更多頁面，抓取頁面內(nèi)容，關(guān)入查找引擎數(shù)據(jù)庫。
蜘蛛程序就是匍匐程序，是查找引擎的一部分，擔任在互聯(lián)網(wǎng)上定位和收這樣可以呼應(yīng)查找者的懇求，成功的查找引擎營銷取決于爬的網(wǎng)頁。
百度spider，也叫"百度蜘蛛"，是百度用于抓取網(wǎng)絡(luò)上的網(wǎng)頁內(nèi)容的爬蟲程序。它會自動搜索網(wǎng)絡(luò)上的網(wǎng)頁，抓取頁面上的關(guān)鍵詞和摘要，并將它們保存在百度的數(shù)據(jù)庫中。百度的蜘蛛不僅可以抓取網(wǎng)頁上的文本信息，還可以抓取網(wǎng)頁上的圖像和多媒體文件，以及網(wǎng)站上的鏈接。百度蜘蛛可以在短時間內(nèi)快速地抓取大量信息，因此十分實用。它也可以抓取動態(tài)網(wǎng)頁內(nèi)容，對網(wǎng)絡(luò)內(nèi)容進行檢索更新，從而搜集到最新最準確的檢索結(jié)果。
Baiduspider遵守互聯(lián)網(wǎng)robots協(xié)議。您可以利用robots.txt文件完全禁止Baiduspider訪問您的網(wǎng)站，或者禁止 Baiduspider訪問您網(wǎng)站上的部分文件。 注意：禁止Baiduspider訪問您的網(wǎng)站，將使您的網(wǎng)站上的網(wǎng)頁，在百度搜索引擎以及所有百度提供搜索引擎服務(wù)的搜索引擎中無法被搜索到。關(guān)于 robots.txt的寫作方法，請參看我們的介紹：robots.txt寫
針對apache、iis6、iis7獨立ip主機屏蔽攔截蜘蛛抓取的方法如下： 1. 在網(wǎng)站根目錄下新建一個robots.txt文件，添加以下代碼： User-agent: * Disallow: / 這樣可以禁止所有蜘蛛抓取你的網(wǎng)站。 2. 在服務(wù)器端安裝mod_security模塊并配置，可以使用以下命令： sudo apt-get install libapache-mod-secu
網(wǎng)站抓取了一些不存在的目錄跟頁面，本站倒是一個都不抓取是怎么回事？微信 懸賞網(wǎng)站抓取了一些不存在的目錄跟頁面，本站倒是一個都不抓取是怎么回事？要如何做才能讓百度來抓取本站頁面，一個多頁了啥都沒抓取，謎一樣。。。以下抓取頁面都不存在，另外網(wǎng)站例如新聞頁面生成的文章在根目錄是沒有的，應(yīng)該是動態(tài)的，這是否導(dǎo)致都不抓取了呢？回答：你確定蜘蛛是真的百度蜘蛛嗎？99.99%的概率是假蜘蛛，不是真的！來源：A5
