1. 下面是一個拒絕所有機器人訪問的robots.txt： ``` User-agent: * Disallow: / ``` 2. 下面的robots.txt用于阻止百度搜索引擎訪問整個站點： ``` User-agent: Baiduspider Disallow: / ``` 3. 下面的robots.txt文件用于阻止所有搜索引擎訪問以private開頭的任何URL： ``` User-agent: * Disallow: /private/ ```
【Robots簡介】robots.txt是一個協(xié)議，是搜索引擎訪問網(wǎng)站時第一個要查看的文件，它存在的目的是告訴搜索引擎哪些頁面能被抓取，哪些頁面不能被抓取。當(dāng)spider訪問一個站點時，會首先檢查該站點根目錄下是否存在robots.txt，如果存在，spider會按照文件中的內(nèi)容來確定訪問的范圍；如果該文件不存在，所有的spider將能夠訪問網(wǎng)站上所有沒有被口令保護的頁面?！揪唧w介紹】1、User
很多讀者在問，我的博客帖子里面加的內(nèi)部鏈接是怎么弄的？我也發(fā)現(xiàn)有一些朋友把我的博客一些文章排名還不錯，歸功于我博客上的內(nèi)部鏈接。我想這是其中的一個原因。今天就解釋一下，通常我是怎樣在博客帖子里面加站內(nèi)鏈接。首先，要說明的是，博客帖子里面的鏈接完全是人工加上去的就是很老很笨的找到自己博客以前的帖子URL，然后寫帖子時加上去。我做網(wǎng)站通常會比較喜歡這種比較笨的辦法。每個人的特點不同，我是希望做網(wǎng)站時，
名稱 搜索引擎google蜘蛛: googlebot百度蜘蛛:baiduspideryahoo蜘蛛:slurpalexa蜘蛛:ia_archivermsn蜘蛛:msnbotaltavista蜘蛛:scooterlycos蜘蛛: lycos_spider_(t-rex)alltheweb蜘蛛: fast-webcrawler/inktomi蜘蛛: slurp一個在線寫robots.txt的工具。最后
User-agent: *Disallow: .jpg$jpg可以代替為gif，png 等等...來源：360站長平臺
