要防止所有搜索引擎顯示您網(wǎng)站的快照，請將此元標(biāo)記置入網(wǎng)頁的 <HEAD> 部分:
<meta name="robots" content="noarchive">
要允許其他搜索引擎顯示快照，但僅防止搜索引擎顯示，請使用以下標(biāo)記:
<meta name="Baiduspider" content="noarchive">
來源：360站長平臺
robots.txt是一種存放于網(wǎng)站根目錄下的文本文件，用于告訴搜索引擎的爬蟲（spider），此網(wǎng)站中的哪些內(nèi)容是不應(yīng)被搜索引擎的索引，哪些是可以被索引。通常認(rèn)為，robots.txt文件用來搜索引擎對目標(biāo)網(wǎng)頁的抓取。robots.txt協(xié)議并不是一個規(guī)范，而只是約定俗成的，通常搜索引擎會識別這個文件，但也有一些特殊情況。對于Google來說，使用robots也未必能阻止Google將網(wǎng)址編入索
今天看完一本不錯的書《錦繡藍(lán)圖：怎樣規(guī)劃令人流連忘返的網(wǎng)站》，此書主要針對的是網(wǎng)站規(guī)劃，是很值得信息架構(gòu)師學(xué)習(xí)的一本書，前端設(shè)計和開發(fā)人員也值得一讀。書中講了一些原先令很多人忽視的網(wǎng)站設(shè)計要素，例如“信息架構(gòu)”一章，闡述了“標(biāo)簽”（元數(shù)據(jù)）是組織信息的基礎(chǔ)，讓我對Tags的作用有了新的認(rèn)識，而在“導(dǎo)航之道”一章，闡述了一個簡單的道理：好的頁面導(dǎo)航能讓用戶找到自己想要的東西。關(guān)于導(dǎo)航的設(shè)計，讓我想到
網(wǎng)站誤封Robots該如何處理robots文件是搜索生態(tài)中很重要的一個環(huán)節(jié)，同時也是一個很細(xì)節(jié)的環(huán)節(jié)。在網(wǎng)站運營過程中，很容易忽視robots文件的存在，進(jìn)行錯誤覆蓋或者全部封禁robots，造成不必要損失！如果誤封禁，請及時刪除或修改robots文件，并到百度站長平臺robots工具中進(jìn)行檢測和更新。來源：百度搜索資源平臺
誤區(qū)一:我的網(wǎng)站上的所有文件都需要蜘蛛抓取，那我就沒必要在添加robots.txt文件了。反正如果該文件不存在，所有的搜索蜘蛛將默認(rèn)能夠訪問網(wǎng)站上所有沒有被口令保護(hù)的頁面。每當(dāng)用戶試圖訪問某個不存在的URL時，服務(wù)器都會在日志中記錄404錯誤(無法找到文件)。每當(dāng)搜索蜘蛛來尋找并不存在的robots.txt文件時，服務(wù)器也將在日志中記錄一條404錯誤，所以你應(yīng)該做網(wǎng)站中添加一個robots.txt
