RobotsMETA標(biāo)簽的寫法
Robots META標(biāo)簽中沒有大小寫之分，name="Robots"表示所有的搜索引擎，可以針對某個(gè)具體搜索引擎寫為name="BaiduSpider"。 content部分有四個(gè)指令選項(xiàng):index、noindex、follow、nofollow，指令間以","分隔。
INDEX 指令告訴搜索機(jī)器人抓取該頁面;
FOLLOW 指令表示搜索機(jī)器人可以沿著該頁面上的鏈接繼續(xù)抓取下去;
Robots Meta標(biāo)簽的缺省值是INDEX和FOLLOW，只有inktomi除外，對于它，缺省值是INDEX,NOFOLLOW。
這樣，一共有四種組合:
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">
<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">
其中
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">可以寫成<META NAME="ROBOTS" CONTENT="ALL">;
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">可以寫成<META NAME="ROBOTS" CONTENT="NONE">
目前看來，絕大多數(shù)的搜索引擎機(jī)器人都遵守robots.txt的規(guī)則，而對于Robots META標(biāo)簽，目前支持的并不多，但是正在逐漸增加，如著名搜索引擎GOOGLE就完全支持，而且GOOGLE還增加了一個(gè)指令"archive"，可以限制GOOGLE是否保留網(wǎng)頁快照。例如:
<META NAME="googlebot" CONTENT="index,follow,noarchive">
表示抓取該站點(diǎn)中頁面并沿著頁面中鏈接抓取，但是不在GOOLGE上保留該頁面的網(wǎng)頁快照。
來源：360站長平臺(tái)
