禁止收錄機(jī)制
有些時候，站長并不希望某些頁面被抓取和收錄，如付費(fèi)內(nèi)容、測試階段的頁面、復(fù)制內(nèi)容頁面等。網(wǎng)站上不出現(xiàn)鏈接，或者使用JavaScript、Flash鏈接，使用nofollow等方法都不能保證頁面一定不會被收錄。站長自己雖然沒有鏈接到不想被收錄的頁面，其他網(wǎng)站可能由于某種原因出現(xiàn)導(dǎo)入鏈接，導(dǎo)致頁面被收錄。要確保頁面不被收錄，需要使用robots文件或Meta Robots標(biāo)簽。來源：搜外網(wǎng)
Public @ 2017-07-11 16:21:36
