360搜索對Robots協(xié)議的擴展
360搜索根據(jù)站長們的反饋，會陸續(xù)推出擴展的Robots協(xié)議命令。這些命令將能幫助站長們提高和360搜索爬蟲溝通的效率，減少站長們維護Robots協(xié)議文件的技術成本。
360搜索首個擴展命令是：indexpage，站長們可以使用此命令告知360搜索哪些網(wǎng)頁經(jīng)常更新。360搜索會根據(jù)站長的指示以及自己的算法，智能調(diào)整爬蟲抓取頻率，實現(xiàn)對您網(wǎng)站新內(nèi)容的更高頻率抓取。
在命令中可以使用*、$等通配符。
示例：
使用通配符的
Indexpage: http://bbs.360safe.com/forum-*-1.html$
Indexpage: http://ent.sina.com.cn/*/roll.html
不用通配符的：
Indexpage: http://roll.tech.sina.com.cn/internet_all/index.shtml
Indexpage: http://roll.tech.sina.com.cn/it/index.shtml
Indexpage: http://roll.tech.sina.com.cn/tele/index.shtml
Indexpage: http://roll.tech.sina.com.cn/discovery/index.shtml
Indexpage: http://roll.tech.sina.com.cn/elec/index.shtml
Public @ 2019-02-15 16:09:33
