apache、iis規(guī)則屏蔽攔截蜘蛛抓取
如果您想屏蔽蜘蛛抓取,可以嘗試以下方法:
1. Apache規(guī)則屏蔽攔截蜘蛛抓取
在Apache配置文件(如httpd.conf或.htaccess)中,使用以下規(guī)則來屏蔽蜘蛛抓?。?
```
SetEnvIfNoCase User-Agent "^Mozilla/4.0 \(compatible; MSIE 6.0; Windows NT 5.1; SV1\)$" bad_bot
SetEnvIfNoCase User-Agent "^Mozilla/5.0 \(Windows NT 6.1; WOW64\) AppleWebKit/537.36 \(KHTML, like Gecko\) Chrome/41.0.2272.101 Safari/537.36$" bad_bot
Order Allow,Deny
Allow from All
Deny from env=bad_bot
```
這將屏蔽兩個蜘蛛(IE6和Chrome 41),您可以自行添加其他蜘蛛的規(guī)則。
2. IIS規(guī)則屏蔽攔截蜘蛛抓取
打開IIS管理器,然后在您的網(wǎng)站上右鍵單擊,選擇“添加規(guī)則”。
然后選擇“請求過濾”規(guī)則,并使用以下規(guī)則屏蔽蜘蛛抓?。?
```