有以下幾種方式可以讓 sogou spider 不抓取你的網(wǎng)站：
1. 使用 robots.txt 文件。在網(wǎng)站根目錄下添加 robots.txt 文件，并加入以下代碼：
User-agent: Sogou
Disallow: /
這將告訴 Sogou 爬蟲不要訪問網(wǎng)站的任何頁面和文件。
2. 使用 meta 標簽。在網(wǎng)站的頭部添加以下 meta 標簽：
這將告訴所有的搜索引擎爬蟲不要索引該網(wǎng)站。
3. 使用 .htaccess 文件。在網(wǎng)站的根目錄中添加以下代碼：
1、網(wǎng)站和頁面權重。質量高，資格老的網(wǎng)站被認為權重比較高，這種網(wǎng)站上的頁面被爬行的深度也會比較高，所以會更多內頁被收錄。2、與首頁點擊距離。一般來說網(wǎng)站上權重最高的是首頁，大部分外部鏈接是指向首頁的，蜘蛛訪問最頻繁的也是首頁。離首頁點擊距離近，頁面權重越高，被蜘蛛爬行的機會也越大。3、導入鏈接。無論是外部鏈接還是同一個網(wǎng)站的內部鏈接，要被蜘蛛抓取，就必須有導入鏈接進入頁面，否則蜘蛛根本沒有機會知道
一般用在網(wǎng)站被掛馬以后，直接訪問沒有問題，可以通過模擬百度或其他搜索引擎來訪問，即可發(fā)現(xiàn)問題。比如下面的例子，直接訪問沒問題，使用模擬搜索引擎訪問即可發(fā)現(xiàn)問題。比如訪問一個針對搜索引擎掛馬的網(wǎng)頁：http://www.zttoten.com/index.php?rmlbgh=cbfmcm&westauditpageinfo=1 [這個地址可能會會失效]，這樣就可以看到被掛馬的情況。（默認情
sogou spider遵守互聯(lián)網(wǎng)meta robots協(xié)議。您可以利用網(wǎng)頁meta的設置，使搜狗顯示只對該網(wǎng)頁建索引，但并不在搜索結果中顯示該網(wǎng)頁的快照。和robots的更新一樣，因為搜索引擎索引數(shù)據(jù)庫的更新需要時間，雖然您已經(jīng)在網(wǎng)頁中通過meta禁止了搜狗在搜索結果中顯示該網(wǎng)頁的快照，但搜狗搜索引擎數(shù)據(jù)庫中如果已經(jīng)建立了網(wǎng)頁索引信息，可能需要二至四周才會在線上生效。
PC端UA為Sogou web spiderSogou inst spiderSogou spider無線端UA為Sogou wap spider來源：搜狗資源平臺
