Google Adsense蜘蛛抓取的網(wǎng)頁(yè)在搜索中出現(xiàn)
前兩天Matt Cutts剛剛證實(shí)，Google Adsense蜘蛛(Mediapartner bot)所抓取的網(wǎng)頁(yè)會(huì)在Google搜索中出現(xiàn)。Matt Cutts說(shuō)這只是一個(gè)節(jié)省帶寬開(kāi)支的手段而已。
由于Google蜘蛛(Googlebot/2.1)所抓取的網(wǎng)站之多和頻率之緊密，他們每天需要使用的帶寬是巨量的。把Adsense蜘蛛所抓取的網(wǎng)站內(nèi)容考慮進(jìn)主搜索引擎中，一定會(huì)節(jié)省大量的帶寬開(kāi)支。
實(shí)際上很多人一直以來(lái)都懷疑，Adsense蜘蛛Mediapartner bot和搜索蜘蛛Googlebot/2.1之間的關(guān)系到底是什么？使用Adsense的網(wǎng)站會(huì)不會(huì)因此更快的被收錄到Google搜索數(shù)據(jù)庫(kù)？會(huì)不會(huì)因?yàn)槭褂肁dsense而提高或降低搜索排名？
在Google的官方網(wǎng)站中，他們明確指出，Adsense蜘蛛與搜索蜘蛛是完全分開(kāi)的，而且Adsense的使用完全不影響網(wǎng)站排名，這兩者之間毫無(wú)關(guān)系。而且在Google內(nèi)部，這兩個(gè)產(chǎn)品是由完全不同的兩個(gè)部門來(lái)處理的。他們之間并不交換任何資料。
但最近有跡象表明，Adsense蜘蛛所抓取的網(wǎng)頁(yè)結(jié)果出現(xiàn)在搜索結(jié)果中。比如Jen注意到，在搜索結(jié)果中出現(xiàn)的網(wǎng)頁(yè)快照時(shí)間與服務(wù)器日志文件中Adsense蜘蛛訪問(wèn)的時(shí)間完全吻合，而不是Google搜索蜘蛛訪問(wèn)的時(shí)間。
還有人在網(wǎng)頁(yè)上檢測(cè)訪問(wèn)的是不是Adsense蜘蛛，如果是Adsense蜘蛛，就會(huì)返回一個(gè)改寫過(guò)的網(wǎng)頁(yè)。結(jié)果發(fā)現(xiàn)，在搜索引擎當(dāng)中網(wǎng)頁(yè)出現(xiàn)了兩個(gè)版本。也就是說(shuō)，搜索蜘蛛和Adsense蜘蛛的網(wǎng)頁(yè)結(jié)果都出現(xiàn)在搜索結(jié)果中，造成了復(fù)制網(wǎng)頁(yè)。
我自己以前也注意到，Adsense蜘蛛至少對(duì)網(wǎng)頁(yè)收錄有影響。記得有一次在做一個(gè)全新網(wǎng)站的時(shí)候，我從其他網(wǎng)站上直接復(fù)制代碼到新網(wǎng)頁(yè)。這段代碼里含有Adsense碼，我忘了刪除。新網(wǎng)站設(shè)計(jì)好后，我上傳網(wǎng)頁(yè)，然后自己看了一下，當(dāng)然Adsense廣告也出現(xiàn)在網(wǎng)頁(yè)上。隨后我把Adsense碼刪除掉。
這個(gè)新的網(wǎng)站沒(méi)有任何導(dǎo)入鏈接，我也沒(méi)有向任何地方登錄，完全是一個(gè)試驗(yàn)性質(zhì)的網(wǎng)站。但不久，網(wǎng)頁(yè)結(jié)果出現(xiàn)在Google搜索中。
Google Adsense蜘蛛所抓取的網(wǎng)頁(yè)會(huì)出現(xiàn)在Google搜索結(jié)果中，對(duì)網(wǎng)站建設(shè)者有什么影響呢？第一，我想給我們的最重要的暗示是：千萬(wàn)不要試圖使用隱藏網(wǎng)頁(yè)技術(shù)（cloaking），也就是當(dāng)Google蜘蛛來(lái)訪問(wèn)時(shí)，給它經(jīng)過(guò)優(yōu)化的版本，當(dāng)普通訪客來(lái)訪時(shí)，給他另外一個(gè)版本。Google完全可以發(fā)出沒(méi)有Google標(biāo)志的蜘蛛來(lái)檢測(cè)這種手段。
實(shí)際上，Google Adsense蜘蛛的標(biāo)志和搜索蜘蛛就不一樣。如果你給這兩個(gè)蜘蛛不同的網(wǎng)頁(yè)內(nèi)容，你的網(wǎng)站就會(huì)造成復(fù)制內(nèi)容網(wǎng)頁(yè)，從而排名被懲罰。
第二： Google Adsense蜘蛛對(duì)排名是否真的沒(méi)有影響，我們需要做更多的測(cè)試才能肯定。
來(lái)源：SEO每天一貼 Zac 昝輝
