未來SEO也許不用再操心爬行、抓取問題？
- 威海seo專題 威海seo觀點(diǎn)
- 1038
SEO每天一貼很少寫關(guān)于必應(yīng)Bing或雅虎Yahoo!的事，原因顯而易見：他們那可憐的市場(chǎng)份額真不大值得寫。
微軟雖然一直對(duì)搜索不離不棄，投入重金和時(shí)間，但到目前為止，Bing在搜索市場(chǎng)從來都是個(gè)陪襯。Yahoo!就更甭提了，在收購了除Google、Bing以外的所有搜索引擎之后，Yahoo!竟然自廢武功，把自己多年積累、收購的所有搜索技術(shù)徹底放棄了，雅虎網(wǎng)站的搜索功能轉(zhuǎn)為使用Bing的技術(shù) – – 不禁讓人心里嘀咕：確定不是Google臥底干的嗎？一個(gè)最重要的對(duì)手就這么沒了？
不過Bing對(duì)SEO們一直都是挺友好的，而且Bing工程師們給SEO行業(yè)不少很有建設(shè)性的意見。比如，關(guān)于外鏈建設(shè)，我覺得最精彩的一句話就是某位必應(yīng)工程師說的，大意是，最好的外鏈?zhǔn)悄切┠愀静恢榔浯嬖诘耐怄湣?/p>
必應(yīng)大幅提高URL提交限額
一月底Bing站長(zhǎng)博客發(fā)了一篇帖子，表示Bing站長(zhǎng)工具URL提交工具做了升級(jí)，大幅提高站長(zhǎng)可以提交的URL數(shù)目上限，從原來的每天只能提交10個(gè)，每個(gè)月最多50個(gè)，增長(zhǎng)1000倍，現(xiàn)在每天可以提交10，000個(gè)，沒有月上限。唯一的限制是，網(wǎng)站需要在Bing站長(zhǎng)工具注冊(cè)驗(yàn)證180天以上：
Bing提高URL提交上限
帖子還說了很有意思的一段話，如果以后搜索引擎按這個(gè)方向發(fā)展的話，SEO們未來可能不用再操心頁面爬行、抓取的問題了：
We believe that enabling this change will trigger a fundamental shift in the way that search engines, such as Bing, retreive and are notified of new and updated content across the web. Instead of Bing monitoring often RSS and similar feeds or frequently crawling websites to check for new pages, discover content changes and/or new outbound links, websites will notify the Bing directly about relevant URLs changing on their website. This means that eventually search engines can reduce crawling frequency of sites to detect changes and refresh the indexed content.
翻譯過來大意是：
我們相信這個(gè)變化會(huì)引發(fā)搜索引擎發(fā)現(xiàn)及抓取新內(nèi)容（包括新建或更新的內(nèi)容）方式的根本性變革。站長(zhǎng)將可以直接通知Bing網(wǎng)站上有了URL變化，而不需要Bing通過監(jiān)控RSS或頻繁爬行來發(fā)現(xiàn)新頁面。這實(shí)際上意味著搜索引擎在發(fā)現(xiàn)、更新索引內(nèi)容時(shí)，可以降低對(duì)網(wǎng)站的爬行頻率。
內(nèi)容索引不再依靠爬行？
一直以來，我覺得SEO有三大難點(diǎn)：內(nèi)容、內(nèi)部鏈接結(jié)構(gòu)、外鏈建設(shè)。其中，網(wǎng)站內(nèi)部鏈接結(jié)構(gòu)就是要解決搜索引擎有效爬行、抓取的難題，既要抓得全，抓得快，又要避免抓取不必要的內(nèi)容，還得合理分配權(quán)重。越是大站，這個(gè)問題越難完美解決。做過大站的SEO一定都深有體會(huì)，不管怎樣調(diào)整網(wǎng)站結(jié)構(gòu)，都無法做到頁面100%被索引。
必應(yīng)的這篇帖子在告訴SEO們，以后很可能不用擔(dān)心抓取的問題了，有了新頁面，或者舊頁面有了更新，直接提交URL就行了（通過站長(zhǎng)工具或API），不必依靠Bing蜘蛛爬行抓取，實(shí)際上，Bing蜘蛛會(huì)大大減少爬行，卻不耽誤索引新內(nèi)容。
后續(xù)SearchEngineLand對(duì)Bing搜索工程師的訪談證實(shí)，減少爬行，確實(shí)是Bing的目標(biāo)。他們希望未來幾年內(nèi)，Bing不再依靠爬行來發(fā)現(xiàn)新內(nèi)容。Bing認(rèn)為，對(duì)網(wǎng)站爬行的方法低效、費(fèi)資源，不如站長(zhǎng)直接提交內(nèi)容。Bing表示，提交URL是頁面抓取的“很強(qiáng)”的信號(hào)，要想內(nèi)容被快速索引，就趕緊用提交工具吧。
確實(shí)，大型網(wǎng)站，頁面被抓取一遍，可能需要幾個(gè)星期，甚至更長(zhǎng)時(shí)間，那么網(wǎng)站上有新頁面，或老頁面內(nèi)容有更新，要被抓取，也可能會(huì)有幾個(gè)星期的延遲。提交URL是個(gè)更快的方法。
其實(shí)百度早就在做類似的事，在百度資源平臺(tái)提交內(nèi)容是快速抓取新頁面的很好方法，小時(shí)級(jí)收錄確實(shí)可以在幾小時(shí)內(nèi)收錄，有時(shí)幾分鐘就收錄。不過百度資源平臺(tái)提交好像不支持老的但有更新的頁面。
對(duì)SEO行業(yè)的潛在影響
如果Google以后也跟進(jìn)采取這個(gè)方法，可能會(huì)對(duì)SEO行業(yè)產(chǎn)生不小的影響。搜索引擎發(fā)現(xiàn)、抓取、索引新內(nèi)容的方式變得更加簡(jiǎn)單直接，SEO們調(diào)整網(wǎng)站結(jié)構(gòu)的必要性和難度將大大降低。
不過也有潛在問題。比如，黑帽SEO們顯然不會(huì)放過這個(gè)機(jī)會(huì)。以前垃圾內(nèi)容靠爬行被抓取越來越困難，因?yàn)閺囊粋€(gè)頁面到另一個(gè)頁面的爬行就是個(gè)鑒別、過濾的過程。大量主動(dòng)提交垃圾頁面成為可能后，搜索引擎該怎么處理？
再比如，搜索引擎減少爬行，倒是節(jié)省資源了，但老的、不更新的頁面被重新抓取的次數(shù)將大大減少，這會(huì)不會(huì)導(dǎo)致鏈接關(guān)系計(jì)算的不準(zhǔn)確、不及時(shí)？順便提一句，不知道為什么總是有人說鏈接對(duì)排名已經(jīng)不重要了，其實(shí)依然很重要。
SEO的基本方法過去十多年沒有大變化，但SEO依然是個(gè)不斷變化的行業(yè)。
來源：SEO每天一貼 Zac 昝輝
