在上一篇文章中，我們了解了搜索引擎抓取系統(tǒng)的基本組成和流程。本篇文章繼續(xù)介紹搜索引擎抓取系統(tǒng)中的重要概念和技術(shù)。 1. 爬蟲算法 搜索引擎抓取系統(tǒng)中最核心的算法就是爬蟲算法。爬蟲算法是指搜索引擎的爬蟲程序根據(jù)一定的策略從互聯(lián)網(wǎng)上抓取網(wǎng)頁信息的過程。作為搜索引擎的核心技術(shù)之一，爬蟲算法需要具備以下特點(diǎn)： （1）高效性：爬蟲算法需要盡可能快地抓取盡可能多的頁面。 （2）準(zhǔn)確性：爬蟲算法需要準(zhǔn)確
編者按：之前與大家分享了關(guān)于搜索引擎抓取系統(tǒng)中有關(guān)抓取系統(tǒng)基本框架、抓取中涉及的網(wǎng)絡(luò)協(xié)議、抓取的基本過程的內(nèi)容，今天將于大家分享搜索引擎抓取系統(tǒng)第二部分內(nèi)容—spider抓取過程中的策略。spider在抓取過程中面對著復(fù)雜的網(wǎng)絡(luò)環(huán)境，為了使系統(tǒng)可以抓取到盡可能多的有價(jià)值資源并保持系統(tǒng)及實(shí)際環(huán)境中頁面的一致性同時(shí)不給網(wǎng)站體驗(yàn)造成壓力，會設(shè)計(jì)多種復(fù)雜的抓取策略。以下簡單介紹一下抓取過程中涉及到的主要策
編者按：站長朋友們，今后定期都將在這里跟大家分享一些有關(guān)搜索引擎工作原理及網(wǎng)站運(yùn)營相關(guān)的內(nèi)容，今天先簡單介紹一下關(guān)于搜索引擎抓取系統(tǒng)中有關(guān)抓取系統(tǒng)基本框架、抓取中涉及的網(wǎng)絡(luò)協(xié)議、抓取的基本過程三部分。互聯(lián)網(wǎng)信息爆發(fā)式增長，如何有效的獲取并利用這些信息是搜索引擎工作中的首要環(huán)節(jié)。數(shù)據(jù)抓取系統(tǒng)作為整個(gè)搜索系統(tǒng)中的上游，主要負(fù)責(zé)互聯(lián)網(wǎng)信息的搜集、保存、更新環(huán)節(jié)，它像蜘蛛一樣在網(wǎng)絡(luò)間爬來爬去，因此通常會被
