網(wǎng)絡(luò)爬蟲技術(shù)新

1、網(wǎng)絡(luò)爬蟲技術(shù)網(wǎng)絡(luò)機(jī)器人1. 概念：它們是 Web上獨(dú)自運(yùn)行的軟件程序，它們不斷地篩選數(shù)據(jù)，做出自己的決定,能夠使用 Web獲取文本或者進(jìn)行搜索查詢，按部就班地完成各自的任務(wù)。2. 分類：購(gòu)物機(jī)器人、聊天機(jī)器人、搜索機(jī)器人（網(wǎng)絡(luò) 爬蟲）等。搜索引擎1. 概念：從網(wǎng)絡(luò)上獲得 網(wǎng)站網(wǎng)頁資料，能夠建立數(shù)據(jù)庫(kù)并提供查詢的系統(tǒng)。2. 分類（按工作原理 ）:全文搜索引擎、分類目錄。1全文搜索引擎數(shù)據(jù)庫(kù)是依靠網(wǎng)絡(luò)爬蟲通過網(wǎng)絡(luò)上的各種鏈接自動(dòng)獲取大量 網(wǎng)頁信息內(nèi)容，并按一定的規(guī)則分析整理形成的。（百度、Google）2分類目 錄：按 目錄分類 的網(wǎng)站鏈 接列表而 已，通 過人工的 方式收集 整理網(wǎng) 站資料形成的

2、 數(shù)據(jù)庫(kù)。（國(guó)內(nèi)的搜狐）網(wǎng)絡(luò)爬蟲1. 概念：網(wǎng)絡(luò)爬蟲也叫 網(wǎng)絡(luò)蜘蛛，它是一個(gè)按照一定的規(guī)則自動(dòng)提取網(wǎng)頁程序，其會(huì)自動(dòng)的通過網(wǎng)絡(luò)抓 取互聯(lián)網(wǎng)上的網(wǎng)頁，這種技術(shù)一般可能用來檢查你的站點(diǎn)上所有的鏈接是否是都是有 效的。當(dāng)然，更為高級(jí)的技術(shù)是把網(wǎng)頁中的相關(guān)數(shù)據(jù)保存下來，可以成為搜索引擎。搜索引擎使用網(wǎng)絡(luò)爬蟲尋找網(wǎng)絡(luò)內(nèi)容，網(wǎng)絡(luò)上的HTML文檔使用超鏈接連接了起來，就像織成了一張網(wǎng)，網(wǎng)絡(luò)爬蟲也叫網(wǎng)絡(luò)蜘蛛，順著這張網(wǎng)爬行，每到一個(gè)網(wǎng)頁就用抓取程序?qū)⑦@個(gè)網(wǎng)頁抓下來，將內(nèi)容抽取出來，同時(shí)抽取超鏈接，作為進(jìn)一步爬行的線索。網(wǎng)絡(luò)爬蟲 總是要從某個(gè)起點(diǎn)開始爬，這個(gè)起點(diǎn)叫做種子， 你可以告訴它，也可以到一些網(wǎng)址列表網(wǎng)站

3、上獲取。2. 區(qū)別：網(wǎng)絡(luò)爬蟲分類通用爬蟲聚集爬蟲工作原理從一個(gè)或多個(gè)初始網(wǎng)頁的URL開始，獲取初始網(wǎng)頁的 URL，抓取網(wǎng) 頁的同時(shí)，從當(dāng)前網(wǎng)頁提取相關(guān)的 URL放入隊(duì)列中，直到滿足程序的 停止條件。根據(jù)一定的網(wǎng)頁分析算法過濾與主題無 關(guān)的鏈接，保留有用的鏈接 （爬行的范圍 是受控的）放到待抓取的隊(duì)列中，通過一 定的搜索策略從隊(duì)列中選擇下一步要抓 取的URL，重復(fù)以上步驟，直到滿足程 序的停止條件。不同點(diǎn)1. 增加了一些網(wǎng)頁分析算法和網(wǎng)頁搜 索策略2. 對(duì)被爬蟲抓取的網(wǎng)頁將會(huì)被系統(tǒng)存貯，進(jìn)行一定的分析、過濾，并建立索引，以便之后的查詢和檢 索，這一過程所得到的分析結(jié)果還可能對(duì)以后的抓取過程給出反

4、饋和指導(dǎo)。缺點(diǎn)1. 不同領(lǐng)域、不同背景的 用戶有 不冋的檢索目的和需求，通用 搜索引擎所返回的結(jié)果包含 大量用戶不關(guān)心的網(wǎng)頁。2. 通用引擎的目標(biāo)是大的網(wǎng)絡(luò)覆 蓋率。3. 只支持關(guān)鍵字搜索，不支持根據(jù) 語義的搜索。4. 通用搜索引擎對(duì)一些像圖片、音頻等信 息含量密集且具有一 定結(jié)構(gòu)的數(shù)據(jù) 無法獲取。1. 對(duì)抓取目標(biāo)的描述或疋義。2. 對(duì)網(wǎng)頁和數(shù)據(jù)的分析和過濾。3. 對(duì)URL的搜索策略。 以上三個(gè)是需要解決的問題。算法廣度優(yōu)先算法現(xiàn)有聚焦爬蟲對(duì)抓取目標(biāo)的描述可分為基于目標(biāo)網(wǎng)頁特征、基于目標(biāo)數(shù)據(jù)模式和基于領(lǐng)域概念3種。基于目標(biāo)網(wǎng)頁特征的爬蟲所抓取、存儲(chǔ)并索引的對(duì)象一般為網(wǎng)站或網(wǎng)頁。根據(jù)種子樣本獲取

5、方式可分為：（1）預(yù)先給定的初始抓取種子樣本；（2） 預(yù)先給定的網(wǎng)頁分類目錄和與分類目錄對(duì)應(yīng)的種子樣本，如Yahoo!分類結(jié)構(gòu)等；（3）通過用戶行為確定的抓取目標(biāo)樣例，分為：a）用戶瀏覽過程中顯示標(biāo)注的抓取樣本；b）通過用戶日志挖掘得到訪問模式及相關(guān)樣本。其中，網(wǎng)頁特征可以是網(wǎng)頁的內(nèi)容特征，也可以是網(wǎng)頁的鏈接結(jié)構(gòu)特征，等等。3算法/策略名稱網(wǎng)頁分析算法網(wǎng)頁搜索策略分類1 基于網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)1網(wǎng)頁粒度分析算法2網(wǎng)站粒度分析算法3網(wǎng)頁塊粒度分析算法2基于網(wǎng)頁內(nèi)容1針對(duì)以文本和超鏈接為主的 網(wǎng)頁2針對(duì)從結(jié)構(gòu)化的數(shù)據(jù)源動(dòng)態(tài)生 成的網(wǎng)頁。3針對(duì)數(shù)據(jù)介于第一類和第二類 之間3基于用戶訪問行為1.深度優(yōu)先策略

6、2 .廣度優(yōu)先策略3 .取佳優(yōu)先策略一些算法的介紹1網(wǎng)頁分析算法1.1 基于網(wǎng)絡(luò)拓?fù)涞姆治鏊惴ɑ诰W(wǎng)頁之間的鏈接， 通過已知的網(wǎng)頁或數(shù)據(jù)， 來對(duì)與其有直接或間接鏈接關(guān)系的對(duì)象 (可以是網(wǎng)頁或網(wǎng)站等) 作出評(píng)價(jià)的算法。 又分為網(wǎng)頁粒度、 網(wǎng)站粒度和網(wǎng)頁塊粒度這三種。1.1.1網(wǎng)頁(Webpage)粒度的分析算法PageRank和HITS算法是最常見的鏈接分析算法，兩者都是通過對(duì)網(wǎng)頁間鏈接度的遞歸 和規(guī)范化計(jì)算，得到每個(gè)網(wǎng)頁的重要度評(píng)價(jià)。PageRa nk算法雖然考慮了用戶訪問行為的隨機(jī)性和 Sink 網(wǎng)頁的存在，但忽略了絕大多數(shù)用戶訪問時(shí)帶有目的性，即網(wǎng)頁和鏈接與查詢 主題的相關(guān)性。針對(duì)這個(gè)問題

7、， HITS 算法提出了兩個(gè)關(guān)鍵的概念：權(quán)威型網(wǎng)頁(authority )和中心型網(wǎng)頁( hub)?；阪溄拥淖ト〉膯栴}是相關(guān)頁面主題團(tuán)之間的隧道現(xiàn)象， 即很多在抓取路徑上偏離主 題的網(wǎng)頁也指向目標(biāo)網(wǎng)頁，局部評(píng)價(jià)策略中斷了在當(dāng)前路徑上的抓取行為。文獻(xiàn)21提出了一種基于反向鏈接(BackL ink)的分層式上下文模型(Con text Model),用于描述指向目標(biāo) 網(wǎng)頁一定物理跳數(shù)半徑內(nèi)的網(wǎng)頁拓?fù)鋱D的中心 Layer0 為目標(biāo)網(wǎng)頁，將網(wǎng)頁依據(jù)指向目標(biāo)網(wǎng) 頁的物理跳數(shù)進(jìn)行層次劃分,從外層網(wǎng)頁指向內(nèi)層網(wǎng)頁的鏈接稱為反向鏈接。1.1.2 網(wǎng)站粒度的分析算法網(wǎng)站粒度的資源發(fā)現(xiàn)和管理策略也比網(wǎng)頁粒度的更

8、簡(jiǎn)單有效。網(wǎng)站粒度的爬蟲抓取的關(guān)鍵之處在于站點(diǎn)的劃分和站點(diǎn)等級(jí)(SiteRank)的計(jì)算。SiteRank的計(jì)算方法與PageRank類似，但是需要對(duì)網(wǎng)站之間的鏈接作一定程度抽象,并在一定的模型下計(jì)算鏈接的權(quán)重。網(wǎng)站劃分情況分為按域名劃分和按 IP 地址劃分兩種。文獻(xiàn) 18討論了在分布式情況下, 通過對(duì)同一個(gè)域名下不同主機(jī)、服務(wù)器的 IP 地址進(jìn)行站點(diǎn)劃分,構(gòu)造站點(diǎn)圖,利用類似 Pa geRank的方法評(píng)價(jià)SiteRank。同時(shí)，根據(jù)不同文件在各個(gè)站點(diǎn)上的分布情況，構(gòu)造文檔圖， 結(jié)合SiteRank分布式計(jì)算得到 DocRank。文獻(xiàn)18證明，利用分布式的 SiteRank計(jì)算，不僅 大大降低

9、了單機(jī)站點(diǎn)的算法代價(jià), 而且克服了單獨(dú)站點(diǎn)對(duì)整個(gè)網(wǎng)絡(luò)覆蓋率有限的缺點(diǎn)。 附帶 的一個(gè)優(yōu)點(diǎn)是,常見 PageRank 造假難以對(duì) SiteRank 進(jìn)行欺騙。1.1.3 網(wǎng)頁塊粒度的分析算法在一個(gè)頁面中, 往往含有多個(gè)指向其他頁面的鏈接, 這些鏈接中只有一部分是指向主題 相關(guān)網(wǎng)頁的，或根據(jù)網(wǎng)頁的鏈接錨文本表明其具有較高重要性。但是，在PageRank和HITS 算法中,沒有對(duì)這些鏈接作區(qū)分,因此常常給網(wǎng)頁分析帶來廣告等噪聲鏈接的干擾。在網(wǎng) 頁塊級(jí)別 (Block進(jìn)行鏈接分析的算法的基本思想是通過 VIPS 網(wǎng)頁分割算法將網(wǎng)頁分為不同的網(wǎng)頁塊(page block)，然后對(duì)這些網(wǎng)頁塊建立page和

10、block的鏈接矩陣，分別記為Z和X。于是，在page page圖上的網(wǎng)頁塊級(jí)別的 PageRank為W； 在 block圖上的 BlockRank 為。 已經(jīng)有人實(shí)現(xiàn)了塊級(jí)別的PageRank和HITS算法，并通過實(shí)驗(yàn)證明，效率和準(zhǔn)確率都比傳統(tǒng)的對(duì)應(yīng)算法要好。1.2 基于網(wǎng)頁內(nèi)容的網(wǎng)頁分析算法 基于網(wǎng)頁內(nèi)容的分析算法指的是利用網(wǎng)頁內(nèi)容 (文本、 數(shù)據(jù)等資源) 特征進(jìn)行的網(wǎng)頁評(píng) 價(jià)。網(wǎng)頁的內(nèi)容從原來的以超文本為主，發(fā)展到后來動(dòng)態(tài)頁面(或稱為Hidden Web)數(shù)據(jù)為主，后者的數(shù)據(jù)量約為直接可見頁面數(shù)據(jù)(PIW，Publicly Indexable Web)的400500倍。另一方面，多媒體數(shù)

11、據(jù)、 Web Service 等各種網(wǎng)絡(luò)資源形式也日益豐富。因此，基于網(wǎng)頁內(nèi)容的分析算法也從原來的較為單純的文本檢索方法， 發(fā)展為涵蓋網(wǎng)頁數(shù)據(jù)抽取、 機(jī)器學(xué) 習(xí)、數(shù)據(jù)挖掘、 語義理解等多種方法的綜合應(yīng)用。 本節(jié)根據(jù)網(wǎng)頁數(shù)據(jù)形式的不同， 將基于網(wǎng) 頁內(nèi)容的分析算法， 歸納以下三類： 第一種針對(duì)以文本和超鏈接為主的無結(jié)構(gòu)或結(jié)構(gòu)很簡(jiǎn)單 的網(wǎng)頁；第二種針對(duì)從結(jié)構(gòu)化的數(shù)據(jù)源(如RDBMS )動(dòng)態(tài)生成的頁面，其數(shù)據(jù)不能直接批量訪問； 第三種針對(duì)的數(shù)據(jù)界于第一和第二類數(shù)據(jù)之間， 具有較好的結(jié)構(gòu)， 顯示遵循一定模 式或風(fēng)格，且可以直接訪問。1.2.1 基于文本的網(wǎng)頁分析算法1) 純文本分類與聚類算法 很大程度

12、上借用了文本檢索的技術(shù)。 文本分析算法可以快速有效的對(duì)網(wǎng)頁進(jìn)行分類和聚 類，但是由于忽略了網(wǎng)頁間和網(wǎng)頁內(nèi)部的結(jié)構(gòu)信息，很少單獨(dú)使用。2) 超文本分類和聚類算法2> 網(wǎng)頁搜索策略2. 廣度優(yōu)先搜索策略 廣度優(yōu)先搜索策略是指在抓取過程中， 在完成當(dāng)前層次的搜索后， 才進(jìn)行下一層次的搜 索。該算法的設(shè)計(jì)和實(shí)現(xiàn)相對(duì)簡(jiǎn)單。 在目前為覆蓋盡可能多的網(wǎng)頁， 一般使用廣度優(yōu)先搜索 方法。也有很多研究將廣度優(yōu)先搜索策略應(yīng)用于聚焦爬蟲中。 其基本思想是認(rèn)為與初始 URL 在一定鏈接距離內(nèi)的網(wǎng)頁具有主題相關(guān)性的概率很大。 另外一種方法是將廣度優(yōu)先搜索與網(wǎng) 頁過濾技術(shù)結(jié)合使用， 先用廣度優(yōu)先策略抓取網(wǎng)頁， 再將

13、其中無關(guān)的網(wǎng)頁過濾掉。 這些方法 的缺點(diǎn)在于，隨著抓取網(wǎng)頁的增多，大量的無關(guān)網(wǎng)頁將被下載并過濾，算法的效率將變低。2. 最佳優(yōu)先搜索策略 最佳優(yōu)先搜索策略按照一定的網(wǎng)頁分析算法，預(yù)測(cè)候選 URL 與目標(biāo)網(wǎng)頁的相似度，或 與主題的相關(guān)性，并選取評(píng)價(jià)最好的一個(gè)或幾個(gè) URL 進(jìn)行抓取。它只訪問經(jīng)過網(wǎng)頁分析算 法預(yù)測(cè)為 “有用 ”的網(wǎng)頁。存在的一個(gè)問題是， 在爬蟲抓取路徑上的很多相關(guān)網(wǎng)頁可能被忽略， 因?yàn)樽罴褍?yōu)先策略是一種局部最優(yōu)搜索算法。因此需要將最佳優(yōu)先結(jié)合具體的應(yīng)用進(jìn)行改 進(jìn)，以跳出局部最優(yōu)點(diǎn)。 將在第 4 節(jié)中結(jié)合網(wǎng)頁分析算法作具體的討論。 研究表明， 這樣的 閉環(huán)調(diào)整可以將無關(guān)網(wǎng)頁數(shù)量降低

14、 30%90% 。3 搜索引擎原理之網(wǎng)絡(luò)爬蟲是如何工作的？ 在互聯(lián)網(wǎng)中， 網(wǎng)頁之間的鏈接關(guān)系是無規(guī)律的， 它們的關(guān)系非常復(fù)雜。 如果一個(gè)爬蟲從 一個(gè)起點(diǎn)開始爬行， 那么它將會(huì)遇到無數(shù)的分支， 由此生成無數(shù)條的爬行路徑， 如果任期爬 行，就有可能永遠(yuǎn)也爬不到頭， 因此要對(duì)它加以控制， 制定其爬行的規(guī)則。 世界上沒有一種 爬蟲能夠抓取到互聯(lián)網(wǎng)所有的網(wǎng)頁， 所以就要在提高其爬行速度的同時(shí)， 也要提高其爬行網(wǎng) 頁的質(zhì)量。網(wǎng)絡(luò)爬蟲在搜索引擎中占有重要位置， 對(duì)搜索引擎的查全、 查準(zhǔn)都有影響， 決定了搜索 引擎數(shù)據(jù)容量的大小， 而且網(wǎng)絡(luò)爬蟲的好壞之間影響搜索引擎結(jié)果頁中的死鏈接的個(gè)數(shù)。 搜 索引擎爬蟲有深度優(yōu)先策略和廣度優(yōu)先策略，另外， 識(shí)別垃圾網(wǎng)頁， 避免抓取重復(fù)網(wǎng)頁， 也是高性能爬蟲的設(shè)計(jì)目標(biāo)。爬蟲的作用是為了搜索引擎抓取大量的數(shù)據(jù)， 抓取的對(duì)象是整個(gè)互聯(lián)網(wǎng)上的網(wǎng)頁。 爬蟲 程序不可能抓取所有的網(wǎng)頁，因?yàn)樵谧ト〉耐瑫r(shí)，Web 的規(guī)模也在增大，所以一個(gè)好的爬蟲程序一般能夠在短時(shí)間內(nèi)抓取更多的網(wǎng)頁。 一般爬蟲程序的起點(diǎn)都選擇在一個(gè)大型綜合型 的網(wǎng)站，