抓取策略--web信息檢索與數(shù)據(jù)抓取-寬度優(yōu)先遍歷--拓展

1、主要內(nèi)容2【主要內(nèi)容】寬度優(yōu)先遍歷策略 【重點(diǎn)與難點(diǎn)】重點(diǎn)：寬度優(yōu)先遍歷策略的基本內(nèi)容 難點(diǎn)：抓取策略在網(wǎng)站數(shù)據(jù)抓取中的實(shí)施3寬度優(yōu)先遍歷策略將新下載網(wǎng)頁(yè)中發(fā)現(xiàn)的鏈接直接插入待抓取URL隊(duì)列的末尾網(wǎng)絡(luò)爬蟲網(wǎng)絡(luò)爬蟲會(huì)先抓取起始網(wǎng)頁(yè)中鏈接的所有網(wǎng)頁(yè)，然后再選擇其中的一個(gè)鏈接網(wǎng)頁(yè)，繼續(xù)抓取在此網(wǎng)頁(yè)中鏈接的所有網(wǎng)頁(yè)。寬度優(yōu)先遍歷策略4寬度優(yōu)先搜索寬度優(yōu)先搜索先搜索完一個(gè)Web 頁(yè)面中所有的超級(jí)鏈接然后再繼續(xù)搜索下一層直到底層為止寬度優(yōu)先遍歷策略5反向鏈接數(shù)反向鏈接數(shù) ：是指一個(gè)網(wǎng)頁(yè)被其他網(wǎng)頁(yè)鏈接指向的數(shù)量,表示的是一個(gè)網(wǎng)頁(yè)的內(nèi)容受到其他人的推薦的程度。網(wǎng)頁(yè)AA-B反向鏈接網(wǎng)頁(yè)CC-B反向鏈接反向鏈接數(shù)

2、反向鏈接數(shù)網(wǎng)頁(yè)的重要程度網(wǎng)頁(yè)的重要程度抓取的先后順序抓取的先后順序?qū)挾葍?yōu)先遍歷策略6選擇其中之一并處理相應(yīng)的HTML文件，然后不再選擇第二個(gè)HTML文件中的任何超鏈返回并選擇第二個(gè)超鏈，處理相應(yīng)的HTML文件再返回，選擇第三個(gè)超鏈并處理相應(yīng)的HTML文件一層上的所有超鏈都己被選擇過(guò)開始在處理過(guò)HTML 文件中搜索其余的超鏈寬度優(yōu)先遍歷策略7寬度優(yōu)先遍歷策略保證了對(duì)淺層的首先處理當(dāng)遇到一個(gè)無(wú)窮盡的深層分支時(shí)不會(huì)導(dǎo)致陷進(jìn)WWW中的深層文檔中出不來(lái)寬度優(yōu)先遍歷策略8理論上理論上無(wú)論是深度優(yōu)先還是廣度優(yōu)先，只要給蜘蛛足夠的時(shí)間，都能爬完整個(gè)互聯(lián)網(wǎng)實(shí)際中實(shí)際中蜘蛛的帶寬資源、時(shí)間都不是無(wú)限的，也不可能爬完所有頁(yè)面。實(shí)際上最大的搜索引擎也只是爬行和收錄了互聯(lián)網(wǎng)的一小部分交流思考題9試述寬度優(yōu)先遍歷策略的優(yōu)缺點(diǎn)寬度優(yōu)先遍歷策略10優(yōu)點(diǎn)優(yōu)點(diǎn)： 保證了對(duì)淺層的首先處理；當(dāng)遇到一個(gè)無(wú)窮盡的深層分支時(shí)，不會(huì)導(dǎo)致陷進(jìn)深層文檔中出不來(lái)；能在兩個(gè)HTML文件之間找到最短路徑，提高搜索效率。缺點(diǎn)缺點(diǎn)： 如果要遍歷一個(gè)指定的站點(diǎn)或者深層嵌套的HTML文件集，需要花費(fèi)比較長(zhǎng)的時(shí)間才能到達(dá)深層的HTML文件1.網(wǎng)絡(luò)數(shù)據(jù)采集 王偉 電子制作 , 2014 (6) :173-1742.WEB數(shù)據(jù)采集系統(tǒng) 百度文庫(kù) 網(wǎng)址：西安網(wǎng)是科技發(fā)展有限公司網(wǎng)站信息采集系統(tǒng)（）3.淺談蜘蛛抓取策略-廣度優(yōu)先和深度優(yōu)先 百度文庫(kù)