搜索引擎三段式工作流程總結(jié)

搜索引擎三段式工作流程總結(jié)

現(xiàn)代的大規(guī)模搜索引擎一般采用三段式的工作流程，即：網(wǎng)頁搜集、預(yù)處理、查詢服務(wù)?，F(xiàn)在我對這三點簡單的闡述下：一、網(wǎng)頁搜集搜索引擎是通過爬蟲去搜集互聯(lián)網(wǎng)中的網(wǎng)頁，放入數(shù)據(jù)庫，但是這不可能是用戶提交查詢的時候才去抓取，而是預(yù)先就搜集好一批網(wǎng)頁，可以把WEB上的網(wǎng)頁集合看成是一個有向圖，搜集過程從給定起始URL集合S開始，沿著這些網(wǎng)頁中的鏈接，按照先深或先寬某種策略遍歷，不停的從S中移除URL，下載相應(yīng)的網(wǎng)頁，解析出網(wǎng)頁中的超鏈接URL，看是否已經(jīng)訪問過，或者有未訪問過的那些URL加入集合S。我們這里可以是定期搜集，增量搜集，或者是用戶自主提交的方式進行爬取。并且對這批網(wǎng)頁進行維護。這種維護，是為了能及時發(fā)現(xiàn)網(wǎng)頁的新特征，搜集新的網(wǎng)頁，改變過的網(wǎng)頁，或者已經(jīng)不存在的網(wǎng)頁。二、預(yù)處理預(yù)處理主要包括四個方面：關(guān)鍵詞的提取、鏡像網(wǎng)頁或轉(zhuǎn)載網(wǎng)頁的消除、鏈接分析和網(wǎng)頁重要程度的計算1.關(guān)鍵詞的提取作為預(yù)處理階段的一個基本任務(wù)，就是要提取出網(wǎng)頁源文件的內(nèi)容部分包括的關(guān)鍵詞。對于中文來說，就是根據(jù)一個詞典，用一個所謂的“切詞軟件”，從網(wǎng)頁文字中切除詞典所包含的詞語來，在那之后，一篇網(wǎng)頁主要是由一組詞來代表，p={a，b，c，……d}.一般來講，我們會得到很多詞，同一個詞可能在一篇網(wǎng)頁中出現(xiàn)多次。然后我們要去掉”停用詞“，例如”的，在，是”這一類的詞語。再加以對這些詞的詞頻(TF)和文檔頻率(DF)之類的計算統(tǒng)計，從而指示出詞語在一篇文檔中的相對重要性和某種內(nèi)容的相關(guān)性。2.鏡像或者轉(zhuǎn)載網(wǎng)頁的消除在WEB上，存在著大量的重復(fù)信息，這種信息對于搜索引擎來說可能是負面的，因為需要消耗機器時間和帶寬資源，并且無意義的消耗了計算機顯示屏資源，也可以帶來用戶的抱怨，這么多重復(fù)，給我一個就夠了。所以搜索引擎對于消除這些重復(fù)信息也是預(yù)處理中一個很重要的任務(wù)。3.鏈接分析搜索引擎除了對內(nèi)容進行分析外，并且最重要的還需要對鏈接進行分析，鏈接信息不僅給出了網(wǎng)頁之間的關(guān)系，而且還對判斷網(wǎng)頁的內(nèi)容起到很重要的作用。網(wǎng)頁中的內(nèi)部鏈接和外部鏈接對網(wǎng)站的排序起到了很大的影響。4.網(wǎng)頁重要程度的計算搜索引擎返回給用戶是一個和查詢相關(guān)的結(jié)果列表，列表中的條目順序是很重要的問題。因此搜索引擎必須提供一種統(tǒng)計意義上的排序結(jié)果給用戶，但并不能給所有用戶都能提供滿意的結(jié)果。如何對網(wǎng)頁權(quán)重進行評估，是搜索引擎最需要解決的問題，例如GOOGLE的pr算法，其中思路就是認為“被引用越多的就是重要的”，和HITS算法等等。這些算法，有些在預(yù)處理階段計算，有些則在查詢服務(wù)階段進行計算，從而最終形成最優(yōu)的排序結(jié)果。三、查詢服務(wù)當(dāng)從一個S集合開始，通過預(yù)處理后得到的就是S的一個子集元素的某種內(nèi)部顯示，至少包含幾個方面：原始網(wǎng)頁文檔，URL和標題，編號，所含重要關(guān)鍵詞的集合(包括出現(xiàn)位置)等其他的一些指標。而系統(tǒng)關(guān)鍵詞的總體集合和編號一起構(gòu)成了一個倒排文件結(jié)構(gòu)，使得一旦得到一個關(guān)鍵詞輸入，就立刻能給出相文檔編號的集合輸出。這里主要有三方面的：查詢方式和匹配，結(jié)果排序，文檔摘要。1.查詢方式和匹配用戶一般查詢都是“要什么就輸入什么”，這對于搜索引擎來說，是一種模糊的說法，它可能不知道你真正想要的是什么，所以就是希望網(wǎng)頁中包含有該詞或者短語中的詞，也就對用戶查詢的詞語或短語進行分詞，形成一個q，他的每一個元素都對應(yīng)倒排文件中的一個倒排表，即文檔編號的集合。從而實現(xiàn)了查詢和文檔的匹配。2.結(jié)果排序要想給用戶提供最高質(zhì)量的網(wǎng)頁信