搜索引擎優(yōu)化相關(guān)性排名技術(shù)

搜索引擎優(yōu)化相關(guān)性排名技術(shù)

相關(guān)度排序技術(shù)的產(chǎn)生主要是由搜索引擎的特點決定的。首先，現(xiàn)代搜索引擎能夠訪問的Web網(wǎng)頁數(shù)量已經(jīng)達到上十億的規(guī)模，哪怕用戶只是搜索其中很少的一部分內(nèi)容，基于全文搜索技術(shù)的搜索引擎也能返回成千上萬的頁面。即便這些結(jié)果網(wǎng)頁都是用戶所需要的，用戶也沒有可能對所有的網(wǎng)頁瀏覽一遍，所以能夠?qū)⒂脩糇罡信d趣的結(jié)果網(wǎng)頁放于前面，勢必可以增強搜索引擎用戶的滿意度。其次，搜索引擎用戶自身的檢索專業(yè)能力通常很有限，在最為普遍的關(guān)鍵詞檢索行為中，用戶一般只是鍵人幾個詞語。例如，Spink等曾對Excite等搜索引擎的近300位用戶做過實驗調(diào)查，發(fā)現(xiàn)人均輸入的檢索詞為3.34個。國內(nèi)部分學(xué)者也有相似的結(jié)論，發(fā)現(xiàn)90%左右的用戶輸入的中文檢索單字為2～6個，而且2字詞居多，約占58%，其次為4字詞(約占18%)和3字詞(約占14%)。過少的檢索詞事實上無法真正表達用戶的檢索需求，而且用戶通常也不去進行復(fù)雜的邏輯構(gòu)造，只有相當少的用戶進行布爾邏輯檢索、限制性檢索和高級檢索等方法，僅有5.24%的檢索式中包含有布爾邏輯算符。國內(nèi)的部分學(xué)者的研究結(jié)果也表明，約40%的用戶不能正確運用字段檢索或二次檢索，80%左右的用戶不能正確運用高級檢索功能，甚至還發(fā)現(xiàn)用戶缺乏動力去學(xué)習(xí)復(fù)雜的檢索技能，多數(shù)用戶都寄希望于搜索引擎能夠自動地為他們構(gòu)造有效的檢索式。由于缺乏過去聯(lián)機檢索中常常具備的檢索人員，因此，用戶實際的檢索行為與用戶理想的檢索行為存在事實上的差距，檢索結(jié)果的不滿意也是不奇怪的。正是由于這個特點，搜索引擎就必須設(shè)法將用戶最想要的網(wǎng)頁結(jié)果盡可能地放到網(wǎng)頁結(jié)果的前面，這就是網(wǎng)頁相關(guān)度排序算法在搜索引擎中為什么非常重要的原因。現(xiàn)階段的相關(guān)度排序技術(shù)主要有以下幾種：一是基于傳統(tǒng)信息檢索技術(shù)的方式，它主要利用關(guān)鍵詞本身在文檔中的重要程度來對文檔與用戶查詢要求的相關(guān)度做出測量，如利用網(wǎng)頁中關(guān)鍵詞出現(xiàn)的頻率和位置。一般而言，檢索出的網(wǎng)頁文檔中含有的查詢關(guān)鍵詞個數(shù)越多，相關(guān)性越大，并且此關(guān)鍵詞的區(qū)分度越高；同時，查詢關(guān)鍵詞如果出現(xiàn)在諸如標題字段等重要位置上，則比出現(xiàn)在正文的相關(guān)度要大。二是超鏈分析技術(shù)，使用此技術(shù)的代表性搜索引擎有Google和Baidu等。和前者相比，它以網(wǎng)頁被認可的重要程度作為檢索結(jié)果的相關(guān)度排序依據(jù)。從設(shè)計思想上看，它更注重第三方對該網(wǎng)頁的認可，如具有較大鏈入網(wǎng)頁數(shù)的網(wǎng)頁才是得到廣泛認可的重要網(wǎng)頁，而根據(jù)關(guān)鍵詞位置和頻率的傳統(tǒng)方法只是一種網(wǎng)頁自我認可的形式，缺乏客觀性。最后還有一些其他方式，如由用戶自由定義排序規(guī)則的自定義方式。北京大學(xué)的天網(wǎng)FTP搜索引擎就采用這種排序方式，它可以讓用戶選擇諸如時間、大小、穩(wěn)定性和距離等具體排序指標來對結(jié)果網(wǎng)頁進行相關(guān)度排序。再如收費排名模式，它作為搜索引擎的一種主要贏利手段，在具有網(wǎng)絡(luò)門戶特點的大型搜索引擎中廣為使用，但于擔心影響搜索結(jié)果的客觀性，這種方式不是它們的主流排序方式，而僅僅作為一個補充顯示在付費搜索欄目中。相關(guān)度排序技術(shù)主要依賴于超鏈分析技術(shù)實現(xiàn)。超鏈分析技術(shù)可以提供多種功能，其中的主要功能就是解決結(jié)果網(wǎng)頁的相關(guān)度排序問題。它主要是利用網(wǎng)頁間存在的各種超鏈指向，對網(wǎng)頁之間的引用關(guān)系進行分析，依據(jù)網(wǎng)頁鏈人數(shù)的多少計算該網(wǎng)頁的重要度權(quán)值。一般認為，如果A網(wǎng)頁有超鏈指向B網(wǎng)頁，相當于A網(wǎng)頁投了B網(wǎng)頁一票，即A認可了B網(wǎng)頁的重要性。深入理解超鏈分析算法，可以根據(jù)鏈接結(jié)構(gòu)把整個Web網(wǎng)頁文檔集看成一個有向的拓撲圖，其中每個網(wǎng)頁都構(gòu)成圖中的一個結(jié)點，網(wǎng)頁之間的鏈接就構(gòu)成了結(jié)點間的有向邊，按照這個思想，可以根據(jù)每個結(jié)點的出度和入度來評價網(wǎng)頁的重要性。對于超鏈分析技術(shù)，有代表性的算法主要是Page等設(shè)計的PageRank算法和Kleinberg創(chuàng)造的HITS算法。其中，PageRank算法在實際使用中的效果要好于HITS算法，這主要是由于以下原因：首先，PageRank算法可以一次性、脫機且獨立于查詢的對網(wǎng)頁進行預(yù)計算以得到網(wǎng)頁重要度的估計值，然后在具體的用戶查詢中，結(jié)合其他查詢指標值，一起對查詢結(jié)果進行相關(guān)性排序，從而節(jié)省了系統(tǒng)查詢時的運算開銷；其次，PageRank算法是利用整個網(wǎng)頁集合進行計算的，不像HITS