淺析搜索引擎的工作原理及檢索技巧

淺析搜索引擎的工作原理及檢索技巧

一、前言隨著Internet的迅速發(fā)展，網(wǎng)上信息正以爆炸性的速度增長，其資源內(nèi)容幾乎涉及所有領域，已經(jīng)成為知識、信息的集合體，是人們獲取信息的基本工具。在Internet網(wǎng)上進行瀏覽和檢索，就好比進入了世界上最大的圖書館，而這個圖書館里的書刊、雜志、廣告、新聞及各種形式的文獻信息全都沒有規(guī)律地排放著，沒有一個中心目錄將這些信息組織起來。正是因為Internet資源既豐富又分散且處于無序狀態(tài)，使得人們在網(wǎng)上查找自己所需的信息并非易事。這時為滿足人眾信息檢索的需求，搜索引擎便應運而生。搜索引擎是指使用某些自動索引軟件來發(fā)現(xiàn)、收集網(wǎng)絡上的信息，然后對收集的網(wǎng)頁進行標引，建立一個可供查詢的大型數(shù)據(jù)庫。二、搜索引擎的工作原理搜索引擎為了以最快的速度得到搜索結果，它搜索的通常是預先整理好的網(wǎng)頁索引數(shù)據(jù)庫。搜索引擎，不能真正理解網(wǎng)頁上的內(nèi)容，它只能機械的匹配網(wǎng)頁上的文字。真正意義上的搜索引擎，通常指的是收集了互聯(lián)網(wǎng)上幾千萬到幾十億個網(wǎng)頁并對網(wǎng)頁中的每一個文字(即關鍵詞)進行索引，建立索引數(shù)據(jù)庫的全文搜索引擎。當用戶查找某個關鍵詞的時候，所有在頁面內(nèi)容中包含了該關鍵詞的網(wǎng)頁都將作為搜索結果被搜出來。在經(jīng)過復雜的算法進行排序后，這些結果將按照與搜索關鍵詞的相關度高低，依次排列。搜索引擎的工作原理可以看作三步：從互聯(lián)網(wǎng)上抓取網(wǎng)頁→建立索引數(shù)據(jù)庫→在索引數(shù)據(jù)庫中搜索排序。1.從互聯(lián)網(wǎng)上抓取網(wǎng)頁利用能夠從互聯(lián)網(wǎng)上自動收集網(wǎng)頁的爬蟲系統(tǒng)程序(或者稱為機器人程序)，自動訪問互聯(lián)網(wǎng)，沿著任何網(wǎng)頁中的所有URL爬到其它網(wǎng)頁，重復這一過程，并把爬過的所有網(wǎng)頁收集回來。2.建立索引數(shù)據(jù)庫由分析索引系統(tǒng)程序?qū)κ占貋淼木W(wǎng)頁進行分析，提取相關網(wǎng)頁信息(包括網(wǎng)頁所在URL，編碼類型，頁面內(nèi)容包含的所有關鍵詞，關鍵詞位置，生成時間，大小，與其它網(wǎng)頁的鏈接關系等)，根據(jù)一定的相關度算法進行大量復雜計算，得到每一個網(wǎng)頁針對頁面文字中及超鏈中每一個關鍵詞的相關度(或重要性)，然后用這些相關信息建立網(wǎng)頁索引數(shù)據(jù)庫。3.在索引數(shù)據(jù)庫中搜索排序當用戶輸入關鍵詞搜索后，由搜索系統(tǒng)程序從網(wǎng)頁索引數(shù)據(jù)庫中找到符合該關鍵詞的所有相關網(wǎng)頁。因為所有相關網(wǎng)頁針對于該關鍵詞的相關度早已算好，所以只需按照現(xiàn)成的相關度數(shù)值排序，相關度越高，排名越靠前。最后，由頁面生成系統(tǒng)將搜索結果的鏈接地址和頁而內(nèi)容摘要等內(nèi)容組織起來返回給用戶。由于Web信息會頻繁更新，例如，新聞網(wǎng)頁通常每天就要更新，有的網(wǎng)頁更新周期可能是一周或幾個月，這種頻繁更新，會導致數(shù)據(jù)庫內(nèi)信息的過時。因此，需要更新網(wǎng)頁索引數(shù)據(jù)庫，以反映出網(wǎng)頁文字的更新情況，增加新的網(wǎng)頁信息，去除死鏈接，并根據(jù)網(wǎng)頁文字和鏈接關系的變化重新排序。這樣，網(wǎng)頁的具體文字變化情況就會反映到用戶查詢的結果中。三、檢索技巧1.科學選擇關鍵詞。由于搜索引擎智能化程度的影響，它只能在現(xiàn)存的數(shù)據(jù)庫中查找匹配的關鍵詞，因此，這種匹配相對比較盲目，我們在選擇關鍵詞時，要注意兩方面的問題，才有可能得到較好的搜索效果。2.使用雙引號進行精確查詢。如果查找的是一個詞組或多個漢字，最好的辦法就是將它們用雙引號括起來，這樣得到的結果最少、最精確。3.使用加號(+)、減號(-)限定查找。很多搜索引擎都支持在搜索詞前冠以加號(+)限定搜索結果中必須包含的詞匯，用減號(-)限定搜索結果不能包含的詞匯。4.靈活運用使用通配符。很多搜索引擎支持通配符號，如“*”代表一連串字符，“?”代表單個字符。5.使用邏輯詞輔助查找。比較大的搜索引擎都支持使用邏輯詞進行更復雜的搜索界定，常用的有：AND(和)、OR(或)、NOT(否)及NEAR(兩個單詞的靠近程度)，恰當應用它們可以使搜索結果非常精確。另外，也可以使用括號將搜索詞分別組合，如(新聞OR足球)AND(米盧)NoT(“新聞”O(jiān)R足球)6.有針對性地選擇搜索引擎。用不同的搜索引擎進行查詢得到的結果常常有很大的差異，這是因為它們的設計目的和發(fā)展走向存在著許多的不同，比如：D是針對軟件類的搜索引擎，可搜尋大量的自由軟件和共享軟件。驅(qū)動之家主要是提供查找驅(qū)動程序及硬件廠商信息。7.使用元詞檢索。大多數(shù)搜索引擎都支持“元詞”(metawords)功能，用戶把元詞放在關鍵詞的前面，就可以告訴搜索引擎你想要檢索的內(nèi)容具有哪些明確的特征。例如，你在搜索引擎中輸入“title：清華大學”，就可以查到網(wǎng)頁標題中帶有清華大學的網(wǎng)頁。其他元詞還包括：image，用于檢索圖片；link，用于檢索鏈接到某個選定網(wǎng)站的頁面；URL，用于檢索地址中帶有某個關鍵詞的網(wǎng)頁。8.細化查詢。許多搜索引擎都提供了對搜索結果進行細化與再查詢的功能，如有的搜索引擎在結果中有”查詢類似網(wǎng)頁”的按鈕，還有一些則可以對得到的結果進行新一輪的查詢。9.盡可能將搜索范圍限制在特定的領域里。比如在yahoo中文網(wǎng)站中，你要查找的是與電腦相關的知識，那么你沒有必要讓搜索引擎在休閑與運動、健康與醫(yī)藥、藝術與人文等其他分類中查找。你可以進入“電腦與因特網(wǎng)”這一類，選中“檢索此目錄下的網(wǎng)站”。然后再開始搜索。四、結束語參考文獻: