《信息檢索系統(tǒng)》方案設計

經(jīng)典word整理文檔，僅參考，雙擊此處可刪除頁眉頁腳。本資料屬于網(wǎng)絡整理，如有侵權，請聯(lián)系刪除，謝謝！實用文檔實用文檔一2二335三66673.483.58實用文檔一項目意義片信息、視頻信息、語音信息等，通過、谷歌等大型商業(yè)搜索引擎可以找到自己想要的信息，但是也存在很多弊端。、谷歌等大型商業(yè)搜索引擎的搜索原理是基于網(wǎng)絡爬蟲（Spider）互聯(lián)網(wǎng)信息檢索系統(tǒng)來檢索某一個行業(yè)的信息，每天自動在各大行業(yè)網(wǎng)站、取、存貯、歸類、展現(xiàn)。通過自己的信息檢索系統(tǒng)，可以讓自己部門每天輕松地獲得世界各地、快速做出正確的決定。據(jù)統(tǒng)計，內(nèi)部網(wǎng)上的信息每年以200%的速度增長，其中發(fā)布到互聯(lián)網(wǎng)上的信息只占到信息量的1%-2%，而98%以上的信息是發(fā)布在內(nèi)部網(wǎng)上的。內(nèi)部網(wǎng)上的信息既有網(wǎng)頁形式的，也包含其他Word、PDF、XML等多種格式他們所需要的信息是一個主要的技術挑戰(zhàn)。利用的最優(yōu)目標。擎的主要目標包括：實用文檔（1）較高的查準率。搜索系統(tǒng)支持按詞索引、按字索引，同時實現(xiàn)中文自動分詞。（2）較高的查全率。搜索系統(tǒng)可搜索各類異構的信息資源，包括傳統(tǒng)的網(wǎng)頁信息、Word、PDF、XML等不同格式的文檔以及各類主流數(shù)據(jù)庫的表中記錄。（3）智能化的檢索結果排序。安全搜索系統(tǒng)應采用相關度分析技術，將用戶需要的信息排在結果列表的前面，屏蔽無用和錯誤的信息。二系統(tǒng)設計2.1技術原理HX-2055互聯(lián)網(wǎng)信息檢索系統(tǒng)（以下簡稱HX-2055）是針對特殊行業(yè)、夠保證系統(tǒng)對實時信息的快速采集、歸類、展現(xiàn)。包括企業(yè)的各種報表、帳單、電子文檔、網(wǎng)站的各種元素、圖片、傳真、掃描影像，以及大量的多媒體的音頻、視頻信息等等。所有的存儲數(shù)據(jù)中，有85%采用的是非結構化格式的，非結構化信息每三個月增長一倍。由于信息眾方便使用。引查找，類似于通過字典的檢索字表查字的過程。全文檢索系統(tǒng)是按照全文檢索理論建立起來的用于提供全文檢索服務的軟件系統(tǒng)。全文檢索系統(tǒng)的核心則具有建立索引、處理查詢返回結果集、增加索引、優(yōu)化索引結構等功能。HX-2055全文檢索系統(tǒng)的主要目標是實現(xiàn)文本索引的快速構建(IndexConstruction)(IndexMaintenance)，短語查詢(PhraseQuery),Top-K查詢的快速處理(Top-kQueryProcess)以及各種檢索模型（IRModel）等。高性能和靈活的架構也實用文檔使HX-2055專業(yè)數(shù)據(jù)庫檢索。圖HX-2055可以實現(xiàn)對內(nèi)部網(wǎng)絡和外部網(wǎng)絡的信息抓取、歸類、展現(xiàn)。對于外部網(wǎng)絡，HX-2055采用網(wǎng)絡爬蟲定時對各大行業(yè)網(wǎng)站、政府部門網(wǎng)站進行數(shù)據(jù)爬法，簡單、快捷、方便的展示給使用者。HX-2055也可以對內(nèi)部網(wǎng)絡進行數(shù)據(jù)的挖掘、分析、整理、展現(xiàn)。HX-2055資源等數(shù)據(jù)源進行數(shù)據(jù)的抓取，包括內(nèi)部網(wǎng)絡的新政策、新聞通知、日常文檔、文件資料等。實用文檔HX-2055搜索引擎的系統(tǒng)體系架構如圖所示:內(nèi)部網(wǎng)用戶數(shù)據(jù)123n內(nèi)部數(shù)據(jù)圖2引擎實現(xiàn)了下列主要功能：（1）爬行器：爬行器根據(jù)資源描述信息對內(nèi)部網(wǎng)中各種異構的資源信息進Web網(wǎng)頁、Word、PDF、Excel、PPT等格式的辦公文檔、各類主流數(shù)據(jù)庫的表中記錄。（2）索引器：通過中文分詞技術，對爬行到的資源信息進行解析，建立索引文件。（3）搜索：用戶提交其搜索條件，搜索條件經(jīng)過特定處理后，在索引文件中檢索出所有滿足搜索條件的資源。2.2系統(tǒng)構架實用文檔三系統(tǒng)功能3.1信息采集1、采用多線程并發(fā)搜索技術。2、提供多種采集范圍控制方式，包括在指定網(wǎng)站內(nèi)，在指定域內(nèi)，以及在指定IP地址范圍等方式。3、可以設置多種網(wǎng)站采集控制方式，包括采集的網(wǎng)頁大小、超時限制等。4、提供高效更新功能，對于已經(jīng)采集過的網(wǎng)站，更新時只采集發(fā)生變化和新加入的資源。5、可以靈活設定采集結果的存儲方式，具有開放性。3.2中文自然語言處理1、內(nèi)嵌自動分詞系統(tǒng)，有效提高了分詞準確性。2、在應用層上，提供自動分類和摘要功能；3、支持按詞索引、按字索引、按關鍵詞索引，適應不同應用環(huán)境的需求；實用文檔4、內(nèi)嵌相似性檢索技術，提供文章的相似性檢索和聚類功能。3.3全文檢索功能1、支持WebBrowser/WebServer檢索方式；2建立了上萬條的歧義排除規(guī)則，因此檢索“華人”不會把僅僅包含“中華人民共和國”的文章檢索出來。3、支持結構化數(shù)據(jù)和非結構化數(shù)據(jù)的混合檢索；4、允許使用文中的任意字、詞、句和片段進行檢索；5、全方位檢索手段：與、或、非、異或；6、對數(shù)值、日期等特征字段可以進行比較和范圍檢索；7、支持任意一致的通配符檢索(模糊檢索)；8、支持多網(wǎng)站的全文檢索9、具備中文自動分詞系統(tǒng)，能有效提高分詞準確性10、采用智能中文分詞技術，建立高效索引庫11、支持實時索引（1分鐘內(nèi)）12、支持增量式實時索引13、多線程設計，支持大量并發(fā)用戶訪問，每秒并發(fā)達到50個以上14、支持在結果中查詢15、支持GBKBIG5UTF8GB18030等編碼，采用UTF8編碼方式實現(xiàn)多語言和多文種內(nèi)容的檢索及展現(xiàn)。16、支持中文、英文和中英文混合檢索17、多樣化排序，包括按抓取時間排序、按相關性排序18、多種條件組合檢索：包括標題、正文以及日期范圍檢索19、支持關鍵詞邏輯表達式組合檢索20、檢索結果支持基于查詢關鍵詞的動態(tài)摘要21、支持檢索關鍵詞的高亮顯示22、將所檢索到的信息可按設定的模版顯示23、檢索結果模板自定義如：如文章標題、文章欄目、簡介、、點擊率、實用文檔時間以及文章類別等24、支持根據(jù)自動分類的類目進行檢索25、采用KNN、SVM為基礎的相關性算法3.4格式文件檢索支持MSOFFICE,PDF,HTML,可以對.pdf;.rtf;.doc;.xls;.ppt;.pps;.xml等文件直接進行檢索。3.5性能指標自動分類達到85%以上準確率數(shù)據(jù)索引更新時間