第6章 信息檢索與服務.ppt

第6章信息檢索與服務 6 1信息檢索技術(shù) 6 1 1檢索模型概述6 1 2布爾模型6 1 3向量空間模型6 1 4概率模型6 1 5全文檢索6 1 6語義檢索 6 1信息檢索技術(shù) 續(xù) 6 1 7超文本模型6 1 8多媒體檢索6 1 9跨語言檢索6 1 10分布式檢索6 1 11P2P檢索6 1 12網(wǎng)格信息檢索 信息檢索過程 信息檢索過程實際上涉及到三個重要的處理 文檔集的邏輯表示查詢的表示相似匹配及其排序?qū)ι鲜鲆蛩睾蜋z索過程建模 抽象描述 產(chǎn)生各種不同的信息檢索模型 圖6 1信息檢索系統(tǒng)的一般模型 6 1 2布爾模型 布爾檢索模型的理論基礎是布爾邏輯和集合理論 6 1 2布爾模型 布爾邏輯主要內(nèi)容 命題邏輯與謂詞邏輯布爾邏輯是數(shù)理邏輯的基礎部分利用符號來表示邏輯中的各種概念建立了一系列的運算法則 利用代數(shù)的方法研究邏輯問題 布爾運算 布爾邏輯運算符 與 AND 或 OR 非 NOT 運算的定義 傳統(tǒng)布爾檢索模型 文獻表示將文檔表示成一個集合 集合中的每個元素都為一個二元變量 取值非 0 即 1 表示該元素所代表的主題詞是否包含在該篇文檔之內(nèi) 若包括在文檔中 則元素取值為1 反之則取0 給定一個文獻集合D 包含m篇文獻 分別用d1 d2 d3 dm表示 再給出一個標引詞集合T 包含n個標引詞t1 t2 tn 假定對文獻集D的描述完全是基于該標引詞集合的 則文獻集D中任意一篇文獻di就可以表示為 di1 di2 din 傳統(tǒng)布爾檢索模型 查詢表示在布爾檢索系統(tǒng)中 根據(jù)用戶提出的檢索需求 選取適當?shù)臋z索標識 與布爾運算符 與 或 非 共同構(gòu)成與查詢相符的檢索提問式 也即相應的布爾表達式例如 1 飛碟 2 飛碟 AND 美國 3 飛碟 AND 中國 OR NOT 科幻小說 傳統(tǒng)布爾檢索模型 查詢表示布爾提問式q t1and t2ornott3 q的主析取范式 t1andt2andt3 or t1andt2andnott3 or t1andnott2andnott3 q的簡化形式qdnf 1 1 1 or 1 1 0 or 1 0 0 其中 1 1 1 1 1 0 和 1 0 0 是qdnf的3個合取子項 合取子項可用符號qcc表示 傳統(tǒng)布爾檢索模型 匹配函數(shù)菊池敏典算法 傳統(tǒng)布爾檢索模型 文獻D1 t1 t2 nott3 查詢Q t1andt2andnott3 布爾檢索示例 傳統(tǒng)布爾查詢的評價 該模型結(jié)構(gòu)簡單 容易實現(xiàn)和快速檢索 傳統(tǒng)布爾查詢的評價 布爾模型在檢索系統(tǒng)的開發(fā)與應用中表現(xiàn)出的主要問題有 1 準確匹配 exactmatching 策略問題 布爾模型采用準確匹配策略 對檢索過程中客觀存在的一些不確定性情形絕對排斥 認為一篇文獻對于某一提問要么是 相關(guān)的 要么是 不相關(guān)的 這種 非此即彼 的二值判斷標準嚴重影響到檢索系統(tǒng)的性能改善 并帶來其他一些相關(guān)問題 2 布爾邏輯表達用戶需求的能力問題 把用戶的一個信息需求轉(zhuǎn)換成一個恰當?shù)牟紶柋磉_式 在很多情況下并不容易實現(xiàn) 傳統(tǒng)布爾查詢的評價 為了彌補這些缺陷 發(fā)展了一些別的檢索模型 如向量空間 擴展布爾 概率檢索和聚類模型 6 1 3向量空間模型 向量空間模型 Vectorspacemodel 介紹向量空間模型 VSM 的評價 向量空間模型介紹 1 文獻空間 1 文獻空間的概念文獻集合中的任一文獻都可以表示為這個多維空間中的一個向量 這個空間就稱為 文獻空間 在一個文獻空間內(nèi) 用向量D1來代表某一文獻 則該向量在這個文獻空間各個軸上的分量就是相應的表述該文獻的各個項的權(quán)重文獻與空間點 2 標引詞空間 向量空間模型介紹 向量空間模型介紹 2 項權(quán)重 1 詞頻越重要的項分配越高的權(quán)值可以用詞頻來作為該項的權(quán)重 用tf表示 2 文獻頻率假設存在一個文獻集合 其中大部分的文獻都包含了某一項 則說明該項對某一主題的專指度較差 可能就不太重要在設計項權(quán)重時 要考慮逆文獻頻率 用idf表示 向量空間模型介紹 2 項權(quán)重 3 權(quán)重的規(guī)范化處理為了抵消由篇幅帶來的不同影響 經(jīng)常要對項權(quán)重進行規(guī)范化處理在各種規(guī)范化方法中 余弦規(guī)范是一種常用 有效的方法 tf idf權(quán)重 文獻向量的歐氏長度 向量空間模型介紹 3 文獻向量與查詢向量的匹配匹配函數(shù)利用向量的內(nèi)積運算 得到文獻向量Di與查詢向量q之間的相似度Sim Di q Di q簡單存在的一個主要的不足是它忽略了項之間存在一些相互聯(lián)系的事實 通常 需要引入一些特別的方法來改進這個相似度計算公式 使得其能夠考慮到項的相互聯(lián)系這一重要因素 相似度的計算 內(nèi)積相似度運算余弦相似度 距離 相似度運算等等 向量空間模型的評價 優(yōu)點簡單 功能卻非常強大能將非結(jié)構(gòu)化的文獻表示成向量的形式 使得各種數(shù)學處理成為可能模型的檢索效果和布爾檢索模型比起來 要好得多不足忽略項之間存在的相互聯(lián)系 必然使得檢索效果產(chǎn)生極大的偏差傳統(tǒng)向量處理模型不能處理布爾表達等結(jié)構(gòu)化查詢改進廣義向量空間模型 GVSM 潛在語義標引 LSI 概率向量處理模型以及基于語義分析的向量空間模型 SVSM 6 1 4概率模型 概率論模型主要基于概率論原理來理解和解決信息檢索問題主要有早期的經(jīng)典概率模型 又稱為二值獨立檢索模型 英文簡稱BIR 基于貝葉斯網(wǎng)絡的推理網(wǎng)絡模型和信念網(wǎng)絡模型等INQUERY檢索系統(tǒng)是基于概率模型的代表 6 1 4概率模型 基本思路 給定一個用戶提問 則檢索系統(tǒng)中存在著一個與該提問相關(guān)的理想命中結(jié)果集合R 該集合只包括與查詢完全相關(guān)的文檔而不包括其他不相關(guān)的文檔 在用戶提出檢索要求時 檢索系統(tǒng)并不知道這個理想結(jié)果集合的特性在檢索開始之時就需要對R的特性進行某種猜測根據(jù)初始的猜測 檢索系統(tǒng)檢索到一個初步的命中結(jié)果集合基于相關(guān)反饋的原理 需要進行一個逐步求精的過程 6 1 4概率模型 檢索問題轉(zhuǎn)化為求條件概率問題IfProb R di q Prob NR di q thendi是檢索結(jié)果 否則不是檢索結(jié)果 6 1 5全文檢索 直接在全文中進行匹配檢索獲得的也是全文信息而非文獻線索全文檢索技術(shù)以其較高的查準率和查全率被廣泛應用于網(wǎng)絡信息的檢索中全文檢索還提供位置檢索功能 6 1 5全文檢索 全文檢索模型中信息資源的邏輯表示全文索引目前常見的全文檢索模型主要有倒排表 署名文件 位圖 Pat樹和Pat數(shù)組等模型從中文語言特點出發(fā)提出的互關(guān)聯(lián)后繼樹模型等 6 1 5全文檢索 基于單漢字的全文索引索引倒排結(jié)構(gòu) 6 1 5全文檢索 以倒排表模型為基礎的全文檢索有檢索速度快 與原文無關(guān)的特點其缺點主要包括兩個方面 首先 空間和時間效率低 其次 當文本集合不斷變化時 需要不斷重建全文索引第一個問題通常采用壓縮技術(shù)和更加高效的編碼策略加以解決 6 1 5全文檢索 全文檢索模型中的查詢表示通常采用布爾模型的查詢表示方式 6 1 5全文檢索 全文檢索模型中的匹配方式檢索的匹配算法一般是根據(jù)索引結(jié)構(gòu)而研制的檢索速度取決于匹配算法 一個優(yōu)秀的全文檢索算法 在百兆級的數(shù)據(jù)庫中 檢索速度應該在秒級水平 否則 不能算是一個好的全文檢索算法Lucene 6 1 5全文檢索 全文檢索技術(shù)指標基本指標有 查全率 查準率 檢索速度 索引膨脹率等索引的膨脹系數(shù)是指針對全文所建的索引文件大小與全文文件大小之比 其中索引文件的大小取決于索引的結(jié)構(gòu)沒有為全文創(chuàng)建索引的全文檢索系統(tǒng) 其膨脹系數(shù)為0 6 1 6語義檢索 基于關(guān)鍵詞匹配的傳統(tǒng)文本信息檢索技術(shù)對語義匹配的支持能力較差 其性能取決于用戶對方法的理解 具有很大的局限性盡管基于關(guān)鍵詞匹配的檢索技術(shù)已經(jīng)經(jīng)過多次改進 但是由于沒有添加語義處理方面的功能 檢索性能沒有得到本質(zhì)的改善 那些沒有被文字直接表述出來但隱含在文本內(nèi)容中的一些重要的信息無法被檢索語義檢索是對檢索條件 信息組織以及檢索結(jié)果顯式賦予了一定語義成分的一種新的檢索方式與傳統(tǒng)關(guān)鍵詞檢索相比 它更加強調(diào)語義 其性能明顯改善 圖6 3基于本體的文本信息檢索系統(tǒng)的一般模型 6 1 7超文本模型 所謂超文本 既是一種信息的組織形式 也是一種信息檢索技術(shù)超文本不是單純以線性方式存儲文本 而是附加了一種非線性結(jié)構(gòu)來組織信息 即在文本中設置若干超級鏈接 簡稱超鏈 指向相關(guān)位置 以確保在順序閱讀文獻的同時 還可以順著超級鏈接的指引 跳躍 閱讀信息超文本組織強調(diào)了信息與對象之間的聯(lián)系關(guān)系 符合人們聯(lián)想式閱讀和思維習慣 6 1 7超文本模型 超文本技術(shù)的優(yōu)點1 非線性的組織結(jié)構(gòu)2 以信息單元為檢索對象3 體現(xiàn)了信息層次關(guān)系4 交互更加友好5 信息內(nèi)容豐富多樣6 避免了檢索語言的復雜性 6 1 7超文本模型 超文本技術(shù)的缺陷1 偶然發(fā)現(xiàn)2 失控3 迷航 6 1 8多媒體檢索 多媒體信息的檢索主要是研究如何快速有效地獲取多媒體信息所涉及的相關(guān)技術(shù) 它包括多媒體信息的壓縮 組織 檢索和展示等由于多媒體信息與文本信息的組織方式和表現(xiàn)形式完全不同 所涉及的檢索技術(shù)也存在著較大差異 6 1 8多媒體檢索 基于文本的多媒體信息檢索方法是多媒體信息檢索最常用的方法基于內(nèi)容的多媒體信息檢索方法是一種新型的檢索技術(shù) 它融合了圖像理解 模式識別 計算機視覺等技術(shù) 直接根據(jù)描述媒體對象內(nèi)容的各種特征進行檢索 從數(shù)據(jù)庫中查找到具有指定特征或含有特定內(nèi)容的聲音 圖像 視頻等對象 6 1 9跨語言檢索 跨語言信息檢索是指用戶以一種語言提問 檢出另一種語言或多種語言描述的相關(guān)信息跨語言信息檢索的主要實現(xiàn)方法有 提問式翻譯法 文獻翻譯法 提問式 文獻翻譯法 中間翻譯法 不翻譯法 提問式構(gòu)造法和音譯法等方法 6 1 10分布式檢索 分布式信息檢索主要是指在分布式的環(huán)境中 利用分布式計算和移動代理等技術(shù)從大量的 異構(gòu)的信息資源中檢索出對用戶有用的信息的過程這些信息資源在物理上分布于各地 在邏輯上是一個整體 在數(shù)據(jù)庫結(jié)構(gòu)上存在差異分布式信息檢索主要有基于元搜索引擎 基于Z39 50 基于XML語言 基于Web服務等模式 6 1 11P2P檢索 P2P信息檢索的目的就是網(wǎng)絡中的任意節(jié)點都可以提交檢索的請求 然后這些檢索通過某種路由機制被路由到和檢索相關(guān)的節(jié)點上去 存儲有和該檢索相關(guān)信息的節(jié)點將會回應請求 把本地相關(guān)的內(nèi)容以對等的形式直接傳送到請求節(jié)點上與傳統(tǒng)的客戶端 服務器模式相比 P2P模式具有明顯的優(yōu)點 資源利用率高 節(jié)點越多網(wǎng)絡越穩(wěn)定 不存在瓶頸問題 信息在對等節(jié)點間直接交換 高速及時 降低中轉(zhuǎn)成本 基于內(nèi)容的尋址方式處于一個更高的語義層 6 1 12網(wǎng)格信息檢索 網(wǎng)格信息檢索的發(fā)展離不開傳統(tǒng)信息技術(shù)的支持 但是 必須對傳統(tǒng)信息技術(shù)進行改進 才能使它們更好地適應網(wǎng)格環(huán)境 為提高信息檢索系統(tǒng)的性能發(fā)揮重要的作用 圖6 5科學數(shù)據(jù)網(wǎng)格系統(tǒng)結(jié)構(gòu)圖 基于信息檢索服務集成的信息檢索系統(tǒng) 目前已經(jīng)出現(xiàn)一些網(wǎng)格信息檢索研究項目 其中比較有名的GridIR GRACE ARCO DigitalLibraryGrid ChinaGrid 中國科學數(shù)據(jù)網(wǎng)格 等等網(wǎng)格信息檢索系統(tǒng)的實現(xiàn)方式與網(wǎng)格體系結(jié)構(gòu)關(guān)系緊密 目前主要有OGSA 七層沙漏兩種網(wǎng)格體系結(jié)構(gòu)用于構(gòu)建網(wǎng)格信息檢索系統(tǒng) 6 2信息檢索過程的優(yōu)化 6 2 1標引算法優(yōu)化6 2 2查詢表達式優(yōu)化6 2 3檢索結(jié)果的組織6 2 4檢索可視化6 2 5個性化信息檢索 說明 對于信息資源的邏輯表示 查詢表達式而言 改善其中的一個或多個就可以在一定程度上改善信息檢索系統(tǒng)的性能對檢索結(jié)果進行有效排序或者重新組織 也可以改善信息檢索系統(tǒng)的性能 6 2 1標引算法優(yōu)化 加權(quán)標引多種標引方法的集成深層語言知識的運用本體技術(shù)的運用 6 2 2查詢表達式優(yōu)化 查詢表述不準確的原因1 在很多情況下 用戶真實的信息需求并不明確 感知到的信息需求 以及表達出來的信息需求可能與自己真實的信息需求有一定的偏差 2 在缺少上下文的情況下經(jīng)常會出現(xiàn)詞的歧義 3 受自身的認知水平 文化程度等方面的限制 用戶對檢索內(nèi)容所屬領(lǐng)域的主題詞或概念不熟悉 無法想到一組合適的檢索詞來表達自己的信息需求 4 關(guān)鍵詞式Web信息檢索系統(tǒng)提供的是全文檢索 而不是主題檢索 5 用戶選擇的主題范圍過寬導致檢索結(jié)果過多 選擇的主題范圍過窄導致檢索結(jié)果過少 等等 6 2 2查詢表達式優(yōu)化 查詢表述的修正查詢擴展 queryexpansion 相關(guān)反饋 relevancefeedback 查詢修正 querymodification 是最主要的幾類方法 它們之間具有密切的聯(lián)系檢索詞賦權(quán)查詢修正包括查詢擴展 是指用一組新的檢索詞替換原有查詢表達式中的部分檢索詞 產(chǎn)生新的查詢表達式 試圖使新的查詢表達式能夠更加準確地反映用戶真實的信息需求 達到在盡量保證查全率的前提下提高查準率的目的 6 2 2查詢表達式優(yōu)化 查詢修正用詞的來源1 詞語語義關(guān)系網(wǎng)絡 例如 包含上位詞 下位詞 同義詞 反義詞等多種相關(guān)詞的信息的詞表 概念關(guān)系網(wǎng)絡 領(lǐng)域本體 這些詞語關(guān)系網(wǎng)絡可以用于擴大和縮小檢索的主題范圍 可以用于解決詞語歧義的問題 也可以幫助用戶確定檢索詞 2 系統(tǒng)從用戶反饋的相關(guān)文檔集合中抽取出來的主題詞 或者關(guān)鍵詞 姓名等各種命名實體 namedentity 這些詞語用于取代檢索表達式中的部分檢索詞 其中主題詞用于限定檢索內(nèi)容的主題范圍 各種命名實體用于限定用戶感興趣的信息片段 3 系統(tǒng)進行全局分析所獲得的詞語共現(xiàn)關(guān)系網(wǎng)絡 包括文檔用詞詞語共現(xiàn)關(guān)系網(wǎng)絡 查詢用詞詞語共現(xiàn)關(guān)系網(wǎng)絡兩種 主要用于縮小檢索結(jié)果集合 提高檢索結(jié)果的相關(guān)度 6 2 2查詢表達式優(yōu)化 查詢修正方案中的信息行為因素1 大多數(shù)人每次檢索只提交一個提問式 不會修改提問進行連續(xù)檢索 三分之二的人只提交一個提問式 七分之六的人不用兩個以上的提問式 2 在被測試用戶的檢索提問式中 人均輸入的檢索詞為3 34個 最多的為2個 其次是3個和4個 但用戶提問的平均長度呈穩(wěn)步增長之勢 3 檢索詞分布極不對稱 出現(xiàn)頻率在100次以上的63個主題詞只占全部檢索詞的萬分之三 有一半以上的詞僅僅出現(xiàn)過一次 4 相關(guān)反饋很少被利用 只有較少的人會修改提問或用到相關(guān)反饋 5 大多數(shù)用戶只查看返回結(jié)果的頭十條 平均查看結(jié)果的數(shù)量是2 35頁 每頁有十個記錄 等等 6 2 3檢索結(jié)果的組織 提煉輸出內(nèi)容利用多文檔文摘技術(shù)提煉檢索結(jié)果的內(nèi)容 可以減少用戶的閱讀量 提高相關(guān)性判斷的效率檢索結(jié)果排序檢索結(jié)果聚類 6 4 4檢索可視化 在信息檢索系統(tǒng)中合理地使用可視信息會進一步提高信息檢索系統(tǒng)的整體性能1 信息資源可視化2 查詢可視化查詢可視化是對查詢擴展 翻譯的可視化展現(xiàn)3 查詢結(jié)果可視化查詢結(jié)果的可視化分為兩個層次 文檔集合可視化和單個文檔可視化4 查詢反饋可視化5 信息檢索可視化模型 信息檢索的可視化 可視化信息檢索是把文獻信息 用戶提問 各類檢索模型以及利用檢索模型進行信息檢索的過程 展示在一個可視化空間中 并向用戶提供信息檢索服務 其實質(zhì)是提供一種有效的信息反饋機制 即所謂的 所見即所得 可視化檢索的應用舉例 如國家衛(wèi)星氣象中心設置了網(wǎng)上極軌氣象衛(wèi)星資料的可視化檢索系統(tǒng) 復旦大學圖書館在其主頁推出了一個可視化圖書查詢系統(tǒng) 圖書館可視化多媒體多環(huán)境導讀與查詢系統(tǒng) 1999年12月通過教育部級技術(shù)鑒定 形象生動 可單擊書庫某一書架的某一層的藏書 并將其放大 檢索途徑有書名 作者 排架號三種 開本與厚薄也與原書相符 由MARC的相應字段轉(zhuǎn)化 圖形右邊反映卡片式目錄 下邊反映館藏情況 6 2 5個性化信息檢索 一般過程 1 新用戶注冊2 形成用戶興趣表3 接收用戶查詢請求4 對用戶的查詢請求進行分析5 根據(jù)查詢請求進行檢索6 分析 篩選查詢結(jié)果7 顯示查詢結(jié)果 6 3信息服務 6 3 1信息服務過程6 3 2定題信息提供6 3 3查新服務6 3 4信息推送服務6 3 5聯(lián)機檢索服務 6 3 1信息服務過程 信息用戶主要可以通過兩種方式得到信息第一 由信息服務部門提供信息 第二 自助式查詢信息 即信息用戶自己通過網(wǎng)絡或聯(lián)機檢索獲取信息 6 3 1信息服務過程 信息服務部門提供信息的服務過程用戶需求確定 這一過程要求用戶能夠明確本次查詢的目的和確切需求 分清主次目的和需求 用戶需求表達 將本次查詢的目的和需求用文字表達 并向信息服務部門提交查詢申請書 用戶需求理解 信息服務人員與用戶交談 理解用戶查詢目的與需求 確立查詢的關(guān)鍵詞與查詢范圍 以及對檢索結(jié)果的有關(guān)要求等 選擇查詢數(shù)據(jù)庫或相關(guān)檢索工具 針對用戶的檢索要求 選擇對口的數(shù)據(jù)庫或相關(guān)檢索工具 擬定檢索策略 根據(jù)所選數(shù)據(jù)庫或檢索工具的規(guī)則確定檢索詞 構(gòu)造檢索式或制定檢索步驟和執(zhí)行方案 以及檢索結(jié)果不滿足檢索需求后的修訂措施 檢索實施 根據(jù)擬定的檢索策略執(zhí)行檢索過程 6 3 1信息服務過程 自助式查詢信息的過程明確查詢目的確定信息資源對應的網(wǎng)站地址查詢 6 3 2定題信息提供 定題信息提供通常被稱為SDI SelectiveDisseminationofInformationService 它的主要功能是由信息服務部門定期 或成批 地向用戶提供所需最新信息的服務 6 3 2定題信息提供 SDI的服務流程SDI是一種變被動為主動的信息服務手段 通常包括以下過程 用戶提交檢索需求 檢索需求中需說明檢索目的 要求 主要檢索詞 以及檢索詞之間的關(guān)系等 填寫檢索提問單 這一過程需要用戶與檢索人員進行交談 并在其指導下填寫用戶提問單 構(gòu)造檢索策略 有信息檢索人員根據(jù)與用戶交談的結(jié)果并根據(jù)檢索提問單的內(nèi)容設計檢索式 檢索調(diào)試 利用已構(gòu)造好的檢索式進行預檢索 檢索結(jié)果送達用戶征求意見 如果用戶對檢索結(jié)果不滿意 再根據(jù)用戶的意見修改檢索式 直到用戶滿意為止 歸并檢索式 將用戶滿意的檢索式歸并入用戶提問檔 等待定期檢索 定期檢索 定期 或每當有新信息入庫時 用檢索提問檔去匹配數(shù)據(jù)庫中的最新信息 檢索結(jié)果分發(fā)用戶 6 3 3查新服務 查新服務是指對某一研究專題或新產(chǎn)品等國內(nèi)外發(fā)展的最新成果 水平動向 最新動態(tài)等調(diào)查研究 撰寫調(diào)查報告 并提交有關(guān)部門或個人的信息服務工作 6 3 3查新服務 查新服務從接受查新請求到提交查新報告大致歷經(jīng)如下幾個過程 受理查新課題 主要由項目委托人遞交查新申請書 申請書中需注明項目名稱 查新種類和查新目的 查新人員閱讀查新申請書后與之交談 并指導填寫查新委托書 分析查新項目確定查新重點 由查新人員根據(jù)查新委托書以及交談理解 分析用戶查新特點 擬定查新重點 確定查新總目標 設計查新檢索策略 檢索策略涉及到 選擇查新工具 數(shù)據(jù)庫 應盡可能多的選擇查詢工具 以確保獲得較高的查全率 針對不同的查新工具確定檢索途徑 選擇檢索詞 設計檢索式 確保查詢結(jié)果全面 準確 檢索實施 根據(jù)擬定的檢索方案 進行檢索操作 在實施過程中注意檢索結(jié)果的查準率和查全率 如不能達到預期目標 及時更新檢索策略 分析評價 整理查新結(jié)果 并將其與用戶查新需求對比分析 經(jīng)過