信息檢索系統(tǒng)的評(píng)價(jià)

1、n提 問(wèn) 1 1 試解釋試解釋信息檢索系統(tǒng)的內(nèi)涵。信息檢索系統(tǒng)的內(nèi)涵。 2 2 什么是什么是”評(píng)價(jià)評(píng)價(jià)”？第十一章第十一章 信息檢索系統(tǒng)評(píng)價(jià)信息檢索系統(tǒng)評(píng)價(jià) 11.1 評(píng)價(jià)研究概述評(píng)價(jià)研究概述一、一、意義意義n評(píng)價(jià)評(píng)價(jià)（Evaluation）：發(fā)現(xiàn)和收集關(guān)于某種活動(dòng)的數(shù)據(jù)，發(fā)現(xiàn)和收集關(guān)于某種活動(dòng)的數(shù)據(jù)，從中判斷該項(xiàng)活動(dòng)的質(zhì)量及達(dá)到預(yù)期目標(biāo)程度的行為從中判斷該項(xiàng)活動(dòng)的質(zhì)量及達(dá)到預(yù)期目標(biāo)程度的行為。 簡(jiǎn)單地說(shuō)，評(píng)價(jià)就是對(duì)系統(tǒng)的價(jià)值和效率進(jìn)行測(cè)評(píng)。簡(jiǎn)單地說(shuō)，評(píng)價(jià)就是對(duì)系統(tǒng)的價(jià)值和效率進(jìn)行測(cè)評(píng)。n信息檢索系統(tǒng)評(píng)價(jià)信息檢索系統(tǒng)評(píng)價(jià)：根據(jù)給定的根據(jù)給定的指標(biāo)體系，采用一定的，采用一定的方法和程序，對(duì)信息檢

2、索系統(tǒng)的，對(duì)信息檢索系統(tǒng)的功能、特性和和運(yùn)營(yíng)狀況進(jìn)行進(jìn)行評(píng)測(cè)評(píng)測(cè)，或?qū)τ嘘P(guān)假設(shè)、預(yù)期效益、性能值進(jìn)行，或?qū)τ嘘P(guān)假設(shè)、預(yù)期效益、性能值進(jìn)行驗(yàn)證驗(yàn)證，以確，以確定系統(tǒng)達(dá)到了何種水平、投入成本是否值得、是否可以改定系統(tǒng)達(dá)到了何種水平、投入成本是否值得、是否可以改進(jìn)和如何進(jìn)和如何改進(jìn)，乃至系統(tǒng)是否應(yīng)生存下去。，乃至系統(tǒng)是否應(yīng)生存下去。第十一章第十一章 信息檢索系統(tǒng)評(píng)價(jià)信息檢索系統(tǒng)評(píng)價(jià) 11.1 評(píng)價(jià)研究概述評(píng)價(jià)研究概述一、一、意義意義 信息檢索系統(tǒng)的評(píng)價(jià)研究，一直是信息檢索領(lǐng)域的一項(xiàng)重要研究?jī)?nèi)容。多年來(lái)人們進(jìn)行了大量的評(píng)價(jià)試驗(yàn)和多角度。多年來(lái)人們進(jìn)行了大量的評(píng)價(jià)試驗(yàn)和多角度的探索。的探索。 原因在于，

3、檢索系統(tǒng)評(píng)價(jià)工作在為研究者驗(yàn)證檢索系統(tǒng)原因在于，檢索系統(tǒng)評(píng)價(jià)工作在為研究者驗(yàn)證檢索系統(tǒng)效益、比較各種檢索技術(shù)的優(yōu)劣、改進(jìn)現(xiàn)有檢索系統(tǒng)、開發(fā)效益、比較各種檢索技術(shù)的優(yōu)劣、改進(jìn)現(xiàn)有檢索系統(tǒng)、開發(fā)新的應(yīng)用領(lǐng)域等方面，都具有不可替代的作用。新的應(yīng)用領(lǐng)域等方面，都具有不可替代的作用。第十一章第十一章 信息檢索系統(tǒng)評(píng)價(jià)信息檢索系統(tǒng)評(píng)價(jià) 11.1 評(píng)價(jià)研究概述評(píng)價(jià)研究概述一、意義一、意義主要意義：n了解已有檢索系統(tǒng)的功能，找出缺陷并改進(jìn)；了解已有檢索系統(tǒng)的功能，找出缺陷并改進(jìn)；n比較各種檢索系統(tǒng)的優(yōu)劣；比較各種檢索系統(tǒng)的優(yōu)劣；n提高提高效率和效益；提高提高效率和效益；n有助于新的檢索系統(tǒng)的設(shè)計(jì)；有助于新的檢

4、索系統(tǒng)的設(shè)計(jì)；n豐富信息檢索的理論。豐富信息檢索的理論。 第十一章第十一章 信息檢索系統(tǒng)評(píng)價(jià)信息檢索系統(tǒng)評(píng)價(jià) 11.1 評(píng)價(jià)研究概述評(píng)價(jià)研究概述二、評(píng)價(jià)范圍與類型二、評(píng)價(jià)范圍與類型 信息檢索系統(tǒng)是一個(gè)有眾多功能模塊組成的集合體。信息檢索系統(tǒng)是一個(gè)有眾多功能模塊組成的集合體。 評(píng)價(jià)可以從不同角度、基于不同目的和方法來(lái)進(jìn)行。評(píng)價(jià)可以從不同角度、基于不同目的和方法來(lái)進(jìn)行。 評(píng)價(jià)范圍評(píng)價(jià)范圍：各種類型的檢索系統(tǒng)及組成要素。：各種類型的檢索系統(tǒng)及組成要素。 評(píng)價(jià)評(píng)價(jià)類型類型： 宏觀評(píng)價(jià)宏觀評(píng)價(jià)：著眼于檢索系統(tǒng)的宏觀方面，如情報(bào)源類型、系統(tǒng)：著眼于檢索系統(tǒng)的宏觀方面，如情報(bào)源類型、系統(tǒng)結(jié)構(gòu)、收錄范圍、利用

5、率等。結(jié)構(gòu)、收錄范圍、利用率等。 個(gè)別評(píng)價(jià)個(gè)別評(píng)價(jià)：僅對(duì)系統(tǒng)的某一性能、功能進(jìn)行評(píng)價(jià)。：僅對(duì)系統(tǒng)的某一性能、功能進(jìn)行評(píng)價(jià)。 性能評(píng)價(jià)性能評(píng)價(jià)(performance evaluation)：面向用戶的評(píng)價(jià)，測(cè)定檢：面向用戶的評(píng)價(jià)，測(cè)定檢索系統(tǒng)的質(zhì)量或服務(wù)效果。也稱為檢索效果評(píng)價(jià)索系統(tǒng)的質(zhì)量或服務(wù)效果。也稱為檢索效果評(píng)價(jià)(effectiveness evaluation)。第十一章第十一章 信息檢索系統(tǒng)評(píng)價(jià)信息檢索系統(tǒng)評(píng)價(jià) 11.1 評(píng)價(jià)研究概述評(píng)價(jià)研究概述二、評(píng)價(jià)范圍與類型二、評(píng)價(jià)范圍與類型評(píng)價(jià)評(píng)價(jià)類型類型： 效益評(píng)價(jià)效益評(píng)價(jià)（benefits evaluation）：測(cè)定系統(tǒng)或用戶獲得的的經(jīng)

6、測(cè)定系統(tǒng)或用戶獲得的的經(jīng)濟(jì)效益和社會(huì)效益濟(jì)效益和社會(huì)效益。 ( (有直接的、潛在的；難以直接計(jì)量有直接的、潛在的；難以直接計(jì)量) ) 費(fèi)用費(fèi)用/ /效果評(píng)價(jià)效果評(píng)價(jià)（cost effectiveness evaluation）：考察系統(tǒng)考察系統(tǒng)達(dá)到的性能與費(fèi)用消耗之間的關(guān)系達(dá)到的性能與費(fèi)用消耗之間的關(guān)系。（用戶、系統(tǒng)兩方面）。（用戶、系統(tǒng)兩方面） 費(fèi)用費(fèi)用/ /效益評(píng)價(jià)效益評(píng)價(jià)（cost benefits evaluation）：考察系統(tǒng)的服務(wù)考察系統(tǒng)的服務(wù)效益與費(fèi)用消耗間的關(guān)系效益與費(fèi)用消耗間的關(guān)系。（計(jì)量難度較大）。（計(jì)量難度較大） ( (詳見詳見P207P207的解釋的解釋) )第十一章

7、第十一章 信息檢索系統(tǒng)評(píng)價(jià)信息檢索系統(tǒng)評(píng)價(jià) 11.2 評(píng)價(jià)指標(biāo)評(píng)價(jià)指標(biāo) 一、評(píng)價(jià)指標(biāo)體系一、評(píng)價(jià)指標(biāo)體系 要評(píng)價(jià)一個(gè)檢索系統(tǒng)，必須有一套科學(xué)的評(píng)價(jià)標(biāo)準(zhǔn)。要評(píng)價(jià)一個(gè)檢索系統(tǒng)，必須有一套科學(xué)的評(píng)價(jià)標(biāo)準(zhǔn)。 建立檢索系統(tǒng)評(píng)價(jià)指標(biāo)體系應(yīng)遵循的原則：建立檢索系統(tǒng)評(píng)價(jià)指標(biāo)體系應(yīng)遵循的原則：n各指標(biāo)應(yīng)定義單一、明確，具有可操作性。各指標(biāo)應(yīng)定義單一、明確，具有可操作性。n評(píng)價(jià)指標(biāo)最好能夠量化或計(jì)量。評(píng)價(jià)指標(biāo)最好能夠量化或計(jì)量。n指標(biāo)要完善、細(xì)致、全面。指標(biāo)要完善、細(xì)致、全面。 下面給出傳統(tǒng)檢索系統(tǒng)評(píng)價(jià)指標(biāo)體系模型：（下面給出傳統(tǒng)檢索系統(tǒng)評(píng)價(jià)指標(biāo)體系模型：（供參考供參考）第十一章第十一章 信息檢索系統(tǒng)評(píng)價(jià)信息檢索

8、系統(tǒng)評(píng)價(jià) 11.2 評(píng)價(jià)指標(biāo)評(píng)價(jià)指標(biāo)綜合指標(biāo)體系學(xué)習(xí)費(fèi)用實(shí)驗(yàn)費(fèi)用收錄范圍使用方便性檢索結(jié)果形式查全率新穎性可存取性查準(zhǔn)率存貯空間開銷研制費(fèi)用運(yùn)行費(fèi)用靈活性檢索性能用戶費(fèi)用數(shù)據(jù)質(zhì)量響應(yīng)時(shí)間系統(tǒng)費(fèi)用可靠性 逐一評(píng)價(jià)這些指標(biāo)，可以判定檢索系統(tǒng)的優(yōu)劣。逐一評(píng)價(jià)這些指標(biāo)，可以判定檢索系統(tǒng)的優(yōu)劣。 其中，比較重要的其中，比較重要的是檢索性能指標(biāo)。是檢索性能指標(biāo)。11.2 評(píng)價(jià)指標(biāo)評(píng)價(jià)指標(biāo)問(wèn) 題:n什么是查全率、查準(zhǔn)率什么是查全率、查準(zhǔn)率? ?第十一章第十一章 信息檢索系統(tǒng)評(píng)價(jià)信息檢索系統(tǒng)評(píng)價(jià) 11.2 評(píng)價(jià)指標(biāo)評(píng)價(jià)指標(biāo)二、主要性能指標(biāo)及分析二、主要性能指標(biāo)及分析1查全率和查準(zhǔn)率查全率和查準(zhǔn)率n查全率查全率

9、(Recall ratio，R)：衡量一次檢索中與提問(wèn)相關(guān)的：衡量一次檢索中與提問(wèn)相關(guān)的文獻(xiàn)有多少篇被檢出。文獻(xiàn)有多少篇被檢出。（衡量檢出相關(guān)文獻(xiàn)的能力衡量檢出相關(guān)文獻(xiàn)的能力） 量數(shù)據(jù)庫(kù)中的相關(guān)文獻(xiàn)總檢出的相關(guān)文獻(xiàn)量R第十一章第十一章 信息檢索系統(tǒng)評(píng)價(jià)信息檢索系統(tǒng)評(píng)價(jià) 11.2 評(píng)價(jià)指標(biāo)評(píng)價(jià)指標(biāo)二、主要性能指標(biāo)及分析二、主要性能指標(biāo)及分析1查全率和查準(zhǔn)率查全率和查準(zhǔn)率n查準(zhǔn)率查準(zhǔn)率(Precision ratio，P)：衡量被檢出的文獻(xiàn)中有多少：衡量被檢出的文獻(xiàn)中有多少篇與提問(wèn)相關(guān)。篇與提問(wèn)相關(guān)。 （衡量檢索的精確度衡量檢索的精確度）檢出文獻(xiàn)總量檢出的相關(guān)文獻(xiàn)量P第十一章第十一章 信息檢索系統(tǒng)

10、評(píng)價(jià)信息檢索系統(tǒng)評(píng)價(jià) 11.2 評(píng)價(jià)指標(biāo)評(píng)價(jià)指標(biāo)二、主要性能指標(biāo)及分析二、主要性能指標(biāo)及分析 例： 設(shè)某檢索系統(tǒng)的數(shù)據(jù)庫(kù)中共有相關(guān)文獻(xiàn)設(shè)某檢索系統(tǒng)的數(shù)據(jù)庫(kù)中共有相關(guān)文獻(xiàn)20篇。針對(duì)某篇。針對(duì)某一個(gè)提問(wèn)，檢出文獻(xiàn)總數(shù)為一個(gè)提問(wèn)，檢出文獻(xiàn)總數(shù)為30篇，其中相關(guān)文獻(xiàn)數(shù)為篇，其中相關(guān)文獻(xiàn)數(shù)為15篇。求查全率篇。求查全率R、查準(zhǔn)率、查準(zhǔn)率P。%752015R%503015P第十一章第十一章 信息檢索系統(tǒng)評(píng)價(jià)信息檢索系統(tǒng)評(píng)價(jià) 11.2 評(píng)價(jià)指標(biāo)評(píng)價(jià)指標(biāo)二、主要性能指標(biāo)及分析二、主要性能指標(biāo)及分析 為便于分析，我們給出數(shù)學(xué)語(yǔ)言描述：設(shè)某文獻(xiàn)庫(kù)所存儲(chǔ)的文獻(xiàn)總為便于分析，我們給出數(shù)學(xué)語(yǔ)言描述：設(shè)某文獻(xiàn)庫(kù)所存儲(chǔ)的

11、文獻(xiàn)總量為量為L(zhǎng)。對(duì)某一給定提問(wèn)，。對(duì)某一給定提問(wèn)， a表示被檢出的與提問(wèn)相關(guān)的文獻(xiàn)數(shù)；（表示被檢出的與提問(wèn)相關(guān)的文獻(xiàn)數(shù)；（前例前例 a=15） b表示被檢出的與提問(wèn)無(wú)關(guān)的文獻(xiàn)數(shù)；（誤檢，表示被檢出的與提問(wèn)無(wú)關(guān)的文獻(xiàn)數(shù)；（誤檢，前例前例 b=15） c表示與提問(wèn)相關(guān)，但未被檢出的文獻(xiàn)數(shù)（漏檢，表示與提問(wèn)相關(guān)，但未被檢出的文獻(xiàn)數(shù)（漏檢，前例前例 c=5）caaR查全率baap查準(zhǔn)率babE誤檢率cacQ漏檢率顯然，顯然，p第十一章第十一章 信息檢索系統(tǒng)評(píng)價(jià)信息檢索系統(tǒng)評(píng)價(jià) 11.2 評(píng)價(jià)指標(biāo)評(píng)價(jià)指標(biāo)二、主要性能指標(biāo)及分析二、主要性能指標(biāo)及分析1查全率和查準(zhǔn)率查全率和查準(zhǔn)率 下面討論與查全率、查準(zhǔn)

12、率有關(guān)的幾個(gè)問(wèn)題。下面討論與查全率、查準(zhǔn)率有關(guān)的幾個(gè)問(wèn)題。（）查全率和查準(zhǔn)率的相互關(guān)系（）查全率和查準(zhǔn)率的相互關(guān)系n一個(gè)理想的檢索系統(tǒng)，應(yīng)是、。一個(gè)理想的檢索系統(tǒng)，應(yīng)是、。 但實(shí)際上是不可能的。但實(shí)際上是不可能的。n一般說(shuō)來(lái)，二者之間存在著一般說(shuō)來(lái)，二者之間存在著反變關(guān)系反變關(guān)系，即：，即： 若要提高查全率，查準(zhǔn)率往往就會(huì)下降；若要提高查全率，查準(zhǔn)率往往就會(huì)下降； 若要提高查準(zhǔn)率，查全率又就會(huì)下降。若要提高查準(zhǔn)率，查全率又就會(huì)下降。 （二者相互制約）（二者相互制約）第十一章第十一章 信息檢索系統(tǒng)評(píng)價(jià)信息檢索系統(tǒng)評(píng)價(jià) 11.2 評(píng)價(jià)指標(biāo)評(píng)價(jià)指標(biāo)二、主要性能指標(biāo)及分析二、主要性能指標(biāo)及分析（）查全

13、率和查準(zhǔn)率的相互關(guān)系（）查全率和查準(zhǔn)率的相互關(guān)系n與的關(guān)系可由下圖描述：（與的關(guān)系可由下圖描述：（稱為稱為圖圖）第十一章第十一章 信息檢索系統(tǒng)評(píng)價(jià)信息檢索系統(tǒng)評(píng)價(jià) 11.2 評(píng)價(jià)指標(biāo)評(píng)價(jià)指標(biāo)二、主要性能指標(biāo)及分析二、主要性能指標(biāo)及分析1查全率和查準(zhǔn)率查全率和查準(zhǔn)率（）影響查全率、查準(zhǔn)率的相關(guān)因素（）影響查全率、查準(zhǔn)率的相關(guān)因素 文獻(xiàn)庫(kù)編制質(zhì)量文獻(xiàn)庫(kù)編制質(zhì)量 文獻(xiàn)收集是否齊全，索引體系是否完善，檢索途徑的多少，文獻(xiàn)收集是否齊全，索引體系是否完善，檢索途徑的多少，都會(huì)影響到查全率。都會(huì)影響到查全率。 對(duì)情報(bào)需求的理解對(duì)情報(bào)需求的理解 要達(dá)到較高的查全率和要達(dá)到較高的查全率和查準(zhǔn)率查準(zhǔn)率，應(yīng)較好地理

14、解情報(bào)需，應(yīng)較好地理解情報(bào)需求，制定好檢索策略。求，制定好檢索策略。第十一章第十一章 信息檢索系統(tǒng)評(píng)價(jià)信息檢索系統(tǒng)評(píng)價(jià) 11.2 評(píng)價(jià)指標(biāo)評(píng)價(jià)指標(biāo)二、主要性能指標(biāo)及分析二、主要性能指標(biāo)及分析（）影響查全率、查準(zhǔn)率的相關(guān)因素（）影響查全率、查準(zhǔn)率的相關(guān)因素 檢索語(yǔ)言的一致性檢索語(yǔ)言的一致性 檢索的實(shí)質(zhì)就是提問(wèn)標(biāo)識(shí)與文獻(xiàn)標(biāo)識(shí)的異同比較。檢索的實(shí)質(zhì)就是提問(wèn)標(biāo)識(shí)與文獻(xiàn)標(biāo)識(shí)的異同比較。 為此，需要不同人員表達(dá)文獻(xiàn)主題的語(yǔ)言一致，更需要標(biāo)識(shí)提問(wèn)與為此，需要不同人員表達(dá)文獻(xiàn)主題的語(yǔ)言一致，更需要標(biāo)識(shí)提問(wèn)與標(biāo)識(shí)文獻(xiàn)的語(yǔ)言一致。標(biāo)識(shí)文獻(xiàn)的語(yǔ)言一致。即，標(biāo)引語(yǔ)言和檢索語(yǔ)言的一致性，對(duì)查全和即，標(biāo)引語(yǔ)言和檢索語(yǔ)言的

15、一致性，對(duì)查全和查準(zhǔn)起著支配作用。查準(zhǔn)起著支配作用。 標(biāo)引的網(wǎng)羅性標(biāo)引的網(wǎng)羅性 對(duì)文獻(xiàn)主題分析得越透徹，抽出的檢索詞越多，檢索時(shí)可檢出的相對(duì)文獻(xiàn)主題分析得越透徹，抽出的檢索詞越多，檢索時(shí)可檢出的相關(guān)文獻(xiàn)就越多，即查全率越高。但檢出的文獻(xiàn)并非全部適用，因而查關(guān)文獻(xiàn)就越多，即查全率越高。但檢出的文獻(xiàn)并非全部適用，因而查準(zhǔn)率降低。準(zhǔn)率降低。 反之，如果標(biāo)引時(shí)只標(biāo)出中心主題，檢出的文獻(xiàn)必然比較適用，即反之，如果標(biāo)引時(shí)只標(biāo)出中心主題，檢出的文獻(xiàn)必然比較適用，即查準(zhǔn)率較高。但漏檢會(huì)增多，從而降低查全率。查準(zhǔn)率較高。但漏檢會(huì)增多，從而降低查全率。第十一章第十一章 信息檢索系統(tǒng)評(píng)價(jià)信息檢索系統(tǒng)評(píng)價(jià) 11.2

16、評(píng)價(jià)指標(biāo)評(píng)價(jià)指標(biāo)二、主要性能指標(biāo)及分析二、主要性能指標(biāo)及分析（）影響查全率、查準(zhǔn)率的相關(guān)因素（）影響查全率、查準(zhǔn)率的相關(guān)因素 檢索詞的專指性檢索詞的專指性 檢索詞選得詞意越狹窄、越具體、越專深，檢出的文獻(xiàn)就會(huì)越對(duì)口，檢索詞選得詞意越狹窄、越具體、越專深，檢出的文獻(xiàn)就會(huì)越對(duì)口，查準(zhǔn)率就越高。但命中文獻(xiàn)就越少，查全率就會(huì)降低。查準(zhǔn)率就越高。但命中文獻(xiàn)就越少，查全率就會(huì)降低。 相反，如果檢索詞定得較籠統(tǒng)、較寬泛，檢出的文獻(xiàn)就會(huì)增多，查相反，如果檢索詞定得較籠統(tǒng)、較寬泛，檢出的文獻(xiàn)就會(huì)增多，查全率會(huì)提高。但不相關(guān)的文獻(xiàn)也會(huì)增多，查準(zhǔn)率會(huì)降低。全率會(huì)提高。但不相關(guān)的文獻(xiàn)也會(huì)增多，查準(zhǔn)率會(huì)降低。 檢索策略

17、和提問(wèn)構(gòu)造檢索策略和提問(wèn)構(gòu)造 對(duì)檢索詞的選取，需恰當(dāng)?shù)卮_定網(wǎng)羅度和專指度。對(duì)檢索詞的選取，需恰當(dāng)?shù)卮_定網(wǎng)羅度和專指度。 當(dāng)采用布爾組配時(shí)，若使用當(dāng)采用布爾組配時(shí)，若使用AND較多，即限制嚴(yán)，則下降，而較多，即限制嚴(yán)，則下降，而上升；反之，若使用上升；反之，若使用OR較多，則上升，而下降。較多，則上升，而下降。第十一章第十一章 信息檢索系統(tǒng)評(píng)價(jià)信息檢索系統(tǒng)評(píng)價(jià) 11.2 評(píng)價(jià)指標(biāo)評(píng)價(jià)指標(biāo)二、主要性能指標(biāo)及分析二、主要性能指標(biāo)及分析（）影響查全率、查準(zhǔn)率的相關(guān)因素（）影響查全率、查準(zhǔn)率的相關(guān)因素 檢索軟件的功能檢索軟件的功能 檢索軟件功能是否完善，結(jié)構(gòu)是否合理，影響到是否會(huì)漏檢檢索軟件功能是否完善

18、，結(jié)構(gòu)是否合理，影響到是否會(huì)漏檢和誤檢。和誤檢。 檢索者的熟練程度檢索者的熟練程度 檢索人員的專業(yè)知識(shí)水平、使用系統(tǒng)的熟練程度，對(duì)檢索人員的專業(yè)知識(shí)水平、使用系統(tǒng)的熟練程度，對(duì)R和和P影影響很大。往往是響很大。往往是系統(tǒng)一方的檢索者系統(tǒng)一方的檢索者自擬定檢索式時(shí)查準(zhǔn)率高，自擬定檢索式時(shí)查準(zhǔn)率高，而而檢索用戶檢索用戶編制檢索式時(shí)，因不熟悉系統(tǒng)和不善于使用系統(tǒng)，編制檢索式時(shí)，因不熟悉系統(tǒng)和不善于使用系統(tǒng)，就容易造成誤檢、漏檢。就容易造成誤檢、漏檢。第十一章第十一章 信息檢索系統(tǒng)評(píng)價(jià)信息檢索系統(tǒng)評(píng)價(jià) 11.2 評(píng)價(jià)指標(biāo)評(píng)價(jià)指標(biāo)二、主要性能指標(biāo)及分析二、主要性能指標(biāo)及分析 1查全率和查準(zhǔn)率查全率和查準(zhǔn)

19、率（）對(duì)查全率和查準(zhǔn)率的要求（）對(duì)查全率和查準(zhǔn)率的要求 作為一個(gè)檢索系統(tǒng)，應(yīng)同時(shí)具備較強(qiáng)的查全能力和查準(zhǔn)能力。作為一個(gè)檢索系統(tǒng)，應(yīng)同時(shí)具備較強(qiáng)的查全能力和查準(zhǔn)能力。但并不是每個(gè)用戶在任何時(shí)候都需要高查全率和高查準(zhǔn)率，不但并不是每個(gè)用戶在任何時(shí)候都需要高查全率和高查準(zhǔn)率，不同用戶有不同要求。同用戶有不同要求。 通常，根據(jù)不同的情報(bào)需求，可分為四種要求：通常，根據(jù)不同的情報(bào)需求，可分為四種要求： a要求查全率要求查全率= 如申請(qǐng)專利、發(fā)明或評(píng)定某項(xiàng)成果，需要對(duì)世界范圍的有關(guān)如申請(qǐng)專利、發(fā)明或評(píng)定某項(xiàng)成果，需要對(duì)世界范圍的有關(guān)情報(bào)作全面了解，才能作出客觀的評(píng)價(jià)。此時(shí)往往要求情報(bào)作全面了解，才能作出客

20、觀的評(píng)價(jià)。此時(shí)往往要求=的檢索。的檢索。第十一章第十一章 信息檢索系統(tǒng)評(píng)價(jià)信息檢索系統(tǒng)評(píng)價(jià) 11.2 評(píng)價(jià)指標(biāo)評(píng)價(jià)指標(biāo)二、主要性能指標(biāo)及分析二、主要性能指標(biāo)及分析（）對(duì)查全率和查準(zhǔn)率的要求（）對(duì)查全率和查準(zhǔn)率的要求 b b要求較高查全率要求較高查全率 例如編寫教材、綜述某學(xué)科或技術(shù)領(lǐng)域的發(fā)展，往往需要較例如編寫教材、綜述某學(xué)科或技術(shù)領(lǐng)域的發(fā)展，往往需要較全面地獲得有關(guān)文獻(xiàn)或情報(bào)。此時(shí)對(duì)查全率有較高要求，但不全面地獲得有關(guān)文獻(xiàn)或情報(bào)。此時(shí)對(duì)查全率有較高要求，但不一定要求一定要求。 c c要求較高查準(zhǔn)率要求較高查準(zhǔn)率 例如要了解某種具體產(chǎn)品的有關(guān)信息，解決某一具體問(wèn)題或例如要了解某種具體產(chǎn)品的有關(guān)

21、信息，解決某一具體問(wèn)題或查新等，往往只需了解某一方面或某一時(shí)期的有關(guān)情報(bào)。此時(shí)查新等，往往只需了解某一方面或某一時(shí)期的有關(guān)情報(bào)。此時(shí)要求查準(zhǔn)率較高要求查準(zhǔn)率較高。第十一章第十一章 信息檢索系統(tǒng)評(píng)價(jià)信息檢索系統(tǒng)評(píng)價(jià) 11.2 評(píng)價(jià)指標(biāo)評(píng)價(jià)指標(biāo)二、主要性能指標(biāo)及分析二、主要性能指標(biāo)及分析（）對(duì)查全率和查準(zhǔn)率的要求（）對(duì)查全率和查準(zhǔn)率的要求 d d對(duì)查全率、查準(zhǔn)率無(wú)具體要求對(duì)查全率、查準(zhǔn)率無(wú)具體要求 有些情報(bào)需求，用戶本身不能作出確切表達(dá)。因此，用戶對(duì)有些情報(bào)需求，用戶本身不能作出確切表達(dá)。因此，用戶對(duì)查全率和查準(zhǔn)率也無(wú)法提出具體要求。查全率和查準(zhǔn)率也無(wú)法提出具體要求。 從上面的討論可以看出，從上面

22、的討論可以看出，在分析和評(píng)價(jià)某一檢索的檢索質(zhì)量在分析和評(píng)價(jià)某一檢索的檢索質(zhì)量時(shí)，不能千篇一律地追求查全率和查準(zhǔn)率，而應(yīng)具體問(wèn)題具體時(shí)，不能千篇一律地追求查全率和查準(zhǔn)率，而應(yīng)具體問(wèn)題具體分析。分析。二、主要性能指標(biāo)及分析二、主要性能指標(biāo)及分析2響應(yīng)時(shí)間（響應(yīng)時(shí)間（response time） 對(duì)任何計(jì)算機(jī)應(yīng)用系統(tǒng)，響應(yīng)時(shí)間都是一個(gè)重要指標(biāo)。對(duì)任何計(jì)算機(jī)應(yīng)用系統(tǒng)，響應(yīng)時(shí)間都是一個(gè)重要指標(biāo)。 信息檢索的響應(yīng)時(shí)間可分為兩種情形：信息檢索的響應(yīng)時(shí)間可分為兩種情形： （1）委托檢索委托檢索，表示從用戶送交提問(wèn)到收到檢索結(jié)果所花的時(shí)間；，表示從用戶送交提問(wèn)到收到檢索結(jié)果所花的時(shí)間； （2）非委托檢索非委托檢

23、索，表示用戶實(shí)際的檢索時(shí)間。，表示用戶實(shí)際的檢索時(shí)間。n計(jì)算響應(yīng)時(shí)間一般都是針對(duì)某一個(gè)提問(wèn)而言，不同的提問(wèn)對(duì)應(yīng)的響應(yīng)計(jì)算響應(yīng)時(shí)間一般都是針對(duì)某一個(gè)提問(wèn)而言，不同的提問(wèn)對(duì)應(yīng)的響應(yīng)時(shí)間不同。（時(shí)間不同。（因提問(wèn)式長(zhǎng)短、復(fù)雜程度而不同因提問(wèn)式長(zhǎng)短、復(fù)雜程度而不同） 有時(shí)給出平均響應(yīng)時(shí)間有時(shí)給出平均響應(yīng)時(shí)間T。ti表示對(duì)第表示對(duì)第i個(gè)提問(wèn)的響應(yīng)時(shí)間，個(gè)提問(wèn)的響應(yīng)時(shí)間，k為提問(wèn)個(gè)數(shù)為提問(wèn)個(gè)數(shù)kitikT11第十一章第十一章 信息檢索系統(tǒng)評(píng)價(jià)信息檢索系統(tǒng)評(píng)價(jià) 11.2 評(píng)價(jià)指標(biāo)評(píng)價(jià)指標(biāo)問(wèn) 題:n檢索響應(yīng)時(shí)間與哪些因素有關(guān)檢索響應(yīng)時(shí)間與哪些因素有關(guān)? ?第十一章第十一章 信息檢索系統(tǒng)評(píng)價(jià)信息檢索系統(tǒng)評(píng)價(jià) 1

24、1.2 評(píng)價(jià)指標(biāo)評(píng)價(jià)指標(biāo)二、主要性能指標(biāo)及分析二、主要性能指標(biāo)及分析 2響應(yīng)時(shí)間響應(yīng)時(shí)間 通過(guò)對(duì)檢索響應(yīng)時(shí)間的分析，我們可歸納出影響該指標(biāo)的通過(guò)對(duì)檢索響應(yīng)時(shí)間的分析，我們可歸納出影響該指標(biāo)的因素：因素： (1)(1)文獻(xiàn)庫(kù)規(guī)模文獻(xiàn)庫(kù)規(guī)模 規(guī)模越大，檢索時(shí)間越長(zhǎng)，響應(yīng)時(shí)間值也就越大。規(guī)模越大，檢索時(shí)間越長(zhǎng)，響應(yīng)時(shí)間值也就越大。 (2)(2)機(jī)器速度機(jī)器速度 主機(jī)運(yùn)行速度越快，響應(yīng)時(shí)間越短。主機(jī)運(yùn)行速度越快，響應(yīng)時(shí)間越短。 (3)(3)檢索軟件檢索軟件 檢索軟件是關(guān)鍵，其性能越好，檢索時(shí)間就越短。檢索軟件是關(guān)鍵，其性能越好，檢索時(shí)間就越短。第十一章第十一章 信息檢索系統(tǒng)評(píng)價(jià)信息檢索系統(tǒng)評(píng)價(jià) 11.

25、2 評(píng)價(jià)指標(biāo)評(píng)價(jià)指標(biāo)二、主要性能指標(biāo)及分析二、主要性能指標(biāo)及分析2響應(yīng)時(shí)間響應(yīng)時(shí)間(4)(4)存儲(chǔ)設(shè)備類型和數(shù)據(jù)的存貯結(jié)構(gòu)存儲(chǔ)設(shè)備類型和數(shù)據(jù)的存貯結(jié)構(gòu) 存儲(chǔ)設(shè)備的訪問(wèn)速度越快，數(shù)據(jù)的存貯結(jié)構(gòu)（外存貯）存儲(chǔ)設(shè)備的訪問(wèn)速度越快，數(shù)據(jù)的存貯結(jié)構(gòu)（外存貯）越合理，檢索越容易，響應(yīng)時(shí)間也就越短。越合理，檢索越容易，響應(yīng)時(shí)間也就越短。(5)(5)提問(wèn)組配形式提問(wèn)組配形式 檢索式的檢索式的構(gòu)造需要有一定的專業(yè)技能和檢索經(jīng)驗(yàn)，是一需要有一定的專業(yè)技能和檢索經(jīng)驗(yàn)，是一個(gè)不斷修改和完善的過(guò)程。個(gè)不斷修改和完善的過(guò)程。(6)(6)信息中心與檢索者的距離信息中心與檢索者的距離 通信傳輸時(shí)間與距離有關(guān)。通信傳輸時(shí)間與距離有關(guān)。第十一章第十一章 信息檢索系統(tǒng)評(píng)