第三章 信息檢索系統(tǒng)的評價

第三章信息檢索系統(tǒng)的評價評價評價一般是指評估某個系統(tǒng)的性能、某種產(chǎn)品的質(zhì)量、某項技術(shù)的價值，或者是某項政策的效果等等;競技體育：世界記錄vs.世界最好成績110米欄世界記錄：梅里特，美國，12’’80男子馬拉松世界最好成績：保羅·特爾加特，肯尼亞，2小時4分55秒為什么要對IR進(jìn)行評價？信息檢索評價則是指對信息檢索系統(tǒng)的性能（主要是其滿足用戶信息需求的能力）進(jìn)行評估的活動;從信息檢索系統(tǒng)誕生以來，對檢索系統(tǒng)的評價就一直是推動其研究、開發(fā)與應(yīng)用的一種主要力量;IR的評價指標(biāo)針對一個檢索系統(tǒng)，可以從功能和性能兩個方面對其進(jìn)行分析評價功能評價可通過測試系統(tǒng)來判定是否支持某項功能，因此相對來說較容易性能評價對于檢索系統(tǒng)的性能來說，除了系統(tǒng)的時間和空間因素之外，要求檢索結(jié)果能夠按照相關(guān)度進(jìn)行排序

性能評價指標(biāo)

在評價和比較檢索系統(tǒng)的檢索性能需要以下條件：一個文檔集合C；系統(tǒng)將從該集合中按照查詢要求檢出相關(guān)文檔。一組用戶查詢要求{q1,q2,…,qn}；每個查詢要求qi描述了用戶的信息需求。對應(yīng)每個用戶查詢要求的標(biāo)準(zhǔn)相關(guān)文檔集{R1,R2,…,Rn}；該集合可由人工方式構(gòu)造。一組評價指標(biāo)；這些指標(biāo)反映系統(tǒng)的檢索性能。通過比較系統(tǒng)實際檢出的結(jié)果文檔集和標(biāo)準(zhǔn)的相關(guān)文檔集，對它們的相似性進(jìn)行量化，得到這些指標(biāo)值。評價任務(wù)示例系統(tǒng)&查詢1234…系統(tǒng)1，查詢1d3d6d8d10系統(tǒng)1，查詢2d1d4d7d11系統(tǒng)2，查詢1d6d7d3d9系統(tǒng)2，查詢2d1d2d4d13整個文檔集合的劃分Ra未檢索出的不相關(guān)文檔檢索出的不相關(guān)文檔檢索出的相關(guān)文檔未檢索出的相關(guān)文檔檢索出(Retrieved)未檢索出(NotRetrieved)不相關(guān)(NotRelevant)相關(guān)(Relevant)整個文檔集合C四種關(guān)系的表示檢出且相關(guān)未檢出且相關(guān)檢出且不相關(guān)未檢出且不相關(guān)檢出未檢出相關(guān)不相關(guān)相關(guān)文本檢出相關(guān)文檔相關(guān)文檔檢出文檔檢出不相關(guān)文檔未檢出相關(guān)文檔準(zhǔn)確率和召回率正確率(Precision):檢出的相關(guān)文檔數(shù)與檢出文檔數(shù)的比值，也稱為查準(zhǔn)率；召回率(Recall):系統(tǒng)檢出的相關(guān)文檔數(shù)與實際相關(guān)文檔數(shù)目的比值，也稱為查全率。示例假設(shè)用戶查詢q為一個給定的查詢式，而包含q的相關(guān)文檔集合Rq為下面的文檔集合：Rq={d2,d5,d9,d12,d23}而針對q的檢出相關(guān)文檔集合為：Aq={d3,d4,d5,d6,d8,d10,d12,d19,d20,d23}求檢索的準(zhǔn)確率和召回率。10準(zhǔn)確率和召回率的關(guān)系11101準(zhǔn)確率召回率返回最相關(guān)的文本但是漏掉了很多相關(guān)文本理想情況返回了大多數(shù)相關(guān)文檔但是包含很多垃圾準(zhǔn)確率/召回率曲線假設(shè)用戶查詢q為一個給定的查詢式，而包含q的相關(guān)文檔集合Rq為下面的文檔集合：Rq={d2,d5,d9,d12,d23}檢索系統(tǒng)對查詢q返回的前10個文檔Aq的排序為：1.d23

2.d33.d44.d55.d66.d87.d108.d129.d1910.d20準(zhǔn)確率/召回率曲線準(zhǔn)確率00.20.40.60.810.20.40.60.81召回率11點標(biāo)準(zhǔn)召回率計算召回率分別為0、10%、20%…,100%下的準(zhǔn)確率準(zhǔn)確率00.20.40.60.810.20.40.60.81召回率平均準(zhǔn)確率上述準(zhǔn)確率召回率的值對應(yīng)一個查詢每個查詢對應(yīng)不同的準(zhǔn)確/召回率曲線為了評價某一算法對于所有測試查詢的檢索性能，對每個召回率水平下的準(zhǔn)確率進(jìn)行平均化處理，公式如下：Nq：是使用的查詢總數(shù)Pi(r)：是召回率為r時的第i個查詢的準(zhǔn)確率單值評價方法已檢出相關(guān)文檔的平均準(zhǔn)確率均值（MAP）逐個考察檢出新的相關(guān)文獻(xiàn)，將準(zhǔn)確率平均r為相關(guān)文檔數(shù)。第i個相關(guān)文檔的位置計算MAP舉例假設(shè)有兩個查詢，查詢1有4個相關(guān)文檔，查詢2有5個相關(guān)文檔。某系統(tǒng)對于查詢1檢索出4個相關(guān)文檔，其排序分別為1,2,4,7；對于查詢2檢索出3個相關(guān)文檔，其排序分別為1,3,5。計算ＭＡＰ的值。單值評價方法P@10P@10是系統(tǒng)對于查詢返回的前10個結(jié)果的準(zhǔn)確率。例：檢索系統(tǒng)對查詢q返回的前10個文檔Aq的排序為：1.d23

2.d33.d44.d55.d66.d87.d108.d129.d1910.d20P@10=30%（共有10篇檢出文檔，其中3篇為相關(guān)文檔）單值評價方法R準(zhǔn)確率（R-Precision）單個查詢的R準(zhǔn)確率是檢索出Ｒ篇相關(guān)文檔時的準(zhǔn)確率；查詢集合中所有查詢的Ｒ準(zhǔn)確率是每個查詢的Ｒ準(zhǔn)確率的平均值。R-Precision＝前R篇文檔中相關(guān)文檔數(shù)R計算R準(zhǔn)確率舉例假設(shè)有兩個查詢，第1個查詢有50個相關(guān)文檔，第2個查詢有10個相關(guān)文檔。某個系統(tǒng)對于第1個查詢返回的前50個結(jié)果中有17個是相關(guān)的，對于第2個查詢返回的前10個結(jié)果中有7個事相關(guān)的。分別計算查詢1、查詢2和查詢集合的R準(zhǔn)確率。單值評價方法準(zhǔn)確率直方圖多個查詢的R-Precision測度用來比較兩個算法的檢索紀(jì)錄RPA-B=0:對于第i個查詢，兩個算法有相同的性能RPA-B>0:對于第i個查詢，算法A有較好的性能RPA-B<0:對于第i個查詢，算法B有較好的性能單值概括0.00.51.01.5-0.5-1.0-1.512345678910QueryNumber28作業(yè)假設(shè)查詢q為一個給定的用戶查詢，與q相關(guān)的文檔集合Rq={d3,d5,d9,d25,d39,d44,d56,d71,d89,d123}通過某一個檢索算法得到的排序結(jié)果：

1.d123

6.d9

11.d38

2.d84 7.d511 12.d48

3.d56

8.d129 13.d250

4.d6 9.d187 14.d113

5.d8 10.d25

15.d3

要求1.分別計算檢索到相關(guān)文檔時的召回率和準(zhǔn)確率，并繪制準(zhǔn)確率/召回率曲線；

2.采用11點標(biāo)準(zhǔn)召回率方法計算召回率和準(zhǔn)確率，并繪制插補(bǔ)后的準(zhǔn)確率/召回率曲線；3.計算MAP值；4.分別計算檢索返回前10個結(jié)果和返回前15個結(jié)果時的R準(zhǔn)確率。測試集(TestCollections)組成要素文件集

(DocumentSet;DocumentCollection)查詢問題

(Query;Topic)相關(guān)判斷(RelevantJudgment)用途設(shè)計與發(fā)展:系統(tǒng)測試評估:系統(tǒng)效能(Effectiveness)之測量比較:不同系統(tǒng)與不同技術(shù)間之比較評比根據(jù)不同的目的而有不同的評比項目量化的測量準(zhǔn)則，如Precision與Recall國外的評測TREC評測文本檢索會議（TextRetrievalConference，TREC）是信息檢索(IR)界為進(jìn)行檢索系統(tǒng)和用戶評價而舉行的活動,它由美國國家標(biāo)準(zhǔn)技術(shù)協(xié)會(NIST)和美國高級研究計劃局(DARPA)（美國國防部）共同資助，開始于1992年。

NTCIR評測NTCIR(NACSISTestCollectionforIRSystems)始于1998