推薦系統(tǒng)評(píng)價(jià)指標(biāo)綜述學(xué)習(xí)教案

1、會(huì)計(jì)學(xué)1推薦系統(tǒng)評(píng)價(jià)推薦系統(tǒng)評(píng)價(jià)(pngji)指標(biāo)綜述指標(biāo)綜述第一頁(yè)，共32頁(yè)。n 文獻(xiàn)文獻(xiàn)(wnxin)來(lái)源：來(lái)源：n 朱郁筱朱郁筱,呂琳媛呂琳媛. 推薦系統(tǒng)評(píng)價(jià)指標(biāo)綜述推薦系統(tǒng)評(píng)價(jià)指標(biāo)綜述J. 電子科技大學(xué)學(xué)報(bào)電子科技大學(xué)學(xué)報(bào),2012,02:163-175.第1頁(yè)/共32頁(yè)第二頁(yè)，共32頁(yè)。3研究研究(ynji)背景背景信息信息(xnx)過(guò)載過(guò)載多種推薦多種推薦(tujin)算算法法孰優(yōu)孰劣孰優(yōu)孰劣第2頁(yè)/共32頁(yè)第三頁(yè)，共32頁(yè)。4研究研究(ynji)背景背景時(shí)代，每個(gè)人既是信息(xnx)接收者，也是信息(xnx)創(chuàng)造者。信息(xnx)數(shù)量龐大但質(zhì)量參差不齊，造成信息(xnx)過(guò)載。信

2、息信息(xnx)過(guò)載過(guò)載多種推薦算法多種推薦算法信息過(guò)濾，為滿(mǎn)足用戶(hù)需求推薦個(gè)性化推薦。協(xié)同過(guò)濾算法、基于內(nèi)容的推薦算法、混合推薦算法。孰優(yōu)孰劣孰優(yōu)孰劣如何有效、客觀評(píng)價(jià)推薦系統(tǒng)的效能，從實(shí)驗(yàn)室到實(shí)際應(yīng)用的轉(zhuǎn)換。第3頁(yè)/共32頁(yè)第四頁(yè)，共32頁(yè)。研究研究(ynji)背景背景第4頁(yè)/共32頁(yè)第五頁(yè)，共32頁(yè)。6評(píng)價(jià)評(píng)價(jià)(pngji)方法方法在線(xiàn)評(píng)價(jià)在線(xiàn)評(píng)價(jià)n 設(shè)計(jì)在線(xiàn)用戶(hù)實(shí)驗(yàn)，根據(jù)用戶(hù)在線(xiàn)實(shí)時(shí)反饋或事后問(wèn)卷調(diào)查等結(jié)果來(lái)衡量推薦系統(tǒng)(xtng)的表現(xiàn)n A/B測(cè)試n 高額成本離線(xiàn)評(píng)價(jià)離線(xiàn)評(píng)價(jià)n根據(jù)待評(píng)價(jià)的推薦系統(tǒng)在實(shí)驗(yàn)數(shù)據(jù)集上的表現(xiàn)來(lái)衡量推薦系統(tǒng)的質(zhì)量n方便、經(jīng)濟(jì)n數(shù)據(jù)集的劃分（常用(chn yn

3、)隨機(jī)劃分）與評(píng)價(jià)指標(biāo)的選擇第5頁(yè)/共32頁(yè)第六頁(yè)，共32頁(yè)。7評(píng)價(jià)評(píng)價(jià)(pngji)指標(biāo)指標(biāo) 準(zhǔn)確度指標(biāo)(zhbio) 基于排序加權(quán)的指標(biāo)(zhbio) 覆蓋率 多樣性和新穎性第6頁(yè)/共32頁(yè)第七頁(yè)，共32頁(yè)。準(zhǔn)確度指標(biāo)準(zhǔn)確度指標(biāo)(zhbio)第7頁(yè)/共32頁(yè)第八頁(yè)，共32頁(yè)。預(yù)測(cè)預(yù)測(cè)(yc)評(píng)分的準(zhǔn)確度評(píng)分的準(zhǔn)確度衡量算法預(yù)測(cè)的評(píng)分與用戶(hù)實(shí)際(shj)評(píng)分的貼近程度思路：計(jì)算預(yù)測(cè)評(píng)分(png fn)和用戶(hù)真實(shí)評(píng)分(png fn)的差異 局限：對(duì)MAE指標(biāo)貢獻(xiàn)大的往往是那種很難預(yù)測(cè)準(zhǔn)確的低分商品第8頁(yè)/共32頁(yè)第九頁(yè)，共32頁(yè)。預(yù)測(cè)預(yù)測(cè)(yc)評(píng)分的準(zhǔn)確度評(píng)分的準(zhǔn)確度 MSE和RMSE指標(biāo)對(duì)

4、每個(gè)絕對(duì)誤差首先做平方運(yùn)算，所以(suy)這兩個(gè)指標(biāo)對(duì)比較大的絕對(duì)誤差有了更重的懲罰第9頁(yè)/共32頁(yè)第十頁(yè)，共32頁(yè)。 預(yù)測(cè)預(yù)測(cè)(yc)評(píng)分的準(zhǔn)確度評(píng)分的準(zhǔn)確度第10頁(yè)/共32頁(yè)第十一頁(yè)，共32頁(yè)。預(yù)測(cè)預(yù)測(cè)(yc)評(píng)分關(guān)聯(lián)評(píng)分關(guān)聯(lián)衡量算法預(yù)測(cè)的評(píng)分與用戶(hù)(yngh)實(shí)際評(píng)分之間的相關(guān)性最常見(jiàn)的三種相關(guān)性指標(biāo)：Pearson積距相關(guān)、Spearman相關(guān)、Kendalls Tau 第11頁(yè)/共32頁(yè)第十二頁(yè)，共32頁(yè)。預(yù)測(cè)預(yù)測(cè)(yc)評(píng)分關(guān)聯(lián)評(píng)分關(guān)聯(lián) 第12頁(yè)/共32頁(yè)第十三頁(yè)，共32頁(yè)。預(yù)測(cè)預(yù)測(cè)(yc)評(píng)分關(guān)聯(lián)評(píng)分關(guān)聯(lián) 弱關(guān)系排序問(wèn)題：在實(shí)際系統(tǒng)(xtng)中可能有某用戶(hù)對(duì)兩個(gè)或者多個(gè)商品評(píng)分

5、一致的情況。第13頁(yè)/共32頁(yè)第十四頁(yè)，共32頁(yè)。預(yù)測(cè)評(píng)分預(yù)測(cè)評(píng)分(png fn)關(guān)聯(lián)關(guān)聯(lián) 第14頁(yè)/共32頁(yè)第十五頁(yè)，共32頁(yè)。某用戶(hù)對(duì)商品實(shí)際評(píng)分為：，推薦系統(tǒng)預(yù)測(cè)評(píng)分為：那么此時(shí)，具有(jyu)嚴(yán)格偏好差別的商品對(duì)有(1,2)、(1,3) 、(1,4)、(1,5)、(2,3) 、(2,5) 、(3,4)、(3,5) 、(4,5)排序相悖的商品對(duì)： (1,4)、 (3,5) 排序兼容的商品對(duì)： (2,5) 得 預(yù)測(cè)評(píng)分預(yù)測(cè)評(píng)分(png fn)關(guān)聯(lián)關(guān)聯(lián)NDMP指標(biāo)不僅適用于弱關(guān)系排序問(wèn)題還可以用來(lái)評(píng)價(jià)推薦算法在不同(b tn)數(shù)據(jù)及上的表現(xiàn)。PS：這些預(yù)測(cè)評(píng)分關(guān)聯(lián)額性指標(biāo)都是只關(guān)注于預(yù)測(cè)排序

6、值而不關(guān)注于具體的預(yù)測(cè)評(píng)分值，所以它們不適用于那些旨在為用戶(hù)提供精確預(yù)測(cè)評(píng)分值的系統(tǒng)。第15頁(yè)/共32頁(yè)第十六頁(yè)，共32頁(yè)。分類(lèi)分類(lèi)(fn li)準(zhǔn)確度準(zhǔn)確度衡量推薦系統(tǒng)能正確預(yù)測(cè)用戶(hù)喜歡或者不喜歡某個(gè)商品的能力。適用(shyng)于那些有明確二分喜好的用戶(hù)系統(tǒng)，對(duì)于非二分喜好系統(tǒng)，需要設(shè)定一個(gè)閾值來(lái)區(qū)分用戶(hù)的喜好。并非衡量系統(tǒng)預(yù)測(cè)(yc)具體評(píng)分值的能力，只要是沒(méi)有影響商品分類(lèi)的評(píng)分偏差都是被允許的。最常用的分類(lèi)準(zhǔn)確度指標(biāo)：準(zhǔn)確率(precision)、召回率(recall)、F1指標(biāo)和AUC。第16頁(yè)/共32頁(yè)第十七頁(yè)，共32頁(yè)。分類(lèi)分類(lèi)(fn li)準(zhǔn)確度準(zhǔn)確度 第17頁(yè)/共32頁(yè)第十八

7、頁(yè)，共32頁(yè)。分類(lèi)分類(lèi)(fn li)準(zhǔn)確度準(zhǔn)確度 第18頁(yè)/共32頁(yè)第十九頁(yè)，共32頁(yè)。分類(lèi)分類(lèi)(fn li)準(zhǔn)確度準(zhǔn)確度準(zhǔn)確率與召回率容易受到推薦列表長(zhǎng)度、評(píng)分稀疏性以及喜好閾值的等多方面因素的影響，很多學(xué)者不提倡用準(zhǔn)確率與召回率來(lái)評(píng)價(jià)系統(tǒng)，特別是只考慮一種指標(biāo)時(shí)偏差(pinch)極大。準(zhǔn)確率和召回(zho hu)率指標(biāo)往往是負(fù)相關(guān)的而且依賴(lài)于推薦列表長(zhǎng)度。一般情況下，隨著推薦列表長(zhǎng)度的增大，準(zhǔn)確率指標(biāo)會(huì)減小而召回(zho hu)率會(huì)增大。 第19頁(yè)/共32頁(yè)第二十頁(yè)，共32頁(yè)。分類(lèi)分類(lèi)(fn li)準(zhǔn)確度準(zhǔn)確度對(duì)于一個(gè)沒(méi)有(mi yu)明確二分喜好的系統(tǒng)？推薦的閾值不確定？往往采用AUC指

8、標(biāo)來(lái)衡量推薦效果的準(zhǔn)確性。AUC指標(biāo)表示ROC（receiver operator curve）曲線(xiàn)下的面積，它衡量一個(gè)推薦系統(tǒng)能夠在多大程度上將用戶(hù)喜歡的商品與不喜歡的商品區(qū)分開(kāi)來(lái)。正如我們(w men)在這個(gè)ROC曲線(xiàn)的示例圖中看到的那樣，ROC曲線(xiàn)的橫坐標(biāo)為false positive rate（FPR），縱坐標(biāo)為true positive rate（TPR）第20頁(yè)/共32頁(yè)第二十一頁(yè)，共32頁(yè)。分類(lèi)分類(lèi)(fn li)準(zhǔn)確度準(zhǔn)確度經(jīng)過(guò)(jnggu)分析，ROC曲線(xiàn)越接近左上角，該分類(lèi)器性能越好。AUC的取值范圍介于和1之間。第21頁(yè)/共32頁(yè)第二十二頁(yè)，共32頁(yè)。分類(lèi)分類(lèi)(fn li)

9、準(zhǔn)確度準(zhǔn)確度假如(jir)我們已經(jīng)得到了所有樣本的概率輸出（屬于正樣本的概率）。根據(jù)每個(gè)測(cè)試樣本屬于正樣本的概率值從大到小排序。圖中共有20個(gè)測(cè)試樣本，“Class”一欄表示每個(gè)測(cè)試樣本真正的標(biāo)簽（p表示正樣本，n表示負(fù)樣本），“Score”表示每個(gè)測(cè)試樣本屬于正樣本的概率第22頁(yè)/共32頁(yè)第二十三頁(yè)，共32頁(yè)。分類(lèi)分類(lèi)(fn li)準(zhǔn)確度準(zhǔn)確度從高到低依次將”Score”值作為閾值threshold,當(dāng)測(cè)試樣本屬于正樣本的概率大于或等于這個(gè)threshold時(shí)，我們認(rèn)為它為正樣本，否則為負(fù)樣本。AUC指標(biāo)僅用一個(gè)數(shù)值就表征了推薦算法的整體表現(xiàn)，而且它涵蓋了所有不同推薦列表長(zhǎng)度的表現(xiàn)。但是AU

10、C指標(biāo)沒(méi)有考慮具體排序位置的影響，導(dǎo)致在ROC曲線(xiàn)面積相同的情況下很難比較算法好壞，所以(suy)它的適用范圍也受到了一些限制第23頁(yè)/共32頁(yè)第二十四頁(yè)，共32頁(yè)。排序排序(pi x)準(zhǔn)確度準(zhǔn)確度 第24頁(yè)/共32頁(yè)第二十五頁(yè)，共32頁(yè)?；诨?jy)排序加權(quán)的指標(biāo)排序加權(quán)的指標(biāo) 第25頁(yè)/共32頁(yè)第二十六頁(yè)，共32頁(yè)。基于基于(jy)排序加權(quán)的指標(biāo)排序加權(quán)的指標(biāo) 目前半衰期效用(xioyng)指標(biāo)的使用仍然是有很大的局限性：首先參數(shù)的選取尚未有統(tǒng)一的標(biāo)準(zhǔn)。用戶(hù)的瀏覽概率與商品在推薦列表中的位置呈指數(shù)遞減這一假設(shè)并不是在所有系統(tǒng)中都適用。第26頁(yè)/共32頁(yè)第二十七頁(yè)，共32頁(yè)。覆蓋率覆蓋率覆蓋率指算法向用戶(hù)推薦的商品能覆蓋全部(qunb)商品的比例。 第27頁(yè)/共32頁(yè)第二十八頁(yè)，共32頁(yè)。多樣性和新穎性多樣性和新穎性推薦系統(tǒng)中的多樣性體現(xiàn)(txin)在用戶(hù)間的多樣性和用戶(hù)內(nèi)的多樣性。 在信息論中，兩個(gè)字碼中不同(b tn)位值的數(shù)目稱(chēng)為漢明距離（異或操作）例如： 1011101 與 1001001 之