分類器評(píng)價(jià)指標(biāo)總結(jié)

1、對(duì)于分類器(分類算法)，評(píng)價(jià)指標(biāo)主要有:PrecisionRecallF-scoreAaccuracyROCAUC首先，介紹混淆矩陣的概念?；煜仃囀潜O(jiān)督學(xué)習(xí)中的一種可視化工具，主要用于比較分類結(jié)果和實(shí)例的真實(shí)信息。 矩陣中的每一行代表實(shí)例的預(yù)測類別，每一列代表實(shí)例的真實(shí)類別。act u al valuepn toialpredict ionoutcometotalTruePositiveFalsePositiveFalseTrueNe-gativeNegativePN圖1混淆矩陣如圖1所示，在混淆矩陣中，每一個(gè)實(shí)例可以劃分為以下四種類型之一:真正(True Positive , TP)：被模

2、型預(yù)測為正的正樣本假正(False Positive , FP)：被模型預(yù)測為正的負(fù)樣本假負(fù)(False Negative ,FN)：被模型預(yù)測為負(fù)的正樣本真負(fù)(True Negative , TN)：被模型預(yù)測為負(fù)的負(fù)樣本真正率(True Positive Rate , TPR)【靈敏度(sensitivity)】：TPR = TP /(TP + FN)，即正樣 本預(yù)測結(jié)果數(shù)/正樣本實(shí)際數(shù)假負(fù)率(False Negative Rate , FNR) : FNR = FN /(TP + FN)，即被預(yù)測為負(fù)的正樣本結(jié)果 數(shù)/正樣本實(shí)際數(shù)假正率(False Positive Rate , FPR

3、) : FPR = FP /(FP + TN)，即被預(yù)測為正的負(fù)樣本結(jié)果 數(shù) /負(fù)樣本實(shí)際數(shù)真負(fù)率(True Negative Rate , TNR)【特指度(specificity)】：TNR = TN /(TN + FP)，即負(fù) 樣本預(yù)測結(jié)果數(shù)/負(fù)樣本實(shí)際數(shù)然后，由混淆矩陣計(jì)算評(píng)價(jià)指標(biāo)。精確度(Precision): P = TP/(TP+FP)召回率(Recall): R = TP/(TP+FN)，即真正率F-score：查準(zhǔn)率和查全率的調(diào)和平均值 更接近于P, R兩個(gè)數(shù)較小的那個(gè):F=2* P* R/(P+ R)準(zhǔn)確率(Aaccuracy):分類器對(duì)整個(gè)樣本的判定能力，即將正的判定為正

4、，負(fù)的判定為負(fù):A = (TP + TN)/(TP + FN + FP + TN)ROC(Receiver Operating CharacteristicROC的主要分析工具是一個(gè)畫在ROC空間的曲線ROC curve，橫坐標(biāo)為false positive rate(FPR)，縱坐標(biāo)為 true positive rate(TPR)。 如何畫ROC曲線？對(duì)于二值分類問題，實(shí)例的值往往是連續(xù)值，通過設(shè)定一個(gè)閾值，將實(shí)例分類到正類或 者負(fù)類(比如大于閾值劃分為正類)。因此，可以變化閾值，根據(jù)不同的閾值進(jìn)行分類，根 據(jù)分類結(jié)果計(jì)算得到ROC空間中相應(yīng)的點(diǎn)，連接這些點(diǎn)就形成ROC curveo RO

5、C curve經(jīng) 過(0,0) (1,1)，實(shí)際上(0,0)和(1,1)連線形成的ROC curve實(shí)際上代表的是一個(gè)隨機(jī)分類器。一 般情況下，這個(gè)曲線都應(yīng)該處于(0,0)和(1,1)連線的上方，如圖2所示。Fid*已 pOhicive jiite圖2 ROC曲線 ROC曲線上幾個(gè)關(guān)鍵點(diǎn)的解釋(TPR=0,FPR=0)：把每個(gè)實(shí)例都預(yù)測為負(fù)類的模型(TPR=1,FPR=1)：把每個(gè)實(shí)例都預(yù)測為正類的模型(TPR=1,FPR=0)：理想模型一個(gè)好的分類模型應(yīng)該盡可能靠近圖形的左上角，而一個(gè)隨機(jī)猜測模型應(yīng)位于連接點(diǎn) (TPR=0,FPR=0)和(TPR=1,FPR=1)的主對(duì)角線上。為什么使用ROC曲線？既然已經(jīng)這么多評(píng)價(jià)標(biāo)準(zhǔn)，為什么還要使用ROC和AUC呢？因?yàn)镽OC曲線有個(gè)很好 的特性：當(dāng)測試集中的正負(fù)樣本的分布變化的時(shí)候，ROC曲線能夠保持不變。在實(shí)際的數(shù) 據(jù)集中經(jīng)常會(huì)出現(xiàn)類不平衡(class imbalance)現(xiàn)象，即負(fù)樣本比正樣本多很多(或者相反)，而 且測試數(shù)據(jù)中的正負(fù)樣本的分布也可能隨著時(shí)間變化。6) AUC (AreaUnderrocCurve )AUC的值就是處于ROC curve下方的那部分面積的大小。通常，AUC的值介于0.5到 1.0之間，較大的AUC代表了較好