分類器模型評估指標(biāo)之混淆矩陣(二分類多分類)

1、分類器模型評估指標(biāo)之混淆矩陣（二分類多分類）1、混淆矩陣(ConfusionMatriix)混淆矩陣也稱誤差矩陣，是表示精度評價的一種標(biāo)準(zhǔn)格式，用n行n列的矩陣形式來表示。在人工智能中，混淆矩陣（confusionmatrix）是可視化工具，特別用于監(jiān)督學(xué)習(xí)，在無監(jiān)督學(xué)習(xí)一般叫做匹配矩陣（matchingmatrix）?；煜仃嚨拿恳涣写砹祟A(yù)測類別，每一列的總數(shù)表示預(yù)測為該類別的數(shù)據(jù)的數(shù)目；每一行代表了數(shù)據(jù)的真實歸屬類別，每一行的數(shù)據(jù)總數(shù)表示該類別的數(shù)據(jù)實例的數(shù)目。2、舉例說明（二分類/多分類）預(yù)測值1Q真實值1111030100判斷為1：判斷為0：11+0110+0C真實為L11+10真實

2、為0：01+00全部樣本之和：11+1001+00標(biāo)準(zhǔn)二分類混淆矩陣預(yù)測值f真實值心012a121多分類混淆矩陣（三分類）混淆矩陣中，永遠(yuǎn)是真實值在前，預(yù)測值在后。（以下說明都是以二分類為例，如果涉及多分類則會標(biāo)注）在二分類混淆矩陣中，可以很容易看出，11和00的對角線就是全部預(yù)測正確的，01和10的對角線就是全部預(yù)測錯誤的?；诨煜仃嚕覀冇辛鶄€不同的模型評估指標(biāo)，這些評估指標(biāo)的范圍都在0,1之間，所有以11和00為分子的指標(biāo)都是越接近1越好，所有以01和10為分子的指標(biāo)都是越接近0越好。首先解釋幾個接下來需要的概念：TruePositive（真正，TP）被模型預(yù)測為正的正樣本；TrueN

3、egative（真負(fù)，TN）被模型預(yù)測為負(fù)的負(fù)樣本；FalsePositive（假正，F(xiàn)P）被模型預(yù)測為正的負(fù)樣本；FalseNegative（假負(fù)，F(xiàn)N）被模型預(yù)測為負(fù)的正樣本;TruePositiveRate（真正率,TPR）或靈敏度（sensitivity）或召回率（recall）TPR=TP/（TP+FN）正樣本預(yù)測結(jié)果數(shù)/正樣本實際數(shù)TrueNegativeRate(真負(fù)率,TNR)或特指度(specificity)TNR=TN/（TN+FP）負(fù)樣本預(yù)測結(jié)果數(shù)/負(fù)樣本實際數(shù)FalsePositiveRate（假正率，F(xiàn)PR）FPR=FP/（FP+TN）被預(yù)測為正的負(fù)樣本結(jié)果數(shù)/負(fù)樣本

4、實際數(shù)FalseNegativeRate（假負(fù)率，F(xiàn)NR）FNR=FN/（TP+FN）被預(yù)測為負(fù)的正樣本結(jié)果數(shù)/正樣本實際數(shù)對于所有的指標(biāo)，我們用橙色表示分母，用綠色表示分子，則我們有:（1）模型整體效果：準(zhǔn)確率（Accuracy）預(yù)測值114-1001+001D真實值J11010011+0110十0011+10+01400d11-00Accuracy=-_二分類準(zhǔn)確率準(zhǔn)確率Accuracy就是所有預(yù)測正確的所有樣本除以總樣本，通常來說越接近1越好。【三分類中/多分類中】Accuracy=（2）精確度/查準(zhǔn)率Precision預(yù)測值二分類精確度精確度Precision，又叫查準(zhǔn)率，表示所有被我

5、們預(yù)測為是正類的樣本中，真正的正類所占的比例。分母是列總和?！救诸愔?多分類中】(0類）Precision=（1類）Precision（2類）Precision召回率/真正率Recall/TPR預(yù)測值1141010真實值111100Cl0001-FDD114-0110+00H10+01+00Recall=二分類召回率召回率Recall,又被稱為敏感度(sensitivity)，真正率，查全率，表示所有正樣本中，被我們真實預(yù)測正確的樣本所占的比例。分母是行總和?！救诸愔?多分類中】（0類）Recall（1類）Recall=（2類）Recall=注意召回率和精確度的分子是相同的，只是分母不同。

6、而召回率和精確度是此消彼長的。精確度和召回率平衡綜合性指標(biāo)：F1measure為了同時兼顧精確度和召回率，我們創(chuàng)造了兩者的調(diào)和平均數(shù)作為考量兩者平衡的綜合性指標(biāo)，稱之為Flmeasure。兩個數(shù)之間的調(diào)和平均傾向于靠近兩個數(shù)中比較小的那一個數(shù)，因此我們追求盡量高的F1measure，能夠保證我們的精確度和召回率都比較高。F1measure在0,1之間分布，越接近1越好。22+Precision+RecallF-measure=1-IiPrecision+RecallPredffiffnRecallF1一measure計算公式假負(fù)率(FalseNegativeRate)FNR假負(fù)率用于衡量所有真

7、實為正的樣本中，被錯誤判斷為負(fù)的，它等于1-Recallo(二分類)舉例：FNR=（6）真負(fù)率（TrueNegativeRate）TNR預(yù)測值10真實值11110I11-10D01003143D11+0110+0911+10+01+00T拠=為刀類真負(fù)率特異度（Specificity）表示所有負(fù)樣本中，被真實預(yù)測為負(fù)的樣本所占的比例。【三分類中/多分類中】（0類）TNR=（1類）TNR=（2類）TNR=（7）假正率（FalsePositiveRate）FPR假負(fù)率用于衡量所有真實為負(fù)的樣本中，被錯誤判斷為正的，它等于1-TNR。舉例：FPR=（二分類）假正率其實類似于Precision的反向指標(biāo)?？偨Y(jié)：FPR（假正率）+TNR（真負(fù)率）=1;FNR（假負(fù)率）+TRPR（i真正率）=1求出真正率/召回率和真負(fù)率/特異度，就可以得到假正率和假負(fù)率。以上多分類例子是以三分類為例，四分類五分類多分類都是一樣的性質(zhì)。對于多分類，假使針對類別0,那1,2類都算是負(fù)類；針對類別1,那么0,2類都算是負(fù)類；針對類別2,那么0,1類都算是負(fù)類。3、測試真實預(yù)測01201010101401604025520分類討論以上混淆矩陣類別0、類別1和類別2的FP、TP、FN、TN。答案如下：對于類