分類器的評估分析課件

分類器的評估張英分類器的評估張英混淆矩陣與分類準(zhǔn)確率多分類問題的混淆矩陣預(yù)測結(jié)果類c1c2……ck總實際類c1c2……ck總n準(zhǔn)確率誤分類率混淆矩陣與分類準(zhǔn)確率多分類問題的混淆矩陣預(yù)測結(jié)果類c1c2…分類模型的評價指標(biāo)1.準(zhǔn)確率與誤分類率準(zhǔn)確率=(tp+tn))/(tp+fn+fp+tn)誤分類率=(fn+fp)/(tp+fn+fp+tn)真正率（靈敏度）=tp/(tp+fn)真負(fù)率（特指度）=tn/(fp+tn)假正率

=fp/(fp+tn)假負(fù)率

=fn/(tp+fn)二分類問題的混淆矩陣預(yù)測結(jié)果類+-總實際類+tpfntp+fn-fptnfp+tn總tp+fpfn+tntp+fn+fp+tn分類模型的評價指標(biāo)1.準(zhǔn)確率與誤分類率二分類問題的混淆矩陣不平衡分布類二類分類問題的混淆矩陣預(yù)測結(jié)果類+10-90實際類+5++(tp)3+-(fn)2-95-+(fp)7—(tn)88誤分類率：9%真正率：60%不平衡分布類二類分類問題的混淆矩陣預(yù)測結(jié)果類+10-90+5評估指標(biāo)2.精度P=tp/(tp+fp)

3.召回率（真正率、靈敏度）R=tp/(tp+fn)4.FSCORE精度和召回率

的調(diào)和均值：召回率和精度的權(quán)重相同：F=2RP/(R+P)將召回率的權(quán)重設(shè)為精度的β倍：二分類問題的混淆矩陣預(yù)測結(jié)果類+-總實際類+tpfntp+fn-fptnfp+tn總tp+fpfn+tntp+fn+fp+tn評估指標(biāo)2.精度二分類問題的混淆矩陣預(yù)測結(jié)果類+-評估指標(biāo)二分類問題的誤分類代價預(yù)測結(jié)果類+-總實際類+C(+,+)C(+,-)C(+,+)*TP+C(+,-)*FN-C(-,+)C(-,-)C(-,+)*FP+C(-,-)*TN誤分類代價

（成本或收益）

誤分類代價對稱C(+,+)=C(-,-)=0C(+,-)=C(-,+)=1誤分類代價不對稱關(guān)注預(yù)測為正類成本角度收益角度二分類問題的混淆矩陣預(yù)測結(jié)果類+-總實際類+tpfntp+fn-fptnfp+tn評估指標(biāo)二分類問題的誤分類代價預(yù)測結(jié)果類+-總實際+C(+,預(yù)測性能評估指標(biāo)的選擇平衡分布類，對稱誤分類代價準(zhǔn)確率、誤分類率，精度不平衡分布類，對稱誤分類代價

精度，召回率，F(xiàn)SCORE不對稱誤分類代價成本或收益預(yù)測性能評估指標(biāo)的選擇平衡分布類，對稱誤分類代價模型評估方法Hold方法將數(shù)據(jù)分成訓(xùn)練集和驗證（測試）集，一般按照2:1比例劃分，以驗證集指標(biāo)進(jìn)行評估；多次隨機(jī)采樣進(jìn)行N次上述（1）的隨機(jī)采樣，然后計算N個測試精度的平均值自助法（bootstrap)（最常用的.632自助法）進(jìn)行N次有放回的均勻采樣，獲得的數(shù)據(jù)集作為訓(xùn)練集，原數(shù)據(jù)集中未被抽中的其它觀測形成驗證集?？芍貜?fù)K次，計算準(zhǔn)確率：模型評估方法Hold方法模型評估方法交叉驗證數(shù)據(jù)集小的時候，可將數(shù)據(jù)集分成K個不相交的等大數(shù)據(jù)子集，每次將K-1個數(shù)據(jù)集作為訓(xùn)練集，將1個數(shù)據(jù)集作為驗證（測試）集，得到K個測試精度，然后計算K個測試指標(biāo)的平均值。留一交叉驗證：K=N；分層交叉驗證：每個部分中保持目標(biāo)變量的分布。模型評估方法交叉驗證不同分類器預(yù)測準(zhǔn)確度差異的顯著性檢驗T檢驗（自由度為K-1）以交叉驗證為例（k為驗證集觀測分折數(shù)）：相同驗證集：不同驗證集：不同分類器預(yù)測準(zhǔn)確度差異的顯著性檢驗T檢驗（自由度為K-1）分類器預(yù)測準(zhǔn)確度置信區(qū)間分類器預(yù)測真正準(zhǔn)確度p=其中：N：驗證集觀測個數(shù)；acc：基于當(dāng)前驗證集分類器的準(zhǔn)確度；分類器預(yù)測準(zhǔn)確度置信區(qū)間分類器預(yù)測真正準(zhǔn)確度p=ROC曲線（receiveroperatingcharacteristic)曲線下方面積越大，模型越好，即曲線與y軸正向的夾角越小越好。真正率假正率二分類問題的混淆矩陣預(yù)測結(jié)果類+-總實際類+tpfntp+fn-fptnfp+tn總tp+fpfn+tntp+fn+fp+tnROC曲線（receiveroperatingchara制作ROC曲線驗證集共有10個觀測，其中正類（P類）5個，負(fù)類（N類）5個將驗證集各觀測按照預(yù)測為正類的概率降序排列，每個觀測計算對應(yīng)的真正率和假正率，形成一個點。制作ROC曲線驗證集共有10個觀測，其中正類（P類）5個，負(fù)提升圖假定：目標(biāo)變量的取值為GOOD和BADN為驗證集觀測個數(shù)；RGOOD為驗證集目標(biāo)變量取值為GOOD的觀測個數(shù)；p_good為驗證集目標(biāo)變量

預(yù)測為GOOD的概率值；驗證集的混淆矩陣預(yù)測結(jié)果類goodbad總實際類goodtpfnRGOODbadfptnRbad總N提升圖假定：驗證集的混淆矩陣預(yù)測goodbad總實good繪制提升圖1.將驗證集各觀測按照p_good降序排列,等分成10組。2.以10個分組為橫坐標(biāo)

以下指標(biāo)分別為縱坐標(biāo)：%response：每組中實際為GOOD的觀測個數(shù)占本組總個數(shù)的比例;%capturedresponse:每組中實際為GOOD的觀測個數(shù)占RGOOD的比例;%cumulativeresponse:前面各組中實際為GOOD的觀測個數(shù)占前面各組總個數(shù)的比例%cumulativecapturedresponse:前面各組中實際為GOOD的觀測個數(shù)占RGOOD的比例。liftvalue=使用模型以后的%response/不使用任何模型進(jìn)行決策的%response繪制提升圖1.將驗證集各觀測按照p_good降序排列,等分成提升圖某公司發(fā)送了1000封廣告郵件，有200個客戶響應(yīng)了郵件（即由于收到郵件而在該公司產(chǎn)生了消費行為）。每個10分位（100個觀測）的響應(yīng)者個數(shù)根據(jù)對驗證數(shù)據(jù)集的計算得到。提升圖某公司發(fā)送了1000封廣告郵件，有200個客戶響應(yīng)決策閾值選擇根據(jù)每個觀測預(yù)測為每個目標(biāo)類的概率決定該觀測的目標(biāo)類值。對二分類：

理論閾值p=1/(1+1/B)B=C（-，+）/C（+，-）根據(jù)提升圖和實際業(yè)務(wù)背景選擇合適的分組比例。根據(jù)分組比例決定最終決策閾值。決策閾值選擇根據(jù)每個觀測預(yù)測為每個目標(biāo)類的概率決定該觀測的目提高分類準(zhǔn)確率技術(shù)—組合分類提高分類準(zhǔn)確率技術(shù)—組合分類組合分類方法有放回抽樣產(chǎn)生多個樣本裝袋：多數(shù)表決決定最終結(jié)果提升（adaboost)隨機(jī)森林：多顆決策樹，隨機(jī)屬性選擇組合分類方法有放回抽樣產(chǎn)生多個樣本組合方法聯(lián)合方法處理多類問題的方法組合方法聯(lián)合方法不平衡分布類處理技術(shù)抽樣技術(shù)過抽樣技術(shù)對稀有類重復(fù)抽樣欠抽樣技術(shù)對多數(shù)類隨機(jī)抽樣混合抽樣技術(shù)閾值移動技術(shù)組合技術(shù)不平衡分布類處理技術(shù)抽樣技術(shù)分類器性能指標(biāo)運行速度魯棒性（對噪聲和缺失值的適應(yīng)性）可伸縮性（對數(shù)據(jù)規(guī)模擴(kuò)大的適應(yīng)性）可解釋性分類器性能指標(biāo)運行速度分類器的評估張英分類器的評估張英混淆矩陣與分類準(zhǔn)確率多分類問題的混淆矩陣預(yù)測結(jié)果類c1c2……ck總實際類c1c2……ck總n準(zhǔn)確率誤分類率混淆矩陣與分類準(zhǔn)確率多分類問題的混淆矩陣預(yù)測結(jié)果類c1c2…分類模型的評價指標(biāo)1.準(zhǔn)確率與誤分類率準(zhǔn)確率=(tp+tn))/(tp+fn+fp+tn)誤分類率=(fn+fp)/(tp+fn+fp+tn)真正率（靈敏度）=tp/(tp+fn)真負(fù)率（特指度）=tn/(fp+tn)假正率

=fp/(fp+tn)假負(fù)率

=fn/(tp+fn)二分類問題的混淆矩陣預(yù)測結(jié)果類+-總實際類+tpfntp+fn-fptnfp+tn總tp+fpfn+tntp+fn+fp+tn分類模型的評價指標(biāo)1.準(zhǔn)確率與誤分類率二分類問題的混淆矩陣不平衡分布類二類分類問題的混淆矩陣預(yù)測結(jié)果類+10-90實際類+5++(tp)3+-(fn)2-95-+(fp)7—(tn)88誤分類率：9%真正率：60%不平衡分布類二類分類問題的混淆矩陣預(yù)測結(jié)果類+10-90+5評估指標(biāo)2.精度P=tp/(tp+fp)

3.召回率（真正率、靈敏度）R=tp/(tp+fn)4.FSCORE精度和召回率

的調(diào)和均值：召回率和精度的權(quán)重相同：F=2RP/(R+P)將召回率的權(quán)重設(shè)為精度的β倍：二分類問題的混淆矩陣預(yù)測結(jié)果類+-總實際類+tpfntp+fn-fptnfp+tn總tp+fpfn+tntp+fn+fp+tn評估指標(biāo)2.精度二分類問題的混淆矩陣預(yù)測結(jié)果類+-評估指標(biāo)二分類問題的誤分類代價預(yù)測結(jié)果類+-總實際類+C(+,+)C(+,-)C(+,+)*TP+C(+,-)*FN-C(-,+)C(-,-)C(-,+)*FP+C(-,-)*TN誤分類代價

（成本或收益）

誤分類代價對稱C(+,+)=C(-,-)=0C(+,-)=C(-,+)=1誤分類代價不對稱關(guān)注預(yù)測為正類成本角度收益角度二分類問題的混淆矩陣預(yù)測結(jié)果類+-總實際類+tpfntp+fn-fptnfp+tn評估指標(biāo)二分類問題的誤分類代價預(yù)測結(jié)果類+-總實際+C(+,預(yù)測性能評估指標(biāo)的選擇平衡分布類，對稱誤分類代價準(zhǔn)確率、誤分類率，精度不平衡分布類，對稱誤分類代價

精度，召回率，F(xiàn)SCORE不對稱誤分類代價成本或收益預(yù)測性能評估指標(biāo)的選擇平衡分布類，對稱誤分類代價模型評估方法Hold方法將數(shù)據(jù)分成訓(xùn)練集和驗證（測試）集，一般按照2:1比例劃分，以驗證集指標(biāo)進(jìn)行評估；多次隨機(jī)采樣進(jìn)行N次上述（1）的隨機(jī)采樣，然后計算N個測試精度的平均值自助法（bootstrap)（最常用的.632自助法）進(jìn)行N次有放回的均勻采樣，獲得的數(shù)據(jù)集作為訓(xùn)練集，原數(shù)據(jù)集中未被抽中的其它觀測形成驗證集?？芍貜?fù)K次，計算準(zhǔn)確率：模型評估方法Hold方法模型評估方法交叉驗證數(shù)據(jù)集小的時候，可將數(shù)據(jù)集分成K個不相交的等大數(shù)據(jù)子集，每次將K-1個數(shù)據(jù)集作為訓(xùn)練集，將1個數(shù)據(jù)集作為驗證（測試）集，得到K個測試精度，然后計算K個測試指標(biāo)的平均值。留一交叉驗證：K=N；分層交叉驗證：每個部分中保持目標(biāo)變量的分布。模型評估方法交叉驗證不同分類器預(yù)測準(zhǔn)確度差異的顯著性檢驗T檢驗（自由度為K-1）以交叉驗證為例（k為驗證集觀測分折數(shù)）：相同驗證集：不同驗證集：不同分類器預(yù)測準(zhǔn)確度差異的顯著性檢驗T檢驗（自由度為K-1）分類器預(yù)測準(zhǔn)確度置信區(qū)間分類器預(yù)測真正準(zhǔn)確度p=其中：N：驗證集觀測個數(shù)；acc：基于當(dāng)前驗證集分類器的準(zhǔn)確度；分類器預(yù)測準(zhǔn)確度置信區(qū)間分類器預(yù)測真正準(zhǔn)確度p=ROC曲線（receiveroperatingcharacteristic)曲線下方面積越大，模型越好，即曲線與y軸正向的夾角越小越好。真正率假正率二分類問題的混淆矩陣預(yù)測結(jié)果類+-總實際類+tpfntp+fn-fptnfp+tn總tp+fpfn+tntp+fn+fp+tnROC曲線（receiveroperatingchara制作ROC曲線驗證集共有10個觀測，其中正類（P類）5個，負(fù)類（N類）5個將驗證集各觀測按照預(yù)測為正類的概率降序排列，每個觀測計算對應(yīng)的真正率和假正率，形成一個點。制作ROC曲線驗證集共有10個觀測，其中正類（P類）5個，負(fù)提升圖假定：目標(biāo)變量的取值為GOOD和BADN為驗證集觀測個數(shù)；RGOOD為驗證集目標(biāo)變量取值為GOOD的觀測個數(shù)；p_good為驗證集目標(biāo)變量

預(yù)測為GOOD的概率值；驗證集的混淆矩陣預(yù)測結(jié)果類goodbad總實際類goodtpfnRGOODbadfptnRbad總N提升圖假定：驗證集的混淆矩陣預(yù)測goodbad總實good繪制提升圖1.將驗證集各觀測按照p_good降序排列,等分成10組。2.以10個分組為橫坐標(biāo)

以下指標(biāo)分別為縱坐標(biāo)：%response：每組中實際為GOOD的觀測個數(shù)占本組總個數(shù)的比例;%capturedresponse:每組中實際為GOOD的觀測個數(shù)占RGOOD的比例;%cumulativeresponse:前面各組中實際為GOOD的觀測個數(shù)占前面各組總個數(shù)的比例%cumulativecapturedresponse:前面各組中實際為GOOD的觀測個數(shù)占RGOOD的比例。liftva