機器學(xué)習(xí)中評估分類模型性能的重要指標(biāo)分析總結(jié)

機器學(xué)習(xí)中評估分類模型性能的重要指標(biāo)分析總結(jié)構(gòu)建機器學(xué)習(xí)模型的想法應(yīng)基于建設(shè)性的反饋原則。你可以構(gòu)建模型，從指標(biāo)得到反饋，不斷改進(jìn)，直到達(dá)到理想的準(zhǔn)確度。評估指標(biāo)能體現(xiàn)模型的運轉(zhuǎn)情況。評估指標(biāo)的一個重要作用在于能夠區(qū)分眾多模型的結(jié)果。很多分析師和數(shù)據(jù)科學(xué)家甚至都不愿意去檢查其模型的魯棒性。一旦完成了模型的構(gòu)建，他們就會急忙將預(yù)測值應(yīng)用到不可見的數(shù)據(jù)上。這種方法不正確。我們的目的不能是簡單地構(gòu)建一個預(yù)測模型。目的是關(guān)于創(chuàng)建和選擇一個對樣本以外數(shù)據(jù)也能做到高精度的模型。因此，在計算預(yù)測值之前，檢查模型的準(zhǔn)確性至關(guān)重要。在這個行業(yè)中，大家會考慮用不同類型的指標(biāo)來評估模型。指標(biāo)的選擇完全取決于模型的類型和執(zhí)行模型的計劃。模型構(gòu)建完成后，這11個指標(biāo)將幫助評估模型的準(zhǔn)確性?？紤]到交叉驗證的日益普及和重要性，本文中也提到了它的一些原理。預(yù)測模型的類型說到預(yù)測模型，大家談?wù)摰囊词腔貧w模型(連續(xù)輸出)，要么是分類模型(離散輸出或二進(jìn)制輸出)。每種模型中使用的評估指標(biāo)都不同。在分類問題中，一般使用兩種類型的算法(取決于其創(chuàng)建的輸出類型)：.類輸出：SVM和KNN等算法創(chuàng)建類輸出。例如，在二進(jìn)制分類問題中，輸出值將為0或1。但如今，有算法可以將這些類輸出轉(zhuǎn)換為概率輸出。但是，統(tǒng)計圈并不是很樂意接受這些算法。.概率輸出：邏輯回歸(LogisticRegression)，隨機森林(RandomForest)，梯度遞增(GradientBoosting)，Adaboost等算法會產(chǎn)生概率輸出。將概率輸出轉(zhuǎn)換為類輸出只是創(chuàng)建一個閾值概率的問題。在回歸問題中，輸出時不會出現(xiàn)這種不一致性。輸出本來就是一直連續(xù)的，不需要進(jìn)一步處理。例證關(guān)于分類模型評估指標(biāo)的討論，筆者已在Kaggle平臺上對BCI挑戰(zhàn)做了預(yù)測。問題的解決方案超出了此處討論的范圍。但是，本文引用了訓(xùn)練集的最終預(yù)測。通過概率輸出預(yù)測該問題，假設(shè)閾值為0.5的情況下，將概率輸出轉(zhuǎn)換為類輸出。.混淆矩陣混淆矩陣是一個NXN矩陣，N是預(yù)測的類的數(shù)量。針對目前的問題，有N=2,因此得到一個2X2的矩陣。你需要記住以下這些關(guān)于混淆矩陣的定義：準(zhǔn)確性：正確預(yù)測的結(jié)果占總預(yù)測值的比重陽性預(yù)測值或查準(zhǔn)率：預(yù)測結(jié)果是正例的所有結(jié)果中，正確模型預(yù)測的比例陰性預(yù)測值：預(yù)測結(jié)果是負(fù)例的所有結(jié)果中，錯誤模型預(yù)測的比例。敏感度或查全率：在真實值是正例的結(jié)果中，正確模型預(yù)測的比重。特異度：在真實值是負(fù)例的所有結(jié)果中，正確模型預(yù)測的比重。ConiusionMatrixTargetPositiveNegativeModelPositiveabPositivePredictiveValuea/(a+b)NegativecdNegotivePredictrveValued/^c+d)SensitivitySpecificityAccuracy=^a4-d)/(a+b+c4-d)a/(a-c)d/(b+d)CountofIOTarget▼Modal ▼1OGrandTotalO -ZL 1-了舶GrandTotal 4dzL9* ]目前案例的準(zhǔn)確率達(dá)到88%。從以上兩個表中可以看出，陽性預(yù)測值很高，但陰性預(yù)測值很低，而敏感度和特異度一樣。這主要由選擇的閾值所造成，如果降低閾值，兩對截然不同的數(shù)字將更接近。通常，大家關(guān)注上面定義的指標(biāo)中的一項。例如，一家制藥公司，更關(guān)心的是最小錯誤陽性診斷。因此，他們會更關(guān)注高特異度。另一方面，消耗模型會更注重敏感度?；煜仃囃ǔH用于類輸出模型。.F1分?jǐn)?shù)在上一節(jié)中，討論了分類問題的查準(zhǔn)率和查全率，也強調(diào)了在用例中選擇查準(zhǔn)率和查全率的重要性。如果對于一個用例，想要試圖同時獲得最佳查準(zhǔn)率和查全率呢？ F1-Score是分類問題查準(zhǔn)率和查全率的調(diào)和平均值。其公式如下：F /recall_1+precision1\12precisioii?recall\ 2 I precision+recall現(xiàn)在，一個顯而易見的問題是，為什么采用調(diào)和平均值而不是算術(shù)平均值呢？這是因為調(diào)和平均值可以解決更多極值。通過一個例子來理解這一點。有一個二進(jìn)制分類模型的結(jié)果如下：查準(zhǔn)率：0,查全率：1這里，如果采用算術(shù)平均值，得到的結(jié)果是 0.5。很明顯，上面的結(jié)果是一個“傻子”分類器處理的，忽略了輸入，僅將其預(yù)測的其中一個類作為輸出?，F(xiàn)在，如果要取調(diào)和平均值，得到的結(jié)果就會是0,這是準(zhǔn)確的，因為這個模型對于所有的目的來說都是無用的。這看似很簡單。然而在有些情況下，數(shù)據(jù)科學(xué)家更關(guān)心查準(zhǔn)率和查全率的問題。稍稍改變上面的表達(dá)式，包含一個可調(diào)參數(shù)B來實現(xiàn)該目的，得出：

Fbeta衡量模型對用戶的有效性，用戶對查全率的重視程度是查準(zhǔn)率的8倍。3.增益圖和提升圖增益圖和提升圖主要用于檢查概率的順序。以下是構(gòu)建提升圖/增益圖的步驟：步驟1：計算每個樣本的概率。步驟2：按降序排列這些概率。步驟3：每組構(gòu)建十分位數(shù)時都有近10%的樣本。步驟4：計算每個十分位數(shù)的響應(yīng)率，分為Good(Responders)、Bad(Non-responders)和總數(shù)。你會獲得下表，需要據(jù)此繪制增增益圖或提升圖：lih/GalnCoIlhihaLabels,LlRi8111HkWrongs^PopulACicnCum拈Curri^PopLih^decileTotalLiftVW .0lgndTotal□%OH謁口為1Ml54M14?睇141%141%225425441或次闔坨141^141%3753714%嘛1碘42K13S9&141%弓152刈1疏曬10^X%13幅愴5卻524544［雌班1056小￡42如S4412%㈱10%82%120%［正/710444054d11K7%1<?534流IM怕134%83451995?盜22H1滁MraK124k.9$3529.S411%32M［調(diào)1W%明111帆UO加50%i4%10%156100%GrandToCal193.350WKI表格提供了大量信息。累積增益圖介于累計 ％Right和累計%Population圖之間。下面是對應(yīng)的案例圖：1DDY90%ac%tdJpEod發(fā)嗣70%tdJpEod發(fā)嗣SO%40%KM2C%10%0%30% 100%0% 2C% 40K 30% 100%KPopulation該圖會告訴你的模型responders與non-responders的分離程度。例如，第一個十分位數(shù)有10%的數(shù)量，和14%的responders。這意味著在第一個十分位數(shù)時有140%的升力。在第一個十分位數(shù)可以達(dá)到的最大升力是多少？從第一個表中可以知道responders的總數(shù)是3,850人，第一個十分位數(shù)也包含543個樣本。因此，第一個十分位數(shù)的最大升力值可能是543/3850約為14.1%。所以該模型近乎完美?，F(xiàn)在繪制升力曲線。升力曲線是總升力和%population之間的關(guān)系曲線。注意：對于隨機模型，此值始終穩(wěn)定在100%處。這是目前案例對應(yīng)的提升圖：也可以使用十分位數(shù)繪制十分位升力:這個圖說明什么？這表示模型運行到第7個十分位數(shù)都挺好。每個十分位數(shù)都會傾向non-responders。在3分位數(shù)和7分位數(shù)之間，任何升力在100%以上的模型（@十分位數(shù)）都是好模型。否則可能要先考慮采樣。提升圖或增益圖表廣泛應(yīng)用于目標(biāo)定位問題。這告訴我們，在特定的活動中，可以鎖定客戶在哪個十分位數(shù)上。此外，它會告訴你對新目標(biāo)數(shù)據(jù)期望的響應(yīng)量。K-S圖K-S或Kolmogorov-Smirnov圖表衡量分類模型的性能。更準(zhǔn)確地說，K-S是衡量正負(fù)例分布分離程度的指標(biāo)。如果分?jǐn)?shù)將人數(shù)劃分為單獨兩組，其中一組含所有正例，另一組含所有負(fù)例，則K-S值為100。另一方面，如果模型不能區(qū)分正例和負(fù)例，那么就如同模型從總體中隨機選擇案例一樣，K-S為0。在大多數(shù)分類模型中，K-S值將從0和100之間產(chǎn)生，并且值越高，模型對正例和負(fù)例的區(qū)分越好。對于以上案例，請看表格：

還可以繪制％CumulativeGood和Bad來查看最大分離。下面是示例圖：130%90%SO%70%60%50%40%30%20%10%0%1 2 3 1 2 3 4 5 6 7S3 13 11AUC曲線（AUC-ROC）這又是業(yè)內(nèi)常用的指標(biāo)之一。使用ROC曲線的最大優(yōu)點是不受responders比例變化的影響。下文會講得更清楚。首先試著去理解什么是ROC（接收器操作特性）曲線。如果看下面的混淆矩陣，就會觀察到對于概率模型，每個指標(biāo)的值不同。Con■fusionMatrixTargetPositive NegativeModelPositiveabPositivePredictiveValuea/(a+b)NegativecdNegativePredictiveValued/^c+d)SensitivitySpecificityAccuracy=相)a/(a-c)d/(b+d)因此，對于每種敏感度，都會有不同的特異度。兩者差異如下：ROC曲線是敏感度和（1-特異度）之間的曲線。（1-特異性）也稱為假正率，敏感度也稱為真正率。下圖本案例的ROC曲線。如你所見，此時敏感度為99.6%,（1-特異性）大約為60%。該坐標(biāo)在ROC曲線中成為點。為了將該曲線表達(dá)成數(shù)值，就要計算該曲線下的面積（AUC）。注意，整個正方形的面積是1*1=1。因此，AUC本身就是曲線下的比值和總面積。對于那個案例，得到 AUCROC的值為96.4%。以下是一些拇指規(guī)則（thumbrules）：0.90-1=優(yōu)秀（A）0.80-0.90=良好（B）0.70-0.80=一般（C）0.60-0.70二差（D）0.50-0.60=失?。‵）可以看出，目前的模型屬于優(yōu)秀范圍。但也可能只是過度擬合。這種情況下，驗證顯得迫在眉睫了。以下幾點需注意：一1.對于作為類輸出的模型，將在 ROC圖中用單個點表示。.這些模型無法相互比較，因為需要在單個指標(biāo)基礎(chǔ)上進(jìn)行判斷而不是多個指標(biāo)。例如，具有參數(shù)（0.2,0.8）的模型和具有參數(shù)（0.8,0.2）的模型可以來自相同的模型，因此不應(yīng)直接比較這些指標(biāo)。.在概率模型的情況下，有幸能得到一個AUC-ROC的單個數(shù)字。但是，仍然需要查看整個曲線去做最終決定。又可能是一個模型在某些范圍中性能更好，其他的在別的范圍中更好。使用ROC的優(yōu)點為什么要使用ROC而不是升力曲線等指標(biāo)？升力取決于人口的總響應(yīng)率。因此，如果人口的響應(yīng)率發(fā)生變化，同一模型將帶來不同的升力圖。解決這種問題的方案可以是真正的升力圖(在每個十分位數(shù)處找到升力值和完美模型升力值的比率)。但這種比例很少對企業(yè)有價值。另一方面，ROC曲線幾乎與響應(yīng)率無關(guān)。這是因為它有兩個來自混淆矩陣柱狀計算中的軸。在響應(yīng)率變化的情況下，x軸和y軸的分子和分母也會有相應(yīng)的改變。.對數(shù)損失確定模型性能時AUC-ROC會考慮預(yù)測概率。然而，AUCROC存在一個問題，就是只考慮概率的順序，因此忽略了模型對更可能是正樣本預(yù)測更高概率的能力。這種情況下，可以采取對數(shù)損失，它只是每個案例修正預(yù)測概率的對數(shù)的負(fù)平均值?！猏」。俱網(wǎng)必｝)+。-月)比雙】一同為))p(yi)是正類預(yù)測概率1-p(yi)是負(fù)類預(yù)測概率yi=1表示正類，0表示負(fù)類(實際值)隨機計算幾個值的對數(shù)損失，得出上述數(shù)學(xué)函數(shù)的要點.八、、：Logloss(1,0.1)=2.303Logloss(1,0.5)=0.693Logloss(1,0.9)=0.105如果繪制這種關(guān)系，曲線圖如下：從斜率向右下方逐漸平緩可以明顯看出，隨著預(yù)測概率的提高，對數(shù)損失值逐漸下降。不過反方向移動時，對數(shù)損失快速增加而預(yù)測概率趨近于0。因此，降低對數(shù)損失，對模型更好。但是，對于好的對數(shù)損失沒有絕對的衡量標(biāo)準(zhǔn)，它取決于用例或者應(yīng)用程序。雖然AUC是根據(jù)具有不同決策閾值的二進(jìn)制分類計算的，但對數(shù)損失實際上考慮了分類的“確定性”。.基尼系數(shù)基尼系數(shù)有時用于分類問題?；嵯禂?shù)可由AUCROC數(shù)直接導(dǎo)出?；嶂皇荝OC曲線和diagnol線之間的面積與上述三角形的面積之比。下面是使用公式：Gini=2*AUC-1基尼系數(shù)高于60%,模型就很好。對于目前的情況而言，基尼系數(shù)的值為92.7%。.Concordant-Discordantratio對于任何分類預(yù)測問題，這也是最重要的指標(biāo)之一。想要理解這個，先假設(shè)有3名學(xué)生今年有可能通過。以下是預(yù)測：A—0.9B-0.5C-0.3現(xiàn)在想象一下。如果從這三個學(xué)生中挑兩對，會有多少對？將有3種組合：AB、BC和CA?，F(xiàn)在，年底結(jié)束后，A和C通過了，而B沒有。不行，選擇所有配對，找到一個responder和其他non-responder。這樣的配對有多少？有兩對：AB和BC?，F(xiàn)在對于2對中的每一對，一致對(concordantpair)是responder的概率高于nonresponder的。而不一致的對(discordantpair)雖情況相反但也是如此。如果兩個概率相等，就稱之為相當(dāng)?shù)摹，F(xiàn)在來看看案例中發(fā)生了什么：AB-ConcordantBC-Discordant因此，在這個例子中50%的一致案例。一致率超過60%會被視為好模型。在決定鎖定客戶數(shù)量時，通常不使用此指標(biāo)標(biāo)準(zhǔn)。它主要用于測試模型的預(yù)測能力。像鎖定客戶數(shù)量的話，就再次采用KS圖或者提升圖。.均方根誤差RMSE是回歸問題中最常用的評估指標(biāo)。它遵循一個假設(shè)，即誤差無偏，遵循正態(tài)分布。以下是RMSE需要注意的要點：.“平方根”使該指標(biāo)能夠顯示很多偏差。.此指標(biāo)的“平方”特性有助于提供更強大的結(jié)果，從而防止取消正負(fù)誤差值。換句話說，該指標(biāo)恰當(dāng)?shù)仫@示了錯誤術(shù)語的合理幅度。.它避免使用絕對誤差值，這在數(shù)學(xué)計算中是極不希望看到的。.有更多樣本時，使用RMSE重建誤差分布被認(rèn)為更可m靠。.RMSE受異常值的影響很大。因此，請確保在使用此指標(biāo)之前已從數(shù)據(jù)集中刪除了異常值。.與平均絕對誤差相比，RMSE提供更高的權(quán)重并懲罰大錯誤。RMSE指標(biāo)由以下公式給出：|N￡iPredfctedj—Acfuo/J2RMSE=j- 其中，N是樣本總數(shù)。10.均方根對數(shù)誤差在均方根對數(shù)誤差的情況下，采用預(yù)測和實際值的對數(shù)。基本上，正在測量的方差就是變化。預(yù)測值和真值都很龐大時不希望處理預(yù)測值和實際值存在的巨大差異話通常采用RMSLE。RootMeanSquaredError(RMSE)RootMeanSquaredLogError(RMSLE)actual;畢三別RootMeanSquaredError(RMSE)RootMeanSquaredLogError(RMSLE)actual;畢三別1.如果預(yù)測值和實際值都很?。篟MSE和RMSLE相同。.如果預(yù)測值或?qū)嶋H值很大：RMSE>RMSLE.如果預(yù)測值和實際值都很大：RMSE>RMSLE（RMSLE幾乎可以忽略不計）11.R-Squared/AdjustedR-Squared已經(jīng)知道RMSE降低時，模型的性能將會提高。但僅憑這些值并不直觀。在分類問題的情況下，如果模型的準(zhǔn)確度為0.8,可以衡量模型對隨機模型的有效性，哪個準(zhǔn)確度為0.5。因此，隨機模型可以作為基準(zhǔn)。但是在談?wù)揜MSE指標(biāo)時，卻沒有比較基準(zhǔn)。這里可以使用R-Squared指標(biāo)。R-Squared的公式如下：9 ]MSE（niGtlel）MSE（baseline）"（照-仍產(chǎn)MSE（moclrl） gJMSE（bas^litic） 拜￡to-吊產(chǎn)MSE（模型）：預(yù)測值與實際值的平均誤差MSE（基線）：平均預(yù)測值與實際值的平均誤差換言之，與一個非常簡單的模型相比，回歸模型可以說很不錯了，一個簡單的模型只能預(yù)測訓(xùn)練集中目標(biāo)的平均值作為預(yù)測。AdjustedR-Squared調(diào)整后的可決系數(shù)（參考）模型表現(xiàn)與baseline相同時，R-Squared為0。模型越好，R2值越高。最佳模型含所有正確預(yù)測值時，R-Squared為1。但是，向模型添加新功能時，R-Squared值會增加或保持不變。R-Squared不會因添加了對模型無任何價值的功能而被判“處罰”。因此，R-Squared的改進(jìn)版本是經(jīng)過調(diào)整的R-Squared。調(diào)整后的R-Squared的公式如下：k：特征數(shù)量n：樣本數(shù)量如你所見，此指標(biāo)會考慮特征的數(shù)量。添加更多特征時，分母項n-（k+1）減小，因此整個表達(dá)式在增大。如果R-Squared沒有增大，那意味著添加的功能對模型沒有價值。因此總的來說，在1上減去一個更大的值，調(diào)整的r2,反而會減少。除了這11個指標(biāo)之外，還有另一種檢驗?zāi)Ｐ托阅?。這7種方法在數(shù)據(jù)科學(xué)中具有統(tǒng)計學(xué)意義。但是，隨著機器學(xué)習(xí)的到來，我們現(xiàn)在擁有更強大的模型選擇方法。沒錯！現(xiàn)在來談?wù)撘幌陆徊骝炞C。雖然交叉驗證不是真正的評估指標(biāo)，會公開用于傳達(dá)模型的準(zhǔn)確性。但交叉驗證提供了足夠直觀的數(shù)據(jù)來概括模型的性能?，F(xiàn)在來詳細(xì)了解交叉驗證。12.交叉驗證（雖然不是指標(biāo)?。┦紫葋砹私饨徊骝炞C的重要性。由于日程緊張，這些天筆者沒有太多時間去參加數(shù)據(jù)科學(xué)競賽。很久以前，筆者參加了Kaggle的TFI比賽。這里就不相信介紹筆者競賽情況了，我想向大家展示個人的公共和私人排行榜得分之間的差異。以下是Kaggle得分的一個例子！對于TFI比賽，以下是個人的三個解決方案和分?jǐn)?shù)（越小越好）：可以注意到，公共分?jǐn)?shù)最差的第三個條目成為了私人排行榜上的最佳模型。"submission_all.csv”之前有20多個模型，但筆者仍然選擇“submission_all.csv”作為最終條目（實踐證明確實很有效）。是什么導(dǎo)致了這種現(xiàn)象？筆者的公共和私人排行榜的差異是過度擬合造成的。模型變得高度復(fù)雜時，過度擬合也會開始捕捉噪音。這種“噪音”對模型沒有任何價值，只會讓其準(zhǔn)確度降低。下一節(jié)中，筆者將討論在真正了解測試結(jié)果之前，如何判斷解決方案是否過度擬合。概念：交叉驗證交叉驗證是任何類型數(shù)據(jù)建模中最重要的概念之一。就是說，試著留下一個樣本集，但并不在這個樣本集上訓(xùn)練模型，在最終確定模型之前測試依據(jù)該樣本集建立的模型。TrainingPoRidationIn-Time阮i/idationTrainingPoRidationIn-Time阮i/idationTrain上圖顯示了如何使用及時樣本集驗證模型。簡單地將人口分成2個樣本，在一個樣本上建立模型。其余人口用于及時驗證。上述方法會有不好的一面嗎？這種方法一個消極面就是在訓(xùn)練模型時丟失了大量數(shù)據(jù)。因此，模型的偏差會很大。這不會給系數(shù)做出最佳估測。那么下一個最佳選擇是什么？如果，將訓(xùn)練人口按50:50的比例分開，前50用于訓(xùn)練，后50用于驗證。然后兩組顛倒過來進(jìn)行實驗。通過這種方式，在整個人口基礎(chǔ)上訓(xùn)練模型，但一次只借用50%。這樣可以減少偏差，因為樣品選擇在一定程度上可以提供較小的樣本來訓(xùn)練模型。這種方法稱為2折交叉驗證。k折交叉驗證最后一個例子是從2折交叉驗證推斷到k折交叉驗證?，F(xiàn)在，嘗試將k折交叉驗證的過程可視化。這是一個7折交叉驗證。真實情況是這樣：將整個人口劃分為7個相同的樣本集?，F(xiàn)在在6個樣本集（綠色框）上訓(xùn)練模型，在1個樣本集（灰色框）上進(jìn)行驗證。然后，在第二次迭代中，使用不同的樣本集訓(xùn)練模型作為驗證。在7次迭代中，基本上在每個樣本集上都構(gòu)建了模型，同時作為驗證。這是一種降低選擇偏差、減少預(yù)測方差的方法。一旦擁有所有這7個模型，就可以利用平均誤差項找到最好的模型。這是如何幫助找到最佳（非過度擬合）模型的？k折交叉驗證廣泛用于檢查模型是否是過度擬合。如果k次建模中的每一次的性能指標(biāo)彼此接近，那么指標(biāo)的均值最高。在Kaggle比賽中，你可能更多地依賴交叉驗證分?jǐn)?shù)而不是Kaggle公共分?jǐn)?shù)。這樣就能確保公共分?jǐn)?shù)不單單是偶然出現(xiàn)。如何使用任何型號實現(xiàn)k折？R和Python中的k折編碼非常相似。以下是在Python中編碼k-fold的方法：fromsklearnimportcross_validationmodel=RandomForestClassifier(n_estimators=100)#S