模型評估與方法（課堂PPT）

1、第2章 模型評估與選擇22.1 經(jīng)驗誤差與過擬合2.2 評估方法2.3 性能度量2.4 比較檢驗2.5 偏差與方差32.1 經(jīng)驗誤差與過擬合經(jīng)驗誤差 VS 泛化誤差過擬合 VS 欠擬合452.2 評估方法2.2.1、留出法（hold-out）直接將數(shù)據(jù)集D劃分為兩個互斥的集合。2.2.2交叉驗證法（cross validation）將數(shù)據(jù)集D劃分為K個大小相似的互斥子集，每次用K-1個子集的并集作為訓(xùn)練集，余下的子集作為測試集。缺點比較：我們希望評估的是用D訓(xùn)練的模型。但在留出法和交叉驗證法中，由于保留了一部分樣本用于測試，因此實際評估的模型所使用的訓(xùn)練集比D小，這必然會引入一些因訓(xùn)練樣本規(guī)模

2、不同而導(dǎo)致的估計偏差。62.2.3 自助法 “自助法”是針對上述缺點的一個比較好的解決方案，它直接以自助采樣法為基礎(chǔ)。給定包含m個樣本的數(shù)據(jù)集D，我們對它進行采樣產(chǎn)生數(shù)據(jù)集D：每次隨機從D中挑選一個樣本，將其拷貝放入D，然后再將該樣本放回初始數(shù)據(jù)集D中，使得該樣本在下次采樣時仍有可能被采到；這個過程重復(fù)執(zhí)行m次后，我們就得到了包含m個樣本的數(shù)據(jù)集D，這就是自助采樣的結(jié)果。于是我們可將D用作訓(xùn)練集，DD用作測試集；這樣，實際評估的模型與期望評估的模型都使用m個訓(xùn)練樣本，而我們?nèi)杂袛?shù)據(jù)總量約1/3的、沒在訓(xùn)練集中出現(xiàn)的樣本用于測試。72.2.4 調(diào)參與最終模型 現(xiàn)實中常見的做法，是對每個參數(shù)選擇一

3、個范圍和變化步長，例如在0,0.2范圍內(nèi)以0.05為步長，則實際要評估的候選參數(shù)值是5個，最終從這5個值中產(chǎn)生選定值。82.3 性能度量衡量模型泛化能力的評價標準2.3.1 錯誤率與精度錯誤率是分類錯誤的樣本數(shù)占樣本總數(shù)的比例精度是分類正確的樣本數(shù)占樣本總數(shù)的比例9 真實情況預(yù)測結(jié)果正例反例正例TP（真正例）FN（假反例）反例FP（假正例）TN（真反例）10“平衡點”（Break-Event Point，簡稱BEP）,就是查準率與查全率時的取值。11 122.3.3 ROC和AUC 根據(jù)實值或概率預(yù)測結(jié)果，我們可以將測試樣本進行排序根據(jù)實值或概率預(yù)測結(jié)果，我們可以將測試樣本進行排序，“最可能”

4、是正例的排在前面“最不可能”是正例的排在最后面。分類過程相當于在這個排序中以某個“截斷點”將樣本分為兩個部分，前一部分判做正例，后一部分則判作反例。在不同的應(yīng)用任務(wù)中，我們可根據(jù)任務(wù)需求來采用不同的截斷點。 排序本身質(zhì)量的好壞排序本身質(zhì)量的好壞，體現(xiàn)了綜合考慮學(xué)習器在不同任務(wù)下的“期望泛化性能”的好壞，或者說“一般情況下”泛化性能的好壞。ROC曲線則是從排序本身質(zhì)量的好壞的排序本身質(zhì)量的好壞的角度角度來研究學(xué)習器泛化性能。13ROC全名“受試者工作特征”曲線，以“真正例率”為縱軸，以“假正例率”為橫軸。真正例率真正例率TPRTPR：真正例樣本數(shù)/真實情況是正例的樣本數(shù)（查全率）假正例率假正例率

5、FPRFPR：假正例樣本數(shù)/真實情況是是反例的樣本數(shù)基于基于ROCROC曲線的學(xué)習器性能評價規(guī)則曲線的學(xué)習器性能評價規(guī)則1. 1. 當曲線沒有交叉的時候當曲線沒有交叉的時候：外側(cè)曲線的學(xué)習器性能優(yōu)于內(nèi)側(cè)；2. 2. 當曲線有交叉的時候當曲線有交叉的時候：比較ROC曲線下的面積即 AUC (Area Under ROC Curve)142.3.4 代價敏感錯誤率與代價曲線 在現(xiàn)實任務(wù)匯總常會遇到這樣的情況：不同類型的錯誤所造成的后果不同。為權(quán)衡不同類型錯誤所造成的的不同損失，可為錯誤賦予“非均等代價”(unequal cost)。如下圖所示，正確判斷的代價顯然應(yīng)該為0，錯誤判斷的代價之間的比值會

6、影響我們對學(xué)習器的改造。 可令cost ij為把i類樣本錯判為j類樣本的代價，對所有類型錯誤的數(shù)量與其錯誤代價的乘積求和，再除以樣本總數(shù)量，就得到代價敏感（cost-sensitive）錯誤率。15在非均等代價下，ROC曲線不能直接反映出學(xué)習器的期望總體代價，而“代價曲線”則可以達到目的。代價曲線的橫軸是正例概率代價P(+)cost，縱軸是歸一化代價cost normp是樣例為正例的概率FPR是假正例率，F(xiàn)NR = 1 - TPR162.4 比較檢驗2.4.1假設(shè)檢驗 假設(shè)檢驗的基本思想是小概率反證法思想。小概率思想是指小概率事件（P0.01或P0.05）在一次試驗中基本上不會發(fā)生。反證法思想

7、是先提出假設(shè)(檢驗假設(shè)H0)，再用適當?shù)慕y(tǒng)計方法確定假設(shè)成立的可能性大小，如可能性小，則認為假設(shè)不成立，若可能性大，則還不能認為不假設(shè)成立。 172.4.2 交叉驗證t檢驗 基本思想基本思想：若兩個學(xué)習器的性能相同，則使用相同的訓(xùn)練/測試集得到的測試錯誤率應(yīng)相同。假設(shè)檢驗的前提假設(shè)檢驗的前提：測試錯誤率均為泛化錯誤率的獨立采樣。k k折交叉驗證產(chǎn)生的折交叉驗證產(chǎn)生的K K對測試錯誤率對測試錯誤率：先對每對結(jié)果求差，若兩個學(xué)習器性能相同則差值均值應(yīng)為0。因此根據(jù)差值對“學(xué)習器AB性能相同”做t檢驗，計算差值的均值和方差，在顯著度確定條件下，判斷變量是否小于臨界值，若小于則無顯著差別，否則可判斷平

8、均錯誤率較小的學(xué)習器性能較優(yōu)。因樣本有限，加查驗證不同輪次訓(xùn)練集有重疊，測試錯誤率實際上不獨立，會導(dǎo)致過高估計假設(shè)成立的概率。182.4.3McNemar檢驗 McNemar主要用于二分類問題，與成對t檢驗一樣也是用于比較兩個學(xué)習器的性能大小。主要思想是：若兩學(xué)習器的性能相同，則A預(yù)測正確B預(yù)測錯誤數(shù)應(yīng)等于B預(yù)測錯誤A預(yù)測正確數(shù)，即e01=e10，且|e01-e10|服從N（1，e01+e10）分布。192.4.4 Friedman檢驗和Nemenyi后續(xù)檢驗 上述的三種檢驗都只能在一組數(shù)據(jù)集上，F(xiàn)檢驗則可以在多組數(shù)據(jù)集進行多個學(xué)習器性能的比較，基本思想是在同一組數(shù)據(jù)集上，根據(jù)測試結(jié)果（例：測試錯誤率）對學(xué)習器的性能進行排序，賦予序值1,2,3，相同則平分序值，如下圖所示：20若學(xué)習器的性能相同，則它們的平均序值應(yīng)該相同，且第i個算法的平均序值ri服從正態(tài)分布N（k+1）/2，（k+1）(k-1)/12），則有： 21 222.5偏差與方差 偏差-方差分解(bias-variance decomposition)是解釋學(xué)習算法泛化性能的一種重要工具。算法的期望泛化