機(jī)器學(xué)習(xí)第2章 模型評(píng)估與選擇課件

第2章模型評(píng)估與選擇機(jī)器學(xué)習(xí)第2章模型評(píng)估與選擇主要內(nèi)容經(jīng)驗(yàn)誤差與過(guò)擬合評(píng)估方法性能度量比較檢驗(yàn)偏差與方差機(jī)器學(xué)習(xí)第2章模型評(píng)估與選擇誤差誤差（error）：學(xué)習(xí)器實(shí)際預(yù)測(cè)輸出與樣本真實(shí)輸出之間的差異訓(xùn)練集：訓(xùn)練誤差（trainingerror），（經(jīng)驗(yàn)誤差，empiricalerror）訓(xùn)練集的補(bǔ)集：泛化誤差（generalizationerror）我們希望泛化誤差小的學(xué)習(xí)器機(jī)器學(xué)習(xí)第2章模型評(píng)估與選擇過(guò)擬合過(guò)擬合（overfitting）：訓(xùn)練過(guò)度使泛化能力下降欠擬合（underfitting）：未能學(xué)好訓(xùn)練樣本的普遍規(guī)律過(guò)擬合是機(jī)器學(xué)習(xí)的關(guān)鍵障礙且不可避免！模型誤差包含了數(shù)據(jù)誤差，或者說(shuō)模型信息中包含了噪聲。機(jī)器學(xué)習(xí)第2章模型評(píng)估與選擇學(xué)習(xí)器泛化評(píng)估——實(shí)驗(yàn)測(cè)試

機(jī)器學(xué)習(xí)第2章模型評(píng)估與選擇測(cè)試方法數(shù)學(xué)表達(dá)注意事項(xiàng)優(yōu)缺點(diǎn)留出法（hold-out）分層采樣（stratifiedsampling）重復(fù)試驗(yàn)取平均評(píng)估結(jié)果測(cè)試集小，評(píng)估結(jié)果方差較大訓(xùn)練集小，評(píng)估結(jié)果偏差較大交叉驗(yàn)證法（crossvalidation）留一法（Leave-One-Out，LOO）每次使用一個(gè)樣本驗(yàn)證不受隨機(jī)樣本劃分方式影響數(shù)據(jù)量大時(shí)計(jì)算量大自助法（bootstrapping）可重復(fù)采樣/有放回采樣數(shù)據(jù)集較小有用改變初始數(shù)據(jù)集的分布，引入偏差機(jī)器學(xué)習(xí)第2章模型評(píng)估與選擇調(diào)參與最終模型

機(jī)器學(xué)習(xí)第2章模型評(píng)估與選擇性能度量

機(jī)器學(xué)習(xí)第2章模型評(píng)估與選擇任務(wù)需求——以二分類(lèi)為例

機(jī)器學(xué)習(xí)第2章模型評(píng)估與選擇多混淆矩陣

機(jī)器學(xué)習(xí)第2章模型評(píng)估與選擇ROC與AUC

機(jī)器學(xué)習(xí)第2章模型評(píng)估與選擇代價(jià)敏感錯(cuò)誤率與代價(jià)曲線

機(jī)器學(xué)習(xí)第2章模型評(píng)估與選擇比較檢驗(yàn)

機(jī)器學(xué)習(xí)第2章模型評(píng)估與選擇單個(gè)學(xué)習(xí)器

機(jī)器學(xué)習(xí)第2章模型評(píng)估與選擇一個(gè)數(shù)據(jù)集多個(gè)學(xué)習(xí)器

機(jī)器學(xué)習(xí)第2章模型評(píng)估與選擇多個(gè)數(shù)據(jù)集和多個(gè)學(xué)習(xí)器

機(jī)器學(xué)習(xí)第2章模型評(píng)估與選擇偏差與方差

機(jī)器學(xué)習(xí)第2章