05-模型選擇和評價

模型選擇和評價王秋月中國人民大學(xué)信息學(xué)院如何選擇模型？對一個給定的有監(jiān)督學(xué)習(xí)任務(wù)，應(yīng)該選擇哪個學(xué)習(xí)模型？如何選擇該模型的最優(yōu)參數(shù)？如何估計訓(xùn)練好的模型在學(xué)習(xí)樣例之外的數(shù)據(jù)上可能的性能？模型評價（1）訓(xùn)練精度（trainingaccuracy）在整個數(shù)據(jù)集上訓(xùn)練模型并在同一個數(shù)據(jù)集上測試模型，得到模型的預(yù)測結(jié)果，和真實結(jié)果做比較，計算模型的精度問題：機(jī)器學(xué)習(xí)的目標(biāo)是期望模型能在學(xué)習(xí)樣例之外的數(shù)據(jù)上有好的表現(xiàn)（面向未來，而不是過去）最大化訓(xùn)練精度，通常會產(chǎn)生過于復(fù)雜的模型，從而導(dǎo)致過擬合，模型不能很好地泛化010 20NumberofMalignantNodes6040200K=160402010 20NumberofMalignantNodes4K=34K值會影響判定邊界XYModelTrue

FunctionSamplesXYX5YPolynomialDegree

=

1 PolynomialDegree=

4PolynomialDegree=

15不同復(fù)雜度的模型YModelTrue

FunctionSamplesXYYPolynomialDegree

=

1 PolynomialDegree=

4PolynomialDegree=

15XPooratTrainingPoorat

PredictingJust

RightXGoodatTrainingPoorat

Predicting6不同模型的泛化能力XYModelTrue

FunctionSamplesXYXYPolynomialDegree=

1PolynomialDegree=

4PolynomialDegree=

15UnderfittingJust

RightOverfitting7欠擬合與過擬合欠擬合和過擬合都會導(dǎo)致較大的泛化誤差。監(jiān)督學(xué)習(xí)中的誤差來源Error=Bias2+Variance+Noise偏差（Bias）：模型的期望輸出值（即用不同數(shù)據(jù)集訓(xùn)練出的所有模型輸出的平均值）與真實值之間的差異。即學(xué)習(xí)算法的期望預(yù)測與真實結(jié)果的偏離程度，刻畫了學(xué)習(xí)算法本身的擬合能力。方差（Variance）：用不同數(shù)據(jù)集訓(xùn)練出的模型的輸出值之間的差異。即數(shù)據(jù)的變動所導(dǎo)致的學(xué)習(xí)性能的變化，刻畫了學(xué)習(xí)算法的穩(wěn)定性。偏差與方差偏差-方差權(quán)衡YModelTrue

FunctionSamplesXYYPolynomialDegree=

1PolynomialDegree=

4PolynomialDegree=

15XHighBiasLow

VarianceJust

RightXLowBiasHigh

Variance11偏差-方差權(quán)衡模型評價（2）測試精度（testingaccuracy)把數(shù)據(jù)集劃分成兩個子集：訓(xùn)練集和測試集在訓(xùn)練集上訓(xùn)練模型在測試集上測試模型，并計算精度劃分訓(xùn)練集和測試集測試數(shù)據(jù)14劃分訓(xùn)練集和測試集訓(xùn)練數(shù)據(jù)訓(xùn)練模型訓(xùn)練數(shù)據(jù)

評價模型

-用模型預(yù)測類別標(biāo)簽-和真實值比較-計算誤差15測試數(shù)據(jù)使用訓(xùn)練集和測試集0.01.02.00.01.02.0x108x1081.0162.03.04.0x108x1081.02.03.04.0訓(xùn)練數(shù)據(jù)測試數(shù)據(jù)使用訓(xùn)練集和測試集0.01.02.00.0x108x1081.02.03.04.0x108x1081.02.03.04.0訓(xùn)練數(shù)據(jù)測試數(shù)據(jù)1.0 2.0訓(xùn)練模型17使用訓(xùn)練集和測試集0.01.0 2.00.01.02.0x108x1081.02.03.04.0x108x1081.02.03.04.0訓(xùn)練數(shù)據(jù)測試數(shù)據(jù)預(yù)測18使用訓(xùn)練集和測試集0.00.01.02.0x108x1081.02.03.04.0x108x1081.02.03.04.0訓(xùn)練數(shù)據(jù)測試數(shù)據(jù)1.0 2.0計算誤差（或精度）19使用訓(xùn)練集和測試集20導(dǎo)入劃分訓(xùn)練集和測試集的函數(shù)：fromsklearn.model_selectionimporttrain_test_split劃分?jǐn)?shù)據(jù)集，測試集數(shù)據(jù)占全集的30%：train,test=train_test_split(data,test_size=0.3)劃分訓(xùn)練集和測試集的語法/stable/modules/generated/sklearn.model_selection.train_test_split.html21超越單個測試集：交叉驗證驗證數(shù)據(jù)訓(xùn)練數(shù)據(jù)0.0 1.0 2.00.01.02.0x108x1081.02.03.04.0x108x1081.02.03.04.0訓(xùn)練數(shù)據(jù)測試數(shù)據(jù)對這個測試集的最優(yōu)模型22超越單個測試集：交叉驗證23超越單個測試集：交叉驗證驗證數(shù)據(jù)1訓(xùn)練數(shù)據(jù)124驗證數(shù)據(jù)2訓(xùn)練數(shù)據(jù)2超越單個測試集：交叉驗證25超越單個測試集：交叉驗證驗證數(shù)據(jù)3訓(xùn)練數(shù)據(jù)326超越單個測試集：交叉驗證驗證數(shù)據(jù)4訓(xùn)練數(shù)據(jù)427超越單個測試集：交叉驗證error????????crossvalidation

error??????????????training

error28模型復(fù)雜度與誤差error????????crossvalidation

error??????????????training

error29模型復(fù)雜度與誤差YModelTrue

FunctionSamplesPolynomialDegree=

1error????????crossvalidation

error??????????????training

error30模型復(fù)雜度與誤差欠擬合：訓(xùn)練誤差和交叉驗證誤差都很高YPolynomialDegree=

15ModelTrue

FunctionSamples31模型復(fù)雜度與誤差error????????crossvalidation

error??????????????training

error過擬合：訓(xùn)練誤差低，交叉驗證誤差高error????????crossvalidation

error??????????????training

errorYPolynomialDegree=

4ModelTrue

FunctionSamples32模型復(fù)雜度與誤差33導(dǎo)入劃分訓(xùn)練集和測試集的函數(shù)：fromsklearn.model_selectionimport

cross_val_score用一個給定的模型執(zhí)行交叉驗證：cross_val=cross_val_score(KNN,X_data,y_data,

cv=4,scoring='neg_mean_squared_error')交叉驗證的語法/stable/modules/generated/sklearn.model_selection.cross_val_score.html34導(dǎo)入劃分訓(xùn)練集和測試集的函數(shù)：fromsklearn.model_selectionimport

cross_val_score用一個給定的模型執(zhí)行交叉驗證：cross_val=cross_val_score(KNN,X_data,y_data,

cv=4,scoring='neg_mean_squared_error')交叉驗證的語法其他CVsplitter：

LeaveOneOut,ShuffleSplit,StratifiedShuffleSplit……/stable/modules/cross_validation.htmlcv的可能取值：None,tousethede