深度學習案例教程 課件6.4交叉驗證原理

第四節(jié)

交叉驗證交叉驗證是一種強大的模型驗證技術，它能幫助我們更好地理解模型對未知數(shù)據(jù)的預測性能。在數(shù)據(jù)量不足或希望盡可能減小數(shù)據(jù)分割帶來的隨機性影響時，交叉驗證尤其有用。交叉驗證的含義第四節(jié)

交叉驗證交叉驗證的基本思想是將數(shù)據(jù)集分為幾個部分(通常稱為“折”或“折疊”)，然后進行多輪訓練和驗證，每輪中，選擇一個折作為驗證數(shù)據(jù)，其余折作為訓練數(shù)據(jù)。最終模型性能的評估基于各輪驗證結果的平均值。交叉驗證的基本思想這是最常見的交叉驗證類型。首先將數(shù)據(jù)集劃分為K個大小相等的互斥子集，然后進行K輪訓練和測試，每輪中用K-1個子集的并集作為訓練集，剩下的那個子集作為驗證集。K-折交叉驗證(K-FoldCross

Validation)類型交叉驗證

這是最常見的交叉驗證類型。首先將數(shù)據(jù)集劃分為K個大小相等的互斥子集，然后進行K輪訓練和測試，每輪中用K-1個子集的并集作為訓練集，剩下的那個子集作為驗證集。K-折交叉驗證(K-FoldCross

Validation)類型這是一種極端的情況，K-折交叉驗證中K等于樣本數(shù)量。對于每一輪，選擇一個樣本作為驗證數(shù)據(jù)，其余樣本作為訓練數(shù)據(jù)。留一交叉驗證(Leave-One-OutCross)交叉驗證

這是最常見的交叉驗證類型。首先將數(shù)據(jù)集劃分為K個大小相等的互斥子集，然后進行K輪訓練和測試，每輪中用K-1個子集的并集作為訓練集，剩下的那個子集作為驗證集。K-折交叉驗證(K-FoldCross

Validation)類型這是一種極端的情況，K-折交叉驗證中K等于樣本數(shù)量。對于每一輪，選擇一個樣本作為驗證數(shù)據(jù)，其余樣本作為訓練數(shù)據(jù)。留一交叉驗證(Leave-One-OutCross)每次都隨機選取訓練集和測試集，可以進行多次。隨機劃分交叉驗證(ShuffleSplitCross)交叉驗證

第四節(jié)

交叉驗證交叉驗證的主要優(yōu)點是通過平均多輪驗證的結果，我們可以獲得模型性能的一個更準確的估計。這減少了評估結果的方差，因此模型性能的估計更可靠。交叉驗證的主要缺點是計算成本較高，因為需要進行多次訓練和驗證。此外，如果數(shù)據(jù)不能很好地劃分，交叉驗證可能不是很有效。交叉驗證的優(yōu)缺點交叉驗證fromsklearn.model_selectionimportcross_val_scorefromsklearn.ensembleimportRandomForestClassifier#假設X,y是數(shù)據(jù)和標簽X=...y=...#創(chuàng)建模型model=RandomForestClassifier()#進行5折交叉驗證scores=cross_val_score(model,X,y,cv=5)print("交叉驗證分數(shù):",scores)print("交叉驗證平均分數(shù):",scores.mean())代碼實現(xiàn)交叉驗證fromsklearn.model_selectionimportcross_val_scorefromsklearn.ensembleimportRandomForestClassifier#假設X,y是數(shù)據(jù)和標簽X=...y=...#創(chuàng)建模型model=RandomForestClassifier()#進行5折交叉驗證scores=cross_val_score(model,X,y,cv=5)print("交叉驗證分數(shù):",scores)print("交叉驗證平均分數(shù):",scores.mean())代碼實現(xiàn)交叉驗證fromsklearn.model_selectionimportcross_val_scorefromsklearn.ensembleimportRandomForestClassifier#假設X,y是數(shù)據(jù)和標簽X=...y=...#創(chuàng)建模型model=RandomForestClassifier()#進行5折交叉驗證scores=cross_val_score(model,X,y,cv=5)print("交叉驗證分數(shù):",scores)print("交叉驗證平均分數(shù):",scores.mean())代碼實現(xiàn)交叉驗證fromsklearn.model_selectionimportcross_val_scorefromsklearn.ensembleimportRandomForestClassifier#假設X,y是數(shù)據(jù)和標簽X=...y=...#創(chuàng)建模型model=RandomForestClassifier()#進行5折交叉驗證scores=cross_val_score(model,X,y,cv=5)print("交叉驗證分數(shù):",scores)print("交叉驗證平均分數(shù):",scores.mean())代碼實現(xiàn)交叉驗證fromsklearn.model_selectionimportcross_val_scorefromsklearn.ensembleimportRandomForestClassifier#假設X,y是數(shù)據(jù)和標簽X=...y=...#創(chuàng)建模型model=RandomForestClassifier()#進行5折交叉驗證scores=cross_val_score(model,X,y,cv=5)print("交叉驗證分數(shù):",scores)print("交叉驗證平均分數(shù):",scores.mean())代碼實現(xiàn)交叉驗證fromsklearn.model_selectionimportcross_val_scorefromsklearn.ensembleimportRandomForestClassifier#假設X,y是數(shù)據(jù)和標簽X=...y=...#創(chuàng)建模型model=RandomForestClassifier()#進行5折交叉驗證scores=cross_val_score(model,X,y,cv=5)print("交叉驗證分數(shù):",scores)print("交叉驗證平均分數(shù):",scores.mean())代碼實現(xiàn)交叉驗證代碼實現(xiàn)在PyTorch中，實現(xiàn)交叉驗證需要一些手動操作，因為PyTorch并沒有像scikit-learn那樣的內置交叉驗證函數(shù)。然而，通過使用數(shù)據(jù)集劃分和數(shù)據(jù)加載器，我們可以相對容易地實現(xiàn)。交叉驗證fromtorch.utils.dataimportDataset,DataLoader,random_splitfromsklearn.model_selectionimportKFoldimporttorch.optimasoptimimporttorch.nnasnn#假設我們有以下數(shù)據(jù)和模型X=...y=...model=...#定義損失函數(shù)和優(yōu)化器criterion=nn.CrossEntropyLoss()optimizer=optim.SGD(model.parameters(),lr=0.001,momentum=0.9)代碼實現(xiàn)交叉驗證fromtorch.utils.dataimportDataset,DataLoader,random_splitfromsklearn.model_selectionimportKFoldimporttorch.optimasoptimimporttorch.nnasnn#假設我們有以下數(shù)據(jù)和模型X=...y=...model=...#定義損失函數(shù)和優(yōu)化器criterion=nn.CrossEntropyLoss()optimizer=optim.SGD(model.parameters(),lr=0.001,momentum=0.9)代碼實現(xiàn)交叉驗證fromtorch.utils.dataimportDataset,DataLoader,random_splitfromsklearn.model_selectionimportKFoldimporttorch.optimasoptimimporttorch.nnasnn#假設我們有以下數(shù)據(jù)和模型X=...y=...model=...#定義損失函數(shù)和優(yōu)化器criterion=nn.CrossEntropyLoss()optimizer=optim.SGD(model.parameters(),lr=0.001,momentum=0.9)代碼實現(xiàn)交叉驗證#定義k折數(shù)k_folds=5#定義k折交叉驗證對象kfold=KFold(n_splits=k_folds,shuffle=True)#開始交叉驗證forfold,(train_ids,test_ids)inenumerate(kfold.split(dataset)):#打印當前折數(shù)print(f'FOLD{fold}')print('--------------------------------')代碼實現(xiàn)交叉驗證#定義k折數(shù)k_folds=5#定義k折交叉驗證對象kfold=KFold(n_splits=k_folds,shuffle=True)#開始交叉驗證forfold,(train_ids,test_ids)inenumerate(kfold.split(dataset)):#打印當前折數(shù)print(f'FOLD{fold}')print('--------------------------------')代碼實現(xiàn)交叉驗證#定義訓練和驗證數(shù)據(jù)子集train_subsampler=torch.utils.data.SubsetRandomSampler(train_ids)test_subsampler=torch.utils.data.SubsetRandomSampler(test_ids)#定義數(shù)據(jù)加載器train_loader=torch.utils.data.DataLoader(dataset,batch_size=10,sampler=train_subsampler)test_loader=torch.utils.data.DataLoader(dataset,batch_size=10,sampler=test_subsampler)#初始化模型和優(yōu)化器model=...optimizer=...代碼實現(xiàn)交叉驗證#定義訓練和驗證數(shù)據(jù)子集train_subsampler=torch.utils.data.SubsetRandomSampler(train_ids)test_subsampler=torch.utils.data.SubsetRandomSampler(test_ids)#定義數(shù)據(jù)加載器train_loader=torch.utils.data.DataLoader(dataset,batch_size=10,sampler=train_subsampler)test_loader=torch.utils.data.DataLoader(dataset,batch_size=10,sampler=test_subsampler)#初始化模型和優(yōu)化器model=...optimizer=...代碼實現(xiàn)交叉驗證#訓練過程...forepochinrange(0,num_epochs):#在訓練集上進行訓練model.train()train_loss=0.0fori,datainenumerate(train_loader,0):

inputs,targets=data

optimizer.zero_grad()outputs=model(inputs)loss=criterion(outputs,targets)loss.backward()optimizer.step()train_loss+=loss.item()代碼實現(xiàn)交叉驗證#在驗證集上進行驗證model.eval()valid_loss=0.0fori,datainenumerate(test_loader,0):inputs