深度學(xué)習(xí)案例教程 課件 第6章 文本分類

文本分類第六章01理解文本分類的基本概念和應(yīng)用場景學(xué)習(xí)目標CONTENTS01理解文本分類的基本概念和應(yīng)用場景02掌握分詞、TFIDF等文本預(yù)處理技術(shù)的基本原理學(xué)習(xí)目標CONTENTS01理解文本分類的基本概念和應(yīng)用場景02掌握分詞、TFIDF等文本預(yù)處理技術(shù)的基本原理03熟悉如何劃分訓(xùn)練測試數(shù)據(jù)以及交叉驗證的意義學(xué)習(xí)目標CONTENTS01理解文本分類的基本概念和應(yīng)用場景02掌握分詞、TFIDF等文本預(yù)處理技術(shù)的基本原理03熟悉如何劃分訓(xùn)練測試數(shù)據(jù)以及交叉驗證的意義04

理解過擬合的概念和它在模型訓(xùn)練中的影響學(xué)習(xí)目標CONTENTS01理解文本分類的基本概念和應(yīng)用場景02掌握分詞、TFIDF等文本預(yù)處理技術(shù)的基本原理03熟悉如何劃分訓(xùn)練測試數(shù)據(jù)以及交叉驗證的意義04

理解過擬合的概念和它在模型訓(xùn)練中的影響學(xué)習(xí)目標CONTENTS05

學(xué)習(xí)并理解常見的文本分類算法01培養(yǎng)科學(xué)的問題分析和解決能力，提高對實際問題進行抽象和建模的能力素質(zhì)目標CONTENTS01培養(yǎng)科學(xué)的問題分析和解決能力，提高對實際問題進行抽象和建模的能力02提高自我學(xué)習(xí)和獨立解決問題的能力，能夠通過查詢文獻、網(wǎng)絡(luò)資源等途徑獲取解決方案素質(zhì)目標CONTENTS01培養(yǎng)科學(xué)的問題分析和解決能力，提高對實際問題進行抽象和建模的能力02提高自我學(xué)習(xí)和獨立解決問題的能力，能夠通過查詢文獻、網(wǎng)絡(luò)資源等途徑獲取解決方案03培養(yǎng)良好的邏輯思維和批判性思維能力，能夠分析和評估不同的方法和模型的優(yōu)缺點素質(zhì)目標CONTENTS01培養(yǎng)科學(xué)的問題分析和解決能力，提高對實際問題進行抽象和建模的能力02提高自我學(xué)習(xí)和獨立解決問題的能力，能夠通過查詢文獻、網(wǎng)絡(luò)資源等途徑獲取解決方案03培養(yǎng)良好的邏輯思維和批判性思維能力，能夠分析和評估不同的方法和模型的優(yōu)缺點04提高團隊合作和溝通能力，可以在團隊項目中有效地進行信息交流和分享素質(zhì)目標CONTENTS分類模型搭建訓(xùn)練新聞分類模型實踐任務(wù)：新聞文本分類新聞數(shù)據(jù)處理模型評估第一節(jié)

分詞的實現(xiàn)分詞在自然語言處理中是極其重要的一步。在處理文本數(shù)據(jù)時，我們需要將連續(xù)的文本劃分成獨立的單元，這些單元可以是單個字符，也可以是詞或短語。分詞就是實現(xiàn)這一過程的方法。分詞的定義第一節(jié)

分詞的實現(xiàn)在許多語言中，如英語，單詞之間通過空格自然分隔。然而在一些語言中，如中文，文本是連續(xù)的，沒有明顯的詞語分隔符。在這種情況下，分詞技術(shù)就顯得尤其重要。分詞的定義第一節(jié)

分詞的實現(xiàn)分詞就是將一段連續(xù)的文本切分成一系列獨立的詞語。分詞的定義例如，中文句子“我愛自然語言處理”經(jīng)過分詞后，可以得到“我/愛/自然語言處理”。好的分詞可以提取出文本中的關(guān)鍵信息，對于文本分類、信息檢索、情感分析等任務(wù)有著重要的影響。分詞結(jié)果會直接影響后續(xù)任務(wù)的性能分詞的特點分詞的實現(xiàn)

好的分詞可以提取出文本中的關(guān)鍵信息，對于文本分類、信息檢索、情感分析等任務(wù)有著重要的影響。分詞結(jié)果會直接影響后續(xù)任務(wù)的性能例如，“我愛聽音樂”中，“我愛聽”和“聽音樂”可以視為一個詞，也可以視為兩個詞。處理這種歧義是分詞的一個挑戰(zhàn)。分詞可能會產(chǎn)生歧義分詞的實現(xiàn)

分詞的特點好的分詞可以提取出文本中的關(guān)鍵信息，對于文本分類、信息檢索、情感分析等任務(wù)有著重要的影響。分詞結(jié)果會直接影響后續(xù)任務(wù)的性能例如，“我愛聽音樂”中，“我愛聽”和“聽音樂”可以視為一個詞，也可以視為兩個詞。處理這種歧義是分詞的一個挑戰(zhàn)。分詞可能會產(chǎn)生歧義不同的語料庫可能會產(chǎn)生不同的分詞效果。分詞的效果受語料庫影響分詞的實現(xiàn)

分詞的特點分詞的實現(xiàn)分詞被廣泛用于自然語言處理的各個環(huán)節(jié)，包括信息檢索、文本分類、情感分析、語義分析、機器翻譯等。在Python中，我們可以使用jieba庫進行中文分詞。這是一個簡單易用的分詞庫，包含三種分詞模式：精確模式、全模式和搜索引擎模式。下面我們通過一段代碼介紹jieba分詞的使用。代碼實現(xiàn)分詞的實現(xiàn)importjiebatext="我愛自然語言處理"seg_list=jieba.cut(text,cut_all=False)print("精確模式:"+"/".join(seg_list))代碼實現(xiàn)分詞的實現(xiàn)importjiebatext="我愛自然語言處理"seg_list=jieba.cut(text,cut_all=False)print("精確模式:"+"/".join(seg_list))【結(jié)果】精確模式:我/愛/自然語言處理代碼實現(xiàn)分詞的實現(xiàn)importjiebatext="我愛自然語言處理"seg_list=jieba.cut(text,cut_all=True)print("全模式:"+"/".join(seg_list))代碼實現(xiàn)分詞的實現(xiàn)importjiebatext="我愛自然語言處理"seg_list=jieba.cut(text,cut_all=True)print("全模式:"+"/".join(seg_list))【結(jié)果】全模式:我/愛/自然/自然語言/語言/處理/自然語言處理代碼實現(xiàn)分詞的實現(xiàn)importjiebatext="我愛自然語言處理"seg_list=jieba.cut_for_search(text)print("搜索引擎模式:"+"/".join(seg_list))代碼實現(xiàn)分詞的實現(xiàn)importjiebatext="我愛自然語言處理"seg_list=jieba.cut_for_search(text)print("搜索引擎模式:"+"/".join(seg_list))【結(jié)果】搜索引擎模式:我/愛/自然/語言/自然語言/處理/自然語言處理代碼實現(xiàn)第二節(jié)

TF-IDF在處理文本數(shù)據(jù)時，我們需要量化詞語在文本中的重要性。一種簡單的方法是使用詞頻

(termfrequency，TF)，即詞語在文本中出現(xiàn)的頻率。然而，這種方法并沒有考慮到一個詞在整個文檔集合(或稱語料庫)中的重要性，這就引入了逆文檔頻率(inversedocumentfrequency，IDF)的概念。TF-IDF的定義第二節(jié)

TF-IDFTF-IDF是TermFrequency-InverseDocumentFrequency的縮寫，它是一種統(tǒng)計方法，用以評估一字詞對于一個文件集或一個語料庫中的其中一份文件的重要程度。TF-IDF的定義一個詞語的TF-IDF值越大，它在文本中的重要性就越大。能夠反映出詞語對文本的重要性TF-IDF

TF-IDF特點一個詞語的TF-IDF值越大，它在文本中的重要性就越大。能夠反映出詞語對文本的重要性即常見的詞語有較低的權(quán)重，而罕見的詞語有較高的權(quán)重。具有識別出重要單詞的能力TF-IDF

TF-IDF特點一個詞語的TF-IDF值越大，它在文本中的重要性就越大。能夠反映出詞語對文本的重要性即常見的詞語有較低的權(quán)重，而罕見的詞語有較高的權(quán)重。具有識別出重要單詞的能力被廣泛用于信息檢索、文本分類、文本聚類等任務(wù)。是一種常用的特征抽取方法TF-IDF

TF-IDF特點TF-IDFTF-IDF被廣泛用于自然語言處理的各個環(huán)節(jié)，包括信息檢索、文本分類、情感分析、文本摘要、文本聚類等。在Python中，我們可以使用scikit-learn庫的TfidfVectorizer類來計算TF-IDF值。代碼實現(xiàn)TF-IDFfromsklearn.feature_extraction.textimportTfidfVectorizer#原始文本documents=['我愛自然語言處理','自然語言處理是一個有趣的領(lǐng)域','我們需要更多關(guān)于自然語言處理的研究']#使用默認的分詞器，將文本轉(zhuǎn)化為TF-IDF特征vectorizer=TfidfVectorizer()tfidf_matrix=vectorizer.fit_transform(documents)#打印詞匯表和TF-IDF值print("詞匯表:",vectorizer.get_feature_names())print("TF-IDF值:",tfidf_matrix.toarray())代碼實現(xiàn)TF-IDFfromsklearn.feature_extraction.textimportTfidfVectorizer#原始文本documents=['我愛自然語言處理','自然語言處理是一個有趣的領(lǐng)域','我們需要更多關(guān)于自然語言處理的研究']代碼實現(xiàn)TF-IDF#使用默認的分詞器，將文本轉(zhuǎn)化為TF-IDF特征vectorizer=TfidfVectorizer()tfidf_matrix=vectorizer.fit_transform(documents)#打印詞匯表和TF-IDF值print("詞匯表:",vectorizer.get_feature_names())print("TF-IDF值:",tfidf_matrix.toarray())代碼實現(xiàn)TF-IDF#使用默認的分詞器，將文本轉(zhuǎn)化為TF-IDF特征vectorizer=TfidfVectorizer()tfidf_matrix=vectorizer.fit_transform(documents)#打印詞匯表和TF-IDF值print("詞匯表:",vectorizer.get_feature_names())print("TF-IDF值:",tfidf_matrix.toarray())代碼實現(xiàn)TF-IDFPyTorch是一個用于實現(xiàn)深度學(xué)習(xí)模型的庫，而TF-IDF是一種傳統(tǒng)的特征工程技術(shù)。雖然PyTorch主要被用于創(chuàng)建和訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，但如果想使用PyTorch來處理TF-IDF，可以用numpy或Scikit-learn計算TF-IDF后，將其轉(zhuǎn)換為PyTorch張量。代碼實現(xiàn)TF-IDF#使用默認的分詞器，將文本轉(zhuǎn)化為TF-IDF特征vectorizer=TfidfVectorizer()tfidf_matrix=vectorizer.fit_transform(documents)#將Scipy稀疏矩陣轉(zhuǎn)化為PyTorch張量tfidf_tensor=torch.from_numpy(tfidf_matrix.toarray())print("TF-IDF值：",tfidf_tensor)代碼實現(xiàn)TF-IDF如果文檔集合非常大，那么TF-IDF矩陣可能非常大并且非常稀疏。在這種情況下，你可能需要找到一種方法來有效地存儲和處理這個稀疏矩陣。PyTorch提供了一些工具來處理稀疏張量，但是這通常需要更復(fù)雜的代碼和更多的計算資源。注意TF-IDF在實際應(yīng)用中，我們可能需要處理更大的文本集合，可能需要使用自定義的分詞器，可能需要處理各種各樣的問題，但基本的思路是相同的：我們希望將文本轉(zhuǎn)化為一種數(shù)值表示，使得我們可以在這個表示上進行機器學(xué)習(xí)。第三節(jié)

訓(xùn)練、測試數(shù)據(jù)訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)是用于建立和驗證機器學(xué)習(xí)模型的數(shù)據(jù)。選擇正確的訓(xùn)練和測試數(shù)據(jù)對于建立有效的模型是至關(guān)重要的。訓(xùn)練、測試數(shù)據(jù)的含義第三節(jié)

訓(xùn)練、測試數(shù)據(jù)訓(xùn)練數(shù)據(jù)是用來訓(xùn)練機器學(xué)習(xí)模型的數(shù)據(jù)。模型通過學(xué)習(xí)訓(xùn)練數(shù)據(jù)中的特征和目標變量的關(guān)系，來理解數(shù)據(jù)的模式和規(guī)律。訓(xùn)練數(shù)據(jù)的含義第三節(jié)

訓(xùn)練、測試數(shù)據(jù)測試數(shù)據(jù)是用來評估模型性能的數(shù)據(jù)。它提供了一種方式，讓我們能夠評估模型在未知數(shù)據(jù)上的表現(xiàn)。通過比較模型在測試數(shù)據(jù)上的預(yù)測結(jié)果和實際結(jié)果，我們可以了解模型的精度，即它的預(yù)測能力有多好。測試數(shù)據(jù)的含義這是最常見的劃分方式，通常將原始數(shù)據(jù)按比例(如70%:30%)劃分為訓(xùn)練集和測試集，訓(xùn)練集用于訓(xùn)練模型，測試集用于評估模型。這種方法的缺點是其性能高度依賴于劃分的方式。留出法(HoldoutMethod)方法訓(xùn)練、測試數(shù)據(jù)

訓(xùn)練、測試數(shù)據(jù)的分割這是最常見的劃分方式，通常將原始數(shù)據(jù)按比例(如70%:30%)劃分為訓(xùn)練集和測試集，訓(xùn)練集用于訓(xùn)練模型，測試集用于評估模型。這種方法的缺點是其性能高度依賴于劃分的方式。留出法(HoldoutMethod)方法訓(xùn)練、測試數(shù)據(jù)

交叉驗證方法將數(shù)據(jù)集劃分為k個大小相似的互斥子集，然后每次用k-1個子集的并集作為訓(xùn)練集，剩下的1個作為測試集，這樣就可以得到k組訓(xùn)練/測試集，從而進行k次訓(xùn)練和測試，最終返回的是這k個測試結(jié)果的均值。交叉驗證(CrossValidation)訓(xùn)練、測試數(shù)據(jù)的分割這是最常見的劃分方式，通常將原始數(shù)據(jù)按比例(如70%:30%)劃分為訓(xùn)練集和測試集，訓(xùn)練集用于訓(xùn)練模型，測試集用于評估模型。這種方法的缺點是其性能高度依賴于劃分的方式。留出法(HoldoutMethod)方法訓(xùn)練、測試數(shù)據(jù)

交叉驗證方法將數(shù)據(jù)集劃分為k個大小相似的互斥子集，然后每次用k-1個子集的并集作為訓(xùn)練集，剩下的1個作為測試集，這樣就可以得到k組訓(xùn)練/測試集，從而進行k次訓(xùn)練和測試，最終返回的是這k個測試結(jié)果的均值。交叉驗證(CrossValidation)通過有放回地進行抽樣來創(chuàng)建新的訓(xùn)練數(shù)據(jù)，自助法可以有效地使用數(shù)據(jù)，但是它改變了原始數(shù)據(jù)的分布，可能會引入偏差。自助法(BootstrapMethod)訓(xùn)練、測試數(shù)據(jù)的分割訓(xùn)練、測試數(shù)據(jù)在Python中，我們通常使用scikit-learn庫的train_test_split函數(shù)進行訓(xùn)練和測試數(shù)據(jù)的分割。代碼實現(xiàn)訓(xùn)練、測試數(shù)據(jù)fromsklearn.model_selectionimporttrain_test_splitX=...y=...X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,

random_state=42)代碼實現(xiàn)訓(xùn)練、測試數(shù)據(jù)fromsklearn.model_selectionimporttrain_test_splitX=...y=...X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,

random_state=42)代碼實現(xiàn)訓(xùn)練、測試數(shù)據(jù)fromsklearn.model_selectionimporttrain_test_splitX=...y=...X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,

random_state=42)代碼實現(xiàn)訓(xùn)練、測試數(shù)據(jù)在PyTorch中，雖然沒有直接提供像scikit-learn中的train_test_split這樣的函數(shù)，但是我們可以使用PyTorch的Dataset和DataLoader類以及一些Python功能輕松實現(xiàn)這一點。代碼實現(xiàn)訓(xùn)練、測試數(shù)據(jù)fromtorch.utils.dataimportDataset,DataLoader,random_splitclassMyDataset(Dataset):def__init__(self,X,y):self.X=Xself.y=ydef__len__(self):returnlen(self.X)def__getitem__(self,idx):returnself.X[idx],self.y[idx]代碼實現(xiàn)訓(xùn)練、測試數(shù)據(jù)fromtorch.utils.dataimportDataset,DataLoader,random_splitclassMyDataset(Dataset):def__init__(self,X,y):self.X=Xself.y=ydef__len__(self):returnlen(self.X)def__getitem__(self,idx):returnself.X[idx],self.y[idx]代碼實現(xiàn)訓(xùn)練、測試數(shù)據(jù)#假設(shè)X為特征數(shù)據(jù)，y為目標數(shù)據(jù)X=...y=...#創(chuàng)建數(shù)據(jù)集dataset=MyDataset(X,y)#定義訓(xùn)練集和測試集的大小train_size=int(0.8*len(dataset))test_size=len(dataset)-train_size代碼實現(xiàn)訓(xùn)練、測試數(shù)據(jù)#分割數(shù)據(jù)集train_dataset,test_dataset=random_split(dataset,[train_size,test_size])#創(chuàng)建數(shù)據(jù)加載器train_loader=DataLoader(train_dataset,batch_size=32,shuffle=True)test_loader=DataLoader(test_dataset,batch_size=32,shuffle=True)代碼實現(xiàn)訓(xùn)練、測試數(shù)據(jù)#分割數(shù)據(jù)集train_dataset,test_dataset=random_split(dataset,[train_size,test_size])#創(chuàng)建數(shù)據(jù)加載器train_loader=DataLoader(train_dataset,batch_size=32,shuffle=True)test_loader=DataLoader(test_dataset,batch_size=32,shuffle=True)代碼實現(xiàn)第四節(jié)

交叉驗證交叉驗證是一種強大的模型驗證技術(shù)，它能幫助我們更好地理解模型對未知數(shù)據(jù)的預(yù)測性能。在數(shù)據(jù)量不足或希望盡可能減小數(shù)據(jù)分割帶來的隨機性影響時，交叉驗證尤其有用。交叉驗證的含義第四節(jié)

交叉驗證交叉驗證的基本思想是將數(shù)據(jù)集分為幾個部分(通常稱為“折”或“折疊”)，然后進行多輪訓(xùn)練和驗證，每輪中，選擇一個折作為驗證數(shù)據(jù)，其余折作為訓(xùn)練數(shù)據(jù)。最終模型性能的評估基于各輪驗證結(jié)果的平均值。交叉驗證的基本思想這是最常見的交叉驗證類型。首先將數(shù)據(jù)集劃分為K個大小相等的互斥子集，然后進行K輪訓(xùn)練和測試，每輪中用K-1個子集的并集作為訓(xùn)練集，剩下的那個子集作為驗證集。K-折交叉驗證(K-FoldCross

Validation)類型交叉驗證

這是最常見的交叉驗證類型。首先將數(shù)據(jù)集劃分為K個大小相等的互斥子集，然后進行K輪訓(xùn)練和測試，每輪中用K-1個子集的并集作為訓(xùn)練集，剩下的那個子集作為驗證集。K-折交叉驗證(K-FoldCross

Validation)類型這是一種極端的情況，K-折交叉驗證中K等于樣本數(shù)量。對于每一輪，選擇一個樣本作為驗證數(shù)據(jù)，其余樣本作為訓(xùn)練數(shù)據(jù)。留一交叉驗證(Leave-One-OutCross)交叉驗證

這是最常見的交叉驗證類型。首先將數(shù)據(jù)集劃分為K個大小相等的互斥子集，然后進行K輪訓(xùn)練和測試，每輪中用K-1個子集的并集作為訓(xùn)練集，剩下的那個子集作為驗證集。K-折交叉驗證(K-FoldCross

Validation)類型這是一種極端的情況，K-折交叉驗證中K等于樣本數(shù)量。對于每一輪，選擇一個樣本作為驗證數(shù)據(jù)，其余樣本作為訓(xùn)練數(shù)據(jù)。留一交叉驗證(Leave-One-OutCross)每次都隨機選取訓(xùn)練集和測試集，可以進行多次。隨機劃分交叉驗證(ShuffleSplitCross)交叉驗證

第四節(jié)

交叉驗證交叉驗證的主要優(yōu)點是通過平均多輪驗證的結(jié)果，我們可以獲得模型性能的一個更準確的估計。這減少了評估結(jié)果的方差，因此模型性能的估計更可靠。交叉驗證的主要缺點是計算成本較高，因為需要進行多次訓(xùn)練和驗證。此外，如果數(shù)據(jù)不能很好地劃分，交叉驗證可能不是很有效。交叉驗證的優(yōu)缺點交叉驗證fromsklearn.model_selectionimportcross_val_scorefromsklearn.ensembleimportRandomForestClassifier#假設(shè)X,y是數(shù)據(jù)和標簽X=...y=...#創(chuàng)建模型model=RandomForestClassifier()#進行5折交叉驗證scores=cross_val_score(model,X,y,cv=5)print("交叉驗證分數(shù):",scores)print("交叉驗證平均分數(shù):",scores.mean())代碼實現(xiàn)交叉驗證fromsklearn.model_selectionimportcross_val_scorefromsklearn.ensembleimportRandomForestClassifier#假設(shè)X,y是數(shù)據(jù)和標簽X=...y=...#創(chuàng)建模型model=RandomForestClassifier()#進行5折交叉驗證scores=cross_val_score(model,X,y,cv=5)print("交叉驗證分數(shù):",scores)print("交叉驗證平均分數(shù):",scores.mean())代碼實現(xiàn)交叉驗證fromsklearn.model_selectionimportcross_val_scorefromsklearn.ensembleimportRandomForestClassifier#假設(shè)X,y是數(shù)據(jù)和標簽X=...y=...#創(chuàng)建模型model=RandomForestClassifier()#進行5折交叉驗證scores=cross_val_score(model,X,y,cv=5)print("交叉驗證分數(shù):",scores)print("交叉驗證平均分數(shù):",scores.mean())代碼實現(xiàn)交叉驗證fromsklearn.model_selectionimportcross_val_scorefromsklearn.ensembleimportRandomForestClassifier#假設(shè)X,y是數(shù)據(jù)和標簽X=...y=...#創(chuàng)建模型model=RandomForestClassifier()#進行5折交叉驗證scores=cross_val_score(model,X,y,cv=5)print("交叉驗證分數(shù):",scores)print("交叉驗證平均分數(shù):",scores.mean())代碼實現(xiàn)交叉驗證fromsklearn.model_selectionimportcross_val_scorefromsklearn.ensembleimportRandomForestClassifier#假設(shè)X,y是數(shù)據(jù)和標簽X=...y=...#創(chuàng)建模型model=RandomForestClassifier()#進行5折交叉驗證scores=cross_val_score(model,X,y,cv=5)print("交叉驗證分數(shù):",scores)print("交叉驗證平均分數(shù):",scores.mean())代碼實現(xiàn)交叉驗證fromsklearn.model_selectionimportcross_val_scorefromsklearn.ensembleimportRandomForestClassifier#假設(shè)X,y是數(shù)據(jù)和標簽X=...y=...#創(chuàng)建模型model=RandomForestClassifier()#進行5折交叉驗證scores=cross_val_score(model,X,y,cv=5)print("交叉驗證分數(shù):",scores)print("交叉驗證平均分數(shù):",scores.mean())代碼實現(xiàn)交叉驗證代碼實現(xiàn)在PyTorch中，實現(xiàn)交叉驗證需要一些手動操作，因為PyTorch并沒有像scikit-learn那樣的內(nèi)置交叉驗證函數(shù)。然而，通過使用數(shù)據(jù)集劃分和數(shù)據(jù)加載器，我們可以相對容易地實現(xiàn)。交叉驗證fromtorch.utils.dataimportDataset,DataLoader,random_splitfromsklearn.model_selectionimportKFoldimporttorch.optimasoptimimporttorch.nnasnn#假設(shè)我們有以下數(shù)據(jù)和模型X=...y=...model=...#定義損失函數(shù)和優(yōu)化器criterion=nn.CrossEntropyLoss()optimizer=optim.SGD(model.parameters(),lr=0.001,momentum=0.9)代碼實現(xiàn)交叉驗證fromtorch.utils.dataimportDataset,DataLoader,random_splitfromsklearn.model_selectionimportKFoldimporttorch.optimasoptimimporttorch.nnasnn#假設(shè)我們有以下數(shù)據(jù)和模型X=...y=...model=...#定義損失函數(shù)和優(yōu)化器criterion=nn.CrossEntropyLoss()optimizer=optim.SGD(model.parameters(),lr=0.001,momentum=0.9)代碼實現(xiàn)交叉驗證fromtorch.utils.dataimportDataset,DataLoader,random_splitfromsklearn.model_selectionimportKFoldimporttorch.optimasoptimimporttorch.nnasnn#假設(shè)我們有以下數(shù)據(jù)和模型X=...y=...model=...#定義損失函數(shù)和優(yōu)化器criterion=nn.CrossEntropyLoss()optimizer=optim.SGD(model.parameters(),lr=0.001,momentum=0.9)代碼實現(xiàn)交叉驗證#定義k折數(shù)k_folds=5#定義k折交叉驗證對象kfold=KFold(n_splits=k_folds,shuffle=True)#開始交叉驗證forfold,(train_ids,test_ids)inenumerate(kfold.split(dataset)):#打印當(dāng)前折數(shù)print(f'FOLD{fold}')print('--------------------------------')代碼實現(xiàn)交叉驗證#定義k折數(shù)k_folds=5#定義k折交叉驗證對象kfold=KFold(n_splits=k_folds,shuffle=True)#開始交叉驗證forfold,(train_ids,test_ids)inenumerate(kfold.split(dataset)):#打印當(dāng)前折數(shù)print(f'FOLD{fold}')print('--------------------------------')代碼實現(xiàn)交叉驗證#定義訓(xùn)練和驗證數(shù)據(jù)子集train_subsampler=torch.utils.data.SubsetRandomSampler(train_ids)test_subsampler=torch.utils.data.SubsetRandomSampler(test_ids)#定義數(shù)據(jù)加載器train_loader=torch.utils.data.DataLoader(dataset,batch_size=10,sampler=train_subsampler)test_loader=torch.utils.data.DataLoader(dataset,batch_size=10,sampler=test_subsampler)#初始化模型和優(yōu)化器model=...optimizer=...代碼實現(xiàn)交叉驗證#定義訓(xùn)練和驗證數(shù)據(jù)子集train_subsampler=torch.utils.data.SubsetRandomSampler(train_ids)test_subsampler=torch.utils.data.SubsetRandomSampler(test_ids)#定義數(shù)據(jù)加載器train_loader=torch.utils.data.DataLoader(dataset,batch_size=10,sampler=train_subsampler)test_loader=torch.utils.data.DataLoader(dataset,batch_size=10,sampler=test_subsampler)#初始化模型和優(yōu)化器model=...optimizer=...代碼實現(xiàn)交叉驗證#訓(xùn)練過程...forepochinrange(0,num_epochs):#在訓(xùn)練集上進行訓(xùn)練model.train()train_loss=0.0fori,datainenumerate(train_loader,0):

inputs,targets=data

optimizer.zero_grad()outputs=model(inputs)loss=criterion(outputs,targets)loss.backward()optimizer.step()train_loss+=loss.item()代碼實現(xiàn)交叉驗證#在驗證集上進行驗證model.eval()valid_loss=0.0fori,datainenumerate(test_loader,0):inputs,targets=dataoutputs=model(inputs)loss=criterion(outputs,targets)valid_loss+=loss.item()#打印訓(xùn)練和驗證損失print('Epoch:%d,TrainingLoss:%.2f,ValidationLoss:%.2f'%(epoch,train_loss/len(train_loader),valid_loss/len(test_loader)))代碼實現(xiàn)交叉驗證#在驗證集上進行驗證model.eval()valid_loss=0.0fori,datainenumerate(test_loader,0):inputs,targets=dataoutputs=model(inputs)loss=criterion(outputs,targets)valid_loss+=loss.item()#打印訓(xùn)練和驗證損失print('Epoch:%d,TrainingLoss:%.2f,ValidationLoss:%.2f'%(epoch,train_loss/len(train_loader),valid_loss/len(test_loader)))代碼實現(xiàn)第五節(jié)

過擬合過擬合是在機器學(xué)習(xí)中非常重要的一個概念，它發(fā)生在模型在訓(xùn)練數(shù)據(jù)上的表現(xiàn)很好，但在新的、未見過的數(shù)據(jù)上的表現(xiàn)卻很差的情況下。過擬合通常是由于模型過于復(fù)雜，而導(dǎo)致的。模型可能會“記住”訓(xùn)練數(shù)據(jù)中的噪聲和異常值，而不是學(xué)習(xí)其潛在的趨勢和模式。因此，當(dāng)模型面對新的數(shù)據(jù)時，它可能無法準確地進行預(yù)測。過擬合的含義第五節(jié)

過擬合過擬合的一個主要標志是模型在訓(xùn)練數(shù)據(jù)上的表現(xiàn)明顯好于在驗證數(shù)據(jù)上的表現(xiàn)。如果你看到你的模型在訓(xùn)練數(shù)據(jù)上的損失隨著時間的推移持續(xù)降低，但在驗證數(shù)據(jù)上的損失卻開始上升，那么你可能遇到了過擬合。過擬合的含義文本分類任務(wù)中有很多使用場景，如新聞文本分類、評論情感分類。自動新聞文本分類任務(wù)是以新聞報道中的文本描述內(nèi)容為輸入，使用模型幫助我們判斷它最有可能屬于哪一種類型的新聞。評論文本情感分類任務(wù)中，我們要構(gòu)建一個能夠分析社交媒體評論并進行情感分類的模型。學(xué)習(xí)場景第五節(jié)

過擬合在文本分類問題中，過擬合可能會發(fā)生在我們的模型過于復(fù)雜，或者訓(xùn)練數(shù)據(jù)太少的情況下。例如，如果我們的模型試圖學(xué)習(xí)訓(xùn)練集中每個單詞的特定出現(xiàn)，而沒有學(xué)習(xí)到單詞之間的更廣泛的模式，那么它可能在未見過的數(shù)據(jù)上表現(xiàn)不佳。過擬合的場景第五節(jié)

過擬合如何防止過擬合？第五節(jié)

過擬合使用更簡單的模型過于復(fù)雜的模型更容易過擬合。通過選擇一個更簡單的模型(即具有更少參數(shù)或較小容量的模型)，可以降低過擬合的風(fēng)險。第五節(jié)

過擬合使用更簡單的模型過于復(fù)雜的模型更容易過擬合。通過選擇一個更簡單的模型(即具有更少參數(shù)或較小容量的模型)，可以降低過擬合的風(fēng)險。提供更多的訓(xùn)練數(shù)據(jù)模型在更大的數(shù)據(jù)集上訓(xùn)練，能夠更好地學(xué)習(xí)數(shù)據(jù)中的趨勢，而不是噪聲。第五節(jié)

過擬合使用更簡單的模型過于復(fù)雜的模型更容易過擬合。通過選擇一個更簡單的模型(即具有更少參數(shù)或較小容量的模型)，可以降低過擬合的風(fēng)險。提供更多的訓(xùn)練數(shù)據(jù)模型在更大的數(shù)據(jù)集上訓(xùn)練，能夠更好地學(xué)習(xí)數(shù)據(jù)中的趨勢，而不是噪聲。正則化正則化是一種約束模型復(fù)雜度的技術(shù)。它在模型的損失函數(shù)中添加一個項，用來懲罰模型的復(fù)雜度。最常見的正則化形式包括L1正則化和L2正則化。第五節(jié)

過擬合使用更簡單的模型過于復(fù)雜的模型更容易過擬合。通過選擇一個更簡單的模型(即具有更少參數(shù)或較小容量的模型)，可以降低過擬合的風(fēng)險。提供更多的訓(xùn)練數(shù)據(jù)模型在更大的數(shù)據(jù)集上訓(xùn)練，能夠更好地學(xué)習(xí)數(shù)據(jù)中的趨勢，而不是噪聲。正則化正則化是一種約束模型復(fù)雜度的技術(shù)。它在模型的損失函數(shù)中添加一個項，用來懲罰模型的復(fù)雜度。最常見的正則化形式包括L1正則化和L2正則化。早停在訓(xùn)練過程中，一旦發(fā)現(xiàn)模型在驗證集上的性能開始下降，就停止訓(xùn)練。第五節(jié)

過擬合使用更簡單的模型過于復(fù)雜的模型更容易過擬合。通過選擇一個更簡單的模型(即具有更少參數(shù)或較小容量的模型)，可以降低過擬合的風(fēng)險。提供更多的訓(xùn)練數(shù)據(jù)模型在更大的數(shù)據(jù)集上訓(xùn)練，能夠更好地學(xué)習(xí)數(shù)據(jù)中的趨勢，而不是噪聲。正則化正則化是一種約束模型復(fù)雜度的技術(shù)。它在模型的損失函數(shù)中添加一個項，用來懲罰模型的復(fù)雜度。最常見的正則化形式包括L1正則化和L2正則化。早停在訓(xùn)練過程中，一旦發(fā)現(xiàn)模型在驗證集上的性能開始下降，就停止訓(xùn)練。DropoutDropout是神經(jīng)網(wǎng)絡(luò)中防止過擬合的常用技術(shù)。它在訓(xùn)練過程中隨機丟棄一部分神經(jīng)元，以減少模型的復(fù)雜性。第五節(jié)

過擬合#定義模型classTextClassifier(nn.Module):def__init__(self,vocab_size,embed_dim,num_class):super().__init__()self.embedding=nn.EmbeddingBag(vocab_size,embed_dim,

sparse=True)

self.fc=nn.Linear(embed_dim,num_class)self.dropout=nn.Dropout(0.5)#添加Dropout層

defforward(self,text):embedded=self.dropout(self.embedding(text))

#在嵌入后應(yīng)用Dropoutreturnself.fc(embedded)代碼實現(xiàn)第五節(jié)

過擬合#創(chuàng)建模型model=TextClassifier(vocab_size,embed_dim,num_class)#創(chuàng)建優(yōu)化器，添加L2正則化(權(quán)重衰減)optimizer=optim.SGD(model.parameters(),lr=0.01,weight_decay=0.01)#定義損失函數(shù)criterion=nn.CrossEntropyLoss()#訓(xùn)練模型...代碼實現(xiàn)第五節(jié)

過擬合第六節(jié)

實踐任務(wù)-新聞主題分類本章的實踐任務(wù)是關(guān)于新聞主題的分類，以一段新聞報道中的文本描述內(nèi)容為輸入，使用模型幫助我們判斷它最有可能屬于哪一種類型的新聞，這是典型的文本分類問題，我們這里假定每種類型是互斥的，即文本描述有且只有一種類型。實踐任務(wù)第六節(jié)

實踐任務(wù)-新聞主題分類AG_NEWS數(shù)據(jù)集是一個包含了100多萬篇文章的集合。學(xué)術(shù)社區(qū)為了數(shù)據(jù)挖掘、信息檢索、數(shù)據(jù)壓縮等方面的學(xué)術(shù)研究整理了這個數(shù)據(jù)集。AG_NEWS數(shù)據(jù)集有4個標簽，即模型中的數(shù)據(jù)分類數(shù)量為4，這4個標簽為：World、Sports、Business和Sci/Tec。Torchtext庫提供了一些原始數(shù)據(jù)迭代器，這些迭代器可以查看原始的字符串?dāng)?shù)據(jù)。例如，AG_NEWS數(shù)據(jù)集迭代器可以生成包含文本和標簽的元組。實踐1數(shù)據(jù)處理importtorchfromtorchtext.datasetsimportAG_NEWStrain_iter=iter(AG_NEWS(split='train'))print(next(train_iter))代碼實現(xiàn)實踐任務(wù)1-數(shù)據(jù)處理【結(jié)果】(3,"WallSt.BearsClawBackIntotheBlack(Reuters)Reuters-Short-sellers,WallStreet'sdwindling\\bandofultra-cynics,areseeinggreen

again.")實踐任務(wù)1-數(shù)據(jù)處理tokenizer=get_tokenizer('basic_english') train_iter=AG_NEWS(split='train') #分詞生成器defyield_tokens(data_iter):for_,textindata_iter:yieldtokenizer(text)vocab=build_vocab_from_iterator(yield_tokens(train_iter),specials=["<unk>"])vocab.set_default_index(vocab["<unk>"])print(vocab(['here','is','an','example']))

#結(jié)果：[475,21,30,5297]代碼實現(xiàn)實踐任務(wù)1-數(shù)據(jù)處理tokenizer=get_tokenizer('basic_english') train_iter=AG_NEWS(split='train') #分詞生成器defyield_tokens(data_iter):for_,textindata_iter:yieldtokenizer(text)vocab=build_vocab_from_iterator(yield_tokens(train_iter),specials=["<unk>"])vocab.set_default_index(vocab["<unk>"])print(vocab(['here','is','an','example']))

#結(jié)果：[475,21,30,5297]代碼實現(xiàn)實踐任務(wù)1-數(shù)據(jù)處理tokenizer=get_tokenizer('basic_english') train_iter=AG_NEWS(split='train') #分詞生成器defyield_tokens(data_iter):for_,textindata_iter:yieldtokenizer(text)vocab=build_vocab_from_iterator(yield_tokens(train_iter),specials=["<unk>"])vocab.set_default_index(vocab["<unk>"])print(vocab(['here','is','an','example']))

#結(jié)果：[475,21,30,5297]代碼實現(xiàn)實踐任務(wù)1-數(shù)據(jù)處理tokenizer=get_tokenizer('basic_english') train_iter=AG_NEWS(split='train') #分詞生成器defyield_tokens(data_iter):for_,textindata_iter:yieldtokenizer(text)vocab=build_vocab_from_iterator(yield_tokens(train_iter),specials=["<unk>"])vocab.set_default_index(vocab["<unk>"])print(vocab(['here','is','an','example']))

#結(jié)果：[475,21,30,5297]代碼實現(xiàn)實踐任務(wù)1-數(shù)據(jù)處理tokenizer=get_tokenizer('basic_english') train_iter=AG_NEWS(split='train') #分詞生成器defyield_tokens(data_iter):for_,textindata_iter:yieldtokenizer(text)vocab=build_vocab_from_iterator(yield_tokens(train_iter),specials=["<unk>"])vocab.set_default_index(vocab["<unk>"])print(vocab(['here','is','an','example']))

#結(jié)果：[475,21,30,5297]代碼實現(xiàn)實踐任務(wù)1-數(shù)據(jù)處理tokenizer=get_tokenizer('basic_english') train_iter=AG_NEWS(split='train') #分詞生成器defyield_tokens(data_iter):for_,textindata_iter:yieldtokenizer(text)vocab=build_vocab_from_iterator(yield_tokens(train_iter),specials=["<unk>"])vocab.set_default_index(vocab["<unk>"])print(vocab(['here','is','an','example']))

#結(jié)果：[475,21,30,5297]代碼實現(xiàn)實踐任務(wù)-新聞主題分類文本分類模型是由PyTorch庫中的nn.EmbeddingBag層和一個用于分類的線性連接層組成。nn.EmbeddingBag在默認狀態(tài)下計算所有詞向量的平均值。雖然，文本文章由不同的長度，但是nn.EmbeddingBag模型不需要填充，因為文本的長度保存在偏移量中了。實踐2模型搭建實踐任務(wù)-新聞主題分類classTextClassificationModel(nn.Module):def__init__(self,vocab_size,embed_dim,num_class):super(TextClassificationModel,self).__init__()self.embedding=nn.EmbeddingBag(vocab_size,embed_dim,sparse=True)self.fc=nn.Linear(embed_dim,num_class)self.init_weights()definit_weights(self):initrange=0.5self.embedding.weight.data.uniform_(-initrange,initrange)self.fc.weight.data.uniform_(-initrange,initrange)self.fc.bias.data.zero_()代碼實現(xiàn)實踐任務(wù)-新聞主題分類classTextClassificationModel(nn.Module):def__init__(self,vocab_size,embed_dim,num_class):super(TextClassificationModel,self).__init__()self.embedding=nn.EmbeddingBag(vocab_size,embed_dim,sparse=True)self.fc=nn.Linear(embed_dim,num_class)self.init_weights()definit_weights(self):initrange=0.5self.embedding.weight.data.uniform_(-initrange,initrange)self.fc.weight.data.uniform_(-initrange,initrange)self.fc.bias.data.zero_()代碼實現(xiàn)實踐任務(wù)-新聞主題分類classTextClassificationModel(nn.Module):def__init__(self,vocab_size,embed_dim,num_class):super(TextClassificationModel,self).__init__()self.embedding=nn.EmbeddingBag(vocab_size,embed_dim,sparse=True)self.fc=nn.Linear(embed_dim,num_class)self.init_weights()definit_weights(self):initrange=0.5self.embedding.weight.data.uniform_(-initrange,initrange)self.fc.weight.data.uniform_(-initrange,initrange)self.fc.bias.data.zero_()代碼實現(xiàn)實踐任務(wù)-新聞主題分類defforward(self,text,offsets):embedded=self.embedding(text,offsets)returnself.fc(embedded)deftrain(dataloader):model.train()total_acc,total_count=0,0log_interval=500start_time=time.time()代碼實現(xiàn)實踐任務(wù)-新聞主題分類defforward(self,text,offsets):embedded=self.embedding(text,offsets)returnself.fc(embedded)deftrain(dataloader):model.train()total_acc,total_count=0,0log_interval=500start_time=time.time()代碼實現(xiàn)實踐任務(wù)-新聞主題分類foridx,(label,text,offsets)inenumerate(dataloader):optimizer.zero_grad()predicted_label=model(text,offsets)loss=criterion(predicted_label,label)loss.backward()torch.nn.utils.clip_grad_norm_(model.parameters(),0.1)optimizer.step()total_acc+=(predicted_label.argmax(1)==label).sum().item()total_count+=

label.size(0)ifidx%log_interval==0andidx>0:elapsed=time.time()-start_timeprint('|epoch{:3d}|{:5d}/{:5d}batches''|accuracy{:8.3f}'.format(epoch,idx,len(dataloader),total_acc/total_count))total_acc,total_count=0,0start_time=time.time()代碼實現(xiàn)實踐任務(wù)-新聞主題分類foridx,(label,text,offsets)inenumerate(dataloader):optimizer.zero_grad()predicted_label=model(text,offsets)loss=criterion(predicted_label,label)loss.backward()torch.nn.utils.clip_grad_norm_(model.parameters(),0.1)optimizer.step()total_acc+=(predicted_label.argmax(1)==label).sum().item()total_count+=

label.size(0)ifidx%log_interval==0andidx>0:elapsed=time.time()-start_timeprint('|epoch{:3d}|{:5d}/{:5d}batches''|accuracy{:8.3f}'.format(epoch,idx,len(dataloader),total_acc/total_count))total_acc,total_count=0,0start_time=time.time()代碼實現(xiàn)實踐任務(wù)-新聞主題分類foridx,(label,text,offsets)inenumerate(dataloader):optimizer.zero_grad()predicted_label=model(text,offsets)loss=criterion(predicted_label,label)loss.backward()torch.nn.utils.clip_grad_norm_(model.parameters(),0.1)optimizer.step()total_acc+=(predicted_label.argmax(1)==label).sum().item()total_count+=

label.size(0)ifidx%log_interval==0andidx>0:elapsed=time.time()-start_timeprint('|epoch{:3d}|{:5d}/{:5d}batches''|accuracy{:8.3f}'.format(epoch,idx,len(dataloader),total_acc/total_count))total_acc,total_count=0,0start_time=time.time()代碼實現(xiàn)實踐任務(wù)-新聞主題分類foridx,(label,text,offsets)inenumerate(dataloader):optimizer.zero_grad()predicted_label=model(text,offsets)loss=criterion(predicted_label,label)loss.backward()torch.nn.utils.clip_grad_norm_(model.parameters(),0.1)optimizer.step()total_acc+=(predicted_label.argmax(1)==label).sum().item()total_count+=

label.size(0)ifidx%log_interval==0andidx>0:elapsed=time.time()-start_timeprint('|epoch{:3d}|{:5d}/{:5d}batches''|accuracy{:8.3f}'.format(epoch,idx,len(dataloader),total_acc/total_count))total_acc,total_count=0,0start_time=time.time()代碼實現(xiàn)實踐任務(wù)-新聞主題分類foridx,(label,text,offsets)inenumerate(dataloader):optimizer.zero_grad()predicted_label=model(text,offsets)loss=criterion(predicted_label,label)loss.backward()torch.nn.utils.clip_grad_norm_(model.parameters(),0.1)optimizer.step()total_acc+=(predicted_label.argmax(1)==label).sum().item()total_count+=

label.size(0)ifidx%log_interval==0andidx>0:elapsed=time.time()-start_timeprint('|epoch{:3d}|{:5d}/{:5d}batches''|accuracy{:8.3f}'.format(epoch,idx,len(dataloader),total_acc/total_count))total_acc,total_count=0,0start_time=time.time()代碼實現(xiàn)實踐任務(wù)-新聞主題分類foridx,(label,text,offsets)inenumerate(dataloader):optimizer.zero_grad()predicted_label=model(text,offsets)loss=criterion(predicted_label,label)loss.backward()torch.nn.utils.clip_grad_norm_(model.parameters(),0.1)optimizer.step()total_acc+=(predicted_label.argmax(1)==label).sum().item()total_count+=

label.size(0)ifidx%log_interval==0andidx>0:elapsed=time.time()-start_timeprint('|epoch{:3d}|{:5d}/{:5d}batches''|accuracy{:8.3f}'.format(epoch,idx,len(dataloader),total_acc/total_count))total_acc,total_count=0,0start_time=time.time()代碼實現(xiàn)實踐任務(wù)-新聞主題分類foridx,(label,text,offsets)inenumerate(dataloader):optimizer.zero_grad()predicted_label=model(text,offsets)loss=criterion(predicted_label,label)loss.backward()torch.nn.utils.clip_grad_norm_(model.parameters(),0.1)optimizer.step()total_acc+=(predicted_label.argmax(1)==label).sum().item()total_count+=

label.size(0)ifidx%log_interval==0andidx>0:elapsed=time.time()-start_timeprint('|epoch{:3d}|{:5d}/{:5d}batches''|accuracy{:8.3f}'.format(epoch,idx,len(dataloader),total_acc/total_count))total_acc,total_count=0,0start_time=time.time()代碼實現(xiàn)實踐任務(wù)-新聞主題分類defevaluate(dataloader):model.eval()total_acc,total_count=0,0withtorch.no_grad():foridx,(label,text,offsets)inenumerate(dataloader):predicted_label=model(text,offsets)loss=criterion(predicted_label,label)total_acc+=(predicted_label.argmax(1)==label).sum().item()total_count+=label.size(0)returntotal_acc/total_count實踐任務(wù)-新聞主題分類defevaluate(dataloader):model.eval()total_acc,total_count=0,0withtorch.no_grad():foridx,(label,text,offsets)inenumerate(dataloader):predicted_label=model(text,offsets)loss=criterion(predicted_label,label)total_acc+=(predicted_label.argmax(1)==label).sum().item()total_count+=label.size(0)returntotal_acc/total_count實踐任務(wù)-新聞主題分類defevaluate(dataloader):model.eval()total_acc,total_count=0,0withtorch.no_grad():foridx,(label,text,offsets)inenumerate(dataloader):predicted_label=model(text,offsets)loss=criterion(predicted_label,label)total_acc+=(predicted_label.argmax(1)==label).sum().item()total_count+=label.size(0)returntotal_acc/total_count實踐任務(wù)-新聞主題分類因為原始的AG_NEWS沒有測試數(shù)據(jù)