深度學習應用開發(fā) 課件 第7章 遷移學習

目錄1遷移學習概念01任務遷移學習的基本問題02任務遷移學習的應用領域03任務1遷移學習概念1遷移學習概念對于卷積神經(jīng)網(wǎng)絡而言，不同深度的卷積層能夠識別的特征會有所不同。簡單來說，較淺的卷積主要負責提取圖像的邊緣或線條等特征，較深的卷積層基于淺層提取到的特征，進一步提取特征，例如鼻子、眼睛或耳朵等。淺層網(wǎng)絡提取的特征具有一定的共性，舉一個經(jīng)典的例子：使用擁有數(shù)萬筆訓練數(shù)據(jù)的ImageNet數(shù)據(jù)集訓練網(wǎng)絡模型，可以學習到非常多樣的特征，這種網(wǎng)絡模型稱為預訓練模型(Pre-TrainedModel)。1遷移學習概念當完成新數(shù)據(jù)集的分類任務時，不必搭建一個全新的網(wǎng)絡模型從頭訓練，可以在預訓練模型的基礎上進行微調(diào)訓練模型，以得到適用于新數(shù)據(jù)的分類的模型。這種訓練方式被稱為遷移學習（TransferLearning)。在圖像處理任務中，使用ImageNet的預訓練網(wǎng)絡進行遷移學習，能夠獲得更好的模型，且模型訓練時間更短。2遷移學習的基本問題2遷移學習的基本問題（1）何時遷移給定待學習的目標，首先要做的便是判斷任務是否適合進行遷移學習。（2）何處遷移判斷任務適合遷移學習之后，第二步要解決的是從何處進行遷移。包括要遷移什么知識，從那個地方進行遷移。（3）如何遷移如何遷移要求學習最優(yōu)的遷移學習方法，遷移學習根據(jù)學習方法可以分為：基于實例的遷移學習、基于特征的遷移學習、基于模型的遷移學習以及基于關系的遷移學習。3遷移學習的應用領域3遷移學習的應用領域（1）雖然有大量的數(shù)據(jù)樣本，但是大部分數(shù)據(jù)樣本是無標注的，而且想要繼續(xù)增加更多的數(shù)據(jù)標注，需要付出巨大的成本。在這種場景下，利用遷移學習思想，可以尋找一些和目標數(shù)據(jù)相似而且已經(jīng)有標注的數(shù)據(jù)，利用數(shù)據(jù)之間的相似性對知識進行遷移，提高對目標數(shù)據(jù)的預測效果或者標注精度。（2）想要獲取具有更強泛化能力，但是數(shù)據(jù)樣本較少。機器學習的成功應用依賴于大量有標簽數(shù)據(jù)的可用性。然而，高質(zhì)量有標簽數(shù)據(jù)總是供不應求。傳統(tǒng)的機器學習算法常常因為數(shù)據(jù)量小而產(chǎn)生過擬合問題，因而無法很好地泛化到新的場景中。（3）數(shù)據(jù)來自不同的分布。傳統(tǒng)的機器學習算法假設訓練和測試數(shù)據(jù)來自相同的數(shù)據(jù)分布。然而，這種假設對于許多實際應用場景來說無法滿足。在許多情況下，數(shù)據(jù)分布不僅會隨著時間和空間而變化，也會隨著不同的情況而變化，因此我們可能無法使用相同的數(shù)據(jù)分布來對待新的訓練數(shù)據(jù)。在不同于訓練數(shù)據(jù)的新場景下，已經(jīng)訓練完成的模型需要在使用前進行調(diào)整。ThankYOU!目錄1遷移學習方法依據(jù)01任務四種遷移學習方法02任務1遷移學習方法依據(jù)1遷移學習方法依據(jù)遷移學習的訓練方法和技巧主要依據(jù)兩種情況：（1）新數(shù)據(jù)集的大小如果新數(shù)據(jù)集的數(shù)據(jù)量為幾萬筆數(shù)據(jù)，就屬于大數(shù)據(jù)集；如果新數(shù)據(jù)集的數(shù)據(jù)量為幾千或幾百筆數(shù)據(jù)，就屬于小數(shù)據(jù)集。（2）數(shù)據(jù)集的相似程度新數(shù)據(jù)集與預訓練模型所使用的數(shù)據(jù)集之間的相似程度。例如，貓與老虎屬于相似度高的數(shù)據(jù)，而貓與桌子則屬于相似度低的數(shù)據(jù)。2四種遷移學習方法2四種遷移學習方法根據(jù)新數(shù)據(jù)集的大小和數(shù)據(jù)集的相似程度，可以將遷移學習方法分為四種情況：（1）小數(shù)據(jù)集&相似數(shù)據(jù)（2）小數(shù)據(jù)集&不相似數(shù)據(jù)（3）大數(shù)據(jù)集&相似數(shù)據(jù)（4）大數(shù)據(jù)集&不相似數(shù)據(jù)2四種遷移學習方法（1）小數(shù)據(jù)集&相似數(shù)據(jù)小數(shù)據(jù)集在龐大的網(wǎng)絡架構上訓練時容易發(fā)生過擬合問題，因此預訓練模型的權重必須保持不變。由于新數(shù)據(jù)集與預訓練模型使用的數(shù)據(jù)集相似性高，新數(shù)據(jù)集在每一層卷積層都有相似的特征，尤其是更高層的卷積層，因此提取特征的卷積層不需要改變，只對處理特征分類的全連接層進行改變即可。故而我們將最后幾層全連接層刪除，并加上新的全連接層。2四種遷移學習方法步驟如下：(1）刪除全連接層：可以選擇刪除最后一層的全連接層或刪除多層的全連接層。(2）新增全連接層：將新增加的全連接層接在原來的網(wǎng)絡架構后面，且最后一層全連接層的輸出與新數(shù)據(jù)集的類別數(shù)一樣。只訓練新增的全連接層。(3）固定卷積層的權重：在訓練新的網(wǎng)絡架構時，將大部分網(wǎng)絡層的權重固定。不進行訓練。2四種遷移學習方法（2）小數(shù)據(jù)集&不相似數(shù)據(jù)因為小數(shù)據(jù)集在龐大的網(wǎng)絡架構上訓練時容易發(fā)生過擬合問題，所以預訓練模型的權重必須保持不變。由于新數(shù)據(jù)集與預訓練模型使用的數(shù)據(jù)集相似度低，新數(shù)據(jù)集只有在低層卷積層有相似特征，更高層卷積層的特征大多不相似，因此只需要保留低層卷積層，其他卷積層和全連接層都刪除，并加入新的全連接層，2四種遷移學習方法步驟如下：(1）刪除全連接層：刪除大部分網(wǎng)絡，只保留前面小部分網(wǎng)絡層（提取線條、顏色或紋路的網(wǎng)絡層）。(2）新增全連接層：將新增加的全連接層接在原來的網(wǎng)絡架構后面，且最后一層全連接層輸出與新數(shù)據(jù)集的類別一樣。(3）固定卷積層的權重：在訓練新的網(wǎng)絡架構時，將大部分網(wǎng)絡層的權重固定，不進行訓練，只訓練新增的全連接層。2四種遷移學習方法（3）大數(shù)據(jù)集&相似數(shù)據(jù)擁有大數(shù)據(jù)集一般不需要擔心在訓練過程中發(fā)生過擬合問題，因此可以對整個預訓練模型進行訓練。由于新數(shù)據(jù)集與預訓練模型使用的數(shù)據(jù)集相似度高，新數(shù)據(jù)集在每一層卷積層都有相似的特征，因此提取特征的卷積層不必改變，只改變處理特征分類的全連接層即可。2四種遷移學習方法步驟如下：(1）刪除全連接層：可以選擇刪除最后或多層的全連接層。(2）新增全連接層：在網(wǎng)絡最后添加新的全連接層，最后全連接層的輸出與新數(shù)據(jù)集的類別數(shù)一樣。(3）固定卷積層的權重：在訓練新的網(wǎng)絡架構時，將大部分網(wǎng)絡層的權重固定，不進行訓練，只訓練新增的全連接層。2四種遷移學習方法（4）大數(shù)據(jù)集&不相似數(shù)據(jù)擁有大量的數(shù)據(jù)集一般不需要擔心在訓練過程中發(fā)生過擬合問題，因此可以對整個預訓練模型或全新的隨機初始化權重的網(wǎng)絡模型進行訓練，由于新數(shù)據(jù)集與預訓練模型使用的數(shù)據(jù)集相似度低，新數(shù)據(jù)集與大多數(shù)網(wǎng)絡層的特征都不相似，因此我們先將最后幾層全連接層刪除，并加上新的全連接層，再對整個預訓練模型進行訓練。2四種遷移學習方法步驟如下：(1）刪除全連接層：可以選擇刪除最后一層的全連接層或刪除多層的全連接層。(2）新增全連接層：將新增加的全連接層接在原來的網(wǎng)絡架構后面，且最后一層全連接層輸出與新數(shù)據(jù)集的類別一樣。(3）訓練整個網(wǎng)絡模型：重新微調(diào)整個網(wǎng)絡模型。ThankYOU!目錄1案例目標01任務環(huán)境配置02任務案例實施04任務案例分析02任務03任務1案例目標案例目標理解遷移學習的原理，掌握遷移學習的主要技術方法；理解預訓練模型的概念，掌握調(diào)用預訓練模型的方法；掌握數(shù)據(jù)的加載以及生成數(shù)據(jù)集的方法；掌握使用matplotlib工具繪制訓練曲線的方法；掌握keras函數(shù)式模型搭建方法；掌握模型初始化訓練和微調(diào)訓練的方法。12案例分析2案例分析本案例運用遷移學習的方法實現(xiàn)貓狗圖像分類；本案例從指定網(wǎng)址中下載貓狗圖像數(shù)據(jù)，數(shù)據(jù)包含約3000張圖像。本案例使用preprocessing.image_dataset_from_directory從圖像文件中加載數(shù)據(jù)并生成數(shù)據(jù)集；本案例基于預訓練模型mobilenetV2搭建網(wǎng)絡模型；2案例分析數(shù)據(jù)集分為訓練集和驗證集，訓練集包含2000張圖像，其中，狗1000張，貓1000張；驗證集包含1000張圖像，其中，狗500張，貓500張。圖像大小不一，在數(shù)據(jù)處理時，需要將圖像大小標準化。下圖展示了訓練集部分貓的圖像和狗的圖像。3環(huán)境配置3環(huán)境配置Windows10tensorflow=2.10.0matplotlib=3.6.1numpy=1.23.44案例實施4案例實施部分代碼展示：1、導入庫