2023學(xué)年完整公開課版遷移學(xué)習(xí)

遷移學(xué)主講：陳治宇習(xí)遷移學(xué)習(xí)遷移學(xué)習(xí)是一種機(jī)器學(xué)習(xí)方法，就是把為任務(wù)A開發(fā)的模型作為初始點(diǎn)，重新使用在為任務(wù)B開發(fā)模型的過程中。深度學(xué)習(xí)中在計(jì)算機(jī)視覺任務(wù)和自然語言處理任務(wù)中將預(yù)訓(xùn)練的模型作為新模型的起點(diǎn)是一種常用的方法，通常這些預(yù)訓(xùn)練的模型在開發(fā)神經(jīng)網(wǎng)絡(luò)的時(shí)候已經(jīng)消耗了巨大的時(shí)間資源和計(jì)算資源，遷移學(xué)習(xí)可以將已習(xí)得的強(qiáng)大技能遷移到相關(guān)的的問題上。遷移學(xué)習(xí)定義遷移學(xué)習(xí)是一種機(jī)器學(xué)習(xí)的方法，指的是一個(gè)預(yù)訓(xùn)練的模型被重新用在另一個(gè)任務(wù)中。遷移學(xué)習(xí)與多任務(wù)學(xué)習(xí)以及概念飄移這些問題相關(guān)，它不是一個(gè)專門的機(jī)器學(xué)習(xí)領(lǐng)域。然而，遷移學(xué)習(xí)在某些深度學(xué)習(xí)問題中是非常受歡迎的，例如在具有大量訓(xùn)練深度模型所需的資源或者具有大量的用來預(yù)訓(xùn)練模型的數(shù)據(jù)集的情況。僅在第一個(gè)任務(wù)中的深度模型特征是泛化特征的時(shí)候，遷移學(xué)習(xí)才會(huì)起作用。深度學(xué)習(xí)中的這種遷移被稱作歸納遷移。就是通過使用一個(gè)適用于不同但是相關(guān)的任務(wù)的模型，以一種有利的方式縮小可能模型的搜索范圍。遷移學(xué)習(xí)開發(fā)模型的方法選擇源任務(wù)。你必須選擇一個(gè)具有豐富數(shù)據(jù)的相關(guān)的預(yù)測(cè)建模問題，原任務(wù)和目標(biāo)任務(wù)的輸入數(shù)據(jù)、輸出數(shù)據(jù)以及從輸入數(shù)據(jù)和輸出數(shù)據(jù)之間的映射中學(xué)到的概念之間有某種關(guān)系。開發(fā)源模型。你必須為第一個(gè)任務(wù)開發(fā)一個(gè)精巧的模型。這個(gè)模型一定要比普通的模型更好，以保證一些特征學(xué)習(xí)可以被執(zhí)行。重用模型。適用于源任務(wù)的模型可以被作為目標(biāo)任務(wù)的學(xué)習(xí)起點(diǎn)。這可能將會(huì)涉及到全部或者部分使用第一個(gè)模型，這依賴于所用的建模技術(shù)。調(diào)整模型。模型可以在目標(biāo)數(shù)據(jù)集中的輸入-輸出對(duì)上選擇性地進(jìn)行微調(diào)，以讓它適應(yīng)目標(biāo)任務(wù)。。遷移學(xué)習(xí)基于特征的遷移方法(FeaturebasedTransferLearning)是指將通過特征變換的方式互相遷移,來減少源域和目標(biāo)域之間的差距；或者將源域和目標(biāo)域的數(shù)據(jù)特征變換到統(tǒng)一特征空間中,然后利用傳統(tǒng)的機(jī)器學(xué)習(xí)方法進(jìn)行分類識(shí)別。根據(jù)特征的同構(gòu)和異構(gòu)性,又可以分為同構(gòu)和異構(gòu)遷移學(xué)習(xí)。下圖很形象地表示了兩種基于特征的遷移學(xué)習(xí)方法。遷移學(xué)習(xí)基于樣本的遷移學(xué)習(xí)方法(InstancebasedTransferLearning)根據(jù)一定的權(quán)重生成規(guī)則，對(duì)數(shù)據(jù)樣本進(jìn)行重用，來進(jìn)行遷移學(xué)習(xí)。下圖形象地表示了基于樣本遷移方法的思想源域中存在不同種類的動(dòng)物，如狗、鳥、貓等，目標(biāo)域只有狗這一種類別。在遷移時(shí)，為了最大限度地和目標(biāo)域相似，我們可以人為地提高源域中屬于狗這個(gè)類別的樣本權(quán)重。遷移學(xué)習(xí)基于模型的遷移方法(Parameter/ModelbasedTransferLearning)是指從源域和目標(biāo)域中找到他們之間共享的參數(shù)信息,以實(shí)現(xiàn)遷移的方法。這種遷移方式要求的假設(shè)條件是：