《深度學(xué)習(xí)：基于PyTorch 》 課件 第6、7章：經(jīng)典CNN模型介紹、序列模型

第六章：經(jīng)典CNN模型介紹1.

AlexNet模型原理與實現(xiàn)2.VGG模型原理與實現(xiàn)3.InceptionV1模型原理與實現(xiàn)4.ResNet模型原理與實現(xiàn)5.批量歸一化（BN）原理與實現(xiàn)6.數(shù)據(jù)增強(qiáng)（DA）原理與實現(xiàn)7.遷移學(xué)習(xí)原理與實現(xiàn)學(xué)習(xí)目標(biāo)AlexNetAlexNet介紹：ImageNet競賽冠軍獲得者Hinton和他的學(xué)生KrizhevskyAlex于2012年設(shè)計。ImageNet競賽中第一個使用卷積神經(jīng)網(wǎng)絡(luò)的參賽者。AlexNet網(wǎng)絡(luò)結(jié)構(gòu)：8層卷積層池化層卷積層池化層卷積層卷積層卷積層池化層輸出層：三個全連接層AlexNet網(wǎng)絡(luò)結(jié)構(gòu)AlexNet網(wǎng)絡(luò)結(jié)構(gòu)AlexNet創(chuàng)新點(diǎn)：成功使用ReLU作為CNN的激活函數(shù)；使用Dropout隨機(jī)忽略一部分神經(jīng)元，避免模型過擬合；在CNN中使用重疊的最大值池化(步長小于卷積核)；提出局部響應(yīng)歸一化層（LocalResponseNormalization，LRN），后逐漸被BN（BatchNormalization）代替；使用CUDA加速神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，利用了GPU強(qiáng)大的計算能力；采用了數(shù)據(jù)增強(qiáng)（DataAugmentation）技術(shù)，達(dá)到增加樣本量的目的。AlexNet創(chuàng)新點(diǎn)局部響應(yīng)歸一化是對同層神經(jīng)元、鄰近特征映射進(jìn)行局部歸一化應(yīng)用在激活函數(shù)之后歸一化（Normalization）方法泛指把數(shù)據(jù)特征轉(zhuǎn)換為相同尺度的方法，比如把數(shù)據(jù)特征映射到[0,1]或[?1,1]區(qū)間內(nèi)，或者映射為服從均值為0、方差為1的標(biāo)準(zhǔn)正態(tài)分布．案例：CIFAR10數(shù)據(jù)集介紹

Cifar10數(shù)據(jù)的獲取AlexNet用于Cifar10的Pytorch代碼VGGVGG（VisualGeometryGroup,DepartmentofEngineeringScience,UniversityofOxford）牛津大學(xué)計算機(jī)視覺組和DeepMind公司共同研發(fā)的一種深度卷積神經(jīng)網(wǎng)絡(luò)VGG網(wǎng)絡(luò)結(jié)構(gòu)：6種從左到右深度越來越深加粗體表示新增的層所有網(wǎng)絡(luò)結(jié)構(gòu)都包含5組卷積操作，每組卷積包含一定數(shù)量的卷積層——可以看作一個五階段的卷積特征提取。獲得2014年ILSVRC分類項目第2名VGG網(wǎng)絡(luò)結(jié)構(gòu)輸入層：224×224×3的彩色圖像。第1組卷積層（2次卷積）：Conv2D(3×3，64),Stride(1),same,ReLU,Output:224×224×64。第1個池化層：MaxPooling2D(2×2),Stride(2),Output:112×112×64。第2組卷積層（2次卷積）：Conv2D(3×3，128),Stride(1),same,ReLU,Output:112×112×128。第2個池化層：MaxPooling2D(2×2),Stride(2),Output:。第3組卷積層（3次卷積）：Conv2D(3×3，256),Stride(1),same,ReLU,Output:56×56×256。第3個池化層：MaxPooling2D(2×2),Stride(2),Output:。第4組卷積層（3次卷積）：Conv2D(3×3，512),Stride(1),same,ReLU,Output:28×28×512。第4個池化層：MaxPooling2D(2×2),Stride(2),Output:。第5組卷積層（3次卷積）：Conv2D(3×3，512),Stride(1),same,ReLU,Output:。第5個池化層：MaxPooling2D(),Stride(2),Output:。輸出層：Flatten，Dense(4096)，Dense（4096），Dense（1000）。VGG網(wǎng)絡(luò)結(jié)構(gòu)VGG16網(wǎng)絡(luò)結(jié)構(gòu)：5組卷積組和3個全連接層VGG網(wǎng)絡(luò)結(jié)構(gòu)VGG模型的Pytorch實現(xiàn)VGG模型的Pytorch實現(xiàn)BatchNormalization技巧批量歸一化（BatchNormalization,

BN）方法是一種有效的逐層歸一化方法，可以對神經(jīng)網(wǎng)絡(luò)中任意的中間層進(jìn)行歸一化操作（Ioffeetal.,2015）.為了提高優(yōu)化效率，就要使得凈輸入??(??)的分布一致，比如都?xì)w一化到標(biāo)準(zhǔn)正態(tài)分布一般使用標(biāo)準(zhǔn)化將凈輸入??(??)的每一維都?xì)w一到標(biāo)準(zhǔn)正態(tài)分布??(??)的期望和方差通常用當(dāng)前小批量樣本集的均值和方差近似估計給定一個包含??個樣本的小批量樣本集合，第??層神經(jīng)元的凈輸入??(1,??)?,??(??,??)的均值和方差為BatchNormalization的核心思想對凈輸入??(??)的標(biāo)準(zhǔn)歸一化會使得其取值集中到0附近，如果使用Sigmoid型激活函數(shù)時，這個取值區(qū)間剛好是接近線性變換的區(qū)間，減弱了神經(jīng)網(wǎng)絡(luò)的非線性性質(zhì)．因此，為了使得歸一化不對網(wǎng)絡(luò)的表示能力造成負(fù)面影響，可以通過一個附加的縮放和平移變換改變?nèi)≈祬^(qū)間BatchNormalization的核心思想：BatchNormalization:AcceleratingDeepNetworkTrainingbyReducingInternalCovariateShiftBatchNormalization的核心思想

BatchNormalization的核心思想案例：貓狗數(shù)據(jù)集訓(xùn)練核心任務(wù)：對貓和狗進(jìn)行分類其中訓(xùn)練集和驗證集進(jìn)行了規(guī)范化的格式存儲樣本量：15000張訓(xùn)練，10000張驗證，貓狗各50%讀入貓狗數(shù)據(jù)

帶有BN的寬模型這個模型中，卷積核的個數(shù)減少，但是模型的層數(shù)增加。每一層使用20個卷積核，進(jìn)行一個長度為7的循環(huán)，每一步要重復(fù)一個卷積和池化的基本操作，其中卷積層進(jìn)行規(guī)格大小為2×2的same卷積，池化層進(jìn)行規(guī)格大小為2×2的最大值池化。BN總結(jié)：BatchNormalization在很多情況下確實是幫助巨大的，但并不是對所有情況都有幫助。在什么情況下BatchNormalization能夠讓結(jié)果變好，在什么情況下沒有幫助是不清楚的，是值得我們思考和研究的。帶有BN的深度模型DataAugmentation技巧DataAugmentation被翻譯成“數(shù)據(jù)增強(qiáng)”，或者“數(shù)據(jù)增廣”。它通過對數(shù)據(jù)施加各種變換來達(dá)到增加樣本量的目的。數(shù)據(jù)增強(qiáng)是深度學(xué)習(xí)中除了BatchNormalization外另一個非常常用的技巧。DataAugmentation技巧人和計算機(jī)處理圖像不同。原來的圖像被拉伸、變換或旋轉(zhuǎn)，對計算機(jī)而言都是一個全新的矩陣。計算機(jī)對圖像數(shù)據(jù)用矩陣形式表達(dá)不充分。把一張圖像變成矩陣的過程中，是有信息損失的，而這些損失的信息很寶貴，有可能幫助我們把模型做得更好。DataAugmentation核心思想（1）RandomHorizontalFlip：允許水平方向的翻轉(zhuǎn)。（2）RandomCrop：隨機(jī)裁剪，參數(shù)size代表剪切后的圖片尺寸，參數(shù)padding代表裁剪前首先在圖片外補(bǔ)0。（3）RandomAffine：對坐標(biāo)進(jìn)行仿射變換，由五種基本變換構(gòu)成，分別為旋轉(zhuǎn)、平移、縮放、錯切和翻轉(zhuǎn)。Degrees：最大旋轉(zhuǎn)角度；Translate：最大平移區(qū)間，如(a,b)，a代表寬，b代表高；Scale：縮放比例區(qū)間，如(a,b)，則圖片在a,b間縮放；Shear：最大錯切角度，分為水平錯切和垂直錯切；若shear=a，則僅在x軸錯切，若shear=(a,b)，則a設(shè)置x軸角度，b設(shè)置y軸角度。Pytorch實現(xiàn)數(shù)據(jù)增強(qiáng)數(shù)據(jù)增強(qiáng)究竟增加了多少樣本？（1）每一條規(guī)則前都帶有Random，說明這種變換是隨機(jī)的（2）同一張圖片，在第1個Epoch和第2個Epoch經(jīng)過數(shù)據(jù)變換后的輸出是有區(qū)別的第1個epoch第2個epochInceptionInception介紹：由Google團(tuán)隊提出，因此也被稱為GoogleNet；該模型一共有4個版本，從V1到V4；通過增加網(wǎng)絡(luò)的寬度（通道數(shù)）來提升訓(xùn)練效果。InceptionV1網(wǎng)絡(luò)結(jié)構(gòu)InceptionV1模塊由多個Inception基礎(chǔ)模塊串聯(lián)而成。獲得了ILSVRC2014挑戰(zhàn)賽分類項目的冠軍InceptionV1基礎(chǔ)模塊Inception網(wǎng)絡(luò)結(jié)構(gòu)InceptionV1模塊創(chuàng)新點(diǎn)：1.InceptionV1使用多個不同尺寸的卷積核（直觀理解：疊加不同尺寸的卷積核，可以從細(xì)節(jié)上提取更豐富的特征）。Inception網(wǎng)絡(luò)結(jié)構(gòu)

Inception網(wǎng)絡(luò)結(jié)構(gòu)舉例說明：1*1的卷積核是如何起到減少參數(shù)的作用的？Inception網(wǎng)絡(luò)結(jié)構(gòu)InceptionV1完整的網(wǎng)絡(luò)結(jié)構(gòu)輸入層卷積層卷積層Inception3a層Inception3b層……Inception網(wǎng)絡(luò)結(jié)構(gòu)Pytorch構(gòu)建Inception基礎(chǔ)模塊Pytorch構(gòu)建Inception模型ResNet

ResNet網(wǎng)絡(luò)結(jié)構(gòu)殘差學(xué)習(xí)模塊的優(yōu)勢：簡化學(xué)習(xí)難度——傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)或者全連接網(wǎng)絡(luò)，在信息傳遞時，或多或少會存在信息丟失、損耗等問題，同時還會導(dǎo)致梯度消失或梯度爆炸，使得很深的網(wǎng)絡(luò)無法訓(xùn)練。ResNet中常用的殘差學(xué)習(xí)模塊：常見的ResNet有50層、101層和152層。常見ResNet學(xué)習(xí)模塊ResNet網(wǎng)絡(luò)結(jié)構(gòu)34層ResNet網(wǎng)絡(luò)結(jié)構(gòu)：conv1層conv2_x層conv3_x層conv4_x層conv5_x層全連接層ResNet網(wǎng)絡(luò)結(jié)構(gòu)FullyconnectedvsGlobalAveragePooling遷移學(xué)習(xí)深度學(xué)習(xí)的現(xiàn)實困難：經(jīng)典的網(wǎng)絡(luò)模型太多計算太昂貴，這里既包括硬件，也包括數(shù)據(jù)集深度學(xué)習(xí)的現(xiàn)實困難遷移學(xué)習(xí)（TransferLearning）是指將某個領(lǐng)域或任務(wù)上學(xué)習(xí)到的知識或模式應(yīng)用到不同，但相關(guān)的領(lǐng)域或問題中。需要注意：輸入與輸出站在前人的肩膀上，用別人的模型、參數(shù)。分為預(yù)訓(xùn)練遷移和固定值遷移。預(yù)訓(xùn)練遷移：遷移過來的權(quán)重視為初始權(quán)重，訓(xùn)練過程中會被梯度下降算法更改固定值遷移：遷移過來的權(quán)重保持固定值不變，訓(xùn)練過程僅針對后面的全連接網(wǎng)絡(luò)遷移學(xué)習(xí)原理遷移學(xué)習(xí)實施流程多層CNN多層CNN多層CNN普通圖像衛(wèi)星遙感圖像衛(wèi)星遙感圖像預(yù)訓(xùn)練遷移固定值遷移物體分類夜光亮度貧困程度遷移學(xué)習(xí)用于貓狗數(shù)據(jù)分析第七章：序列模型1．Word2Vec的原理與應(yīng)用RNN與LSTM模型的工作原理如何訓(xùn)練一個RNN模型用于機(jī)器作詩如何訓(xùn)練一個LSTM模型用于樂曲生成編碼-解碼模型的原理如何訓(xùn)練一個端到端的機(jī)器翻譯模型學(xué)習(xí)目標(biāo)詞嵌入詞嵌入（WordEmbedding）詞嵌入（WordEmbedding）是深度學(xué)習(xí)中一種流行的用于表示文本數(shù)據(jù)的方法，即將文本轉(zhuǎn)換為數(shù)值的表示形式，一種常見的方式是轉(zhuǎn)換為one-hot形式0123456789010000000001010000000020010000000…8000000001090000000001對0-9數(shù)字重新編碼詞匯表征與語義相似性預(yù)測括號中的內(nèi)容Iwantabottleoforange（）可能的方法步驟：把每個單詞進(jìn)行one-hot編碼會形成一個超大的稀疏矩陣學(xué)習(xí)輸入到輸出的映射關(guān)系缺點(diǎn)：會產(chǎn)生維數(shù)災(zāi)難不能很好的獲取詞語與詞語之間的相似性

對詞語相似性的兩種理解兩個詞經(jīng)常在一起出現(xiàn)，例如：周末加班語義相關(guān)性——把這兩個詞的位置互換，相應(yīng)的句子仍然是自然語言詞語相似性本章更多關(guān)注的是語義相關(guān)性語義相關(guān)性的幾何理解首先，把一個個抽象的詞或句子映射到一個歐式空間中，因為歐式空間有距離的概念。需要建立一個映射關(guān)系，將詞或者短句，映射到帶有距離的高維歐式空間中。這樣的目標(biāo)稱為詞嵌入（WordEmbedding），即把一個個word（詞），embed（嵌入）高維的歐氏空間中。詞嵌入（WordEmbedding）舉例：詞嵌入的數(shù)學(xué)表達(dá)詞嵌入就是要通過大量的文本數(shù)據(jù)學(xué)習(xí)，找到每一個詞匯與高維空間的映射關(guān)系，表示該詞匯在抽象空間中的位置，即它的坐標(biāo)。三個詞：酒店，賓館，旅店所有的相對距離是保持不變的。這說明抽象空間中詞匯的位置不可識別。詞嵌入的理論原理詞嵌入經(jīng)典文獻(xiàn)由托馬斯·米克羅夫（TomasMikolov）等人在2013年ICLR大會上的一篇論文中提出根據(jù)上下文來預(yù)測中間詞的連續(xù)詞袋（continuousbag-of-words,CBOW）模型根據(jù)中間詞來預(yù)測上下文的跳字（skip-gram）模型詞嵌入的理論原理

詞嵌入的理論原理

案例數(shù)據(jù)來源：IMDB影評數(shù)據(jù)集，收集了25000條IMDB網(wǎng)站上的英文影評文本及評論的情感正負(fù)向標(biāo)簽數(shù)據(jù)讀入與展示詞嵌入的程序?qū)崿F(xiàn)分詞及結(jié)果展示詞嵌入的程序?qū)崿F(xiàn)詞嵌入函數(shù)——Word2Vec函數(shù)size：虛擬空間維度min_count：詞頻小于min_count的詞不被考慮維度越低，參數(shù)越少，越靈活維度越高，參數(shù)越高，需要的樣本量越大，計算時間越多詞嵌入的程序?qū)崿F(xiàn)詞語相似性結(jié)果演示——model.wv.similarity函數(shù)詞嵌入的程序?qū)崿F(xiàn)繪制星空圖進(jìn)行可視化：bad、director、zombie詞嵌入的程序?qū)崿F(xiàn)RNN模型與機(jī)器自動作詩詩，是一種藝術(shù)作詩講究“前言搭后語”機(jī)器作詩與回歸分析機(jī)器作詩其實就是一個回歸分析的概率問題。通過學(xué)習(xí)現(xiàn)有詩歌的搭配規(guī)律，機(jī)器也能作詩！機(jī)器作詩原理

機(jī)器作詩原理

RNN前期知識一個更為合理的建模方式對序列數(shù)據(jù)中的信息充分提取，將歷史信息傳遞下來RNN前期知識

RNN前期知識

循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork，RNN）是狀態(tài)空間模型在文本序列數(shù)據(jù)上的一種具體的實現(xiàn)方法。它的核心思想是不斷保留與傳遞歷史信息，而保留和傳遞的載體就是狀態(tài)。狀態(tài)能夠沉淀非常豐富的歷史信息，有助于整個序列合理精確地向前演進(jìn)。早期的相關(guān)RNN的文獻(xiàn)RNN模型

RNN模型

更為一般的RNN模型展示

數(shù)據(jù)讀入與展示讀入與展示數(shù)據(jù)讀入數(shù)據(jù)創(chuàng)建字符編碼字典讀入數(shù)據(jù)對詩歌進(jìn)行編碼，從原始數(shù)據(jù)到矩陣數(shù)據(jù)處理：從原始數(shù)據(jù)到矩陣數(shù)據(jù)處理：處理長短不一并對其X和Y這里需要注意的是數(shù)據(jù)，以“春眠不覺曉”這句詩為例，輸入是“春眠不覺”，預(yù)測的目標(biāo)是“眠不覺曉”:輸入“春”的時候，網(wǎng)絡(luò)預(yù)測的下一個字的目標(biāo)是“眠”。輸入“眠”的時候，網(wǎng)絡(luò)預(yù)測的下一個字的目標(biāo)是“不”。輸入“不”的時候，網(wǎng)絡(luò)預(yù)測的下一個字的目標(biāo)是“覺”。輸入“覺”的時候，網(wǎng)絡(luò)預(yù)測的下一個字的目標(biāo)是“曉”?！ＷCX和Y是這種“錯位”的關(guān)系數(shù)據(jù)處理：補(bǔ)0、對齊X和Y構(gòu)建RNN模型參數(shù)個數(shù)計算RNN寫藏頭詩poem_incomplete=‘深****度****學(xué)****習(xí)****‘…原理實現(xiàn)：RNN作詩LSTM模型與自動作曲RNN無法實現(xiàn)長期記憶性。skyFrench短句子長句子LSTM前期知識思考：如何實現(xiàn)長期記憶性？LSTM前期知識

LSTM前期知識長短期記憶模型（LongShortTermMemory，LSTM）——既兼顧長期記憶性（longtermdependency），又兼顧短期記憶性（shorttermdependency）LSTM是RNN的一個優(yōu)秀的變種模型，能很好的處理“長距離依賴”問題。LSTM模型LSTM模型LSTM的非線性變換遺忘門——長期狀態(tài)變量繼承的更新輸入門——長期狀態(tài)變量吸收的更新輸出門——長期狀態(tài)變量的輸出更新LSTM模型的三個門LSTM的非線性變換遺忘門——長期狀態(tài)變量繼承的更新：數(shù)據(jù)需要“過濾”一部分信息LSTM模型：遺忘門LSTM的非線性變換輸入門——長期狀態(tài)變量吸收的更新：下一時刻的狀態(tài)需要加入多少“新信息”LSTM模型：輸入門LSTM的非線性變換輸出門——長期狀態(tài)變量的輸出更新LSTM模型：輸出門MIDI樂曲文件格式介紹midi格式音樂的特征是其主要存儲了音樂所使用的樂器以及具體的音樂序列(或者說音軌)及序列中每個時間點(diǎn)的音符信息。具體而言，每首音樂往往由多個音樂序列（或者說音軌）組成，即midi文件中的parts,（各個part在播放時是一起并行播放的）每個part又由許多elements組成，可以理解為就是按時間順序排列的音符（包括和弦）序列，主要以數(shù)字和字母組合的音高符號來記錄。利用LSTM自動作曲提供的文件Musicians：音樂家列表Seqs：樂曲序列Namelist：每首樂曲對應(yīng)的音樂家例子：對音符進(jìn)行編碼利用LSTM自動作曲數(shù)據(jù)預(yù)處理統(tǒng)一維度，對于不足維度的進(jìn)行補(bǔ)0處理（例如本例中設(shè)置為1000）與作詩類似，每次預(yù)測下一個音符，輸入的是前一個音符教材中采取的是只把最后一個音符作為Y，其他前面所有的作為X（需要改進(jìn)）利用LSTM自動作曲共有614首曲子，最大維度為1000，“掐頭去尾”工作模型構(gòu)建思路考慮到不同音樂家的樂曲風(fēng)格存在差異，這里嘗試用樂曲所屬音樂家的序號（one-hot向量化）經(jīng)可訓(xùn)練的dense層變換后的特征向量對不同音樂家樂曲的LSTM隱藏變量進(jìn)行不同的初始化，以試圖幫助模型適應(yīng)不同音樂家在樂曲風(fēng)格上可能存在的差異。利用LSTM自動作曲生成指定音樂家的音樂根據(jù)已有的部分樂譜，生成一首新的樂曲，并且考慮音樂家的要素。預(yù)測過程如下：首先，指定音樂家的風(fēng)格，將其作為模型的一部分輸入來進(jìn)行隱藏狀態(tài)的條件初始化其次，從所指定的音樂家樂曲中隨機(jī)挑選一首作為提供部分樂譜的依據(jù)最后，與作詩模型預(yù)測類似的預(yù)測過程（只不過輸入部分增加了我們所指定的音樂家向量）利用LSTM自動作曲編碼-解碼框架：機(jī)器翻譯文本序列分析一個最廣泛的應(yīng)用就是機(jī)器翻譯機(jī)器翻譯原理機(jī)器翻譯貌似很簡單然而，現(xiàn)實是……回歸分析視角模型挑戰(zhàn)：長度不確定的時間序