《深度學(xué)習(xí)項目案例開發(fā)》課件-任務(wù)四：使用深度卷積神經(jīng)網(wǎng)絡(luò)完成圖片分類

任務(wù)四：使用深度卷積神經(jīng)網(wǎng)絡(luò)完成圖片分類使用Vgg塊結(jié)構(gòu)構(gòu)建模型人工智能學(xué)院—1.任務(wù)導(dǎo)入任務(wù)總結(jié)任務(wù)四：使用深度卷積神經(jīng)網(wǎng)絡(luò)完成圖片分類搭建網(wǎng)絡(luò)模型，編寫訓(xùn)練網(wǎng)絡(luò)函數(shù)人工智能學(xué)院—1.任務(wù)導(dǎo)入任務(wù)總結(jié)任務(wù)四：使用深度卷積神經(jīng)網(wǎng)絡(luò)完成圖片分類知識點—讀取imagenet數(shù)據(jù)集人工智能學(xué)院—1.任務(wù)導(dǎo)入任務(wù)總結(jié)任務(wù)四：使用深度卷積神經(jīng)網(wǎng)絡(luò)完成圖片分類使用混合精度訓(xùn)練模型人工智能學(xué)院—1.任務(wù)導(dǎo)入任務(wù)總結(jié)任務(wù)四：使用深度卷積神經(jīng)網(wǎng)絡(luò)完成圖片分類構(gòu)建ResNet網(wǎng)路模型基本結(jié)構(gòu)人工智能學(xué)院—1.任務(wù)導(dǎo)入任務(wù)總結(jié)任務(wù)四：使用深度卷積神經(jīng)網(wǎng)絡(luò)完成圖片分類知識點—構(gòu)建ResNet網(wǎng)絡(luò)塊結(jié)構(gòu)人工智能學(xué)院—1.任務(wù)導(dǎo)入任務(wù)總結(jié)任務(wù)四：使用深度卷積神經(jīng)網(wǎng)絡(luò)完成圖片分類構(gòu)建ResNet網(wǎng)絡(luò)模型-全部層人工智能學(xué)院—1.任務(wù)導(dǎo)入任務(wù)總結(jié)任務(wù)四：使用深度卷積神經(jīng)網(wǎng)絡(luò)完成圖片分類構(gòu)建ResNet網(wǎng)絡(luò)模型-輸入層人工智能學(xué)院—1.任務(wù)導(dǎo)入任務(wù)總結(jié)任務(wù)四：使用深度卷積神經(jīng)網(wǎng)絡(luò)完成圖片分類知識點——構(gòu)建Vgg模型塊結(jié)構(gòu)人工智能學(xué)院—1.任務(wù)導(dǎo)入任務(wù)總結(jié)任務(wù)四：使用深度卷積神經(jīng)網(wǎng)絡(luò)完成圖片分類VGG深度神經(jīng)網(wǎng)絡(luò)人工智能學(xué)院—任務(wù)導(dǎo)入01任務(wù)目標(biāo)02任務(wù)導(dǎo)學(xué)03任務(wù)知識點04任務(wù)總結(jié)05任務(wù)導(dǎo)入/01前面介紹了卷積神經(jīng)網(wǎng)絡(luò)，在此基礎(chǔ)上出現(xiàn)了很多經(jīng)典的現(xiàn)代深度卷積神經(jīng)網(wǎng)絡(luò)，例如VGG、GoogLeNet、ResNet、SSD、YOLO等，雖然深度神經(jīng)網(wǎng)絡(luò)的概念非常簡單，將神經(jīng)網(wǎng)絡(luò)堆疊在一起。但由于不同的網(wǎng)絡(luò)架構(gòu)和超參數(shù)選擇，這些神經(jīng)網(wǎng)絡(luò)的性能會發(fā)生很大變化，本任務(wù)搭建深度數(shù)據(jù)網(wǎng)絡(luò)Resnet101，使用imageNet數(shù)據(jù)集對模型進行訓(xùn)練，最終完成圖片的分類。任務(wù)導(dǎo)入任務(wù)目標(biāo)/02了解深度神經(jīng)網(wǎng)絡(luò)的基本原理了解VGG、ResNet網(wǎng)絡(luò)的結(jié)構(gòu)掌握殘差結(jié)構(gòu)的基本管理掌握殘差網(wǎng)絡(luò)的基本架構(gòu)掌握使用模型預(yù)訓(xùn)練模型的基本原理知識目標(biāo)能根據(jù)具體的要求搭建VGG、ResNet網(wǎng)絡(luò)模型理解混合精度訓(xùn)練、動態(tài)分配GPU內(nèi)存訓(xùn)練的方法拓展能力能調(diào)用VGG、ResNet等深度神經(jīng)網(wǎng)絡(luò)模型能使用殘差模塊構(gòu)建殘差網(wǎng)絡(luò)能使用預(yù)訓(xùn)練模型訓(xùn)練深度殘差網(wǎng)絡(luò)能力目標(biāo)任務(wù)導(dǎo)學(xué)/032012年AlexNet使用了8層卷積神經(jīng)網(wǎng)絡(luò)，模型將特征提出分為三個部分，最底層的提取圖像顏色、紋理等基本特征，中層的提取類似眼睛、鼻子、草葉等信息，更高層可以檢測整個物體。底層特征主要提取圖像的邊緣、顏色、線條等基本特征。?這些特征是圖像的基本屬性，?不涉及圖像的語義信息。?中層特征的提取則更加關(guān)注于圖像的局部和全局特征包括形狀、紋理等，?這些特征能夠反映圖像中的對象或場景的某些屬性?。高層特征則涉及到圖像的語義信息，?這些特征能夠反映圖像中是否存在某類對象或場景。?任務(wù)導(dǎo)學(xué)深度卷積神經(jīng)網(wǎng)絡(luò)任務(wù)知識點/042014年VGG網(wǎng)絡(luò)誕生，采用更小的卷積核，網(wǎng)絡(luò)的層數(shù)達到19層，同時使用可復(fù)用的卷積塊構(gòu)造網(wǎng)絡(luò)，導(dǎo)致網(wǎng)絡(luò)定義的非常簡潔。隨著AlexNet、VGG等網(wǎng)絡(luò)的發(fā)展，網(wǎng)絡(luò)模型測層數(shù)越來越深理論上模型層數(shù)越多效果越好，但是在實際應(yīng)用中，隨著層數(shù)的增加，會產(chǎn)生梯度彌散和模型退化的問題，這時誕生了深度殘差網(wǎng)絡(luò)RestNet，使用這種網(wǎng)絡(luò)可以訓(xùn)練出1202層的超深層次網(wǎng)絡(luò)。任務(wù)知識點VGG模型簡介模VGG模型是經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)，在ILSVRC-2014挑戰(zhàn)賽ImageNet分類任務(wù)中獲得亞軍，它的最大意義在于將神經(jīng)網(wǎng)絡(luò)的層數(shù)推向更深，常用的VGG網(wǎng)絡(luò)包含VGG11、VGG13、VGG16、VGG19等系列網(wǎng)絡(luò)。VGG都包含5組卷積操作，每組卷積包含一定數(shù)量的卷積層，所以這可以看作一個五階段的卷積特征提取。每組卷積后都進行一個2×2的最大值池化，最后是三個全連接層。盡管A～E網(wǎng)絡(luò)的結(jié)構(gòu)在逐步加深，但是參數(shù)個數(shù)并沒有顯著增加，這是因為最后3個全連接層的參數(shù)占據(jù)了絕大多數(shù)。任務(wù)知識點VGG模型簡介VGG網(wǎng)絡(luò)可以分為兩個部分，第一部分主要由卷積層和匯聚層組成，用于進行特征提取。第二部分由全連接層組成，用于進行分類識別。同時出了VGG塊的概念，每個塊由1個或者多個3*3卷積層（填充為1），和2*2的池化層（步幅為2的）組成，這樣可以快速的使用塊構(gòu)建深層次的網(wǎng)絡(luò)，VGG塊結(jié)構(gòu)如圖所示。任務(wù)知識點VGG塊結(jié)構(gòu)常用的VGG模型有VGG11、VGG16、VGG19三種，其中11、16、19表示神經(jīng)網(wǎng)絡(luò)的層次。VGG系列包含了A、A-LRN、B、C、D、E6組，其中A、A-LRN有11層屬于VGG11，B有13層屬于VGG13，C和D有16層屬于VGG16，E有19層屬于VGG19。VGG系列都有5個VGG塊，和3個全連接層，最后使用一個softmax進行分類。VGG11和VGG13中VGG塊使卷積層卷積核的大小為3*3，步長為1，VGG16和VGG19中增加了卷積核為1*1，步長為1的卷積層。每個塊之間使用了最大池化層，池化窗口大小為2*2，步長為2。和AlexNet相比，VGG采用了更小的卷積核和步長，增加了模型的深度。任務(wù)知識點VGG系列模型模型VGG模型塊中有兩種基礎(chǔ)模塊，一種是卷積核為3*3的卷積層，一種是卷積核為1*1的卷積層，同時每個塊中的層數(shù)也不相同，定義VGG塊代碼如下。代碼中設(shè)置了三個參數(shù)，第一參數(shù)num_convs卷積層的數(shù)量，第二個參數(shù)，卷積核的數(shù)量，第三個參數(shù)卷積核的大小。任務(wù)知識點VGG基礎(chǔ)模塊使用循環(huán)結(jié)構(gòu)可以構(gòu)建多個卷積層，最后加入池化層。例如要建立一個包含兩個卷積層（64個卷積核，kernel_size=3*3）的塊結(jié)構(gòu)需要傳入?yún)?shù)【2，64，（3，3）】。如果需要建立一個包含三卷積層（第1、2層：256個卷積核，kernel_size=3*3；第3層：256個卷積核，kernel_size=1*1），這時需要傳入【3，256，（3，3，1）】。任務(wù)知識點VGG基礎(chǔ)模塊定義了塊結(jié)構(gòu)，然后在塊結(jié)構(gòu)后加上全連接層和softmax層，就可以完成模型的結(jié)構(gòu)搭建了樣本數(shù)。這時可以根據(jù)需要建立VGG11、VGG16、VGG19模型。然后可以在train文件中調(diào)用類文件中的創(chuàng)建模型方法，測試模型是否搭建成功。任務(wù)知識點構(gòu)建VGG模型任務(wù)知識點構(gòu)建VGG模型模型輸入224*224*3，經(jīng)過5個VGG塊，在每個塊的高度和寬度減半，最終高度和寬度都為7，最后再展平表示，送入全連接層處理，代碼運行后輸出如圖：任務(wù)知識點構(gòu)建VGG模型隨著AlexNet、VGG等網(wǎng)絡(luò)的發(fā)展，網(wǎng)絡(luò)模型測層數(shù)越來越深理論上模型層數(shù)越多效果越好。但是在實際應(yīng)用中，隨著層數(shù)的增加，會產(chǎn)生梯度彌散和模型退化的問題。這時誕生了深度殘差網(wǎng)絡(luò)RestNet，使用這種網(wǎng)絡(luò)可以訓(xùn)練出1202層的超深層次網(wǎng)絡(luò)。任務(wù)知識點VGG模型存在的問題了解深度卷積神經(jīng)網(wǎng)絡(luò)01了解VGG網(wǎng)絡(luò)的基本結(jié)構(gòu)02能編寫代碼完成VGG模塊03能構(gòu)建VGG模型代碼04任務(wù)四：使用深度卷積神經(jīng)網(wǎng)絡(luò)完成圖片分類ResNet深度神經(jīng)網(wǎng)絡(luò)人工智能學(xué)院—ResNet殘差塊01ResNet模型結(jié)構(gòu)02ResNet101模型結(jié)構(gòu)實現(xiàn)03ResNet101模型訓(xùn)練04VGG等模型的出現(xiàn)使得神經(jīng)網(wǎng)絡(luò)模型的深度達到了二十層，模型訓(xùn)練時反向傳播過程中梯度會逐層傳遞。梯度可能會在傳遞過程中逐漸消失（梯度消失）或快速增長（梯度爆炸）。梯度消失會導(dǎo)致網(wǎng)絡(luò)的權(quán)重更新非常緩慢，難以有效訓(xùn)練。梯度爆炸則會導(dǎo)致權(quán)重更新幅度過大，使得訓(xùn)練過程不穩(wěn)定。深層神經(jīng)網(wǎng)絡(luò)存在的問題任務(wù)導(dǎo)入同時當(dāng)網(wǎng)絡(luò)變得非常深時，模型的訓(xùn)練誤差反而會變得更高。理論上，更深的網(wǎng)絡(luò)應(yīng)該具有更強的表達能力。但在實踐中，隨著層數(shù)的增加，訓(xùn)練誤差會先減少然后增加。這種現(xiàn)象就是網(wǎng)絡(luò)退化現(xiàn)象，深度網(wǎng)絡(luò)的退化問題在很大程度上限制了深度學(xué)習(xí)模型的性能提升。深層神經(jīng)網(wǎng)絡(luò)存在的問題任務(wù)導(dǎo)入ResNet殘差塊/01在傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)中，網(wǎng)絡(luò)需要直接學(xué)習(xí)輸入x到輸出y的復(fù)雜映射H(x)。這種直接學(xué)習(xí)的過程在深層網(wǎng)絡(luò)中容易導(dǎo)致梯度消失或梯度爆炸問題，影響訓(xùn)練效果。ResNet通過引入殘差塊，將原始的映射H(x)轉(zhuǎn)換為殘差映射F(x)=H(x)?x。這樣網(wǎng)絡(luò)只需學(xué)習(xí)輸入和輸出之間的殘差F(x)，而不是復(fù)雜的直接映射。如果最優(yōu)的映射是恒等映射（即H(x)=x），那么網(wǎng)絡(luò)只需學(xué)習(xí)F(x)=0，這大大簡化了學(xué)習(xí)任務(wù)。ResNet殘差塊殘差的概念如圖所示，虛線框中的部分需要直接擬合出該映射H(x)，而右圖虛線框中的部分則需要擬合出殘差映射F(x)=H(x)-x。殘差映射在現(xiàn)實中往往更容易優(yōu)化。恒等映射是希望學(xué)出的理想映射H(x)，只需將右圖虛線框內(nèi)上方的加權(quán)運算（如仿射）的權(quán)重和偏置參數(shù)設(shè)成0，那么H(x)即為恒等映射。ResNet殘差塊殘差的概念實際中，當(dāng)理想映射H(x)極接近于恒等映射時，殘差映射也易于捕捉恒等映射的細微波動。右圖是ResNet的基礎(chǔ)架構(gòu)–殘差塊(residualblock)在殘差塊中，輸入可通過跨層數(shù)據(jù)線路更快地向前傳播。ResNet殘差塊殘差的概念ResNet模型結(jié)構(gòu)/02捷徑連接也稱為跳躍連接（skipconnections），它直接將輸入傳遞到輸出，與通過卷積層得到的殘差相加。其基本形式如上右圖所示，模型的主路輸出為殘差函數(shù)F(x)，模型的之路就是捷徑連接，X表示恒等映射，就是直接將輸入的特征矩陣X跳過殘差層，傳遞到輸出。將主路和之路相加得到H(x)=F(x)+x。最后經(jīng)過relu激活函數(shù)，得到殘差塊的輸出y=ReLu(F(Wi,x)+x)，其中Wi表示主路卷積層的參數(shù)。因為支路是恒等映射，所以不增加參數(shù)，同時在模型訓(xùn)練的反向傳播中，需要更新的是F(x)的參數(shù)，也就殘差的的參數(shù)。ResNet模型結(jié)構(gòu)ResNet模型結(jié)構(gòu)-捷徑連接瓶頸殘差塊是ResNet中一種更復(fù)雜、更有效的殘差塊設(shè)計，專門用于非常深的網(wǎng)絡(luò)，如ResNet-50、ResNet-101和ResNet-152。其主要目的是通過引入1x1卷積層來減少計算復(fù)雜度，同時保持模型的表達能力。瓶頸殘差塊基本結(jié)構(gòu)包括三個卷積層，分別是1x1卷積層（用于降維）、3x3卷積層（用于特征提?。┖?x1卷積層（用于升維）。ResNet模型結(jié)構(gòu)ResNet模型結(jié)構(gòu)-瓶頸殘差塊圖是瓶頸殘差塊的詳細結(jié)構(gòu)，假如輸入X的shape為56*56*256，經(jīng)過第1個[1*1,64]的卷積層運算后，輸出的shape為56*56*64。再使用第2個[3*3,64]的卷積層運算后，輸出的shape為56*56*64。這時按照殘差塊的運算需要和X進行相加，但是X的shape為56*56*256，所以需要使用第3個[1*1,256]的卷積層對第2層卷積結(jié)果進行上采樣，輸出shape為56*56*256。在整個過程中，矩陣的大小為56*56保持不變，但是通道數(shù)變化過程為256->64->64->256,呈現(xiàn)出一種中間大買兩頭小的形狀，像一個瓶子頸部一樣，所以起名為瓶頸殘差塊，它的實際作用就是提取特征，并對數(shù)據(jù)進行上下采樣。ResNet模型結(jié)構(gòu)ResNet模型結(jié)構(gòu)-瓶頸殘差塊ResNet中的殘差模塊有2種，第1種是如圖的殘差模塊，使用了兩個步長為1的卷積核，特征的輸出和支路的輸出shape相同，可以直接進行相加運算。ResNet模型結(jié)構(gòu)ResNet模型結(jié)構(gòu)-下采樣殘差模塊第2種是右圖所示，輸入X為[56,56,64]經(jīng)過步長為1和2的卷積核運算，輸出特征為[56,56,128]，這是為了和支路的輸出進行相加運算，必須要在支路中增加一個步長為2卷積核大小為(1*1*128)的卷積層，經(jīng)過這個卷積層運算，支路的輸出shape為[56,56,128]，這是支路輸出就可以和特征的輸出進行相加運算了，兩種殘差模塊的支路分別用實線和虛線表示。ResNet模型結(jié)構(gòu)ResNet模型結(jié)構(gòu)-下采樣殘差模塊ResNet網(wǎng)絡(luò)模型包括ResNet18、ResNet34、ResNet50、ResNet101和ResNet152，這些模型可以分為淺層網(wǎng)絡(luò)和深層網(wǎng)絡(luò)兩大類，其中ResNet18和ResNet34屬于前者，而ResNet50、ResNet101和ResNet152則屬于后者。ResNet模型結(jié)構(gòu)ResNet模型結(jié)構(gòu)-ResNet模型結(jié)構(gòu)ResNet的網(wǎng)絡(luò)結(jié)構(gòu)主要包括：conv1：輸入層的卷積。conv2_x、conv3_x、conv4_x和conv5_x，這些部分分別對應(yīng)于ResNet中的不同層級，其中數(shù)字表示該層級的重復(fù)次數(shù)或block數(shù)量。fc（全連接層）：用于分類的最后一層。以ResNet101為例，其結(jié)構(gòu)包含7x7x64的初始卷積層，隨后是3個buildingblocks（每個block包含3層卷積）在conv2_x，4個blocks在conv3_x，23個blocks在conv4_x，以及最后的3個blocks在conv5_x。加上初始的卷積層和最后的全連接層，總共是101層。這里的層數(shù)計算不包括激活層或Pooling層。ResNet模型結(jié)構(gòu)ResNet模型結(jié)構(gòu)-ResNet模型結(jié)構(gòu)ResNet101模型結(jié)構(gòu)實現(xiàn)/03ResNet101殘差結(jié)構(gòu)由2個1*1的卷積層和1個3*3的卷積層組成，一種是輸入直接和殘差塊的輸出進行相加運算，如圖所示，另外一種輸入需要使用1*1的卷積層進行提升維度的操作后再和輸出進行相加，如圖所示。ResNet101模型結(jié)構(gòu)實現(xiàn)ResNet101模型殘差結(jié)構(gòu)輸入層大小為input