【總結(jié)】卷積神經(jīng)網(wǎng)絡(luò)總結(jié)

1、1 卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的一種， 已成為當(dāng)前圖像懂得領(lǐng)域的討論熱點(diǎn)它的權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使之更類似于生物神經(jīng)網(wǎng)絡(luò)， 降低了網(wǎng)絡(luò)模型的復(fù)雜度， 削減了權(quán)值的數(shù)量； 這個(gè)優(yōu)點(diǎn)在網(wǎng)絡(luò)的輸入是多維圖像時(shí)表現(xiàn)得更為明顯 , 圖像可以直接作為網(wǎng)絡(luò)的輸入， 防止了傳統(tǒng)識(shí)別算法中復(fù)雜的特點(diǎn)提取和數(shù)據(jù)重建過程 . 卷積網(wǎng)絡(luò)是為識(shí)別二維外形而特別設(shè)計(jì)的一個(gè)多層感知器，這種網(wǎng)絡(luò)結(jié)構(gòu)對(duì)平移、比例縮放以及其他形式的變形具有肯定不變性. 在典型的 cnn中，開頭幾層通常是卷積層和下采樣層的交替, 在靠近輸出層的最終幾層網(wǎng)絡(luò)通常是全連接網(wǎng)絡(luò)； 卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程主要是學(xué)習(xí)卷積層的卷積核參數(shù)和層間連接權(quán)重等網(wǎng)

2、絡(luò)參數(shù) , 猜測(cè)過程主要是基于輸入圖像和網(wǎng)絡(luò)參數(shù)運(yùn)算類別標(biāo)簽；卷積神經(jīng)網(wǎng)絡(luò)的關(guān)鍵是：網(wǎng)絡(luò)結(jié)構(gòu) 含卷積層、下采樣層、全連接層等 和反向傳播算法等；在本節(jié)中, 我們先介紹典型 cnn的網(wǎng)絡(luò)結(jié)構(gòu)和反向傳播算法, 然后概述常用的其他cnn網(wǎng)絡(luò)結(jié)構(gòu)和方法；神經(jīng)網(wǎng)絡(luò)參數(shù)的中文名稱主要參考文獻(xiàn)18 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和反向傳播算法主要參考文獻(xiàn)17 ；1.1 網(wǎng)絡(luò)結(jié)構(gòu)1.1.1 卷積層在卷積層 , 上一層的特點(diǎn)圖 feature map 被一個(gè)可學(xué)習(xí)的卷積核進(jìn)行卷積, 然后通過一個(gè)激活函數(shù) activation function,就可以得到輸出特點(diǎn)圖. 每個(gè)輸出特點(diǎn)圖可以組合卷積多個(gè)特點(diǎn)圖的值 17：xlf

3、ul jjulxl 1k lbl7 / 5其中 ,jjijj i m jjul 稱為卷積層 l的第j 個(gè)通道的凈激活 netactivation,它通過對(duì)前一層輸出特點(diǎn)xlj圖1 進(jìn)行卷積求和與偏置后得到的,xlj 是卷積層 l的第 j 個(gè)通道的輸出；f g 稱為激活函數(shù), 通常可使用 sigmoid和tanh 等函數(shù)；m j 表示用于運(yùn)算ulj 的輸入特點(diǎn)圖子集,lkij 是卷j積核矩陣 ,bl 是對(duì)卷積后特點(diǎn)圖的偏置；對(duì)于一個(gè)輸出特點(diǎn)圖ll 1xx對(duì)j ，每個(gè)輸入特點(diǎn)圖j應(yīng)的卷積核lkij 可能不同 ,“ * ”是卷積符號(hào)；1.1.2 下采樣層下采樣層將每個(gè)輸入特點(diǎn)圖通過下面的公式下采樣輸

4、出特點(diǎn)圖17：xlf ul jjull downxl 1blxjjjjjj其中 ,ul 稱為下采樣層 l的第 j 通道的凈激活 , 它由前一層輸出特點(diǎn)圖l 1 進(jìn)行下采樣加權(quán)、偏置后得到 ,是下采樣層的權(quán)重系數(shù) ,lbj 是下采樣層的偏置項(xiàng) . 符號(hào)downg 表示下采樣函數(shù) , 它通過對(duì)輸入特點(diǎn)圖l 1 通過滑動(dòng)窗口方法劃分為多個(gè)不重疊的nn圖像塊 ,xj然后對(duì)每個(gè)圖像塊內(nèi)的像素求和、求均值或最大值, 于是輸出圖像在兩個(gè)維度上都縮小了n倍；1.1.3 全連接層在全連接網(wǎng)絡(luò)中 , 將全部二維圖像的特點(diǎn)圖拼接為一維特點(diǎn)作為全連接網(wǎng)絡(luò)的輸入. 全連接層 l的輸出可通過對(duì)輸入加權(quán)求和并通過激活函數(shù)的

5、響應(yīng)得到17 ：xlf ul jjulwl xl 1bl其中 ,ul 稱為全連接層 l 的凈激活 , 它由前一層輸出特點(diǎn)圖xl 1 進(jìn)行加權(quán)和偏置后得到ll的； w 是全連接網(wǎng)絡(luò)的權(quán)重系數(shù),b 是全連接層 l 的偏置項(xiàng)；1.2 反向傳播算法神經(jīng)網(wǎng)絡(luò)有兩類基本運(yùn)算模式: 前向傳播和學(xué)習(xí) . 前向傳播是指輸入信號(hào)通過前一節(jié)中一個(gè)或多個(gè)網(wǎng)絡(luò)層之間傳遞信號(hào), 然后在輸出層得到輸出的過程. 反向傳播算法是神經(jīng)網(wǎng)絡(luò)有監(jiān)督學(xué)習(xí)中的一種常用方法, 其目標(biāo)是依據(jù)訓(xùn)練樣本和期望輸出來估量網(wǎng)絡(luò)參數(shù). 對(duì)于卷積神經(jīng)網(wǎng)絡(luò)而言 , 主要優(yōu)化卷積核參數(shù) k、下采樣層網(wǎng)絡(luò)權(quán)重 、全連接層網(wǎng)絡(luò)權(quán)重 w 和各層的偏置參數(shù) b 等

6、. 反向傳播算法的本質(zhì)在于答應(yīng)我們對(duì)每個(gè)網(wǎng)絡(luò)層運(yùn)算有效誤差, 并由此推導(dǎo)出一個(gè)網(wǎng)絡(luò)參數(shù)的學(xué)習(xí)規(guī)章, 使得實(shí)際網(wǎng)絡(luò)輸出更加接近目標(biāo)值18 ；我們以平方誤差缺失函數(shù)的多分類問題為例介紹反向傳播算法的思路. 考慮一個(gè)多分類問題的訓(xùn)練總誤差 , 定義為輸出端的期望輸出值和實(shí)際輸出值的差的平方17:e w, k, b1 n2tnyn2 n1其中 ,tn是第 n 個(gè)樣本的類別標(biāo)簽真值 ,yn 是第 n個(gè)樣本通過前向傳播網(wǎng)絡(luò)猜測(cè)輸出的類別標(biāo)簽 . 對(duì)于多分類問題 , 輸出類別標(biāo)簽常用一維向量表示, 即輸入樣本對(duì)應(yīng)的類別標(biāo)簽維度為正數(shù) , 輸出類別標(biāo)簽的其他維為0 或負(fù)數(shù) , 這取決于挑選的激活函數(shù)類型, 當(dāng)

7、激活函數(shù)選為 sigmoid, 輸出標(biāo)簽為 0, 當(dāng)激活函數(shù)為 tanh, 輸出標(biāo)簽為 -1；反向傳播算法主要基于梯度下降方法, 網(wǎng)絡(luò)參數(shù)第一被初始化為隨機(jī)值, 然后通過梯度下降法向訓(xùn)練誤差減小的方向調(diào)整. 接下來 , 我們以多個(gè)“卷積層 -采樣層”連接多個(gè)全連接層的卷積神經(jīng)網(wǎng)絡(luò)為例介紹反向傳播算法；第一介紹網(wǎng)絡(luò)第 l 層的靈敏度 sensitivity 17， 18 ：lelul其中 ,l 描述了總誤差 e 怎樣隨著凈激活u 而變化 . 反向傳播算法實(shí)際上通過全部網(wǎng)絡(luò)層的靈敏度建立總誤差對(duì)全部網(wǎng)絡(luò)參數(shù)的偏導(dǎo)數(shù), 從而得到使得訓(xùn)練誤差減小的方向；1.2.1 卷積層為運(yùn)算卷積層 l 的靈敏度 ,

8、 需要用下一層下采樣層 l + 1的靈敏度表示卷積層 l 的靈敏度, 然后運(yùn)算總誤差 e 對(duì)卷積層參數(shù) 卷積核參數(shù) k、偏置參數(shù) b 的偏導(dǎo)數(shù) .由于下采樣層的靈敏度尺寸小于卷積層的靈敏度尺寸, 因此需要將下采樣層 l + 1 的靈敏度上采樣到卷積層l 的靈敏度大小 , 然后將第 l 層凈激活的激活函數(shù)偏導(dǎo)與從第l + 1 層的上采樣得到的靈敏度逐項(xiàng)相乘 . 分別由式 1 和2,通過鏈?zhǔn)角髮?dǎo)可得第 l 層中第 j 個(gè)通道的靈敏度 17:lel1 ful oupl 1 ujljjjj其中 ,up g 表示一個(gè)上采樣操作 , 符號(hào) 表示每個(gè)元素相乘. 如下采樣因子為 n, 就up g 將每個(gè)像素在

9、水平和垂直方向上復(fù)制n 次, 于是就可以從 l + 1 層的靈敏度上采樣成卷積層 l 的靈敏度大小 . 函數(shù)upg 可以用 kronecker乘積up xx1n n 來實(shí)現(xiàn)；然后 , 使用靈敏度對(duì)卷積層 l中的參數(shù)運(yùn)算偏導(dǎo). 對(duì)于總誤差 e 對(duì)偏移量lbj 的偏導(dǎo) , 可l以對(duì)卷積層 l 的靈敏度中全部節(jié)點(diǎn)進(jìn)行求和來運(yùn)算：eblju ,vj u, v對(duì)于總誤差關(guān)于卷積核參數(shù)的偏導(dǎo), 由式 1, 使用鏈?zhǔn)角髮?dǎo)時(shí)需要用全部與該卷積核相乘的特點(diǎn)圖元素來求偏導(dǎo):ekl1iju ,vj u,v pjll1u, v其中 , plu, v是在運(yùn)算xl 時(shí), 與lkij 逐元素相乘的l 1 元素 .jjxj1

10、.2.2 下采樣層為運(yùn)算下采樣層 l 的靈敏度 , 需要用下一層卷積層 l + 1的靈敏度表示下采樣層l 的靈敏度 , 然后運(yùn)算總誤差 e 對(duì)下采樣參數(shù)權(quán)重系數(shù)、偏置參數(shù) b的偏導(dǎo)數(shù) .為運(yùn)算我們需要下采樣層l 的靈敏度 , 我們必需找到當(dāng)前層的靈敏度與下一層的靈敏度的對(duì)應(yīng)點(diǎn) ,這樣才能對(duì)靈敏度進(jìn)行遞推 . 另外, 需要乘以輸入特點(diǎn)圖與輸出特點(diǎn)圖之間的連接權(quán)值 , 這個(gè)權(quán)值實(shí)際上就是卷積核的參數(shù). 分別由式 1 和2,通過鏈?zhǔn)角髮?dǎo)可得第 l 層第 j 個(gè)通道的靈敏度17:lll 1l 1jf u j oconv2j,rot 180k j , full 其中 , 對(duì)卷積核旋轉(zhuǎn) 180 度使用卷積

11、函數(shù)運(yùn)算相互關(guān)在matlab中, 可用conv2函數(shù)實(shí)現(xiàn), 對(duì)卷積邊界進(jìn)行補(bǔ)零處理.然后 , 總誤差對(duì)偏移量 b 的偏導(dǎo)與前面卷積層的一樣, 只要對(duì)靈敏度中全部元素的靈敏度求和即可 :eblju ,vlju, vd對(duì)于下采樣權(quán)重, 我們先定義下采樣算子ldownxl1 ， 然后可通過下面的公jj式運(yùn)算總誤差 e 對(duì)的偏導(dǎo) :elllju ,vj od ju, v這里我們假定下采樣層的下一層為卷積層, 假如下一層為全連接層, 也可以做類似的推導(dǎo).全連接層 l 的靈敏度可通過下式運(yùn)算:ll 1 tl 1 wo flu 輸出層的神經(jīng)元靈敏度可由下面的公式運(yùn)算:ln ynt o flu 總誤差對(duì)偏移項(xiàng)

12、的偏導(dǎo)如下:ebleululblll接下來可以對(duì)每個(gè)神經(jīng)元運(yùn)用靈敏度進(jìn)行權(quán)值更新. 對(duì)一個(gè)給定的全連接層l, 權(quán)值更新方向可用該層的輸入xl 1和靈敏度的內(nèi)積來表示 :1.2.4 網(wǎng)絡(luò)參數(shù)更新過程卷積層參數(shù)可用下式更新:下采樣層參數(shù)可用下式更新:exlwlkl ijbll1 l tekl ijeblelblebl全連接層參數(shù)可用下式更新:wlewl其中 , 對(duì)于每個(gè)網(wǎng)絡(luò)參數(shù)都有一個(gè)特定的學(xué)習(xí)率.如學(xué)習(xí)率太小 , 就訓(xùn)練的速度慢; 如學(xué)習(xí)率太大 , 就可導(dǎo)致系統(tǒng)發(fā)散. 在實(shí)際問題中 , 假如總誤差在學(xué)習(xí)過程中發(fā)散, 那么將學(xué)習(xí)率調(diào)小 ; 反之, 假如學(xué)習(xí)速度過慢, 那么將學(xué)習(xí)率調(diào)大.1.3 常用

13、的其他網(wǎng)絡(luò)結(jié)構(gòu)和方法1.3.1 卷積層傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的卷積層采納線性濾波器與非線性激活函數(shù), 一種改進(jìn)的方法在卷積層使用多層感知機(jī)模型作為微型神經(jīng)網(wǎng)絡(luò), 通過在輸入圖像中滑動(dòng)微型神經(jīng)網(wǎng)絡(luò)來得到特點(diǎn)圖 , 該方法能夠增加神經(jīng)網(wǎng)絡(luò)的表示才能, 被稱為 network in net-work 19. 為明白決既能夠保證網(wǎng)絡(luò)的稀疏性, 又能夠利用稠密矩陣的高性能運(yùn)算, szegedy 等11 提出 inception 網(wǎng)絡(luò) . inception網(wǎng)絡(luò)的一層含有一個(gè)池化操作和三類卷積操作: 1 *1 、3 *3 、5 * 5卷積；1.3.2 池化池化 pooling是卷積神經(jīng)網(wǎng)絡(luò)中一個(gè)重要的操作, 它

14、能夠使特點(diǎn)削減, 同時(shí)保持特點(diǎn)的局部不變性 . 常用的池化操作有 : 空間金字塔池化 spatial pyramid pooling, spp 10、最大池化max pooling 、平均池化 mean pooling 、隨機(jī)池化 stochastic pooling20等.1.3.3 激活函數(shù)常用激活函數(shù)有 : relu 8 、leakly relu 21 、parametric relu 、randomized relu 、elu等.1.3.4 缺失函數(shù)缺失函數(shù)的挑選在卷積神經(jīng)網(wǎng)絡(luò)中起重要作用, 代表性的缺失函數(shù)有 : 平方誤差缺失、互熵缺失 cross entropy loss、hinge缺失等 .1.3.5 優(yōu)化方法和技巧卷積神經(jīng)網(wǎng)絡(luò)常用的優(yōu)化方法包含隨機(jī)梯度下降方法stochastic gradient descent, sgd,常用的技巧有權(quán)值初始化8 、權(quán)值衰減 weight decay18 、batch normalization22等.1.4 卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)卷積神經(jīng)網(wǎng)絡(luò)在下采樣層可以保持肯定局部平移不變形, 在卷積層通過感受野和權(quán)值共享削減了神經(jīng)網(wǎng)絡(luò)需要訓(xùn)練的參數(shù)的個(gè)數(shù). 每個(gè)神經(jīng)元只需要感受局部的圖像區(qū)域, 在更高層將這些感受不同局部區(qū)域的神經(jīng)元綜合起來就可以得到全局的信息.因此 , 可以削減網(wǎng)絡(luò)連接的數(shù)目 , 即削減神經(jīng)網(wǎng)絡(luò)需積神經(jīng)網(wǎng)絡(luò)以其