卷積神經(jīng)網(wǎng)絡(luò)總結(jié)(共5頁)

1、精選優(yōu)質(zhì)文檔-傾情為你奉上1 卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的一種，已成為當(dāng)前圖像理解領(lǐng)域的研究熱點(diǎn)它的權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使之更類似于生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量。這個優(yōu)點(diǎn)在網(wǎng)絡(luò)的輸入是多維圖像時表現(xiàn)得更為明顯, 圖像可以直接作為網(wǎng)絡(luò)的輸入，避免了傳統(tǒng)識別算法中復(fù)雜的特征提取和數(shù)據(jù)重建過程. 卷積網(wǎng)絡(luò)是為識別二維形狀而特殊設(shè)計的一個多層感知器，這種網(wǎng)絡(luò)結(jié)構(gòu)對平移、比例縮放以及其他形式的變形具有一定不變性. 在典型的CNN 中，開始幾層通常是卷積層和下采樣層的交替, 在靠近輸出層的最后幾層網(wǎng)絡(luò)通常是全連接網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程主要是學(xué)習(xí)卷積層的卷積核參數(shù)和層間連

2、接權(quán)重等網(wǎng)絡(luò)參數(shù), 預(yù)測過程主要是基于輸入圖像和網(wǎng)絡(luò)參數(shù)計算類別標(biāo)簽。卷積神經(jīng)網(wǎng)絡(luò)的關(guān)鍵是：網(wǎng)絡(luò)結(jié)構(gòu)(含卷積層、下采樣層、全連接層等) 和反向傳播算法等。在本節(jié)中, 我們先介紹典型CNN 的網(wǎng)絡(luò)結(jié)構(gòu)和反向傳播算法, 然后概述常用的其他CNN 網(wǎng)絡(luò)結(jié)構(gòu)和方法。神經(jīng)網(wǎng)絡(luò)參數(shù)的中文名稱主要參考文獻(xiàn)18 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和反向傳播算法主要參考文獻(xiàn)17 。1.1 網(wǎng)絡(luò)結(jié)構(gòu)1.1.1 卷積層在卷積層, 上一層的特征圖(Feature map) 被一個可學(xué)習(xí)的卷積核進(jìn)行卷積, 然后通過一個激活函數(shù)(Activation function), 就可以得到輸出特征圖. 每個輸出特征圖可以組合卷積多個特征圖的值

3、17 ：其中, 稱為卷積層l的第j 個通道的凈激活(Netactivation), 它通過對前一層輸出特征圖進(jìn)行卷積求和與偏置后得到的, 是卷積層l的第j 個通道的輸出。稱為激活函數(shù), 通?？墒褂胹igmoid 和tanh 等函數(shù)。表示用于計算的輸入特征圖子集, 是卷積核矩陣, 是對卷積后特征圖的偏置。對于一個輸出特征圖，每個輸入特征圖對應(yīng)的卷積核可能不同,“*”是卷積符號。1.1.2 下采樣層下采樣層將每個輸入特征圖通過下面的公式下采樣輸出特征圖17：其中, 稱為下采樣層l的第j 通道的凈激活, 它由前一層輸出特征圖進(jìn)行下采樣加權(quán)、偏置后得到, 是下采樣層的權(quán)重系數(shù), 是下采樣層的偏置項.

4、符號表示下采樣函數(shù), 它通過對輸入特征圖通過滑動窗口方法劃分為多個不重疊的圖像塊, 然后對每個圖像塊內(nèi)的像素求和、求均值或最大值, 于是輸出圖像在兩個維度上都縮小了n 倍。1.1.3 全連接層在全連接網(wǎng)絡(luò)中, 將所有二維圖像的特征圖拼接為一維特征作為全連接網(wǎng)絡(luò)的輸入. 全連接層l的輸出可通過對輸入加權(quán)求和并通過激活函數(shù)的響應(yīng)得到17：其中, 稱為全連接層l 的凈激活, 它由前一層輸出特征圖進(jìn)行加權(quán)和偏置后得到的。是全連接網(wǎng)絡(luò)的權(quán)重系數(shù), 是全連接層l 的偏置項。1.2 反向傳播算法神經(jīng)網(wǎng)絡(luò)有兩類基本運(yùn)算模式: 前向傳播和學(xué)習(xí). 前向傳播是指輸入信號通過前一節(jié)中一個或多個網(wǎng)絡(luò)層之間傳遞信號, 然

5、后在輸出層得到輸出的過程. 反向傳播算法是神經(jīng)網(wǎng)絡(luò)有監(jiān)督學(xué)習(xí)中的一種常用方法, 其目標(biāo)是根據(jù)訓(xùn)練樣本和期望輸出來估計網(wǎng)絡(luò)參數(shù). 對于卷積神經(jīng)網(wǎng)絡(luò)而言, 主要優(yōu)化卷積核參數(shù)k、下采樣層網(wǎng)絡(luò)權(quán)重、全連接層網(wǎng)絡(luò)權(quán)重w 和各層的偏置參數(shù)b 等. 反向傳播算法的本質(zhì)在于允許我們對每個網(wǎng)絡(luò)層計算有效誤差, 并由此推導(dǎo)出一個網(wǎng)絡(luò)參數(shù)的學(xué)習(xí)規(guī)則, 使得實際網(wǎng)絡(luò)輸出更加接近目標(biāo)值18。我們以平方誤差損失函數(shù)的多分類問題為例介紹反向傳播算法的思路. 考慮一個多分類問題的訓(xùn)練總誤差, 定義為輸出端的期望輸出值和實際輸出值的差的平方17:其中, 是第n 個樣本的類別標(biāo)簽真值, 是第n個樣本通過前向傳播網(wǎng)絡(luò)預(yù)測輸出的類

6、別標(biāo)簽. 對于多分類問題, 輸出類別標(biāo)簽常用一維向量表示, 即輸入樣本對應(yīng)的類別標(biāo)簽維度為正數(shù), 輸出類別標(biāo)簽的其他維為0 或負(fù)數(shù), 這取決于選擇的激活函數(shù)類型, 當(dāng)激活函數(shù)選為sigmoid, 輸出標(biāo)簽為0, 當(dāng)激活函數(shù)為tanh, 輸出標(biāo)簽為-1。反向傳播算法主要基于梯度下降方法, 網(wǎng)絡(luò)參數(shù)首先被初始化為隨機(jī)值, 然后通過梯度下降法向訓(xùn)練誤差減小的方向調(diào)整. 接下來, 我們以多個“卷積層-采樣層”連接多個全連接層的卷積神經(jīng)網(wǎng)絡(luò)為例介紹反向傳播算法。首先介紹網(wǎng)絡(luò)第l 層的靈敏度(Sensitivity)17，18：其中, 描述了總誤差E 怎樣隨著凈激活而變化. 反向傳播算法實際上通過所有網(wǎng)絡(luò)

7、層的靈敏度建立總誤差對所有網(wǎng)絡(luò)參數(shù)的偏導(dǎo)數(shù), 從而得到使得訓(xùn)練誤差減小的方向。1.2.1 卷積層為計算卷積層l 的靈敏度, 需要用下一層下采樣層l + 1 的靈敏度表示卷積層l 的靈敏度, 然后計算總誤差E 對卷積層參數(shù)(卷積核參數(shù)k、偏置參數(shù)b) 的偏導(dǎo)數(shù).由于下采樣層的靈敏度尺寸小于卷積層的靈敏度尺寸, 因此需要將下采樣層l + 1 的靈敏度上采樣到卷積層l 的靈敏度大小, 然后將第l 層凈激活的激活函數(shù)偏導(dǎo)與從第l + 1 層的上采樣得到的靈敏度逐項相乘. 分別由式(1) 和(2), 通過鏈?zhǔn)角髮?dǎo)可得第l 層中第j 個通道的靈敏度17:其中, 表示一個上采樣操作, 符號 表示每個元素相乘

8、. 若下采樣因子為n, 則將每個像素在水平和垂直方向上復(fù)制n 次, 于是就可以從l + 1層的靈敏度上采樣成卷積層l 的靈敏度大小. 函數(shù)可以用Kronecker 乘積來實現(xiàn)。然后, 使用靈敏度對卷積層l 中的參數(shù)計算偏導(dǎo). 對于總誤差E 對偏移量的偏導(dǎo), 可以對卷積層l 的靈敏度中所有節(jié)點(diǎn)進(jìn)行求和來計算：對于總誤差關(guān)于卷積核參數(shù)的偏導(dǎo), 由式(1),使用鏈?zhǔn)角髮?dǎo)時需要用所有與該卷積核相乘的特征圖元素來求偏導(dǎo):其中, 是在計算時, 與逐元素相乘的元素.1.2.2 下采樣層為計算下采樣層l 的靈敏度, 需要用下一層卷積層l + 1 的靈敏度表示下采樣層l 的靈敏度, 然后計算總誤差E 對下采樣參

9、數(shù)權(quán)重系數(shù)、偏置參數(shù)b的偏導(dǎo)數(shù).為計算我們需要下采樣層l 的靈敏度, 我們必須找到當(dāng)前層的靈敏度與下一層的靈敏度的對應(yīng)點(diǎn),這樣才能對靈敏度進(jìn)行遞推. 另外, 需要乘以輸入特征圖與輸出特征圖之間的連接權(quán)值, 這個權(quán)值實際上就是卷積核的參數(shù). 分別由式(1) 和(2), 通過鏈?zhǔn)角髮?dǎo)可得第l 層第j 個通道的靈敏度17:其中, 對卷積核旋轉(zhuǎn)180 度使用卷積函數(shù)計算互相關(guān)(在Matlab 中, 可用conv2 函數(shù)實現(xiàn)), 對卷積邊界進(jìn)行補(bǔ)零處理.然后, 總誤差對偏移量b 的偏導(dǎo)與前面卷積層的一樣, 只要對靈敏度中所有元素的靈敏度求和即可:對于下采樣權(quán)重, 我們先定義下采樣算子， 然后可通過下面的

10、公式計算總誤差E 對的偏導(dǎo):這里我們假定下采樣層的下一層為卷積層, 如果下一層為全連接層, 也可以做類似的推導(dǎo).全連接層l的靈敏度可通過下式計算:輸出層的神經(jīng)元靈敏度可由下面的公式計算:總誤差對偏移項的偏導(dǎo)如下:接下來可以對每個神經(jīng)元運(yùn)用靈敏度進(jìn)行權(quán)值更新. 對一個給定的全連接層l, 權(quán)值更新方向可用該層的輸入 和靈敏度 的內(nèi)積來表示:1.2.4 網(wǎng)絡(luò)參數(shù)更新過程卷積層參數(shù)可用下式更新:下采樣層參數(shù)可用下式更新:全連接層參數(shù)可用下式更新:其中, 對于每個網(wǎng)絡(luò)參數(shù)都有一個特定的學(xué)習(xí)率.若學(xué)習(xí)率太小, 則訓(xùn)練的速度慢; 若學(xué)習(xí)率太大, 則可導(dǎo)致系統(tǒng)發(fā)散. 在實際問題中, 如果總誤差在學(xué)習(xí)過程中發(fā)散

11、, 那么將學(xué)習(xí)率調(diào)小; 反之, 如果學(xué)習(xí)速度過慢, 那么將學(xué)習(xí)率調(diào)大.1.3 常用的其他網(wǎng)絡(luò)結(jié)構(gòu)和方法1.3.1 卷積層傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的卷積層采用線性濾波器與非線性激活函數(shù), 一種改進(jìn)的方法在卷積層使用多層感知機(jī)模型作為微型神經(jīng)網(wǎng)絡(luò), 通過在輸入圖像中滑動微型神經(jīng)網(wǎng)絡(luò)來得到特征圖, 該方法能夠增加神經(jīng)網(wǎng)絡(luò)的表示能力, 被稱為Network in net-work19. 為了解決既能夠保證網(wǎng)絡(luò)的稀疏性, 又能夠利用稠密矩陣的高性能計算, Szegedy 等11 提出Inception 網(wǎng)絡(luò). Inception 網(wǎng)絡(luò)的一層含有一個池化操作和三類卷積操作: 1 *1、3 *3、5 * 5 卷積。

12、1.3.2 池化池化(Pooling) 是卷積神經(jīng)網(wǎng)絡(luò)中一個重要的操作, 它能夠使特征減少, 同時保持特征的局部不變性. 常用的池化操作有: 空間金字塔池化(Spatial pyramid pooling, SPP)10、最大池化(Max pooling)、平均池化(Mean pooling)、隨機(jī)池化(Stochastic pooling)20 等. 1.3.3 激活函數(shù)常用激活函數(shù)有: ReLU8、Leakly ReLU21、Parametric ReLU、Randomized ReLU、ELU 等.1.3.4 損失函數(shù)損失函數(shù)的選擇在卷積神經(jīng)網(wǎng)絡(luò)中起重要作用, 代表性的損失函數(shù)有: 平方

13、誤差損失、互熵?fù)p失(Cross entropy loss)、Hinge 損失等.1.3.5 優(yōu)化方法和技巧卷積神經(jīng)網(wǎng)絡(luò)常用的優(yōu)化方法包含隨機(jī)梯度下降方法(Stochastic gradient descent, SGD), 常用的技巧有權(quán)值初始化8、權(quán)值衰減(Weight decay)18、Batch normalization22 等.1.4 卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)勢卷積神經(jīng)網(wǎng)絡(luò)在下采樣層可以保持一定局部平移不變形, 在卷積層通過感受野和權(quán)值共享減少了神經(jīng)網(wǎng)絡(luò)需要訓(xùn)練的參數(shù)的個數(shù). 每個神經(jīng)元只需要感受局部的圖像區(qū)域, 在更高層將這些感受不同局部區(qū)域的神經(jīng)元綜合起來就可以得到全局的信息.因此, 可以減少網(wǎng)絡(luò)連接的數(shù)目, 即減少神經(jīng)網(wǎng)絡(luò)需積神經(jīng)網(wǎng)絡(luò)以其權(quán)值共享的特殊結(jié)構(gòu)在圖像理解領(lǐng)域中有著獨(dú)特的優(yōu)越性, 通過權(quán)值共享降低了網(wǎng)