卷積神經網絡CNN

ConvolutionalNeuralNetworks

卷積神經網絡匯報人：薄雙錄第一頁，共27頁。Contents機器學習，神經網絡，深度學習之間的關系什么是神經網絡梯度下降算法反向傳播算法神經網絡的訓練什么是卷積什么是池化LeNet-5其它的工作2第二頁，共27頁。ConvolutionalNeuralNetworks機器學習神經網絡深度學習CNN/RNN3機器學習，神經網絡，深度學習之間的關系第三頁，共27頁。ConvolutionalNeuralNetworks人工神經網絡〔Artificialneuralnetwork,ANN〕，簡稱神經網絡〔NN〕神經網絡其實就是按照一定規(guī)那么連接起來的多個神經元神經元： ,每個連接都有一個權值4什么是神經網絡？圖1.一個全連接的神經網絡

第四頁，共27頁。ConvolutionalNeuralNetworks梯度下降算法5梯度下降算法是用來求函數最小值的算法每次沿著梯度的反方向，即函數值下降最快的方向，去修改值，就能走到函數的最小值附近〔之所以是最小值附近而不是最小值那個點，是因為我們每次挪動的步長不會那么恰到好處，有可能最后一次迭代走遠了越過了最小值那個點〕第五頁，共27頁。ConvolutionalNeuralNetworks反向傳播算法〔BackPropagation〕反向傳播算法是計算多層復合函數的所有變量的偏導數的利器，上面梯度下降的例子中就是求梯度，簡單的理解就是鏈式法那么6根據鏈式法那么，我們求e對a的偏導和e對d的偏導是如下所示:可以看出，它們都求了e對c的偏導。對于權值動那么數萬的深度模型中的神經網絡，這樣的冗余所導致的計算量是相當大的BP算法那么機智地避開了這種冗余，BP算法是反向(自上往下)來求偏導的。

第六頁，共27頁。ConvolutionalNeuralNetworks梯度下降算法+反向傳播算法7

第七頁，共27頁。ConvolutionalNeuralNetworks8第八頁，共27頁。ConvolutionalNeuralNetworks9第九頁，共27頁。ConvolutionalNeuralNetworks

10第十頁，共27頁。ConvolutionalNeuralNetworks什么是卷積？11右圖展示了卷積的過程，和信號處理的卷積有所區(qū)別卷積降低了網絡模型的復雜度〔對于很難學習的深層構造來說，這是非常重要的〕，減少了權值的數量黃色部分是卷積核第十一頁，共27頁。ConvolutionalNeuralNetworks什么是池化？12池化層主要的作用是下采樣，通過去掉FeatureMap中不重要的樣本，進一步減少參數數量。池化的方法很多，最常用的是MaxPooling。MaxPooling實際上就是在n*n的樣本中取最大值，作為采樣后的樣本值。右圖是2*2max第十二頁，共27頁。ConvolutionalNeuralNetworksLeNet-5

13第十三頁，共27頁。LeNet-51.輸入圖像是32x32的大小，卷積核的大小是5x5的，由于不考慮對圖像的邊界進展拓展，那么卷積核將有28x28個不同的位置，也就是C1層的大小是28x28。這里設定有6個不同的C1層，每一個C1層內的權值是一樣的。2.S2層是一個下采樣層，即池化層。在斯坦福關于深度學習的教程中，這個過程叫做Pool。但在LeNet-5系統(tǒng)，下采樣層比較復雜，由4個點下采樣的加權平均為1個點，，因為這4個加權系數也需要學習得到，這顯然增加了模型的復雜度。14第十四頁，共27頁。LeNet-53.

根據對前面C1層同樣的理解，我們很容易得到C3層的大小為10x10.

只不過，C3層的變成了16個10x10網絡，有16個卷積核。假如S2層只有1個平面，那么由S2層得到C3就和由輸入層得到C1層是完全一樣的。但是，S2層由多層，那么，只需要按照一定的順利組合這些層就可以了。詳細的組合規(guī)那么，在

LeNet-5系統(tǒng)中給出了下面的表格：簡單的說，例如對于C3層第0張?zhí)卣鲌D，其每一個節(jié)點與S2層的第0張?zhí)卣鲌D，第1張?zhí)卣鲌D，第2張?zhí)卣鲌D，總共3個5x5個節(jié)點相連接。后面依次類推，C3層每一張?zhí)卣饔成鋱D的權值是一樣的15C3層featuremapS2層featuremap第十五頁，共27頁。LeNet-5S4層是在C3層根底上下采樣，前面已述。C5層是一個卷積層，有120個特征圖。每個單元與S4層的全部16個單元的5*5鄰域相連，故C5特征圖的大小為1*1：這構成了S4和C5之間的全連接。之所以仍將C5標示為卷積層而非全連接層，是因為假如LeNet-5的輸入變大，而其他的保持不變，那么此時特征圖的維數就會比1*1大。C5層有48120個可訓練連接。F6層有84個單元〔之所以選這個數字的原因來自于輸出層的設計〕，與C5層全相連。有10164個可訓練參數。如同經典神經網絡，F6層計算輸入向量和權重向量之間的點積，再加上一個偏置。然后將其傳遞給sigmoid函數產生節(jié)點的輸出。16第十六頁，共27頁。LetNet-517比特面編碼：將一個灰度圖像為8bit/像素中每個像素的第j個比特抽取出來，就得到一個稱為比特平面的二值圖像，于是圖像完全可以用一組共8個比特平面來表示，對灰度圖像的編碼轉為比照特平面的二值化方塊編碼。為此，將每個比特面分為不重疊的m×n個元素的子塊。第十七頁，共27頁。卷積層的訓練layerl-118L-1層的誤差L-1層的輸出L層的誤差L層的輸入？layerl第十八頁，共27頁。卷積層的誤差傳播19

第十九頁，共27頁。卷積層的誤差傳播

20第二十頁，共27頁。卷積層的誤差傳播

21

卷積操作第二十一頁，共27頁。卷積層filter權重梯度的計算

22第二十二頁，共27頁。卷積層filter權重梯度的計算23與誤差傳播類似，相當于l層的誤差項〔sensitivitymap〕與l-1層的輸出項做卷積操作，得到卷積核〔filter〕的梯度

第二十三頁，共27頁。池化層的誤差傳遞大部分池化層沒