詳細地講解了CNN的基礎(chǔ)結(jié)構(gòu)與核心思想

1、本文整理了網(wǎng)上幾位大牛的博客，詳細地講解了CNN的基礎(chǔ)結(jié)構(gòu)與核心思想，歡迎交流。1 Deeplearning簡介2 DeepLearning訓練過程3 DeepLearning模型之：CNN卷積神經(jīng)網(wǎng)絡(luò)推導(dǎo)和實現(xiàn)4 DeepLearning模型之：CNN的反向求導(dǎo)及練習5 DeepLearning模型之：CNN卷積神經(jīng)網(wǎng)絡(luò)（一）深度解析CNN6 DeepLearning模型之：CNN卷積神經(jīng)網(wǎng)絡(luò)（二）文字識別系統(tǒng)LeNet-57 DeepLearning模型之：CNN卷積神經(jīng)網(wǎng)絡(luò)（三）CNN常見問題總結(jié)1.概述卷積神經(jīng)網(wǎng)絡(luò)是一種特殊的深層的神經(jīng)網(wǎng)絡(luò)模型，它的特殊性體現(xiàn)在兩個方面，一方面它的神經(jīng)

2、元間的連接是非全連接的，另一方面同一層中某些神經(jīng)元之間的連接的權(quán)重是共享的（即相同的）。它的非全連接和權(quán)值共享的網(wǎng)絡(luò)結(jié)構(gòu)使之更類似于生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)模型的復(fù)雜度（對于很難學習的深層結(jié)構(gòu)來說，這是非常重要的），減少了權(quán)值的數(shù)量?；叵胍幌翨P神經(jīng)網(wǎng)絡(luò)。BP網(wǎng)絡(luò)每一層節(jié)點是一個線性的一維排列狀態(tài)，層與層的網(wǎng)絡(luò)節(jié)點之間是全連接的。這樣設(shè)想一下，如果BP網(wǎng)絡(luò)中層與層之間的節(jié)點連接不再是全連接，而是局部連接的。這樣，就是一種最簡單的一維卷積網(wǎng)絡(luò)。如果我們把上述這個思路擴展到二維，這就是我們在大多數(shù)參考資料上看到的卷積神經(jīng)網(wǎng)絡(luò)。具體參看下圖：FULLYCONNECTEDNEURALNETLOCALL

3、YCONNECTEDNEURALNETExample；1000xl(XXimaeIMhrddenLinhtstQ*12fHirttfTietersH1Spatialtorrelaft'ATipvtresgrwsEitanple；：lOOCvlOOOIMunitsFrltcriiie；lCxl-0iOOWparanitersRomm上圖左：全連接網(wǎng)絡(luò)。如果我們有1000x1000像素的圖像，有1百萬個隱層神經(jīng)元，每個隱層神經(jīng)元都連接圖像的每一個像素點，就有1000x1000x1000000=10入12個連接，也就是10入12個權(quán)值參數(shù)。上圖右：局部連接網(wǎng)絡(luò)，每一個節(jié)點與上層節(jié)點同位置附件

4、10x10的窗口相連接，則1百萬個隱層神經(jīng)元就只有100w乘以100,即10入8個參數(shù)。其權(quán)值連接個數(shù)比原來減少了四個數(shù)量級。根據(jù)BP網(wǎng)絡(luò)信號前向傳遞過程，我們可以很容易計算網(wǎng)絡(luò)節(jié)點的輸出。例如，對于上圖中被標注為紅色節(jié)點的凈輸入，就等于所有與紅線相連接的上一層神經(jīng)元節(jié)點值與紅色線表示的權(quán)值之積的累加。這樣的計算過程，很多書上稱其為卷積。事實上，對于數(shù)字濾波而言，其濾波器的系數(shù)通常是對稱的。否則，卷積的計算需要先反向?qū)φ?，然后進行乘累加的計算。上述神經(jīng)網(wǎng)絡(luò)權(quán)值滿足對稱嗎？我想答案是否定的！所以，上述稱其為卷積運算，顯然是有失偏頗的。但這并不重要，僅僅是一個名詞稱謂而已。只是，搞信號處理的人，在

5、初次接觸卷積神經(jīng)網(wǎng)絡(luò)的時候，帶來了一些理解上的誤區(qū)。卷積神經(jīng)網(wǎng)絡(luò)另外一個特性是權(quán)值共享。例如，就上面右邊那幅圖來說，權(quán)值共享，也就是說所有的紅色線標注的連接權(quán)值相同。這一點，初學者容易產(chǎn)生誤解。上面描述的只是單層網(wǎng)絡(luò)結(jié)構(gòu)，前A&TShannonLab的YannLeCun等人據(jù)此提出了基于卷積神經(jīng)網(wǎng)絡(luò)的一個文字識別系統(tǒng)LeNet-5。該系統(tǒng)90年代就被用于銀行手寫數(shù)字的識別。2、CNN的結(jié)構(gòu)卷積網(wǎng)絡(luò)是為識別二維形狀而特殊設(shè)計的一個多層感知器，這種網(wǎng)絡(luò)結(jié)構(gòu)對平移、比例縮放、傾斜或者共他形式的變形具有高度不變性。這些良好的性能是網(wǎng)絡(luò)在有監(jiān)督方式下學會的，網(wǎng)絡(luò)的結(jié)構(gòu)主要有稀疏連接和權(quán)值共享兩個

6、特點，包括如下形式的約束：1、特征提取。每一個神經(jīng)元從上一層的局部接受域得到突觸輸人，因而迫使它提取局部特征。一旦一個特征被提取出來，只要它相對于其他特征的位置被近似地保留下來，它的精確位置就變得沒有那么重要了。2、特征映射。網(wǎng)絡(luò)的每一個計算層都是由多個特征映射組成的，每個特征映射都是平面形式的。平面中單獨的神經(jīng)元在約束下共享相同的突觸權(quán)值集，這種結(jié)構(gòu)形式具有如下的有益效果：a.平移不變性。b.自由參數(shù)數(shù)量的縮減（通過權(quán)值共享實現(xiàn)）。3、子抽樣。每個卷積層后面跟著一個實現(xiàn)局部平均和子抽樣的計算層，由此特征映射的分辨率降低。這種操作具有使特征映射的輸出對平移和其他形式的變形的敏感度下降的作用。卷

7、積神經(jīng)網(wǎng)絡(luò)是一個多層的神經(jīng)網(wǎng)絡(luò)，每層由多個二維平面組成，而每個平面由多個獨立神經(jīng)元組成。圖：卷積神經(jīng)網(wǎng)絡(luò)的概念示范：輸入圖像通過和三個可訓練的濾波器和可加偏置進行卷積，卷積后在C1層產(chǎn)生三個特征映射圖，然后特征映射圖中每組的四個像素再進行求和，加權(quán)值，加偏置，通過一個Sigmoid函數(shù)得到三個S2層的特征映射圖。這些映射圖再進過濾波得到C3層。這個層級結(jié)構(gòu)再和S2一樣產(chǎn)生S4。最終，這些像素值被光柵化，并連接成一個向量輸入到傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，得到輸出。一般地，C層為特征提取層，每個神經(jīng)元的輸入與前一層的局部感受野相連，并提取該局部的特征，一旦該局部特征被提取后，它與其他特征間的位置關(guān)系也隨之確定

8、下來；S層是特征映射層，網(wǎng)絡(luò)的每個計算層由多個特征映射組成，每個特征映射為一個平面，平面上所有神經(jīng)元的權(quán)值相等。特征映射結(jié)構(gòu)采用影響函數(shù)核小的sigmoid函數(shù)作為卷積網(wǎng)絡(luò)的激活函數(shù)，使得特征映射具有位移不變性。此外，由于一個映射面上的神經(jīng)元共享權(quán)值，因而減少了網(wǎng)絡(luò)自由參數(shù)的個數(shù)，降低了網(wǎng)絡(luò)參數(shù)選擇的復(fù)雜度。卷積神經(jīng)網(wǎng)絡(luò)中的每一個特征提取層（C-層）都緊跟著一個用來求局部平均與二次提取的計算層（S-層），這種特有的兩次特征提取結(jié)構(gòu)使網(wǎng)絡(luò)在識別時對輸入樣本有較高的畸變?nèi)萑棠芰Α?.1 稀疏連接（SparseConnectivity）卷積網(wǎng)絡(luò)通過在相鄰兩層之間強制使用局部連接模式來利用圖像的空間局

9、部特性，在第m層的隱層單元只與第m-1層的輸入單元的局部區(qū)域有連接，第m-1層的這些局部區(qū)域被稱為空間連續(xù)的接受域。我們可以將這種結(jié)構(gòu)描述如下：設(shè)第m-1層為視網(wǎng)膜輸入層，第m層的接受域的寬度為3,也就是說該層的每個單元與且僅與輸入層的3個相鄰的神經(jīng)元相連，第m層與第m+1層具有類似的鏈接規(guī)則，如下圖所示?？梢钥吹絤+1層的神經(jīng)元相對于第m層的接受域的寬度也為3,但相對于輸入層的接受域為5,這種結(jié)構(gòu)將學習到的過濾器（對應(yīng)于輸入信號中被最大激活的單元）限制在局部空間模式（因為每個單元對它接受域外的variation不做反應(yīng)）。從上圖也可以看出，多個這樣的層堆疊起來后，會使得過濾器（不再是線性的）

10、逐漸成為全局的（也就是覆蓋到了更大的視覺區(qū)域）。例如上圖中第m+1層的神經(jīng)元可以對寬度為5的輸入進行一個非線性的特征編碼。2.2 權(quán)值共享（SharedWeights）在卷積網(wǎng)絡(luò)中，每個稀疏過濾器hi通過共享權(quán)值都會覆蓋整個可視域，這些共享權(quán)值的單元構(gòu)成一個特征映射，如下圖所示。featureniap吸5CQQ.Q1byermJ0OO0O在圖中，有3個隱層單元，他們屬于同一個特征映射。同種顏色的鏈接的權(quán)值是相同的，我們?nèi)匀豢梢允褂锰荻认陆档姆椒▉韺W習這些權(quán)值，只需要對原始算法做一些小的改動，這里共享權(quán)值的梯度是所有共享參數(shù)的梯度的總和。我們不禁會問為什么要權(quán)重共享呢？一方面，重復(fù)單元能夠?qū)μ卣?/p>

11、進行識別，而不考慮它在可視域中的位置。另一方面，權(quán)值共享使得我們能更有效的進行特征抽取，因為它極大的減少了需要學習的自由變量的個數(shù)。通過控制模型的規(guī)模，卷積網(wǎng)絡(luò)對視覺問題可以具有很好的泛化能力。舉例講解：上面聊到，好像CNN一個牛逼的地方就在于通過感受野和權(quán)值共享減少了神經(jīng)網(wǎng)絡(luò)需要訓練的參數(shù)的個數(shù)。那究竟是啥的呢？下圖左：如果我們有1000x1000像素的圖像，有1百萬個隱層神經(jīng)元，那么他們?nèi)B接的話（每個隱層神經(jīng)元都連接圖像的每一個像素點），就有1000x1000x1000000=10入12個連接，也就是10入12個權(quán)值參數(shù)。然而圖像的空間聯(lián)系是局部的，就像人是通過一個局部的感受野去感受外界

12、圖像一樣，每一個神經(jīng)元都不需要對全局圖像做感受，每個神經(jīng)元只感受局部的圖像區(qū)域，然后在更高層，將這些感受不同局部的神經(jīng)元綜合起來就可以得到全局的信息了。這樣，我們就可以減少連接的數(shù)目，也就是減少神經(jīng)網(wǎng)絡(luò)需要訓練的權(quán)值參數(shù)的個數(shù)了。如下圖右：假如局部感受野是10x10,隱層每個感受野只需要和這10x10的局部圖像相連接，所以1百萬個隱層神經(jīng)元就只有一億個連接，即10入8個參數(shù)。比原來減少了四個0（數(shù)量級），這樣訓練起來就沒那么費力了，但還是感覺很多的啊，那還有啥辦法沒？經(jīng)元了，假設(shè)步長是8也就是卷積核會重疊兩個像素，那么我就不算了，思想懂了就好。注意了，這只是一種濾波器，也就是一個Feature

13、Map的神經(jīng)元個數(shù)哦，如果100個FeatureMap就是100倍了。由此可見，圖像越大，神經(jīng)元個數(shù)和需要訓練的權(quán)值參數(shù)個數(shù)的貧富差距就越大。FULLYCONNECTEDNEURALNETLOCLhyCONNECTEDNEURALNETExampfe：1000x1000inwetMhidcfen<jfi汁£tO"!2parttrnetejr$FH Spatialcorrelatiofiislocal BeHertopurtresourceselsewhere1Example；IQOQkIQOQ耐辭IMhidd&nunitsFiftflrsizei10x10pa

14、nanwers我們知道，隱含層的每一個神經(jīng)元都連接10x10個圖像區(qū)域，也就是說每一個神經(jīng)元存在10x10=100個連接權(quán)值參數(shù)。那如果我們每個神經(jīng)元這100個參數(shù)是相同的呢？也就是說每個神經(jīng)元用的是同一個卷積核去卷積圖像。這樣我們就只有多少個參數(shù)？只有100個參數(shù)啊！親！不管你隱層的神經(jīng)元個數(shù)有多少，兩層間的連接我只有100個參數(shù)??！親！這就是權(quán)值共享??！親！這就是卷積神經(jīng)網(wǎng)絡(luò)的主打賣點??！親?。ㄓ悬c煩了，呵呵）也許你會問，這樣做靠譜嗎？為什么可行呢？這個共同學習。好了，你就會想，這樣提取特征也忒不靠譜吧，這樣你只提取了一種特征??？對了，真聰明，我們需要提取多種特征對不？假如一種濾波器，也就

15、是一種卷積核就是提出圖像的一種特征，例如某個方向的邊緣。那么我們需要提取不同的特征，怎么辦，加多幾種濾波器不就行了嗎？對了。所以假設(shè)我們加到100種濾波器，每種濾波器的參數(shù)不一樣，表示它提出輸入圖像的不同特征，例如不同的邊緣。這樣每種濾波器去卷積圖像就得到對圖像的不同特征的放映，我們稱之為FeatureMap。所以100種卷積核就有100個FeatureMap。這100個FeatureMap就組成了一層神經(jīng)元。到這個時候明了了吧。我們這一層有多少個參數(shù)了？100種卷積核x每種卷積核共享100個參數(shù)=100x100=10K,也就是1萬個參數(shù)。才1萬個參數(shù)??！親?。ㄓ謥砹?，受不了了?。┮娤聢D右：不

16、同的顏色表達不同的濾波器。LOCALLYCONNECTEDNEURALNETCONVOLUTIONALNFTSTXTTONAftm?StatisticssimilaratdifferentlocationsEjssmpie：10QQx!QQQima礙hidden,unit$Fiirersite；IOaLOparamatersLearnmultipisfibersE.g一；1000x1000imagtlOOFiirtrsfiltersize：10x1010KpditimeTtrs嘿喲，遺漏一個問題了。剛才說隱層的參數(shù)個數(shù)和隱層的神經(jīng)元個數(shù)無關(guān)，只和濾波器的大小和濾波器種類的多少有關(guān)。那么隱層的神

17、經(jīng)元個數(shù)怎么確定呢？它和原圖像，也就是輸入的大?。ㄉ窠?jīng)元個數(shù)）、濾波器的大小和濾波器在圖像中的滑動步長都有關(guān)!例如，我的圖像是1000x1000像素，而濾波器大小是10x10,假設(shè)濾波器沒有重疊，也就是步長為10,這樣隱層的神經(jīng)元個數(shù)就是（1000x1000）/（10x10）=100x100個神CONVNETS:EXTENSIONSvc?rThiyears,somsnsi*m&duFeEhaveprovenbeeffectivewhenpluggedintoconv-rvets：By'pcolinc3(e,grHmaxcraverage)fniterreffpcifiMSata

18、l譜申fircntI心EdTioruwego油rgbutnesstotheexactspatialJocotipnoffearures-LacaEContrastNcrmalilatiohtomfenflFil+1-12Pooling需要注意的一點是，上面的討論都沒有考慮每個神經(jīng)元的偏置部分。所以權(quán)值個數(shù)需要加1。這個也是同一種濾波器共享的?？傊?，卷積網(wǎng)絡(luò)的核心思想是將：局部感受野、權(quán)值共享（或者權(quán)值復(fù)制）以及時間或空間亞采樣這三種結(jié)構(gòu)思想結(jié)合起來獲得了某種程度的位移、尺度、形變不變性。2.3 TheFullModel卷積神經(jīng)網(wǎng)絡(luò)是一個多層的神經(jīng)網(wǎng)絡(luò)，每層由多個二維平面組成，而每個平面由多個獨

19、立神經(jīng)元組成。網(wǎng)絡(luò)中包含一些簡單元和復(fù)雜元，分別記為S-元和C-元。S-元聚合在一起組成S-面，S-面聚合在一起組成S-層，用Us表示。C-元、C-面和C-層（Us）之間存在類似的關(guān)系。網(wǎng)絡(luò)的任一中間級由S-層與C-層串接而成，而輸入級只含一層，它直接接受二維視覺模式，樣本特征提取步驟已嵌入到卷積神經(jīng)網(wǎng)絡(luò)模型的互聯(lián)結(jié)構(gòu)中。一般地，Us為特征提取層（子采樣層），每個神經(jīng)元的輸入與前一層的局部感受野相連，并提取該局部的特征，一旦該局部特征被提取后，它與其他特征間的位置關(guān)系也隨之確定下來；Uc是特征映射層（卷積層），網(wǎng)絡(luò)的每個計算層由多個特征映射組成，每個特征映射為一個平面，平面上所有神經(jīng)元的權(quán)值相

20、等。特征映射結(jié)構(gòu)采用影響函數(shù)核小的sigmoid函數(shù)作為卷積網(wǎng)絡(luò)的激活函數(shù)，使得特征映射具有位移不變性。此外，由于一個映射面上的神經(jīng)元共享權(quán)值，因而減少了網(wǎng)絡(luò)自由參數(shù)的個數(shù)，降低了網(wǎng)絡(luò)參數(shù)選擇的復(fù)雜度。卷積神經(jīng)網(wǎng)絡(luò)中的每一個特征提取層（S-層）都緊跟著一個用來求局部平均與二次提取的計算層（C-層），這種特有的兩次特征提取結(jié)構(gòu)使網(wǎng)絡(luò)在識別時對輸入樣本有較高的畸變?nèi)萑棠芰?。下圖是一個卷積網(wǎng)絡(luò)的實例，在博文"DeepLearning模型之：CNN卷積神經(jīng)網(wǎng)絡(luò)（二）文字識別系統(tǒng)LeNet-5“中有詳細講解:'=C3:fmaps2Q10?i10S1:f.maps宀814x14S4:f.

21、maps205k5C5:1put32x32C1:featuremaps628x28ConvolutionsSubsamplingConvolutionsdn圖中的卷積網(wǎng)絡(luò)工作流程如下，輸入層由32x32個感知節(jié)點組成，接收原始圖像。然后，計算流程在卷積和子抽樣之間交替進行，如下所述：第一隱藏層進行卷積，它由8個特征映射組成，每個特征映射由28x28個神經(jīng)元組成，每個神經(jīng)元指定一個5x5的接受域；第二隱藏層實現(xiàn)子抽樣和局部平均，它同樣由8個特征映射組成，但其每個特征映射由14x14個神經(jīng)元組成。每個神經(jīng)元具有一個2x2的接受域，一個可訓練系數(shù)，一個可訓練偏置和一個sigmoid激活函數(shù)?？捎柧毾?/p>

22、數(shù)和偏置控制神經(jīng)元的操作點。第三隱藏層進行第二次卷積，它由20個特征映射組成，每個特征映射由10x10個神經(jīng)元組成。該隱藏層中的每個神經(jīng)元可能具有和下一個隱藏層幾個特征映射相連的突觸連接，它以與第一個卷積層相似的方式操作。第四個隱藏層進行第二次子抽樣和局部平均汁算。它由20個特征映射組成，但每個特征映射由5x5個神經(jīng)元組成，它以與第一次抽樣相似的方式操作。第五個隱藏層實現(xiàn)卷積的最后階段，它由120個神經(jīng)元組成，每個神經(jīng)元指定一個5x5的接受域。最后是個全連接層，得到輸出向量。相繼的計算層在卷積和抽樣之間的連續(xù)交替，我們得到一個''雙尖塔"的效果，也就是在每個卷積或抽樣

23、層，隨著空間分辨率下降，與相應(yīng)的前一層相比特征映射的數(shù)量增加。卷積之后進行子抽樣的思想是受到動物視覺系統(tǒng)中的''簡單的"細胞后面跟著''復(fù)雜的"細胞的想法的啟發(fā)而產(chǎn)生的。圖中所示的多層感知器包含近似100000個突觸連接，但只有大約2600個自由參數(shù)（每個特征映射為一個平面，平面上所有神經(jīng)元的權(quán)值相等）。自由參數(shù)在數(shù)量上顯著地減少是通過權(quán)值共享獲得的，學習機器的能力（以VC維的形式度量）因而下降，這又提高它的泛化能力。而且它對自由參數(shù)的調(diào)整通過反向傳播學習的隨機形式來實現(xiàn)。另一個顯著的特點是使用權(quán)值共享使得以并行形式實現(xiàn)卷積網(wǎng)絡(luò)變得可能。這是

24、卷積網(wǎng)絡(luò)對全連接的多層感知器而言的另一個優(yōu)點。3、CNN的訓練神經(jīng)網(wǎng)絡(luò)用于模式識別的主流是有指導(dǎo)學習網(wǎng)絡(luò)，無指導(dǎo)學習網(wǎng)絡(luò)更多的是用于聚類分析。對于有指導(dǎo)的模式識別，由于任一樣本的類別是已知的，樣本在空間的分布不再是依據(jù)其自然分布傾向來劃分，而是要根據(jù)同類樣本在空間的分布及不同類樣本之間的分離程度找一種適當?shù)目臻g劃分方法，或者找到一個分類邊界，使得不同類樣本分別位于不同的區(qū)域內(nèi)。這就需要一個長時間且復(fù)雜的學習過程，不斷調(diào)整用以劃分樣本空間的分類邊界的位置，使盡可能少的樣本被劃分到非同類區(qū)域中。卷積網(wǎng)絡(luò)在本質(zhì)上是一種輸入到輸出的映射，它能夠?qū)W習大量的輸入與輸出之間的映射關(guān)系，而不需要任何輸入和輸出

25、之間的精確的數(shù)學表達式，只要用已知的模式對卷積網(wǎng)絡(luò)加以訓練，網(wǎng)絡(luò)就具有輸入輸出對之間的映射能力。卷積網(wǎng)絡(luò)執(zhí)行的是有導(dǎo)師訓練，所以其樣本集是由形如：（輸入向量，理想輸出向量）的向量對構(gòu)成的。所有這些向量對，都應(yīng)該是來源于網(wǎng)絡(luò)即將模擬的系統(tǒng)的實際''運行"結(jié)果。它們可以是從實際運行系統(tǒng)中采集來的。在開始訓練前，所有的權(quán)都應(yīng)該用一些不同的小隨機數(shù)進行初始化。''小隨機數(shù)"用來保證網(wǎng)絡(luò)不會因權(quán)值過大而進入飽和狀態(tài)，從而導(dǎo)致訓練失??；''不同"用來保證網(wǎng)絡(luò)可以正常地學習。實際上，如果用相同的數(shù)去初始化權(quán)矩陣，則網(wǎng)絡(luò)無能力學習。

26、訓練算法與傳統(tǒng)的BP算法差不多。主要包括4步，這4步被分為兩個階段：第一階段，向前傳播階段：a）從樣本集中取一個樣本（X,Yp）,將X輸入網(wǎng)絡(luò)；b）計算相應(yīng)的實際輸出0。p在此階段，信息從輸入層經(jīng)過逐級的變換，傳送到輸出層。這個過程也是網(wǎng)絡(luò)在完成訓練后正常運行時執(zhí)行的過程。在此過程中，網(wǎng)絡(luò)執(zhí)行的是計算（實際上就是輸入與每層的權(quán)值矩陣相點乘，得到最后的輸出結(jié)果）：0p=Fn（F2（F1（XpW（1）W（2）W（n）第二階段，向后傳播階段a）算實際輸出O與相應(yīng)的理想輸出Y的差；ppb）按極小化誤差的方法反向傳播調(diào)整權(quán)矩陣。4、CNN的學習總體而言，卷積網(wǎng)絡(luò)可以簡化為下圖所示模型：inputtp:/

27、blogcfidn其中，input到C1、S4到C5、C5到output是全連接，C1到S2、C3到S4是一一對應(yīng)的連接，S2到C3為了消除網(wǎng)絡(luò)對稱性，去掉了一部分連接，可以讓特征映射更具多樣性。需要注意的是C5卷積核的尺寸要和S4的輸出相同，只有這樣才能保證輸出是一維向量。4.1卷積層的學習其中，input是nixn2xn3的矩陣，n1是輸入層特征映射的個數(shù)，n2是輸入層特征映射的寬度，n3是輸入層特征映射的高度。output,sum,convolution,bias是nix(n2-kw+1)x(n3-kh+1)的矩陣，kw,kh是卷積核的寬度高度(圖中是5x5)。kernel是卷積核矩陣。

28、table是連接表，即如果第a輸入和第b個輸出之間有連接，table里就會有a,b這一項，而且每個連接都對應(yīng)一個卷積核。卷積層的反饋運算的核心代碼如下：ConvolutionLayer:bprop(input,output,in_dx,out_dx)/梯度通過DSigmoid反傳sum_dx=DSigmoid(out_dx);/計算bias的梯度for(i=0;i<bias.size();i+)bias_dxi=sum_dxi;/取得卷積核的個數(shù)intn=kernel.GetDim(0);for(inti=0;i<n;i+)inta=tablei0,b=tablei1;/用第i個卷

29、積核和第b個輸出層反向卷積(即輸出層的一點乘卷積模板返回給輸入層)，并把結(jié)果累加到第a個輸入層input_dxa+=DConv(sum_dxb,kerneli);/用同樣的方法計算卷積模板的梯度kernel_dxi+=DConv(sum_dxb,inputa);其中in_dx,out_dx的結(jié)構(gòu)和input,output相同，代表的是相應(yīng)點的梯度。4.2子采樣層的學習子采樣層的典型結(jié)構(gòu)如下圖所示：類似的子釆樣層的輸出的計算式為：輸出=Sigmoid(釆樣*權(quán)重+偏移量)其核心代碼如下：SubSamplingLayer:fprop(input,output)intn1=input.GetDim(

30、0);intn2=input.GetDim(1);intn3=input.GetDim(2);for(inti=0;i<n1;i+)for(intj=0;j<n2;j+)for(intk=0;k<n3;k+)/coeff是可訓練的權(quán)重，sw、sh是采樣窗口的尺寸subij/swk/sh+=inputijk*coeffi;for(i=0;i<n1;i+)/加上偏移量sumi=subi+biasi;_;子采樣層的反饋運算的核心代碼如下：SubSamplingLayer:bprop(input,output,in_dx,out_dx)/梯度通過DSigmoid反傳sum_dx

31、=DSigmoid(out_dx);/計算bias和coeff的梯度for(i=0;i<n1;i+)coeff_dxi=0;bias_dxi=0;for(j=0;j<n2/sw;j+)for(k=0;k<n3/sh;k+)coeff_dxi+=subjk*sum_dxijkbias_dxi+=sum_dxijk);for(i=0;i<n1;i+)for(j=0;j<n2;j+)for(k=0;k<n3;k+)in_dxijk=coeffi*sum_dxij/swk/sh;5、CNN的優(yōu)點卷積神經(jīng)網(wǎng)絡(luò)CNN主要用來識別位移、縮放及其他形式扭曲不變性的二維圖形。

32、由于CNN的特征檢測層通過訓練數(shù)據(jù)進行學習，所以在使用CNN時，避免了顯式的特征抽取，而隱式地從訓練數(shù)據(jù)中進行學習；再者由于同一特征映射面上的神經(jīng)元權(quán)值相同，所以網(wǎng)絡(luò)可以并行學習，這也是卷積網(wǎng)絡(luò)相對于神經(jīng)元彼此相連網(wǎng)絡(luò)的一大優(yōu)勢。卷積神經(jīng)網(wǎng)絡(luò)以其局部權(quán)值共享的特殊結(jié)構(gòu)在語音識別和圖像處理方面有著獨特的優(yōu)越性,其布局更接近于實際的生物神經(jīng)網(wǎng)絡(luò)，權(quán)值共享降低了網(wǎng)絡(luò)的復(fù)雜性，特別是多維輸入向量的圖像可以直接輸入網(wǎng)絡(luò)這一特點避免了特征提取和分類過程中數(shù)據(jù)重建的復(fù)雜度。流的分類方式幾乎都是基于統(tǒng)計特征的，這就意味著在進行分辨前必須提取某些特征。然而，顯式的特征提取并不容易，在一些應(yīng)用問題中也并非總是可靠的。卷積神經(jīng)網(wǎng)絡(luò)，它避免了顯式的特征取樣，隱式地從訓練數(shù)據(jù)中進行學習。這使得卷積神經(jīng)網(wǎng)絡(luò)明顯有別于其