卷積神經(jīng)網(wǎng)絡(luò)講義課件

卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)主要內(nèi)容

卷積神經(jīng)網(wǎng)絡(luò)—誕生背景與歷程卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用—LeNet-5手寫(xiě)數(shù)字識(shí)別主要內(nèi)容卷積神經(jīng)網(wǎng)絡(luò)—誕生背景與歷程

深度學(xué)習(xí)的優(yōu)勢(shì)深度學(xué)習(xí)通過(guò)學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，只需簡(jiǎn)單的網(wǎng)絡(luò)結(jié)構(gòu)即可實(shí)現(xiàn)復(fù)雜函數(shù)的逼近，并展現(xiàn)了強(qiáng)大的從大量無(wú)標(biāo)注樣本集中學(xué)習(xí)數(shù)據(jù)集本質(zhì)特征的能力。深度學(xué)習(xí)能夠獲得可更好地表示數(shù)據(jù)的特征，同時(shí)由于模型的層次深）、表達(dá)能力強(qiáng)，因此有能力表示大規(guī)模數(shù)據(jù)。對(duì)于圖像、語(yǔ)音這種特征不明顯（需要手工設(shè)計(jì)且很多沒(méi)有直觀的物理含義）的問(wèn)題，深度模型能夠在大規(guī)模訓(xùn)練數(shù)據(jù)上取得更好的效果。

深度學(xué)習(xí)的優(yōu)勢(shì)深度學(xué)習(xí)通過(guò)學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，只需卷積神經(jīng)網(wǎng)絡(luò)(Convolutional

Neural

Networks：CNN)是人工神經(jīng)網(wǎng)絡(luò)(ANN)的一種，是深度學(xué)習(xí)的一種學(xué)習(xí)算法。它在圖像識(shí)別和分類(lèi)、自然語(yǔ)言處理廣告系統(tǒng)中都有應(yīng)用。

CNNs它利用空間關(guān)系減少需要學(xué)習(xí)的參數(shù)數(shù)目以提高一般前向BP算法的訓(xùn)練性能。CNNs作為一個(gè)深度學(xué)習(xí)架構(gòu)提出是為了最小化數(shù)據(jù)的預(yù)處理要求。在CNN中，圖像的一小部分（局部感受區(qū)域）作為層級(jí)結(jié)構(gòu)的最低層的輸入，信息再依次傳輸?shù)讲煌膶?，每層通過(guò)一個(gè)數(shù)字濾波器去獲得觀測(cè)數(shù)據(jù)的最顯著的特征。這個(gè)方法能夠獲取對(duì)平移、縮放和旋轉(zhuǎn)不變的觀測(cè)數(shù)據(jù)的顯著特征，因?yàn)閳D像的局部感受區(qū)域允許神經(jīng)元或者處理單元可以訪問(wèn)到最基礎(chǔ)的特征，例如定向邊緣。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional

Neural

Ne卷積神經(jīng)網(wǎng)絡(luò)講義課件卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)是一個(gè)多層的神經(jīng)網(wǎng)絡(luò)，每層由多個(gè)二維平面組成，而每個(gè)平面由多個(gè)獨(dú)立神經(jīng)元組成。卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)是一個(gè)多層的神經(jīng)輸入圖像通過(guò)和三個(gè)可訓(xùn)練的濾波器和可加偏置進(jìn)行卷積，濾波過(guò)程如圖，卷積后在C1層產(chǎn)生三個(gè)特征映射圖，然后特征映射圖中每組的四個(gè)像素再進(jìn)行求和，加權(quán)值，加偏置，通過(guò)一個(gè)Sigmoid函數(shù)得到三個(gè)S2層的特征映射圖。這些映射圖再進(jìn)過(guò)濾波得到C3層。這個(gè)層級(jí)結(jié)構(gòu)再和S2一樣產(chǎn)生S4。最終，這些像素值被光柵化，并連接成一個(gè)向量輸入到傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，得到輸出。輸入圖像通過(guò)和三個(gè)可訓(xùn)練的濾波器和可加偏置進(jìn)行卷積，濾波過(guò)程C層為卷積層(Convolution)，每個(gè)神經(jīng)元的輸入與前一層的局部感受野相連，并提取該局部的特征，一旦該局部特征被提取后，它與其他特征間的位置關(guān)系也隨之確定下來(lái)C層為卷積層(Convolution)，每個(gè)神經(jīng)元的輸入與前S層是采樣層（subsampling）也叫池化層（pooling），網(wǎng)絡(luò)的每個(gè)計(jì)算層由多個(gè)特征映射組成，每個(gè)特征映射為一個(gè)平面，平面上所有神經(jīng)元的權(quán)值相等。pooling的目的就是為了使參數(shù)量減少，使得特征映射具有某種不變性（旋轉(zhuǎn)、平移、伸縮等）。S層是采樣層（subsampling）也叫池化層（pooli卷積神經(jīng)網(wǎng)絡(luò)講義課件卷積神經(jīng)網(wǎng)絡(luò)講義課件參數(shù)減少與權(quán)值共享參數(shù)減少與權(quán)值共享

如果我們有1000x1000像素的圖像，有1百萬(wàn)個(gè)隱層神經(jīng)元，那么他們?nèi)B接的話（每個(gè)隱層神經(jīng)元都連接圖像的每一個(gè)像素點(diǎn)），就有1000x1000x1000000=10^12個(gè)連接，也就是10^12個(gè)權(quán)值參數(shù)。然而圖像的空間聯(lián)系是局部的，就像人是通過(guò)一個(gè)局部的感受野去感受外界圖像一樣，每一個(gè)神經(jīng)元都不需要對(duì)全局圖像做感受，每個(gè)神經(jīng)元只感受局部的圖像區(qū)域，然后在更高層，將這些感受不同局部的神經(jīng)元綜合起來(lái)就可以得到全局的信息了。這樣，我們就可以減少連接的數(shù)目，也就是減少神經(jīng)網(wǎng)絡(luò)需要訓(xùn)練的權(quán)值參數(shù)的個(gè)數(shù)了。假如局部感受野是10x10，隱層每個(gè)感受野只需要和這10x10的局部圖像相連接，所以1百萬(wàn)個(gè)隱層神經(jīng)元就只有一億個(gè)連接，即10^8個(gè)參數(shù)。比原來(lái)減少了四個(gè)0（數(shù)量級(jí)），這樣訓(xùn)練起來(lái)就沒(méi)那么費(fèi)力了。隱含層的每一個(gè)神經(jīng)元都連接10x10個(gè)圖像區(qū)域，也就是說(shuō)每一個(gè)神經(jīng)元存在10x10=100個(gè)連接權(quán)值參數(shù)。那如果我們每個(gè)神經(jīng)元這100個(gè)參數(shù)是相同，每個(gè)神經(jīng)元用的是同一個(gè)卷積核去卷積圖像，這就是權(quán)值共享。如果我們有1000x1000像素的圖像，有1百萬(wàn)個(gè)隱

一方面，重復(fù)單元能夠?qū)μ卣鬟M(jìn)行識(shí)別，而不考慮它在可視域中的位置。另一方面，權(quán)值共享使得我們能更有效的進(jìn)行特征抽取，因?yàn)樗鼧O大的減少了需要學(xué)習(xí)的自由變量的個(gè)數(shù)。通過(guò)控制模型的規(guī)模，卷積網(wǎng)絡(luò)對(duì)視覺(jué)問(wèn)題可以具有很好的泛化能力。權(quán)值共享的優(yōu)點(diǎn)：一方面，重復(fù)單元能夠?qū)μ卣鬟M(jìn)行識(shí)別，而不考慮它卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用LeNet-5手寫(xiě)數(shù)字識(shí)別卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用LeNet-5手寫(xiě)數(shù)字識(shí)別C1層：輸入圖片大?。?32*32卷積窗大?。?5*5卷積窗種類(lèi)： 6輸出特征圖數(shù)量：6輸出特征圖大?。?8*28 神經(jīng)元數(shù)量： 4707連接數(shù)： 122304可訓(xùn)練參數(shù)： 156

C1層是一個(gè)卷積層，卷積運(yùn)算一個(gè)重要的特點(diǎn)就是，通過(guò)卷積運(yùn)算，可以使原信號(hào)特征增強(qiáng)，并且降低干擾，由6個(gè)特征圖FeatureMap構(gòu)成。特征圖中每個(gè)神經(jīng)元與輸入中5*5的鄰域相連。特征圖的大小為28*28，這樣能防止輸入的連接掉到邊界之外。C1有156個(gè)可訓(xùn)練參數(shù)（每個(gè)濾波器5*5=25個(gè)unit參數(shù)和一個(gè)bias參數(shù)，一共6個(gè)濾波器，共(5*5+1)*6=156個(gè)參數(shù)），共(5*5+1)*6*(28*28)=122,304個(gè)連接。C1層：C1層是一個(gè)卷積層，卷積運(yùn)算一個(gè)重要S2層：輸入圖片大?。?(28*28)*6卷積窗大?。?2*2卷積窗種類(lèi)： 6輸出下采樣圖數(shù)量：6輸出下采樣圖大?。?14*14)*6神經(jīng)元數(shù)量： 1176 連接數(shù)： 5880 可訓(xùn)練參數(shù)： 12 S2層是一個(gè)采樣層，利用圖像局部相關(guān)性的原理，對(duì)圖像進(jìn)行子抽樣，可以減少數(shù)據(jù)處理量同時(shí)保留有用信息，有6個(gè)14*14的特征圖。特征圖中的每個(gè)單元與C1中相對(duì)應(yīng)特征圖的2*2鄰域相連接。6個(gè)2*2的小方框,每個(gè)有一個(gè)參數(shù),加上一個(gè)偏置,也就是(1+1)*6=12個(gè)可訓(xùn)練參數(shù)，對(duì)于S2層的每一個(gè)圖的每一個(gè)點(diǎn),連接數(shù)是(2*2+1)=5,總共是14*14*6*(2*2+1)=5880個(gè)連接。S2層：S2層是一個(gè)采樣層，利用圖像局部相關(guān)性卷積和子采樣過(guò)程：卷積過(guò)程包括：用一個(gè)可訓(xùn)練的濾波器fx去卷積一個(gè)輸入的圖像（第一階段是輸入的圖像，后面的階段就是卷積特征map了），然后加一個(gè)偏置bx，得到卷積層Cx。子采樣過(guò)程包括：每鄰域四個(gè)像素求和變?yōu)橐粋€(gè)像素，然后通過(guò)標(biāo)量Wx+1加權(quán)，再增加偏置bx+1，然后通過(guò)一個(gè)sigmoid激活函數(shù)，產(chǎn)生一個(gè)大概縮小四倍的特征映射圖Sx+1。卷積和子采樣過(guò)程：C3層：輸入圖片大小： (14*14)*6卷積窗大?。?5*5卷積窗種類(lèi)： 16輸出特征圖數(shù)量：16輸出特征圖大?。?0*10 神經(jīng)元數(shù)量： 1600連接數(shù)： 151600可訓(xùn)練參數(shù)： 1516 C3層也是一個(gè)卷積層，它同樣通過(guò)5x5的卷積核去卷積層S2，然后得到的特征map就只有10x10個(gè)神經(jīng)元，但是它有16種不同的卷積核，所以就存在16個(gè)特征map了。C3的前6個(gè)特征圖以S2中3個(gè)相鄰的特征圖子集為輸入。接下來(lái)6個(gè)特征圖以S2中4個(gè)相鄰特征圖子集為輸入。然后的3個(gè)以不相鄰的4個(gè)特征圖子集為輸入。最后一個(gè)將S2中所有特征圖為輸入。C3層：C3層也是一個(gè)卷積層，它同樣通過(guò)5x5的C3的角度看,它有16個(gè)圖.把每個(gè)圖對(duì)應(yīng)的參數(shù)加起來(lái)6*(3*25+1)+6*(4*25+1)+3*(4*25+1)+1*(6*25+1)=1516個(gè)可訓(xùn)練參數(shù)1516*10*10=151600個(gè)連接C3的角度看,它有16個(gè)圖.把每個(gè)圖對(duì)應(yīng)的參數(shù)加起來(lái)S4層：輸入圖片大?。?(10*10)*16卷積窗大?。?2*2卷積窗種類(lèi)： 16輸出下采樣圖數(shù)量：16輸出下采樣圖大?。?5*5)*16神經(jīng)元數(shù)量： 400 連接數(shù)： 2000 可訓(xùn)練參數(shù)： 32 S4層是一個(gè)采樣層，由16個(gè)5*5大小的特征圖構(gòu)成。特征圖中的每個(gè)單元與C3中相應(yīng)特征圖的2*2鄰域相連接，跟C1和S2之間的連接一樣。S4層有32個(gè)可訓(xùn)練參數(shù)（每個(gè)特征圖1個(gè)因子和一個(gè)偏置）和5*5*16*(2*2+1)=2000個(gè)連接。S4層：S4層是一個(gè)采樣層，由16個(gè)5*5大小C5層：輸入圖片大?。?(5*5)*16卷積窗大?。?5*5卷積窗種類(lèi)： 120輸出特征圖數(shù)量：120輸出特征圖大?。?*1 神經(jīng)元數(shù)量： 120 連接數(shù)： 48120(全連接）可訓(xùn)練參數(shù)： 48120C5層是一個(gè)卷積層，有120個(gè)特征圖。每個(gè)單元與S4層的全部16個(gè)單元的5*5鄰域相連。由于S4層特征圖的大小也為5*5（同濾波器一樣），故C5特征圖的大小為1*1：這構(gòu)成了S4和C5之間的全連接。之所以仍將C5標(biāo)示為卷積層而非全相聯(lián)層，是因?yàn)槿绻鸏eNet-5的輸入變大，而其他的保持不變，那么此時(shí)特征圖的維數(shù)就會(huì)比1*1大。C5層有120*(5*5*16+1)=48120個(gè)可訓(xùn)練連接。C5層：C5層是一個(gè)卷積層，有120個(gè)特征圖。F6層：輸入圖片大?。?(1*1)*120卷積窗大?。?1*1卷積窗種類(lèi)： 84輸出特征圖數(shù)量：84輸出特征圖大?。? 神經(jīng)元數(shù)量： 84 連接數(shù)： 10164（全連接）可訓(xùn)練參數(shù)： 10164F6層有84個(gè)單元（之所以選這個(gè)數(shù)字的原因來(lái)自于輸出層的設(shè)計(jì)），與C5層全相連。有84*(120+1)=10164個(gè)可訓(xùn)練參數(shù)。如同經(jīng)典神經(jīng)網(wǎng)絡(luò)，F(xiàn)6層計(jì)算輸入向量和權(quán)重向量之間的點(diǎn)積，再加上一個(gè)偏置。然后將其傳遞給sigmoid函數(shù)產(chǎn)生單元i的一個(gè)狀態(tài)。F6層：F6層有84個(gè)單元（之所以選這個(gè)數(shù)字的

最后，輸出層由歐式徑向基函數(shù)（EuclideanRadialBasisFunction）單元組成，每類(lèi)一個(gè)單元，每個(gè)有84個(gè)輸入。換句話說(shuō)，每個(gè)輸出RBF單元計(jì)算輸入向量和參數(shù)向量之間的歐式距離。輸入離參數(shù)向量越遠(yuǎn)，RBF輸出的越大。一個(gè)RBF輸出可以被理解為衡量輸入模式和與RBF相關(guān)聯(lián)類(lèi)的一個(gè)模型的匹配程度的懲罰項(xiàng)。用概率術(shù)語(yǔ)來(lái)說(shuō)，即模式的的期望分類(lèi)足夠接近。簡(jiǎn)而言之，通過(guò)噪音過(guò)濾和特征提取，強(qiáng)化出真正有用的筆畫(huà)拓?fù)潢P(guān)系，以此為基礎(chǔ)，識(shí)別字母。通過(guò)大量的訓(xùn)練，能把不同字母的各種區(qū)分特征識(shí)別出來(lái)，只要足以區(qū)分不同字母，跳出非字母，就可以實(shí)現(xiàn)識(shí)別。最后，輸出層由歐式徑向基函數(shù)（EuclideanR第一階段，向前傳播階段：a）從樣本集中取一個(gè)樣本(X,Yp)，將X輸入網(wǎng)絡(luò)；b）計(jì)算相應(yīng)的實(shí)際輸出Op。

在此階段，信息從輸入層經(jīng)過(guò)逐級(jí)的變換，傳送到輸出層。這個(gè)過(guò)程也是網(wǎng)絡(luò)在完成訓(xùn)練后正常運(yùn)行時(shí)執(zhí)行的過(guò)程。在此過(guò)程中，網(wǎng)絡(luò)執(zhí)行的是計(jì)算（實(shí)際上就是輸入與每層的權(quán)值矩陣相點(diǎn)乘，得到最后的輸出結(jié)果）：

Op=Fn（…（F2（F1（XpW（1））W（2））…）W（n））第二階段，向后傳播階段a）算實(shí)際輸出Op與相應(yīng)的理想輸出Yp的差；b）按極小化誤差的方法反向傳播調(diào)整權(quán)矩陣。訓(xùn)練算法分為兩個(gè)階段第一階段，向前傳播階段：訓(xùn)練算法分為兩個(gè)階段

卷積神經(jīng)網(wǎng)絡(luò)CNN主要用來(lái)識(shí)別位移、縮放及其他形式扭曲不變性的二維圖形。由于CNN的特征檢測(cè)層通過(guò)訓(xùn)練數(shù)據(jù)進(jìn)行學(xué)習(xí)，所以在使用CNN時(shí)，避免了顯式的特征抽取，而隱式地從訓(xùn)練數(shù)據(jù)中進(jìn)行學(xué)習(xí)；再者由于同一特征映射面上的神經(jīng)元權(quán)值相同，所以網(wǎng)絡(luò)可以并行學(xué)習(xí)，這也是卷積網(wǎng)絡(luò)相對(duì)于神經(jīng)元彼此相連網(wǎng)絡(luò)的一大優(yōu)勢(shì)。卷積神經(jīng)網(wǎng)絡(luò)以其局部權(quán)值共享的特殊結(jié)構(gòu)在語(yǔ)音識(shí)別和圖像處理方面有著獨(dú)特的優(yōu)越性，其布局更接近于實(shí)際的生物神經(jīng)網(wǎng)絡(luò)，權(quán)值共享降低了網(wǎng)絡(luò)的復(fù)雜性，特別是多維輸入向量的圖像可以直接輸入網(wǎng)絡(luò)這一特點(diǎn)避免了特征提取和分類(lèi)過(guò)程中數(shù)據(jù)重建的復(fù)雜度。卷積網(wǎng)絡(luò)較一般神經(jīng)網(wǎng)絡(luò)在圖像處理方面有如下優(yōu)點(diǎn)：a）輸入圖像和網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)能很好的吻合；b）特征提取和模式分類(lèi)同時(shí)進(jìn)行，并同時(shí)在訓(xùn)練中產(chǎn)生；c）權(quán)重共享可以減少網(wǎng)絡(luò)的訓(xùn)練參數(shù)，使神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)變得更簡(jiǎn)單，適應(yīng)性更強(qiáng)。卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)卷積神經(jīng)網(wǎng)絡(luò)CNN主要用來(lái)識(shí)別位移、縮放及其他形式扭一維卷積神經(jīng)網(wǎng)絡(luò)：時(shí)序信號(hào)，文本

文本分類(lèi)音樂(lè)體裁分類(lèi)用于語(yǔ)音識(shí)別的聲學(xué)模型時(shí)間序列預(yù)測(cè)二維卷積神經(jīng)網(wǎng)絡(luò)：圖像，時(shí)間-頻率表征（語(yǔ)音與音頻）物體檢測(cè)，定位，識(shí)別三維卷積神經(jīng)網(wǎng)絡(luò)：視頻，立體圖像，層析成像視頻識(shí)別/理解生物醫(yī)學(xué)圖像分析高光譜圖像分析cnn應(yīng)用一維卷積神經(jīng)網(wǎng)絡(luò)：時(shí)序信號(hào)，文本cnn應(yīng)用

謝謝！謝謝！卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)主要內(nèi)容

卷積神經(jīng)網(wǎng)絡(luò)—誕生背景與歷程卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用—LeNet-5手寫(xiě)數(shù)字識(shí)別主要內(nèi)容卷積神經(jīng)網(wǎng)絡(luò)—誕生背景與歷程

深度學(xué)習(xí)的優(yōu)勢(shì)深度學(xué)習(xí)通過(guò)學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，只需簡(jiǎn)單的網(wǎng)絡(luò)結(jié)構(gòu)即可實(shí)現(xiàn)復(fù)雜函數(shù)的逼近，并展現(xiàn)了強(qiáng)大的從大量無(wú)標(biāo)注樣本集中學(xué)習(xí)數(shù)據(jù)集本質(zhì)特征的能力。深度學(xué)習(xí)能夠獲得可更好地表示數(shù)據(jù)的特征，同時(shí)由于模型的層次深）、表達(dá)能力強(qiáng)，因此有能力表示大規(guī)模數(shù)據(jù)。對(duì)于圖像、語(yǔ)音這種特征不明顯（需要手工設(shè)計(jì)且很多沒(méi)有直觀的物理含義）的問(wèn)題，深度模型能夠在大規(guī)模訓(xùn)練數(shù)據(jù)上取得更好的效果。

深度學(xué)習(xí)的優(yōu)勢(shì)深度學(xué)習(xí)通過(guò)學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，只需卷積神經(jīng)網(wǎng)絡(luò)(Convolutional

Neural

Networks：CNN)是人工神經(jīng)網(wǎng)絡(luò)(ANN)的一種，是深度學(xué)習(xí)的一種學(xué)習(xí)算法。它在圖像識(shí)別和分類(lèi)、自然語(yǔ)言處理廣告系統(tǒng)中都有應(yīng)用。

CNNs它利用空間關(guān)系減少需要學(xué)習(xí)的參數(shù)數(shù)目以提高一般前向BP算法的訓(xùn)練性能。CNNs作為一個(gè)深度學(xué)習(xí)架構(gòu)提出是為了最小化數(shù)據(jù)的預(yù)處理要求。在CNN中，圖像的一小部分（局部感受區(qū)域）作為層級(jí)結(jié)構(gòu)的最低層的輸入，信息再依次傳輸?shù)讲煌膶樱繉油ㄟ^(guò)一個(gè)數(shù)字濾波器去獲得觀測(cè)數(shù)據(jù)的最顯著的特征。這個(gè)方法能夠獲取對(duì)平移、縮放和旋轉(zhuǎn)不變的觀測(cè)數(shù)據(jù)的顯著特征，因?yàn)閳D像的局部感受區(qū)域允許神經(jīng)元或者處理單元可以訪問(wèn)到最基礎(chǔ)的特征，例如定向邊緣。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional

Neural

Ne卷積神經(jīng)網(wǎng)絡(luò)講義課件卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)是一個(gè)多層的神經(jīng)網(wǎng)絡(luò)，每層由多個(gè)二維平面組成，而每個(gè)平面由多個(gè)獨(dú)立神經(jīng)元組成。卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)是一個(gè)多層的神經(jīng)輸入圖像通過(guò)和三個(gè)可訓(xùn)練的濾波器和可加偏置進(jìn)行卷積，濾波過(guò)程如圖，卷積后在C1層產(chǎn)生三個(gè)特征映射圖，然后特征映射圖中每組的四個(gè)像素再進(jìn)行求和，加權(quán)值，加偏置，通過(guò)一個(gè)Sigmoid函數(shù)得到三個(gè)S2層的特征映射圖。這些映射圖再進(jìn)過(guò)濾波得到C3層。這個(gè)層級(jí)結(jié)構(gòu)再和S2一樣產(chǎn)生S4。最終，這些像素值被光柵化，并連接成一個(gè)向量輸入到傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，得到輸出。輸入圖像通過(guò)和三個(gè)可訓(xùn)練的濾波器和可加偏置進(jìn)行卷積，濾波過(guò)程C層為卷積層(Convolution)，每個(gè)神經(jīng)元的輸入與前一層的局部感受野相連，并提取該局部的特征，一旦該局部特征被提取后，它與其他特征間的位置關(guān)系也隨之確定下來(lái)C層為卷積層(Convolution)，每個(gè)神經(jīng)元的輸入與前S層是采樣層（subsampling）也叫池化層（pooling），網(wǎng)絡(luò)的每個(gè)計(jì)算層由多個(gè)特征映射組成，每個(gè)特征映射為一個(gè)平面，平面上所有神經(jīng)元的權(quán)值相等。pooling的目的就是為了使參數(shù)量減少，使得特征映射具有某種不變性（旋轉(zhuǎn)、平移、伸縮等）。S層是采樣層（subsampling）也叫池化層（pooli卷積神經(jīng)網(wǎng)絡(luò)講義課件卷積神經(jīng)網(wǎng)絡(luò)講義課件參數(shù)減少與權(quán)值共享參數(shù)減少與權(quán)值共享

如果我們有1000x1000像素的圖像，有1百萬(wàn)個(gè)隱層神經(jīng)元，那么他們?nèi)B接的話（每個(gè)隱層神經(jīng)元都連接圖像的每一個(gè)像素點(diǎn)），就有1000x1000x1000000=10^12個(gè)連接，也就是10^12個(gè)權(quán)值參數(shù)。然而圖像的空間聯(lián)系是局部的，就像人是通過(guò)一個(gè)局部的感受野去感受外界圖像一樣，每一個(gè)神經(jīng)元都不需要對(duì)全局圖像做感受，每個(gè)神經(jīng)元只感受局部的圖像區(qū)域，然后在更高層，將這些感受不同局部的神經(jīng)元綜合起來(lái)就可以得到全局的信息了。這樣，我們就可以減少連接的數(shù)目，也就是減少神經(jīng)網(wǎng)絡(luò)需要訓(xùn)練的權(quán)值參數(shù)的個(gè)數(shù)了。假如局部感受野是10x10，隱層每個(gè)感受野只需要和這10x10的局部圖像相連接，所以1百萬(wàn)個(gè)隱層神經(jīng)元就只有一億個(gè)連接，即10^8個(gè)參數(shù)。比原來(lái)減少了四個(gè)0（數(shù)量級(jí)），這樣訓(xùn)練起來(lái)就沒(méi)那么費(fèi)力了。隱含層的每一個(gè)神經(jīng)元都連接10x10個(gè)圖像區(qū)域，也就是說(shuō)每一個(gè)神經(jīng)元存在10x10=100個(gè)連接權(quán)值參數(shù)。那如果我們每個(gè)神經(jīng)元這100個(gè)參數(shù)是相同，每個(gè)神經(jīng)元用的是同一個(gè)卷積核去卷積圖像，這就是權(quán)值共享。如果我們有1000x1000像素的圖像，有1百萬(wàn)個(gè)隱

一方面，重復(fù)單元能夠?qū)μ卣鬟M(jìn)行識(shí)別，而不考慮它在可視域中的位置。另一方面，權(quán)值共享使得我們能更有效的進(jìn)行特征抽取，因?yàn)樗鼧O大的減少了需要學(xué)習(xí)的自由變量的個(gè)數(shù)。通過(guò)控制模型的規(guī)模，卷積網(wǎng)絡(luò)對(duì)視覺(jué)問(wèn)題可以具有很好的泛化能力。權(quán)值共享的優(yōu)點(diǎn)：一方面，重復(fù)單元能夠?qū)μ卣鬟M(jìn)行識(shí)別，而不考慮它卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用LeNet-5手寫(xiě)數(shù)字識(shí)別卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用LeNet-5手寫(xiě)數(shù)字識(shí)別C1層：輸入圖片大?。?32*32卷積窗大?。?5*5卷積窗種類(lèi)： 6輸出特征圖數(shù)量：6輸出特征圖大?。?8*28 神經(jīng)元數(shù)量： 4707連接數(shù)： 122304可訓(xùn)練參數(shù)： 156

C1層是一個(gè)卷積層，卷積運(yùn)算一個(gè)重要的特點(diǎn)就是，通過(guò)卷積運(yùn)算，可以使原信號(hào)特征增強(qiáng)，并且降低干擾，由6個(gè)特征圖FeatureMap構(gòu)成。特征圖中每個(gè)神經(jīng)元與輸入中5*5的鄰域相連。特征圖的大小為28*28，這樣能防止輸入的連接掉到邊界之外。C1有156個(gè)可訓(xùn)練參數(shù)（每個(gè)濾波器5*5=25個(gè)unit參數(shù)和一個(gè)bias參數(shù)，一共6個(gè)濾波器，共(5*5+1)*6=156個(gè)參數(shù)），共(5*5+1)*6*(28*28)=122,304個(gè)連接。C1層：C1層是一個(gè)卷積層，卷積運(yùn)算一個(gè)重要S2層：輸入圖片大?。?(28*28)*6卷積窗大?。?2*2卷積窗種類(lèi)： 6輸出下采樣圖數(shù)量：6輸出下采樣圖大?。?14*14)*6神經(jīng)元數(shù)量： 1176 連接數(shù)： 5880 可訓(xùn)練參數(shù)： 12 S2層是一個(gè)采樣層，利用圖像局部相關(guān)性的原理，對(duì)圖像進(jìn)行子抽樣，可以減少數(shù)據(jù)處理量同時(shí)保留有用信息，有6個(gè)14*14的特征圖。特征圖中的每個(gè)單元與C1中相對(duì)應(yīng)特征圖的2*2鄰域相連接。6個(gè)2*2的小方框,每個(gè)有一個(gè)參數(shù),加上一個(gè)偏置,也就是(1+1)*6=12個(gè)可訓(xùn)練參數(shù)，對(duì)于S2層的每一個(gè)圖的每一個(gè)點(diǎn),連接數(shù)是(2*2+1)=5,總共是14*14*6*(2*2+1)=5880個(gè)連接。S2層：S2層是一個(gè)采樣層，利用圖像局部相關(guān)性卷積和子采樣過(guò)程：卷積過(guò)程包括：用一個(gè)可訓(xùn)練的濾波器fx去卷積一個(gè)輸入的圖像（第一階段是輸入的圖像，后面的階段就是卷積特征map了），然后加一個(gè)偏置bx，得到卷積層Cx。子采樣過(guò)程包括：每鄰域四個(gè)像素求和變?yōu)橐粋€(gè)像素，然后通過(guò)標(biāo)量Wx+1加權(quán)，再增加偏置bx+1，然后通過(guò)一個(gè)sigmoid激活函數(shù)，產(chǎn)生一個(gè)大概縮小四倍的特征映射圖Sx+1。卷積和子采樣過(guò)程：C3層：輸入圖片大?。?(14*14)*6卷積窗大?。?5*5卷積窗種類(lèi)： 16輸出特征圖數(shù)量：16輸出特征圖大?。?0*10 神經(jīng)元數(shù)量： 1600連接數(shù)： 151600可訓(xùn)練參數(shù)： 1516 C3層也是一個(gè)卷積層，它同樣通過(guò)5x5的卷積核去卷積層S2，然后得到的特征map就只有10x10個(gè)神經(jīng)元，但是它有16種不同的卷積核，所以就存在16個(gè)特征map了。C3的前6個(gè)特征圖以S2中3個(gè)相鄰的特征圖子集為輸入。接下來(lái)6個(gè)特征圖以S2中4個(gè)相鄰特征圖子集為輸入。然后的3個(gè)以不相鄰的4個(gè)特征圖子集為輸入。最后一個(gè)將S2中所有特征圖為輸入。C3層：C3層也是一個(gè)卷積層，它同樣通過(guò)5x5的C3的角度看,它有16個(gè)圖.把每個(gè)圖對(duì)應(yīng)的參數(shù)加起來(lái)6*(3*25+1)+6*(4*25+1)+3*(4*25+1)+1*(6*25+1)=1516個(gè)可訓(xùn)練參數(shù)1516*10*10=151600個(gè)連接C3的角度看,它有16個(gè)圖.把每個(gè)圖對(duì)應(yīng)的參數(shù)加起來(lái)S4層：輸入圖片大?。?(10*10)*16卷積窗大小： 2*2卷積窗種類(lèi)： 16輸出下采樣圖數(shù)量：16輸出下采樣圖大?。?5*5)*16神經(jīng)元數(shù)量： 400 連接數(shù)： 2000 可訓(xùn)練參數(shù)： 32 S4層是一個(gè)采樣層，由16個(gè)5*5大小的特征圖構(gòu)成。特征圖中的每個(gè)單元與C3中相應(yīng)特征圖的2*2鄰域相連接，跟C1和S2之間的連接一樣。S4層有32個(gè)可訓(xùn)練參數(shù)（每個(gè)特征圖1個(gè)因子和一個(gè)偏置）和5*5*16*(2*2+1)=2000個(gè)連接。S4層：S4層是一個(gè)采樣層，由16個(gè)5*5大小C5層：輸入圖片大?。?(5*5)*16卷積窗大?。?5*5卷積窗種類(lèi)： 120輸出特征圖數(shù)量：120輸出特征圖大?。?*1 神經(jīng)元數(shù)量： 120 連接數(shù)： 48120(全連接）可訓(xùn)練參數(shù)： 48120C5層是一個(gè)卷積層，有120個(gè)特征圖。每個(gè)單元與S4層的全部16個(gè)單元的5*5鄰域相連。由于S4層特征圖的大小也為5*5（同濾波器一樣），故C5特征圖的大小為1*1：這構(gòu)成了S4和C5之間的全連接。之所以仍將C5標(biāo)示為卷積層而非全相聯(lián)層，是因?yàn)槿绻鸏eNet-5的輸入變大，而其他的保持不變，那么此時(shí)特征圖的維數(shù)就會(huì)比1*1大。C5層有120*(5*5*16+1)=48120個(gè)可訓(xùn)練連接。C5層：C5層是一個(gè)卷積層，有120個(gè)特征圖。F6層：輸入圖片大?。?(1*1)*120卷積窗大?。?1*1卷積窗種類(lèi)： 84輸出特征圖數(shù)量：84輸出特征圖大?。? 神經(jīng)元數(shù)量： 84 連接數(shù)： 10164（全連接）可訓(xùn)練參數(shù)： 10164F6層有84個(gè)單元（之所以選這個(gè)數(shù)字的原因來(lái)自于輸出層的設(shè)計(jì)），與C5層全相連。有84*(120+1)=10164個(gè)可訓(xùn)練參數(shù)。如同經(jīng)典神經(jīng)網(wǎng)絡(luò)，F(xiàn)6層計(jì)算輸入向量和權(quán)重向量之間的點(diǎn)積，再加上一個(gè)偏置。然后將其傳遞給sigmoid函數(shù)產(chǎn)生單元i的一個(gè)狀態(tài)。F6層：F6層有84個(gè)單元（之所以選這個(gè)數(shù)字的

最后，輸出層由歐式徑向基函數(shù)（EuclideanRadialBasisFunction）單元組成，每類(lèi)一個(gè)單元，每個(gè)有84個(gè)輸入。換句話說(shuō)，每個(gè)輸出RBF單元計(jì)算輸入向量和參數(shù)向量之間的歐式距離。輸入離參數(shù)向量越遠(yuǎn)，RBF輸出的越大。一個(gè)RBF輸出可以被理解為衡量輸入模式和與RBF相關(guān)聯(lián)類(lèi)的一個(gè)模型的匹配程度的懲罰項(xiàng)。用概率術(shù)語(yǔ)來(lái)說(shuō)，即模式的的期望分類(lèi)足夠