卷積神經(jīng)網(wǎng)絡(luò)課件

ConvolutionalNeuralNetworks

卷積神經(jīng)網(wǎng)絡(luò)1ppt課件.ConvolutionalNeuralNetworks

Contents機(jī)器學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)，深度學(xué)習(xí)之間的關(guān)系什么是神經(jīng)網(wǎng)絡(luò)梯度下降算法反向傳播算法神經(jīng)網(wǎng)絡(luò)的訓(xùn)練什么是卷積什么是池化LeNet-5其它的工作2ppt課件.Contents機(jī)器學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)，深度學(xué)習(xí)之間的關(guān)系2ppConvolutionalNeuralNetworks機(jī)器學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)，深度學(xué)習(xí)之間的關(guān)系3ppt課件.ConvolutionalNeuralNetworks機(jī)ConvolutionalNeuralNetworks人工神經(jīng)網(wǎng)絡(luò)（Artificialneuralnetwork,ANN），簡(jiǎn)稱神經(jīng)網(wǎng)絡(luò)（NN）神經(jīng)網(wǎng)絡(luò)其實(shí)就是按照一定規(guī)則連接起來(lái)的多個(gè)神經(jīng)元神經(jīng)元： ,每個(gè)連接都有一個(gè)權(quán)值

什么是神經(jīng)網(wǎng)絡(luò)？圖1.一個(gè)全連接的神經(jīng)網(wǎng)絡(luò)

4ppt課件.ConvolutionalNeuralNetworks人ConvolutionalNeuralNetworks梯度下降算法梯度下降算法是用來(lái)求函數(shù)最小值的算法每次沿著梯度的反方向，即函數(shù)值下降最快的方向，去修改值，就能走到函數(shù)的最小值附近（之所以是最小值附近而不是最小值那個(gè)點(diǎn)，是因?yàn)槲覀兠看我苿?dòng)的步長(zhǎng)不會(huì)那么恰到好處，有可能最后一次迭代走遠(yuǎn)了越過了最小值那個(gè)點(diǎn)）5ppt課件.ConvolutionalNeuralNetworks梯ConvolutionalNeuralNetworks反向傳播算法（Back

Propagation）反向傳播算法是計(jì)算多層復(fù)合函數(shù)的所有變量的偏導(dǎo)數(shù)的利器，上面梯度下降的例子中就是求梯度，簡(jiǎn)單的理解就是鏈?zhǔn)椒▌t根據(jù)鏈?zhǔn)椒▌t，我們求e對(duì)a的偏導(dǎo)和e對(duì)d的偏導(dǎo)是如下所示:可以看出，它們都求了e對(duì)c的偏導(dǎo)。對(duì)于權(quán)值動(dòng)則數(shù)萬(wàn)的深度模型中的神經(jīng)網(wǎng)絡(luò)，這樣的冗余所導(dǎo)致的計(jì)算量是相當(dāng)大的BP算法則機(jī)智地避開了這種冗余，BP算法是反向(自上往下)來(lái)求偏導(dǎo)的。

6ppt課件.ConvolutionalNeuralNetworks反ConvolutionalNeuralNetworks梯度下降算法+反向傳播算法

7ppt課件.ConvolutionalNeuralNetworks梯ConvolutionalNeuralNetworks

8ppt課件.ConvolutionalNeuralNetworks

ConvolutionalNeuralNetworks

9ppt課件.ConvolutionalNeuralNetworks

ConvolutionalNeuralNetworks

10ppt課件.ConvolutionalNeuralNetworks

ConvolutionalNeuralNetworks什么是卷積？右圖展示了卷積的過程，和信號(hào)處理的卷積有所區(qū)別卷積降低了網(wǎng)絡(luò)模型的復(fù)雜度（對(duì)于很難學(xué)習(xí)的深層結(jié)構(gòu)來(lái)說(shuō)，這是非常重要的），減少了權(quán)值的數(shù)量黃色部分是卷積核11ppt課件.ConvolutionalNeuralNetworks什ConvolutionalNeuralNetworks什么是池化？池化層主要的作用是下采樣，通過去掉FeatureMap中不重要的樣本，進(jìn)一步減少參數(shù)數(shù)量。池化的方法很多，最常用的是MaxPooling。MaxPooling實(shí)際上就是在n*n的樣本中取最大值，作為采樣后的樣本值。右圖是2*2max12ppt課件.ConvolutionalNeuralNetworks什ConvolutionalNeuralNetworksLeNet-5

13ppt課件.ConvolutionalNeuralNetworksLLeNet-51.輸入圖像是32x32的大小，卷積核的大小是5x5的，由于不考慮對(duì)圖像的邊界進(jìn)行拓展，則卷積核將有28x28個(gè)不同的位置，也就是C1層的大小是28x28。這里設(shè)定有6個(gè)不同的C1層，每一個(gè)C1層內(nèi)的權(quán)值是相同的。2.S2層是一個(gè)下采樣層，即池化層。在斯坦福關(guān)于深度學(xué)習(xí)的教程中，這個(gè)過程叫做Pool。但在LeNet-5系統(tǒng)，下采樣層比較復(fù)雜，由4個(gè)點(diǎn)下采樣的加權(quán)平均為1個(gè)點(diǎn)，，因?yàn)檫@4個(gè)加權(quán)系數(shù)也需要學(xué)習(xí)得到，這顯然增加了模型的復(fù)雜度。14ppt課件.LeNet-51.輸入圖像是32x32的大小，卷積核的大小LeNet-53.

根據(jù)對(duì)前面C1層同樣的理解，我們很容易得到C3層的大小為10x10.

只不過，C3層的變成了16個(gè)10x10網(wǎng)絡(luò)，有16個(gè)卷積核。

如果S2層只有1個(gè)平面，那么由S2層得到C3就和由輸入層得到C1層是完全一樣的。但是，S2層由多層，那么，只需要按照一定的順利組合這些層就可以了。具體的組合規(guī)則，在

LeNet-5系統(tǒng)中給出了下面的表格：簡(jiǎn)單的說(shuō)，例如對(duì)于C3層第0張?zhí)卣鲌D，其每一個(gè)節(jié)點(diǎn)與S2層的第0張?zhí)卣鲌D，第1張?zhí)卣鲌D，第2張?zhí)卣鲌D，總共3個(gè)5x5個(gè)節(jié)點(diǎn)相連接。后面依次類推，C3層每一張?zhí)卣饔成鋱D的權(quán)值是相同的C3層featuremapS2層featuremap15ppt課件.LeNet-53.

根據(jù)對(duì)前面C1層同樣的理解，我們很容易得LeNet-5S4層是在C3層基礎(chǔ)上下采樣，前面已述。C5層是一個(gè)卷積層，有120個(gè)特征圖。每個(gè)單元與S4層的全部16個(gè)單元的5*5鄰域相連，故C5特征圖的大小為1*1：這構(gòu)成了S4和C5之間的全連接。之所以仍將C5標(biāo)示為卷積層而非全連接層，是因?yàn)槿绻鸏eNet-5的輸入變大，而其他的保持不變，那么此時(shí)特征圖的維數(shù)就會(huì)比1*1大。C5層有48120個(gè)可訓(xùn)練連接。F6層有84個(gè)單元（之所以選這個(gè)數(shù)字的原因來(lái)自于輸出層的設(shè)計(jì)），與C5層全相連。有10164個(gè)可訓(xùn)練參數(shù)。如同經(jīng)典神經(jīng)網(wǎng)絡(luò)，F(xiàn)6層計(jì)算輸入向量和權(quán)重向量之間的點(diǎn)積，再加上一個(gè)偏置。然后將其傳遞給sigmoid函數(shù)產(chǎn)生節(jié)點(diǎn)的輸出。16ppt課件.LeNet-5S4層是在C3層基礎(chǔ)上下采樣，前面已述。16LetNet-5

比特面編碼：將一個(gè)灰度圖像為8bit/像素中每個(gè)像素的第j個(gè)比特抽取出來(lái)，就得到一個(gè)稱為比特平面的二值圖像，于是圖像完全可以用一組共8個(gè)比特平面來(lái)表示，對(duì)灰度圖像的編碼轉(zhuǎn)為對(duì)比特平面的二值化方塊編碼。為此，將每個(gè)比特面分為不重疊的m×n個(gè)元素的子塊。17ppt課件.LetNet-5

比特面編碼：將一個(gè)灰度圖像為8bit/像卷積層的訓(xùn)練 layerl-1 layerlL-1層的誤差L-1層的輸出L層的誤差L層的輸入？18ppt課件.卷積層的訓(xùn)練 layerl-1 layerl卷積層的誤差傳播

19ppt課件.卷積層的誤差傳播

19ppt課件.卷積層的誤差傳播

20ppt課件.卷積層的誤差傳播

20ppt課件.卷積層的誤差傳播

卷積操作21ppt課件.卷積層的誤差傳播

卷積操作21ppt課件.卷積層filter權(quán)重梯度的計(jì)算

22ppt課件.卷積層filter權(quán)重梯度的計(jì)算

22ppt課件.卷積層filter權(quán)重梯度的計(jì)算與誤差傳播類似，相當(dāng)于l層

的誤差項(xiàng)（sensitivitymap）與l-1層的輸出項(xiàng)做卷積操作，得到卷積核（filter）的梯度

23ppt課件.卷積層filter權(quán)重梯度的計(jì)算與誤差傳播類似，相當(dāng)于l層池化層的誤差傳遞大部分池化層沒有需要訓(xùn)練的參數(shù)，只需要將誤差傳遞。以MaxPooling為例

Laye