卷積神經(jīng)網(wǎng)絡(luò)

1、深度學(xué)習(xí)之深度學(xué)習(xí)之概述12網(wǎng)絡(luò)結(jié)構(gòu)特點34研究方法目目 錄錄CONTENTS概述1網(wǎng)絡(luò)結(jié)構(gòu)3特點42研究方法概述概述Background20世紀(jì)60年代，Hubel和Wiesel在研究貓腦皮層中用于局部敏感和方向選擇的神經(jīng)元時發(fā)現(xiàn)其獨特的網(wǎng)絡(luò)結(jié)構(gòu)可以有效地降低反饋神經(jīng)網(wǎng)絡(luò)的復(fù)雜性，繼而提出了卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks-簡稱CNN）。概述概述Background概述1網(wǎng)絡(luò)結(jié)構(gòu)3特點42研究方法研究方法研究方法ResearchMethodBP與CNN研究方法研究方法ResearchMethod全連接與局部連接CNN與標(biāo)準(zhǔn)的BP最大的不同是：CNN中相

2、鄰層之間的神經(jīng)單元并不是全連接，而是部分連接，也就是某個神經(jīng)單元的感知區(qū)域來自于上層的部分神經(jīng)單元，而不是像BP那樣與所有的神經(jīng)單元相連接。二維空間上的局部接受域使得神經(jīng)網(wǎng)絡(luò)可以從輸入圖像中提取初級視覺特征，如特定角度的邊緣，端點和拐角等。 權(quán)值共享迫使那些共享同一組權(quán)值的神經(jīng)元在輸入的不同位置檢測同一種特征。卷積神經(jīng)網(wǎng)絡(luò)把每層共享相同權(quán)值的神經(jīng)元組織成一個二維平面，稱為特征圖(Feature Map)，局部接受域和權(quán)值共享研究方法研究方法ResearchMethod輸出的結(jié)構(gòu)的基礎(chǔ)上在特征圖的不同位置的值進行統(tǒng)計操作，在保留特征的顯著性的同時降低參數(shù)規(guī)模。使用統(tǒng)計后的結(jié)果代替原來特征圖上對應(yīng)

3、的值作為輸出，這個操作過程就被稱之為池化操作。一般分為兩種，平均池化、最大池化和隨機池化。池化操作研究方法研究方法ResearchMethod概述1網(wǎng)絡(luò)結(jié)構(gòu)3特點42研究方法網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)NetworkStructureCNN一般采用卷積層與采樣層交替設(shè)置，即一層卷積層接一層采樣層，采樣層后接一層卷積.這樣卷積層提取出特征，再進行組合形成更抽象的特征，最后形成對圖片對象的描述特征，CNN后面還可以跟全連接層，全連接層跟BP一樣。結(jié)構(gòu)示意圖網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)NetworkStructure網(wǎng)絡(luò)初始化CNN的初始化主要是初始化卷積層和輸出層的卷積核（權(quán)重）和偏置，對卷積核和權(quán)重進行隨機初始化，而對

4、偏置進行全0初始化。輸入層：輸入層沒有輸入值，只有一個輸出向量，這個向量的大小就是圖片的大小，即一個32*32矩陣卷積核大小為2*2，上一層的特征map大小為4*4，用這個卷積在圖片上滾一遍，放到上面逐個移動，得到一個一個(4-2+1)*（4-2+1）=3*3的特征map，卷積核每次移動一步。卷積層網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)NetworkStructure卷積層C3網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)NetworkStructureC3的前6個特征圖以S2中3個相鄰的特征圖子集為輸入。接下來6個特征圖以S2中4個相鄰特征圖子集為輸入。然后的3個以不相鄰的4個特征圖子集為輸入。最后一個將S2中所有特征圖為輸入。這樣C3層有1

5、516個可訓(xùn)練參數(shù)和151600個連接。15165*5*（6*3+6*4+3*4+6）+16卷積層的每一個特征map是不同的卷積核在前一層要求的map上作卷積并將對應(yīng)元素累加后加一個偏置，再求sigmod得到的。 采樣層是對上一層map的一個采樣處理，區(qū)域大小為scale*scale，有些實現(xiàn)是取小區(qū)域的最大值。如，采用2*2小區(qū)域的均值。注意，卷積的計算窗口是有重疊的，而采用的計算窗口沒有重疊，卷積核是2*2，每個元素都是1/4，去掉計算得到的卷積結(jié)果中有重疊的部分。采樣層網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)NetworkStructure反向傳輸過程是CNN最復(fù)雜的地方，雖然從宏觀上來看基本思想跟BP一樣，都

6、是通過最小化殘差來調(diào)整權(quán)重和偏置，但CNN的網(wǎng)絡(luò)結(jié)構(gòu)并不像BP那樣單一，對不同的結(jié)構(gòu)處理方式不一樣，而且因為權(quán)重共享，使得計算殘差變得很困難反向傳輸調(diào)整權(quán)重網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)NetworkStructure和BP一樣，CNN的輸出層的殘差與中間層的殘差計算方式不同，輸出層的殘差是輸出值與類標(biāo)值得誤差值，而中間各層的殘差來源于下一層的殘差的加權(quán)和。輸出層的殘差計算如下：反向傳輸調(diào)整權(quán)重網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)NetworkStructure輸出層的殘差采樣層（L+1）的map大小是卷積層L的1/（scale*scale），scale取2，卷積層L的某個map中的4個神經(jīng)元與L+1層對應(yīng)map的一個神經(jīng)元關(guān)

7、聯(lián)，可以對采樣層的殘差與一個scale*scale的全1矩陣進行克羅內(nèi)克積進行擴充，使得采樣層的殘差的維度與上一層的輸出map的維度一致反向傳輸調(diào)整權(quán)重網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)NetworkStructure下一層為采樣層的卷積層的殘差反向傳輸調(diào)整權(quán)重網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)NetworkStructure下一層為采樣層的卷積層的殘差反向傳輸調(diào)整權(quán)重網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)NetworkStructure下一層為卷積層的采樣層的殘差采樣層到卷積層直接的連接是有權(quán)重和偏置參數(shù)的，因此比較復(fù)雜，這里不再贅述。概述1網(wǎng)絡(luò)結(jié)構(gòu)3特點42研究方法特點特點Characters（1）卷積神經(jīng)網(wǎng)絡(luò)對幾何變換、形變、光照具有一定程度的不變性。（2）訓(xùn)練過的卷積神經(jīng)網(wǎng)絡(luò)可以用較小的計算代價掃描整幅待檢測圖像，因此，被廣泛應(yīng)用于目標(biāo)檢測。優(yōu)點特點特點Characters實踐中，具有類標(biāo)號的數(shù)據(jù)較少，而不具有類標(biāo)號的數(shù)據(jù)非常