CNN卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（CNN）

1.CNN概述2.CNN的層級(jí)結(jié)構(gòu)3.卷積網(wǎng)絡(luò)工作流程4.CNN的應(yīng)用簡(jiǎn)述1.CNN概述2.CNN的層級(jí)結(jié)構(gòu)3.卷積網(wǎng)絡(luò)工作流程4.CNN的應(yīng)用簡(jiǎn)述1.概述卷積神經(jīng)網(wǎng)絡(luò)是一種特殊的深層的神經(jīng)網(wǎng)絡(luò)模型，它的特殊性體現(xiàn)在兩個(gè)方面，一方面它的神經(jīng)元間的連接是非全連接的，

另一方面同一層中某些神經(jīng)元之間的連接的權(quán)重是共享的（即相同的）。它的非全連接和權(quán)值共享的網(wǎng)絡(luò)結(jié)構(gòu)使之更類似于生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)模型的復(fù)雜度（對(duì)于很難學(xué)習(xí)的深層結(jié)構(gòu)來(lái)說(shuō)，這是非常重要的），減少了權(quán)值的數(shù)量。

回想一下BP神經(jīng)網(wǎng)絡(luò)。BP網(wǎng)絡(luò)每一層節(jié)點(diǎn)是一個(gè)線性的一維排列狀態(tài)，層與層的網(wǎng)絡(luò)節(jié)點(diǎn)之間是全連接的。這樣設(shè)想一下，如果BP網(wǎng)絡(luò)中層與層之間的節(jié)點(diǎn)連接不再是全連接，而是局部連接的。這樣，就是一種最簡(jiǎn)單的一維卷積網(wǎng)絡(luò)。1.CNN概述2.CNN的層級(jí)結(jié)構(gòu)3.卷積網(wǎng)絡(luò)工作流程4.CNN的應(yīng)用簡(jiǎn)述2.卷積神經(jīng)網(wǎng)絡(luò)的層級(jí)結(jié)構(gòu) ?輸入層:用于數(shù)據(jù)的輸入。

?卷積層:使用卷積核進(jìn)行特征提取和特征映射。

?池化層:進(jìn)行下采樣，對(duì)特征圖稀疏處理，減少數(shù)據(jù)運(yùn)算量。

?激勵(lì)層:由于卷積也是一種線性運(yùn)算，因此需要增加非線性映射。 ?全連接層:通常在CNN的尾部進(jìn)行重新擬合，減少特征信息的損失。輸入層該層要做的主要是對(duì)原始圖像數(shù)據(jù)進(jìn)行預(yù)處理，其中包括：?去均值?歸一化?PCA?白化PCA是指通過(guò)拋棄攜帶信息量較少的維度，保留主要的特征信息來(lái)對(duì)數(shù)據(jù)進(jìn)行降維處理，思路上是使用少數(shù)幾個(gè)有代表性、互不相關(guān)的特征來(lái)代替原先的大量的、存在一定相關(guān)性的特征，從而加速機(jī)器學(xué)習(xí)進(jìn)程。PCA可用于特征提取，數(shù)據(jù)壓縮，去噪聲，降維等操作。

白化的目的是去掉數(shù)據(jù)之間的相關(guān)聯(lián)度和令方差均一化，由于圖像中相鄰像素之間具有很強(qiáng)的相關(guān)性，所以用于訓(xùn)練時(shí)很多輸入是冗余的。這時(shí)候去相關(guān)的操作就可以采用白化操作，從而使得:

1.減少特征之間的相關(guān)性2.特征具有相同的方差卷積層在卷積層中定義一個(gè)權(quán)值矩陣，用于提取來(lái)自輸入層圖像中的特征。輸出維度下面了解輸出尺寸的問(wèn)題。有三個(gè)超參數(shù)可以控制輸出的大小。1.

過(guò)濾器數(shù)量-激活圖的深度等于過(guò)濾器的數(shù)量。2.步幅（Stride）-如果步幅是

1，那么我們處理圖片的精細(xì)度就進(jìn)入單像素級(jí)別了。更高的步幅意味著同時(shí)處理更多的像素，從而產(chǎn)生較小的輸出量。3.

零填充（zero

padding）-這有助于我們保留輸入圖像的尺寸。如果添加了單零填充，則單步幅過(guò)濾器的運(yùn)動(dòng)會(huì)保持在原圖尺寸。我們可以用一個(gè)公式來(lái)計(jì)算輸出尺寸。輸出圖像的空間尺寸可以計(jì)算為（[W-F

+

2P]

/

S）+1。在這里，W

是輸入尺寸，F(xiàn)

是過(guò)濾器的尺寸，P

是填充數(shù)量，S

是步幅數(shù)字。假如我們有一張

32*32*3

的輸入圖像，我們使用

10

個(gè)尺寸為

3*3*3

的過(guò)濾器，單步幅和零填充。那么

W=32，F(xiàn)=3，P=0，S=1。輸出深度等于應(yīng)用的濾波器的數(shù)量，即

10，輸出尺寸大小為

([32-3+0]/1)+1

=

30。因此輸出尺寸是

30*30*10。池化層也叫下采樣層。該層的功能是對(duì)輸入的特征圖進(jìn)行壓縮，簡(jiǎn)化網(wǎng)絡(luò)計(jì)算復(fù)雜度。一般有兩種計(jì)算方式：Maxpooling：取“池化視野”矩陣中的最大值A(chǔ)veragepooling：取“池化視野”矩陣中的平均值激勵(lì)層激勵(lì)層主要對(duì)卷積層的輸出進(jìn)行一個(gè)非線性映射，因?yàn)榫矸e層的計(jì)算還是一種線性計(jì)算。使用的激勵(lì)函數(shù)一般為ReLU函數(shù)：f(x)=max(x,0)全連接層全連接層的參數(shù)很多。前向計(jì)算過(guò)程，是一個(gè)線性的加權(quán)求和的過(guò)程，全連接層的每一個(gè)輸出都可以看成前一層的每一個(gè)結(jié)點(diǎn)乘以一個(gè)權(quán)重系數(shù)W，最后加上一個(gè)偏置值b得到。其中，x1、x2、x3為全連接層的輸入，a1、a2、a3為輸出。接下來(lái)就可以通過(guò)BP反向傳播進(jìn)行訓(xùn)練了。1.CNN概述2.CNN的層級(jí)結(jié)構(gòu)3.卷積網(wǎng)絡(luò)工作流程4.CNN的應(yīng)用簡(jiǎn)述3.卷積網(wǎng)絡(luò)工作流程1.CNN概述2.CNN的層級(jí)結(jié)構(gòu)3.卷積網(wǎng)絡(luò)工作流程4.CNN的應(yīng)用簡(jiǎn)述4.CNN的應(yīng)用簡(jiǎn)述卷積神經(jīng)網(wǎng)絡(luò)包括一維卷積神經(jīng)網(wǎng)