計算機視覺與應用 課件 10.3 LeNet模型分解

10.3LeNet模型分解CONTENTS目錄LeNet模型簡介01LeNet模型結(jié)構(gòu)02Tensorflow實現(xiàn)LeNet03CONTENTS目錄LeNet模型簡介01LeNet模型結(jié)構(gòu)02Tensorflow實現(xiàn)LeNet03LeNet是一個最典型的卷積神經(jīng)網(wǎng)絡，由卷積層、池化層、全連接層組成。其中卷積層與池化層配合組成多個卷積組，逐層提取特征，最終通過若干個全連接層完成分類。LeNet模型簡介CONTENTS目錄LeNet模型簡介01LeNet模型結(jié)構(gòu)02Tensorflow實現(xiàn)LeNet03LeNet模型結(jié)構(gòu)1、結(jié)構(gòu)模型LeNet模型其結(jié)構(gòu)如圖10-3-1所示。LeNet模型結(jié)構(gòu)（1）INPUT層-輸入層利用實現(xiàn)手寫數(shù)字識別中，輸入層輸入的是尺寸統(tǒng)一歸一化為32×32的手寫體數(shù)字圖像。在每個卷積層，數(shù)據(jù)都是以三維形式存在的?？梢园阉闯稍S多個二維圖片疊在一起，其中每一個稱為一個featuremap。每個層都含有多個featuremap，每個featuremap通過一種卷積濾波器提取輸入的一種特征，然后每個featuremap有多個神經(jīng)元。LeNet模型結(jié)構(gòu)（2）C1層-卷積層C1層-卷積層的組成情況為：輸入圖片：32×32卷積核大?。?×5卷積核種類：6輸出featuremap大?。?8×28神經(jīng)元數(shù)量：28×28×6可訓練參數(shù)：（5×5+1)×6（每個濾波器5×5=25個unit參數(shù)和一個bias參數(shù)，一共6個濾波器）連接數(shù)：（5×5+1）×6×28×28=122304對輸入圖像進行第一次卷積運算（使用6個大小為5×5的卷積核），得到6個C1特征圖（6個大小為28×28的featuremaps,32-5+1=28）。卷積核的大小為5×5，總共就有6×（5×5+1）=156個參數(shù)，其中+1是表示一個核有一個bias。對于卷積層C1，C1內(nèi)的每個像素都與輸入圖像中的5×5個像素和1個bias有連接，所以總共有156×28×28=122304個連接（connection）。LeNet模型結(jié)構(gòu)（3）S2層-池化層（下采樣層）該層組成情況為：輸入：28×28采樣區(qū)域：2×2采樣方式：4個輸入相加，乘以一個可訓練參數(shù)，再加上一個可訓練偏置。結(jié)果通過sigmoid采樣種類：6輸出featureMap大小：14×14（28/2）神經(jīng)元數(shù)量：14×14×6連接數(shù)：（2×2+1）×6×14×14第一次卷積之后緊接著就是池化運算，使用2*2核進行池化，得到S2，6個14×14的特征圖（28/2=14）。S2這個pooling層是對C1中的2×2區(qū)域內(nèi)的像素求和乘以一個權(quán)值系數(shù)再加上一個偏置，然后將這個結(jié)果再做一次映射。同時有5×14×14×6=5880個連接。LeNet模型結(jié)構(gòu)（4）C3層-卷積層該層組成情況為：輸入：S2中所有6個或者幾個特征map組合卷積核大小：5×5卷積核種類：16輸出featureMap大?。?0×10(14-5+1)=10C3中的每個特征map是連接到S2中的所有6個或者幾個特征map的，表示本層的特征map是上一層提取到的特征map的不同組合存在的一個方式是：C3的前6個特征圖以S2中3個相鄰的特征圖子集為輸入。接下來6個特征圖以S2中4個相鄰特征圖子集為輸入。然后的3個以不相鄰的4個特征圖子集為輸入。最后一個將S2中所有特征圖為輸入。可訓練參數(shù)：6×(3×5×5+1)+6×(4×5×5+1)+3×(4×5×5+1)+1×(6×5×5+1)=1516。連接數(shù)：10×10×1516=151600。LeNet模型結(jié)構(gòu)（5）S4層-池化層該層組成情況為：輸入：10×10采樣區(qū)域：2×2采樣方式：4個輸入相加，乘以一個可訓練參數(shù)，再加上一個可訓練偏置。結(jié)果通過sigmoid采樣種類：16輸出featureMap大?。?×5（10/2）神經(jīng)元數(shù)量：5×5×16=400連接數(shù)：16×（5×5）=2000LeNet模型結(jié)構(gòu)（6）F6層-全連接層16層是全連接層。F6層有84個節(jié)點，對應于一個7×12的比特圖，-1表示白色，1表示黑色，這樣每個符號的比特圖的黑白色就對應于一個編碼。該層的訓練參數(shù)和連接數(shù)是(120+1)×84=10164。（7）RELU層ReLu層：激活函數(shù)層，實現(xiàn)x=max[0,x]，該層神經(jīng)元數(shù)目和上一層相同，無權(quán)值參數(shù)。LeNet模型結(jié)構(gòu)（8）Output層-全連接層2Output層也是全連接層，共有10個節(jié)點，分別代表數(shù)字0到9，且如果節(jié)點i的值為0，則網(wǎng)絡識別的結(jié)果是數(shù)字i。采用的是徑向基函數(shù)（RBF）的網(wǎng)絡連接方式。假設(shè)x是上一層的輸入，y是RBF的輸出，則RBF輸出的計算方式是：上式Wij的值由i的比特圖編碼確定，i從0到9，j取值從0到7×12-1。RBF輸出的值越接近于0，則越接近于i，即越接近于i的ASCII編碼圖，表示當前網(wǎng)絡輸入的識別結(jié)果是字符i。該層有84×10=840個參數(shù)和連接。（9）softmax層實現(xiàn)分類和歸一化。CONTENTS目錄LeNet模型簡介01LeNet模型結(jié)構(gòu)02Tensorflow實現(xiàn)LeNet03（1）導入了3個包，分別是tensorflow、input＿data以及time。importtensorflowastffromtensorflow.example.tutorials.mnistimportinput_dataimporttime（2）聲明輸入的圖片的數(shù)據(jù)和類別x=tf.placeholder('float',[None,784])y_=tf.placeholder('float',[None,10])Tensorflow實現(xiàn)LeNet（3）將一維的數(shù)組重新轉(zhuǎn)換為二維圖像矩陣：

x_image=tf.reshape(x,[-1,28,28,1])（4）第一個卷積層設(shè)置：filter1=tf.Variable(tf.truncated_normal([5,5,1,6]))bias1=tf.Variable(tf.truncated_normal([6]))conv1=tf.nn.conv2d(x_image,filter1,strides=[1,1,1,1],padding='SAME!)h_conv1=tf.nn.sigmoid(conv1+bias1)（5）第一個池化層設(shè)置：maxPoo12=tf.nn.max_pool(h_conv1,ksize=[1,2,2,11,strides=[1,2,2,1],padding='SAME')Tensorflow實現(xiàn)LeNet（6）第二個卷積層設(shè)置：filter2=tf.Variable(tf.truncatednormal([5,5,6,16]))bias2=tf.Variable(tf.truncatednormal([16]))conv2=tf.nn.conv2d(maxPoo12,filter2,strides=[1,1,1,1],padding='SAME'h_conv2=tf.nn.sigmoid(conv2+bias2)（7）第二個池化層設(shè)置：maxPoo13=tf.nn.max_poo1(h_conv2,ksize=[1,2,2,1],strides=[1,2,2,1]padding='SAME')filter3=tf.Variable(tf.truncatednormal([5,5,16,120]))bias3=tf.Variable(tf.truncatednormal([120]))conv3=tf.nn.conv2d(maxPoo13,filter3,strides=[1,1,1,1],padding='SAME'h_conv3=tf.nn.sigmoid(conv3+bias3)Tensorflow實現(xiàn)LeNet（8）第一個全連接層設(shè)置：Wfc1=tf.Variable(tf.truncatednormal([7*7*120,80]))bfc1=tf.Variable(tf.truncatednormal([80]))（9）ReLu層設(shè)置：h_poo12_flat=tf.reshape(hconv3,[-1,7*7*120])h_fc1=tf.nn.sigmoid(tf.matmul(h_pool2flat,Wfc1)+bfc1)（10）第二個全連接層設(shè)置：Wfc2=tf.Variable(tf.truncatednormal([80,10]))bfc2=tf.Variable(tf.truncatednormal([10]))Tensorflow實現(xiàn)LeNet（11）使用softmax進行多分類，并利用交叉熵作為損失函數(shù)，使用梯度下降算法來對模型