智能控制簡明教程第6章卷積神經(jīng)網(wǎng)絡(luò)

第六章卷積神經(jīng)網(wǎng)絡(luò)

Convolutionalneuralnetwork卷積神經(jīng)網(wǎng)絡(luò)南京航空航天大學(xué)NanjingUniversityofAeronauticsandAstronautics卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)的基本概念1卷積神經(jīng)網(wǎng)絡(luò)的操作2典型的卷積神經(jīng)網(wǎng)絡(luò)3卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用4南京航空航天大學(xué)NanjingUniversityofAeronauticsandAstronautics1.卷積神經(jīng)網(wǎng)絡(luò)的基本概念

神經(jīng)網(wǎng)絡(luò)(NeualNetworks)是人工智能研究領(lǐng)域的一部分，當前最流行的神經(jīng)網(wǎng)絡(luò)是深度卷積神經(jīng)網(wǎng)絡(luò)(DeepConvolutionalNeuralNetworks,CNNs)。卷積神經(jīng)網(wǎng)絡(luò)，一般都指深層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，層數(shù)從”幾層“到”幾十上百“不定。應(yīng)用:語音識別，圖像識別，圖像分割，自然語言處理等。

由卷積(convolution),

激活(activation),

池化(pooling)三種結(jié)構(gòu)組成。南京航空航天大學(xué)NanjingUniversityofAeronauticsandAstronautics1.卷積神經(jīng)網(wǎng)絡(luò)的基本概念

對于實數(shù)域上的兩個可積函數(shù)

和兩者的卷積運算可表示為

（1）卷積運算南京航空航天大學(xué)NanjingUniversityofAeronauticsandAstronautics2.1（2）輸入層輸入層嚴格意義上并不屬于卷積結(jié)構(gòu)，它的作用是對輸入網(wǎng)絡(luò)的數(shù)據(jù)圖像進行預(yù)處理，即在這一層完成圖像增強、歸一化、標準化等操作。（3）卷積層

卷積層作為主干層級結(jié)構(gòu)，通過卷積核和圖像之間卷積操作，實現(xiàn)特征圖的提取，隨著層級的加深，提取的特征越高級。1.卷積神經(jīng)網(wǎng)絡(luò)的基本概念在卷積層中，卷積操作是按一定大小、步長滑動的卷積核來對局部的數(shù)據(jù)進行加權(quán)求和，并將計算得到的結(jié)果保存在對應(yīng)位置，一般簡單的特征只需要幾層卷積層，而較為復(fù)雜的特征則需要使用更深的卷積層。2.卷積神經(jīng)網(wǎng)絡(luò)的操作（1）卷積操作通常，卷積核為方形，以便實現(xiàn)兩個維度上的等比例采樣。設(shè)卷積網(wǎng)絡(luò)的輸入圖像大小為，卷積核的大小為，步長為，補零數(shù)為。經(jīng)過卷積運算后輸出圖像的大小為（1）卷積操作，，，對一輸入圖像進行卷積操作，獲取其輸出（1）卷積操作（2）池化操作池化層是一種特殊的卷積層，主要作用是通過壓縮圖像（特征圖）來減少訓(xùn)練參數(shù)量。在進行特征壓縮的同時，也能提取具有尺度不變性的主要特征。通常，池化核為方形，以便實現(xiàn)兩個維度上的等比例采樣。設(shè)卷積網(wǎng)絡(luò)的輸入圖像大小為，池化核的大小為，步長為。池化層常采用最大池化層（maxpooling）和平均池化層（meanpooling）最大池化層平均池化層（2）池化操作（3）全連接層全連接層用于構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)的輸出網(wǎng)絡(luò)將前一卷積層（池化層）得到的二維矩陣壓平為一維向量（4）激活函數(shù)層（5）

抑制過擬合Dropout在前向傳播時，設(shè)置一定的概率，使得某些神經(jīng)元停止工作，從而達到提高模型泛化能力的目的，同時減少參數(shù)的訓(xùn)練時間。神經(jīng)元的失活概率設(shè)為0.5。將網(wǎng)絡(luò)中50%的神經(jīng)元使用隨機的方法刪除掉，并且在刪除的同時保持輸入輸出層的神經(jīng)元個數(shù)不發(fā)生變化。Dropout前Dropout后（6）卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練3.典型卷積神經(jīng)網(wǎng)絡(luò)(1)Le