cnn論文總結(jié).docx

CNN論文總結(jié)1、 基于卷積神經(jīng)網(wǎng)絡(luò)的深度學習算法與應用研究 1、CNN整體框架2、 三種對LE-NET5改進方法 2.1.12.1.22.1.32、 CNN在交通標示識別中的應用2.1原始圖像預處理（三種方法）其中CLAHE的效果更好2.2 CNN與MLP結(jié)合2.3 構(gòu)建多列深度卷積神經(jīng)網(wǎng)絡(luò)（MCDNN）Adaboost+DNN=MCDNN3 本篇論文總結(jié)2、 基于卷積神經(jīng)網(wǎng)絡(luò)的交通標識識別研究與應用三基于卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測和性別識別研究四、基于卷積神經(jīng)網(wǎng)絡(luò)的目標跟蹤算法研究與實現(xiàn)五、基于CNN的字符識別方法研究六、改進的卷積神經(jīng)網(wǎng)絡(luò)模型及其應用研究1、選用基于稀疏MAXOUT激勵函數(shù)，解決了激勵函數(shù)選擇困難的問題。（maxout與dropout結(jié)合效果最好， Dropout是指在模型訓練時隨機讓網(wǎng)絡(luò)某些隱含層節(jié)點的權(quán)重不工作，不工作的那些節(jié)點可以暫時認為不是網(wǎng)絡(luò)結(jié)構(gòu)的一部分，但是它的權(quán)重得保留下來（只是暫時不更新而已），因為下次樣本輸入時它可能又得工作了，可以看出使用Dropout后，雖然訓練樣本的錯誤率較高，但是訓練樣本的錯誤率降低了，說明Dropout的泛化能力不錯，可以防止過擬合）2、3、 卷積神經(jīng)網(wǎng)絡(luò)的監(jiān)督學習4、 稀疏maxout激勵函數(shù)利用ReLU函數(shù)給maxout函數(shù)帶來稀疏性。5、 基于k-means的無監(jiān)督卷積神經(jīng)網(wǎng)絡(luò)其實差距并不大，而且無監(jiān)督的正確率要低于監(jiān)督學習。七、基于卷積神經(jīng)網(wǎng)絡(luò)的場景理解方法研究CNN原理C1層：輸入圖片大?。?32*32卷積窗大?。?5*5卷積窗種類： 6輸出特征圖數(shù)量： 6輸出特征圖的大?。?28*28（步長為1,32-5+1）神經(jīng)元數(shù)量： 4704（28*28*6）可訓練參數(shù)： 156（5*5+1）*6）每個過濾器5*5個unit參數(shù)和一個bias參數(shù)連接數(shù)： 122304（156*28*28）卷積運算一個重要的特點就是，通過卷積運算，可以使原信號特征增強，并且降低噪音。S2層：輸入圖片大?。?28*28*6卷積窗大?。?2*2卷積窗種類： 6輸出下采樣圖數(shù)量： 6輸出下采樣圖的大小： 14*14*6神經(jīng)元數(shù)量： 1176（14*14*6）可訓練參數(shù)： 12連接數(shù)： 5580 （4+1）*14*14*6）S2層是一個下采樣層，特征圖中的每個單元與C1中相對應特征圖的2*2鄰域相連接。S2層每個單元的4個輸入相加，乘以一個可訓練參數(shù)，再加上一個可訓練偏置，結(jié)果通過sigmoid函數(shù)計算。因為每個單元的2*2感受野并不重疊，因此S2中每個特征圖的大小是C1中特征圖大小的1/4.卷積和下采樣層總結(jié)：卷積過程： 用一個可訓練濾波器fx去卷積一個輸入的圖像，然后加上一個偏置bx，得到卷積層Cx。子采樣過程：每個鄰域四個像素求和變?yōu)橐粋€像素，然后通過標量Wx+1加權(quán)，再增加偏置bx+1，然后通過一個sigmoid激活函數(shù)，產(chǎn)生一個大概縮小四倍的特征映射圖Sx+1。C3層：輸入圖片大?。?14*14*6卷積窗大小： 5*5卷積窗種類： 16輸出特征圖數(shù)量： 16輸出特征圖的大?。?10*10神經(jīng)元數(shù)量： 1600（10*10*6）可訓練參數(shù)： 1516（6*（3*25+1）+6*（4*25+1）+3*（4*25+1）+（25*6+1）=1516）連接數(shù)： 151600（1516*10*10）（部分連接：1、不完全的連接機制將連接的數(shù)量控制在合理的范圍內(nèi)。2、破壞網(wǎng)絡(luò)的對稱性。由于不同的特征圖有不同的輸入，所以迫使他們抽取不同的特征（希望是互補的）。分析C3層：因為S2是多層，所以需要按照一定的規(guī)則組合這些層。S4層：輸入圖片大小： 16*5*5卷積窗大?。?2*2卷積窗種類： 16輸出下采樣圖數(shù)量： 16輸出下采樣圖的大?。?120神經(jīng)元數(shù)量： 400（16*5*5）可訓練參數(shù)： 32（16*（1+1）連接數(shù)： 2000 （4+1）*400）。C5層是一個卷積層，有120個特征圖。每個單元與S4層的全部16個單元的5*5鄰域相連。由于S4層特征圖的大小也為5*5（同濾波器一樣），故C5特征圖的大小為1*1：這構(gòu)成了S4和C5之間的全連接。之所以仍將C5標示為卷積層而非全相聯(lián)層，是因為如果LeNet-5的輸入變大，而其他的保持不變，那么此時特征圖的維數(shù)就會比1*1大。C5層有48120個可訓練連接。120*(16*5*5+1)=48120。 F6層有84個單元（之所以選這個數(shù)字的原因來自于輸出層的設(shè)計），與C5層全相連。有10164個可訓練參數(shù)。如同經(jīng)典神經(jīng)網(wǎng)絡(luò)，F(xiàn)6層計算輸入向量和權(quán)重向量之間的點積，再加上一個偏置。然后將其傳遞給sigmoid函數(shù)產(chǎn)生單元i的一個狀態(tài)。84*(120*(1+1)+1)=10164.。最后，輸出層由歐式徑向基函數(shù)（Euclidean Radial Basis Function）單元組成，每類一個單元，每個有84個輸入。二、訓練過程：在開始訓練之前，所有的權(quán)都應該用一些不同的小隨機數(shù)進行初始化?！靶‰S機數(shù)”用來保證網(wǎng)絡(luò)不會因權(quán)值過大而進入飽和狀態(tài)，從而導致訓練失??；“不同”用來保證網(wǎng)絡(luò)可以正常的學習訓練方法分為4步第一階段，向前傳播階段：a）從樣本集中取一個樣本(X,Yp)，將X輸入網(wǎng)絡(luò)；b） 計算相應的實際輸出Op。在此階段，信息從輸入層經(jīng)過逐級的變換，傳送到輸出層。這個過程也是網(wǎng)絡(luò)在完成訓練后正常運行時執(zhí)行的過程。在此過程中，網(wǎng)絡(luò)執(zhí)行的是計算（實際上就是輸入與每層的權(quán)值矩陣相點乘，得到最后的輸出結(jié)果