基于BP神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識別資料

基于BP神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識別資料第1頁/共19頁內(nèi)容1234背景介紹神經(jīng)網(wǎng)絡(luò)分類器設(shè)計實例講解小結(jié)第2頁/共19頁手寫數(shù)字識別是光學(xué)字符識別技術(shù)（OCR）的一個分支,研究如何利用計算機自動辨認(rèn)手寫在紙張上的數(shù)字。手寫體數(shù)字的隨意性很大,字體大小、傾斜、筆畫的粗細(xì)等都會對識別結(jié)果造成影響。下面是一些樣例：研究背景第3頁/共19頁圖像標(biāo)準(zhǔn)化處理輸入：白底黑字的二值圖像

處理辦法：把圖像中每10*10的點進(jìn)行劃分相加，進(jìn)行相加成一個點,統(tǒng)計每個小區(qū)域中圖像象素所占百分比作為特征數(shù)據(jù)輸出：5*7=35個網(wǎng)格特征待測圖片標(biāo)準(zhǔn)化第4頁/共19頁

人工神經(jīng)網(wǎng)絡(luò)概況人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetworks，ANN)：簡稱神經(jīng)網(wǎng)絡(luò)。模擬人腦神經(jīng)細(xì)胞的工作特點：與目前按串行安排程序指令的計算機結(jié)構(gòu)截然不同。*單元間的廣泛連接；*并行分布式的信息存貯與處理；*自適應(yīng)的學(xué)習(xí)能力等。第5頁/共19頁人工神經(jīng)元人工神經(jīng)元：生物神經(jīng)元的簡化模擬。人工神經(jīng)元間的互連：信息傳遞路徑軸突-突觸-樹突的簡化；連接的權(quán)值：兩個互連的神經(jīng)元之間相互作用的強弱。人工神經(jīng)元模型接收的信息(其它神經(jīng)元的輸出)

互連強度作比較的閾值n維輸入向量X

輸出激活函數(shù)第6頁/共19頁神經(jīng)元的動作：激活函數(shù)f：

閾值型S型分段線性型輸出值：設(shè)，點積形式：式中，第7頁/共19頁BP神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)：1、BP神經(jīng)網(wǎng)絡(luò)具有三層或三層以上的多層神經(jīng)網(wǎng)絡(luò)2、每一層都由若干個神經(jīng)元組成3、左右各層之間神經(jīng)元實現(xiàn)全連接，同層神經(jīng)元無連接第8頁/共19頁

神經(jīng)網(wǎng)絡(luò)之梯度下降法確定參數(shù)1、輸入向量X=[X1,X2,X3,...,Xn]2、輸出向量Y=[Y1,Y2,Y3,...,Yn]

希望輸出向量O=[O1,O2,O3,...,On]3、隱含層輸出向量B=[b1,b2,b3,...,bp]T4、輸入層到隱含層權(quán)值Wji=[wj1,wj2,...,wjt,...,wjn]5、隱含層到輸出層權(quán)值Vkj=[vk1,vk2,...,vkj...,vkp]第9頁/共19頁輸入模式順傳播：1、計算隱含層各神經(jīng)元的激活值

激活函數(shù)采用S型函數(shù)，即

2、隱含層j單元的輸出值

同理，可以求得輸出端的激活值和輸出值

神經(jīng)網(wǎng)絡(luò)之梯度下降法第10頁/共19頁3、計算輸出層第k個單元的激活值4、計算輸出層第k個單元的實際輸出值輸入模式順傳播：

神經(jīng)網(wǎng)絡(luò)之梯度下降法第11頁/共19頁輸出誤差的逆?zhèn)鞑ィ?、輸出層的校正誤差

2、隱含層各單元校正誤差3、連接權(quán)值以及校正量

神經(jīng)網(wǎng)絡(luò)之梯度下降法第12頁/共19頁循環(huán)記憶訓(xùn)練：為了讓網(wǎng)絡(luò)的輸出誤差趨于極小值，一般需要進(jìn)行數(shù)百次甚至上萬次循環(huán)記憶，不斷的反復(fù)循環(huán)上面介紹的步驟

神經(jīng)網(wǎng)絡(luò)之梯度下降法第13頁/共19頁實例詳解圖片庫mnist樣例:(0~9)500*(28*28)待測試圖片：第14頁/共19頁實例詳解1第15頁/共19頁實例詳解2第16頁/共19頁小結(jié)1、神經(jīng)網(wǎng)絡(luò)可以有效對手寫數(shù)字進(jìn)行分類2、需要盡可能的