基于BP神經(jīng)網(wǎng)絡(luò)的字符識別系統(tǒng)_圖文

1、計(jì)算機(jī)與現(xiàn)代化2009年第1期J I S UANJ I Y U X I A NDA I HUA總第161期文章編號:100622475(20090120063203收稿日期:2007205211基金項(xiàng)目:河南省自然科學(xué)基金資助項(xiàng)目(0511011500作者簡介:張可(19842,女,河南三門峽人,南京航空航天大學(xué)信息科學(xué)與技術(shù)學(xué)院碩士研究生,研究方向:圖像處理;張高燕(19872,女,河南三門峽人,北京師范大學(xué)信息科學(xué)與技術(shù)學(xué)院碩士研究生,研究方向:圖像與語音信號處理;吳蘇(19872,男,河南南陽人,哈爾濱工程大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院碩士研究生,研究方向:I nternet 應(yīng)用軟件;范海菊

2、(19792,女,河南新鄉(xiāng)人,河南師范大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院講師,研究方向:語音和圖像信號處理?；贐P 神經(jīng)網(wǎng)絡(luò)的字符識別系統(tǒng)張可1,張高燕2,吳蘇3,范海菊4(1.南京航空航天大學(xué)信息科學(xué)與技術(shù)學(xué)院,江蘇南京210016;2.北京師范大學(xué)信息科學(xué)與技術(shù)學(xué)院,北京100875;3.哈爾濱工程大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,黑龍江哈爾濱150001;4.河南師范大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院,河南新鄉(xiāng)453007摘要:基于BP 神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)了一個字符識別系統(tǒng)。首先,對字符圖像進(jìn)行二值化處理,構(gòu)造輸入向量矩陣。其次,通過選取初始權(quán)值、隱層節(jié)點(diǎn)數(shù)和權(quán)值學(xué)習(xí)算法,創(chuàng)建BP 神經(jīng)網(wǎng)絡(luò),對樣本數(shù)據(jù)進(jìn)行訓(xùn)練,之后對

3、加有噪聲的樣本再次進(jìn)行訓(xùn)練,以提高網(wǎng)絡(luò)的魯棒性。最后進(jìn)行仿真測試并制作圖形用戶界面G U I 來模擬與演示該系統(tǒng)。仿真結(jié)果顯示,該BP 網(wǎng)絡(luò)對噪聲系數(shù)小于0.8的字符識別率可達(dá)95%,且網(wǎng)絡(luò)訓(xùn)練時間可接受。關(guān)鍵詞:BP 神經(jīng)網(wǎng)絡(luò);G U I ;字符識別;魯棒性中圖分類號:TP311.52文獻(xiàn)標(biāo)識碼:ASystem of Character Recogn iti on Ba sed on Back 2propaga ti on Neura l NetworkZHANG Ke 1,Z HANG Gao 2yan 2,WU Su 3,F AN Hai 2ju4(1.College of I nf o

4、r mati on Science and Technol ogy,Nanjing University of Aer onautics and Astr onautics,Nanjing 210016,China;2.College of I nf or mati on Science and Technol ogy,Beijing Nor mal University,Beijing 100875,China;3.College of Computer Science and Technol ogy,Harbin Engineering University,Harbin 150001,C

5、hina;4.College of Computer and I nfor mati on Technol ogy,Henan Nor mal University,Xinxiang 453007,China Abstract:This article designs a character recogniti on syste m based on the Back 2Pr opagati on neural net w ork .First,the character i m age is p r ocessed in binary t o construct the input vect

6、 or matrix .Second,by choosing the initial weight,the nu mber of hide nodes and the learning algorith m of weight,a perfect BP neural net w ork is created .And then the net w ork carries on the training t o the samp le data and after wards t o the sa mp le with noise once more,t o enhance the net w

7、ork r obustness .Finally,it carries on the si m ulati on test and manufactures graphical user interface t o si m ulate and demonstrate this system.The si m ulati on result shows that the character recogniti on rate of thisBP net w ork is possible t o reach 95%with the noise fact or less than 0.8,and

8、 the training ti m e is accep table .Key words:BP neural net w ork;G U I ;character recogniti on;r obustness0引言為了解決計(jì)算機(jī)對字符的自動識別問題,使計(jì)算機(jī)達(dá)到真正智能化,人們對計(jì)算機(jī)的自動識別進(jìn)行了多年研究,并取得了很大的進(jìn)步。字符識別一般通過基于字符結(jié)構(gòu)的識別法及模板匹配法來進(jìn)行處理,前者一般更適用于字母和數(shù)字的識別;后者程序?qū)崿F(xiàn)起來比較容易,但識別精度不高。為了提高識別率,就必須尋求新的方法和途徑。近年來,BP 神經(jīng)網(wǎng)絡(luò)技術(shù)取得了巨大發(fā)展,它是一種前饋型神經(jīng)網(wǎng)絡(luò),具有64計(jì)算機(jī)與

9、現(xiàn)代化2009年第1期分布式存儲信息、并行處理信息、自組織、自學(xué)習(xí)信息等優(yōu)點(diǎn)。本文所介紹的字符識別系統(tǒng)正是借助BP 神經(jīng)網(wǎng)絡(luò)基本原理并結(jié)合Matlab 仿真軟件來實(shí)現(xiàn)的。1BP 神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)是由大量簡單的處理單元來模擬真實(shí)人腦神經(jīng)網(wǎng)絡(luò)的機(jī)構(gòu)和功能以及若干基本特性,是一個高度復(fù)雜的非線性自適應(yīng)動態(tài)處理系統(tǒng)。從系統(tǒng)觀點(diǎn)看,BP 神經(jīng)網(wǎng)絡(luò)是由大量神經(jīng)元通過極其豐富和完善的連接而構(gòu)成。由于神經(jīng)元之間有著不同的連接方式,所以組成不同結(jié)構(gòu)形態(tài)的神經(jīng)網(wǎng)絡(luò)系統(tǒng)是可能的,大致的結(jié)構(gòu)如圖1所示。 圖1神經(jīng)元模型 其中X 1,X 2,X n 為輸入信號,U i 為神經(jīng)元內(nèi)部狀態(tài),Y i 為閾值,S i 為外部輸

10、入信號,右部為輸出1。BP 神經(jīng)網(wǎng)絡(luò)的主要思想就是在確定了網(wǎng)絡(luò)結(jié)構(gòu)后,通過輸入和輸出樣本集對網(wǎng)絡(luò)進(jìn)行訓(xùn)練和學(xué)習(xí),以使網(wǎng)絡(luò)實(shí)現(xiàn)給定的輸入和輸出映射關(guān)系。BP 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程可分為兩個階段:第一個階段是輸入已知學(xué)習(xí)樣本,通過設(shè)置網(wǎng)絡(luò)結(jié)構(gòu)和前一次迭代的權(quán)值和閾值,從網(wǎng)絡(luò)的第一層向后計(jì)算各神經(jīng)元的輸出;第二階段是對權(quán)值和閾值進(jìn)行修改,從最后一層向前計(jì)算各權(quán)值和閾值對總誤差的影響,據(jù)此對各權(quán)值和閾值進(jìn)行修改2。對以上兩個過程反復(fù)交替,直到達(dá)到收斂為止。2基于BP 網(wǎng)絡(luò)的字符識別1.輸入向量和目標(biāo)向量的生成。利用Matlab 軟件對字符圖像進(jìn)行二值化處理,生成BP 神經(jīng)網(wǎng)絡(luò)的輸入向量A l phabe

11、t 和目標(biāo)向量Targets 3。其中A l phabet 為35×26的矩陣,第1列到第26列代表字符A 到Z,每個字符由35個像素組成。Targets 為26×26的單位矩陣,每個字符輸入時在26個字符中它所排順序的位置上輸出為1,而在其他位置上的輸出為0?？紤]到所設(shè)計(jì)的網(wǎng)絡(luò)應(yīng)當(dāng)具有魯棒性,本文利用Matlab 中的randn 函數(shù)產(chǎn)生隨機(jī)噪聲,并與al phabet加權(quán),生成有噪聲的輸入向量(噪聲系數(shù)可調(diào)對網(wǎng)絡(luò)進(jìn)行訓(xùn)練。2.BP 神經(jīng)網(wǎng)絡(luò)的構(gòu)建。(1初始權(quán)值的選取。初始權(quán)值直接影響網(wǎng)絡(luò)的收斂速度,初始權(quán)值若選得不好,網(wǎng)絡(luò)將處于飽和區(qū)導(dǎo)致難于收斂或陷入局部極小。選取時以

12、211之間均勻分布的隨機(jī)值較好4。(2隱層節(jié)點(diǎn)數(shù)的選取。本文選取35個輸入節(jié)點(diǎn)和26個輸出神經(jīng)元。隱層神經(jīng)元數(shù)目會對網(wǎng)絡(luò)訓(xùn)練的收斂速度、字符識別的實(shí)時性和識別效果有一定的影響。神經(jīng)元太少,會造成網(wǎng)絡(luò)的不適性,識別效果較差;太多又會引起過適性,導(dǎo)致訓(xùn)練時間過長等缺點(diǎn)。并且經(jīng)實(shí)驗(yàn)發(fā)現(xiàn),隱層節(jié)點(diǎn)數(shù)增加、迭代訓(xùn)練次數(shù)增多和網(wǎng)絡(luò)識別效果之間并不是線性關(guān)系,而是趨勢。依據(jù)實(shí)驗(yàn)經(jīng)驗(yàn),本文選取隱層節(jié)點(diǎn)數(shù)為8。在實(shí)際訓(xùn)練中,效果若不理想,可適當(dāng)增加隱層結(jié)點(diǎn)數(shù)。(3權(quán)值學(xué)習(xí)算法。BP 網(wǎng)絡(luò)對網(wǎng)絡(luò)權(quán)值的修正是沿著負(fù)梯度方向,即稱為梯度下降法。其學(xué)習(xí)算法為5:x k +1=x k -k g k(1其中k 是學(xué)習(xí)速率,

13、g k 是表現(xiàn)函數(shù)的梯度,x k 是當(dāng)前的權(quán)值矩陣。梯度下降法沒有考慮到以前積累的學(xué)習(xí)經(jīng)驗(yàn),即上一時刻的梯度方向,從而導(dǎo)致學(xué)習(xí)過程發(fā)生振蕩,收斂速度過慢,或收斂于局部極小點(diǎn)。采用雙動量的梯度下降法可以修正以上缺點(diǎn)。其算法如下:x k +1=x k -k (1-g k -g k -1+x k +1-x k (2式中:,均為動量因子。第3項(xiàng)g k -1可視為上一時刻的學(xué)習(xí)經(jīng)驗(yàn),當(dāng)與本次梯度g k 方向相同時,起加速作用,否則為阻尼項(xiàng),可減小學(xué)習(xí)過程的振蕩趨勢,從而改善收斂性,提高網(wǎng)絡(luò)的穩(wěn)定性。第4項(xiàng)對學(xué)習(xí)過程起到平滑作用從而避免收斂到局部極小。3.字符識別網(wǎng)絡(luò)的訓(xùn)練。將訓(xùn)練樣本送BP 神經(jīng)網(wǎng)絡(luò)訓(xùn)練

14、,通過在梯度方向上不斷調(diào)整權(quán)值使網(wǎng)絡(luò)平方和誤差最小。為使網(wǎng)絡(luò)對輸入向量有一定魯棒性,可先用無噪聲的樣本對網(wǎng)絡(luò)進(jìn)行訓(xùn)練,直到其平方和誤差最小,再用含噪聲的樣本進(jìn)行兩次訓(xùn)練,保證網(wǎng)絡(luò)對噪聲不敏感。同時選取不同隱層神經(jīng)元數(shù)目,觀察其收斂速度。在網(wǎng)絡(luò)訓(xùn)練后,再將其輸出經(jīng)過一層競爭網(wǎng)絡(luò)函數(shù)compet 的處理,使網(wǎng)絡(luò)只是在最接近輸入值的輸出位置為1,其余位置輸出為0。訓(xùn)練完畢,把待識別字符送BP 神經(jīng)網(wǎng)絡(luò)中進(jìn)行仿真測試。字符識別系統(tǒng)流程圖2009年第1期張可等:基于BP 神經(jīng)網(wǎng)絡(luò)的字符識別系統(tǒng)65如圖2所示。 圖2字符識別系統(tǒng)流程圖3圖形用戶界面設(shè)計(jì)為了增強(qiáng)字符識別的直觀效果,本文應(yīng)用Matlab 的圖

15、形技術(shù)來設(shè)計(jì)直觀的圖形用戶界面G U I 。它有四大優(yōu)點(diǎn):簡單易學(xué);代碼短小高效;計(jì)算功能強(qiáng)大;強(qiáng)大的圖形表達(dá)功能。而本文主要應(yīng)用它的圖形顯示功能。本文采用兩個坐標(biāo)系來分別顯示待識別的有噪聲字符圖像和識別結(jié)果,使用滑動條來改變噪聲系數(shù)大小,并觀察其對識別結(jié)果的影響。為方便對網(wǎng)絡(luò)訓(xùn)練的理解,設(shè)計(jì)了網(wǎng)絡(luò)訓(xùn)練按鈕來直觀顯示網(wǎng)絡(luò)訓(xùn)練過程,識別結(jié)果顯示在可編輯文本框中。其界面如圖3與圖4所示。 圖3字符識別系統(tǒng)界面圖4等待輸入字符4仿真結(jié)果及分析由圖5的收斂曲線可以看出,本文所建立的BP神經(jīng)網(wǎng)絡(luò)模型,其收斂速度比較快,達(dá)到了預(yù)期誤差目標(biāo)的精度,網(wǎng)絡(luò)具有較好的樣本泛化能力。 圖5訓(xùn)練收斂曲線圖6識別誤差曲

16、線經(jīng)過反復(fù)訓(xùn)練網(wǎng)絡(luò),該BP 神經(jīng)網(wǎng)絡(luò)對字符的識別精度不斷提高。由圖6可知,噪聲系數(shù)較小時識別誤差較小,隨著噪聲系數(shù)的增加,識別誤差幾乎成線性增加,且加噪聲前后誤差曲線較接近。圖7識別字符正確時的圖像圖8識別字符錯誤時的圖像加上噪聲之后的字符識別結(jié)果如圖7和圖8所示,由圖可知,當(dāng)噪聲系數(shù)小于0.8時,識別精度高,大于0.8時,識別錯誤,如圖8中字符P 被識別為R 。5結(jié)束語本文利用BP 算法完成一個基本的字符識別系統(tǒng)的模擬與演示。BP 算法的目的就是要確定加權(quán)向量,使得對已知的輸入和輸出得到最佳的匹配。BP 神經(jīng)網(wǎng)絡(luò)常用于文字符號識別、模式分類、圖像壓縮、決策支持等,也可嵌入到車牌識別系統(tǒng)中,具

17、有廣泛的應(yīng)用前景。但是,由于BP 算法實(shí)質(zhì)上是非線性系統(tǒng)的梯度算法,不能保證訓(xùn)練結(jié)果一定收斂到全局最優(yōu)解,并且極可能落到局部最優(yōu)點(diǎn)解。采用啟發(fā)式學(xué)習(xí)方法或更有效的優(yōu)化算法可以進(jìn)一步改進(jìn)BP 算法。參考文獻(xiàn):1胡守仁,余少波,戴葵.神經(jīng)網(wǎng)絡(luò)導(dǎo)論M .長沙:國防科技大學(xué)出版社,1997:1132128.2聞新,周露,李翔,等.MAT LAB 神經(jīng)網(wǎng)絡(luò)仿真與應(yīng)用M .北京:科學(xué)出版社,2003:2582284.3尹念東.BP 神經(jīng)網(wǎng)絡(luò)的應(yīng)用設(shè)計(jì)J .信息技術(shù),2003,27(6:18220.4Martin T Hagan,Howard B Demuth,Mark H Beale .神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)M .

18、戴葵,等譯.北京:機(jī)械工業(yè)出版社,2002:1222,2012226.5楊建剛.人工神經(jīng)網(wǎng)絡(luò)實(shí)用教程M .杭州:浙江大學(xué)出版社,2001:41262.6姬巧玲,漆為民,蔡維由,等.MAT LAB 7.0中改進(jìn)BP 神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)J .電腦開發(fā)與應(yīng)用,2005,18(7:22224.7吳凌云.BP 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)及其應(yīng)用J .信息技術(shù),2003,27(7:42244.8張瑞豐.精通MAT LAB 6.5M .北京:中國水利水電出社,2004:1602200.(下轉(zhuǎn)第72頁72計(jì)算機(jī)與現(xiàn)代化2009年第1期可控泛洪方式計(jì)算距離,分別需要N 、AC +AN 次數(shù)據(jù)包廣播,共需要N +AC +

19、AN 次數(shù)據(jù)包廣播,但是仍然遠(yuǎn)低于DV 2Hop 定位算法數(shù)據(jù)包的實(shí)際廣播次數(shù)2AN13。仿真實(shí)驗(yàn)還表明,安全校驗(yàn)的結(jié)果是使得大量不滿足安全校驗(yàn)關(guān)系式的節(jié)點(diǎn)將不能繼續(xù)發(fā)送數(shù)據(jù)包,直接導(dǎo)致傳感器網(wǎng)絡(luò)實(shí)際廣播次數(shù)遠(yuǎn)低于N +AC +AN 。4結(jié)束語從上述分析可以看到,相對于原始Euclidean 、DV 2Hop 定位算法和已有的Euclidean 改進(jìn)算法Hop 2Euclidean,VMHLE 不失為一種低能耗、定位精度適中、同時具有較高覆蓋度的定位算法。但是在整個定位測距過程中,VMHLE 始終要求節(jié)點(diǎn)自身具有相對較高的測距精確度,這無疑造成了傳感器節(jié)點(diǎn)自身成本以及定位代價明顯偏高,因此,將

20、來的工作重點(diǎn)在于提高傳感器制造工藝和降低工業(yè)成本或者采用精度更高的測距技術(shù)。參考文獻(xiàn): 1Ro mer Kay,Mattern Friede mann .The design s pace of wire 2less sens or w orks J .I EEE W ireless Co mmunicati ons,2004,11(6:54261.2Culler David,et al .Overvie w of sens or net w orksJ .Com 2puter,2004,37(8:41249.3Rabacy J J,AmmerM J,et al .Picor odi o su

21、pports Ad Hocultra 2l ow power wireless net w orking J .Computer,2000,33(7:42248.4王福豹,史龍,任豐原.無線傳感器網(wǎng)絡(luò)中的自身定位系統(tǒng)和算法J .軟件學(xué)報(bào),2005,16(5:8572868.5D ragos N iculescu,Badri Nath .Ad Hoc positi oning syste m(APS C /Conference Record /I EEE Gl obal Telecom 2municati ons Conference .2001,5:292622931.6D ragos N i

22、culescu,Badri Nath .DV based positi oning in AdHoc net w orks J .Telecommunicati on Syste m s,2003,22(124:2672280.7D ragos N iculescu,Nath Badri .Localized positi oning in adhoc net w orks J .Ad Hoc Net w orks,2003,1(2-3:2472259.8D ragos N iculescu .Positi oning in ad hoc sens or net w orksJ .I EEE

23、Net w ork,2004,18(4:24229.9史龍,王福豹.無線傳感器網(wǎng)絡(luò)自身定位算法研究D .西安:西北工業(yè)大學(xué)碩士論文,2005.10Ca m ill o Gentile .Sens or l ocati on thr ough linear p r ogra m 2m ing with triangle inequality constraintsC /I EEE I nter 2nati onal Conference on Communicati ons,v 5,I CC 200522005I EEE I nternati onal Conference on Communicati ons,2005:319223196.11Eqeal 2Lopez,Ponce 2marin,Vales 2A l ons o,et al .W irelesssens or net w orks with OMNET C /Pr oceedings of the Mediterranean Electr otechnical Conference 2ME LEC ON,v2006,2006I EEE Mediterranean Electr otechnical Confer 2ence,M E LECON 20062Circuits and Sys