基于卷積神經(jīng)網(wǎng)絡的車牌照字符識別研究

1、第十二屆全國圖象圖形學學術會議基于卷積神經(jīng)網(wǎng)絡的車牌照字符識別研究陸璐 張旭東 趙瑩 高雋臺肥工業(yè)大學計算機學院圖像與信息處理研究室合肥230009:lulu2120163conl摘要:針對傳統(tǒng)車牌識別算法中字符識別率偏低的缺點,本文采用基于卷積神經(jīng)網(wǎng)絡的議別方法,通過對車牌字符圖像的 樣本學習,優(yōu)化神經(jīng)網(wǎng)絡每層的權值參數(shù),從而在很大程度上提高車牌的字符識別率。仿真結果表明,采用卷積神經(jīng)網(wǎng)絡的 識別方法對車牌照中的字符進行識別,正確識別牢可以到達99%,識別率和抗干擾性明顯優(yōu)于其他識別方法.關鍵詞:卷積神經(jīng)網(wǎng)絡字符識別率樣本學習The Vehicle License Plate Charact

2、er Recognition Using Convolutional Neural NetwoksLu lu,Zhang Xu-dong,Zhao Ying,Gao Jun(School ofcomputer andinformation,HefeiUmvcrsity ofTcchnology,Hefei,230009;lulu212163cort3Abstract:In allusionthe low character recognition rate in the traditional recogmtion tasks ofvehicle license.the paper propo

3、ses a new recognition method using Convolutional Neural Networks.After the leaming of character samples,the parameters of the Network are optimized and the recognition rate is improved greatly.Test shows that the correct character recognition rate can reach 99pereent by using this method,far better

4、than the traditional methodsKey words:Convolutional Neural Networks,character recognition rate,samples learning1引言隨著現(xiàn)代交通的迅猛發(fā)展,車牌自動識別技術 在現(xiàn)實生活中逐漸得以廣泛應用,成為計算機視覺 與模式識別技術在智能交通領域應用的重要研究 課題之一。傳統(tǒng)的識別方法如邏輯特征法,統(tǒng)計模式法, 模糊模式法,句法結構法等都能進行車牌識別。邏 輯特征法對需通過眾多規(guī)則的推理達到識別目標的 問題,有很好的效果,但當樣品有缺損,背景不清 晰,規(guī)則不明確甚至有歧義時,效果不好;統(tǒng)計模 式法

5、比較成熟,能考慮到干擾、噪聲等影響,識別 模式類型能力強,但難以描述模式的性質(zhì),難以從 整體角度考慮識別問題:模糊模式具有相當強的抗 干擾、抗畸變能力,允許樣品有相當程度的干擾與 畸變,但其準確合理的隸屬度函數(shù)往往難以建立; 句法結構法采用規(guī)則和文法來表達模式類別和判別 條件,對圖像畸變的抗干擾能力較強,但當存在十 擾及噪盧時,抽取基元困難,且易失誤。人工神經(jīng) 網(wǎng)絡所具有的非線性特性、大量的并行分布結構以 及學習和歸納能力使其在諸如建模、時間序列分析、 模式識別、信號處理以及控制等方面得到廣泛的應 用。尤其而對缺少物理或統(tǒng)計理解、觀察數(shù)據(jù)中存 在著統(tǒng)計變化等棘手問題,神經(jīng)網(wǎng)絡能夠提供較為基金項

6、目:國家自然科學基金項目(60375011、安徽省優(yōu)秀青年科技基金(04042044和安徽省重點科研項目(03021012 第一作者簡介:陸璐(1982一,女,碩七研究生,主要研究方向智能信息處理。陸璐等:基于卷襁神經(jīng)網(wǎng)絡的車牌照字符識別研究有效的解決方法。】。卷積神經(jīng)網(wǎng)絡是為識別二維形 狀而特殊設計的一個多層感知器。它具有一些傳 統(tǒng)技術所沒有的優(yōu)點:良好的容錯能力、并行處 理能力和自學習能力,可處理環(huán)境信息復雜,背 景知識不清楚,推理規(guī)則不明確情況下的問題, 允許樣品有較大的缺損、畸變,運行速度快,自 適應性能好,具有較高的分辨率。本文將卷積神 經(jīng)網(wǎng)絡應用于車牌照字符的識別,實驗證明了該 方

7、法是有效可行的。2卷積神經(jīng)網(wǎng)絡卷積神經(jīng)網(wǎng)絡是近年發(fā)展起來,并引起廣泛 重視的一種高效識別方法。20世紀60年代,Hubel 和Wiesel在研究貓腦皮層中用于局部敏感和方 向選擇的神經(jīng)元時發(fā)現(xiàn)其獨特的網(wǎng)絡結構HJ阻有 效地降低反饋神經(jīng)網(wǎng)絡的復雜件,繼而提出了卷 積神經(jīng)網(wǎng)絡(Convolutional Neural Networks一簡稱 CNN14J?，F(xiàn)在,CNN已經(jīng)成為眾多科學領域的 研究熱點之一,特別是在模式分類領域,由于該 網(wǎng)絡避免了劉圖像的復雜前期預處理,可以直接 輸入原始圖像,因而得到了更為廣泛的應用。 K Fukushima在1980年提出的新t別機是卷積神 經(jīng)網(wǎng)絡的第一個實現(xiàn)嘲絡

8、。隨后,更多的科研工 作者對該網(wǎng)絡進行了改進。其中,具有代表性的 研究成果是Mexander和Taylor提出的“改進認 知機”,該方法綜合了各種改進方法的優(yōu)點并避免 ,耗時的誤差反向傳播。一般地,CNN的基本結構包括兩層,其一為 特征提取層,每個神經(jīng)元的輸入與前一層的局部 接受域相連,并提取該局部的特征。一旦該局部 特征被提取后,它與其它特征問的位置關系也隨 之確定下來;其二是特征映射層,嘲絡的每個計 算層由多個特征映射組成,每個特征映射是一個 平面,平面上所有神經(jīng)元的權值相等。特征映射 結構采用影響函數(shù)核小的sigmoid函數(shù)作為卷積 網(wǎng)絡的激活函數(shù),使得特征映射具有位移不變性。 此外,由

9、于一個映射面上的神經(jīng)元共享權值,因 而減少了網(wǎng)絡自由參數(shù)的個數(shù)。卷積神經(jīng)網(wǎng)絡中 的每一個卷積層都緊跟著一個用來求局部平均與 二次提取的計算層,這種特有的兩次特征提取結 構減小了特征分辨率。CNN主要用來識別位移、縮放及其他形式扭 曲不變性的二維圖形。 由于CNN的特征檢測層 通過訓練數(shù)據(jù)進行學習,所以在使用CNN時, 避免了顯示的特征抽取,而隱式地從訓練數(shù)據(jù)中 進行學習151;再者由于同一特征映射面上的神經(jīng) 元權值相同,所以網(wǎng)絡可以并行學習,這也是卷 積網(wǎng)絡相對于神經(jīng)元彼此相連網(wǎng)絡的一大優(yōu)勢。 卷積神經(jīng)網(wǎng)絡以其局部權值共享的特殊結構在語 音識別和圖像處理方面有著獨特的優(yōu)越性,其布 局更接近于實

10、際的生物神經(jīng)網(wǎng)絡,權值共享降低 了網(wǎng)絡的復雜性,特別是多維輸入向量的圖像町 以直接輸入剛絡這一特點避免了特征提取和分類 過程中數(shù)據(jù)重建的復雜度。3車牌字符識別系統(tǒng)一個完整的車牌自動識別系統(tǒng)主要包括圖像 采集與預處理、車牌定位與寧符分割、字符識別 幾個模塊喇,如圖I所示。i戮_一磊五r+豸麗L+疊 圖1車牌自動識別系統(tǒng)框圖(The vehicle license plate recognition system圖1中,圖像采集與預處理模塊對動態(tài)采集 到的圖像進行處理,以克服噪聲干擾,改善識別 效果,主要包括圖像增強以濾除噪聲、校正不均 勻光照,增強對比度使圖像具有可辨性以及對車 牌的傾斜校正便于

11、定位等處理;車牌定位模塊是 在動態(tài)采集的圖像巾,自動找到車牌的位置,常 用算法包括基于車牌形狀特性的定位算法,基 于車牌區(qū)域灰度變化特征的定位算法,基于矢量 量化的車牌定位算法,基于彩色車牌圖像的定位 算法:字符分割模塊則在車牌圖像上自動提取單 個字符的圖像,常用的方法可蚍分為兩人類,一 類算法是對每一字符采片j陰影掩膜技術進行編 碼,提取字符特征,另一類是利用字符固定寬度、 間距的固定比例關系等先驗知識來提取單一字 符;字符識別模塊是最后的處理模塊,完成對每 個字符圖像的識別,常用方法包括模板匹配法和 神經(jīng)網(wǎng)絡法等,本文采用的是神經(jīng)網(wǎng)絡識別法。根據(jù)是否進行特征提取,神經(jīng)網(wǎng)絡字符識別 系統(tǒng)可分

12、為兩人類:有特征提取部分的識別系統(tǒng) 和無特征提取部分的識別系統(tǒng)。前者實際上是傳 統(tǒng)方法與神經(jīng)網(wǎng)絡方法技術的結合,這種方法可310第十二屆全國圖象圖形學學術會議以充分利用人的經(jīng)驗來獲取模式特征以及神經(jīng)網(wǎng) 絡分類能力來識別字符,特征提取必須能反應整 個字符的特征,才能達到較高的識別率;后者則 省去特征抽取,將整個字符直接作為神經(jīng)網(wǎng)絡的 輸入。這種方式雖然在一定程度上增加了神經(jīng)網(wǎng) 絡結構的復雜度,但是網(wǎng)絡的抗干擾性能和識別 率較前者都有很大的提高。本文中將要采用的 CNN就屬于第二類神經(jīng)網(wǎng)絡。4基于卷積神經(jīng)網(wǎng)絡的車牌照字符 識別方法為了提高車牌字符的識別率,本文采用一種 改進的基于卷積神經(jīng)網(wǎng)絡的識別

13、機完成字符識別 7J,其網(wǎng)絡結構81如圖2所示。圖2神經(jīng)網(wǎng)絡網(wǎng)絡結構fNetworks圖2巾,S層為簡單(simple神經(jīng)元組成的 神經(jīng)層,完成特征提取,其輸入連接是可變的, 并在學習過程中不斷更正。C層則是由復雜 (complex神經(jīng)元組成的神經(jīng)層,它的輸入連接 是固定的,小可修改,顯示感受野被激勵位置的 近似變化。網(wǎng)絡中c層的最后一層為識別層,給 出模式識別的結果。經(jīng)過學習,網(wǎng)絡可以自動地 識別輸入模式,而不受輸入圖片扭吐,縮放和位 移的影響。 來正確識別所有樣本:%4層是網(wǎng)絡的輸出層即識 別層,顯示網(wǎng)絡最終的模式識別結果。差異提取層%的輸出如式(1所示。 姒小:。“(州t吲。ouo(n+

14、v】,ol:1'2 (1 式中,%(f是神經(jīng)元連接的強度,該層有2個神經(jīng)元平面,當k=2時,為加強中心神經(jīng)元, k=1時,代表抑止中心神經(jīng)元,如是v的半徑。 U6層每個神經(jīng)元的所有輸入連接還必須滿足一個 約束條件即%(v=o,才能起到差異提取的 作用。悱如s層s神經(jīng)元的響應函數(shù)如式(2所示:州¨嚆。I蠱籌竺叫,。1(2式中,(I SI【v,r,k(o是上一層c神經(jīng)元 "cf10+V,Jr至該層s神經(jīng)元的連接函數(shù),同一神 經(jīng)元平面的所有神經(jīng)元的輸入連接是相同的。舅是 第,層s神經(jīng)元的閩值,A。,是v的半徑。當f=1時, UCI-I,茁即為“G(n,k,此時,Kcf l

15、=2。在識 別過程中,弧。層s神經(jīng)元的最大輸出決定最終的 識別結果。除【0。層外,其余三層C層的c神經(jīng)元響從圖2中可以看出,網(wǎng)絡由輸入層,差異提 應函數(shù)如式(3所示取層U,、4組S層和4層C層組成,主要流程圖如下;“叫嗡嘲啦鵲喝啦嘲嘲。其中差異提取層對應于視網(wǎng)膜巾的中心細胞,由加強中心感受野神經(jīng)元平面和抑制中心神經(jīng)元平面兩部分構成,【0層的輸出作為第一個S層的輸入; U。,層中的s神經(jīng)元通過有監(jiān)督訓練,提取輸入圖像 中不同方向的邊緣成分,它的輸出作為L0。的輸入; 第二組和第三組中S層的神經(jīng)元是無監(jiān)督競爭學列 的自組織神經(jīng)元;U4層通過監(jiān)督競爭學習的訓I練 式中,nd(V是c層的輸入。5實驗結

16、果(35.1實驗結果實驗共分兩步進行,前期對攝取到的車牌圖 片進行預處理包括定位,分割等.后期首先選取陸璐等:基于卷積神經(jīng)網(wǎng)絡的車牌照字符識別研究理想預處理條件下得到的200個20X36的樣本圖片(每個字符為20個訓練卷積神經(jīng)網(wǎng)絡,得到各層的權值,閾值及神經(jīng)元細胞平面數(shù),然后使用優(yōu)化后的神經(jīng)網(wǎng)絡識別機完成對200個20×36的(每個字符為20個測試樣本字符圖像的識別,正確識別率達到99%,結果如圖3所示。圓圈口圈園圈3待識別圖像(Recognized picture識別結果為:80459與傳統(tǒng)的識別方法比較如表1所示,表1識別結果比較表識別方法 識別率卷詘神經(jīng)網(wǎng)絡法 模板匹配法H 結

17、構特丌法 99% 95% 94%由表1的統(tǒng)計結果可以看出,基于卷積神經(jīng) 網(wǎng)絡的車牌字符識別方法可毗獲得99%的正確 識別率,明顯優(yōu)于結構法,模板匹配法等傳統(tǒng)識 別方法。5.2結果分析實驗結果表明CNN用于車牌識別切實可行, 訓練樣本空間覆蓋越完備則識別率越高。卷積神 經(jīng)剛絡通過避免顯式地特征提取過程,隱式地從 訓練樣奉中獲取對構筑訓練樣本空間貢獻較大的 特征,與傳統(tǒng)網(wǎng)絡相比有更高的識別率和抗干擾 性。諺別失敗原因是由于該類樣本在訓練樣本庫 中未曾出現(xiàn)或出現(xiàn)較少。 6結論本文利用神經(jīng)剛絡的優(yōu)勢,采用種改進的 基于卷積神經(jīng)網(wǎng)絡的識別機制對車牌照中的字符 進行識別。該識別方法通過對理想預處理條件下

18、的車牌字符圖片的學習,優(yōu)化了網(wǎng)絡系統(tǒng)中各層 的權值參數(shù),大大提高了車牌照中的字符識別率。 但實際應用中,前期預處理會出現(xiàn)車牌定位不清, 字符分割錯誤等缺點,這些都會影響識別效果, 降低網(wǎng)絡的實際識別率。所以,在今后的工作中, 會對網(wǎng)絡結構提出進一步的改進,使之可以識別 預處理較差條件下的車牌寧符。參考文獻I】 高雋,智能信息處理方法導論【北京:機械T業(yè)出版社 20042】 邊肇棋,模式iJ2SlJ CM北京:北清華大學出版社。1987f3高雋,I神經(jīng)呵絡臆理及仿真實伊tJfMj北京;機槭工業(yè)出|豉 社.200344Claus Neubauer-Evaluation of Convolutional Neural Networks for Visual Recognition,Neuml Netwoks,vol9,rio 4,pp 685696(1998【5】5BaoQing Li,Baoxin Li Bdiding Pattem Classifiers Us岫 Convolufional NeuKd Networks Ncllral Networks.vol 5.no 8 PP308l-3085f6】 唐衩f=:車牌識別系統(tǒng)的T作原理廈其應用現(xiàn)代電子工程 ,2004,2,(1666917】 K Fukushima N