模糊車牌識別

1、模糊車牌識別思路by：吳諺神，張偉，向剛隨著計算機和視頻技術(shù)的發(fā)展，車牌自動識別系統(tǒng)己成為智能交通系統(tǒng)的重要組成部分，并已廣泛應用于車輛追查和跟蹤、車輛出入控制、公路收費監(jiān)控等領域。完整的車牌自動識別系統(tǒng)由圖像釆集、圖像處理、模糊識別等模塊組成，其中對一幅已知車輛數(shù)字圖像進行預處理、車牌定位、二值轉(zhuǎn)換、車牌分類、車牌分割、字符識別、結(jié)果優(yōu)化的過程簡稱車牌模糊識別。目前國內(nèi)已有眾多單位開展了車牌識別技術(shù)研發(fā)，雖然各家都取得一定的成功，但車牌識別技術(shù)本身畢竟要符合實戰(zhàn)要求，為此筆者綜觀各家實際車牌識別系統(tǒng)后提出了車牌識別系統(tǒng)的幾點不足之處和改進方法，供該領域的專業(yè)人士和領導參考。一、圖像預處理根據(jù)

2、三基色原理，世界上任何色彩都可以由紅綠藍(RGB)三色不同比例的混合來表示，如果紅綠藍(RGB)三個信號分別由一個字節(jié)表示，則該圖像顏色位數(shù)就達到二十四位真彩，也就是說在二十四位真彩的數(shù)字圖像中每個像素點由三個字節(jié)來表示，根據(jù)數(shù)字圖像水平和垂直方向像素點數(shù)(即圖像分辨率)可計算出一幅圖像實際位圖大小。事實上，在車牌自動識別系統(tǒng)中車輛圖像是通過圖像采集卡將運動的車輛圖像抓拍下來，并以位圖的格式存放在系統(tǒng)內(nèi)存中。這時的車輛數(shù)字圖像雖然沒有被人為損傷過，但在實際道路上行駛的車輛常會因為各種各樣的原因使得所拍攝的車輛圖像效果不理想，如外界光線對車牌的不均勻反射、極強陽光形成的車牌處陰影、攝像機快門值設

3、置過大而引起的車輛圖像拖影、攝像頭聚焦或后背焦沒有調(diào)整到位而形成的車輛圖像不清晰、由于視頻傳輸線而引起的圖像質(zhì)量下降、所拍攝圖像中存在的噪聲干擾、所安裝的車牌不規(guī)范或車輛行駛變形等等。這些都給車牌的模糊識別增加了難度，在現(xiàn)有的技術(shù)條件下任何優(yōu)秀、先進的車牌識別軟件也是無法達到百分之百車牌正確識別率。但我們可以對車輛圖像根據(jù)不同應用特點進行識別前的預處理，盡最大可能提高車牌正確識別率，這些圖像預處理包括圖像平滑、傾斜校正、灰度修正等。其中圖像平滑的目的是為了減少圖像中的噪聲，一般情況下在空間域內(nèi)采用領域平均法來減少噪聲，在頻率域內(nèi)由于噪聲頻譜多在高頻段，因此釆用各種形式的低通濾波方法來減少噪聲。

4、空間域是指對圖像像素灰度值直接運算后取代，頻率域是對圖像的像素值進行變換運算后反變換取代，如傅立葉變換等。實際常用的方法是通過一個像素點和周圍像素點的平均運算來去除突然變化的像素點，從而濾掉一定的噪聲，當然如果釆用不合適的圖像平滑算法，則會帶來圖像模糊。在道路實際行駛的車輛中，車牌在圖像中往往存在不水平情況，如攝像機不在車道正中央、掛放的車牌不水平或車輛突然變道行駛等都會使采集的車牌圖像需要進行車牌傾斜校正。由于車牌的上下沿是兩條明顯的平行線，所以一般釆用HOUGH變換，檢測出這兩條直線的傾斜角，或者利用特征投影法來檢測車牌的傾斜角，然后對車牌圖像進行水平校正?；叶刃拚彩菆D像增強行之有效的方

5、法，通常采用直方圖修正法使圖像具有期望的灰度分布水平方向為像素灰度值，垂直方向為該像素值出現(xiàn)的數(shù)量，根據(jù)灰色圖像直方圖調(diào)整圖像像素值的分布范圍，確保圖像亮度值均勻和平滑，同時如果直方圖中存在多個峰值，則按直方圖峰值計算出限定閥值，然后進行分段圖像處理，由此分離出背景和噪聲。當然，這種車輛圖像預處理過程需要有一定的運算時間，而對于實時車牌識別系統(tǒng)來說，圖像預處理的時間不可能太長，否則會加重內(nèi)存負擔，并可能丟失其它車輛圖像數(shù)據(jù)。二車牌定位我們知道車牌定位對車牌識別系統(tǒng)來說至關(guān)重要，在車輛圖像中往往存在許多類似車牌的區(qū)域，如養(yǎng)路費牌、廣告牌、車燈區(qū)等都容易干擾車牌的定位。常用的車牌定位算法有(1)自

6、適應邊界搜索法利用倒L型、水平直線、垂直直線這些結(jié)構(gòu)元素搜索、定位字符，然后找出符合一定格式的字符群，即認為是車牌；(2)區(qū)域生長法是對邊緣圖像進行均勻性區(qū)域生長，以獲得潛在的車牌區(qū)域，然后利用車牌的幾何特征以及車牌區(qū)域內(nèi)的邊緣灰度直方圖統(tǒng)計特征刪除偽車牌，即得真實車牌；（3）灰度圖像數(shù)學形態(tài)學運算法則利用車牌形狀特征、字符排列格式特征，對預處理后的灰度圖像進行一系列的形態(tài)學運算，得到直線與一定數(shù)目的字符相鄰的區(qū)域即認為是車牌；（4）基于字符串特征增強的分割方法釆用一種線性濾波器突出牌照區(qū)域的紋理，再釆用取閾值的方法來分割牌照區(qū)域；（5）模糊聚類法則利用模糊邏輯系統(tǒng)，根據(jù)一些分類參量判別由粗分

7、割得到的圖像中不確定部分是隸屬于背景還是目標，從而分割出車牌；（6）基于灰度圖的車牌定位和分割法首先選取適當?shù)拈撝涤玫ǖ玫蕉祱D，再根據(jù)車牌中文字筆畫的垂直邊緣特征做車牌定位；（7）DFT變換法是先對圖像逐行做DFT變換，然后把頻率系數(shù)逐行累加平均并根據(jù)這些平均值做出頻譜曲線，根據(jù)頻譜曲線中的“峰”的起始點位置確定車牌水平位置，對這一水平區(qū)域逐行做DFT變換可確定車牌豎直位置。雖然上述車牌定位算法已在實踐中取得成功，但對于車輛實時監(jiān)控系統(tǒng)來說上述方法所需的時間仍然偏長，為此我們經(jīng)過大量實踐后找到了基于圖像差分投影法，從而將車牌識別時間縮短到一百毫秒以內(nèi)。其原理是將車輛灰色圖像按水平方向求差

8、分圖，然后按垂直方向求差分，最后對差分后的車輛圖像分別在水平和垂直方向投影，按照給定的車牌尺寸范圍找出可似車牌區(qū)域。然后按照水平和垂直方向投影得出有可能的車牌區(qū)域有三個，包括兩個車燈區(qū)，由于車燈區(qū)在尺寸和字符數(shù)上不符合常規(guī)車牌特征，所以即可排除，從而僅剩下唯一的車牌區(qū)域，再從灰色圖像中切出真正的車牌區(qū)圖像。三、二值轉(zhuǎn)換實際上，在車牌定位時已經(jīng)將二十四位真彩圖像轉(zhuǎn)換成八位灰色圖像，即用一個字節(jié)表示一個像素點，而一個字節(jié)能表示256種灰度，這對提取字符特征來說仍是困難的，需要進一步將灰色圖像轉(zhuǎn)化為黑白二色圖像，這個轉(zhuǎn)換過程就稱作二值轉(zhuǎn)換。常用的車牌圖像二值化方法是將各個像素灰度值與一個經(jīng)驗值（常稱

9、閾值）相比較，如果該值少于閾值，則灰度值取“0”（即黑色），否則為“255”（即白色）.通常根據(jù)該車牌灰色圖像的直方圖得到最小和最大灰度值，然后設定閾值為最小和最大灰度值的平均值，再通過這二個區(qū)域的灰度迭代出最佳閾值，該方法的具體程序見參考文獻2P466-469頁。但實際二值化需要分區(qū)進行，否則會形成字符筆畫斷裂和加粗等。四、車牌分類和字符分割眾所周知，我國車牌種類繁多，常見的車牌有民用車牌、警用車牌、軍用車牌、武警車牌和個性化車牌等，按照中華人民共和國機動車號牌標準（GA36-92）規(guī)定。從汽車牌照的結(jié)構(gòu)特點看，民用車牌最少也有八個字符，若以7x9點陣表示一個字符為例，水平方向需要7個像素點

10、、垂直方向需要9個像素點，加上字符水平之間必須有一定的間距，以及車牌左右和上下都有邊框存在，因此車牌水平寬度在圖像中所占的大小應不低于100個像素點為宜，考慮到諸如灰塵、霧、油漆剝落或顏色變淡等缺陷對車牌的影響，用于車牌識別的最佳尺寸為水平方向不少于110個像素點、重直方向不少于15個像素點，否則容易產(chǎn)生車牌定位出錯，即使定位出車牌，也容易產(chǎn)生字符識別錯誤。字符在豎直方向上的投影必然在字符間或字符內(nèi)的間隙處取得局部最小值，因此字符的正確分割位置應該在上述局部最小值的附近，并且這個位置應滿足車牌字符的標準數(shù)目、字符尺寸等條件，這樣就排除了在復雜環(huán)境下車牌定位錯誤。在水平方向上從左至右檢測各坐標的

11、投影數(shù)值，當檢測到第一個投影值不為零的坐標可視為首字符的左邊界，從該坐標向右檢測到的第一個投影值為零的坐標可視為首字符的右邊界，其余字符的邊界坐標同理可得。通過字符的平均字寬和兩字符左邊界之間的平均距離去除可能存在的錯誤切分。對于字寬小于平均字寬一定比例（如0.2）的字符可視為無效字符；前后兩字符距離小于平均距離且此距離與字寬之和不大于平均距離，則合并之為一個字符；對于字寬大于平均字寬一定比例（如2.4）則視為兩字符出現(xiàn)粘連，當字符數(shù)量多于或少于車牌可能的字符數(shù)時則認為所定位的車牌無效，這就是車牌垂直分割法。五、字符和車牌顏色識別1、字符優(yōu)化按照上述車牌定位和切割方法很方便取得單個字符圖像，不

12、過此時的字符圖像也可能存在字符與邊框相連、字符變形和字符斷裂等情況，為此在真正識別之前需要對字符位圖作進一步的技術(shù)處理，如下圖車牌二值圖經(jīng)水平方向腐蝕后明顯有利于圖像分割和識別，但對于黑底和藍底的車牌則適得其反。常用的方法是將用于識別的字符位圖按新的點陣大小重新采樣，然后搜索字符位圖的精確上下左右邊界值，依照字符位圖的寬高值和新的邊界值重新確定字符像素點，并排除非字符情況，如左右邊界值之差過小、上下邊界差過小等情況即認為非字符，用“?”取代。2、字符類型設定類型0為民用車漢字，包含“京、津、晉、冀、蒙、遼、吉、黑、滬、蘇、浙、皖、閩、贛、魯、豫、鄂、湘、粵、桂、瓊、川、貴、云、藏、陜、甘、青、

13、寧、新，渝”；類型1為英文字母，包括除T外的“AZ”其他字母；類型2為數(shù)字，包括“09”；類型3為數(shù)字和字母，包括類型1和類型2；類型4為武警英文字母，包括“WJ”；類型5為武警數(shù)字，包括“09”；類型6為警車尾字“警”字；類型7為軍用車漢字，包含“甲、乙、丙、丁、戊、己、庚、辛、壬、癸、子、丑、寅、卯、辰、巳、午、未、申、酉、戌、亥”；類型8為民用車尾字，包括“09、學、試、領、港”等字。按照上述字符類型設定，我們可以得到車牌字符類型表為民用汽車0，1，3，3，2，2，8、武警汽車4，5，5，5，5，5，5，5、軍用汽車7，1，2，2，2，2，2、警用汽車0，3，3，2，2，2，6等。3、標

14、準特征庫將切分下來的字符圖像變換到40 x40的點陣空間上，按照水平和垂直方向提取二值特征、按照字符結(jié)構(gòu)在水平、垂直、左、右四個方向的幾何投影圖像特征建立多維特征庫，其中標準漢字從宋體字庫中選取，字母及數(shù)字從OCR-A字庫中選取。對標準字符分別進行歸一化、輪廓化和特征抽取，標準模板就是從中抽取特征得到的特征向量。4、字符匹配字符識別方法目前主要有基于模板匹配算法和基于人工神經(jīng)網(wǎng)絡算法。基于模板匹配算法首先把待識別字符二值化并將其尺寸大小縮放為字符數(shù)據(jù)庫中模板的大小，然后與所有的模板進行匹配，最后選最佳匹配作為結(jié)果。由于這種匹配算法穩(wěn)定性較差、時間花費也較大，因此在此基礎上提出了基于關(guān)鍵點的匹配

15、算法。此算法先對待識別字符進行關(guān)鍵點提取，然后對關(guān)鍵點去噪，最后再確定字符的分類。這種匹配算法只利用了字符的關(guān)鍵點進行匹配，因此提高了識別速度又具有較咼的識別率?；谌斯ど窠?jīng)網(wǎng)絡的算法主要有兩種：一種是先對待識別字符進行特征提取，然后用所獲得的特征來訓練神經(jīng)網(wǎng)絡分類器；另一種方法是直接把待處理圖像輸入網(wǎng)絡，由網(wǎng)絡自動實現(xiàn)特征提取直至識別出結(jié)果。前一種方法識別結(jié)果與特征提取有關(guān)，而特征提取比較耗時，因此特征提取是關(guān)鍵。筆者認為，目前依據(jù)我國車牌特點采用模板匹配算法識別速度更快。具體做法是將待識別的字符位圖提取字符特征加權(quán)值，然后逐一與該類型相關(guān)的已知字符的標準特征庫加權(quán)值比較，從中選取最理想的字

16、符作識別結(jié)果，當該理想字符相關(guān)的特征加權(quán)值小于給定的最小經(jīng)驗值，則認為該字符匹配成功，當該理想字符相關(guān)的特征加權(quán)值大于給定的最大經(jīng)驗值，則認為該字符匹配錯誤，如采用“?”取代。對于容易相混的字符需要作進一步細節(jié)區(qū)分，如“0-8、5-8、0-D、0-Q、S-5、S-8、B-8、B-0、B-D、D-Q、7-T、1-7、4-A”等。五、顏色識別對于二值轉(zhuǎn)換后的車牌圖像依據(jù)我國車輛牌照特點十分容易分辨出黃色和白色的車牌底色，但對于藍底白字和黑底白字需要進一步從原灰度車牌中提取特征，如可以提取車牌分隔符區(qū)域，即截取第二個字符右邊界和第三個字符的左邊界的車牌區(qū)，通過分析該區(qū)域灰色度就能區(qū)分出藍色和黑色車牌

17、底色，因為黑色和藍色灰度存在明顯差別。六、結(jié)果優(yōu)化按照模板匹配算法，可以得到若干個車牌識別結(jié)果，從中我們選取字符匹配成功數(shù)最多者。如果全部字符匹配成功，則輸出結(jié)果肯定準確，而在實際運行的車牌識別系統(tǒng)中即使對字符作了優(yōu)化處理，但仍有部分字符受車牌色差和環(huán)境的影響有識別出錯可能，為此在識別結(jié)果中不妨設定最小出現(xiàn)數(shù)，如規(guī)定整個車牌中有四位識別正確就給出車牌結(jié)果，這樣有利于車牌模糊識別技術(shù)的應用。同時，依據(jù)我國車牌結(jié)構(gòu)特點還需要進行車牌語法校驗，如民用車牌尾字不存在“警”字、軍牌格式中不會出現(xiàn)“領、港、掛、學”字、警牌尾字不能出現(xiàn)“學、港、領、掛”字、警牌首位不能出現(xiàn)軍牌漢字、武警車牌中不能出現(xiàn)民用和軍用車牌漢字等等，這樣可以大大提高車牌正確識別率。七、字符訓練由于車牌安裝角度、車牌制作工藝不同和外界污漬都會對字符識別產(chǎn)生影響，因此完整的車牌模糊識別系統(tǒng)應能提供字符自學習功能，即根據(jù)已知字符的二值圖像重新生成特征庫或改變部分特征庫加權(quán)值，只有具備字符訓練的車牌模糊識別軟件才會有很高的車牌識別正確率、很強的適應性。八、結(jié)束語按照我國公安部門規(guī)定，車牌號碼由省市區(qū)簡稱、車輛注冊機關(guān)、注冊編號、分類號碼組成，現(xiàn)行的車牌種類繁多，這就給車牌模糊識別增加