基于字符分割樹形狀的多風(fēng)格車牌識(shí)別系統(tǒng)

1、A Multi-style License Plate Recognition SystemBased on Tree of Shapes for CharacterSegmentationFrancisco Gomez Fernandez1, Pablo Negri2, Marta Mejail1, and Julio Jacobo11 Universidad de Buenos Aires2 PLADEMA, Universidad Nacional del Centro de la Provincia de Buenos Aires基于字符分割樹形狀的多風(fēng)格車牌識(shí)別系統(tǒng)摘要:這項(xiàng)工作的目

2、的是要開發(fā)出一個(gè)多風(fēng)格的車牌識(shí)別（LPR）系統(tǒng)。 LPR系統(tǒng)大部分是由國(guó)家開發(fā)利用的。在這里，本文提出了一種新的基于圖像樹形狀的特征提取算法。這種方法能很好地應(yīng)用于不同風(fēng)格的車牌，不需要傾斜或旋轉(zhuǎn)校正并且它是無參的。此外它在規(guī)格變化時(shí)是不變的，相反在光照仿射改變時(shí)是變化的。我們用兩個(gè)不同的數(shù)據(jù)集測(cè)試了LPR系統(tǒng)，實(shí)現(xiàn)了高性能率：車牌檢測(cè)和字符識(shí)別的成功超過了90，而在字符分割方面成功率則高達(dá)98.17。1 引言 因?yàn)檐嚺谱R(shí)別（LPR）直接應(yīng)用于現(xiàn)實(shí)生活的方方面面，所以它是一個(gè)非常熱門的研究領(lǐng)域。安全控制及交通安全應(yīng)用，如識(shí)別被盜車輛和車速限制執(zhí)法，已成為非常重要的應(yīng)用領(lǐng)域，其中車牌（LP）分析

3、起著根本性的作用1。一個(gè)車牌識(shí)別系統(tǒng)可分為三個(gè)步驟：LP檢測(cè)，字符分割和字符識(shí)別。字符的成功識(shí)別在很大程度上取決于通過分割步驟獲得的限位框的質(zhì)量。因此，我們認(rèn)為分割是車牌識(shí)別系統(tǒng)中的非常重要的一步。在1中，我們對(duì)LPR進(jìn)行廣泛地檢測(cè)。然而，現(xiàn)階段，能夠使LPR系統(tǒng)成功地處理來自不同國(guó)家的風(fēng)格迥異的車牌問題（形狀、前景、背景、顏色等）是一個(gè)開放的研究領(lǐng)域。幾個(gè)試驗(yàn)檢測(cè)的LPR工作都能實(shí)現(xiàn)高性能率，但其大部分是取決于國(guó)家的。6，10，11中，處理了多風(fēng)格的LPR分析。此外，6和11使用類似的程序來搜尋LP區(qū)域并增加了識(shí)別反饋，當(dāng)識(shí)別失敗時(shí)能完善檢測(cè)步驟。特征提取步驟通常是通過二值化方法執(zhí)行關(guān)聯(lián)的成

4、分分析10，11。二值化閾值的選擇是一項(xiàng)艱巨的任務(wù)，如果選擇不正確，我們很容易得到多余的檢測(cè)或錯(cuò)過一些檢測(cè)。4中提出了一個(gè)有趣的方法，即同時(shí)處理檢測(cè)與分割。在11，我們使用傅立葉描述的統(tǒng)計(jì)方法和Reeb圖的結(jié)構(gòu)方法來區(qū)分模棱兩可的字符。此外，為更好地識(shí)別字符，我們通過6三層人工神經(jīng)網(wǎng)絡(luò)將之前提取的字符固定分塊，再進(jìn)行計(jì)算。在這項(xiàng)工作中，我們開發(fā)適應(yīng)于不同國(guó)家的靜像LPR系統(tǒng)。我們的工作重點(diǎn)進(jìn)行是基于圖像樹的形狀的LPR系統(tǒng)的分割步驟。這被認(rèn)為是一種新的特征提取方法。這種方法能很好地應(yīng)用于不同的LP風(fēng)格，并不需要旋轉(zhuǎn)或傾斜校正并且是無參的。此外它在規(guī)格變化時(shí)是不變的，相反在光照仿射改變時(shí)是變化的

5、。這些屬性可通過派生樹的形狀8得到。我們用兩個(gè)數(shù)據(jù)集測(cè)試了系統(tǒng)（參見例子，如圖1），并獲得了高性能率。圖1 用兩個(gè)數(shù)據(jù)集來測(cè)試我們系統(tǒng)的例子。第一行顯示了美國(guó)的車牌圖像。第二行顯示了阿根廷車的圖像本文組織如下：第2部分詳細(xì)介紹了執(zhí)行LPR系統(tǒng)的步驟。第3部分給出了實(shí)驗(yàn)結(jié)果。最后，在第4部分中給出了結(jié)論和今后的工作。2 車牌識(shí)別系統(tǒng)在本節(jié)中，我們介紹LPR系統(tǒng)的三個(gè)步驟：車牌檢測(cè)，字符分割和字符識(shí)別（圖2）。 在可能的幾個(gè)區(qū)域（ROI）使用形態(tài)濾波器。為了驗(yàn)證ROIs，即Ri ，i=1，N和選擇出最有可能的LP區(qū)域，我們應(yīng)更詳盡地分析，對(duì)每個(gè)區(qū)域使用地模板匹配和特征提取9進(jìn)行評(píng)分。然后，找出得分

6、最高的區(qū)域進(jìn)行分割步驟，當(dāng)遇到三個(gè)以上邊界框（|bbx| 3，在圖2），就驗(yàn)證其結(jié)果。最后，在邊界框中輸入字符識(shí)別，并如在2.3節(jié)中所述那樣進(jìn)行驗(yàn)證。11如果字符分割或字符識(shí)別步驟分析失敗了，系統(tǒng)將評(píng)估第二個(gè)最有可能的區(qū)域，一直進(jìn)行下去，直到達(dá)到了RN區(qū)域。在這種情況下，系統(tǒng)是沒有返回檢測(cè)的。圖2 LPR系統(tǒng)圖，菱形塊代表驗(yàn)證步驟2.1車牌檢測(cè)在本節(jié)中，我們討論對(duì)每個(gè)區(qū)域所做的分析，并給它們一個(gè)可信值。ROI的一代。形態(tài)學(xué)頂級(jí)過濾用于圖像輸入，以提高亮度值差別很大的區(qū)域的對(duì)比度。垂直輪廓的計(jì)算使用了索貝爾過濾器，并在連續(xù)形態(tài)下操作，然后應(yīng)用于連接的可能LP區(qū)域的邊緣。這些操作是簡(jiǎn)單而快速的，系

7、統(tǒng)提供了一些潛在的車牌區(qū)域。這是車牌識(shí)別系統(tǒng)中的關(guān)鍵一步：如果形態(tài)濾波器沒有檢測(cè)到LP，那么LP將會(huì)被丟失。ROI的評(píng)估。每個(gè)ROIs，即Ri ，i=1，N是由兩種方法計(jì)算得到：模板匹配和文本檢測(cè)5。然后，我們定義了四個(gè)評(píng)價(jià)向量的長(zhǎng)度為N：pcv用于模板匹配，mgd，nts和tbr用于文本檢測(cè)，其中pcv（i）通過累積邊界內(nèi)相關(guān)值Ri 而mgd（i），nts（i），tbr（i） 是最大的梯度差，即在Ri 內(nèi)文本段的數(shù)量和文本塊比率。我們需要合并他們的信息，以便決定N個(gè)區(qū)域中哪個(gè)是最有可能存在一個(gè)車牌的。我們這樣做就創(chuàng)建了四個(gè)排序索引向量：pcvsi，mgdsi，ntssi和tbrsi。這些載體

8、指數(shù)評(píng)價(jià)向量的升序排列取決于每個(gè)Ri。通過特征向量的最低值得到指數(shù)1，通過最高值獲取指數(shù)N，然后，我們定義長(zhǎng)度為N的向量表決：votes=（i）= pcvsi（i）+ mgdsi（i）+ ntssi（i）+ tbrsi（i）區(qū)域Rm，m= argmax1iN，votes（i）被保留作為L(zhǎng)P。適應(yīng)臨界值。檢測(cè)步驟可以應(yīng)用到不同的數(shù)據(jù)集。但是，閾值必須適應(yīng)從不同的相機(jī)或環(huán)境中獲得的圖像的LP檢測(cè)。要做到這一點(diǎn)，我們先分析第一個(gè)數(shù)據(jù)集的圖像。由于每個(gè)車牌的位置會(huì)標(biāo)在每個(gè)圖像的數(shù)據(jù)集中，此信息用于固定檢測(cè)時(shí)的閾值。這些閾值的選擇用以驗(yàn)證公認(rèn)前五LP的所有文本段的95。同時(shí)，作為相關(guān)模式的LP設(shè)置為數(shù)據(jù)

9、集的第一圖像。2.2 字符分割從LP中提取的字符后，我們提出了一個(gè)新的算法，即用圖像樹的形狀8來搜索字符組。樹的形狀是一個(gè)完整的代表性圖像，即可以用它重建原始圖像。此外，樹的形狀與我們所期望的“對(duì)象”的形象相一致。例如，圖像中的字符將代表樹中的一個(gè)（或一組）形狀。此過程的目標(biāo)是在每個(gè)LP樣式上實(shí)現(xiàn)沒有任何限制的屬性共享。樹的形狀。一個(gè)形狀被定義為“填充”（正式的定義8）的孔的水平集的連接組件。然后，上下水平集的水平的形象分別定義為Xu=x| u（x）和Xu=x| u（x）。據(jù)悉，水平集的連接組件，可以通過安排其灰色的水平8在下令列入樹。此外，從圖像中提取的形狀可以讓其由幾何納入（如果是在其內(nèi)部

10、包括，形狀就是另一個(gè)形狀的孩子）來建立樹的形狀。字符分組算法。該算法使用一個(gè)依據(jù)，即在車牌字符有共同的屬性，如相同的前背景對(duì)比，調(diào)整和最低的邊界框重疊，類似的寬度和高度。該算法的步驟可歸納如下。ROI的Rm通過檢測(cè)步驟返回，用來計(jì)算形狀的樹。然后，對(duì)樹中的所有節(jié)點(diǎn)（形狀）兩兩相比，將類似的形狀，連接一個(gè)給定的標(biāo)準(zhǔn)。最后，最相連的節(jié)點(diǎn)和其相鄰的邊界框作為結(jié)果返回。算法1顯示了該算法的偽代碼。為了避免包括已經(jīng)與其他形狀或形狀的形狀進(jìn)行比較，遍歷樹的形狀是利用它的結(jié)構(gòu)：節(jié)點(diǎn)訪問自上而下的，節(jié)點(diǎn)從未與它的后代（4號(hào)線）節(jié)點(diǎn)的后代相比。這是一個(gè)適當(dāng)?shù)囊苿?dòng)，由于包含樹的形狀的性能，所以有沒有重復(fù)步驟，也不

11、缺少比較。事實(shí)上，任何兩個(gè)形狀都是不相交或嵌套的（解釋見8）。字符比較。特征向量是建立在樹的每個(gè)節(jié)點(diǎn)的。這個(gè)特征向量承擔(dān)有關(guān)邊界框和類型及其相關(guān)的形狀（上限或下限）的信息。特征向量（線2）由SimilarChars的（n，m）進(jìn)行了比較，它將返回ture如果節(jié)點(diǎn)的n和m有相同的類型并且相應(yīng)的形狀之間的距離是一個(gè)固定的閾值，否則返回false。功能W()和H ()分別返回邊界框的寬與高n，m。同時(shí)x (n)x (m)和y(n)y(m)代表邊界框在x與y上重疊。此外，缺乏垂直矩形度時(shí)要在執(zhí)行比較之前丟棄或太小或太大或太遙遠(yuǎn)的形狀。算法1：字符分組算法輸入：樹的形狀T輸出：設(shè)置的邊界框K1：對(duì)于所有

12、的n,mT2:如果SimilarChars（n,m），然后3：鏈接（N，M）4：跳過n的孩子和M的孩子5：設(shè)nmax的最大的連接節(jié)點(diǎn)6：對(duì)所有的nT，執(zhí)行7：如果鏈接（N，nmax），然后8：SSboundingBox的（n）9：返回S 圖3顯示了字符分組算法計(jì)算邊界框的例子。可以看出，風(fēng)格迥異的LP字符無需修改算法就可以檢測(cè)。第一列顯示雜亂的圖像，檢測(cè)的文本區(qū)域是高度過大的例子，但仍然成功地分割了。第二列顯示了不同的前景、背景色彩組合（頂部和中間分割的例子：暗前景和背景明亮，底部：亮前景和暗背景）。第三列顯示在幾個(gè)圖像采集和不均勻的照明條件下工作的優(yōu)勢(shì)，即樹形狀對(duì)比不變性。第四列顯示在不是測(cè)

13、試數(shù)據(jù)集下的車牌分割。正如我們所看到的，字符分組算法不需要旋轉(zhuǎn)或傾斜校正，它有獨(dú)立的風(fēng)格，此外，它是無參數(shù)的。另外，它可以工作在在車牌規(guī)模變化時(shí)，并根據(jù)對(duì)比或照明條件而改變。 這些屬性沒有限制牌照或先驗(yàn)信息的風(fēng)格。圖3 使用字符分組算法的字符分割的例子2.3 字符識(shí)別基于分類的支持向量機(jī)（SVM）訓(xùn)練使用特征的梯度直方圖（HOG）。直方圖梯度。此功能使周圍的興趣點(diǎn)或一個(gè)區(qū)域的形象，構(gòu)建一個(gè)直方圖的梯度幅值和方向。HoG空間組成如下定義的模式：里面一個(gè)像素轉(zhuǎn)移的矩形區(qū)域獲得的直方圖。一旦一個(gè)字符被分割，它將調(diào)整到1612像素的模式，然后申請(qǐng)一個(gè)33 的Sobel算子濾波器。每個(gè)像素的梯度方向量化

14、為0到5之間的整數(shù)值，使用模數(shù)，而不是模2。通過這種方式，亮字符的暗背景給出相同的方向比暗字符的亮背景多。對(duì)于每個(gè)像素p的格局，我們用九個(gè)區(qū)域與p左上角和大小MM，M2M，2MM，M4，6，8建立直方圖。然后，正?；狈綀D使他們的總和等于1。支持向量機(jī)。在這項(xiàng)工作中，我們建立了支持向量機(jī)使用libsvm的庫(kù)2。分類的策略是反對(duì)所有的方法之一。非惡化標(biāo)記（見第3節(jié)），不包括從測(cè)試數(shù)據(jù)集的圖像中提取的訓(xùn)練字符。我們興建35二進(jìn)制（O和0是同樣的分類），在同一類SVM分類器中，每個(gè)分散的跳過一個(gè)字符。為了得到k個(gè)支持向量機(jī)分類的訓(xùn)練集，它組成如下：正集對(duì)應(yīng)第k類樣本，負(fù)集對(duì)應(yīng)到其他類別的樣本。字符輸

15、入（調(diào)整大小和規(guī)范化）是在測(cè)試階段進(jìn)行每個(gè)分類的輸入。然后，它會(huì)作為類的分類產(chǎn)生的最高值。字符識(shí)別的驗(yàn)證。11開發(fā)的戰(zhàn)略后，對(duì)字符識(shí)別的結(jié)果進(jìn)行測(cè)試。 SVM分類器輸出：鉻、鎘將表明分類性能和辨別力，分別從兩個(gè)可信值進(jìn)行估計(jì)。對(duì)于每個(gè)字符，這些值計(jì)算的整體性能得到執(zhí)行。這些結(jié)果意味著，獲得cr和cd。如果crCr并且cdCd，所有的操作將是無效的并被拒絕。Cr和Cd的臨界值估計(jì)驗(yàn)證了99%的訓(xùn)練數(shù)據(jù)集。3實(shí)驗(yàn)結(jié)果我們測(cè)試了兩個(gè)數(shù)據(jù)集的車牌識(shí)別系統(tǒng)的性能（參見例子圖1）。第一個(gè)數(shù)據(jù)集，從現(xiàn)在起，被稱為美國(guó)數(shù)據(jù)集，是由從UCSD/Calit2數(shù)據(jù)庫(kù)得到158幅非惡化3圖像組成。這些圖像從露天停放的

16、車輛上獲得，所以這些車牌有不同的風(fēng)格，沒有包含字母數(shù)字字符的既定的配置。第二個(gè)數(shù)據(jù)集，從現(xiàn)在開始被稱為阿根廷數(shù)據(jù)集，由來自阿根廷的439輛卡車圖片組成。這些圖像是由放在卡車大門口的紅外攝像機(jī)所拍攝。所有圖像具有相同的風(fēng)格，但這種風(fēng)格不是用來調(diào)整系統(tǒng)的。兩個(gè)數(shù)據(jù)集通過手動(dòng)來標(biāo)記板文字、車牌定位和字符的邊界框。添加一個(gè)額外的標(biāo)簽來說明圖像是變質(zhì)的或不變質(zhì)，失真的圖像來自雜亂、損壞或不完整的車牌。為了驗(yàn)證檢測(cè)結(jié)果，當(dāng)檢測(cè)到的相交區(qū)域超過標(biāo)簽區(qū)域的一半多時(shí)，我們進(jìn)行檢查。用一個(gè)類似的方法，我們驗(yàn)證了字符的分割。此外，字符識(shí)別是使用的Levenshtein距離來評(píng)估的。此外，我們?cè)诜指畈襟E7測(cè)試系統(tǒng)使用

17、的最大穩(wěn)定極值區(qū)域（MSER）。MSER的已被廣泛用于許多場(chǎng)合，包括車牌識(shí)別4。MSER的兩種變型可以被計(jì)算作為MSER+和MSER-。第一次檢測(cè)到黑暗邊界的光明區(qū)域，第二次檢測(cè)光明邊界的黑暗地區(qū)。為了提取特征，我們將敏感參數(shù)定為= 10，我們還篩選出不穩(wěn)定或重復(fù)的區(qū)域。表1顯示了阿根廷和美國(guó)的數(shù)據(jù)集的檢測(cè)、分割和識(shí)別率。 LPR系統(tǒng)的字符分組算法（CGA）和MSER，取得了如預(yù)期的類似的檢測(cè)性能利率，這是因?yàn)闄z測(cè)的步驟是相同的。然而，在分割步驟上海巡署優(yōu)于MSER的3，因此，我們要承認(rèn)字符識(shí)別很大程度上取決于分割步驟時(shí)邊界框的質(zhì)量。此外MSER的程序需要前景背景對(duì)比信息，例如： 阿根廷的MSER+數(shù)據(jù)集和美國(guó)的MSER-數(shù)據(jù)集導(dǎo)致系統(tǒng)的多風(fēng)格特征的損失。同時(shí)，CGA和MSER在ARG 數(shù)據(jù)集上比美國(guó)數(shù)據(jù)集上有更好的表現(xiàn)，因?yàn)樵趦蓚€(gè)數(shù)據(jù)集之間的圖像采集條件存在差異，數(shù)據(jù)庫(kù)數(shù)據(jù)集有著更好的性能。表1 使用char分組算法（CGA）和最大極值穩(wěn)定的地區(qū)（MSER+和MSER-）的檢測(cè)、分割和識(shí)別率(a)阿根廷數(shù)據(jù)集 （b）美國(guó)數(shù)據(jù)集檢測(cè)率分割率識(shí)別率檢測(cè)率分割率識(shí)別率CGA97.2798.1795.08CGA90