基于FPGA的車牌識別系統(tǒng).ppt

1、基于FPGA車牌識別系統(tǒng),指導(dǎo)老師：翟建芳 小組成員：鄒玉龍茍旭博 于洋李少華,項目背景,隨著經(jīng)濟與生活水平的提高，車輛的數(shù)目日益增多，對車輛的自動化管理顯得日益重要。 總體上看，對車輛的管理，已經(jīng)成為國家交通運輸?shù)闹匾獌?nèi)容。 傳統(tǒng)的車輛管理系統(tǒng)是在對圖像進(jìn)行采集后進(jìn)行存儲，之后傳送至計算機內(nèi)進(jìn)行人工識別。 如果單靠人工進(jìn)行管理，浪費了大量的精力與物力。 很顯然，傳輸圖像有許多多余，而且這種工作對于人類來說很枯燥與無價值。,項目產(chǎn)品特點,本系統(tǒng)采用FPGA來做車牌自動識別，能在以下幾個方面應(yīng)用并體現(xiàn)出優(yōu)越性： 停車場亂停車輛：在交通不是繁忙地段可以傳輸文字。 車輛的追蹤：可以根據(jù)該車輛在數(shù)據(jù)庫

2、的信息，查出該車出現(xiàn)過位置 節(jié)約存儲空間 節(jié)約人力資源 體積小，可靠性高,理論基礎(chǔ),模式識別、數(shù)字圖像處理、數(shù)字信號處理以及概率統(tǒng)計理論基礎(chǔ)，通過FPGA的靈活編程實現(xiàn)自己計算方法。通過功能仿真、綜合后仿真和時序仿真后，確保編寫出的模塊正確性，就可以把編寫好的各個功能模塊下載到FPGA內(nèi)部或者片外的配置器件中。,硬件平臺,FPGA(現(xiàn)場可編程邏輯陣列) 本系統(tǒng)采用Xilinx公司SPARTAN-3E和Virtex-5進(jìn)行測試，Virtex中嵌入了PowerPC處理器，在SPARTAN-3E上使用Microblaze軟核系統(tǒng)開發(fā)，在Virtex-5中實現(xiàn)軟件硬件化。,開發(fā)流程,FPGA系統(tǒng)開發(fā)流

3、程可分為軟件與硬件，從硬件寄存器操作和算法程序代碼編寫兩方面進(jìn)行開發(fā)。,軟件平臺,*)Xilinx ISE：仿真，對算法、關(guān)鍵路徑、流水線、有限狀態(tài)機等優(yōu)化，軟核與EDK的應(yīng)用。 *)Synplify：綜合下載到FPGA *)Modelsim：功能仿真 *)Xilinx AccelDSP:數(shù)字信號處理工具 *)Xilinx platform studio(XPS):在集成環(huán)境GUI中創(chuàng)建完成嵌入式設(shè)計 *)Xilinx software development kit(SDK):對XPS的一些補充，包括中斷定時器控制等 *)可編程網(wǎng)表構(gòu)造(platform generator):以及驗證測試軟

4、件,系統(tǒng)功能確定,圖像數(shù)據(jù)傳送到FPGA上，通過算法實現(xiàn)將車牌上字符顯示在LCD上,研發(fā)預(yù)期成果,系統(tǒng)指標(biāo),性能：以O(shè)（n）=1s實現(xiàn)識別功能。 成本：spartan-3e(700元) virtex-5(10290元)； 開發(fā)人員費用（0元）； 模式識別、數(shù)字圖像處理視頻（0元）； 相關(guān)FPGA書籍以及網(wǎng)絡(luò)資源（0元）； 功耗：本身傳輸字符小容量并且使用交流電。 功耗因素影響較弱。 可靠性：達(dá)到60%識別率，車牌傾斜角度不超過10度內(nèi)， 可以成功識別。,系統(tǒng)階段產(chǎn)品時間,階段分析,階段一：理論調(diào)研 對車牌涉及的圖像、算法、模式識別、FPGA、總線協(xié)議知識進(jìn)行調(diào)研作為理論基礎(chǔ)。 階段二：分割字符

5、 將圖像數(shù)據(jù)輸入FPGA中，基于常用的垂直投影算法，使用變換的分割閾值，經(jīng)過迭代循環(huán)，達(dá)到字符分割。 階段三：識別 車牌上的字符由字母，數(shù)字，漢字構(gòu)成。由模式識別中的聚類來看一共是26+10+34個聚類中心，對采集來的數(shù)據(jù)進(jìn)行濾波等處理后進(jìn)行聚類 結(jié)構(gòu)匹配，由于已知是70個聚類，所以采用K均值聚類法來進(jìn)行分類決策 算法：在FPGA上使用軟核對其進(jìn)行K均值迭代計算，將樣本與已經(jīng)有的聚類通過最小距離進(jìn)行匹配。這里K中聚類的數(shù)目、初始值、模塊集合分布會影響算法速度，如果可以優(yōu)化出能快速選中相鄰的聚類，可以大大的提高實時要求。 階段四：定位 車牌的提取，采用多個特征（顏色分量，灰度圖，形狀大小）進(jìn)行對

6、車牌的定位提取出車牌圖像，F(xiàn)PGA上并行處理后給出決策判定。 階段五（*）：傳輸 通過通信協(xié)議進(jìn)行對經(jīng)過處理的圖像數(shù)據(jù)與PC的互聯(lián)。,關(guān)鍵技術(shù)分析,字符分割：將背景中有意義的單個字符提取出來，為識別打下基礎(chǔ)。 字符分割技術(shù)有許多比如：車牌區(qū)域紋理特征、數(shù)學(xué)形態(tài)學(xué)、Hough變換都能分割字符。 本系統(tǒng)字符分割流程：二值化-搜索字符邊界-執(zhí)行分割 由于字符塊在豎直方向上的投影必然在字符間取得局部最小，因此字符 正確分割位置應(yīng)該在上述局部最小值附近，所以采用垂直投影方法實現(xiàn)。 這里是基于車牌已經(jīng)定位情況。明確白色灰度值255，黑色灰度值0。 分割流程：二值化-搜索字符邊界-執(zhí)行分割 *)二值化：將灰

7、度圖像選取一個適當(dāng)?shù)拈撝底優(yōu)楹诎讏D像，可以根據(jù)需求 設(shè)置不同的閾值以便進(jìn)行分割。 *)尋找字符邊框：豎直掃描圖像出現(xiàn)灰度值連續(xù)超過某個定值，確定上下 邊界；橫向掃描圖像出現(xiàn)灰度值連續(xù)超過某個定值，確定左右邊界。也 可以采用Hough變換（原坐標(biāo)系下對應(yīng)的線在參數(shù)左邊系下呈現(xiàn)成點）求得。 *)字符分割：垂直投影就是豎直邊界內(nèi)掃描，小于某個定值即進(jìn)行分割。,字符識別：由于涉及模式識別、圖像處理、人工智能、計算機 等學(xué)科，識別方法多種多樣。 主要識別方法有：統(tǒng)計識別、結(jié)構(gòu)識別、神經(jīng)網(wǎng)絡(luò)字符識別、模板匹配字符識別。由于圖像環(huán)境復(fù)雜，統(tǒng)計和 結(jié)構(gòu)識別兩種傳統(tǒng)方法并不可靠，目前主要采用后兩類。 *)神經(jīng)網(wǎng)

8、絡(luò)字符識別具有良好容錯、分類、并行 處理能力，但是為 了保證識別率需要大量樣本，這就需要長時間學(xué)習(xí)。 *)模板匹配字符識別相對算法簡單，速度較快主要有簡單模板匹配、 外圍輪廓匹配、投影序列匹配、外圍輪廓投影匹配等。 本系統(tǒng)主要研究神經(jīng)網(wǎng)絡(luò)和模板匹配兩種方法。目前掌握知識還有所欠缺，邊做邊學(xué)。,關(guān)鍵技術(shù)分析,關(guān)鍵技術(shù)分析,車牌定位：車牌圖像中并不只包含車牌，還有車身、背景以及噪聲。 目的：在復(fù)雜環(huán)境中準(zhǔn)確快速找出車牌位置。 方法：水平灰度特征提取、邊緣檢測定位、車牌顏色特征提取、 Hough變換定位、小波變換、數(shù)學(xué)形態(tài)學(xué)等理論方法。 由于水平灰度特征對車體顏色依賴性、邊緣檢測后續(xù)工作依然復(fù)雜、小

9、波變換在FPGA上實現(xiàn)難度等特點，并且由于理論到實踐以及代碼實現(xiàn)有所差別，本系統(tǒng)將測試主要使用顏色特征提取，也將實驗Hough變換定位或者更多的方法進(jìn)行實驗。 其中顏色特征提取根據(jù)每個顏色都是由RGB分量構(gòu)成而RGB與灰度圖關(guān)系轉(zhuǎn)換成灰度圖像，由于車牌大部分是藍(lán)白和黑黃所以設(shè)定特定的閾值來進(jìn)行局部二值化后，從底部開始水品掃描，由于字符的存在，通過黑白變化的次數(shù)來確定字符上下界。,階段開發(fā)管理,實現(xiàn)客戶需要主要功能：即識別車牌。 開發(fā)中，每2周開次30分鐘例行會議，每周4人輪流寫份周報，提高交流溝通。 第二階段完成能交付客戶識別字符功能，與用戶交流（根據(jù)用戶需求看能否省略如疆等字符識別），給予充

10、足時間對主要需求進(jìn)行測試。 第三階段完成交付客戶車牌定位功能，根據(jù)進(jìn)度分析用戶是否需要變更或者額外功能。,風(fēng)險估計,1、管理和設(shè)計風(fēng)險（40%） 類似的成熟產(chǎn)品已經(jīng)出現(xiàn)，需要在別人的基礎(chǔ)上面，做得更好。 項目的時間很有限，需要完成的工作比較重。 2、技術(shù)風(fēng)險（50%） 需要學(xué)習(xí)模式識別、數(shù)字圖像處理、數(shù)字信號處理以及概率統(tǒng)計理論基礎(chǔ)課程和FPGA，以及一些軟件的使用。 需要攻克一些技術(shù)難點。 文字和圖像定位技術(shù)。 文字和圖像分割技術(shù)。 文字和圖像提取技術(shù)。 文字和圖像存儲技術(shù)。 將文字和圖像數(shù)據(jù)和FPGA關(guān)聯(lián)的技術(shù)。 模糊識別，排除環(huán)境干擾等等的技術(shù)。 節(jié)省流量技術(shù)。 3、保證產(chǎn)品的穩(wěn)定性與識別率（10%）,任務(wù)分解，成員分工,工程開發(fā)避免不了人力分配，考慮到考試等外界因素，在我們這次系統(tǒng)開發(fā)中兩個人負(fù)責(zé)一個功能模塊，不但防止人員變動造成產(chǎn)品延期，也能促進(jìn)成員對系統(tǒng)整體了解。,當(dāng)前進(jìn)度,按照課本以及相關(guān)FPGA書籍上測試程序在開發(fā)板上實驗（包括點亮LED、LCD庫內(nèi)字符顯示、開關(guān)控制LED和LCD），加深對FPGA了