基于Halcon的圖像識(shí)別系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā)

錯(cuò)誤!未找到引用源。。5.1軟件總體設(shè)計(jì)按照模塊化設(shè)計(jì)的思想，本文將軟件劃分為3個(gè)部分:圖像獲取模塊、圖像預(yù)處理模塊、圖像識(shí)別處理模塊。各部分順次執(zhí)行形成一個(gè)完整的車(chē)牌識(shí)別過(guò)程，如圖5-1所示。圖5-1軟件結(jié)構(gòu)圖Diagram5-1Softwarestructurediagram在細(xì)化好每一個(gè)模塊后，接下來(lái)要對(duì)車(chē)牌識(shí)別系統(tǒng)的人機(jī)交互界面進(jìn)行總體設(shè)計(jì)。按照軟件結(jié)構(gòu)圖來(lái)看，本系統(tǒng)一共有三大模塊，對(duì)界面空間的布局要進(jìn)行初步設(shè)計(jì)。本系統(tǒng)需要一個(gè)兩個(gè)圖像窗口，一個(gè)來(lái)讀取本地圖片，或者利用攝像頭功能讀取相機(jī)視頻照片，另一個(gè)用來(lái)單獨(dú)顯示車(chē)牌照片，需要一些按鈕來(lái)實(shí)現(xiàn)處理流程，需要一些文本框來(lái)顯示字符識(shí)別的處理結(jié)果。如圖5-2所示，就是簡(jiǎn)單的交互界面。

圖5-2系統(tǒng)界面設(shè)計(jì)圖Diagram5-2SystemHMIdesigndiagram5.2軟件詳細(xì)設(shè)計(jì)5.2.1圖像獲取模塊設(shè)計(jì)本模塊的功能是獲取待處理的圖片并顯示在圖像窗口，模塊用兩種方法實(shí)現(xiàn)，第一種用獲取本地圖片并顯示在窗口界面，實(shí)現(xiàn)過(guò)程是用MFC的DFileDlg對(duì)話框獲取圖片的路徑，將圖片路徑當(dāng)做參數(shù)用Halcon自帶的readImage()顯示，獲得第一步圖像處理的變量，并用halcon算子DispObj()顯示在界面，但要使用Halcon自帶的圖像窗口，則必須先初始化，用dev_open_window()，先獲取窗口句柄，并傳入函數(shù)中。第二種是用攝像頭獲取圖片，相關(guān)的功能有相機(jī)連續(xù)采集，停止連續(xù)采集，相機(jī)單幅采集和圖片保存的功能。要使用此功能，必須先連接相機(jī)，再按照所需功能進(jìn)行選擇，具體流程步驟如圖5-3所示。圖5-3圖像獲取流程圖Diagram5-3Imageacquisitionflowchar5.2.2圖像預(yù)處理模塊模塊的功能是對(duì)讀取到的圖片進(jìn)行預(yù)處理，將圖像濾波處理、圖像旋轉(zhuǎn)矯正后，然后將處理好的圖像送入下一步驟。模塊下有兩個(gè)功能，第一個(gè)功能是圖像灰度化處理，利用Halcon算子Rgb1ToGray(ho_Image,&grayImage)將一張彩色圖像灰度化處理，減少后續(xù)數(shù)據(jù)處理的時(shí)間。第二個(gè)功能是圖像矯正，利用前文提到的RGB模型轉(zhuǎn)成HSV模型，將提取到的Saturation通道的圖像和Saturation通道灰度值反轉(zhuǎn)的圖片進(jìn)行動(dòng)態(tài)閥值分割，部分具體代碼如下fill_up(SelectedRegions,RegionFillUp)\\填充車(chē)牌區(qū)域shape_trans(RegionFillUp,RegionTrans,'rectangle2')\\將填充區(qū)域轉(zhuǎn)換成帶方向矩形，orientation_region(RegionTrans,Phi)\\求得矩形區(qū)域與水平方向的角度，area_center(RegionTrans,Area,Row,Column)//求得圖片坐標(biāo)位置vector_angle_to_rigid(Row,Column,Phi,Row,Column,rad(180),HomMat2D)這一步從點(diǎn)和角度計(jì)算剛性角度變換，將圖像和區(qū)域都做這個(gè)旋轉(zhuǎn)變換，然后摳圖，再進(jìn)行圖像分割，affine_trans_image(Image,ImageAffinTrans,HomMat2D,'constant','false')(a)Image (b)RegionDynThresh(c)RegionFillUp (d)RegionTrans圖5-4圖像矯正處理過(guò)程Diagram5-4ImageCorrectionProcessing

圖5-5圖像矯正結(jié)果Diagram5-5Imagecorrectionresults圖5-5是已經(jīng)經(jīng)過(guò)灰度化和圖像旋轉(zhuǎn)矯正的區(qū)域，接下來(lái)將車(chē)牌區(qū)域送入下一個(gè)區(qū)域。 具體流程步驟如圖5-6所示圖5-6圖像預(yù)處理流程圖Diagram5-6Imagepreprocessingflowchart5.2.3圖像識(shí)別處理模塊本模塊包含三個(gè)功能，包括車(chē)牌定位，字體定位和字符識(shí)別，接下來(lái)分別描述功能算法設(shè)計(jì)。1.首先對(duì)第一個(gè)功能，車(chē)牌定位進(jìn)行介紹，定位功能是對(duì)前一模塊提取到的ImageAffinTrans圖片進(jìn)行處理，由于此圖片已經(jīng)是轉(zhuǎn)正圖片，接下來(lái)將車(chē)牌區(qū)域轉(zhuǎn)正，求一個(gè)車(chē)牌ROI和已矯正車(chē)牌的交集，得到車(chē)牌圖片，核心代碼原理如下所示。affine_trans_region(RegionTrans,RegionAffineTrans,HomMat2D,'nearest_neighbor')//進(jìn)行region旋轉(zhuǎn)的功能，將區(qū)域轉(zhuǎn)正成和圖片一樣角度的區(qū)域reduce_domain(ImageAffinTrans,RegionAffineTrans,ImageReduced)//將圖片和區(qū)域求一個(gè)交集，將車(chē)牌圖片ImageAffinTrans下來(lái)，以供后續(xù)處理crop_domain(ImageReduced,ImagePart) //將截取步驟得到的圖片大小進(jìn)行處理實(shí)現(xiàn)步驟如圖5-7所示。(a)RegionAffineTrans (b)ImageAffinTrans(c)ImagePart圖5-7車(chē)牌定位過(guò)程Diagram5-7ImageCorrectionProcessing

2.功能二是字體定位，盡管我們之前提取到了車(chē)牌區(qū)域圖片，但是距離識(shí)別還有一段距離，因此接下來(lái)，要將圖片上的字符進(jìn)行提取。代碼實(shí)現(xiàn)原理如下。threshold(GrayImage,Regions,147,249)opening_rectangle1(Regions,RegionOpening,10,10)dilation_rectangle1(RegionOpening,RegionDilation,19,31)threshold(Image:Region:MinGray:MaxGray)對(duì)灰度化處理的圖片進(jìn)行定值閥值分割，其中參數(shù)Image是輸入圖像，Region是灰度值介于最大灰度和最小灰度的區(qū)域點(diǎn)集合，參數(shù)MinGray和MaxGray是事先設(shè)定的固定的閥值，這里選擇147和249作為閥值。opening_rectangle1()是進(jìn)行矩形結(jié)構(gòu)的開(kāi)運(yùn)算算子，是在輸入?yún)^(qū)域Region上執(zhí)行一次腐蝕，然后再執(zhí)行一次膨脹操作，選用此算子的目的是減少對(duì)車(chē)牌有用區(qū)域的干擾，提高準(zhǔn)確程度。如圖5-7是閥值分割的處理結(jié)果。(a)Regions (b)RegionOpening圖5-7閥值分割過(guò)程Diagram5-7Thresholdsegmentationprocess從處理結(jié)果來(lái)看圖（a）Regions是經(jīng)過(guò)閥值分割得到的結(jié)果，灰度閥值147-249的設(shè)置已經(jīng)很好的到了字體區(qū)域，但還是有部分框線和點(diǎn)干擾，因此經(jīng)過(guò)開(kāi)運(yùn)算得到圖（b）RegionOpening，從這幅處理結(jié)果相比上一幅圖片，已經(jīng)去掉了大部分干擾區(qū)域，剩余的字體已經(jīng)符合識(shí)別要求。 3.最后一個(gè)功能是進(jìn)行車(chē)牌字體識(shí)別，將上一步得到的RegionOpening中包含的字符進(jìn)行識(shí)別，加載用于事先訓(xùn)練的分類(lèi)器句柄，用分類(lèi)器進(jìn)行學(xué)習(xí)分類(lèi)。Halcon中支持mlp、svm等分類(lèi)器模型，本文選用svm分類(lèi)器。在使用分類(lèi)器的第一步就是進(jìn)行訓(xùn)練，首先獲取訓(xùn)練車(chē)牌圖片。訓(xùn)練第一步是從樣本圖片中獲得字符，從車(chē)牌中分割出字符不需要車(chē)牌定位，只需從圖片中框選出車(chē)牌字體即可。首先繪制除開(kāi)省字簡(jiǎn)寫(xiě)以外的6位字符，這6位字符是采用大寫(xiě)數(shù)字和字母組成。具體過(guò)程如下。draw_rectangle1(WindowHandle,Row1,Column1,Row2,Column2)gen_rectangle1(Rectangle,Row1,Column1,Row2,Column2)reduce_domain(GrayImage,Rectangle,ImageReduced)draw_rectangle1()的功能是在HDevelop界面劃出矩形區(qū)域框，用于框選字符，Row1,Column1和Row2,Column2兩組數(shù)組分別代表矩形左上角和右下角的坐標(biāo)。gen_rectangle1()是在前者獲取到的坐標(biāo)上繪制一個(gè)矩形，生成一個(gè)ROI區(qū)域。reduce_domain()函數(shù)參數(shù)、功能同上。提取到ROI后進(jìn)行閥值分割，提取出字體。接下來(lái)提取車(chē)牌中漢字部分，也是同樣的函數(shù)和效果。提取過(guò)程如圖5-8所示。(a)draw_rectangle1 (b)Rectangle(c)除去省的字符 (d)接收所有提取得到的字符圖5-8閥值分割過(guò)程Diagram5-8Thresholdsegmentationprocess然后將每一個(gè)區(qū)域和字符進(jìn)行關(guān)聯(lián)，形成一一對(duì)應(yīng)關(guān)系。words:=['遼','H','2','S','5','3','5']sort_region(EmptyObject,SortedRegions1,'character','true','row')forIndex1:=1to7by1select_obj(SortedRegions1,ObjectSelected1,Index1)append_ocr_trainf(ObjectSelected1,Image,words[Index1-1],'F:/bishe/OCR/CarNum_TEST.trf')endfor這段代碼先將區(qū)域EmptyObject進(jìn)行排序處理，然后通過(guò)for循環(huán)的方式追加到之前創(chuàng)建好的分類(lèi)器句柄中，append_ocr_trainf中參數(shù)表示字符的區(qū)域（包括它們的灰度值（區(qū)域和像素）和相應(yīng)的類(lèi)別名稱）將被寫(xiě)入訓(xùn)練文件中，最后所有區(qū)域?qū)?yīng)完畢，寫(xiě)入訓(xùn)練文件步驟結(jié)束，Halcon提供了OCR字符識(shí)別助手，可以查看其中灰度值圖片和類(lèi)別名稱的對(duì)應(yīng)關(guān)。如圖5-9所示

圖5-9OCR訓(xùn)練助手Diagram5-9OCRTrainingAssistant從訓(xùn)練助手中可以看到每一張圖片的灰度值和分類(lèi)標(biāo)簽聯(lián)系在一起，接下來(lái)就是要對(duì)字符進(jìn)行分別訓(xùn)練。進(jìn)行訓(xùn)練的過(guò)程如下：首先讀取訓(xùn)練文件，read_ocr_trainf_names()，然后進(jìn)行訓(xùn)練，這里用Halcon自帶的SVM分類(lèi)器進(jìn)行訓(xùn)練：create_ocr_class_svm(width,hight,'constant','default',CharacterNames,'rbf',0.02,0.05,'one-versus-one','normalization',10,OCRHandle)，halcon中默認(rèn)的核函數(shù)類(lèi)型為’rbf’,徑向基核函數(shù)參數(shù)默認(rèn)為0.02，SVM的正則化常數(shù)為0.05。訓(xùn)練完畢后寫(xiě)入文件內(nèi)，結(jié)束訓(xùn)練過(guò)程。得到訓(xùn)練文件后可以對(duì)選擇到的區(qū)域進(jìn)行訓(xùn)練。訓(xùn)練結(jié)果如圖5-10所示。

圖5-10訓(xùn)練識(shí)別結(jié)果Diagram5-10Trainingrecognitionresults圖像處理流程圖如5-11所示。圖5-11圖像特征提取和識(shí)別流程圖Diagram5-11imagefeatureextractionandrecognitionflowchart5.2.4交互界面設(shè)計(jì)車(chē)牌識(shí)別系統(tǒng)主要包括圖片源獲取、預(yù)處理、車(chē)牌定位、車(chē)牌字體、字體識(shí)別和字體識(shí)別等幾個(gè)功能。主要界面設(shè)計(jì)如圖5-12所示。主要分為MFC按鈕控件、文本框控件和圖片顯示窗口三個(gè)部分。按鈕控件的功能又分為三類(lèi)，第一類(lèi)是圖片獲取模塊，包括：打開(kāi)圖片、連接相機(jī)、斷開(kāi)相機(jī)、采集保存、相機(jī)連續(xù)采集、停止連續(xù)采集和相機(jī)單幅采集。第二類(lèi)是圖像預(yù)處理模塊，包括灰度化和車(chē)牌矯正。第三類(lèi)是圖像特征提取和識(shí)別模塊,包括：車(chē)牌定位、字體定位和字體識(shí)別。運(yùn)行步驟是每次點(diǎn)擊一次按鈕，按鈕執(zhí)行對(duì)圖像的操作，將圖像執(zhí)行的結(jié)果顯示在圖像窗口。左上角窗口為圖像主要顯示區(qū)域，右上角窗口是車(chē)牌區(qū)域顯示窗口，下方是7個(gè)車(chē)牌經(jīng)過(guò)圖像分割后得到的字符圖片，當(dāng)按下字體識(shí)別按鈕時(shí)，整個(gè)車(chē)牌識(shí)別步驟結(jié)束，將車(chē)牌識(shí)別結(jié)果和車(chē)牌處理時(shí)間顯示在文本窗口。圖5-12系統(tǒng)界面設(shè)計(jì)圖Diagram.5-12SystemHMIdesigndiagram

6編碼與測(cè)試6.1編碼軟件設(shè)計(jì)和編碼非常重要，因?yàn)榫幋a是使用一種語(yǔ)言來(lái)實(shí)現(xiàn)軟件設(shè)計(jì)的結(jié)果，而編碼則進(jìn)一步描述了軟件設(shè)計(jì)的結(jié)果。但是，在編碼之前，必須在實(shí)現(xiàn)其代碼之前選擇適當(dāng)?shù)恼Z(yǔ)言。在編碼部分設(shè)計(jì)正確的語(yǔ)言并不難，可以節(jié)省大量時(shí)間，節(jié)省大量人員，使程序易于理解和維護(hù)。6.1.1編碼標(biāo)準(zhǔn)（1）需要滿足系統(tǒng)用戶的要求。（2）編譯器需要滿足并且可以使用。（3）軟件工具需要可用。（4））項(xiàng)目的規(guī)模。（5）程序員的知識(shí)。（6）軟件可移植性和標(biāo)準(zhǔn)化要求。（7）軟件的應(yīng)用范圍。6.1.2開(kāi)發(fā)工具選擇本系統(tǒng)選用VisualStudio2017作為c++人機(jī)界面設(shè)計(jì)和業(yè)務(wù)流程邏輯設(shè)計(jì)，HDevelop作為車(chē)牌識(shí)別部分的開(kāi)發(fā)平臺(tái)，因?yàn)镠alcon是由德國(guó)MVtec開(kāi)發(fā)的機(jī)器視覺(jué)軟件包，具有顏色分析，識(shí)別，面積校正，形態(tài)計(jì)算和OCR識(shí)別等全部功能。此外，Halc還將HDevelop作為圖形界面，供用戶快速開(kāi)發(fā)，使用戶可以輕松開(kāi)發(fā)識(shí)別系統(tǒng)。圖6-1顯示了基于Halcon平臺(tái)的開(kāi)發(fā)過(guò)程。圖6-1基于Halcon開(kāi)發(fā)軟件設(shè)計(jì)流程Diagram6-1SoftwaredesignprocessbasedonHalcon6.1.3源程序清單（詳情請(qǐng)見(jiàn)附錄C）6.2測(cè)試根據(jù)不同的應(yīng)用目的，設(shè)計(jì)了兩組車(chē)牌圖片測(cè)試用例對(duì)系統(tǒng)進(jìn)行測(cè)試。6.2.1圖片獲取模塊測(cè)試這個(gè)測(cè)試實(shí)驗(yàn)是對(duì)圖像獲取模塊的測(cè)試，這項(xiàng)測(cè)試的目的是:驗(yàn)證系統(tǒng)運(yùn)行時(shí)圖像源的選擇的正確性，能夠正確選擇本地文件的圖像數(shù)據(jù)，也能夠選擇攝像頭的采集方式獲取圖像源，前提是連接相機(jī)和斷開(kāi)相機(jī)功能正常。通過(guò)反復(fù)的實(shí)驗(yàn)與校正，系統(tǒng)能夠成功的連接相機(jī)以獲得圖像源，并且能夠在不需要相機(jī)的時(shí)候斷開(kāi)連接相機(jī)。與此同時(shí)能夠根據(jù)當(dāng)前所處的運(yùn)行狀態(tài)能夠使某些按鈕失效，以消除程序執(zhí)行過(guò)程中的人為錯(cuò)誤操作。同樣能夠按照系統(tǒng)的需求通過(guò)讀取本地磁盤(pán)的文件的方式來(lái)獲取圖片源。具體測(cè)試結(jié)果如圖6-2至圖6-7所示。

圖6-2打開(kāi)本地圖片Diagram.6-2OpenLocalPictures圖6-3打開(kāi)本地圖片失敗Diagram.6-3Failedtoopenlocalimage圖6-4打開(kāi)本地圖片成功Diagram.6-4Successtoopenlocalimage圖6-2至圖6-4是顯示打開(kāi)本地圖片的測(cè)試流程，其中包括打開(kāi)文件失敗的錯(cuò)誤信息圖，測(cè)試打開(kāi)本地文件模塊正常。圖6-5連接相機(jī)成功Diagram.6-5SuccessfulConnectionofCameras圖6-6相機(jī)采集界面Diagram.6-6Cameraacquisitioninterface圖6-7采集圖像保存界面Diagram6-7ImageAcquisitionandPreservationInterface圖6-5至圖6-7顯示連接相機(jī)并保存采集圖片的測(cè)試流程，其中包括保存文件的界面圖，測(cè)試連接相機(jī)保存模塊正常。6.2.2圖片預(yù)處理模塊測(cè)試這個(gè)測(cè)試實(shí)驗(yàn)是對(duì)圖像預(yù)處理模塊的測(cè)試，這項(xiàng)測(cè)試的目的是:在用戶成功讀取本地圖片到操作界面或打開(kāi)相機(jī)采集到圖片的前提下，用戶能夠?qū)D片進(jìn)行預(yù)處理，包括圖像灰度化和圖像矯正，與此同時(shí)能夠根據(jù)當(dāng)前所處的運(yùn)行狀態(tài)能夠使某些按鈕失效，以消除程序執(zhí)行過(guò)程中的人為錯(cuò)誤操作。具體測(cè)試結(jié)果如圖6-7至圖6-9所示。

圖6-8灰度化處理結(jié)果Diagram6-8Grayscaleprocessingresults圖6-9圖像矯正處理結(jié)果Diagram6-9ImageCorrectionProcessingResults圖6-8至圖6-9顯示圖像預(yù)處理中灰度化和圖像矯正的測(cè)試流程，測(cè)試圖像預(yù)處理模塊正常。6.2.3圖片識(shí)別處理模塊測(cè)試這個(gè)測(cè)試實(shí)驗(yàn)是對(duì)圖像處理模塊的測(cè)試，這項(xiàng)測(cè)試的目的是:在用戶對(duì)圖片預(yù)處理的前提下，用戶能夠?qū)D片進(jìn)行車(chē)牌識(shí)別處理，包括車(chē)牌定位、字體定位和字體識(shí)別，與此同時(shí)能夠根據(jù)當(dāng)前所處的運(yùn)行狀態(tài)能夠使某些按鈕失效，以消除程序執(zhí)行過(guò)程中的人為錯(cuò)誤操作。具體測(cè)試結(jié)果如圖6-10至圖6-12所示。圖6-10車(chē)牌定位處理結(jié)果Diagram6-10LicensePlateLocationProcessingResults

圖6-11字體定位處理結(jié)果Diagram6-11FontLocationProcessingResults圖6-12字體識(shí)別處理結(jié)果Diagram6-12FontRecognitionProcessingResults圖6-10至圖6-12顯示車(chē)牌識(shí)別系統(tǒng)中車(chē)牌定位、字體定位和字體的測(cè)試流程，測(cè)試圖像識(shí)別處理模塊正常。6.2.4測(cè)試結(jié)果分析車(chē)牌識(shí)別系統(tǒng)的各個(gè)模塊都已經(jīng)通過(guò)了測(cè)試，各個(gè)模塊都已經(jīng)達(dá)到了預(yù)期的效果。車(chē)牌圖片的識(shí)別準(zhǔn)確率也能經(jīng)過(guò)多張車(chē)牌圖片的測(cè)試，符合識(shí)別的準(zhǔn)確率。

7結(jié)論本文對(duì)于用于車(chē)牌識(shí)別系統(tǒng)算法進(jìn)行了分析對(duì)比，為不同的情況下選擇了適合本系統(tǒng)的算法處理流程。對(duì)于傳統(tǒng)中車(chē)牌識(shí)別依賴形狀選擇以及定值閥值分割處理的過(guò)程，將RGB顏色模型轉(zhuǎn)成HSV模型，利用圖像中車(chē)牌區(qū)域的灰度差值，運(yùn)用更加合理的動(dòng)態(tài)閥值分割處理車(chē)牌定位問(wèn)題。研究了Halcon的存儲(chǔ)ROI區(qū)域的存儲(chǔ)方式，減少了空間復(fù)雜度。對(duì)比分析了圖像預(yù)處理算法中的幾種濾波算法，并選取了適合本系統(tǒng)的濾波算法。研究了特征提取的方法，對(duì)比分析了幾種閾值分割的方法優(yōu)勢(shì)與不足，并且在形狀選擇上設(shè)置更加合理。研究了Halcon中OCR字符識(shí)別的處理流程，對(duì)Halcon中分類(lèi)器的簡(jiǎn)單使用有了解，能成功識(shí)別出正確的車(chē)牌結(jié)果。在上述理論研究的基礎(chǔ)上，實(shí)現(xiàn)了車(chē)牌字符識(shí)別的機(jī)器視覺(jué)檢測(cè)系統(tǒng)。本文的主要工作和成果如下（1）研究對(duì)比了圖像灰度化過(guò)程中灰度圖的求取。對(duì)比采用三通道的灰度圖通過(guò)平均計(jì)算、加權(quán)、最大值等方法求取灰度圖和采用HSV的灰度圖作為圖像處理的輸入灰度圖數(shù)據(jù)。得出采用HSV模型的灰度圖作為某一檢測(cè)過(guò)程的灰度圖相比通過(guò)RGB模型得到的灰度圖效果更好。（2）根據(jù)圖像的情況，對(duì)比采用平滑濾波、中值濾波等濾波器在本系統(tǒng)中的適用性，選取適用于本系統(tǒng)的圖像預(yù)處理算法。（3）在閥值分割的過(guò)程中，分析對(duì)比了定值閾值分割和動(dòng)態(tài)閥值分割算法優(yōu)勢(shì)和不足。選取了動(dòng)態(tài)閥值分割作為系統(tǒng)閾值分割的算法，對(duì)車(chē)牌處理的范圍更大，魯棒性會(huì)更強(qiáng)一些。然而本系統(tǒng)仍需要進(jìn)一步進(jìn)行開(kāi)發(fā)和研究。因?yàn)楸鞠到y(tǒng)只是實(shí)現(xiàn)了