基于halcon的IC卡檢測

1、基于halcon的IC卡檢測專業(yè)：通信工程班 級：通信6班學號：20123100016姓名：李思杭指導老師：胡曉輝摘 要現(xiàn)代化的卡片生產(chǎn)都是流水線式的大規(guī)模生產(chǎn),在流水線的前端噴碼機噴碼后,在噴碼過程中難免會出現(xiàn)諸如部分字符漏印，字符不完整，字符混亂，字符位置不對，字符的字體不對或不一致等缺陷。因此,需要在線實時的對噴碼結(jié)果進行識別檢測,以便及時剔除噴印錯誤的卡片,減少或消除卡片發(fā)行公司的損失。為此有必要研究一種檢測速度快，準確率高的IC卡字符識別系統(tǒng),對噴印字體符號進行可靠的檢驗,本系統(tǒng)研究高速運動中的噴碼字符定位和識別,包括數(shù)字，字母和條碼,解決機器視覺在高速運動中由于圖像對比度差，ROI

2、區(qū)域變化范圍大，圖像運動模糊，圖像處理時間長影響生產(chǎn)率，識別準確率低，等技術(shù)難題,滿足包裝業(yè)，制卡業(yè)等對噴碼質(zhì)量存在在線檢測要求的場合?；谝陨纤枷?我們通過使用德國MVetc公司的機器視覺軟件Halcon來搭建整個視覺系統(tǒng),使用一種先進行字符分割后識別目標字符區(qū)域的新的字符定位算法,并用基于圖像處理底層的Halocn函數(shù)實現(xiàn)神經(jīng)網(wǎng)絡識別字符算法和新的條碼識別和譯碼算法，通過這些算法的實現(xiàn),解決包裝，制卡業(yè)高速生產(chǎn)線上噴碼后字符(數(shù)字，字母和條碼)的檢測與識別的難題,識別速度快，突破包裝，制卡等行業(yè)在生產(chǎn)過程中提高生產(chǎn)速度所面臨的技術(shù)瓶頸,提升該行業(yè)設備的整體水平和在國際市場上的競爭力。關鍵字

3、: 機器視覺 Halocn圖像處理 字符識別 噴碼條形碼1 機器視覺軟件Halcon的介紹HALCON是德國MVTec公司開發(fā)的一套完善的標準機器視覺算法包，擁有應用廣泛的機器視覺集成開發(fā)環(huán)境。它節(jié)約了產(chǎn)品的成本，縮短了軟件的開發(fā)周期HALCON靈活的架構(gòu)便于機器視覺，醫(yī)學圖像和圖像分析應用的快速開發(fā)。HALCON提供了卓越的性能，并全面地支持多核平臺和特殊指令集(如AVX2)，以及GPU加速。HALCON可應用于所有行業(yè)，其提供的函數(shù)庫已被使用在成千上萬的各行各業(yè)應用系統(tǒng)中，包括blob分析、形態(tài)學、匹配、測量、識別和3D視覺等。HALCON支持Windows、Linux和OSX操作環(huán)境，它

4、保證了投資的有效性。整個函數(shù)庫都可以用C、C+和.NET(如C#或VB.NET)等多種通用編程語言訪問。HALCON為百余種工業(yè)相機和圖像采集卡提供接口，包括GenlCam、GigEVision和USB3Vision等標準接口，保證了硬件的獨立性。halcon的運行窗口：圖1二本系統(tǒng)的內(nèi)容與創(chuàng)新點研究一種準確提取識別區(qū)域的方法,在待識別的圖像中,快速準確地定位待識別的字符或者條碼區(qū)域研究噴碼字符(數(shù)字和字母)，利用神經(jīng)網(wǎng)絡識別算法,對特定區(qū)域的字符或者條形碼進行準確的識別。深入研究和學習Halocn視覺軟件,運用利用halcon基于底層的圖像處理算法,提高圖像處理的速度和檢測精度,滿足高速檢測

5、對圖像處理速度的要求三系統(tǒng)組成結(jié)構(gòu)圖圖像采集模塊模式匹配模塊條形碼識別字符識別識別結(jié)果顯示圖2整個系統(tǒng)的軟件的組織結(jié)構(gòu)如圖2所示,由圖像采集模塊動態(tài)采集一幅圖像（這部分本系統(tǒng)沒有做）,先對一張模板進行訓練，然后用基于形狀的模板匹配方法找到圖像中的特征點,從而獲得條形碼，字符的ROI區(qū)域,然后對這些區(qū)域進行圖像處理和識別，由于條件在圖像采集模塊部分沒有對應的CCD相機，所以本系統(tǒng)做主要是利用采集好的照片，再進行之后的模板匹配模塊，條形碼匹配模塊，字符識別模塊，檢測輸出結(jié)果模塊的部分四系統(tǒng)各模塊原理分析（一）模板匹配模塊：模板匹配是數(shù)字圖像處理的重要組成部分之一。把不同傳感器或同一傳感器在不同時間

6、、不同成像條件下對同一景物獲取的兩幅或多幅圖像在空間上對準,或根據(jù)已知模式到另一幅圖中尋找相應模式的處理方法就叫做模板匹配。HDevelop開發(fā)環(huán)境中提供的匹配的方法主要有三種，即Component-Based、Gray-Value-Based、Shape-Based,分 別是基于組件（或成分、元素）的匹配，基于灰度值的匹配和基于形狀的匹配。這三種匹配的方法各具特點，分別適用于不同的圖像特征，但都有創(chuàng)建模板和尋找模板的相同過程。過程如下（圖3）：選擇圖像在待測圖上畫出ROI選擇圖像參數(shù)選擇創(chuàng)建模板模板匹配參數(shù)選擇創(chuàng)建ROI圖3圖4圖4為在halcon中可以使用工具箱實現(xiàn)這一過程此過程中的關鍵語

7、句：創(chuàng)建一個模板：create_shape_model(TemplateImage,5,rad(0),rad(360),rad(0.4313),point_reduction_high,no_pregeneration, use_polarity, 10,11,74, 4, ModelId)根據(jù)模板去匹配，返回匹配結(jié)果的中心點坐標（ModelRow, ModelColumn）：find_shape_model (Image, ModelId, rad(0), rad(360), 0.5, 1, 0.5, least_squares, 5, 0.75, ModelRow, ModelColumn

8、, ModelAngle, ModelScore)（二）字符識別模塊：1.傳統(tǒng)的字符識別方法a.模板匹配它實現(xiàn)簡單,當字符較規(guī)整時對字符圖像的缺損，污跡干擾適應能力強,且識別率相當高(對數(shù)字識別率9既),但對字符的旋轉(zhuǎn)，縮放，變形容忍度低。b.根據(jù)字符圖像的統(tǒng)計特征匹配該方法通過計算字符圖像的全部或部分的期望與方差實現(xiàn)字符識別,雖對字符的旋轉(zhuǎn)，縮放，變形具有一定容忍度但總體識別率較低。c.基于字符圖象的變換進行匹配通過將字符與標準模板分別進行傅立葉或余弦變換后進行對比,雖對字符的旋轉(zhuǎn)，縮放，變形具有較高容忍度,但對字符的短小細節(jié)分辨率不夠(例如Q，0難以區(qū)分)。d.對字符結(jié)構(gòu)進行分析的識別方法

9、它對字符的旋轉(zhuǎn)，縮放，變形具有最好的容忍度,但實現(xiàn)困難,許多實現(xiàn)方法尚在探索之中。此系統(tǒng)從實時以及卡片字符常有一些斷筆，扭曲，污損等現(xiàn)象的角度考慮,本文在綜合考慮各種方法的優(yōu)劣性之后,選用基于BP神經(jīng)網(wǎng)絡的字符識別算法。2. 基于BP神經(jīng)網(wǎng)絡的字符識別分割字符，字符識別訓練神經(jīng)網(wǎng)絡建立字符識別分類器基于 HALCON 的神經(jīng)網(wǎng)絡訓練，首先要生成一個訓練文件，文件內(nèi)容包含字符樣本圖像和對應的目標輸出結(jié)果。HALCON在接下來網(wǎng)絡訓練的過程中，會自動提取這些字符的一些特征向量，例如字符的筆劃寬度、筆劃方向、噪聲程度、灰度值等，映射到某一個輸出結(jié)果，并根據(jù)目標向量與輸出結(jié)果的誤差反向調(diào)節(jié)字符識別網(wǎng)絡

10、的權(quán)值，訓練得到最理想的網(wǎng)絡，使之適用。HALCON 訓練文件生成過程中， 需要用到大量的字符樣本， 這些從多張張字符圖片中獲得， 圖片中包含了數(shù)字和大小寫字母，不同的圖片中字符的特征稍微不同。 通過HALCON實現(xiàn)輸入圖片中字符的分割，從而獲得字符樣本，再利用函數(shù)生成訓練文件。得到訓練文件后，就可以對字符進行訓練，調(diào)用函數(shù)輸入?yún)?shù)包含訓練文件和訓練停止條件，最終訓練生成“.omc”類型的神經(jīng)網(wǎng)絡文件，即字符分類器文件。然后就可以調(diào)用函數(shù)進行字符識別了。整個過程可以如下圖所示：關鍵的halcon語句：創(chuàng)建神經(jīng)網(wǎng)絡分類器create_ocr_class_mlp(8, 10, constant,

11、default, CharacterNames, 80, none, 10, 42, OCRHandle)訓練神經(jīng)網(wǎng)絡trainf_ocr_class_mlp(OCRHandle, TrainFile, 200, 1, 0.01, Error, ErrorLog)根據(jù)訓練文件進行識別：do_ocr_multi_class_mlp(TestWordsSortedRegions, TemplateImage2, OCRHandle1, Class, Confidence)（三）條形碼識別模塊1.條形碼介紹條碼(barcode)是由一組按一定編碼規(guī)則排列的條空符號，用以表示一定的字符,數(shù)字及符號組成

12、的信息。條碼系統(tǒng)是由條碼符號設計,制作及掃描閱讀組成的自動識別系統(tǒng)。條碼卡分為一維碼和二維碼兩種。一維碼比較常用，如日常商品外包裝上的條碼就是一維碼。它的信息存儲量小，僅能存儲一個代號，使用時通過這個代號調(diào)取計算機網(wǎng)絡中的數(shù)據(jù)。2. 圖像識別條形碼的原理首先對條形碼圖像進行圖像預處理,用中心檢測，相似邊測量方法來判別條空,再通過譯碼，校驗，糾錯處理來識讀，這樣就可以大大排除以上各種因素的干擾,提高條碼的識讀率。3. 在halcon中識別條形碼的步驟創(chuàng)建模板create_bar_code_model (, , BarCodeHandle) 使用模板，DecodedDataStrings保存識別到的結(jié)果find_bar_code (GrayImage, SymbolRegions, BarCodeHandle, auto, DecodedDataStrings) 五系統(tǒng)實現(xiàn)過程及結(jié)果1.系統(tǒng)運行界面界面由4個按鈕和一個文本框還有一個halcon窗口控件組成，其中“模板選擇”用來選擇一張在Halcon中提前訓練好的模板?！斑x擇圖像”按鈕可以選擇一張圖像，借此來模擬采集部分。用來測試有3張不同的圖片（位置不同，模擬高速采集中圖像的變化）識別結(jié)果從文本框輸出2. 系統(tǒng)運行時，后臺先對訓練