TwinCAT Vision 光學(xué)字符(OCR)識(shí)別

第6頁(yè)TwinCATVision光學(xué)字符(OCR)識(shí)別TwinCATVision光學(xué)字符(OCR)識(shí)別作者：何丹莉職務(wù)：數(shù)據(jù)工程師公司：BECKHOFF中國(guó)郵箱：dl.he@日期：2024-04-25摘要：光學(xué)字符識(shí)別（OCR）技術(shù)實(shí)現(xiàn)從圖像中高效提取文字，極大減輕了人工錄入負(fù)擔(dān)。本文介紹的OCR功能可識(shí)別圖像中的字符，并以字符串形式返回識(shí)別到的字符序列，專(zhuān)用于識(shí)別數(shù)字0-9、特殊字符/-:=和大寫(xiě)字母A-Z。（OCR）功能在研發(fā)過(guò)程中使用了經(jīng)典機(jī)器學(xué)習(xí)算法來(lái)構(gòu)建模型，模型已經(jīng)過(guò)預(yù)訓(xùn)練，用戶(hù)在使用OCR功能時(shí)無(wú)需進(jìn)行額外的設(shè)置或自定義訓(xùn)練。附件：序號(hào)文件名備注1TF7xxx_OCR.tnzip例程2TF7xxx_OCR示例圖片示例圖片歷史版本：免責(zé)聲明：我們已對(duì)本文檔描述的內(nèi)容做測(cè)試。但是差錯(cuò)在所難免，無(wú)法保證絕對(duì)正確并完全滿(mǎn)足您的使用需求。本文檔的內(nèi)容可能隨時(shí)更新，如有改動(dòng)，恕不事先通知，也歡迎您提出改進(jìn)建議。參考信息：目錄1. 軟硬件版本 41.1. 倍福Beckhoff 42. 準(zhǔn)備工作 42.1. 軟件安裝 43. 代碼使用以及講解 43.1. 圖像采集 43.2. 代碼講解 43.3. 具體操作步驟與結(jié)果圖 63.4. 對(duì)字符的要求 73.5. 對(duì)圖像的一般要求 73.6. 對(duì)字體的要求 7

軟硬件版本倍福Beckhoff測(cè)試操作系統(tǒng)：Win11；軟件版本：TwinCAT3FULL版本V3.1.4024.50；TF7xxx插件版本：Ver.。測(cè)試本樣例時(shí)可以使用附件中的離線(xiàn)圖像文件對(duì)算法進(jìn)行驗(yàn)證，因此不需要連接相機(jī)即可測(cè)試。準(zhǔn)備工作軟件安裝在Windows操作系統(tǒng)上安裝TwinCATVisionFULL版本V3.1.4024.50，同時(shí)需要安裝TwinCATVision的插件TF7xxx，本測(cè)試中安裝的是Ver.。TF7xxx版本下載鏈接：/zh-cn/products/automation/twincat/tfxxxx-twincat-3-functions/tf7xxx-vision/tf7800.html?代碼使用以及講解圖像采集本例中使用TwinCATVision的離線(xiàn)仿真功能，通過(guò)算法對(duì)Filesource（offline）圖像進(jìn)行處理。文件圖像采集通過(guò)從文件系統(tǒng)中加載到TwinCAT實(shí)時(shí)系統(tǒng)中，具體操作方法：VISION節(jié)點(diǎn)>FileSource>FileSourceControl。如上圖所示，將文件夾images中的圖片加載到FileSourceControl中。代碼講解首先是main程序中，開(kāi)始部分為條件語(yǔ)句，用于初始化OCR模型。如果初始化成功，則將bInitialized標(biāo)志設(shè)置為T(mén)RUE。下面實(shí)現(xiàn)對(duì)OCR模型的初始化狀態(tài)進(jìn)行檢查，以便釋放資源或進(jìn)行重新初始化。以下代碼會(huì)獲取當(dāng)前圖像，并進(jìn)行一系列預(yù)處理操作，如轉(zhuǎn)換顏色空間、設(shè)置ROI、形態(tài)學(xué)處理等。其中，在設(shè)置ROI區(qū)域時(shí)，調(diào)用F_GetROI功能塊，功能塊主要作用根據(jù)文件名（sFileName）設(shè)置了不同的感興趣區(qū)域（ROI）和相關(guān)參數(shù)，不同的圖像進(jìn)行靈活的圖像處理和OCR識(shí)別。例如，圖片名為OCR01.png，設(shè)置感興趣區(qū)域（ROI）的左上角坐標(biāo)為(86,34)，寬度為263像素，高度為102像素，二值化閾值為150，sPattern參數(shù)指定了字符的期望格式，例如"dd#dd#dd"表示數(shù)字與特殊符號(hào)交替出現(xiàn)的格式，可以與圖片中日期格式"12.11.20"對(duì)應(yīng)。然后是調(diào)用OCR函數(shù)的部分。根據(jù)是否使用高級(jí)功能（bUseExpFunction），調(diào)用不同的OCR函數(shù)進(jìn)行字符識(shí)別。F_VN_OCR和F_VN_OCRExp函數(shù)傳遞給ipSrcImage參數(shù)的輸入圖像必須是一個(gè)單通道的二值圖像，白色字符、黑色背景。ETcVnOcrModelType是一個(gè)枚舉類(lèi)型，提供了不同的OCR模型類(lèi)型。TCVN_OMT_NUMBERS：用于識(shí)別數(shù)字。TCVN_OMT_NUMBERS_SC：用于識(shí)別數(shù)字和特殊字符。TCVN_OMT_UCLETTERS：用于識(shí)別大寫(xiě)字母。TCVN_OMT_NUMBERS_SC_UCLETTERS：用于識(shí)別數(shù)字、特殊字符和大寫(xiě)字母。具體操作步驟與結(jié)果圖將示例圖像添加到FileSource1控件；根據(jù)自己提供的圖片更改F_GetROI中參數(shù)，如文件名，ROI區(qū)域以及二值化閾值等。激活配置->啟動(dòng)TwinCAT系統(tǒng)和PLC運(yùn)行->在ADSImageWatch中觀察結(jié)果；bUseExpFunction在OCR標(biāo)準(zhǔn)和專(zhuān)家功能之間切換以圖片OCR_01.png為例，將圖像加載到FileSource之后，激活配置直接下載程序。在這段代碼中，已經(jīng)設(shè)置好了F_GetROI函數(shù)的參數(shù)，不需要進(jìn)行更改。因此，將bUseExpFunction設(shè)置為T(mén)RUE，然后觀察ADSImageWatch處理結(jié)果。下圖展示了對(duì)ROI區(qū)域進(jìn)行二值化處理后的結(jié)果，并去除了與圖像邊界相連的亮物體。這一步驟的目的是確保只保留圖像中的有效信息，從而更精確地進(jìn)行字符識(shí)別。二值化處理后邊緣高亮區(qū)域結(jié)果為：最終識(shí)別的OCR結(jié)果圖為：對(duì)字符的要求字符高度至少為20像素；筆畫(huà)寬度至少為3像素；點(diǎn)的最小尺寸為3x3像素；線(xiàn)條的最小尺寸為3x6像素；字符間距至少為4像素；字符不能重疊；字符的水平排列最大偏轉(zhuǎn)角度為±6°；字符的線(xiàn)條不能斷開(kāi)；對(duì)圖像的一般要求ROI（感興趣區(qū)域）僅包含文本及其周?chē)鷽](méi)有干擾的區(qū)域字符和背景之間有良好的對(duì)比度背景應(yīng)為均勻的、沒(méi)有噪點(diǎn)或干擾的、不透明的背景對(duì)字體的要求僅允許使用等寬字體，字符間距和字符寬度相等較大的間距只會(huì)被識(shí)別為一個(gè)空格僅允許使用無(wú)襯線(xiàn)字體，如（Arial，Tahoma，Courier，Univers，F(xiàn)rutiger，Verdana，OCR-B）不允許混合字體不允許使用點(diǎn)式打?。c(diǎn)式字體）或斜體字

上海（中國(guó)區(qū)總部）中國(guó)上海市靜安區(qū)汶水路299弄9號(hào)（市北智匯園）電話(huà) 北京分公司北京市西城區(qū)新街口北大街3號(hào)新街高和大廈407室電話(huà) 郵箱:beijing@ 廣州分公司廣州市天河區(qū)珠江新城珠江東路32號(hào)利通廣場(chǎng)1303室電話(huà)1/2 郵箱:guangzhou@ 成都分公司成都市錦江區(qū)東御街18號(hào)百