杭州仁盈圖像識別之身份識別技術(shù)介紹

1、杭州仁盈圖像識別技術(shù)杭州仁盈科技有限公司2013.09.圖像識別技術(shù)簡介仁盈特點仁盈科技是國內(nèi)一家新興崛起的 OC前術(shù)生產(chǎn)商、文檔影像技術(shù)和使用解決 方案提供商。仁盈科技始終堅持技術(shù)創(chuàng)新和市場使用相結(jié)合，傾心致力于文檔影 像技術(shù)產(chǎn)品的使用開發(fā)和市場推廣， 建立并形成了系列的行業(yè)解決方案，完善發(fā) 展了系統(tǒng)集成服務(wù)體系，為各個行業(yè)使用提供特有的圖像處理技術(shù)支撐。設(shè)計目標仁盈科技的身份證圖像設(shè)備軟件，從各行業(yè)對用戶實名制的需求出發(fā)，希望 成為用戶身份認證的標準化軟件，總體設(shè)計目標如下：仁盈身份證圖像識別軟件需設(shè)計開發(fā)成為適用于各個行業(yè)、各種平臺、各類使用的標準化身份拍攝和認證的基礎(chǔ)軟件平臺，適用于仁

2、盈自身各類產(chǎn)品及合 作伙伴的相關(guān)產(chǎn)品，其特點將滿足如下幾方面的要求：1、軟件平臺化：身份識別軟件的核心部分按平臺方式進行設(shè)計，該識別平 臺既可以通過統(tǒng)一平臺為各類使用提供遠程云服務(wù)，也可以部署到單個 行業(yè)使用的后臺，為該行業(yè)使用提供專項服務(wù)；2、接口標準化：為各類使用提供標準化接口軟件， 適配于Windows、Linux、 Android IOS等各種不同的系統(tǒng)接口需求；3、功能模塊化：將所有功能按模塊化進行劃分，如：核心識別模塊、少數(shù) 民族地區(qū)專用模塊、圖像校正模塊、云使用模塊、信息管理模塊、信息 校驗?zāi)K、機型自動識別模塊等，產(chǎn)品開發(fā)商可根據(jù)自身需求選擇相應(yīng) 的模塊進行調(diào)用和開發(fā)；4、行業(yè)

3、定制化：根據(jù)部分行業(yè)客戶的特殊需求，在標準化接口和模塊的基 礎(chǔ)上，還將為其量身定制部分特定的功能。行業(yè)使用身份證圖像識別軟件是一個標準化的產(chǎn)品，需要使用到各個具體的業(yè)務(wù)系統(tǒng) 中才能充分發(fā)揮其作用。目前在、社區(qū)、餐飲、金融、教育等行業(yè)都有很多非常明確的使用，通過智 能終端、云服務(wù)和行業(yè)定制，實現(xiàn)各個行業(yè)的業(yè)務(wù)功能，特別是中國移動社會渠 道手機實名制解決方案中大放光彩，已為浙江移動、新疆移動、北京移動、四川 移動提供基于圖像識別的實名制客戶端。這些行業(yè)解決方案都包含重要的功能模 塊“客戶信息管理模塊”，目前采用的是公安部的通用身份證識別模塊作為智能 終端的配件來獲取客戶信息。通過身份識別模塊和電子

4、工單系統(tǒng)，實現(xiàn)了客戶信 息的快速獲取和工單錄入。但由于市場壟斷原因，該模塊價格昂貴，影響了智能 終端在各個行業(yè)的大面積推廣。身份證圖像識別軟件技術(shù)，恰好能填補這個不足。以高科技的軟件技術(shù)，低 成本的解決方案來替代硬件的身份識別模塊方案。 該方案從軟硬件兩方面和行業(yè) 使用系統(tǒng)進行集成.硬件方面：通過在行業(yè)使用的智能終端上設(shè)計固定的身份證 插口和照明裝置，來保證身份證拍照的效果；軟件方面：專門針對身份證進行 OCRS像識別，通過軟硬兩方面的結(jié)合進行身份證圖像識別，做到了操作方便、 識別率高、環(huán)保。.圖像識別軟件方案技術(shù)架構(gòu)仁盈身份證識別軟件系統(tǒng)總體架構(gòu)如下:核心層少數(shù)民族模塊核心識別模塊圖像校正模

5、塊功能層信息分析模塊信息管理模塊信息棱臉模塊適配層Linux適配Windows 適配Android/IOS/WP接口層云應(yīng)用接口核心層少數(shù)民族模塊核心識別模塊圖像校正模塊功能層信息分析模塊信息管理模塊信息棱臉模塊適配層Linux適配Windows 適配Android/IOS/WP接口層云應(yīng)用接口標準開發(fā)接口行業(yè)定制接口核心層：負責(zé)實現(xiàn)身份證圖像的讀取、校驗及信息抓取識別等核心功能，和 具體的業(yè)務(wù)功能無關(guān);功能層：負責(zé)身份證信息的管理、信息校驗、信息分析，并提供業(yè)務(wù)管理界 面、業(yè)務(wù)分析圖表、各類報表，可直接使用于某些行業(yè)使用;適配層：負責(zé)提供各類操作系統(tǒng)的程序適配，以滿足更多的行業(yè)使用;接口層：

6、針對第三方使用開發(fā)商提供，提供各類標準化接口，并提供開發(fā)所 需的實現(xiàn)樣例，最大限度縮短開發(fā)周期，提供接口穩(wěn)定性。軟件模塊設(shè)計核心層軟件核心層軟件主要包括三個部分:1、核心識別模塊：本功能包括建模、圖像預(yù)處理、特征提取、分類識別等子功能，屬于本系統(tǒng)最重要的部分，詳見第四章核心識別模塊方案;2、圖像校正模塊：本功能主要實現(xiàn)圖像的形狀校正，以方便對圖像進行定位識別，如下圖所示:公身懂號詞正后3、少數(shù)民族識別模塊：少數(shù)民族地區(qū)的身份證信息和內(nèi)地有所差異，在信 息上包含該地區(qū)的少數(shù)民族文字信息，在識別時一方面要重新對圖像進行定位， 另一方需要對主要少數(shù)民族的文字進

7、行識別。 （維語、藏語、蒙語等）功能層軟件功能層軟件主要包含如下三個模塊：信息校驗功能：實現(xiàn)身份證信息的初步校驗，根據(jù)身份證既有規(guī)則信息、編 碼規(guī)則，進行身份證信息的校驗，對身份證號碼等信息明顯不符合規(guī)范的， 給出 明確的反饋，以幫助使用層對身份證進行真?zhèn)巫R別；信息分析功能：和公安部身份證校驗中心接口，通過身份證號碼進行用戶詳 細身份信息的獲取，一方面校驗身份證信息真?zhèn)危环矫婵梢詾槭褂脤犹峁└?關(guān)于該用戶的身份信息，以滿足業(yè)務(wù)需求。信息管理功能：對于通過本系統(tǒng)進行的身份識別、校驗等信息自動歸檔，可通過前端操作界面直接關(guān)聯(lián)用戶的會員號碼、密碼、聯(lián)系電話等信息，在身份識別的過程中自動完成本業(yè)務(wù)

8、的會員管理，并能夠形成各類統(tǒng)計分析報表。適配層軟件本軟件將完成和Linux、Windows兩類PC操作系統(tǒng)，Android、IOS WP7三 類ARM終端操作系統(tǒng)的對接，詳細技術(shù)實現(xiàn)見第四章。接口層軟件接口層軟件主要提供三大類開發(fā)接口，具體接口信息見第五章：標準開發(fā)接口:接口較為復(fù)雜，涵蓋身份證識別所有接口及部分使用接口，以服務(wù)端本地化為基礎(chǔ)，為使用開發(fā)商提供標準的開發(fā)接口， 實際使用時，本平 臺所提供的后臺軟件、接口組件均將加載于使用提供商本地服務(wù)器， 主要適用于 較大型行業(yè)使用；云使用接口：接口最為簡單，僅需提供身份證圖片信息及部分使用接口即可， 以服務(wù)端在仁盈遠程部署為基礎(chǔ)，主要適用于小

9、型標準化行業(yè)使用，開發(fā)周期最 短，無服務(wù)端要求；行業(yè)定制接口:接口最為復(fù)雜，除標準開發(fā)接口的接口信息外，還將根據(jù)該 行業(yè)客戶自身的特點，提供定制化的使用接口，可定制開發(fā)，主要適用于大型、 有特殊使用需求的行業(yè)客戶。核心識別模塊方案概述身份證圖像識別過程主要為三大過程：圖像預(yù)處理、特征提取、分類和匹配識別預(yù)處理：又可分為灰度化、亮度增強、邊緣檢測、旋轉(zhuǎn)水平等幾個部分。為了減少后續(xù)算法的復(fù)雜度和提高效率， 系統(tǒng)首先將圖片灰度化處理，將24位深度 的彩圖轉(zhuǎn)化為8位深度的灰度圖，降低數(shù)據(jù)量，從而加速后續(xù)處理的速度，提高 圖像特征提取和匹配的精度；亮度增強的目的是改善圖像質(zhì)量，恢復(fù)其原來的結(jié) 構(gòu)；邊緣檢

10、測是根據(jù)圖片的閾值形成圖片的輪廓， 以便下一步接著計算圖片的傾 斜角度，最終將圖旋轉(zhuǎn)為水平狀態(tài)。特征提取：負責(zé)把能夠充分表示該圖像唯一性的特征用數(shù)值的形式表達出 來。盡量保留真實特征，濾除虛假特征。圖像分類：為了減少搜索時間、降低計算的復(fù)雜度，需要將圖像分為漢字和 數(shù)字2種形態(tài)，以便匹配不同的模型庫。圖像匹配：在圖像預(yù)處理和特征提取的基礎(chǔ)上， 將當前輸入的測試圖像特征 和事先保存的漢字數(shù)字模型特征進行比對，通過它們之間的相似程度，提取出對 應(yīng)的漢字或者數(shù)字。在識別出結(jié)果后，系統(tǒng)根據(jù)所處操作系統(tǒng)平臺向外提供相應(yīng)的 API開發(fā)接口。總體設(shè)計模型只建立.一次輸出模型只建立.一次輸出系統(tǒng)支持windo

11、ws, android , ios三種主流平臺。面向android平臺，采用NDKF發(fā)環(huán)境，使用C/C+開發(fā)，向上層使用程序提 供so動態(tài)庫JNI開發(fā)接口。圖像處理使用android平臺opencv庫。面向windows平臺，采用vs2010開發(fā)環(huán)境，使用C/C+開發(fā)，向上層使用程序 提供dll動態(tài)庫開發(fā)接口。圖像處理使用 windows平臺opencv庫。面向IOS平臺，采用xcode開發(fā)環(huán)境，使用objective-c開發(fā)，向上層使用程 序提供靜態(tài)庫開發(fā)接口。圖像處理使用IOS平臺opencv庫。如下圖，系統(tǒng)分為5大模塊，分別為漢字模型模塊、JNI接口層、圖像處理模 塊、特征提取模塊、分類

12、識別模塊。JNI接口層圖像處理模塊特征提取模塊分類識別模塊漢字模型漢字模型即為根據(jù)漢字的各種特征形成的模型文件，其為漢字識別的基礎(chǔ)。系統(tǒng)選擇 如下幾個漢字特征構(gòu)建模型：筆畫特征、結(jié)構(gòu)點特征、投影特征、網(wǎng)格特征。由于識別的身份證件為標準印刷字體，這大大簡化了漢字模型的復(fù)雜度。筆畫特征：每個漢字都有四種基本筆畫：橫、豎、撇、捺構(gòu)成。我們可以提 取每個漢字的這4個特征向量。如H(x1,y1,x2,y2)表示一橫，坐標為(x1,y1)到 (x2,y2) , S(x1,y2,x2,y2)為豎向量，P(x1,y1,x2,y2)為撇向量，N(x1,y1,x2,y2) 為捺向量。為簡單起見，只取這四個向量，其

13、他筆畫根據(jù)相似度向其靠攏，如“ 浙”字，三 點水簡化為2個撇，一個捺，豎鉤簡化為豎。筆畫特征是為了將具有相同筆畫特征的一組字歸為一類， 待識別的圖片字符 可根據(jù)自己的筆畫特征為索引，迅速檢索出對應(yīng)的一組相似漢字，然后再根據(jù)其 它特征去細分。結(jié)構(gòu)點特征：筆畫的端點，交叉點，折點，比較直觀。用來區(qū)分一組相似的投影特征：漢字各個方向的投影可以反映出漢字的特征。橫向投影反映了橫 筆的特征，豎向投影反映了豎筆的特征，45讀投影反映了才1筆的特征，135度投 影則反映了捺筆的特征。為簡化起見，系統(tǒng)只參考漢字的橫豎投影，用來細分相 似漢字。網(wǎng)格特征：將漢字點陣均分為MX而形成網(wǎng)格，計算每個網(wǎng)格中黑點數(shù)占整

14、個漢字黑點數(shù)的百分比，這樣一個MX M隹的序列就是該字的網(wǎng)格特征，體現(xiàn)了文 字的整體形狀分布。接口層系統(tǒng)支持windows, android , ios三種主流平臺。面向android平臺，采用NDKF發(fā)環(huán)境，使用C/C+開發(fā)，向上層使用程序提 供so動態(tài)庫JNI開發(fā)接口。圖像處理使用android平臺opencv庫。面向windows平臺，采用vs2010開發(fā)環(huán)境，使用C/C+開發(fā)，向上層使用程序 提供dll動態(tài)庫開發(fā)接口。圖像處理使用 windows平臺opencv庫。面向IOS平臺，采用xcode開發(fā)環(huán)境，使用objective-c開發(fā)，向上層使用程 序提供靜態(tài)庫開發(fā)接口。圖像處理使用I

15、OS平臺opencv庫。圖像處理模塊圖像處理模塊主要是前期處理原始圖片， 進行灰度化，降噪，計算傾斜角度, 擺正，扣出有效證件，亮度增強等操作，使圖片能夠容易地提取到需要的特征。圖像灰度化：為降低圖片數(shù)據(jù)量，將 24位深度的彩圖將為8位深度的灰度圖。邊緣檢測：計算出圖片中的輪廓，根據(jù)輪廓可以進一步計算出圖片傾斜的角度和身份證件的4個頂點。旋轉(zhuǎn)水平：根據(jù)圖片傾斜的角度，將圖片旋轉(zhuǎn)到水平狀態(tài)。取證件有效部分：根據(jù)邊緣檢測時側(cè)得的 4個頂點，扣取出完整的身份證圖片 圖像增強：根據(jù)證件圖片的明暗程度，對圖片的亮度，平滑度進行增強。最終，形成一張完整的，符合下一步特征提取要求的圖片。特征提取模塊二值化

16、,*計算連通域*合并連通域 * 細化骨架 * 提取特征本模塊的輸入文件為圖像處理模塊的輸出文件，即經(jīng)過預(yù)處理的證件圖片。首先進行二值化處理，將圖片轉(zhuǎn)為 0和1表示，然后計算連通域，得到漢字 的基本框架。此時，單個的漢字已經(jīng)從背景中剝離出來， 接著要進行行切分，將多個連通域認 做一行漢字，也就是邏輯上的一組有效數(shù)據(jù)如地址， 姓名。然后再在行的基礎(chǔ)上 對漢字圖像進行細化，提取骨架。所謂細化，就是從原來的圖像中去掉一些點， 但仍然保持原來的形狀；所謂骨架，就是圖像的中軸。骨架形成后，就可以根據(jù)漢字模型中的各種特征，去依次計算提取，如筆畫 特征，網(wǎng)格特征等等。分類識別模塊分類器1 分類器2 精確匹配相似字區(qū)分軟件事先已對GB端碼中的漢字進行了特征訓(xùn)練建模，形成本地模型數(shù)據(jù)文 件。識別時，先計算圖像的連通域，采用霍夫變換得到18位身份證號碼的位置，此時就確立了整個圖像的參考原點。后面再根據(jù)二代證固定的其它信息（如姓名、 民族等）的相對位置，合并連通域，提取漢字的信息骨架，利用BFW經(jīng)網(wǎng)絡(luò)算法, 輸入本地模型數(shù)據(jù)文件，最終將圖形轉(zhuǎn)化為漢字。如上圖，識別的過程為經(jīng)過2