基于matlab的文字識(shí)別算法課程設(shè)計(jì)之歐陽歌谷創(chuàng)編

歐陽歌谷創(chuàng)編

摘

2021年1歐陽歌谷（2021.02.01）本課程設(shè)計(jì)主要運(yùn)用MATLAB的真平臺(tái)設(shè)計(jì)進(jìn)行文字識(shí)別算法的設(shè)計(jì)與仿真。也是用于實(shí)現(xiàn)文字識(shí)別算法的過程。從圖像中提取文字屬于信息能化處理的前沿課題，是當(dāng)前人工智能與模式識(shí)別領(lǐng)域中的研熱點(diǎn)。由于文字具有高級(jí)語義特征，對圖片內(nèi)容的理解、索引檢索具有重要作用，因此，研究圖片文字提取具有重要的實(shí)際義。又由于靜態(tài)圖像文字提取是動(dòng)態(tài)圖像文字提取的基礎(chǔ)，故重介紹了靜態(tài)圖像文字提取技術(shù)。隨著計(jì)算機(jī)科學(xué)的飛速發(fā)展以圖像為主的多媒體信息迅速成為重要的信息傳遞媒介，在圖中，文字信息（如新聞標(biāo)題等字幕）包含了豐富的高層語義信，提取出這些文字，對于圖像高層語義的理解、索引和檢索非有幫助。關(guān)鍵字：文字識(shí)別算法；態(tài)圖像文字提取；檢索歐陽歌谷創(chuàng)編

2021年1

歐陽歌谷創(chuàng)編

2021年1目錄課程計(jì)的課程計(jì)求相關(guān)識(shí)5課程計(jì)析系統(tǒng)現(xiàn)9系統(tǒng)試分6.1果176.2基于別19基于字符別19基于單詞別20現(xiàn)存算法題21大多文字征21脫離上下義21簡單的單性22訓(xùn)練樣本瑣22參考獻(xiàn)歐陽歌谷創(chuàng)編

2021年1

歐陽歌谷創(chuàng)編1課程設(shè)計(jì)目的

2021年1圖像文字提取又分為動(dòng)態(tài)圖像文字提取和靜態(tài)圖像文字提取兩種，其中，靜態(tài)圖像文字提取是動(dòng)態(tài)圖像文字提取的基礎(chǔ)，其應(yīng)用范圍更為廣泛，對它的研究具有基礎(chǔ)性，所以本文主要討論靜態(tài)圖像的文字提取技術(shù)。靜態(tài)圖像中的文字可分成兩大類：一種是圖像中場景本身包含的文字，為場景文字；另一種是圖像后期制作中加入的文字，稱為人工文字，如右圖所示。場景文字由于其出現(xiàn)的位置、小、顏色和形態(tài)的隨機(jī)性，一般難于檢測和提??；而人工文字則字體較規(guī)范、大小有一定的限度且易辨認(rèn)，顏色為單色，相對與前者更易被檢測和提取，又因其對圖像內(nèi)容起到說明總結(jié)的作用，故適合用來做圖像的索引和檢索關(guān)鍵字。對圖像中場景文字的研究難度大，目前這方面的研究成果與文獻(xiàn)也不是很豐富，本文主要討論圖像中人工文字提取技術(shù)。靜態(tài)圖中文字的特靜態(tài)圖像中文字（本文特指人工文字，下同）具有以下主要特征：（1）文字位于前端，且不會(huì)被遮擋；（2）文字一般是單色的；（3）文字大小在一幅圖片中固定，并且寬度和高度大體相同，從滿足人眼視覺感受的角度來說，圖像中文字的尺寸既不會(huì)過大也不會(huì)過??；（4）文字的分布比較集中，排列一般為水平方向或垂直方向；（6）多行文字之間，以及單行內(nèi)各個(gè)字之間存在不同于文字區(qū)域的空隙。在靜態(tài)圖片文字的檢測與提取過程中，一般情況下都是依據(jù)上述特征進(jìn)行處理的。數(shù)字圖處理靜態(tài)圖像文字提取一般分為以下步驟：文字區(qū)域檢測與定位、文字分割與文字提取、文字后處理。其流程如圖所示。圖1靜文字處理流程圖歐陽歌谷創(chuàng)編

2021年1

歐陽歌谷創(chuàng)編2課程設(shè)計(jì)要求

2021年1在高速發(fā)展的計(jì)算機(jī)軟硬件技術(shù)的支撐下，多媒體技術(shù)的發(fā)展非常迅速，計(jì)算機(jī)技術(shù)從傳統(tǒng)的辦公和計(jì)算逐漸向人工智能和數(shù)字娛樂發(fā)展。在人工智能技術(shù)中，對環(huán)境信息的拾取處理和響應(yīng)顯得尤為重要，其中文本信息占環(huán)境信息很大一部分，為了使人工智能系統(tǒng)更為完善，則需要系統(tǒng)能夠像人眼一樣對周圍環(huán)境信息進(jìn)行理解，尤其是環(huán)境信息中的文本信息。實(shí)驗(yàn)表明，人類日常生活中，50%以上的信息量來源于眼睛捉的周圍環(huán)境的圖像，人眼可以快速捕捉到圖像中感興趣的信息，而對于計(jì)算機(jī)來說，一幅圖像僅僅是雜亂的數(shù)據(jù)，如何讓計(jì)算機(jī)想人眼一樣快速讀取圖像中的信息并進(jìn)行分類及檢索等相應(yīng)處理，一直是多年來計(jì)算機(jī)視覺和模式識(shí)別研究者們探索的問題，如果能很好解決這些問題，能給工業(yè)生產(chǎn)及國防科技帶來巨大的改進(jìn)。文字是信息存儲(chǔ)和傳遞的重要載體，在很多由攝像設(shè)備拍攝的圖片中，都存在或多或少的文字，比如路牌、店名、車站牌、商品簡介等，識(shí)別圖片中的文字對計(jì)算機(jī)理解圖像的整體內(nèi)容有非常重大的作用。如何將圖片中的文字信息抽象出來形成具有完整語義的信息，再將其表達(dá)出來用于信息傳遞，從而輔助人類的生產(chǎn)和生活是研究計(jì)算機(jī)視覺的學(xué)者們多年來一直致力于解決的問題。研究如何對自然場景圖片中的字符進(jìn)行識(shí)別，提取出有用信息，在獲取圖片文本信息的各個(gè)領(lǐng)域都有極大的商業(yè)價(jià)值。場景文字識(shí)別在日常生活也有著重要的地位，例如車牌的識(shí)別，盲人對周邊環(huán)境信息的獲取、圖書館管理的數(shù)字化和髙效化，以及網(wǎng)絡(luò)中對指定的內(nèi)容的圖像和視頻的檢索等。自然場景文本識(shí)別，就是將提取出來的自然場景圖片中的進(jìn)行識(shí)別，提取出信息用于進(jìn)一步的處理。在對場景文字識(shí)別的研究中，獲取自然場景圖片時(shí)候，由于背景物體、光線、陰影、拍攝角度引起的圖片背景千變?nèi)f化，攝像器材的精度、拍攝人員的技術(shù)等軟硬件的不同為拍攝同樣的自然場景圖片也帶來了相當(dāng)大的差別，被拍攝的圖片中包含的文字大小、顏色、書寫風(fēng)格的各不相同等因素都為自然場景文字識(shí)別的實(shí)現(xiàn)增加的相當(dāng)?shù)碾y度。需要對自然場景圖片中的識(shí)別首先需要對圖片中的文本進(jìn)行定位，然后再對己經(jīng)精確定位的圖片進(jìn)行識(shí)別。文本定位技術(shù)作為整個(gè)自然場景文本信息獲取系統(tǒng)中的基礎(chǔ)技術(shù)，已經(jīng)得到較好發(fā)展，相同地，文本識(shí)別技術(shù)在近年來也得到了比較好的發(fā)展，但是由于文本的復(fù)雜性和隨機(jī)性，較文本定位技術(shù)來說，文本識(shí)別技術(shù)發(fā)展較歐陽歌谷創(chuàng)編

2021年1

歐陽歌谷創(chuàng)編

2021年1為緩慢。歐陽歌谷創(chuàng)編

2021年1

歐陽歌谷創(chuàng)編3相知識(shí)

2021年11.在Matlab調(diào)用i1=imread（原始圖像，如圖所示：圖2字識(shí)別算法調(diào)制器模型2.調(diào)用i2=rgb2gray（），則得到了灰度圖像，如圖所示：圖度圖像調(diào)用（i1;b=size（）;得到：，b=2即三維圖像變成了二維灰度圖像3.調(diào)用i3=i2）;中thresh為門限，介于圖4所示之間圖4門值圖得二值得到二值圖像，如圖所示：圖值圖像4.把二值圖像放大觀察，可看到離散的黑點(diǎn)對其采用腐蝕膨脹處理，得到處理后的圖像，如圖所示歐陽歌谷創(chuàng)編

2021年1

歐陽歌谷創(chuàng)編

2021年1圖7腐蝕膨脹處理后的二值圖像可見，腐蝕膨脹處理后的圖像質(zhì)量有了很大的改觀。橫向、縱向分別的腐蝕膨脹運(yùn)算比橫向、縱向同時(shí)的腐蝕膨脹運(yùn)算好上很多。5、對腐蝕脹后的圖像進(jìn)行Y方向上的區(qū)域選定，限定區(qū)域后的圖像如圖所示：掃描方法：中間往兩邊掃。6、對腐蝕脹后的圖像進(jìn)行X方向上的區(qū)域選定，限定區(qū)域后的圖像如圖11所示：描方法：兩邊往中間掃，縱向掃描后的圖像與原圖像的對照。7.調(diào)用i8=），使背景為黑色（0），字符為白色（1），便于后期處理。8.調(diào)用自定義函數(shù)（字符獲取函數(shù)）（i8）。9、調(diào)用自義的字符獲取函數(shù)對圖像進(jìn)行字符切割，并把切割的字符裝入一維陣列。10.調(diào)用以下代碼，可將陣列中的字符顯示出來。for%cnum統(tǒng)計(jì)的字符個(gè)數(shù)5，8，j，word{j}），title（int2str（j）;%顯示字符11.調(diào)用以下代碼，將字符規(guī)格化，便于識(shí)別：for（word{j}，［4040］）%字符規(guī)格化成12.調(diào)用以下代碼創(chuàng)建字符集：（由于作者水平有限書中難免存在缺點(diǎn)和疏漏之處懇請讀批評指正，?！?將創(chuàng)建的字符集保存在一個(gè)文件夾里面，以供匹配時(shí)候調(diào)用。13.字符匹配采用模板匹配算法：將現(xiàn)有字符逐個(gè)與模板字符相減，認(rèn)為相減誤差最小的現(xiàn)有字符與該模板字符匹配。歐陽歌谷創(chuàng)編

2021年1

歐陽歌谷創(chuàng)編

2021年1圖符匹配也就是說，字符A與模板字符T1更相似，我們可以認(rèn)為字符集中的字符是字符A。經(jīng)模板匹配。14調(diào)用以下代碼，將字符放入文本：new=［’，’］;（new‘a(chǎn)+’）;fprintf（c，‘%s\’Code（））fclose（）;歐陽歌谷創(chuàng)編

2021年1

歐陽歌谷創(chuàng)編4課程設(shè)計(jì)分析

2021年11、算法具局限性。對于左右結(jié)構(gòu)的字符（如：川）容易造成誤識(shí)別，“川”字將會(huì)被識(shí)別成三部分。當(dāng)圖片中文字有一定傾斜角度時(shí)，這將造成識(shí)別困難。2、模板匹效率低。對于處理大小為m&TImes;m的字符，假設(shè)有n個(gè)模板字符，則識(shí)別一個(gè)字符至少需要m&TImes;m××運(yùn)算，由于漢字有近萬個(gè)，這將使得運(yùn)算量十分巨大！此次字符識(shí)一共花了。3、伸縮范比較小。對于受污染的圖片，轉(zhuǎn)換成二值圖像將使字符與污染源混合在一起。對于具體的圖片，需反復(fù)選擇合適的行二值化處理，甚至在處理之前必須進(jìn)行各種濾波。歐陽歌谷創(chuàng)編

2021年1

歐陽歌谷創(chuàng)編5系統(tǒng)實(shí)現(xiàn)

2021年1文字識(shí)別算法仿真代碼如下：function[Stroke]=StrDetect01(LeftD,Y1,Y2,ST,PT)為結(jié)構(gòu)閾值，為了指定高度和寬度構(gòu)變化的不同SL=0;SR=0;SV=0;Count=0;%突變的閾值Str='T';T表示結(jié)構(gòu)未定，用于保存當(dāng)?shù)幕窘Y(jié)構(gòu)Stroke='T';于保存基本結(jié)構(gòu)Range=Y2-Y1+1;符的寬度或者高度forif(abs(LeftD(j))<PT)if(LeftD(j)<0)SL=SL+1;if(LeftD(j)>0)SR=SR+1;SV=SV+1;%檢測到突變的策if((Count>=fix(Range/4)+1))%設(shè)定字符輪廓可能發(fā)生的突變范圍ifif((SV>=2*(SL+SR))&&((max(SL,SR)<3)||(min(SL,SR)<2)))if歐陽歌谷創(chuàng)編

2021年1

歐陽歌谷創(chuàng)編

2021年1ififStr];if'P'];SL=0;SR=0;SV=0;Count=0;Str='T';%=========提取結(jié)構(gòu)===============%if(Count>=fix(Range/4)+1)%發(fā)生突變后，剩余部分可能無法形成字符結(jié)構(gòu)if((SL>=ST)&&(SR>=ST))if((SV>=2*(SL+SR))&&((max(SL,SR)<3)||(min(SL,SR)<2)))ifif歐陽歌谷創(chuàng)編

2021年1

歐陽歌谷創(chuàng)編

2021年1ifStr];function采用四邊的輪廓結(jié)構(gòu)特征和筆劃統(tǒng)計(jì)（僅針對08）識(shí)別殘缺數(shù)字是用于識(shí)別0和8底部補(bǔ)充信息StrL='T';StrR='T';StrB='T';RStr='T';%于保存識(shí)別出的數(shù)字[tempXT]=size(StrokeTop);[temp[tempXR]=size(StrokeRight);%[tempforTi=2:XTif(StrokeTop(Ti)=='C')ifif((Comp>=3)||((StrokeBottom(2)~='C')&&(StrokeLeft(2)=='C')&&(StrokeRight(2)=='if((StrokeLeft(XL)=='L')&&(StrokeLeft(XL-歐陽歌谷創(chuàng)編

2021年1

歐陽歌谷創(chuàng)編

2021年1if((StrokeLeft(2)=='C')&&(XL>=3)&&(StrokeLeft(3)=='P'))if(XL>2)forLi=2:XLif(StrokeLeft(Li)=='P')ifforRi=2:XR-1ifif(StrokeTop(Ti)=='V')%Topif((XR==2)&&(StrokeRight(2)=='C'))%數(shù)字右端只有一個(gè)結(jié)構(gòu)if((XR==2)&&((StrokeLeft(2)=='P')||(StrokeLeft(3)=='P')||(StrokeLeft(XL)=='V')))if(XR>2)forif歐陽歌谷創(chuàng)編

2021年1

歐陽歌谷創(chuàng)編I0=imread('8.jpg');%必須為二值圖像I=im2bw(I0,0.4);[y0x0]=size(I);Range=sum((~I)');Hy=0;forif(Range(j)>=1)Hy=Hy+1;RangeX=sum((~I));Wx=0;forif(RangeX(i)>=1)Wx=Wx+1;

2021年1Amp=24/Hy;%將文字圖像歸一化到24像素點(diǎn)的高度。I=imresize(I,Amp);[yx]=size(I);%I=~I;tic%======本結(jié)構(gòu)第一類：豎（V）；左斜（L）；右斜（）；突變（P）第二類：左半圓?。ǎ?；右半圓?。ǎ┑娜悾航Y(jié)構(gòu)待定（T）；%=====================================%Left=zeros(1,y);端輪廓檢測歐陽歌谷創(chuàng)編

2021年1

歐陽歌谷創(chuàng)編forj=1:yi=1;whileif(i<=x)for構(gòu)特征提取=============%j=1;while((Left(j)<1)&&(j<y))while((Left(j)<1)&&(j>1))

2021年1Y2=j-1;掉急劇變化的兩端%==============邊==================%Right=zeros(1,y);%端輪廓檢測forj=1:ywhileif(i>=1)Right(j)=i;歐陽歌谷創(chuàng)編

2021年1

歐陽歌谷創(chuàng)編

2021年1forRightD(j)=Right(j+1)-Right(j);%=====================================%Top=zeros(1,x);%頂端輪廓檢測fori=1:xj=1;whileif(j<=y)Top(i)=j;forTopD(i)=Top(i+1)-Top(i);i=1;whilewhileX2=i-1;掉急劇變化的兩端%===================================%Bottom=zeros(1,x);底部輪廓檢測歐陽歌谷創(chuàng)編

2021年1

歐陽歌谷創(chuàng)編fori=1:xwhileif(j>=1)Bottom(i)=j;for字1的寬度特征forj=1:yWidth(j)=Right(j)-Left(j);W=m

2021年1歐陽歌谷創(chuàng)編

2021年1

歐陽歌谷創(chuàng)編

2021年16系測試與分析6.1識(shí)別原圖如圖9）所示，仿真結(jié)果如圖（b）所示。圖9）識(shí)別原圖歐陽歌谷創(chuàng)編

2021年1

歐陽歌谷創(chuàng)編

2021年1歐陽歌谷創(chuàng)編

2021年1

歐陽歌谷創(chuàng)編

2021年1圖（b）仿真結(jié)果6.2基于字符的識(shí)別Strokelets:AMulti-scaleforRecognition（2014）通過聚類圖像塊來學(xué)習(xí)中層筆特征，然后使用霍夫（HOG）投票算法檢測字符。在筆畫特征和HOG特征的基礎(chǔ)上，使用隨機(jī)森林分類器來進(jìn)行字符分類。scenetext（2011）借鑒計(jì)算機(jī)視覺通用的目標(biāo)檢測方法，提出了一個(gè)新的文本識(shí)別系統(tǒng)。他們利用字符置信度以及字符之間的空間約束關(guān)系，給出最可能的檢測和識(shí)別結(jié)果。但是該算法只能用于水平方向排列的文本的檢測識(shí)別。TextRecognitionHybridHMMMaxoutModels（）和PhotoOCR:inConditions（等人通過無監(jiān)督的二分類技術(shù)或有監(jiān)督的分類器，將單詞圖像分割為潛在的字符區(qū)域。TextRecognitionHybridHMMMaxoutModels（）使用一種復(fù)雜的，包含分割、矯正以及字符識(shí)別的NN網(wǎng)絡(luò)，結(jié)合使用固定詞典的隱馬爾科夫模型（HMM），生成最終的識(shí)別結(jié)果。系統(tǒng)使用基于H特征的神經(jīng)網(wǎng)絡(luò)分類器，對分割得到的候選歐陽歌谷創(chuàng)編

2021年1

歐陽歌谷創(chuàng)編

2021年1結(jié)果進(jìn)行打分，使用結(jié)合N元語言模型（）的Beam搜索算法，得到候選字符集合。最后，再進(jìn)一步使用語言模型和形狀模型對候選字符組合進(jìn)行重新排序。forSpotting（結(jié)合了文本一非文本分類器、字符分類器、二元語言模型分類器，對整張圖進(jìn)行稠密的基于滑動(dòng)窗口的掃描。最后結(jié)合固定詞典，對圖片中的單詞進(jìn)行分析。基于字符的識(shí)別技術(shù)依賴于使用字符分類器對圖像進(jìn)行逐字符識(shí)別，最終將識(shí)別得到的字符進(jìn)行集成，得到圖像中的整個(gè)單詞?；趩卧~的識(shí)別TextRecognitionusingHigherOrder以及Large-LexiconTextinNaturalImages工作依舊依賴于顯式的字符分類器，但是通過構(gòu)建一個(gè)圖結(jié)構(gòu)來推導(dǎo)整個(gè)單詞。這會(huì)遇到和基于字符識(shí)別方法類似的困難。isSumofRecognizing2013）使用整張文字圖片來識(shí)別單詞:們使用基于梯度的特征圖與預(yù)先制作好的單詞圖像進(jìn)行對比，利用動(dòng)態(tài)k近鄰來判斷當(dāng)前圖片所包含的單詞。該方法依賴于一個(gè)固定詞典以及預(yù)先生成的單詞圖片。Labeltextrecognition（使用集成的Fisher向量以及結(jié)構(gòu)化的支持向量機(jī)框架來建立圖片和整個(gè)單詞編碼的關(guān)系。WordRecognitionEmbedded（2014）進(jìn)一步探索了單詞編碼的概念，他們?yōu)閳D片和單詞字符串創(chuàng)建了一個(gè)編碼空間。這其實(shí)是Supervisedmid-levelfeaturesforimage（2014）方法的擴(kuò)展:顯式利用字符級(jí)別的訓(xùn)練數(shù)據(jù)來學(xué)習(xí)中間特征。NumberfromViewImageryNeural（2013）等人使用深度CNN對整張圖片進(jìn)行編碼，并使用多個(gè)位置敏感的字符級(jí)分類器來進(jìn)行文字識(shí)別。他們在街景門牌號(hào)識(shí)別任務(wù)中取得了極大的成功。他們還將該模型應(yīng)用到長達(dá)的驗(yàn)證碼識(shí)別任務(wù)上，并使用了合成的訓(xùn)練數(shù)據(jù)對模型進(jìn)行訓(xùn)練。該方法在街景門牌號(hào)識(shí)別任務(wù)中獲得了96%上的識(shí)別率。同時(shí)還在對goggle驗(yàn)證碼識(shí)別務(wù)中獲得了以上的識(shí)別率。SyntheticArtificialNetworksforText歐陽歌谷創(chuàng)編

2021年1

歐陽歌谷創(chuàng)編

2021年1（2014）和TextinthewithNeuralNetworks（2014）對上述模型了細(xì)微變動(dòng):取消了預(yù)測字符長度的分類器，并引入了結(jié)束符表示文字結(jié)尾。他們隨后證明了，使用合成的訓(xùn)練數(shù)據(jù)訓(xùn)練出的模型，能夠成功應(yīng)用到現(xiàn)實(shí)世界的識(shí)別問題中。將單詞編碼為向量是一種可行的詞典單詞識(shí)別方法，但是在無約束情況下，字符之間可以任意組合。當(dāng)字符數(shù)量足夠多時(shí)，基于固定長度向量編碼的方法性能會(huì)顯著下降。但是依然存在一些不足:些研究將深度學(xué)習(xí)技術(shù)用于單個(gè)字符的識(shí)別步驟中，但整體框架依舊遵循傳統(tǒng)處理流程設(shè)計(jì)，因此在其它步驟中依舊會(huì)遇到緒論所述問題。fellow等人的究使用純神經(jīng)網(wǎng)絡(luò)直接完成整個(gè)識(shí)別流程，取得了業(yè)界領(lǐng)先的成績。但是由于他們需要使用固定大小的圖像作為輸入，并且將輸入圖像編碼為固定長度的特征向量，在圖片中字符較多的情況下，模型的識(shí)別精度會(huì)顯著下降。另一方面，由于他們的模型沒有對圖片進(jìn)行顯式地字符定位和分割，因此無法得知每個(gè)字符在原圖中所處位置?，F(xiàn)存算法的問題大多文字識(shí)別方法依賴于人工定義的特征雖然有大量工作研究如何定義一組好的文字特征，但是大部分實(shí)際應(yīng)用的特征都不具有通用性。在極端情況下（如圖10（）），很多特征幾乎無效或甚至無法提取，如筆畫特征，形狀特征，邊緣特征等。另一方面，定義和提取人工特征也是一件極為耗時(shí)耗力的工作。脫離上下文的字符識(shí)別易造成顯著的歧義基于字符的識(shí)別方法通常以字符為處理單位，通過分割或者滑動(dòng)窗口搜索的方法，將單個(gè)字符進(jìn)行分離。然后利用字符分類器來預(yù)測字