計算機視覺應(yīng)用開發(fā)課件：場景文字識別概述

場景文字識別概述場景文字識別的基本概念01任務(wù)文字識別的應(yīng)用場景02任務(wù)文字識別的分類03任務(wù)學習目標了解場景文字識別的基本概念了解文字識別的應(yīng)用場景和分類1場景文字識別的基本概念1場景文字識別的基本概念OCR（OpticalCharacterRecognition,光學字符識別）傳統(tǒng)上指對輸入掃描文檔圖像進行分析處理，識別出圖像中文字信息。圖為OCR的簡易過程：具體流程如下：第一步，通過圖像信息采集(一般是相機)，得到了一幅包含待識別字符的圖像，并對其結(jié)構(gòu)進行了分析；第二步，采用閾值運算等圖像處理方法對待測對象進行去噪,并校正待檢測的物體；第三步，由于文本信息的特殊性，需要進行行和列分割用于檢測單個或連續(xù)的字符；第四步，將分割后的字符圖像導(dǎo)入識別模型進行處理,從而獲得原始圖像中的字符信息。1場景文字識別的基本概念圖為OCR文字識別的操作步驟：其中，OCR識別的關(guān)鍵技術(shù)在于文字檢測和文本識別部分，這也是深度學習技術(shù)可以充分發(fā)揮功效的地方。1場景文字識別的基本概念場景文字識別（SceneTextRecognition，STR）指識別自然場景圖片中的文字信息。自然場景圖像中的文字識別，其難度遠大于掃描文檔圖像中的文字識別，因為它的文字展現(xiàn)形式極其豐富：允許多種語言文本混合，字符可以有不同的大小、字體、顏色、亮度、對比度等；文本行可能有橫向、豎向、彎曲、旋轉(zhuǎn)、扭曲等式樣；圖像中的文字區(qū)域還可能會產(chǎn)生變形(透視、仿射變換)、殘缺、模糊等現(xiàn)象；自然場景圖像的背景極其多樣。如下圖所示，文字可以出現(xiàn)在平面、曲面或折皺面上。文字區(qū)域附近有復(fù)雜的干擾紋理、或者非文字區(qū)域有近似文字的紋理，比如沙地、草叢、柵欄、磚墻等。1場景文字識別的基本概念也有人用OCR技術(shù)泛指所有圖像文字檢測和識別技術(shù)，包括傳統(tǒng)OCR技術(shù)與場景文字識別技術(shù)，其實場景文字識別技術(shù)可以被看成是傳統(tǒng)OCR技術(shù)的自然演進與升級換代。2文字識別的應(yīng)用場景2文字識別的應(yīng)用場景圖像文字檢測和識別技術(shù)有著廣泛的應(yīng)用場景。目前許多互聯(lián)網(wǎng)公司的相關(guān)應(yīng)用已經(jīng)涉及了這個領(lǐng)域，比如識別名片，識別路牌，識別試卷，識別車牌號等。而且已經(jīng)有不少的服務(wù)商都在持續(xù)增強文字檢測和識別的技術(shù)，比如騰訊，百度，阿里，亞馬遜，微軟，谷歌等大型云服務(wù)企業(yè)，還有一些活躍在物流，教育，安防，視頻直播，商務(wù)，旅游導(dǎo)航等服務(wù)企業(yè)。這些企業(yè)既可以使用提前訓(xùn)練好的模型直接提供場景圖文識別、卡證識別、掃描文檔識別等云服務(wù)，也可以使用客戶提供的數(shù)據(jù)集訓(xùn)練定制化模型（如票據(jù)識別模型），以及提供定制化AI服務(wù)系統(tǒng)集成等。3文字識別的分類3文字識別的分類文字識別可根據(jù)待識別的文字特點采用不同的識別方法，一般分為定長文字和不定長文字。定長文字：由于字符數(shù)量固定（比如車牌號），采用的網(wǎng)絡(luò)結(jié)構(gòu)相對簡單，識別也比較容易。一般構(gòu)建3層卷積層，2層全連接層便能滿足其識別。不定長文字：由于字符數(shù)量不固定（比如廣告牌文字），因此需要更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)和后處理環(huán)