圖像處理基礎(chǔ)知識調(diào)研報告

科研調(diào)查報告研究題目：實驗室科研調(diào)查指導(dǎo)老師：作者：目錄一、視頻圖像特點4二、如何從視頻圖像中檢測出運動目標？52.1圖像增強及其銳化52.1.1梯度圖像直接輸出62.1.2加閾值的梯度輸出62.1.3輪廓灰度規(guī)定化輸出62.1.4背景灰度規(guī)定化輸出72.1.5二值化圖像輸出72.2差分檢查72.3閾值分割及形態(tài)學(xué)濾波82.4運動目標檢測實驗結(jié)果8三、計算機視覺信息處理93.1目的和意義93.2方法與技術(shù)103.3應(yīng)用方向11四、?面向自動識別的文檔圖像處理技術(shù)?調(diào)研144.1課題研究的背景144.2國內(nèi)外研究現(xiàn)狀與水平164.3研究目的與意義164.4總體研究思路164.4.1圖像校正174.4.2版面分析204.4.3類型識別214.4.4污損檢測和復(fù)原23五、課題相關(guān)文獻245.1?基于投影的文檔圖像傾斜校正方法?245.2?表格文檔預(yù)處理方法的研究?265.3?文本圖像幾何畸變自動檢測與分類的實現(xiàn)?285.4?OCRbinarizationandimagepre-processingforsearchinghistoricaldocuments.?315.5?opticalcharacterrecognition?325.6?Geometricrectificationofcamera-captureddocumentimages?33一、視頻圖像的特點 視頻圖像用數(shù)字任意描述像素點、強度和顏色。描述信息文件存儲量較大，所描述對象在縮放過程中會損失細節(jié)或產(chǎn)生鋸齒。在顯示方面它是將對象以一定的分辨率分辨以后將每個點的色彩信息以數(shù)字化方式呈現(xiàn)，可直接快速在屏幕上顯示。分辨率和灰度是影響顯示的主要參數(shù)。圖像適用于表現(xiàn)含有大量細節(jié)〔如明暗變化、場景復(fù)雜、輪廓色彩豐富〕的對象，如：照片、繪圖等，通過圖像軟件可進行復(fù)雜圖像的處理以得到更清晰的圖像或產(chǎn)生特殊效果。計算機中的圖像從處理方式上可以分為位圖和矢量圖，從中得到的視頻圖像。視頻圖像處理是對圖像進行分析、加工、和處理，使其滿足視覺、心理以及其他要求的技術(shù)。圖像處理是信號處理在圖像域上的一個應(yīng)用。目前大多數(shù)的圖像是以數(shù)字形式存儲，因而圖像處理很多情況下指數(shù)字圖像處理。此外，基于光學(xué)理論的處理方法依然占有重要的地位。圖像處理是信號處理的子類，另外與計算機科學(xué)、人工智能等領(lǐng)域也有密切的關(guān)系。傳統(tǒng)的一維信號處理的方法和概念很多仍然可以直接應(yīng)用在圖像處理上，比方降噪、量化等。然而，圖像屬于二維信號，和一維信號相比，它有自己特殊的一面，處理的方式和角度也有所不同。幾十年前，圖像處理大多數(shù)由光學(xué)設(shè)備在模擬模式下進行。由于這些光學(xué)方法本身所具有的并行特性，至今他們?nèi)匀辉诤芏鄳?yīng)用領(lǐng)域占有核心地位，例如全息攝影。但是由于計算機速度的大幅度提高，這些技術(shù)正在迅速的被數(shù)字圖像處理方法所替代。從通常意義上講，數(shù)字圖像處理技術(shù)更加普適、可靠和準確。比起模擬方法，它們也更容易實現(xiàn)。專用的硬件被用于數(shù)字圖像處理，例如，基于流水線的計算機體系結(jié)構(gòu)在這方面取得了巨大的商業(yè)成功。今天，硬件解決方案被廣泛的用于視頻處理系統(tǒng)，但商業(yè)化的圖像處理任務(wù)根本上仍以軟件形式實現(xiàn)，運行在通用個人電腦上。二、如何從視頻圖像中檢測出運動目標？ 在數(shù)字視頻處理和計算機視覺領(lǐng)域的各種應(yīng)用中,目標的檢測和跟蹤是一個重要的,也是最根本的任務(wù).運動目標檢測與跟蹤算法性能直接影響運動目標跟蹤系統(tǒng)的精確度和穩(wěn)定性，因此，研究一種魯棒性好、精確、高性能的運動目標檢測與跟蹤算法是提高監(jiān)控系統(tǒng)性能的關(guān)鍵。本文從視頻圖像的獲取、預(yù)處理及目標檢測與跟蹤方法進行研究，并對采用不同方法得到的實驗結(jié)果進行了比照分析。 運動目標檢測是在一段序列圖像的每幀圖像中找到感興趣的運動目標所在的位置，其難點在于如何快速而可靠地從一幀圖像中匹配目標。在本系統(tǒng)中，由于攝像頭固定，采集到的圖像背景根本不變，應(yīng)選取基于運動的幀間差分法。圖像采集采用CCD攝像頭。為減少處理運算量，將采集到的彩色圖像轉(zhuǎn)換為灰度圖像，再進行預(yù)處及目標檢測。真彩圖像到灰度圖像的變換為Y=0.299R+0.587G+0.114B，其中Y為灰度圖像的灰度值，R、G、B為紅、綠、藍三通道顏色值。2.1圖像增強及其銳化圖像增強采用了中值濾波和灰度均衡化技術(shù)。由于濾波后的圖像邊界、輪廓往往會變模糊，需要利用圖像銳化技術(shù)使圖像的邊緣變清晰。對一幅圖像f(x，y)，它的梯度是一個矢量，梯度值的大小與相鄰像素的灰度差值成正比。計算出圖像f(x，y)的梯度值后，可以采用不同形式突出圖像的輪廓，現(xiàn)采用以下方法進行了研究。2.1.1、梯度圖像直接輸出設(shè)輸出圖像為g(x，y)，梯度圖像直接輸出的表達式為：g(x，y)=|G[f(x，y)]|。原圖像所有灰度變化平緩的區(qū)域，在輸出圖像g(x，y)上均變成了暗區(qū)，只有圖像的輪廓局部在g(x，y)上才表現(xiàn)為亮區(qū)〔點、線或區(qū)〕。由于圖像上相鄰像素的灰度值相關(guān)性一般很高，故輸出圖像g(x，y)總體上講顯得非常暗淡。2.1.2、加閾值的梯度輸出加閾值的梯度圖像表達式為：g(x，y)=|G[f(x，y)]|，|G[f(x，y)]|≥Tf(x，y),|G[f(x，y)]|＜＜T〔1〕其中，T>0為閾值。從表達式可以看出，適當(dāng)?shù)剡x擇T，既可使圖像輪廓清晰突出，又可在一定程度上保持灰度變化平緩的背景不受破壞。2.1.3、輪廓灰度規(guī)定化輸出在某些場合下，需要把輪廓設(shè)置成一個特殊的灰度級值，而其他非輪廓區(qū)域的灰度仍然保持原灰度值不變。這種輸出表達式為g(x，y)=LG|G[f(x，y)]|≥Tf(x，y)|G[f(x，y)]|＜＜T〔2〕式中T為輪廓閾值。輪廓確實定是根據(jù)梯度值|G[f(x，y)]|的大小來判定的，當(dāng)|G[f(x，y)]|≥T時，就認定像素(x，y)為輪廓。LG是根據(jù)需要指定的一個灰度級，它將明顯邊緣用一個固定的灰度級LG來實現(xiàn)。2.1.4、背景灰度規(guī)定化輸出當(dāng)背景的灰度變化造成圖像輪廓不明顯突出時，假設(shè)只想突出輪廓而允許非輪廓像素的灰度層次，可把背景〔非輪廓像素〕規(guī)定成一個灰度級LB，其表達式為g(x，y)=|G[f(x，y)]||G[f(x，y)]|≥TLB|G[f(x，y)]|＜＜T〔3〕按這種方式輸出的圖像，認定為非輪廓的像素均變?yōu)長B，而認定是輪廓的像素的灰度值以其梯度值來代替。2.1.5、二值圖像輸出假設(shè)只關(guān)心每個像素是輪廓像素還是非輪廓像素，這時可以采用二值化的圖像輸出方式，其表達式為g(x，y)=LG|G[f(x，y)]|≥TLB|G[f(x，y)]|＜≥T〔4〕按這種方式輸出的圖像，結(jié)果是整幅圖像上所有像素只有兩種可能的灰度值。這5種不同的銳化方法各有優(yōu)點，在完成幀間差分及閾值分割后將會對這5種方法進行比較，找出最優(yōu)方法。2.2差分檢測預(yù)處理之后的圖像成為適合于計算機分析處理的圖像，然后進行運動目標的檢測。幀間差分法是基于運動圖像序列中相鄰兩幀圖像間具有強相關(guān)性而提出的檢測方法。在攝像頭固定的情況下，對連續(xù)的圖像序列中的相鄰兩幀圖像采用基于像素的時間差分來提取圖像中的運動區(qū)域，設(shè)在t1時刻和t2時刻采集到同一背景下的兩幅運動圖像為f1(x，y)和f2(x，y)，那么差分圖像的定義為：fd(x，y)=f1(x，y)-f2(x，y)。對上式的差分結(jié)果進行閾值處理，就可以提取出運動的物體。2.3閾值分割及形態(tài)學(xué)濾波圖像分割是圖像分析、理解和計算機視覺中的難點。在圖像分割的諸多方法中，閾值化技術(shù)是一種簡單有效的方法，最大類間方差〔Otsu〕是廣泛使用的閾值分割方法之一[3]。其根本思想是利用圖像的灰度直方圖，以目標和背景的方差最大來動態(tài)地確定圖像的分割閾值。二值化后的圖像往往會含有許多孤立的點、小區(qū)域以及小空隙和孔洞，為了解決閾值分割后的差分圖像可能會存在的一些目標空洞和少量的孤立噪聲的問題，這些均會對今后目標位置的判斷存在干擾，導(dǎo)致接下來跟蹤喪失或者跟蹤錯誤。因此，本文使用了數(shù)學(xué)形態(tài)學(xué)圖像處理，適當(dāng)?shù)剡x取形態(tài)運算子和濾波窗口可以很好地排除雜點，消除物體內(nèi)部的細小空隙。主要方法為膨脹和腐蝕。本系統(tǒng)分別使用3階和5階窗口進行形態(tài)學(xué)濾波操作。2.4運動目標檢測實驗結(jié)果首先將采集到的圖像序列〔見圖1〔a〕、〔b〕〕轉(zhuǎn)變?yōu)榛叶葓D像，然后進行中值濾波和灰度均衡。采用(一)中的5種圖像銳化方法分別對兩幅濾波后的圖像進行處理，然后利用5種銳化后的圖像進行幀間差分以及閾值分割，最終得到含有運動目標的二值圖像。效果如圖1所示。由實驗結(jié)果可知，銳化效果最好的是第5種方法，即二值圖像輸出方法。這種方法根本上可以準確地檢測出運動物體；雖然還存在一些細小空洞，但在對其進行形態(tài)學(xué)濾波之后便可以完全消除，如圖1中(g)所示。(a)原始序列第5幀(b)原始序列第6幀(c)梯度圖直接輸出差分效果(d)加閾值的灰度輸出差分效果(e)輪廓灰度規(guī)定化輸出差分效果(f)背景灰度規(guī)定化輸出差分效果(g)二值圖像輸出差分效果圖1運動目標檢測效果圖三、計算機視覺信息處理3.1目的和意義計算機視覺是一門研究如何使機器“看〞的科學(xué)，更進一步的說，就是是指用攝影機和電腦代替人眼對目標進行識別、跟蹤和測量等機器視覺，并進一步做圖形處理，用電腦處理成為更適合人眼觀察或傳送給儀器檢測的圖像。作為一個科學(xué)學(xué)科，計算機視覺研究相關(guān)的理論和技術(shù)，試圖建立能夠從圖像或者多維數(shù)據(jù)中獲取‘信息’的人工智能系統(tǒng)。這里所指的信息指Shannon定義的，可以用來幫助做一個“決定〞的信息。因為感知可以看作是從感官信號中提取信息，所以計算機視覺也可以看作是研究如何使人工系統(tǒng)從圖像或多維數(shù)據(jù)中“感知〞的科學(xué)。計算機視覺是使用計算機及相關(guān)設(shè)備對生物視覺的一種模擬。它的主要任務(wù)就是通過對采集的圖片或視頻進行處理以獲得相應(yīng)場景的三維信息，就像人類和許多其他類生物每天所做的那樣。計算機視覺既是工程領(lǐng)域，也是科學(xué)領(lǐng)域中的一個富有挑戰(zhàn)性重要研究領(lǐng)域。計算機視覺是一門綜合性的學(xué)科，它已經(jīng)吸引了來自各個學(xué)科的研究者參加到對它的研究之中。其中包括計算機科學(xué)和工程、信號處理、物理學(xué)、應(yīng)用數(shù)學(xué)和統(tǒng)計學(xué)，神經(jīng)生理學(xué)和認知科學(xué)等。3.2方法與技術(shù)計算機視覺就是用各種成象系統(tǒng)代替視覺器官作為輸入敏感手段，由計算機來代替大腦完成處理和解釋。計算機視覺的最終研究目標就是使計算機能象人那樣通過視覺觀察和理解世界，具有自主適應(yīng)環(huán)境的能力。要經(jīng)過長期的努力才能到達的目標。因此，在實現(xiàn)最終目標以前，人們努力的中期目標是建立一種視覺系統(tǒng)，這個系統(tǒng)能依據(jù)視覺敏感和反應(yīng)的某種程度的智能完成一定的任務(wù)。例如，計算機視覺的一個重要應(yīng)用領(lǐng)域就是自主車輛的視覺導(dǎo)航，目前還沒有條件實現(xiàn)象人那樣能識別和理解任何環(huán)境，完成自主導(dǎo)航的系統(tǒng)。因此，目前人們努力的研究目標是實現(xiàn)在高速公路上具有道路跟蹤能力，可防止與前方車輛碰撞的視覺輔助駕駛系統(tǒng)。這里要指出的一點是在計算機視覺系統(tǒng)中計算機起代替人腦的作用，但并不意味著計算機必須按人類視覺的方法完成視覺信息的處理。計算機視覺可以而且應(yīng)該根據(jù)計算機系統(tǒng)的特點來進行視覺信息的處理。但是，人類視覺系統(tǒng)是迄今為止，人們所知道的功能最強大和完善的視覺系統(tǒng)。如在以下的章節(jié)中會看到的那樣，對人類視覺處理機制的研究將給計算機視覺的研究提供啟發(fā)和指導(dǎo)。因此，用計算機信息處理的方法研究人類視覺的機理，建立人類視覺的計算理論，也是一個非常重要和信人感興趣的研究領(lǐng)域。這方面的研究被稱為計算視覺〔ComputationalVision〕。計算視覺可被認為是計算機視覺中的一個研究領(lǐng)域3.3應(yīng)用方向計算機視覺領(lǐng)域的突出特點是其多樣性與不完善性。這一領(lǐng)域的先驅(qū)可追溯到更早的時候，但是直到20世紀70年代后期，當(dāng)計算機的性能提高到足以處理諸如圖像這樣的大規(guī)模數(shù)據(jù)時，計算機視覺才得到了正式的關(guān)注和開展。然而這些開展往往起源于其他不同領(lǐng)域的需要，因而何謂“計算機視覺問題〞始終沒有得到正式定義，很自然地，“計算機視覺問題〞應(yīng)當(dāng)被如何解決也沒有成型的公式。盡管如此，人們已開始掌握局部解決具體計算機視覺任務(wù)的方法，可惜這些方法通常都僅適用于一群狹隘的目標〔如：臉孔、指紋、文字等〕，因而無法被廣泛地應(yīng)用于不同場合。對這些方法的應(yīng)用通常作為某些解決復(fù)雜問題的大規(guī)模系統(tǒng)的一個組成局部〔例如醫(yī)學(xué)圖像的處理，工業(yè)制造中的質(zhì)量控制與測量〕。在計算機視覺的大多數(shù)實際應(yīng)用當(dāng)中，計算機被預(yù)設(shè)為解決特定的任務(wù)，然而基于機器學(xué)習(xí)的方法正日漸普及，一旦機器學(xué)習(xí)的研究進一步開展，未來“泛用型〞的電腦視覺應(yīng)用或許可以成真。人工智能所研究的一個主要問題是：如何讓系統(tǒng)具備“方案〞和“決策能力〞？從而使之完成特定的技術(shù)動作〔例如：移動一個機器人通過某種特定環(huán)境〕。這一問題便與計算機視覺問題息息相關(guān)。在這里，計算機視覺系統(tǒng)作為一個感知器，為決策提供信息。另外一些研究方向包括模式識別和機器學(xué)習(xí)〔這也隸屬于人工智能領(lǐng)域，但與計算機視覺有著重要聯(lián)系〕，也由此，計算機視覺時常被看作人工智能與計算機科學(xué)的一個分支。物理是與計算機視覺有著重要聯(lián)系的另一領(lǐng)域。計算機視覺關(guān)注的目標在于充分理解電磁波——主要是可見光與紅外線局部——遇到物體外表被反射所形成的圖像，而這一過程便是基于光學(xué)物理和固態(tài)物理，一些尖端的圖像感知系統(tǒng)甚至?xí)?yīng)用到量子力學(xué)理論，來解析影像所表示的真實世界。同時，物理學(xué)中的很多測量難題也可以通過計算機視覺得到解決，例如流體運動。也由此，計算機視覺同樣可以被看作是物理學(xué)的拓展。另一個具有重要意義的領(lǐng)域是神經(jīng)生物學(xué)，尤其是其中生物視覺系統(tǒng)的局部。在整個20世紀中，人類對各種動物的眼睛、神經(jīng)元、以及與視覺刺激相關(guān)的腦部組織都進行了廣泛研究，這些研究得出了一些有關(guān)“天然的〞視覺系統(tǒng)如何運作的描述〔盡管仍略嫌粗略〕，這也形成了計算機視覺中的一個子領(lǐng)域——人們試圖建立人工系統(tǒng)，使之在不同的復(fù)雜程度上模擬生物的視覺運作。同時計算機視覺領(lǐng)域中，一些基于機器學(xué)習(xí)的方法也有參考局部生物機制。計算機視覺的另一個相關(guān)領(lǐng)域是信號處理。很多有關(guān)單元變量信號的處理方法，尤其對是時變信號的處理，都可以很自然的被擴展為計算機視覺中對二元變量信號或者多元變量信號的處理方法。但由于圖像數(shù)據(jù)的特有屬性，很多計算機視覺中開展起來的方法，在單元信號的處理方法中卻找不到對應(yīng)版本。這類方法的一個主要特征，便是他們的非線性以及圖像信息的多維性，以上二點作為計算機視覺的一局部，在信號處理學(xué)中形成了一個特殊的研究方向。除了上面提到的領(lǐng)域，很多研究課題同樣可被當(dāng)作純粹的數(shù)學(xué)問題。例如，計算機視覺中的很多問題，其理論根底便是統(tǒng)計學(xué)，最優(yōu)化理論以及幾何學(xué)。如何使既有方法通過各種軟硬件實現(xiàn)，或說如何對這些方法加以修改，而使之獲得合理的執(zhí)行速度而又不損失足夠精度，是現(xiàn)今電腦視覺領(lǐng)域的主要課題。計算機視覺就是用各種成象系統(tǒng)代替視覺器官作為輸入敏感手段，由計算機來代替大腦完成處理和解釋。計算機視覺的最終研究目標就是使計算機能象人那樣通過視覺觀察和理解世界，具有自主適應(yīng)環(huán)境的能力。要經(jīng)過長期的努力才能到達的目標。因此，在實現(xiàn)最終目標以前，人們努力的中期目標是建立一種視覺系統(tǒng)，這個系統(tǒng)能依據(jù)視覺敏感和反應(yīng)的某種程度的智能完成一定的任務(wù)。例如，計算機視覺的一個重要應(yīng)用領(lǐng)域就是自主車輛的視覺導(dǎo)航，目前還沒有條件實現(xiàn)象人那樣能識別和理解任何環(huán)境，完成自主導(dǎo)航的系統(tǒng)。因此，目前人們努力的研究目標是實現(xiàn)在高速公路上具有道路跟蹤能力，可防止與前方車輛碰撞的視覺輔助駕駛系統(tǒng)。這里要指出的一點是在計算機視覺系統(tǒng)中計算機起代替人腦的作用，但并不意味著計算機必須按人類視覺的方法完成視覺信息的處理。計算機視覺可以而且應(yīng)該根據(jù)計算機系統(tǒng)的特點來進行視覺信息的處理。但是，人類視覺系統(tǒng)是迄今為止，人們所知道的功能最強大和完善的視覺系統(tǒng)。如在以下的章節(jié)中會看到的那樣，對人類視覺處理機制的研究將給計算機視覺的研究提供啟發(fā)和指導(dǎo)。因此，用計算機信息處理的方法研究人類視覺的機理，建立人類視覺的計算理論，也是一個非常重要和信人感興趣的研究領(lǐng)域。這方面的研究被稱為計算視覺〔ComputationalVision〕。計算視覺可被認為是計算機視覺中的一個研究領(lǐng)域。四、課題研究?面向自動識別的文檔圖像處理技術(shù)?——方小敏4.1課題研究的背景信息技術(shù)的開展促使了電子文檔的產(chǎn)生,電子文檔在存儲、傳輸、處理等方面具有紙質(zhì)文檔不可比較的優(yōu)越性,而紙質(zhì)文檔也因其耐用性和平安性彌補了電子文檔的局部缺陷.兩者各有其特點、優(yōu)勢和存儲方法,形成了共同開展、相互補充的共存態(tài)勢. 有人說，電子文檔將最終代替紙質(zhì)文檔，但紙質(zhì)文檔本身具備電子文檔不具備的傳統(tǒng)優(yōu)勢。我們?nèi)粘Ｉ钆c各種紙質(zhì)文檔打交道最多，比方說身份證，火車票，餐票，發(fā)票，名片，校園卡等等，他們在我們的生活中扮演者十分重要的作用。同時，我們也可以發(fā)現(xiàn)，紙質(zhì)文檔的認可度十分高。我們各種各樣的活動，證明，合同等等都需要紙質(zhì)文檔，才能得到他人，各種政府部門，企業(yè)等權(quán)威機構(gòu)的成認。同時，紙質(zhì)文檔涉足到我們生活的各種領(lǐng)域，是我們生活學(xué)習(xí)工作的最具認可度的文件，因為紙質(zhì)文檔他的修改度，時效度等都是有限的，所以它的真實度也是很高，畢竟和我們接觸最為接近的文件。 但隨著計算機科學(xué)技術(shù)的飛速開展與社會的開展，電子文檔開始逐漸走進我們的生活中，并且日益普及。電子文檔是指人們在社會活動中形成的，以計算機盤片、磁盤和光盤等化學(xué)磁性材料為載體電子文檔的文字材料。依賴計算機系統(tǒng)存取并可在通信網(wǎng)絡(luò)上傳輸。它主要包括電子文書、電子信件、電子報表、電子圖紙等等。 電子文檔具備以下特點。電子文檔區(qū)別于印刷品文檔主要有以下四個特點：容易修改、容易刪除、容易復(fù)制、容易損壞。但這些優(yōu)點似乎又成為了電子文檔的缺點。正是由于電子文檔容易修改，刪除，損壞的特點，如果不能很好的保護，就可能受到非法的修改，不管這種修改是有意還是無意的，都會給文檔所有者帶來一定程度的損失，這個時候它又變成一個缺點?？偟膩碚f都有其優(yōu)缺點。 我們?nèi)绻芾眉堎|(zhì)文檔與電子文檔各自的優(yōu)勢，將他們二者相結(jié)合，將會得到意想不到的效果，意義重大。將紙質(zhì)文檔電子化，這將是我們本次課題的目的，這是一個艱巨的任務(wù)，但所帶來的巨大優(yōu)勢將給我們學(xué)習(xí)生活工作上都帶來方便，更有利于社會的進步，管理的優(yōu)化，生活的美好。4.2國內(nèi)外研究現(xiàn)狀與水平文檔圖像的電子化一般采用OCR技術(shù)。OCR的研究始于60、70年代，90年代至今，包括清華大學(xué)，中科院等一批高等院校都進行了OCR的相關(guān)研究。在應(yīng)用領(lǐng)域，目前OCR軟件公司有“漢王〞、尚書〞、“清華紫光〞等,國外公司比方IBM、Motorola、HP和Microsoft等也有自己的產(chǎn)品。這些軟件對文檔質(zhì)量均有較高要求。提高文檔質(zhì)量的文檔圖像處理技術(shù)方面的研究空間大。4.3研究目的與意義1、將紙質(zhì)文檔電子化，充分發(fā)揮紙質(zhì)文檔中的各種優(yōu)勢。2、更好地對各種容易出現(xiàn)破損遺失的紙質(zhì)文檔進行保存。3、加強對各種文檔進行合理化的管理。4、文檔作為信息的載體，在社會生活中占有著十分重要的地位。通常，我們可以把存儲在計算機中或紙上的一切具有閱讀意義的信息稱為文檔。文檔可以通過掃描儀/、數(shù)碼相機或文檔處理系統(tǒng)進入計算機，轉(zhuǎn)化為文檔圖像或者電子文檔，從而使人們能夠方便有效地對其進行存儲、管理、傳輸。4.4總體研究思路紙質(zhì)文檔紙質(zhì)文檔文檔圖像字符識別預(yù)處理電子文檔OCR技術(shù)類型識別版面分析無損檢測與修復(fù)圖像校正主要技術(shù)OCR技術(shù)OCR〔OpticalCharacterRecognition光學(xué)字符識別〕技術(shù)，是指電子設(shè)備〔例如掃描儀或數(shù)碼相機〕檢查紙上打印的字符，通過檢測暗、亮的模式確定其形狀，然后用字符識別方法將形狀翻譯成計算機文字的過程；即，對文本資料進行掃描，然后對圖像文件進行分析處理，獲取文字及版面信息的過程。如何輔助信息提高識別正確率，是OCR最重要的課題，ICR〔IntelligentCharacterRecognition〕的名詞也因此而產(chǎn)生。衡量一個OCR系統(tǒng)性能好壞的主要指標有：拒率、誤識率、識別速度、用戶界面的友好性，產(chǎn)品的穩(wěn)定性，易用性及可行性等。4.4.1圖像校正〔1〕圖像傾斜校正文檔處理系統(tǒng)要求的處理對象是工整的文檔圖像，或者傾斜角度，否那么許多對圖像的操作，例如投影分析，圖像分割等就無法進行。顯然，掃描進計算機的文檔圖像無法保證一定是正的，因此需要利用傾斜檢測和校正的方法對其進行處理。經(jīng)常采用的傾斜角度檢測的方法有：基于文本行的檢測方法，投影輪廓分析方法，和Hough變換方法等。基于文本行的檢測可以用于文本行方向〔水平或豎直〕的文檔圖像，它利用了對圖像中連通體的分析。我們知道，連通體是一個灰度值相同的像素的集合，這個集合中任意兩個像素之間都是8-近鄰關(guān)系?？梢杂冒B通體內(nèi)像素的最小矩形來表示連通體，它描述了連通體的大小和位置信息。如果文本行方向，我們就可以將連通體合并成文本行，并用直線逼近。該直線的傾斜角即為文本行的傾斜角。對整幅圖像的文本行作同樣分析，選出出現(xiàn)頻率最高的角度，即可作為圖像的傾斜角。投影操作也是一種根本的圖像處理方法。將圖像按一定方向作投影，可以得到在該方向坐標軸上分布的波形，它描述了圖像沿該方向上的黑像素分布情況。如果圖像文本行是水平的，那么沿水平方向的投影波形將具有明顯的波峰和波谷。Hough變換方法是在傾斜檢測中最常使用的方法，它抗噪聲干擾的能力強，并且不受圖像間隙干擾。它的原理是將直線從圖像空間映射到參數(shù)空間。這樣就將原圖像中的直線映射到參數(shù)空間的一點，而原圖像中的一點那么對應(yīng)著參數(shù)空間的一條正弦曲線。圖像空間中任意兩點所對應(yīng)的正弦曲線在參數(shù)空間將相交于一點，進而，通過的直線上的所有點所對應(yīng)的正弦曲線在參數(shù)空間都將相交于這一點?；谶@一點，我們將直線檢測問題轉(zhuǎn)化為參數(shù)空間尋找局部最大值的問題。以上是標準Hough變換的根本思想。該方法適于文本行方向預(yù)先未知的情況。(a)源圖像(b)傾斜校正后的圖像〔2〕彎曲畸變校正〔3〕圖像去色及二值化存儲在紙上的文檔，假設(shè)要輸入計算機中，首先要通過掃描儀掃描成為數(shù)字圖像。它可以是彩色圖像，也可以是灰度圖像，或者是二值圖像，取決于掃描的具體過程。但一般文檔處理系統(tǒng)要處理的是灰度圖像，而且很多成熟的圖像處理算法和工具包也是針對灰度圖像的。在進入識別階段時，識別引擎一般是針對二值圖像的。因此，我們必須對輸入的圖像進行處理，將其二值化。圖像的二值化處理就是將圖像上的像素點的灰度值設(shè)置為0或255，也就是將整個圖像呈現(xiàn)出明顯的黑白效果。將256亮度等級的灰度圖像通過適當(dāng)?shù)拈y值選取而獲得仍然可以反映圖像整體和局部特征的二值化圖像。在數(shù)字圖像處理中，二值圖像占有非常重要的地位。首先，圖像的二值化有利于圖像的進一步處理，使圖像變得簡單，且數(shù)據(jù)量減小，能凸顯出感興趣的目標輪廓。其次，要進行二值圖像的處理與分析，首先要把灰度圖像二值化，得到二值化圖像。在我們所研究的文檔圖像處理這一特定領(lǐng)域中，圖像的二值化一般是指將灰度圖像轉(zhuǎn)化為只包含黑、白兩個灰度的二值圖像。文檔圖像可以看作是由文字、背景、圖片三類對象組成，而我們最關(guān)心的是文字區(qū)域二值化后的結(jié)果。圖像的這種轉(zhuǎn)換必然會引起信息喪失，因此采用什么樣的算法能夠最大限度地保存識別時必需的信息〔如字符的連通性〕，去掉不必要的背景信息和噪聲，并且執(zhí)行時間在實際可接受的范圍內(nèi)，是人們一直以來努力研究的問題4.4.2、版面分析文檔圖像幾何結(jié)構(gòu)的理解也稱為版面拆解，它是文檔圖像分析中的一個重要問題。版面拆解的目的是生成一個描述文檔圖像的層次結(jié)構(gòu)：幾何結(jié)構(gòu)。它將圖像分割成為具有相同特性的區(qū)域，為下一步的區(qū)域識別和文字識別做好準備。版面拆解的方法一般有如下三種：自底向上〔Bottom-Up，也稱為數(shù)據(jù)驅(qū)動〕。這類方法利用圖像的局部信息，通過逐步將具有相同屬性的區(qū)域合并，得到對文檔版面的拆解。該方法能處理不同版面的文檔和具有一定傾斜的文檔，但是一般比較慢。自頂向下〔Top-Down，也稱模型驅(qū)動〕。該方法從圖像全局出發(fā)，逐步對圖像進行分割，最后得到圖像的幾何結(jié)構(gòu)。對Manhattan式的版面，該方法快速而且有效；但是對復(fù)雜文檔效果欠佳。影響自頂向下方法有效性的因素包括文本行位置的隨意性，區(qū)域形狀的不規(guī)那么性以及文檔圖像的傾斜等。綜合方法〔Hybrid〕那么盡量綜合上述兩種方法的特點，使算法的性能和適應(yīng)性都得到提高。初始分割線提取線簇主軸線提取初始分割線提取線簇主軸線提取有效區(qū)域搜索4.4.3、類型識別圖像匹配、描述和識別對圖像進行比較和配準，通過分制提取圖像的特征及相互關(guān)系，得到圖像符號化的描述，再把它同模型比較，以確定其分類。圖像匹配試圖建立兩張圖片之間的幾何對應(yīng)關(guān)系，度量其類似或不同的程度。匹配用于圖片之間或圖片與地圖之間的配準，例如檢測不同時間所拍圖片之間景物的變化，找出運動物體的軌跡。從圖像中抽取某些有用的度量、數(shù)據(jù)或信息稱為圖像分析。圖像分析的根本步驟是把圖像分割成一些互不重疊的區(qū)域，每一區(qū)域是像素的一個連續(xù)集，度量它們的性質(zhì)和關(guān)系，最后把得到的圖像關(guān)系結(jié)構(gòu)和描述景物分類的模型進行比較，以確定其類型。識別或分類的根底是圖像的相似度。一種簡單的相似度可用區(qū)域特征空間中的距離來定義。另一種基于像素值的相似度量是圖像函數(shù)的相關(guān)性。最后一種定義在關(guān)系結(jié)構(gòu)上的相似度稱為結(jié)構(gòu)相似度〔1〕同類型文檔模式〔a〕模板1的版面分析圖像〔b〕模板1的版面分析圖像〔2〕不同類型文檔模式〔a〕模板1的版面分析圖像〔b〕模板1的版面分析圖像(c)保存的〔a〕和(b)的模式圖4.4.4圖像污損檢測與恢復(fù) 該模塊還在研究探討中。?面向自動識別的文檔圖像處理技術(shù)?主要運用了各種圖像處理技術(shù)，同時近年來，數(shù)字化文檔被廣泛應(yīng)用于辦公自動化、數(shù)字化圖書館、工業(yè)自動化等領(lǐng)域。隨著科技的開展，傳統(tǒng)掃描儀體積大、效率低、攜帶不方便等缺乏之處日益突出，而數(shù)字照相機體積小、價位低，可以很容易地攜帶并結(jié)合到、手提電腦以及各種網(wǎng)絡(luò)設(shè)備中去，它還可以遠距離地對背景文字及脆弱的珍貴文檔拍照，更適用于無約束環(huán)境下的數(shù)字化操作。但同時用數(shù)字照相機拍攝的文檔圖像也有新問題需要解決：當(dāng)文檔外表彎曲變形時，數(shù)字相機拍到的文字及圖形圖像將會產(chǎn)生畸變；在掃描儀中，也會出現(xiàn)這一現(xiàn)象。文檔圖像的變形對后續(xù)處理工作，如OCR識別、數(shù)字文檔的版面分析、格式處理以及文檔自動化都帶來極大困難，因此必須首先通過圖像矯正的方法對這種變形文檔進行圖像恢復(fù)。因此，面向自動識別的文檔圖像處理技術(shù)具有十分重要的意義。五、課題相關(guān)文獻根據(jù)方曉敏學(xué)姐的?面向自動識別的文檔圖像處理技術(shù)?課題，我瀏覽了一些相關(guān)的中英文文獻，讓自己對該課題涉及到的一些知識有跟深刻的了解。5.1?基于投影的文檔圖像傾斜校正方法?張順利，李衛(wèi)斌，吉軍1.咸陽師范學(xué)院圖形圖像處理研究所，陜西咸陽2.西北工業(yè)大學(xué)現(xiàn)代設(shè)計與集成制造技術(shù)教育部重點實驗室，西安概況：針對文檔圖像的傾斜校正問題，提出了一種新的基于投影的文檔圖像傾斜角檢測方法。首先采用一種高效的像素遍歷算法對文檔圖像從不同角度進行投影，然后對投影數(shù)據(jù)進行累加求和，通過比較不同角度下的累加和來確定傾斜角度。該方法在投影過程中只需對文檔圖像進行極少局部投影，因而大大減少了運算量。基于該方法的特點，提出了由“粗〞到“精〞的投影策略，在確保檢測精度的同時大幅提高了檢測速度。實驗結(jié)果說明，方法非常有效，可以獲得很高的檢測精度。算法原理在文檔圖像中，文字行與行之間通常存在一定的間距?？梢栽O(shè)想，當(dāng)用一系列平行光線從不同角度投射到文檔圖像時，光線將被文字遮擋，其中只有與文字行相平行的光線才可以沿著行間隙最大量地穿過文檔圖像，此時的光線方向即是文檔的傾斜角度?；谏鲜鏊枷?，將文檔圖像的像素看作是邊長為δ的正方形，光線看作是由一系列寬度為τ的光束組成，通常取τ=δ。為了方便計算，令文字、表格等所覆蓋局部的像素值為1，未被覆蓋局部的像素值為0。實際中所獲得的文檔圖像通常為灰度圖像，為了去除噪聲和簡化計算，需要對文檔圖像進行二值化預(yù)處理。作如下的規(guī)定：如果一個像素的中心位于光束內(nèi)，那么光經(jīng)過該像素；否那么，不經(jīng)過該像素。這樣，當(dāng)一條光束投影到文檔圖像時，一旦經(jīng)過值為1的像素，那么這條光束將被遮擋，記投影值為1；如果光束所經(jīng)過的所有像素值均為0，那么光束完全穿過文檔圖像，記投影值為0。將同一角度下的投影值進行累加求和，根據(jù)上述規(guī)定，如果光束越接近文檔圖像的傾斜角，那么累加和越小，反之那么越大。因此可以對文檔圖像進行不同角度的投影，并對投影值進行累加求和，根據(jù)和的大小最終確定文檔圖像的傾斜角。算法實現(xiàn)設(shè)文檔圖像由W×H個邊長為δ的像素組成，如圖1所示。圖像寬為WIDTH，高為HEIGHT，左下角位于坐標原點O。對所有像素按從左到右、從上到下的順序進行編號，依次為0、1、HW-1，對應(yīng)的圖像灰度值為f[i]，其中0≤i≤HW-1。由上述分析可知，該文方法的關(guān)鍵是實現(xiàn)光束與像素的快速遍歷。在文獻[9]中，提出了一種射束與像素的遍歷算法，該算法通過增量計算，而且主要涉及到加、減法運算，因而具有很高的效率?？紤]到多數(shù)情況下，文檔圖像的傾斜角度不會過大。不失一般性，假定光束的斜率k滿足0≤k<1，其上邊界直線方程為y=kx+b，下邊界直線方程為y=kx+b2。由幾何關(guān)系不難得到如下性質(zhì)：性質(zhì)1假設(shè)一個像素在光束內(nèi)，且其正上方像素也在光束內(nèi)，那么其右上方像素必然也在射束內(nèi)。性質(zhì)2假設(shè)一個像素在光束內(nèi)，且其正右方像素也在光束內(nèi)，那么其正上方像素必然不在射束內(nèi)。性質(zhì)3假設(shè)一個像素在光束內(nèi)，且其正右方和正上方像素均不在光束內(nèi)，那么其右上方像素必然在光束內(nèi)。當(dāng)0≤k<1時，由于光束在X方向比Y方向變化要塊，所以沿X方向步進。在步進過程中，當(dāng)確定一個像素K在光束內(nèi)時，根據(jù)上述性質(zhì)，下一個要遍歷的像素按如下規(guī)那么來確定〔1〕首先判斷正右方像素K+1是否在光束內(nèi)，假設(shè)在，那么遍歷該像素?！?〕假設(shè)正右方像素K+1不在光束內(nèi)，那么判斷正上方像素K-W是否在光束內(nèi)，假設(shè)在，那么依次遍歷正上方像素K-W和右上方像素K-W+1?！?〕假設(shè)正右方像素K+1和正上方像素K-W都不在光束內(nèi)，那么遍歷右上方像素K-W+1。5.2?表格文檔預(yù)處理方法的研究?解正梅韓洋〔1〕廣州華立科技職業(yè)學(xué)院〔2〕安凱(廣州)微電子技術(shù)內(nèi)容概況：在文檔影像的自動處理中,去黑邊和去噪是影像文檔預(yù)處理的首要環(huán)節(jié)。在去除黑邊的處理中,運用了數(shù)學(xué)形態(tài)學(xué)的理論和方法去除黑邊;在去噪的過程中,采用灰度增強和維納濾波相結(jié)合的方法進行圖像的去噪。大量的實驗結(jié)果說明,文章所采用的方法可行。圖像黑邊的去除黑邊指的是掃描圖像的黑色邊緣。造成掃描圖像存在黑邊的原因是,在文檔的掃描過程中,當(dāng)紙張的大小比掃描區(qū)域小時,某些品牌的掃描儀會在圖像的邊緣用黑色進行補充。由于黑邊不是文檔本身的信息,而是掃描過程中產(chǎn)生的附加信息,因此,去除黑邊對提高圖像壓縮比,改善視覺效果都非常有好處;甚至在一些識別應(yīng)用中,對于提高識別率都有很大幫助。因此,對于掃描圖像而言,去黑邊是必須的。以下就去除黑邊的有關(guān)原理和方法予以表達。〔1〕數(shù)學(xué)形態(tài)學(xué)原理數(shù)學(xué)形態(tài)學(xué)(MathematicalMorphology)是由法國數(shù)學(xué)家G.Matheron和J.Serra于1964年提出而逐漸開展起來的數(shù)學(xué)分支,成為圖像集合特征分析與處理的有力工具,它用具有一定形態(tài)的結(jié)構(gòu)元素(structureelement)去度量和提取圖像中的對應(yīng)形狀特征,以到達對圖像進行分析和識別的目的。數(shù)學(xué)形態(tài)學(xué)的根本運算包括膨脹(Dilation)、腐蝕(Erosion)、開啟(Opening)和閉合(Closing),由這些算法可以推導(dǎo)和組合各種實用算法。這種運算通常給出一個圖像集合和一個結(jié)構(gòu)元素集合,利用結(jié)構(gòu)元素對圖像進行操作。〔2〕圖像減法運算圖像減法運算也稱差分方法,是一種常用于檢測圖像變化及運動物體的圖像處理方法。圖像減法可以作為許多圖像處理過程的準備步驟。例如,可以使用圖像減法來檢測一系列相同場景圖像的差異。在Matlab7.0中,使用imsubtract函數(shù)可以將一幅圖像從另一幅圖像中減去,或者從一幅圖像中減去一個常數(shù),其格式如下Ip=imsubtract(I,background);上式中的I表示輸入圖像,background為另一幅輸入圖像并且與I中的圖像存在局部相似,imsubtract函數(shù)將一幅輸入圖像的像素值從另一幅輸入圖像相應(yīng)的像素值中減去,再將相應(yīng)的像素值之差作為輸出圖像相應(yīng)的像素值?！?〕去除黑邊算法去黑邊有兩種方法,一是將黑邊從掃描圖像中裁減掉;二是用白色填充黑色邊緣。在前一種方法下,圖像的大小將會縮小到與原文檔相同的實際大小;而在后一種方法下,圖像的尺寸將保持不變。本文將采用第二種方法。由于圖像黑邊一般比圖像內(nèi)容灰度大,所以本文先對灰度圖像使用開運算得到只有黑邊的圖像,再利用圖像的減法運算將黑邊去除,最終到達去除黑邊的目的,具體步驟如下:1)將彩色的表格圖像轉(zhuǎn)化為灰度圖像;2)對灰度圖像進行開運算;3)使用圖像的減法運算,將步驟1)得到的圖像減去步驟2)得到的圖像。5.3?文本圖像幾何畸變自動檢測與分類的實現(xiàn)?(河北工業(yè)大學(xué))吳麗平于明馬慶麗內(nèi)容概要：OCR識別、數(shù)字文檔版面分析等軟件在處理存在幾何畸變的文本圖像前,需要在預(yù)處理階段對變形文本圖像進行必要的幾何校正,為實現(xiàn)文本幾何畸變圖像的自動校正和批量處理,提出了一種對文本圖像的幾何畸變進行自動檢測及分類的方法。該算法結(jié)合數(shù)學(xué)形態(tài)學(xué)處理與曲線擬合等方法,實現(xiàn)簡單,計算量小,識別率高,并且具有較強的魯棒性。在數(shù)字化和信息化的現(xiàn)代,具有廣闊的應(yīng)用前景。1文本圖像的預(yù)處理由于文字顏色的差異、紙上不可防止的污點,或者輸入圖像時可能有不均勻的亮度,所有這些都會使我們所獲得的文本圖像是一個深淺分布不均勻的多值圖像,為了提取文本行的曲征,需要對圖像進行二值化處理,并對二值圖像進行濾波,以便去除干擾像素?！?〕圖像的二值化灰度圖像二值化的關(guān)鍵技術(shù)是閾值的選取。根據(jù)其對象素的處理方式可以分為兩大類:基于局部的閾值選取方法和基于全局的閾值選取方法。典型的全局閾值方法有迭代法和Otsu算法。典型的局部閾值方法有Bernsen算法和Niblack算法。文本圖像不同于一般的圖形圖像,它有自己的特點:文字與背景比率較小;文字大小、密度千差萬別;文字與背景底色不均勻。所以單純通過全局閾值很難得到理想的效果,而單純使用局部閾值方法又很難到達實用性要求,所以本文采用全局閾值與局部閾值相結(jié)合的方法實現(xiàn)二值化,不僅較好保持局部閾值保存細節(jié)的優(yōu)點,且時間開銷少,算法描述如下:1)首先對圖像以O(shè)tsu算法,得到全局閾值Threshold。2)掃描整幅圖像,如果當(dāng)前像素的值大于Threshold,那么置f(i,j)=0(其中f(i,j)表示第i行第j列的像素點);否那么對該像素點施以Niblack局部閾值化。該算法由于對背景中大局部的像素值,直接采用了0STU法得到的閾值,只對前景局部采用了局部域值算法。經(jīng)驗證,速度得到了較大的提高。此外,按照一般的認識,前景色應(yīng)該是“1〞,而背景色是“0〞,這與計算機內(nèi)對顏色的存儲是相反的,因此圖像在二值化后,也應(yīng)該把其結(jié)果作反色處理,使其更符合人們的思路,程序調(diào)試上也更方便?！?〕二值文本圖像的濾波上面得到的二值文本圖像不可防止的存在干擾像素,即圖像噪聲。因此,在后續(xù)操作之前必須對其進行有效的圖像濾波,以免對后續(xù)處理造成干擾。針對文本圖像的特征,本算法采用形態(tài)學(xué)濾波與中值濾波相結(jié)合的方法。由于形態(tài)學(xué)中的開、閉運算具有消除圖像噪聲和平滑圖像的功能,因此使用形態(tài)學(xué)開閉運算建立的形態(tài)濾波器逐漸開展起來。形態(tài)濾波器是用一個結(jié)構(gòu)元素B對初始圖像串聯(lián)地使用開啟、閉合操作以到達濾波的目的。開啟一幅圖像可消除圖中的孤島或尖峰等過亮的點。閉合對較暗特征的功能與開啟對較亮的特征一樣,它可將比背景亮度低且尺寸比結(jié)構(gòu)元素小的結(jié)構(gòu)除掉。結(jié)合形態(tài)濾波與中值濾波后的二值文本圖像濾波效果良好,且經(jīng)實驗證明為后續(xù)處理工作打下了良好的根底。 2文本形曲線特征的提取通過觀察可以看出,在游程圖中存在一些不能表達文本行曲線特征的白游程,。為了防止此類游程的干擾,我們可以根據(jù)游程的高度和寬度去掉這些干擾游程。通過實驗得出經(jīng)驗值,去掉高度大于3倍和小于1/3平均高度的游程,以及寬度小于1/2平均寬度的游程即可除去干擾游程。然后對每個有效的文本行白游程區(qū)段進行穿越線分割處理,在游程圖上,水平方向每隔N個像素的位置進行垂直方向的穿越,獲得一系列的垂直穿越線。所取的N值應(yīng)兼顧效率與精度。N值越大所獲的穿越線越少,分析的開銷越小,效率越高。但N值過大意味著抽樣的減少,會影響精確性,經(jīng)實驗得知N值一般可設(shè)在20左右。穿越線將白游程分割成一系列區(qū)段,提取每個小區(qū)段的質(zhì)心。為方便觀察,該圖為截取的一小局部并放大后的圖像,且穿越線和質(zhì)點均用黑色表示了出來。5.4?OCRbinarizationandimagepre-processingforsearchinghistoricaldocuments.??二值化和光學(xué)圖像預(yù)處理搜索歷史文檔?Gupta,MayaR.gupta@

Jacobson,NathanielP.1

Garcia,EricK.1來源：PatternRecognition;Feb2007,Vol.40Issue2,p389-397,9p內(nèi)容概要：Weconsidertheproblemofdocumentbinarizationasapre-processingstepforopticalcharacterrecognition(OCR)forthepurposeofkeywordsearchofhistoricalprinteddocuments.Anumberofpromisingtechniquesfromtheliteratureforbinarization,pre-filtering,andpost-binarizationdenoisingwereimplementedalongwithnewlydevelopedmethodsforbinarization:anerrordiffusionbinarization,amultiresolutionalversionofOtsu''sbinarization,anddenoisingbydespeckling.TheOCRintheABBYYFineReader7.1SDKisusedasablackboxmetrictocomparemethods.Resultsfor12pagesfromsixnewspapersofdifferingqualityshowthatperformancevarieswidelybyimage,butthattheclassicOtsumethodandOtsu-basedmethodsperformbestonaverage.我們認