圖像處理與計算機視覺技術綜述課件

圖像處理與計算機視覺技術綜述

主要參考書

張廣軍，《機器視覺》崗薩雷斯，《數(shù)字圖像處理》章毓晉《圖像工程》《計算機視覺——一種現(xiàn)代方法》

林學訚等譯，《機器視覺算法與應用》

楊少榮等譯，1PPT課件圖像處理與計算機視覺技術綜述主要參考書1PP課程介紹基礎知識數(shù)學：線性代數(shù)、概率與統(tǒng)計計算機科學：軟件編程電子學：信號處理2PPT課件課程介紹基礎知識2PPT課件視覺重要？古語百聞不如一見一目了然眼見為實，耳聽為虛。。。人類信息的主要傳遞手段視覺，聽覺，味覺，觸覺等視覺占60％以上人機交互字符、圖形計算機接收信息手段單一（鍵盤，鼠標）3PPT課件視覺重要？古語3PPT課件圖像處理重要？兩大應用需求對圖像信息的改進機器自動理解：使計算機具有視覺4PPT課件圖像處理重要？兩大應用需求4PPT課件主要學科圖像處理、計算機視覺和模式識別 計算機圖形學5PPT課件主要學科計算機圖形學5PPT課件1.1 圖像處理與計算機視覺的發(fā)展及系統(tǒng)構(gòu)成

1.圖像（Image）可以看作是對物體或場景的一種表現(xiàn)形式抽象定義：二維函數(shù)f(x,y)(x,y):點的空間坐標（實數(shù)）f:點(x,y)的幅度（亮度、強度或灰度）英文單詞Image：一般指用鏡頭等科技手段得到的視覺形象Picture：強調(diào)手工描繪的人物或景物畫Drawings：人工繪制的工程圖Lenna1.1.1圖像處理與計算機視覺的概念6PPT課件1.1 圖像處理與計算機視覺的發(fā)展及系統(tǒng)構(gòu)成1.圖像（I圖像實例光學圖像LennaIKONOS衛(wèi)星光學圖像423mile高16000miles/h1m分辨率EP－3,海南陵水,01-4-4大腦斷層圖像

遙感圖像7PPT課件圖像實例光學圖像IKONOS衛(wèi)星大腦斷層圖像遙感圖像7PPT2.數(shù)字圖像數(shù)字化：對x，y和f進行離散化

-其中的每個點稱為圖像元素，即像素。8PPT課件2.數(shù)字圖像8PPT課件分類（根據(jù)f的性質(zhì)）灰度圖像（特殊：二值圖像）彩色圖像9PPT課件分類（根據(jù)f的性質(zhì)）9PPT課件3.數(shù)字圖像處理DIP（DigitalImageProcessing）廣義：與圖像相關的處理（圖像分析、理解和計算機視覺等）狹義（從輸入和輸出內(nèi)容）：對圖像進行各種加工，以改善圖像的視覺效果或突出目標，強調(diào)圖像之間進行的變換，是一個從圖像到圖像的過程廣義上分為三種類型：低、中、高級處理圖像處理主要是低級處理及部分中級處理10PPT課件3.數(shù)字圖像處理10PPT課件3.數(shù)字圖像處理低級處理：輸入輸出都是圖像中級處理：圖像分割及目標的描述，輸出是目標的特征數(shù)據(jù)高級處理：目標物體及相互關系的理解，輸出是更抽象的數(shù)據(jù)11PPT課件3.數(shù)字圖像處理11PPT課件4.圖像處理與計算機視覺的區(qū)別與聯(lián)系圖像處理主要集中在二維圖像分析、識別和理解，如光學字符識別、工件表面、顯微圖片和航空照片的分析和解釋等。計算機視覺是采用圖像處理、模式識別、人工智能技術相結(jié)合的手段，著重于一幅或多幅圖像的計算機分析，圖像可以由單個或多個傳感器獲取，也可以是單個傳感器在不同時刻獲取的圖像序列。分析是對目標物體的識別，確定目標物體的位置和姿態(tài)，對三維景物進行符號描述和解釋。機器視覺：計算機視覺技術工程化，能夠自動獲取和分析特定的圖像，以控制相應的行為。計算機視覺為機器視覺提供圖像和景物分析的理論及算法基礎，機器視覺為計算機視覺的實現(xiàn)提供傳感器模型、系統(tǒng)構(gòu)造和實現(xiàn)手段。12PPT課件4.圖像處理與計算機視覺的區(qū)別與聯(lián)系圖像處理主要集中在二維圖1.1.2圖像處理與計算機視覺的發(fā)展1.20世紀20年代：報紙業(yè)圖像的編碼與重構(gòu)技術Bartlane電纜圖片傳輸系統(tǒng)：從倫敦到紐約傳送一幅圖片從1周減少到3小時色調(diào)質(zhì)量和分辨率改善1921年，電報打印機，5個灰度級1922年，穿孔紙帶，5個灰度級1929年，15級灰度13PPT課件1.1.2圖像處理與計算機視覺的發(fā)展1.20世紀20年代2.1964年：航天技術60年代初作為一門學科，主要目的是改善圖像質(zhì)量，采取的方法有圖像增強和復原技術美國JPL（噴氣推進）實驗室處理衛(wèi)星發(fā)射回來的月球表面的照片應用圖像畸變的校正、灰度變換、去除噪聲14PPT課件2.1964年：航天技術14PPT課件3.20世紀70年代：遙感衛(wèi)星和醫(yī)學圖像增強和圖像識別

利用遙感圖片，進行地質(zhì)資源探測，農(nóng)作物估產(chǎn)，水文氣象監(jiān)測等圖像重構(gòu)

X光斷層圖像重構(gòu)技術，英國G.N.Hounsfield第一臺腦斷層攝像儀應用15PPT課件3.20世紀70年代：遙感衛(wèi)星和醫(yī)學15PPT課件4.20世紀70年代末：人工智能興起，開始計算機視覺研究，由2D獲取3D空間信息16PPT課件4.20世紀70年代末：人工智能興起，開始計算機視覺研究，5.80年代末到今：多媒體技術高速計算機和大規(guī)模集成電路的發(fā)展：圖像壓縮和多媒體技術；文本圖像的分析和理解，文字的識別取得重大的進展；圖像通訊和傳輸?shù)鹊膹V泛應用17PPT課件5.80年代末到今：多媒體技術17PPT課件1.1.3圖像處理與計算機視覺的系統(tǒng)構(gòu)成系統(tǒng)構(gòu)成框圖18PPT課件1.1.3圖像處理與計算機視覺的系統(tǒng)構(gòu)成系統(tǒng)構(gòu)成框圖18P采集裝置：兩部分(1)傳感器：能產(chǎn)生與所接受到的電磁能量成正比的模擬電信號（CCD，CMOS）(2)高速圖像采集系統(tǒng)：它能將上述（模擬）電信號轉(zhuǎn)化為數(shù)字（離散）的形式輸入設備具備上述兩種裝置如：數(shù)碼相機，數(shù)碼攝像機，掃描儀19PPT課件采集19PPT課件圖像輸入輸出設備20PPT課件圖像輸入輸出設備20PPT課件處理裝置：兩部分專用圖像處理系統(tǒng)：是計算機的輔助處理器，主要采用專用集成芯片（ASIC)、數(shù)字信號處理器(DSP)或者FPGA等設計的全硬件處理器。計算機：是整個系統(tǒng)的核心，除了控制整個系統(tǒng)的各個模塊的正常運行外，還承擔最后結(jié)果運算和輸出。21PPT課件處理21PPT課件數(shù)字圖像處理的關鍵步驟圖像采集圖像復原形態(tài)學處理分割對象識別圖像增強表示&描述問題域彩色圖像處理圖像壓縮22PPT課件數(shù)字圖像處理的關鍵步驟圖像采集圖像復原形態(tài)學處理分割對象識別數(shù)字圖像處理的關鍵步驟：圖像采集圖像采集圖像復原形態(tài)學處理分割對象識別圖像增強表示&描述問題域彩色圖像處理圖像壓縮23PPT課件數(shù)字圖像處理的關鍵步驟：圖像采集圖像采集圖像復原形態(tài)學處理分數(shù)字圖像處理的關鍵步驟：圖像增強圖像采集圖像復原形態(tài)學處理分割對象識別圖像增強表示&描述問題域彩色圖像處理圖像壓縮24PPT課件數(shù)字圖像處理的關鍵步驟：圖像增強圖像采集圖像復原形態(tài)學處理分數(shù)字圖像處理的關鍵步驟：圖像復原圖像采集圖像復原形態(tài)學處理分割對象識別圖像增強表示&描述問題域彩色圖像處理圖像壓縮25PPT課件數(shù)字圖像處理的關鍵步驟：圖像復原圖像采集圖像復原形態(tài)學處理分數(shù)字圖像處理的關鍵步驟：形態(tài)學處理圖像采集圖像復原形態(tài)學處理分割對象識別圖像增強表示&描述問題域彩色圖像處理圖像壓縮26PPT課件數(shù)字圖像處理的關鍵步驟：形態(tài)學處理圖像采集圖像復原形態(tài)學處理數(shù)字圖像處理的關鍵步驟：分割圖像采集圖像復原形態(tài)學處理分割對象識別圖像增強表示&描述問題域彩色圖像處理圖像壓縮27PPT課件數(shù)字圖像處理的關鍵步驟：分割圖像采集圖像復原形態(tài)學處理分割對數(shù)字圖像處理的關鍵步驟：表示&描述圖像采集圖像復原形態(tài)學處理分割對象識別圖像增強表示&描述問題域彩色圖像處理圖像壓縮28PPT課件數(shù)字圖像處理的關鍵步驟：表示&描述圖像采集圖像復原形態(tài)學處理數(shù)字圖像處理的關鍵步驟：對象識別圖像采集圖像復原形態(tài)學處理分割對象識別圖像增強表示&描述問題域彩色圖像處理圖像壓縮29PPT課件數(shù)字圖像處理的關鍵步驟：對象識別圖像采集圖像復原形態(tài)學處理分數(shù)字圖像處理的關鍵步驟：圖像壓縮表示&描述彩色圖像處理圖像壓縮圖像采集圖像復原形態(tài)學處理分割圖像增強對象識別問題域30PPT課件數(shù)字圖像處理的關鍵步驟：圖像壓縮表示&描述彩色圖像處理圖像壓數(shù)字圖像處理的關鍵步驟：彩色圖像處理表示&描述彩色圖像處理圖像壓縮圖像采集圖像復原形態(tài)學處理分割圖像增強對象識別問題域31PPT課件數(shù)字圖像處理的關鍵步驟：彩色圖像處理表示&描述彩色圖像處理圖存儲數(shù)據(jù)量度單位比特（bit），字節(jié)（byte=8bit）千字節(jié)（Kbyte）兆（106）字節(jié)（Mbyte）吉（109）字節(jié)（Gbyte）太（1012）字節(jié)（Tbyte）圖像信息量大1024×1024，灰度圖：1M字節(jié)（不壓縮）1024×1024，真彩圖：3M字節(jié)（不壓縮）32PPT課件存儲32PPT課件存儲圖像存儲器(1)處理過程中使用的快速存儲器 計算機內(nèi)存，幀緩存(2)較快的在線或聯(lián)機存儲器 磁盤，磁光盤(3)不經(jīng)常使用的數(shù)據(jù)庫（檔案庫）存儲器 磁帶，光盤，光盤塔33PPT課件存儲33PPT課件存儲格式（表示格式和文件格式）(1)矢量格式用線段或線段的組合體來表示圖像(WMF)(2)光柵格式用許多像素點的集合來表示圖像

BMP格式，GIF格式，TIFF格式，JPEG格式34PPT課件存儲34PPT課件1.2圖象理解理論框架 1.2.1馬爾視覺計算理論

1.2.2對馬爾理論框架的改進

1.2.3關于馬爾重建理論的討論

1.2.4新理論框架的研究

35PPT課件1.2圖象理解理論框架35PPT課件1.2.1馬爾視覺計算理論

馬爾1982年出版了《視覺》一書

MarrD.1982.VisionAComputationalInvestigationintotheHumanRepresentationandProcessingofVisualInformation.W.H.Freeman

一個理解視覺信息處理的框架要先理解視覺目的再去理解其中細節(jié)36PPT課件1.2.1馬爾視覺計算理論 馬爾1982年出版了《視覺》一1.2.1馬爾視覺計算理論1.視覺是一個復雜的信息加工過程 視覺是一個遠比人所想象更為復雜的信息加工任務和過程，而且其難度常不為人們所正視為理解視覺這個復雜的過程，要解決兩個問題視覺信息的表達問題：某些信息是突出的和明確的，另一些信息則是隱藏的和模糊的視覺信息的加工問題：對信息處理、分析、理解，將不同表達形式轉(zhuǎn)換，逐步抽象

37PPT課件1.2.1馬爾視覺計算理論1.視覺是一個復雜的信息加工過1.2.1馬爾視覺計算理論2.視覺信息加工的三個要素

①計算理論；②算法實現(xiàn)；③硬件實現(xiàn)①計算理論可計算性問題：一個任務要用計算機完成，它應該是可以被計算的 一般對于某個特定的問題，如果存在一個程序，對于給定的輸入，這個程序都能在有限步內(nèi)給出輸出，這個問題就是可計算的38PPT課件1.2.1馬爾視覺計算理論2.視覺信息加工的三個要素381.2.1馬爾視覺計算理論2.視覺信息加工的三個要素①計算理論目前視覺的可計算性常指對計算機給定輸入，能否得到人類視覺可獲得的類似結(jié)果兩方面的研究內(nèi)容：①計算的是什么以及為什么要計算它們；②提出一定的約束條件，它們可唯一地確定最終得到的運算結(jié)果39PPT課件1.2.1馬爾視覺計算理論2.視覺信息加工的三個要素391.2.1馬爾視覺計算理論2.視覺信息加工的三個要素②算法實現(xiàn) 需要給加工所操作的實體選擇一種合適的表達 選擇加工的輸入和輸出表達 確定完成表達轉(zhuǎn)換的算法 ①一般情況下可以有許多可選的表達 ②算法的確定常取決于所選的表達 ③給定一種表達，可有多種完成任務的算法40PPT課件1.2.1馬爾視覺計算理論2.視覺信息加工的三個要素401.2.1馬爾視覺計算理論2.視覺信息加工的三個要素③硬件實現(xiàn) 有了表達和算法在物理上如何實現(xiàn)算法也是必不可少的 算法的確定常依賴于物理上實現(xiàn)算法硬件的特點 同一個算法也可由不同的技術途徑實現(xiàn)41PPT課件1.2.1馬爾視覺計算理論2.視覺信息加工的三個要素411.2.1馬爾視覺計算理論2.視覺信息加工的三個要素計算理論：如何由系統(tǒng)的輸入求出輸出。視覺系統(tǒng)輸入的是二維圖像，輸出則是三維物體的形狀、位置和姿態(tài)，任務是研究如何建立輸入輸出之間的關系和約束，如何由二維灰度圖像恢復物體的三維信息。算法實現(xiàn)：如何表達輸入和輸出信息，如何實現(xiàn)計算理論所對應的功能算法，以及如何由一種表示變換成另一種表示。硬件實現(xiàn)：用硬件實現(xiàn)上述表達和算法的問題。 42PPT課件1.2.1馬爾視覺計算理論2.視覺信息加工的三個要素42視覺信息加工三要素的含義

1.2.1馬爾視覺計算理論43PPT課件1.2.1馬爾視覺計算理論43PPT課件2.視覺信息加工的三個要素它們之間有一定的邏輯因果聯(lián)系，但并無絕對的依賴關系實際上看成兩個層次更恰當一旦有了計算理論，表達和算法與硬件實現(xiàn)是互相影響的 1.2.1馬爾視覺計算理論44PPT課件2.視覺信息加工的三個要素1.2.1馬爾視覺計算理論441.2.1馬爾視覺計算理論3.視覺信息的三級內(nèi)部表達

(1)基素表達（primalsketch）一種2-D表達，它是圖象特征的集合，描述了物體上屬性發(fā)生變化的輪廓部分只用基素表達不能保證得到對場景的唯一解釋

45PPT課件1.2.1馬爾視覺計算理論3.視覺信息的三級內(nèi)部表達41.2.1馬爾視覺計算理論3.視覺信息的三級內(nèi)部表達

(2)

2.5-D表達（2-Dsketch）①將物體可見面正交 投影分解成單元表面②用法線代表單元表 面的取向③將各法線畫出，疊加 于物體輪廓內(nèi)可見面上46PPT課件1.2.1馬爾視覺計算理論3.視覺信息的三級內(nèi)部表達41.2.1馬爾視覺計算理論3.視覺信息的三級內(nèi)部表達

(2)

2.5-D表達（2-Dsketch）本征圖，表示了物體表面面元的朝向可將2.5-D圖轉(zhuǎn)化成（相對）深度圖既表達了一部分物體輪廓的信息（這與基素表達類似）表達了以觀察者為中心、可觀察到的物體表面的取向信息與人所理解的3-D物體一致（可見物體輪廓以內(nèi)目標的3-D信息，如邊界、深度，反射特性等）47PPT課件1.2.1馬爾視覺計算理論3.視覺信息的三級內(nèi)部表達41.2.1馬爾視覺計算理論3.視覺信息的三級內(nèi)部表達

(2)

2.5-D表達（2-Dsketch）將2.5-D圖轉(zhuǎn)化成（相對）深度圖給定z(x,y)對x和y的偏導p和q，理論上講可通過在平面上沿任意曲線的積分來恢復z(x,y)為最小化誤差可選擇z(x,y)滿足48PPT課件1.2.1馬爾視覺計算理論3.視覺信息的三級內(nèi)部表達41.2.1馬爾視覺計算理論3.視覺信息的三級內(nèi)部表達

(3)

3-D表達（3-Drepresentation）以物體為中心（即也包括了物體不可見部分）的表達形式在以物體為中心的坐標系中描述3-D物體的形狀及其空間組織①空間占有數(shù)組，②單元分解，③幾何模型廣義圓柱體表達方法49PPT課件1.2.1馬爾視覺計算理論3.視覺信息的三級內(nèi)部表達41.2.1馬爾視覺計算理論3.視覺信息的三級內(nèi)部表達

從計算機或信息加工的角度來說，視覺可計算性問題可分成幾個步驟，步驟之間是某種表達形式，而每個步驟都是把前后兩種表達形式聯(lián)系起來的計算/加工方法50PPT課件1.2.1馬爾視覺計算理論3.視覺信息的三級內(nèi)部表達53.視覺信息的三級內(nèi)部表達

1.2.1馬爾視覺計算理論51PPT課件3.視覺信息的三級內(nèi)部表達1.2.1馬爾視覺計算理論51.2.2對馬爾理論框架的改進

四個有關整體框架的問題：(1)框架中輸入是被動的(2)框架中加工目的不變，總是恢復場景中物體 的位置和形狀等(3)框架未足夠重視高層知識的指導作用(4)整個框架中信息加工過程基本自下而上，單 向流動，沒有反饋 52PPT課件1.2.2對馬爾理論框架的改進 四個有關整體框架的問題：51.2.2對馬爾理論框架的改進

四個方面的相應改進：(1)增加了圖象獲取模塊(2)根據(jù)視覺目的進行決策(3)利用高層知識可解決低層信息不足的問題(4)增加了反饋控制流向 圖像獲取早期處理中期處理后期處理視覺目的高層知識53PPT課件1.2.2對馬爾理論框架的改進 四個方面的相應改進：圖像獲1.2.3關于馬爾重建理論的討論馬爾重建理論不同視覺任務/工作的共同的概念核心被假定為表達，共同的處理目標是根據(jù)視覺刺激恢復場景并結(jié)合進表達中視覺被看作一個由刺激開始，順序的獲取和積累的重建過程

54PPT課件1.2.3關于馬爾重建理論的討論馬爾重建理論54PPT課件1.2.3關于馬爾重建理論的討論2.重建理論的問題 隨著高層視覺信息的心理學研究成果和對高層視覺區(qū)域的解剖和功能組織的知識的增加

(1)在所有可能對場景進行解釋的方法中，包含重建的方法兜的圈子最大，因為重建并不對解釋有直接貢獻55PPT課件1.2.3關于馬爾重建理論的討論2.重建理論的問題55P1.2.3關于馬爾重建理論的討論2.重建理論的問題(2)僅靠從原始圖象中進行重建來實現(xiàn)表達在 實際中也很難實現(xiàn)(3)概念上的問題具有一個普遍統(tǒng)一的表達是否值得?最好的表達應該是最適合工作的表達對給定計算問題選擇正確表達

56PPT課件1.2.3關于馬爾重建理論的討論2.重建理論的問題56P1.2.3關于馬爾重建理論的討論3.不需重建的表達

特征檢測器構(gòu)成了視覺世界中的某種特征存在性的表達：青蛙的眼睛空間分辨率的表達，一組覆蓋觀察區(qū)域的模式可以確定偏移信息，不需要重建57PPT課件1.2.3關于馬爾重建理論的討論3.不需重建的表達571.2.4新理論框架的研究1.基于知識的理論框架（感知特征群集）(1) 利用對感知組織的處理過程，從圖象特征中提取相對于觀察方向在大范圍內(nèi)保持不變的分組和結(jié)構(gòu)(2) 借助圖象特征構(gòu)建模型，在這個過程中利用概率排隊的方法減小搜索空間(3) 通過求解未知的觀察點和模型參數(shù)尋找空間對應關系，使得3-D模型的投影直接與圖象特征相匹配58PPT課件1.2.4新理論框架的研究1.基于知識的理論框架（感知1.2.4新理論框架的研究2.主動視覺理論框架

(1) 選擇注意機制

(2) 注視控制

59PPT課件1.2.4新理論框架的研究2.主動視覺理論框架59PP1.3圖像處理與計算機視覺的應用領域

及面臨問題

主要相關學科計算機圖形學：原指用圖形、圖表、繪圖等形式表達數(shù)據(jù)信息的科學，而計算機圖形學研究的就是如何利用計算機技術來產(chǎn)生這些形式模式識別：試圖把圖像分解成可用符號較抽象地描述的類別計算機視覺：主要強調(diào)用計算機實現(xiàn)人的視 覺功能，目前的研究內(nèi)容主要與圖像 理解相結(jié)合 60PPT課件1.3圖像處理與計算機視覺的應用領域

及面臨問題主要相關學1.3.1圖像處理與計算機視覺的應用領域圖像增強/恢復藝術級效果醫(yī)學可視化工業(yè)檢驗法律執(zhí)行人機交互1.3圖像處理與計算機視覺的應用領域

及面臨問題

61PPT課件1.3.1圖像處理與計算機視覺的應用領域圖像增強/恢復1.舉例：圖像增強DIP技術最常見的用處是：提高質(zhì)量，消除噪音等等62PPT課件舉例：圖像增強DIP技術最常見的用處是：提高質(zhì)量，消除噪音舉例：Hubble望遠鏡1990年發(fā)射的“哈勃”號太空望遠

鏡能夠拍攝超遠距離的物體，但是

由于鏡子出現(xiàn)誤差，拍攝到的圖像

就失去了價值，而借助于圖像處理

技術便可以修復63PPT課件舉例：Hubble望遠鏡1990年發(fā)射的“哈勃”號太空望舉例：藝術效果藝術效果是指通過特

效或者圖像合成等方法，

使得圖像具有更強的視

覺效果64PPT課件舉例：藝術效果藝術效果是指通過特

效或者圖像合成等方法，

使舉例：醫(yī)學通過MRI（核磁共振）掃描到的犬類心臟切片，我們可以找出其中各種組織的邊界線:灰度圖表示組織密度使用合適的濾波器來增強邊緣取自狗心臟的原始MRI圖像邊緣檢測圖像65PPT課件舉例：醫(yī)學通過MRI（核磁共振）掃描到的犬類心臟切片，我們可舉例：GIS地理信息系統(tǒng)（GeographicInformationSystems，GIS)，數(shù)字圖像處理技術廣泛用于：氣象學地形分類操作衛(wèi)星圖像66PPT課件舉例：GIS地理信息系統(tǒng)（GeographicInform舉例：GIS(續(xù)…)全球夜間燈光數(shù)據(jù)集可以提供全球人類居住區(qū)的匯總情況不難想象這些數(shù)據(jù)需要進行分析和處理67PPT課件舉例：GIS(續(xù)…)全球夜間燈光數(shù)據(jù)集67PPT課件舉例：GIS(續(xù)…)遙感圖像：農(nóng)業(yè)普查森林覆蓋計算水利工程等的客觀估計計算森林火災監(jiān)護－－客觀反映火災情況、面積68PPT課件舉例：GIS(續(xù)…)遙感圖像：68PPT課件舉例：工業(yè)檢驗操作人員需要花費大量的精力，卻又慢又不可靠；使用機器代替；工業(yè)可視化系統(tǒng)廣泛應用于各類產(chǎn)業(yè)

69PPT課件舉例：工業(yè)檢驗操作人員需要花費大量的精力，卻又慢又不可靠；舉例：印刷電路板檢測印刷電路板檢測(PrintedCircuitBoardinspection,PCB)使用機器檢測零件是否完整以及焊接是否合格常規(guī)成像和X光成像相結(jié)合70PPT課件舉例：印刷電路板檢測印刷電路板檢測(PrintedCirc舉例：法律執(zhí)行圖像處理技術被法律執(zhí)行者廣泛采用高速相機或者自動收費系統(tǒng)用于牌照識別指紋識別閉路電視(CloseCircuitTelevision,CCTV)中圖像的增強71PPT課件舉例：法律執(zhí)行圖像處理技術被法律執(zhí)行者廣泛采用71PPT課件舉例：HCI使得人機交互（HumanComputerInteraction）變得更加自然面部識別手勢識別72PPT課件舉例：HCI使得人機交互（HumanComputerIn如何準確、高速地識別出目標2.如何有效地增大存儲容量，容納足夠細節(jié)的目標圖像；3.如何有效地構(gòu)造和組織出可靠的識別算法目前，所建立的系統(tǒng)絕大多數(shù)只適用于某一特定環(huán)境或應用場合的專用系統(tǒng)，建立一個可與人類的視覺系統(tǒng)相比擬的通用視覺系統(tǒng)是非常困難的。1.3.2圖像處理與計算機視覺的面臨問題73PPT課件如何準確、高速地識別出目標1.3.2圖像處理與計算機視覺的相關的工具瀏覽圖像ACDSee圖像處理Photoshop應用與研究MatLab基本操作：讀寫、顯示、幾何變換圖像變換（傅立葉，小波等）圖像增強（直方圖，對比度，平滑，銳化）圖像分割74PPT課件相關的工具瀏覽圖像74PPT課件圖像處理與計算機視覺技術綜述

主要參考書

張廣軍，《機器視覺》崗薩雷斯，《數(shù)字圖像處理》章毓晉《圖像工程》《計算機視覺——一種現(xiàn)代方法》

林學訚等譯，《機器視覺算法與應用》

楊少榮等譯，75PPT課件圖像處理與計算機視覺技術綜述主要參考書1PP課程介紹基礎知識數(shù)學：線性代數(shù)、概率與統(tǒng)計計算機科學：軟件編程電子學：信號處理76PPT課件課程介紹基礎知識2PPT課件視覺重要？古語百聞不如一見一目了然眼見為實，耳聽為虛。。。人類信息的主要傳遞手段視覺，聽覺，味覺，觸覺等視覺占60％以上人機交互字符、圖形計算機接收信息手段單一（鍵盤，鼠標）77PPT課件視覺重要？古語3PPT課件圖像處理重要？兩大應用需求對圖像信息的改進機器自動理解：使計算機具有視覺78PPT課件圖像處理重要？兩大應用需求4PPT課件主要學科圖像處理、計算機視覺和模式識別 計算機圖形學79PPT課件主要學科計算機圖形學5PPT課件1.1 圖像處理與計算機視覺的發(fā)展及系統(tǒng)構(gòu)成

1.圖像（Image）可以看作是對物體或場景的一種表現(xiàn)形式抽象定義：二維函數(shù)f(x,y)(x,y):點的空間坐標（實數(shù)）f:點(x,y)的幅度（亮度、強度或灰度）英文單詞Image：一般指用鏡頭等科技手段得到的視覺形象Picture：強調(diào)手工描繪的人物或景物畫Drawings：人工繪制的工程圖Lenna1.1.1圖像處理與計算機視覺的概念80PPT課件1.1 圖像處理與計算機視覺的發(fā)展及系統(tǒng)構(gòu)成1.圖像（I圖像實例光學圖像LennaIKONOS衛(wèi)星光學圖像423mile高16000miles/h1m分辨率EP－3,海南陵水,01-4-4大腦斷層圖像

遙感圖像81PPT課件圖像實例光學圖像IKONOS衛(wèi)星大腦斷層圖像遙感圖像7PPT2.數(shù)字圖像數(shù)字化：對x，y和f進行離散化

-其中的每個點稱為圖像元素，即像素。82PPT課件2.數(shù)字圖像8PPT課件分類（根據(jù)f的性質(zhì)）灰度圖像（特殊：二值圖像）彩色圖像83PPT課件分類（根據(jù)f的性質(zhì)）9PPT課件3.數(shù)字圖像處理DIP（DigitalImageProcessing）廣義：與圖像相關的處理（圖像分析、理解和計算機視覺等）狹義（從輸入和輸出內(nèi)容）：對圖像進行各種加工，以改善圖像的視覺效果或突出目標，強調(diào)圖像之間進行的變換，是一個從圖像到圖像的過程廣義上分為三種類型：低、中、高級處理圖像處理主要是低級處理及部分中級處理84PPT課件3.數(shù)字圖像處理10PPT課件3.數(shù)字圖像處理低級處理：輸入輸出都是圖像中級處理：圖像分割及目標的描述，輸出是目標的特征數(shù)據(jù)高級處理：目標物體及相互關系的理解，輸出是更抽象的數(shù)據(jù)85PPT課件3.數(shù)字圖像處理11PPT課件4.圖像處理與計算機視覺的區(qū)別與聯(lián)系圖像處理主要集中在二維圖像分析、識別和理解，如光學字符識別、工件表面、顯微圖片和航空照片的分析和解釋等。計算機視覺是采用圖像處理、模式識別、人工智能技術相結(jié)合的手段，著重于一幅或多幅圖像的計算機分析，圖像可以由單個或多個傳感器獲取，也可以是單個傳感器在不同時刻獲取的圖像序列。分析是對目標物體的識別，確定目標物體的位置和姿態(tài)，對三維景物進行符號描述和解釋。機器視覺：計算機視覺技術工程化，能夠自動獲取和分析特定的圖像，以控制相應的行為。計算機視覺為機器視覺提供圖像和景物分析的理論及算法基礎，機器視覺為計算機視覺的實現(xiàn)提供傳感器模型、系統(tǒng)構(gòu)造和實現(xiàn)手段。86PPT課件4.圖像處理與計算機視覺的區(qū)別與聯(lián)系圖像處理主要集中在二維圖1.1.2圖像處理與計算機視覺的發(fā)展1.20世紀20年代：報紙業(yè)圖像的編碼與重構(gòu)技術Bartlane電纜圖片傳輸系統(tǒng)：從倫敦到紐約傳送一幅圖片從1周減少到3小時色調(diào)質(zhì)量和分辨率改善1921年，電報打印機，5個灰度級1922年，穿孔紙帶，5個灰度級1929年，15級灰度87PPT課件1.1.2圖像處理與計算機視覺的發(fā)展1.20世紀20年代2.1964年：航天技術60年代初作為一門學科，主要目的是改善圖像質(zhì)量，采取的方法有圖像增強和復原技術美國JPL（噴氣推進）實驗室處理衛(wèi)星發(fā)射回來的月球表面的照片應用圖像畸變的校正、灰度變換、去除噪聲88PPT課件2.1964年：航天技術14PPT課件3.20世紀70年代：遙感衛(wèi)星和醫(yī)學圖像增強和圖像識別

利用遙感圖片，進行地質(zhì)資源探測，農(nóng)作物估產(chǎn)，水文氣象監(jiān)測等圖像重構(gòu)

X光斷層圖像重構(gòu)技術，英國G.N.Hounsfield第一臺腦斷層攝像儀應用89PPT課件3.20世紀70年代：遙感衛(wèi)星和醫(yī)學15PPT課件4.20世紀70年代末：人工智能興起，開始計算機視覺研究，由2D獲取3D空間信息90PPT課件4.20世紀70年代末：人工智能興起，開始計算機視覺研究，5.80年代末到今：多媒體技術高速計算機和大規(guī)模集成電路的發(fā)展：圖像壓縮和多媒體技術；文本圖像的分析和理解，文字的識別取得重大的進展；圖像通訊和傳輸?shù)鹊膹V泛應用91PPT課件5.80年代末到今：多媒體技術17PPT課件1.1.3圖像處理與計算機視覺的系統(tǒng)構(gòu)成系統(tǒng)構(gòu)成框圖92PPT課件1.1.3圖像處理與計算機視覺的系統(tǒng)構(gòu)成系統(tǒng)構(gòu)成框圖18P采集裝置：兩部分(1)傳感器：能產(chǎn)生與所接受到的電磁能量成正比的模擬電信號（CCD，CMOS）(2)高速圖像采集系統(tǒng)：它能將上述（模擬）電信號轉(zhuǎn)化為數(shù)字（離散）的形式輸入設備具備上述兩種裝置如：數(shù)碼相機，數(shù)碼攝像機，掃描儀93PPT課件采集19PPT課件圖像輸入輸出設備94PPT課件圖像輸入輸出設備20PPT課件處理裝置：兩部分專用圖像處理系統(tǒng)：是計算機的輔助處理器，主要采用專用集成芯片（ASIC)、數(shù)字信號處理器(DSP)或者FPGA等設計的全硬件處理器。計算機：是整個系統(tǒng)的核心，除了控制整個系統(tǒng)的各個模塊的正常運行外，還承擔最后結(jié)果運算和輸出。95PPT課件處理21PPT課件數(shù)字圖像處理的關鍵步驟圖像采集圖像復原形態(tài)學處理分割對象識別圖像增強表示&描述問題域彩色圖像處理圖像壓縮96PPT課件數(shù)字圖像處理的關鍵步驟圖像采集圖像復原形態(tài)學處理分割對象識別數(shù)字圖像處理的關鍵步驟：圖像采集圖像采集圖像復原形態(tài)學處理分割對象識別圖像增強表示&描述問題域彩色圖像處理圖像壓縮97PPT課件數(shù)字圖像處理的關鍵步驟：圖像采集圖像采集圖像復原形態(tài)學處理分數(shù)字圖像處理的關鍵步驟：圖像增強圖像采集圖像復原形態(tài)學處理分割對象識別圖像增強表示&描述問題域彩色圖像處理圖像壓縮98PPT課件數(shù)字圖像處理的關鍵步驟：圖像增強圖像采集圖像復原形態(tài)學處理分數(shù)字圖像處理的關鍵步驟：圖像復原圖像采集圖像復原形態(tài)學處理分割對象識別圖像增強表示&描述問題域彩色圖像處理圖像壓縮99PPT課件數(shù)字圖像處理的關鍵步驟：圖像復原圖像采集圖像復原形態(tài)學處理分數(shù)字圖像處理的關鍵步驟：形態(tài)學處理圖像采集圖像復原形態(tài)學處理分割對象識別圖像增強表示&描述問題域彩色圖像處理圖像壓縮100PPT課件數(shù)字圖像處理的關鍵步驟：形態(tài)學處理圖像采集圖像復原形態(tài)學處理數(shù)字圖像處理的關鍵步驟：分割圖像采集圖像復原形態(tài)學處理分割對象識別圖像增強表示&描述問題域彩色圖像處理圖像壓縮101PPT課件數(shù)字圖像處理的關鍵步驟：分割圖像采集圖像復原形態(tài)學處理分割對數(shù)字圖像處理的關鍵步驟：表示&描述圖像采集圖像復原形態(tài)學處理分割對象識別圖像增強表示&描述問題域彩色圖像處理圖像壓縮102PPT課件數(shù)字圖像處理的關鍵步驟：表示&描述圖像采集圖像復原形態(tài)學處理數(shù)字圖像處理的關鍵步驟：對象識別圖像采集圖像復原形態(tài)學處理分割對象識別圖像增強表示&描述問題域彩色圖像處理圖像壓縮103PPT課件數(shù)字圖像處理的關鍵步驟：對象識別圖像采集圖像復原形態(tài)學處理分數(shù)字圖像處理的關鍵步驟：圖像壓縮表示&描述彩色圖像處理圖像壓縮圖像采集圖像復原形態(tài)學處理分割圖像增強對象識別問題域104PPT課件數(shù)字圖像處理的關鍵步驟：圖像壓縮表示&描述彩色圖像處理圖像壓數(shù)字圖像處理的關鍵步驟：彩色圖像處理表示&描述彩色圖像處理圖像壓縮圖像采集圖像復原形態(tài)學處理分割圖像增強對象識別問題域105PPT課件數(shù)字圖像處理的關鍵步驟：彩色圖像處理表示&描述彩色圖像處理圖存儲數(shù)據(jù)量度單位比特（bit），字節(jié)（byte=8bit）千字節(jié)（Kbyte）兆（106）字節(jié)（Mbyte）吉（109）字節(jié)（Gbyte）太（1012）字節(jié)（Tbyte）圖像信息量大1024×1024，灰度圖：1M字節(jié)（不壓縮）1024×1024，真彩圖：3M字節(jié)（不壓縮）106PPT課件存儲32PPT課件存儲圖像存儲器(1)處理過程中使用的快速存儲器 計算機內(nèi)存，幀緩存(2)較快的在線或聯(lián)機存儲器 磁盤，磁光盤(3)不經(jīng)常使用的數(shù)據(jù)庫（檔案庫）存儲器 磁帶，光盤，光盤塔107PPT課件存儲33PPT課件存儲格式（表示格式和文件格式）(1)矢量格式用線段或線段的組合體來表示圖像(WMF)(2)光柵格式用許多像素點的集合來表示圖像

BMP格式，GIF格式，TIFF格式，JPEG格式108PPT課件存儲34PPT課件1.2圖象理解理論框架 1.2.1馬爾視覺計算理論

1.2.2對馬爾理論框架的改進

1.2.3關于馬爾重建理論的討論

1.2.4新理論框架的研究

109PPT課件1.2圖象理解理論框架35PPT課件1.2.1馬爾視覺計算理論

馬爾1982年出版了《視覺》一書

MarrD.1982.VisionAComputationalInvestigationintotheHumanRepresentationandProcessingofVisualInformation.W.H.Freeman

一個理解視覺信息處理的框架要先理解視覺目的再去理解其中細節(jié)110PPT課件1.2.1馬爾視覺計算理論 馬爾1982年出版了《視覺》一1.2.1馬爾視覺計算理論1.視覺是一個復雜的信息加工過程 視覺是一個遠比人所想象更為復雜的信息加工任務和過程，而且其難度常不為人們所正視為理解視覺這個復雜的過程，要解決兩個問題視覺信息的表達問題：某些信息是突出的和明確的，另一些信息則是隱藏的和模糊的視覺信息的加工問題：對信息處理、分析、理解，將不同表達形式轉(zhuǎn)換，逐步抽象

111PPT課件1.2.1馬爾視覺計算理論1.視覺是一個復雜的信息加工過1.2.1馬爾視覺計算理論2.視覺信息加工的三個要素

①計算理論；②算法實現(xiàn)；③硬件實現(xiàn)①計算理論可計算性問題：一個任務要用計算機完成，它應該是可以被計算的 一般對于某個特定的問題，如果存在一個程序，對于給定的輸入，這個程序都能在有限步內(nèi)給出輸出，這個問題就是可計算的112PPT課件1.2.1馬爾視覺計算理論2.視覺信息加工的三個要素381.2.1馬爾視覺計算理論2.視覺信息加工的三個要素①計算理論目前視覺的可計算性常指對計算機給定輸入，能否得到人類視覺可獲得的類似結(jié)果兩方面的研究內(nèi)容：①計算的是什么以及為什么要計算它們；②提出一定的約束條件，它們可唯一地確定最終得到的運算結(jié)果113PPT課件1.2.1馬爾視覺計算理論2.視覺信息加工的三個要素391.2.1馬爾視覺計算理論2.視覺信息加工的三個要素②算法實現(xiàn) 需要給加工所操作的實體選擇一種合適的表達 選擇加工的輸入和輸出表達 確定完成表達轉(zhuǎn)換的算法 ①一般情況下可以有許多可選的表達 ②算法的確定常取決于所選的表達 ③給定一種表達，可有多種完成任務的算法114PPT課件1.2.1馬爾視覺計算理論2.視覺信息加工的三個要素401.2.1馬爾視覺計算理論2.視覺信息加工的三個要素③硬件實現(xiàn) 有了表達和算法在物理上如何實現(xiàn)算法也是必不可少的 算法的確定常依賴于物理上實現(xiàn)算法硬件的特點 同一個算法也可由不同的技術途徑實現(xiàn)115PPT課件1.2.1馬爾視覺計算理論2.視覺信息加工的三個要素411.2.1馬爾視覺計算理論2.視覺信息加工的三個要素計算理論：如何由系統(tǒng)的輸入求出輸出。視覺系統(tǒng)輸入的是二維圖像，輸出則是三維物體的形狀、位置和姿態(tài)，任務是研究如何建立輸入輸出之間的關系和約束，如何由二維灰度圖像恢復物體的三維信息。算法實現(xiàn)：如何表達輸入和輸出信息，如何實現(xiàn)計算理論所對應的功能算法，以及如何由一種表示變換成另一種表示。硬件實現(xiàn)：用硬件實現(xiàn)上述表達和算法的問題。 116PPT課件1.2.1馬爾視覺計算理論2.視覺信息加工的三個要素42視覺信息加工三要素的含義

1.2.1馬爾視覺計算理論117PPT課件1.2.1馬爾視覺計算理論43PPT課件2.視覺信息加工的三個要素它們之間有一定的邏輯因果聯(lián)系，但并無絕對的依賴關系實際上看成兩個層次更恰當一旦有了計算理論，表達和算法與硬件實現(xiàn)是互相影響的 1.2.1馬爾視覺計算理論118PPT課件2.視覺信息加工的三個要素1.2.1馬爾視覺計算理論441.2.1馬爾視覺計算理論3.視覺信息的三級內(nèi)部表達

(1)基素表達（primalsketch）一種2-D表達，它是圖象特征的集合，描述了物體上屬性發(fā)生變化的輪廓部分只用基素表達不能保證得到對場景的唯一解釋

119PPT課件1.2.1馬爾視覺計算理論3.視覺信息的三級內(nèi)部表達41.2.1馬爾視覺計算理論3.視覺信息的三級內(nèi)部表達

(2)

2.5-D表達（2-Dsketch）①將物體可見面正交 投影分解成單元表面②用法線代表單元表 面的取向③將各法線畫出，疊加 于物體輪廓內(nèi)可見面上120PPT課件1.2.1馬爾視覺計算理論3.視覺信息的三級內(nèi)部表達41.2.1馬爾視覺計算理論3.視覺信息的三級內(nèi)部表達

(2)

2.5-D表達（2-Dsketch）本征圖，表示了物體表面面元的朝向可將2.5-D圖轉(zhuǎn)化成（相對）深度圖既表達了一部分物體輪廓的信息（這與基素表達類似）表達了以觀察者為中心、可觀察到的物體表面的取向信息與人所理解的3-D物體一致（可見物體輪廓以內(nèi)目標的3-D信息，如邊界、深度，反射特性等）121PPT課件1.2.1馬爾視覺計算理論3.視覺信息的三級內(nèi)部表達41.2.1馬爾視覺計算理論3.視覺信息的三級內(nèi)部表達

(2)

2.5-D表達（2-Dsketch）將2.5-D圖轉(zhuǎn)化成（相對）深度圖給定z(x,y)對x和y的偏導p和q，理論上講可通過在平面上沿任意曲線的積分來恢復z(x,y)為最小化誤差可選擇z(x,y)滿足122PPT課件1.2.1馬爾視覺計算理論3.視覺信息的三級內(nèi)部表達41.2.1馬爾視覺計算理論3.視覺信息的三級內(nèi)部表達

(3)

3-D表達（3-Drepresentation）以物體為中心（即也包括了物體不可見部分）的表達形式在以物體為中心的坐標系中描述3-D物體的形狀及其空間組織①空間占有數(shù)組，②單元分解，③幾何模型廣義圓柱體表達方法123PPT課件1.2.1馬爾視覺計算理論3.視覺信息的三級內(nèi)部表達41.2.1馬爾視覺計算理論3.視覺信息的三級內(nèi)部表達

從計算機或信息加工的角度來說，視覺可計算性問題可分成幾個步驟，步驟之間是某種表達形式，而每個步驟都是把前后兩種表達形式聯(lián)系起來的計算/加工方法124PPT課件1.2.1馬爾視覺計算理論3.視覺信息的三級內(nèi)部表達53.視覺信息的三級內(nèi)部表達

1.2.1馬爾視覺計算理論125PPT課件3.視覺信息的三級內(nèi)部表達1.2.1馬爾視覺計算理論51.2.2對馬爾理論框架的改進

四個有關整體框架的問題：(1)框架中輸入是被動的(2)框架中加工目的不變，總是恢復場景中物體 的位置和形狀等(3)框架未足夠重視高層知識的指導作用(4)整個框架中信息加工過程基本自下而上，單 向流動，沒有反饋 126PPT課件1.2.2對馬爾理論框架的改進 四個有關整體框架的問題：51.2.2對馬爾理論框架的改進

四個方面的相應改進：(1)增加了圖象獲取模塊(2)根據(jù)視覺目的進行決策(3)利用高層知識可解決低層信息不足的問題(4)增加了反饋控制流向 圖像獲取早期處理中期處理后期處理視覺目的高層知識127PPT課件1.2.2對馬爾理論框架的改進 四個方面的相應改進：圖像獲1.2.3關于馬爾重建理論的討論馬爾重建理論不同視覺任務/工作的共同的概念核心被假定為表達，共同的處理目標是根據(jù)視覺刺激恢復場景并結(jié)合進表達中視覺被看作一個由刺激開始，順序的獲取和積累的重建過程

128PPT課件1.2.3關于馬爾重建理論的討論馬爾重建理論54PPT課件1.2.3關于馬爾重建理論的討論2.重建理論的問題 隨著高層視覺信息的心理學研究成果和對高層視覺區(qū)域的解剖和功能組織的知識的增加

(1)在所有可能對場景進行解釋的方法中，包含重建的方法兜的圈子最大，因為重建并不對解釋有直接貢獻129PPT課件1.2.3關于馬爾重建理論的討論2.重建理論的問題55P1.2.3關于馬爾重建理論的討論2.重建理論的問題(2)僅靠從原始圖象中進行重建來實現(xiàn)表達在 實際中也很難實現(xiàn)(3)概念上的問題具有一個普遍統(tǒng)一的表達是否值得?最好的表達應該是最適合工作的表達對給定計算問題選擇正確表達

130PPT課件1.2.3關于馬爾重建理論的討論2.重建理論的問題56P1.2.3關于馬爾重建理論的討論3.不需重建的表達

特征檢測器構(gòu)成了視覺世界中的某種特征存在性的表達：青蛙的眼睛空間分辨率的表達，一組覆蓋觀察區(qū)域的模式可以確定偏移信息，不需要重建131PPT課件1.2.3關于馬爾重建理論的討論3.不需重建的表達571.2.4新理論框架的研究1.基于知識的理論框架（感知特征群集）(1) 利用對感知組織的處理過程，從圖象特征中提取相對于觀察方向在大范圍內(nèi)保持不變的分組和結(jié)構(gòu)(2) 借助圖象特征構(gòu)建模型，在這個過程中利用概率排隊的方法減小搜索空間(3) 通過求解未知的觀察點和