圖像處理概述

高級數(shù)字圖像處理陳志華聯(lián)系方式媒體計算與仿真研究室八教403

czh@.c迎多交流，多聯(lián)系！同學(xué)自我介紹研究方向、導(dǎo)師、課題等，有圖像處理基礎(chǔ)？關(guān)于紀律不遲到、不早退、不曠課有特殊情況，提前請假遵守課堂紀律課代表推薦協(xié)助考勤、講座報名等課程目的與要求掌握數(shù)字圖像處理的概念、原理和方法為圖像相關(guān)領(lǐng)域的學(xué)習(xí)或研究打下良好基礎(chǔ)說明屬于媒體計算領(lǐng)域和相關(guān)課程《視覺計算》、《多媒體信息建模與檢索》互補課程安排課程內(nèi)容分為數(shù)字圖像處理的理論及實踐概念繁多、內(nèi)容廣泛、理論性和實踐性很強內(nèi)容簡化，選自多本教材；課時：32學(xué)時討論、小講座等互動環(huán)節(jié)課堂提問、練習(xí)課外自己動手編程課程考核考核平時成績40%考勤、課堂練習(xí)、回答問題課堂小講座、討論考試（或論文）成績60%講座安排圍繞圖像處理領(lǐng)域，做10分鐘-20分鐘PPT技術(shù)點、知識點介紹應(yīng)用研究現(xiàn)狀程序?qū)崿F(xiàn)與演示論文閱讀鼓勵介紹自己的學(xué)術(shù)研究成果……每位同學(xué)都要講，按團隊準備和評分課代表收集大家選題小講座評分選題恰當(dāng)：不寬泛，和課程內(nèi)容不重復(fù)PPT簡潔：提綱式，字號至少為28，不超過50字/頁，不照抄網(wǎng)上內(nèi)容內(nèi)容熟悉，陳述流暢：不要照稿子念，和大家有互動：眼神、手勢、提問等有亮點：如編程實現(xiàn)、圖文并茂、視頻演示…數(shù)字圖像處理

概述及基礎(chǔ)參考書數(shù)字圖像處理(第二版)，岡薩雷斯等著，電子工業(yè)出版社,2013章毓晉，圖象工程上冊—圖象處理，清華大學(xué)出版社,2008章毓晉，圖象工程中冊—圖象分析，清華大學(xué)出版社,2008章毓晉，圖象工程下冊—圖象理解，清華大學(xué)出版社,,2008國內(nèi)外相關(guān)學(xué)術(shù)會議和期刊國內(nèi)期刊Journal

of

Computer

Science

andTechnology

(JCST)(SCI)計算機學(xué)報軟件學(xué)報電子學(xué)報計算機研究與發(fā)展中國圖像圖形學(xué)報國外學(xué)術(shù)會議IEEE

International

Conference

on

ComputerVision

(ICCV)IEEE

International

Conference

on

ComputerVision

and

Pattern

Recognition

(CVPR)ACM

Multimedia

Conference

(MM)IEEE

International

Conference

on

ImageProcessing

(ICIP)InternationalConferenceonPatternRecognition(ICPR)國外期刊IEEE

Transactions

on

Pattern

Analysis

andMachine

Intelligence

(PAMI)IEEE

Transactions

on

Image

Processing

(TIP)International

Journal

of

Computer

Vision(IJCV)Pattern

Recognition

(PR)IEEE

Transactions

on

Circuits

and

Systems

forVideo

Technology

(CSVT)圖像處理的主要內(nèi)容基礎(chǔ)知識圖像幾何變換彩色圖像處理邊緣檢測圖像增強圖像分割形態(tài)學(xué)處理圖像壓縮應(yīng)用實踐基礎(chǔ)知識1概述概念：圖像、數(shù)字圖像、像素數(shù)字圖像處理的起源數(shù)字圖像處理的應(yīng)用領(lǐng)域圖像處理系統(tǒng)的基本組成結(jié)構(gòu)2技術(shù)基礎(chǔ)圖像的采樣和量化數(shù)字圖像的表示數(shù)字圖像的質(zhì)量像素間的一些基本關(guān)系1.1圖像基本概念圖像定義為二維函數(shù)f(x,y)，其中，x,y是空間坐標，f(x,y)是點(x,y)的幅值灰度圖像是一個二維灰度（或亮度）函數(shù)f(x,y)彩色圖像由三個（如RGB，HSV）二維灰度（或亮度）函數(shù)f(x,y)組成什么是數(shù)字圖像？像素組成的二維排列，可以用矩陣表示單色（灰度）圖像:每個像素的亮度用一個數(shù)值來表示，通常在0--255，0表示黑、255表示白，其它值表示黑白之間的灰度彩色圖像可以用紅、綠、藍三元組的二維矩陣來表示。通常三元組的每個數(shù)值也是在0到255之間，0表示相應(yīng)的基色在該像素中沒有，而255則代表相應(yīng)的基色在該像素中取得最大值數(shù)字圖像的像素表示什么是像素？

數(shù)字圖像由二維的元素組成。每一個元素具有一個特定的位置（x,y）和幅值f(x,y),這些元素就稱為像素。19補充：圖像圖像——Image，是對事物的一種描述形式，它以人類視覺特性為載體在空間位置記錄顏色值，一個空間位置記錄一個顏色值，那么空間位置及對應(yīng)顏色值的集合就是圖像再具體點，是指在一個二維矩形區(qū)域內(nèi)的每個點記錄一個顏色20圖像獲取通過記錄現(xiàn)實世界，獲取圖像手機照相機攝像機紅外攝像機…21圖像22圖像的簡單分類按照人眼視覺感知范圍分可見圖像不可見圖像按照圖像空間坐標和亮度（或色彩）的連續(xù)性分類模擬圖像：空間坐標和顏色值均連續(xù)取值數(shù)字圖像：空間坐標和顏色值均不連續(xù)取值23可見光與電磁波譜X射線紫外線γ射線紅外線微波無線電波藍綠紅400600500700波長（nm）人類可見波長范圍24可見光與電磁波譜25模擬圖像圖像的空間坐標和顏色值均連續(xù)取值例如：由膠片照相機拍攝的照片理論上，照片上的任意一點都有對應(yīng)的顏色，因此坐標位置是在[0－寬度]×[0－高度]的二維范圍中取值同樣，由膠片相機拍攝的照片，其每個點的感光值也都是連續(xù)取值的，并且取值范圍（也稱為動態(tài)范圍）非常大26數(shù)字圖像圖像的空間坐標和顏色值均不連續(xù)取值例如，數(shù)碼相機所拍攝的數(shù)字圖像空間坐標取值不連續(xù)一般在網(wǎng)格點位置上才記錄顏色顏色取值不連續(xù)每個網(wǎng)格點上的顏色取值只有有限種選擇沒有顏色1.2數(shù)字圖像處理的起源人類分析的需要圖像在傳輸過程后的更好復(fù)原空間應(yīng)用：圖像增強、圖像復(fù)原醫(yī)學(xué)圖像……作用：通過圖像增強、圖像復(fù)原等技術(shù)，增強或復(fù)原模糊或損毀的圖像機器感知的需要自動字符識別OCR人臉識別指紋識別……28數(shù)字圖像歷史追溯數(shù)字圖像處理最早的應(yīng)用之一是在報紙業(yè)1921年，Bartlane電纜圖片傳輸系統(tǒng)，在倫敦和紐約之間，經(jīng)橫跨大西洋的海底電纜發(fā)送數(shù)字化報紙的圖片。該系統(tǒng)傳送一幅圖片所需時間小于3小時，而之前需要1周以上。首先對圖像進行編碼；然后在接收端由專用打印設(shè)備進行圖片重建291921年一幅由電報打印機打印的數(shù)字圖像(5個灰度級)301921年底照像復(fù)制技術(shù)應(yīng)用，在電報接受終端用穿孔帶還原圖像圖像信號兩次穿越大西洋后的效果。311929年引人了編碼的圖片紙帶來調(diào)制光束，從而改善底板感光的系統(tǒng)，使灰度級增加到15個等級。1.3數(shù)字圖像處理的主要研究內(nèi)容圖像增強圖像分割圖像復(fù)原圖像變換圖像壓縮圖像重建圖像配準、圖像融合、圖像水印、數(shù)學(xué)形態(tài)學(xué)…1.4圖像處理的應(yīng)用領(lǐng)域數(shù)字圖象處理技術(shù)已應(yīng)用到很多領(lǐng)域(1)遙感圖像應(yīng)用農(nóng)業(yè)普查、森林覆蓋計算、水利工程等的客觀估計計算、森林火災(zāi)監(jiān)護－－客觀反映火災(zāi)情況、面積

水體界線的確定在近紅外圖像上，水體呈黑色；(2)導(dǎo)彈制導(dǎo)

圖象識別技術(shù)應(yīng)用于導(dǎo)彈的精確制導(dǎo)，使其精確打擊目標。如：機場、橋梁等。(3)生物特征識別

軍事、公安中的人臉、指紋、掌紋識別等。(4)醫(yī)學(xué)應(yīng)用

CT、MR1、PET、B超、DSA、血管造影、紅外乳腺、顯微病理、電子顯微鏡、遠程醫(yī)療圖像、皮膚圖象、X射線、γ刀與χ刀腦外科等等離不開圖像。

X-Ray

MRIPET（核醫(yī)學(xué)影像）超聲圖象PhotocourtesyPhilipsResearch

Ultrasoundexaminationduringpregnancy

DSA數(shù)字減影血管造影(DigitalSubtractionAngiography)

紅外圖象(5)日常生活數(shù)碼照片管理、處理等。1.4圖像處理系統(tǒng)的基本組成結(jié)構(gòu)常用圖像處理軟件及平臺Windows自帶軟件-畫圖可以畫任意圖形、填充顏色等，同時也可編輯圖像ACDSee目前流行的數(shù)字圖像處理軟件，支持超過50種常見多媒體格式，擁有如去除紅眼、剪切圖像、銳化、浮雕特效、旋轉(zhuǎn)、鏡像等功能效果。AdobePhotoshop公認的最好的通用平面美術(shù)設(shè)計軟件。由Adobe公司開發(fā)設(shè)計。它完成了DTP和圖像軟件的結(jié)合，使設(shè)計師可在電腦上直接完成文字的錄入、排版、圖像處理、形象創(chuàng)造和分色制板的全過程。Fireworks網(wǎng)頁制作三劍客之一，最適合與Dreamweaver共同使用，處理網(wǎng)頁中的圖片。MATLAB是美國MathWorks公司出品的商業(yè)數(shù)學(xué)軟件，用于算法開發(fā)、數(shù)據(jù)可視化、數(shù)據(jù)分析以及數(shù)值計算的高級技術(shù)計算語言和交互式環(huán)境。VisualC++.net實現(xiàn)許多圖像之間的變換，或者自己編寫函數(shù)來畫出設(shè)計好的圖像。圖像存儲系統(tǒng)圖像文件格式體系互聯(lián)網(wǎng)用：GIF、JPG印刷用：TIF、JPG、TAG、PCX國際標準：TIF、JPG、BMP圖像存儲體系：分級存儲內(nèi)存存儲：處理時使用硬盤存儲：處理、備份時用（在線）備份存儲：光盤、磁帶圖像文件的常用格式BMP位圖文件，是一種與硬件設(shè)備無關(guān)的圖像文件格式，是Windows操作系統(tǒng)采用的圖像文件存儲格式，是Windows操作系統(tǒng)內(nèi)交換圖像數(shù)據(jù)的一種標準。GIF原義是“圖像互換格式”，是CompuServe公司制定的一種圖像文件存儲格式，其最初的目的是希望每個BBS使用者都能夠通過GIF圖像文件格式輕易存儲并交換圖像數(shù)據(jù)。圖像文件的常用格式TIFF圖像文件格式由Aldus公司與Microsoft公司共同開發(fā)設(shè)計的圖像文件格式。PCX圖像文件格式是PCPaintbrush繪圖軟件內(nèi)的文件格式，專門用于存儲該軟件所產(chǎn)生的圖像畫面數(shù)據(jù)。JPEG圖像文件格式一種有損壓縮格式，是最常用的圖像文件格式，由國際標準化組織和國際電話電報咨詢委員會制定。2技術(shù)基礎(chǔ)圖像的采樣和量化數(shù)字圖像的表示數(shù)字圖像的質(zhì)量像素間的一些基本關(guān)系

鄰域處理方法是圖像增強過程的核心。2.1圖像的采樣和量化大多數(shù)傳感器的輸出是連續(xù)電壓波形，為了產(chǎn)生一幅數(shù)字圖像，需要把連續(xù)的感知數(shù)據(jù)轉(zhuǎn)化為數(shù)字形式數(shù)字化包括兩種處理：采樣和量化采樣：圖像空間坐標的數(shù)字化量化：圖像函數(shù)值（灰度值）的數(shù)字化圖像采樣空間坐標(x,y)的數(shù)字化被稱為圖像采樣確定水平和垂直方向上的像素個數(shù)N、M圖像的量化函數(shù)取值的數(shù)字化被稱為圖像的量化，如量化到256個灰度級圖像的采樣與數(shù)字圖像的質(zhì)量圖像的采樣與數(shù)字圖像的質(zhì)量1024*1024512*512256*25632*32128*12864*64圖像的量化與數(shù)字圖像的質(zhì)量圖像的采樣和量化非統(tǒng)一的圖像采樣在灰度級變化尖銳的區(qū)域，用細膩的采樣，在灰度級比較平滑的區(qū)域，用粗糙的采樣非統(tǒng)一的圖像量化在邊界附近使用較少的灰度級。剩余的灰度級可用于灰度級變化比較平滑的區(qū)域避免或減少由于量化的太粗糙，在灰度級變化比較平滑的區(qū)域出現(xiàn)假輪廓的現(xiàn)象2.2數(shù)字圖像的表示二維離散亮度函數(shù)——f(x,y)x，y說明圖像像素的空間坐標函數(shù)值f代表了在點(x,y)處像素的灰度值二維矩陣——A[m,n]m,n說明圖像的寬和高。矩陣元素a(i，j)的值，表示圖像在第i行，第j列的像素的灰度值；i,j表示幾何位置256個層次的圖像16個層次的圖像64個層次的圖像2.3圖像的質(zhì)量圖像質(zhì)量指標—1、層次（灰度級）對比度：是指一幅圖像中灰度反差的大小對比度

=

最大亮度

/

最小亮度圖像質(zhì)量：2、對比度圖像的質(zhì)量：3、清晰度人眼宏觀看到的圖像的清晰程度與清晰度相關(guān)的主要因素亮度對比度尺寸大小細微層次顏色飽和度降低亮度影響清晰度因素——1、亮度原圖降低對比度原圖影響清晰度因素——2、對比度縮小尺寸原圖影響清晰度因素——3、尺寸大小減少細微層次原圖影響清晰度因素——4、細微層次降低顏色飽和度原圖影響清晰度因素——5、顏色飽和度2.4像素間的一些基本關(guān)系相鄰像素：4鄰域8鄰域連通性4連通8連通距離相鄰像素——4鄰域4鄰域：像素p(x,y)的4個相鄰的像素

(x+1,y)；(x-1,y)；(x,y+1)；(x,y-1)

用N4(p)表示像素p的4鄰域相鄰像素——8鄰域8鄰域定義：像素p(x,y)的8鄰域是：

像素間的連通性連通性是描述區(qū)域和邊界的重要概念兩個像素連通的兩個必要條件是：兩個像素的位置是否相鄰兩個像素的灰度值是否滿足特定的相似性準則（或者是否相等）4連通、8連通的定義像素的連通性——4連通對于具有值V的像素p和q，如果q在集合N4(p)中，則稱這兩個像素是4連通的像素的連通性——8連通對于具有值V的像素p和q，如果q在集合N8(p)中，則稱這兩個像素是8連通的像素的連通性——距離像素之間距離的定義歐氏距離定義D4距離（城市距離）定義D8距離（棋盤距離）定義像素之間距離的定義對于像素p、q和z，分別具有坐標(x,y)，(s,t)和(u,v)，如果(1)D(p,q)≥0(D(p,q)=0，當(dāng)且僅當(dāng)p=q),(2)D(p,q)=D(q,p)(3)D(p,z)≤D(p,q)+D(q,z)則稱D是距離函數(shù)或度量歐式距離定義像素p(x,y)和q(s,t)間的歐式距離定義如下：問題：具有與(x,y)距離小于等于某個值r的像素是？D4距離（城市距離）像素p(x,y)和q(s,t)之間的D4距離定義為：問題：試寫出以像素A為中心、3*3鄰域內(nèi)的D4距離值？5*5鄰域呢？D4距離舉例具有與(x,y)距離小于等于某個值r的那些像素形成一個菱形

例如，與點(x,y)（中心點）D4距離小于等于2的像素，形成右邊固定距離的輪廓具有D4=1的像素是

(x,y)的4鄰域D8距離（棋盤距離）像素p(x,y)和q(s,t)之間的D8距離定義為：問題：寫出以像素A為中心、3*3鄰域內(nèi)的D8距離值？5*5鄰域？D8距離舉例具有與(x,y)距離小于等于某個值r的那些像素形成一個正方形

例如，與點(x,y)（中心點）D8距離小于等于2的像素，形成右邊固定距離的輪廓

具有D8=1的像素是

(x,y)的8鄰域873數(shù)字圖像處理及其研究內(nèi)容圖像處理：對圖像進行一系列的操作，以達到特定的應(yīng)用目標模擬圖像處理利用光學(xué)、照相等方法對模擬圖像的處理數(shù)字圖像處理利用計算機算法對數(shù)字圖像進行系列操作，以達到特定的應(yīng)用目標883.1來源數(shù)字圖像處理起源于兩種主要應(yīng)用范圍：(1)改善人類做判斷用的圖像信息(2)處理自動裝置感受的景物數(shù)據(jù)圖像分析圖像理解狹義處理高低抽象程度高層低層中層語義數(shù)據(jù)量操作對象小大符號象素目標89低層數(shù)字圖像處理：對輸入圖像進行變換，得到一幅輸出圖像如對輸入圖像進行各種操作以改善圖像的視覺效果或者對其進行壓縮編碼以減少所需要的存儲空間和傳輸時間等，降低對傳輸通道的要求狹義的處理90數(shù)字圖像的分析對圖像中感興趣的區(qū)域或目標進行檢測和測量，從而建立對圖像目標的描述，是一個從輸入圖像到數(shù)值或者符號的過程91圖像理解與模式識別在圖像分析的基礎(chǔ)上，利用人工智能和認知理論，研究圖像中各目標的性質(zhì)和它們之間的相互聯(lián)系，對圖像內(nèi)容的含義加以理解以及對原來客觀場景加以解釋，從而指導(dǎo)和規(guī)劃行動92數(shù)字圖像處理的特點處理算法不依賴于精度對于一幅圖像而言，數(shù)字化時不管是用4比特、8比特還是其它比特表示，只需改變計算機中程序的參數(shù)，處理方法不變。所以從原理上講不管對多高精度的數(shù)字圖像進行處理都是可能的。而在模擬圖像處理中，要想使精度提高一個數(shù)量級，就必須對裝置進行大幅度改進93數(shù)字圖像處理的特點處理結(jié)果能準確再現(xiàn)不管是什么數(shù)字圖像，均用數(shù)組或數(shù)組集合表示。在傳送和復(fù)制圖像時，只在計算機內(nèi)部進行處理，這樣數(shù)據(jù)就不會丟失或遭破壞，保持了完好的再現(xiàn)性。而在模擬圖像處理過程中，就會因為各種干擾因素而無法保證圖像處理結(jié)果的準確再現(xiàn)94數(shù)字圖像處理的特點通用性、靈活性強對可見圖像和不可見光圖像（如X光圖像、熱紅外圖像和超聲波圖像等），盡管這些圖像生成體系中的設(shè)備規(guī)模和精度各不相同，但當(dāng)把這些圖像數(shù)字化后，都可同樣進行處理，這就是數(shù)字處理圖像的通用性利用處理軟件可對圖像進行各種各樣的處理，如上下滾動、漫游、拼接、合成、變換、放大、縮小和各種邏輯運算等，所以靈活性很高953.2圖像處理的研究實例主要研究內(nèi)容圖像增強圖像恢復(fù)圖像編碼圖像分析模式識別圖像重建96圖像增強(1)97圖像增強(2)98圖像增強(3)圖像增強是改善供人觀看圖像主觀質(zhì)量主要技術(shù)：直方圖修正圖像平滑圖像銳化同態(tài)系統(tǒng)偽彩色技術(shù)

99圖像恢復(fù)(1)100圖像復(fù)原(2)圖像復(fù)原是尋找引起圖像質(zhì)量下降的原因，通過”逆向“操作，盡可能恢復(fù)圖像本來面目主要技術(shù)：復(fù)原的代數(shù)方法逆濾波最小二乘方濾波約束去卷積空間復(fù)原技術(shù)101圖像編碼在保真（無損）或限保真（有損）條件下對圖像進行壓縮主要技術(shù)方法：PCM編碼統(tǒng)計編碼預(yù)測編碼變換編碼小波編碼分形編碼102圖像分析(1)人體染色體形狀分析103圖像分析(2)對輸入圖像的處理，產(chǎn)生已知圖像描述主要技術(shù)方法：分割描繪紋理分析形狀分析場景分析104模式識別計算機代替人類完成識別景物工作，就必須賦于它有近于人的視覺功能與識別能力。對人的視覺機理至今研究得十分不夠，完善的視覺模型尚未建立，因而，目前用圖像處理和識別技術(shù)來識別景物相對是較簡單的。相關(guān)匹配、結(jié)構(gòu)匹配等是一些常用識別方法。各種知識基的專家系統(tǒng)應(yīng)用于識別復(fù)雜的景物，并已做出一些實用的系統(tǒng)105圖像重建(1)利用X射線、超聲波等手段取得物休的多幅來自不同角度的二維投影圖（它們反映了物體內(nèi)部情形），通過計算得出物體內(nèi)部圖像，這種技術(shù)就是投影重建。利用明暗、運動、體視等圖像信息恢復(fù)三維物體形狀則是三維信息恢復(fù)重建技術(shù)。106圖像重建(2)數(shù)字圖像處理的實例補充108ImageProcessingExamplesRestorationofimagefromHubbleSpaceTelescope(圖像復(fù)原)Source:IVPLNorthWesternUniversity,Chicago109ImageProcessingExamplesColorphotoenhancement(彩色照片增強)Source:PictureProject1.5,2005NiconCorporationOriginalAutomaticEnhancement110ImageProcessingExamplesNoisereduction(噪聲去除)DegradedImageNoisereductionimageSource:JungwonLee,StanfordEE368classproject,Spring2000111ImageProcessingExamplesSpecialEffects(特殊效果)PhotoSimulatedcolorpencilsSimulatedoilpaintingSource:FengXiao,StanfordEE368classproject,Spring2000112ImageProcessingExamplesPseudocolorenhancementforsecurityscreening(偽彩增強)Source:Gonzalez+Woodsbook,Fig6.24113ImageProcessingExamplesExtractionofsettlementareafromanaerialimage(居住區(qū)提取)Source:INRIA,Sophia-Antipoils,France114ImageProcessingExamplesEarthquakeAnalysisfromSpace(地震分析)Source:JPL,Pasadena,QUAKEFINDERprojectImageshowsthegrounddisplacementduetoLandersearthquakeinCA,