建模競(jìng)賽暑期培訓(xùn)-圖像處理算法課件

1、主講教師：楊曉慧xhyang)圖像處理算法(Image Processing Algorithm)2010年全國(guó)大學(xué)生數(shù)學(xué)建模競(jìng)賽暑期培訓(xùn)數(shù)學(xué)與信息科學(xué)學(xué)院，2010年7月23日2數(shù)學(xué)建模十大算法蒙特卡羅算法數(shù)據(jù)擬合、參數(shù)估計(jì)、插值等數(shù)據(jù)處理算法線性規(guī)劃等規(guī)劃類問題圖論算法動(dòng)態(tài)規(guī)劃、回溯搜索、分支定界等計(jì)算機(jī)算法模擬退火、神經(jīng)網(wǎng)絡(luò)、遺傳算法等最優(yōu)化理論算法網(wǎng)格算法和窮舉法一些連續(xù)離散化方法數(shù)值分析算法圖像處理算法（1） 圖像處理 （2） 圖像識(shí)別 （3） 圖像理解 數(shù)字圖像處理什么是圖像？“圖”是物體投射光或反射光的分布“像”是人的視覺系統(tǒng)對(duì)圖的接收在大腦中形成的印象或認(rèn)識(shí) “圖”是客觀存在的

2、“像”是人的感覺圖像是兩者的結(jié)合是客觀和主觀的結(jié)合什么是圖像標(biāo)準(zhǔn)測(cè)試圖像 Lena Barbara Cartoon Fingerprint Peppers Mandrill其它圖像7軍事應(yīng)用目標(biāo)跟蹤計(jì)算機(jī)合成圖像 什么是數(shù)字圖像(續(xù))數(shù)字圖像指的是一個(gè)被采樣和量化后的二維函數(shù)（該二維函數(shù)由光學(xué)方法產(chǎn)生），采用等距離矩形網(wǎng)格采樣（矩形網(wǎng)格采樣常稱為光柵raster），對(duì)幅度進(jìn)行等間隔量化。至此，一幅數(shù)字圖像是一個(gè)被量化的采樣數(shù)值的二維矩陣。將一幅二維的圖像通過有限個(gè)離散點(diǎn)來表示就成為了數(shù)字圖像，其中的每個(gè)點(diǎn)稱為圖像元素，即像素。圖像采樣和量化圖像灰度分辨率變化所產(chǎn)生的效果(a) 256(b) 6

3、4(c) 16(d) 8(e) 4(f) 2圖像質(zhì)量隨量化級(jí)別的減少而變差什么是數(shù)字圖像(續(xù))像素值往往用來表示像素的灰度級(jí)、顏色、高度值、透明度等等。獲取外界信息視覺、聽覺、觸覺、嗅覺、味覺等多種，但絕大部分是來自視覺所接收的圖像信息，“百聞不如一見”，人類70%以上信息來自視覺。圖像處理圖像信息加工滿足視覺心理和應(yīng)用要求 圖像處理就是對(duì)圖像信息進(jìn)行加工處理，以滿足人的視覺心理和實(shí)際應(yīng)用的要求。什么是圖像處理什么是數(shù)字圖像處理自然界本身的連續(xù)的，連續(xù)世界的圖像本身狀態(tài)是連續(xù)的，處理的結(jié)果一般也要以連續(xù)的形式演繹，我們不能忽略這個(gè)本質(zhì)。但是我們要采用數(shù)字計(jì)算機(jī)作為工具來實(shí)現(xiàn)我們的算法，臨時(shí)把它

4、變成離散的形式。因此，我們說“數(shù)字圖像處理 (digital image processing) ”不是指“處理數(shù)字圖像”，而是指“圖像的數(shù)字處理”。數(shù)字圖像處理又稱為計(jì)算機(jī)圖像處理，它是指將圖像信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)并通過計(jì)算機(jī)對(duì)其進(jìn)行去除噪聲、增強(qiáng)、復(fù)原、分割、提取特征等處理的方法和技術(shù)。或者簡(jiǎn)述為：數(shù)字圖像處理是對(duì)一個(gè)物體的數(shù)字表示施加一系列的操作，以得到所期望的結(jié)果。數(shù)字圖像處理是集光學(xué)、數(shù)學(xué)、計(jì)算機(jī)圖形學(xué)（computer graphics，涉及用計(jì)算機(jī)將由概念或數(shù)學(xué)描述所表示的物體（而不是實(shí)物）圖像進(jìn)行處理和顯示的過程，側(cè)重于根據(jù)給定的物體描述模型、光照及想象中的攝像機(jī)的成像幾何，生成

5、一幅圖像的過程）、計(jì)算機(jī)視覺（computer vision，目的是發(fā)展處能夠理解自然景物的系統(tǒng)。在機(jī)器人領(lǐng)域中，計(jì)算機(jī)視覺為機(jī)器人提供眼鏡的功能）、電子學(xué)、信息論、控制論、物理學(xué)、心理學(xué)和生理學(xué)等為一體的一門綜合性邊緣科學(xué)。數(shù)字圖像處理和小波理論、馬爾科夫隨機(jī)場(chǎng)、分形學(xué)、數(shù)學(xué)形態(tài)學(xué)、人工智能、模式識(shí)別和人工神經(jīng)網(wǎng)絡(luò)等都有結(jié)合。為什么進(jìn)行圖像處理？易于存儲(chǔ)和傳輸存儲(chǔ)到數(shù)碼相機(jī)，從火星傳回一幅圖片顯示和打印需要調(diào)整圖片大小，色調(diào)等增強(qiáng)和恢復(fù)如從老的照片中去除痕跡，在X光照片中，提高腫瘤的可視性提取信息如從信封上自動(dòng)獲取郵政編碼，從航空影像上測(cè)量水的污染性為什么需要圖像處理數(shù)字圖像處理的應(yīng)用領(lǐng)域1

6、8通信：圖象傳輸，電視電話，HDTV等宇宙探測(cè)：星體圖片處理遙感：地形、地質(zhì)、礦藏探查，森林、水利、海洋、農(nóng)業(yè)等資源調(diào)查，自然災(zāi)害預(yù)測(cè)，環(huán)境污染的監(jiān)測(cè)，氣象云圖生物醫(yī)學(xué)： CT，NMR，X射線成象，B超，紅外圖象，顯微圖象工業(yè)生產(chǎn)：產(chǎn)品質(zhì)量檢測(cè)，生產(chǎn)過程控制，CAD，CAM交通運(yùn)輸軍事：軍事目標(biāo)偵察，制導(dǎo)系統(tǒng)，警戒系統(tǒng)，自動(dòng)火器控制，反偽裝等公安：現(xiàn)場(chǎng)照片，指紋，手跡，印章，人像等處理和鑒別機(jī)器人視覺娛樂： 電影特技，動(dòng)畫，廣告等數(shù)字圖像處理的關(guān)鍵步驟圖像采集圖像復(fù)原形態(tài)學(xué)處理分 割表示&描述圖像增強(qiáng)對(duì)象識(shí)別問題域彩色圖像處理圖像壓縮2121 圖像處理算法圖像變換圖像去噪圖像增強(qiáng)與復(fù)原圖像融合

7、圖像壓縮圖像分割附：MatLab運(yùn)行界面命令窗口：交互操作（輸入數(shù)據(jù)和命令）；反饋 運(yùn)行結(jié)果工作空間：主要查看定義的變量；保存和加載命令歷史記錄 顯示已執(zhí)行的命令當(dāng)前目錄 顯示當(dāng)前工作路徑；主要指文件的保存附：MatLab讀圖像文件I = imread（filename）文件名用單引號(hào)；A是數(shù)組變量如：A = imread（rice.tif）查看圖像文件信息info=imfinfo （filename）信息包括：文件名（完整路徑）；文件大??；圖像的長(zhǎng)和寬；XY方向分辨率。圖像變換26圖像的代數(shù)變換圖像的幾何變換圖像的離散傅立葉變換圖像的離散余弦變換圖像的離散沃爾什變換圖像的K-L變換圖像的小波

8、變換空域變換域代數(shù)變換27代數(shù)運(yùn)算包括算術(shù)運(yùn)算和邏輯運(yùn)算算術(shù)運(yùn)算：加法運(yùn)算：C(x,y) = A(x,y) + B(x,y)減法運(yùn)算：C(x,y) = A(x,y) - B(x,y)乘法運(yùn)算：C(x,y) = A(x,y) * B(x,y)除法運(yùn)算：C(x,y) = A(x,y) / B(x,y)邏輯運(yùn)算：非運(yùn)算：g(x,y) = 255 - f(x,y)異或運(yùn)算：g(x,y) = f(x,y) h(x,y)或運(yùn)算：g(x,y) = f(x,y) v h(x,y)與運(yùn)算：g(x,y) = f(x,y) h(x,y)舉例：加法運(yùn)算 （a）原圖 （b）梯度運(yùn)算舉例：梯度運(yùn)算圖像的幾何變換圖像的幾何

9、變換主要包括：平移變換旋轉(zhuǎn)變換鏡像變換水平鏡像垂直鏡像縮放變換熟悉矩陣運(yùn)算對(duì)于實(shí)現(xiàn)這些變換非常有幫助 幾何變換幾何運(yùn)算可以改變圖像中物體之間的空間關(guān)系。這種運(yùn)算可以看成是圖像內(nèi)的各物體在圖像內(nèi)移動(dòng)的過程。例如，物體的轉(zhuǎn)動(dòng)、扭曲、傾斜、拉伸等等，都是幾何運(yùn)算的結(jié)果。0,0 xy 旋 轉(zhuǎn)0,0 xy水平鏡像0,0 xy 垂直鏡像平移放縮平移變換和放縮變換 旋轉(zhuǎn)變換 圖像頻域變換38圖像空間域圖像頻域圖像空間域正變換逆變換處理起來更有效更方便更快捷函數(shù)的稀疏表示設(shè) 是Hilbert空間 的一組標(biāo)準(zhǔn)正交基，則 可分解為 非線性逼近 其中， 對(duì)應(yīng)于最大系數(shù)幅值 的M個(gè)向量 wavelet 有限的方向性和

10、各向同性 X-let (Multiscale geometric analysis, MGA-let) 多方向性和各向異性小波分析多尺度幾何分析噪聲可以理解為妨礙人的視覺器官或系統(tǒng)傳感器對(duì)所接收?qǐng)D像源信息進(jìn)行理解或分析的各種因素。伴隨著數(shù)字圖像處理技術(shù)的發(fā)展，圖像去噪(Denoising)技術(shù)幾乎滲透于所有的工程領(lǐng)域。圖像去噪從上世紀(jì)七、八十年代就引起了人們的注意，并在其后的二、三十年中得到了蓬勃的發(fā)展。但直到現(xiàn)在因?yàn)樾聠栴}的不斷出現(xiàn)，圖像去噪技術(shù)和理論的發(fā)展還遠(yuǎn)遠(yuǎn)沒有結(jié)束。其最終目的是改善給定圖像的質(zhì)量，解決實(shí)際圖像由于噪聲干擾而導(dǎo)致圖像質(zhì)量下降的問題。圖像去噪(Image Denoise)

11、噪聲模型42高斯（Gaussian）噪聲瑞利（Rayleigh）噪聲伽馬（愛爾蘭）噪聲指數(shù)（Exponential）噪聲均勻（Uniform）噪聲脈沖（椒鹽）噪聲GaussianRayleighErlangExponentialUniformImpulse空域?yàn)V波技術(shù)43均值濾波器算術(shù)均值濾波器幾何均值濾波器諧波均值濾波器逆諧波均值濾波器順序統(tǒng)計(jì)濾波器中值濾波器最大值/最小值濾波器自適應(yīng)濾波器自適應(yīng)濾波舉例受椒鹽噪聲干擾的圖像（概率 Pa = Pb=0.25）7 * 7 中值濾波器濾波的結(jié)果自適應(yīng)中值濾波的結(jié)果（Smax = 7）帶阻濾波器舉例受正弦噪聲干擾的圖像干擾圖像的Fourier頻譜B

12、utterworth 帶阻濾波器濾波圖像圖像增強(qiáng)(Image Enhancement)46圖像增強(qiáng)的目的是改善圖像的視覺效果，針對(duì)給定圖像的應(yīng)用場(chǎng)合，有目的地強(qiáng)調(diào)圖像的整體或局部特性，擴(kuò)大圖像中不同物體特征之間的差別，滿足某些特殊分析的需要。其方法是通過一定手段對(duì)原圖像附加一些信息或變換數(shù)據(jù)，有選擇地突出圖像中感興趣的特征或者抑制(掩蓋)圖像中某些不需要的特征，使圖像與視覺響應(yīng)特性相匹配。 圖像平滑和銳化處理可以實(shí)現(xiàn)圖像增強(qiáng)的目的。47圖像增強(qiáng)按所用方法可分成頻率域法和空間域法。前者把圖像看成一種二維信號(hào)，對(duì)其進(jìn)行基于二維傅里葉變換的信號(hào)增強(qiáng)。采用低通濾波（即只讓低頻信號(hào)通過）法，可去掉圖中的

13、噪聲；采用高通濾波法，則可增強(qiáng)邊緣等高頻信號(hào)，使模糊的圖片變得清晰。具有代表性的空間域算法有局部求平均值法和中值濾波（取局部鄰域中的中間像素值）法等，它們可用于去除或減弱噪聲。圖像增強(qiáng)實(shí)例 1圖像增強(qiáng)實(shí)例 2圖像復(fù)原圖像退化：圖像在形成、記錄、處理和傳輸過程中，由于成像系統(tǒng)、記錄設(shè)備、傳輸介質(zhì)和處理方法的不完善，從而導(dǎo)致的圖像質(zhì)量下降圖像復(fù)原就是對(duì)退化的圖像進(jìn)行處理，試圖恢復(fù)損壞的圖像，還原真面目確定損壞過程，并嘗試其逆過程進(jìn)行復(fù)原類似于圖像增強(qiáng)，但更加客觀圖像復(fù)原技術(shù)51圖像復(fù)原技術(shù)：退化函數(shù)估計(jì)：圖像觀察估計(jì)法試驗(yàn)估計(jì)法模型估計(jì)法圖像去噪：可以使用空間域或頻率域?yàn)V波器實(shí)現(xiàn)逆濾波維納濾波圖像

14、復(fù)原實(shí)例 1變形圖像 幾何校正后的圖像 圖像復(fù)原實(shí)例 2圖像融合 (Image Fusion)圖像融合是把多個(gè)不同傳感器獲得的同一場(chǎng)景的多幅圖像,或同一傳感器在不同時(shí)刻獲得的同一場(chǎng)景的多幅圖像,利用信息彼此之間的互補(bǔ)性和冗余性,合成為一幅圖像的過程.融合后的圖像可以更全面、更精確地描述處理對(duì)象,更有利于人類視覺系統(tǒng)和計(jì)算機(jī)視覺.融合效果直接影響到后繼的圖像分割、特征提取和目標(biāo)識(shí)別等因此,圖像融合技術(shù)現(xiàn)已廣泛應(yīng)用于軍事、遙感、計(jì)算機(jī)視覺和醫(yī)學(xué)圖像等方面高效的圖像融合方法可以根據(jù)需要綜合處理多源通道的信息，從而有效地提高了圖像信息的利用率、系統(tǒng)對(duì)目標(biāo)探測(cè)識(shí)別地可靠性及系統(tǒng)的自動(dòng)化程度。其目的是將單

15、一傳感器的多波段信息或不同類傳感器所提供的信息加以綜合，消除多傳感器信息之間可能存在的冗余和矛盾，以增強(qiáng)影像中信息透明度，改善解譯的精度、可靠性以及使用率，以形成對(duì)目標(biāo)的清晰、完整、準(zhǔn)確的信息描述。圖像融合的三個(gè)層次一般情況下，圖像融合由低到高分為三個(gè)層次：數(shù)據(jù)級(jí)融合、特征級(jí)融合、決策級(jí)融合。數(shù)據(jù)級(jí)融合也稱像素級(jí)融合，是指直接對(duì)傳感器采集來得數(shù)據(jù)進(jìn)行處理而獲得融合圖像的過程，它是高層次圖像融合的基礎(chǔ)，也是目前圖像融合研究的重點(diǎn)之一。這種融合的優(yōu)點(diǎn)是保持盡可能多得現(xiàn)場(chǎng)原始數(shù)據(jù)，提供其它融合層次所不能提供的細(xì)微信息。像素級(jí)融合中有空間域算法和變換域算法，空間域算法中又有多種融合規(guī)則方法，如邏輯濾波

16、法，灰度加權(quán)平均法，對(duì)比調(diào)制法等；變換域中又有金字塔分解融合法，小波變換法。其中的小波變換是當(dāng)前最重要，最常用的方法。在特征級(jí)融合中，保證不同圖像包含信息的特征，如紅外光對(duì)于對(duì)象熱量的表征，可見光對(duì)于對(duì)象亮度的表征等等。決策級(jí)融合主要在于主觀的要求，同樣也有一些規(guī)則，如貝葉斯法，D-S證據(jù)法和表決法等。 應(yīng)用背景多聚焦圖像融合 如圖可以看出，左邊圖像的小鐘表模糊大鐘表清晰，而右邊圖像正好相反。這一組圖像即為多聚焦圖像 通過圖像融合，可以利用兩個(gè)源圖像的互補(bǔ)性和冗余性，從而獲得兩邊都比較清晰的融合圖像應(yīng)用背景醫(yī)學(xué)圖像融合CT(Computer tomography) 電子計(jì)算機(jī)體層成像 MRI(

17、Magnetic resonance Imaging )核磁共振成像CT/MRI圖像的融合是目前醫(yī)學(xué)圖像融合的一個(gè)常用模式。CT圖像的空間分辨率較高，顯示骨質(zhì)清晰，對(duì)病灶的定位提供了良好的參照，但對(duì)病灶本身的顯示較差；MRI圖像的軟組織分辨率比較好，有利于病灶范圍的確定，但它比較缺乏剛性的骨組織作為定位參照。這兩種圖像進(jìn)行融合，有利于充分利用兩種圖像的優(yōu)點(diǎn)，獲得更利于臨床的圖像模式. 可見光的波長(zhǎng)為：0.38-0.78微米。照相機(jī)成像得到照片，電視攝像機(jī)成像得到電視圖像，都是可見光成像。 紅外線，又稱紅外輻射，是指波長(zhǎng)為0.781000微米的電磁波。其中波長(zhǎng)為0.782.0微米的部分稱為近紅外

18、，波長(zhǎng)為2.01000微米的部分稱為熱紅外線。目標(biāo)的熱圖像是目標(biāo)表面溫度分布圖像，換句話說，紅外熱成像使人眼不能直接看到目標(biāo)的表面溫度分布，變成人眼可以看到的代表目標(biāo)表面溫度分布的熱圖像。 應(yīng)用背景紅外與可見光圖像基本的形態(tài)學(xué)算法主要操作：腐蝕、膨脹；開操作、閉操作主要應(yīng)用提取對(duì)于描繪和表達(dá)形狀有用的圖像成分形狀：邊界、連通分量、凸殼和骨架等主要算法：提取邊界、區(qū)域填充、細(xì)化等說明：二值圖像中目標(biāo)對(duì)象中的像素（值為1的像素）用陰影表示，否則顯示為白色基本的形態(tài)學(xué)算法例：使用形態(tài)學(xué)處理提取邊界、區(qū)域填充和細(xì)化圖像壓縮(Image Compression)64為什么需要壓縮：舉例1：一張A4(21

19、0mm297mm) 大小的照片，若用中等分辨率(300dpi)的掃描儀按真彩色掃描，其數(shù)據(jù)量為多少？（注：dpi表示每英寸像素，1英寸25.4mm）若按每像素3個(gè)字節(jié)計(jì)算，上述結(jié)果為約26M舉例2：目前的WWW互聯(lián)網(wǎng)包含大量的圖像信息，如果圖像信息的數(shù)據(jù)量太大，會(huì)使本來就已經(jīng)非常緊張的網(wǎng)絡(luò)帶寬變得更加不堪重負(fù)（World Wide Web變成了World Wide Wait）65視頻數(shù)據(jù)量：對(duì)于電視畫面的分辨率640*480的彩色圖像，每秒30幀，則一秒鐘的數(shù)據(jù)量為：640*480*24*30=221.12M實(shí)時(shí)傳輸：在10M帶寬網(wǎng)上實(shí)時(shí)傳輸?shù)脑挘枰獕嚎s到原來數(shù)據(jù)量的0.045存儲(chǔ)： 1張C

20、D可存640M，如果不進(jìn)行壓縮，1張CD則僅可以存放2.89秒的數(shù)據(jù)可見，單純依靠增加存儲(chǔ)器容量和改善信道帶寬無法滿足需求，必須進(jìn)行壓縮圖像數(shù)據(jù)的壓縮機(jī)理來自兩個(gè)方面：一是利用圖像中存在大量冗余度可供壓縮；二是利用人眼的視覺特性。壓縮編碼基礎(chǔ)1)空間冗余度：大多數(shù)圖像內(nèi)相鄰像素之間有較大的相關(guān)性。2)時(shí)間冗余度：序列圖像前后幀之間的較大的相關(guān)性。3) 頻率域冗余度：多光譜遙感圖像各譜間有相關(guān)性。4) 符號(hào)冗余度：若用相同碼長(zhǎng)表示不同出現(xiàn)概率的符號(hào)會(huì)造成比特?cái)?shù)的浪費(fèi)，即符號(hào)冗余度。(采用變長(zhǎng)編碼技術(shù)，對(duì)出現(xiàn)概率高的符號(hào)用短碼字表示，對(duì)出現(xiàn)概率低的符號(hào)用長(zhǎng)碼字)5)視覺冗余度：允許圖像編碼有一定的

21、失真也是圖像可以壓縮的一個(gè)重要原因。圖像編碼技術(shù)就是要把種種壓縮的可能性變?yōu)楝F(xiàn)實(shí)。圖像壓縮方法圖像壓縮方法通常是為一類特定圖像而設(shè)計(jì)。方法1：游程編碼+變長(zhǎng)碼方法2：上下文模型+算術(shù)編碼方法3：將2n級(jí)灰度分成n個(gè)位平面，分別用RLE和前綴碼對(duì)其進(jìn) 行壓縮方法4：用上下文預(yù)測(cè)，對(duì)預(yù)測(cè)的偏差用變長(zhǎng)碼方法5：變換后編碼方法6：將彩色圖像分離為3個(gè)彩色分量，然后分別壓縮每一個(gè)方法7：對(duì)于離散色調(diào)圖像采用塊分解法方法8：分形壓縮離散余弦變換(DCT) 編碼原圖解壓圖圖像壓縮編碼標(biāo)準(zhǔn)制定圖像標(biāo)準(zhǔn)的國(guó)際組織是ISO（國(guó)際標(biāo)準(zhǔn)化組織）和CCITT（國(guó)際電報(bào)電話咨詢委員會(huì)）靜止圖像：JPEG（Joint Ph

22、otographic Expert Group，聯(lián)合圖像專家組）通常為有損壓縮（采用DCT變換編碼），JPEG是目前靜態(tài)圖像壓縮比最高的，但失真的程度非常小也支持無損壓縮（采用預(yù)測(cè)編碼），但壓縮比降低（無損壓縮的壓縮比總有個(gè)極限）運(yùn)動(dòng)圖像：MPEG（Moving Picture Expert Group，運(yùn)動(dòng)圖像專家組）圖象分割是一個(gè)將一幅數(shù)字圖象劃分為不交疊的、連通的象素集的過程，其中一個(gè)對(duì)應(yīng)于背景，其他的則對(duì)應(yīng)于圖象中的各個(gè)物體。圖像分割的目標(biāo)是重點(diǎn)根據(jù)圖像中的物體將圖像的像素分類，并提取感興趣目標(biāo)。圖像分割(Image Segmentation)71模式識(shí)別的三個(gè)主要階段：圖像分割特征抽取分類 圖像分割：在該階段檢測(cè)出各個(gè)物體，并把它們的圖像和其余景物分離。特征提取：在該階段中對(duì)物體進(jìn)行度量。一個(gè)度量是指一個(gè)物體某個(gè)可度量的度量值，而特征是一個(gè)或多個(gè)度量的函數(shù)。通過計(jì)算可以對(duì)