第十章 圖像分割

1、第十章 圖像分割 圖像分割引言 邊界分割法 邊緣連接分割法 閾值分割法 面向區(qū)域的分割圖像分割引言 引言圖像分析系統(tǒng)的基本構(gòu)成圖像分割的概念圖像分割的基本思路圖像分割的基本策略 圖像分析系統(tǒng)的構(gòu)成識別識別與與解釋解釋結(jié)果知識庫知識庫表示與描述表示與描述預(yù)處理預(yù)處理分割分割低級處理高級處理中級處理圖像獲取圖像獲取問題 （要識別和標(biāo)定細(xì)胞的顯微照片中的染色體，要識別和標(biāo)定細(xì)胞的顯微照片中的染色體，需要用圖像分割技術(shù)。需要用圖像分割技術(shù)。一幅圖像通常是由代表物體的圖案與背景一幅圖像通常是由代表物體的圖案與背景組成，簡稱物體與背景。若想從一幅圖像中組成，簡稱物體與背景。若想從一幅圖像中“提取提取”物體

2、，可以設(shè)法用專門的方法標(biāo)出屬物體，可以設(shè)法用專門的方法標(biāo)出屬于該物體的點(diǎn)，如把物體上的點(diǎn)標(biāo)為于該物體的點(diǎn)，如把物體上的點(diǎn)標(biāo)為“1”1”，而把背景點(diǎn)標(biāo)為而把背景點(diǎn)標(biāo)為“0”0”，通過分割以后，可得，通過分割以后，可得一幅二值圖像。一幅二值圖像。 圖像分割的應(yīng)用領(lǐng)域圖像分割的應(yīng)用領(lǐng)域l 機(jī)器閱讀理解機(jī)器閱讀理解l OCROCR錄入錄入l 遙感圖像自動識別遙感圖像自動識別l 在線產(chǎn)品檢測在線產(chǎn)品檢測l 醫(yī)學(xué)圖像樣本統(tǒng)計(jì)醫(yī)學(xué)圖像樣本統(tǒng)計(jì)l 醫(yī)學(xué)圖像測量醫(yī)學(xué)圖像測量l 圖像編碼圖像編碼l 圖像配準(zhǔn)的預(yù)處理圖像配準(zhǔn)的預(yù)處理圖像分割的意義圖像分割的意義 把圖像分解成構(gòu)成它的部件和對象的過程把圖像分解成構(gòu)成它

3、的部件和對象的過程 有選擇性地定位感興趣對象在圖像中的位有選擇性地定位感興趣對象在圖像中的位置和范圍置和范圍圖像分割的基本思路從簡到難，逐級分割從簡到難，逐級分割控制背景環(huán)境，降低分割難度控制背景環(huán)境，降低分割難度把焦點(diǎn)放在增強(qiáng)感興趣對象，縮小不把焦點(diǎn)放在增強(qiáng)感興趣對象，縮小不相干圖像成分的干擾上相干圖像成分的干擾上圖像分割方法分類：圖像分割方法分類： 大致可以分為基于邊緣檢測的方法和大致可以分為基于邊緣檢測的方法和基于區(qū)域生成的方法?；趨^(qū)域生成的方法。 第一類為找出圖像的邊緣信息，首先第一類為找出圖像的邊緣信息，首先檢出局部特性的不連續(xù)性，再將它們連成檢出局部特性的不連續(xù)性，再將它們連成邊

4、界，這些邊界把圖像分成不同的區(qū)域，邊界，這些邊界把圖像分成不同的區(qū)域，從而分割出各個(gè)區(qū)域，常用邊緣檢測方法從而分割出各個(gè)區(qū)域，常用邊緣檢測方法有基于邊緣檢測的圖像分割、基于閾值選有基于邊緣檢測的圖像分割、基于閾值選取的圖像分割；取的圖像分割；圖像分割方法分類：圖像分割方法分類： 第二類為基于區(qū)域生成的方法，是將第二類為基于區(qū)域生成的方法，是將像素分成不同的區(qū)域，根據(jù)相應(yīng)的區(qū)域特像素分成不同的區(qū)域，根據(jù)相應(yīng)的區(qū)域特性在圖像中找出與其相似的部分并進(jìn)行處性在圖像中找出與其相似的部分并進(jìn)行處理，常用的方法有區(qū)域生長、分裂理，常用的方法有區(qū)域生長、分裂- -合并分合并分割方法。割方法。 以上這兩類方法互

5、為對偶，相輔相成，以上這兩類方法互為對偶，相輔相成，有時(shí)還要將它們結(jié)合起來，以得到更好的有時(shí)還要將它們結(jié)合起來，以得到更好的分割效果。分割效果。圖像分割的基本策略圖像分割的基本策略 圖像分割的基本策略，基于灰度值的兩個(gè)基本特性：圖像分割的基本策略，基于灰度值的兩個(gè)基本特性：不連續(xù)性不連續(xù)性區(qū)域之間區(qū)域之間相似性相似性區(qū)域內(nèi)部區(qū)域內(nèi)部 根據(jù)圖像像素灰度值的根據(jù)圖像像素灰度值的不連續(xù)性不連續(xù)性先找到點(diǎn)、線（寬度為先找到點(diǎn)、線（寬度為1 1）、邊（不定寬度）、邊（不定寬度）1.1. 再確定區(qū)域再確定區(qū)域根據(jù)圖像像素灰度值的相似性 通過選擇閾值，找到灰度值相似的區(qū)域 區(qū)域的外輪廓就是對象的邊 不連續(xù)性

6、邊界分割法邊緣連接分割法 相似性閾值分割法面向區(qū)域的分割數(shù)學(xué)形態(tài)學(xué)圖像處理1 間斷檢測 間斷檢測法點(diǎn)的檢測線的檢測邊的檢測1.1 點(diǎn)的檢測用空域的高通濾波器來檢測孤立點(diǎn)例： R = (-1 * 8 * 8 + 128 * 8) / 9 = (120 * 8) / 9 = 960 / 9 = 106設(shè) ：閾值：T = 64 R T88881288888圖像-1-1-1-18-1-1-1-1模板點(diǎn)的檢測點(diǎn)的檢測算法描述設(shè)定閾值 T，如T = 32、64、128等,并計(jì)算高通濾波值R如果R值等于0，說明當(dāng)前檢測點(diǎn)與的灰度值與周圍點(diǎn)的相同當(dāng)R的值足夠大時(shí)，說明該點(diǎn)的值與周圍的點(diǎn)非常不同，是孤立點(diǎn)。通過

7、閾值T來判斷 |R| T 檢測到一個(gè)孤立點(diǎn)點(diǎn)的檢測1.2 線的檢測通過比較典型模板的計(jì)算值，確定一個(gè)點(diǎn)是否在某個(gè)方向的線上-1-1-1222-1-1-1水平模板-1-12-12-12-1-145度模板-12-1-12-1-12-1垂直模板2-1-1-12-1-1-12135度模板線的檢測用4種模板分別計(jì)算R水平 = -6 + 30 = 24R45度 = -14 + 14 = 0R垂直 = -14 + 14 = 0 R135度 = -14 + 14 = 0111555111111555111111555111例：圖像 線的檢測算法描述依次計(jì)算依次計(jì)算4 4個(gè)方向的典型檢測模板，得到個(gè)方向的典型檢

8、測模板，得到R Ri i i=1,2,3,4i=1,2,3,4如如 |R|Ri i| |R| |Rj j| | 對于所有的對于所有的j = ij = i，那么這個(gè)點(diǎn)被稱為，那么這個(gè)點(diǎn)被稱為在方向上更接近模板在方向上更接近模板i i 所代表的線所代表的線 設(shè)計(jì)任意方向的檢測模板可能大于3*3模板系數(shù)和為0趕興趣的方向的系數(shù)大。 線的檢測1.3 邊緣的檢測邊界的定義：邊界的定義： 兩個(gè)具有相對不同灰度值特性的區(qū)域的邊界線適用于： 假定問題中的區(qū)域是非常類似的，兩個(gè)區(qū)域之間的過渡，僅僅根據(jù)灰度的不連續(xù)性便可確定不適用于： 當(dāng)假定不成立時(shí)，閾值分割技術(shù)一般來說比邊緣檢測更加實(shí)用邊緣的檢測分割對象區(qū)域分

9、割對象區(qū)域分割對象區(qū)域分割對象區(qū)域邊緣的檢測邊緣的檢測基本思想計(jì)算局部微分算子截面圖截面圖邊界圖像邊界圖像邊緣的檢測一階微分：用梯度算子來計(jì)算 特點(diǎn)：對于亮的邊，邊的變化起點(diǎn)是正的，結(jié)束是負(fù)的。對于暗邊，結(jié)論相反。常數(shù)部分為零。 用途：用于檢測圖像中邊的存在二階微分：通過拉普拉斯來計(jì)算 特點(diǎn)：二階微分在亮的一邊是正的，在暗的一邊是負(fù)的。常數(shù)部分為零。用途：1）二次導(dǎo)數(shù)的符號，用于確定邊上的像素是在亮的一邊，還是暗的一邊。2）0跨越，確定邊的準(zhǔn)確位置邊緣的檢測梯度算子函數(shù)f(x,y)在(x,y)處的梯度為一個(gè)向量：f = f / x , f / y計(jì)算這個(gè)向量的大小為：f = mag(f ) =

10、 (f / x)2 +(f / y)21/2近似為: f |x| + |y|z2z8z5z3z9z6z1z7z4梯度算子梯度的方向角為： (x,y) = tan(y / x)Sobel算子為： x = (z7 + 2z8 + z9) - (z1 + 2z2 + z3) y = (z3 + 2z6 + z9) - (z1 + 2z4 + z7)梯度值： f |x| + |y|-220-110-110000-1-1-2112 x ySobel梯度算子的使用與分析1. 直接計(jì)算y、x可以檢測到邊的存在， 以及從暗到亮，從亮到暗的變化 2. 僅計(jì)算|x|，產(chǎn)生最強(qiáng)的響應(yīng)是正交 于x軸的邊； |y|則是

11、正交于y軸的邊。 3. Soleb算子具有平滑效果，由于微分增強(qiáng) 了噪音，這一點(diǎn)是特別引人注意的特性拉普拉斯 二維函數(shù)f(x,y)的拉普拉斯是一個(gè)二階的微分定義為： 2f = 2f / x2 , 2f / y2 可以用多種方式被表示為數(shù)字形式。對于一個(gè)3*3的區(qū)域，經(jīng)驗(yàn)上被推薦最多的形式是：2f = 4z5 (z2 + z4 + z6 + z8)z2z8z5z3z9z6z1z7z4拉普拉斯拉普拉斯拉普拉斯算子的分析缺點(diǎn)：對噪音的敏感；會產(chǎn)生雙邊效果；不能檢測出邊的方向應(yīng)用：拉普拉斯算子不直接用于邊的檢 測，通常只起輔助的角色； 檢測一個(gè)像素是在邊的亮的一邊還是暗的一邊 利用零跨越，確定邊的位置

12、2 邊緣連接和邊界檢測 邊緣連接法局部處理法Hough變換邊緣連接的意義邊檢測算法的后處理 由于噪音的原因，邊界的特征很少能夠被完整地描述，在亮度不一致的地方會中斷 因此典型的邊檢測算法后面總要跟隨著連接過程和其它邊界檢測過程，用來歸整邊像素，成為有意義的邊2.1 局部連接處理連接處理的時(shí)機(jī)和目的連接處理的原理局部連接算法描述連接處理的時(shí)機(jī)和目的： 時(shí)機(jī)：對做過邊界檢測的的圖像進(jìn)行目的：連接間斷的邊連接處理的原理 對做過邊檢測的圖象的每個(gè)點(diǎn)(x,y)的特性進(jìn)行分析 分析在一個(gè)小的鄰域（3x3或5x5）中進(jìn)行 所有相似的點(diǎn)被連接，形成一個(gè)享有共同特性象素的邊界 用比較梯度算子的響應(yīng)強(qiáng)度和梯度方向

13、確定兩個(gè)點(diǎn)是否同屬一條邊點(diǎn)(x,y)點(diǎn) (x,y)連接處理的原理通過比較梯度，確定兩個(gè)點(diǎn)的連接性： 對于點(diǎn)(x,y)，判斷其是否與鄰域內(nèi)的點(diǎn) (x,y)相似，當(dāng)： |f (x,y) f (x,y)| T其中T是一個(gè)非負(fù)的閾值比較梯度向量的方向角 對于點(diǎn)(x,y)，判斷其是否與鄰域內(nèi)的點(diǎn) (x,y)的方向角相似，當(dāng)： | (x,y) (x,y)| A其中A是一個(gè)角度閾值 當(dāng)梯度值和方向角都是相似的，則點(diǎn)(x,y)，與邊點(diǎn)界(x,y)是連接的點(diǎn)(x,y)點(diǎn) (x,y)局部連接算法描述1）設(shè)定A、T的閾值大小，確定鄰域的大小2）對圖像上每一個(gè)像素的鄰域點(diǎn)進(jìn)行分析， 判斷是否需要連接。3）記錄像素連接

14、的情況，另開一個(gè)空間， 給不同的邊以不同的標(biāo)記。4）最后，刪除孤立線段，連接斷開的線段。2.2 霍夫（Hough）變換問題的提出Hough變換的基本思想算法實(shí)現(xiàn)Hough變換的擴(kuò)展Hough變換問題的提出在找出邊界點(diǎn)集之后，需要連接，形成完整的邊界圖形描述Hough變換的基本思想對于邊界上的n個(gè)點(diǎn)的點(diǎn)集，找出共線的點(diǎn)集和直線方程。對于任意兩點(diǎn)的直線方程：y = ax + b，構(gòu)造一個(gè)參數(shù)a，b的平面，從而有如下結(jié)論：a ab bHough變換的基本思想xy平面上的任意一條直線y = ax + b ，對應(yīng)在參數(shù)ab平面上都有一個(gè)點(diǎn)過xy平面一個(gè)點(diǎn)(x,y)的所有直線，構(gòu)成參數(shù)ab平面上的一條直線

15、。a ab ba ab bHough變換的基本思想如果點(diǎn)(x1,y1)與點(diǎn)(x2,y2)共線，那么這兩點(diǎn)在參數(shù)ab平面上的直線將有一個(gè)交點(diǎn)在參數(shù)ab平面上相交直線最多的點(diǎn)，對應(yīng)的xy平面上的直線就是我們的解a ab by yx x(x1,y1)(x2,y2)a ab bHough變換的基本思想a ab bA AHough變換算法實(shí)現(xiàn)由于垂直直線a,為無窮大，我們改用極坐標(biāo)形式：xcos + ysin = = 參數(shù)平面為 , , ，對應(yīng)不是直線而是正弦曲線使用交點(diǎn)累加器，或交點(diǎn)統(tǒng)計(jì)直方圖，找出相交線段最多的參數(shù)空間的點(diǎn)然后找出該點(diǎn)對應(yīng)的xy平面的直線線段 111sin1cossin222abaa

16、awhereyxbaxyyxiicos space parameter - space -3 門限處理（閾值分割法） 閾值分割法通過交互方式得到閾值通過直方圖得到閾值通過邊界特性選擇閾值簡單全局閾值分割基于多個(gè)變量的閾值3.1 基礎(chǔ)閾值分割法的基本思想： 確定一個(gè)合適的閾值T（閾值選定的好壞是此方法成敗的關(guān)鍵）。 將大于等于閾值的像素作為物體或背景，生成一個(gè)二值圖像。If f(x,y) T set 255Else set 0 在四鄰域中有背景的像素，既是邊界像素。025525502550255255255門限處理（閾值分割法）可被看做一種涉及測試下列形式函數(shù)T的一種操作 T = T x,y,p

17、(x,y),f(x,y) 如果T取決于f(x,y)時(shí)，門限（閾值）就稱為全局的 如果T取決于f(x,y)和p(x,y），門限（閾值）就稱為局部的門限處理（閾值）分割法的特點(diǎn) 適用于物體與背景有較強(qiáng)對比的情況，重要的是背景或物體的灰度比較單一。（可通過先求背景，然后求反得到物體） 這種方法總可以得到封閉且連通區(qū)域的邊界?；叶戎礷(x0,y0)T通過直方圖得到閾值基本思想基本思想邊界上的點(diǎn)的灰度值出現(xiàn)次數(shù)較少邊界上的點(diǎn)的灰度值出現(xiàn)次數(shù)較少T取值的方法：取值的方法： 取直方圖谷底取直方圖谷底( (最小值最小值) )的灰度值為閾值的灰度值為閾值T T缺點(diǎn)：會受到噪音的干擾，最小值不是預(yù)缺點(diǎn)：會受到噪音

18、的干擾，最小值不是預(yù)期的閾值，而偏離期望的值；期的閾值，而偏離期望的值；改進(jìn)：改進(jìn)： 取兩個(gè)峰值之間某個(gè)固定位置，如中取兩個(gè)峰值之間某個(gè)固定位置，如中間位置上。由于峰值代表的是區(qū)域內(nèi)外的間位置上。由于峰值代表的是區(qū)域內(nèi)外的典型值，一般情況下，比選谷底更可靠，典型值，一般情況下，比選谷底更可靠，可排除噪音的干擾可排除噪音的干擾T3.2 亮度的作用 亮度對門限處理（閾值）分割法亮度對門限處理（閾值）分割法的影響，特別是對全局的影響。的影響，特別是對全局的影響。 討論討論 用一幅圖像是由反射率分用一幅圖像是由反射率分量和亮度分量的乘積組成量和亮度分量的乘積組成 yxryxiyxryxiyxfyxzr

19、iyxryxiyxf,ln,ln,ln,:,reflection :onilluminati 反射分量照明分量The histogram of z (x,y) is given by the convolution of the histograms of i(x,y) and r(x,y)照明的作用照明的作用用用于于解決非均勻性照明的解決非均勻性照明的實(shí)際實(shí)際作法作法把照明投射至一固定的白色反射面把照明投射至一固定的白色反射面產(chǎn)產(chǎn)生生1 1幅影像幅影像得到正規(guī)化影像得到正規(guī)化影像( (此影像此影像僅余僅余反射分量反射分量) )決定決定 r r( (x x, ,y y) ) 所需的所需的單單一

20、一臨臨界值界值 k k則則對于對于 h h( (x x, ,y y) ) 的的臨臨界值界值為為 T T/ /k kyxkiyxg,kyxryxgyxfyxh,3.3 基本全局閾值分割基本思想：用前述方法獲得閾值T，并產(chǎn)生一個(gè)二值圖，區(qū)分出前景對象和背景算法實(shí)現(xiàn)： 規(guī)定一個(gè)閾值T，逐行掃描圖像。 凡灰度級大于T的，顏色置為255；凡灰度級小于T的，顏色置為0適用場合：明度圖像是可以控制的情況，例如用于工業(yè)監(jiān)測系統(tǒng)中3.4 基本自適應(yīng)門限（閾值） 問題：不均勻亮度這樣的成像因素導(dǎo)致用直方圖得到單一全局門限處理（閾值）分割法無法有效分割。 方法：將圖像進(jìn)一步細(xì)分為子圖像，并對不同的子圖像使用不同的門

21、限處理（閾值）進(jìn)行分割。這類門限處理（閾值）是自適應(yīng)的。Chapter 10Image SegmentationChapter 10Image Segmentation3.5 最佳全局和自適應(yīng)門限（閾值） 一種產(chǎn)生最小平均分割誤差的估計(jì)門限處理（閾值）的方法。 討論 假設(shè)一幅圖像僅包含兩個(gè)主要的灰度級區(qū)域。3.6 利用邊界特性改進(jìn)直方圖和局部 門限處理基本思想： 如果直方圖的各個(gè)波峰很高、很窄、對稱，且被很深的波谷分開時(shí)，有利于選擇閾值。 為了改善直方圖的波峰形狀，我們只把區(qū)域邊緣的像素繪入直方圖，而不考慮區(qū)域中間的像素。 用微分算子，處理圖像，使圖像只剩下邊界中心兩邊的值。 通過邊界特性選擇閾值基本思想： 這種方法有以下優(yōu)點(diǎn)：1)在前景和背景所占區(qū)域面積差別很大時(shí)，不會造一個(gè)灰度級的波峰過高，而另一個(gè)過低2)邊緣上的點(diǎn)在區(qū)域內(nèi)還是區(qū)域外的概率是相等的，因此可以增加波峰的對稱性3)基于梯度和拉普拉斯算子選擇的像素，可以增加波峰的高度 通過邊界特性選擇閾值算法的實(shí)現(xiàn)：1）對圖像進(jìn)行梯度計(jì)算，得到梯度圖像。2）得到梯度值最大的那一部分（比如10%） 的像素直方圖3）通過直方圖的谷底，得到閾值T如果用拉普拉斯算子，