圖像分割與特征提取.ppt

1、第八章 圖像分割、特征提取與描述,主要內(nèi)容 8.1 引言 8.2 圖像分割 8.3 圖像的特征 8.4 圖像的描述,8.1 引言,圖像分割是將圖像劃分為若干互不相交的小區(qū)域的過程。小區(qū)域是某種意義下具有共同屬性的象素的連通集合，如物體所占的圖像區(qū)域、天空區(qū)域等。 連通的概念是指集合中任意兩個(gè)點(diǎn)之間都存在著完全屬于該集合的連通路徑。對(duì)于離散圖像而言，連通有4連通和8連通之分,4連通,8連通,8.1 引言,圖像分割是圖像理解的基礎(chǔ)，而在理論上圖像分割又依賴圖像理解，彼此是緊密關(guān)聯(lián)的。圖像分割在一般意義下是十分困難的問題，目前的圖像分割一般作為圖像的前期處理階段，是針對(duì)分割對(duì)象的技術(shù)，是與問題相關(guān)的

2、，如最常用到的利用閾值化處理進(jìn)行的圖像分割。,8.1 引言,圖像分割有二種不同的途徑： 區(qū)域法：將各象素劃歸到相應(yīng)物體或區(qū)域的象素聚類方法 邊界方法：通過直接確定區(qū)域間的邊界來(lái)實(shí)現(xiàn)分割,8.2 圖像的分割,8.2.1、并行區(qū)域技術(shù)基于閾值的圖像分割技術(shù) 8.2.2、串行區(qū)域技術(shù) 8.2.3、并行邊界技術(shù)基于邊界的圖像分割,8.2 圖像的分割,8.2.1、并行區(qū)域技術(shù)基于閾值的圖像分割技術(shù) 8.2.2、串行區(qū)域技術(shù) 8.2.3、并行邊界技術(shù)基于邊界的圖像分割,8.2.1并行區(qū)域技術(shù)基于閾值,取閾值是最常見的并行的直接檢測(cè)區(qū)域的分割方法。閾值是在分割時(shí)作為區(qū)分物體與背景象素的門限，大于或等于閾值的

3、象素屬于物體，而其它屬于背景。這種方法對(duì)于在物體與背景之間存在明顯差別（對(duì)比）的景物分割十分有效。實(shí)際上，在任何實(shí)際應(yīng)用的圖像處理系統(tǒng)中，都要用到閾值化技術(shù)。為了有效地分割物體與背景，人們發(fā)展了各種各樣的閾值處理技術(shù)，包括全局閾值、自適應(yīng)閾值、最佳閾值、局部閾值等。,8.2.1并行區(qū)域技術(shù)基于閾值,單閾值分割 只用一個(gè)閾值分割。 多閾值分割 用多個(gè)閾值分割。在一般的多閾值情況下，多閾值分割取為：,8.2.1并行區(qū)域技術(shù)基于閾值,（1）極小值點(diǎn)閾值 對(duì)于雙峰直方圖，選取兩個(gè)峰之間的谷對(duì)應(yīng)的灰度值作為閾值。 將直方圖的包絡(luò)看作一條曲線，求直方圖包絡(luò)線的極小值點(diǎn)對(duì)應(yīng)的灰度值作為閾值。,8.2.1并行

4、區(qū)域技術(shù)基于閾值,在閾值化處理之后，可以通過直接跟蹤物體邊界的方法將物體區(qū)域分割出來(lái)，得到其輪廓并進(jìn)一步分析其幾何形狀特征。,8.2.1并行區(qū)域技術(shù)基于閾值,8.2.1并行區(qū)域技術(shù)基于閾值,（2）最佳閾值 有時(shí)目標(biāo)和背景的灰度值有部分交錯(cuò)，用1個(gè)全局閾值不能將它們絕然分開。希望減小誤分割的概率，選取一個(gè)最佳閾值。閾值的選擇需要根據(jù)具體問題來(lái)確定，一般通過實(shí)驗(yàn)來(lái)確定。,8.2.1并行區(qū)域技術(shù)基于閾值,（3）直方圖變換 利用象素鄰域的局部性質(zhì)變換原來(lái)的直方圖得到一個(gè)新的直方圖。新的直方圖或者谷更深或者谷變成峰，更容易檢測(cè)。常用的方法是用象素的梯度值。,8.2.1并行區(qū)域技術(shù)基于閾值,（4）灰度和灰

5、度平均圖 物體與背景各自的灰度都較均勻二者相差不大時(shí)，分割時(shí)可以這樣處理：橫軸取象素的灰度r，縱軸取r的鄰域的平均 。直方圖 為坐標(biāo)點(diǎn)上的象素?cái)?shù)目。邊界上的點(diǎn)將遠(yuǎn)離對(duì)角線，因此選遠(yuǎn)離對(duì)角線的點(diǎn)的灰度作為分割的灰度門限將獲得較好的分割效果。,8.2.1并行區(qū)域技術(shù)基于閾值,（5）灰度值和梯度值散射圖 做直方圖（r，g）橫軸取象素的灰度r，縱軸取r的梯度g。直方圖（r，g）為具有某個(gè)灰度和梯度值的象素?cái)?shù)目。,8.2 圖像的分割,8.2.1、并行區(qū)域技術(shù)基于閾值的圖像分割技術(shù) 8.2.2、串行區(qū)域技術(shù) 8.2.3、并行邊界技術(shù)基于邊界的圖像分割,8.2.2 串行區(qū)域技術(shù),一、區(qū)域生長(zhǎng) 二、分裂合并,

6、一、區(qū)域生長(zhǎng) 區(qū)域生長(zhǎng)方法是根據(jù)同一物體區(qū)域內(nèi)象素的相似性質(zhì)來(lái)聚集象素點(diǎn)的方法，從初始區(qū)域（如小鄰域或甚至于每個(gè)象素）開始，將相鄰的具有同樣性質(zhì)的象素或其它區(qū)域歸并到目前的區(qū)域中從而逐步增長(zhǎng)區(qū)域，直至沒有可以歸并的點(diǎn)或其它小區(qū)域?yàn)橹?。區(qū)域內(nèi)象素的相似性度量可以包括平均灰度值、紋理、顏色等信息。關(guān)鍵是相似性度量準(zhǔn)則以及初始區(qū)域或象素的確定。,8.2.2 串行區(qū)域技術(shù),8.2.2 串行區(qū)域技術(shù),圖像： 5 5 8 6 取跟蹤門限T2 5 5 8 6 4 8 9 7 4 8 9 7 2 2 8 3 2 2 8 3 3 3 3 3 3 3 3 3 生長(zhǎng)準(zhǔn)則：區(qū)域任一象素與其鄰點(diǎn)灰度差T 結(jié)果與起始點(diǎn)選

7、擇和門限選擇有關(guān),8.2.2 串行區(qū)域技術(shù),圖像： 5 5 8 6 5 5 8 6 5 5 8 6 4 8 9 7 4 8 9 7 4 8 9 7 2 2 8 3 2 2 8 3 2 2 8 3 3 3 3 3 3 3 3 3 3 3 3 3 生長(zhǎng)準(zhǔn)則：待檢測(cè)象素的灰度與已檢測(cè)的區(qū)域的平均灰度差T 例：取跟蹤門限T2 結(jié)果與起始點(diǎn)選擇(如選6)和門限選擇有關(guān),8.2.2 串行區(qū)域技術(shù),二、區(qū)域分裂與合并 從整個(gè)圖像開始不斷分裂得到各個(gè)區(qū)域。實(shí)際中常常先把圖像分成任意大小且不重疊的區(qū)域，然后再合并或分裂這些區(qū)域以滿足要求。,8.2.2 串行區(qū)域技術(shù),確定均勻性準(zhǔn)則。例如以一個(gè)區(qū)對(duì)某種特征（如灰度

8、、彩色或紋理）的均勻性為準(zhǔn)則，通常用門限T來(lái)約束。 對(duì)滿足均勻性準(zhǔn)則的小區(qū)則合并，不滿足均勻性準(zhǔn)則的小區(qū)則采用四叉樹的方式將此區(qū)等分為四個(gè)小區(qū)。,8.2.2 串行區(qū)域技術(shù),8.2.2 串行區(qū)域技術(shù),8.2 圖像的分割,8.2.1、并行區(qū)域技術(shù)基于閾值的圖像分割技術(shù) 8.2.2、串行區(qū)域技術(shù) 8.2.3、并行邊界技術(shù)基于邊界的圖像分割,8.2.3 并行邊界技術(shù)基于邊界的圖像分割,邊緣檢測(cè)是所有基于邊界的分割方法的第一步。視覺系統(tǒng)對(duì)圖像的邊緣更敏感，而不是根據(jù)點(diǎn)的灰度區(qū)分出物體，人對(duì)邊界的識(shí)別機(jī)理也不是設(shè)置一個(gè)灰度門限T來(lái)分割物體的。 圖像增強(qiáng)討論了用梯度、拉普拉斯算子以及高通濾波增強(qiáng)圖像邊緣輪廓

9、的方法，實(shí)際上，對(duì)增強(qiáng)后的圖像邊緣輪廓進(jìn)行門限化處理，就可以用于邊緣檢測(cè)。,8.2.3 并行邊界技術(shù)基于邊界的圖像分割,一、梯度邊緣檢測(cè) 當(dāng)物體與背景有明顯對(duì)比度時(shí)，物體的邊界處于圖像梯度最高的點(diǎn)上，通過跟蹤圖像中具有最高梯度的點(diǎn)的方式獲得物體的邊界，可以實(shí)現(xiàn)圖像分割。這種方法容易受到噪聲的影響而偏離物體邊界，通常需要在跟蹤前對(duì)梯度圖像進(jìn)行平滑等處理，再采用邊界搜索跟蹤算法來(lái)實(shí)現(xiàn)。,8.2.3 并行邊界技術(shù)基于邊界的圖像分割,梯度圖像 閾值化梯度圖像,8.2.3 并行邊界技術(shù)基于邊界的圖像分割,二、邊界提取與輪廓跟蹤 為了獲得圖像的邊緣人們提出了多種邊緣檢測(cè)方法。在邊緣圖像的基礎(chǔ)上，需要通過平

10、滑等處理去除噪聲點(diǎn)、毛刺、空洞等不需要的部分，再通過細(xì)化、邊緣連接和跟蹤等方法獲得物體的輪廓邊界。 例：采用光柵跟蹤（順序跟蹤）的方法,8.2.3 并行邊界技術(shù)基于邊界的圖像分割,步驟： 1）先用高閾值Th（檢測(cè)閾值）檢出圖像軌跡曲線的初選點(diǎn)。 2）從第一行的初選點(diǎn)開始用較低閾值Tl（跟蹤閾值）對(duì)初選點(diǎn)的下三個(gè)點(diǎn)進(jìn)行判斷。在閾值范圍之內(nèi)的接收，反之去除。 3）對(duì)應(yīng)于某個(gè)檢出點(diǎn)，如果下一行無(wú)可接收的對(duì)象，則這條曲線跟蹤即可結(jié)束。,8.2.3 并行邊界技術(shù)基于邊界的圖像分割,步驟： 4）對(duì)應(yīng)于某個(gè)檢出點(diǎn)，如果下一行有多個(gè)可接收的對(duì)象，則這條曲線發(fā)生分支。跟蹤對(duì)各個(gè)分支同時(shí)進(jìn)行。 5）對(duì)于不在第一行

11、的其他初選出來(lái)的象素，從該點(diǎn)開始，重新使用跟蹤閾值進(jìn)行跟蹤，以檢出不是從第一行開始的其他曲線。,8.2.3 并行邊界技術(shù)基于邊界的圖像分割,原圖像 用閾值T7處理的結(jié)果,8.2.3 并行邊界技術(shù)基于邊界的圖像分割,用閾值T4處理的結(jié)果 用檢測(cè)閾值Th7和跟蹤閾值 Tl4處理的結(jié)果,8.2.3 并行邊界技術(shù)基于邊界的圖像分割,檢測(cè)與跟蹤時(shí)的準(zhǔn)則不一定是灰度，也可以是梯度等反映局部性質(zhì)的量。 光柵順序跟蹤跟光掃描方向有關(guān)，最好用其他方向再跟蹤一次，例如逆序向上，兩種方法綜合起來(lái)能得到更好的效果。 若邊緣和掃描方向平行時(shí)效果不好，最好在垂直方向跟蹤一次。,8.2.3 并行邊界技術(shù)基于邊界的圖像分割,

12、三、 HOUGH變換 HOUGH變換是利用圖像全局特性而將邊緣象素連接起來(lái)組成區(qū)域封閉邊界的一種方法。在預(yù)先知道區(qū)域形狀的情況下，用哈夫變換可以很方便的得到邊界曲線而將不連續(xù)的邊緣象素點(diǎn)連接起來(lái)。哈夫變換的主要優(yōu)點(diǎn)：受噪聲和曲線間斷的影響較小。利用哈夫變換可以檢測(cè)圖像中某些符合參數(shù)模型的主導(dǎo)特征，如直線、圓、橢圓等，可以通過對(duì)其參數(shù)進(jìn)行聚類的方法，抽取相應(yīng)的特征。適用于二值圖像。,8.2.3 并行邊界技術(shù)基于邊界的圖像分割,哈夫變換的基本思想是：點(diǎn)線對(duì)偶性。在圖像空間XY中，所有過點(diǎn)的直線滿足直線方程： p為斜率，q為截距 所以： 可以認(rèn)為該式是參數(shù)空間PQ中過點(diǎn)(p,q)的一條直線。,這條直

13、線上所有點(diǎn)的p，q相同,8.2.3 并行邊界技術(shù)基于邊界的圖像分割,顯然，XY空間中的共線的點(diǎn)對(duì)應(yīng)PQ空間中一組相交的線，這組線的交點(diǎn)就是p，q。反過來(lái)，在參數(shù)空間相交于同一個(gè)點(diǎn)的所有直線在圖像空間中都有共線的點(diǎn)與之對(duì)應(yīng)。這就是點(diǎn)線對(duì)偶性。哈夫變換就是根據(jù)這些關(guān)系把圖像空間中的檢測(cè)問題轉(zhuǎn)換到了參數(shù)空間中，通過在參數(shù)空間中進(jìn)行簡(jiǎn)單的累加統(tǒng)計(jì)完成檢測(cè)任務(wù)。,8.2.3 并行邊界技術(shù)基于邊界的圖像分割,具體實(shí)現(xiàn)時(shí)，考慮p、q的可能取值范圍，從大到小進(jìn)行累加。 1) 初始化A(p,q)=0 2) 對(duì)XY空間中的每一點(diǎn)，P取遍所有可能值 3）算出對(duì)應(yīng)的q，給A(p,q)單元加1 4）根據(jù)maxA(p,q

14、)，求出直線,8.2.3 并行邊界技術(shù)基于邊界的圖像分割,問題：p、q的取值較大時(shí)，計(jì)算量增加，可以采用極坐標(biāo)系形式。 直線在極坐標(biāo)系下具有如下的參數(shù)方程形式： 這條直線在極坐標(biāo)下表示為一個(gè)點(diǎn),8.2.3 并行邊界技術(shù)基于邊界的圖像分割,8.3 圖像的特征,圖像特征是圖像的重要屬性，它一般應(yīng)具備4個(gè)特點(diǎn)：可區(qū)分性、可靠性、獨(dú)立性、數(shù)量少 圖像的特征主要有： 1) 顏色（灰度）特征 2) 形狀特征 3) 紋理特征 4) 空間關(guān)系特征,8.4 圖像的描述,邊界描述 區(qū)域或閉合邊界的描述,8.4.1 圖像的邊界描述,一、像元之間的連通和鄰接（略） 二、距離（略）,8.4.1 圖像的邊界描述,三、周長(zhǎng)

15、和邊長(zhǎng)L 周長(zhǎng)的定義通常有3種： 1）把區(qū)域像元看為正方形，邊界只有水平和垂直兩種線，相當(dāng)于 像元小方格的四個(gè)邊的四鄰碼 2）把像元看做一個(gè)點(diǎn)，可用弧長(zhǎng)的8鄰碼計(jì)算 3）用邊界所占面積,8.4.1 圖像的邊界描述,方法1：L25d；d為小正方 形的邊長(zhǎng) 方法2： 方法3：18,其中為小正方 形的面積,8.4.1 圖像的邊界描述,四、邊界鏈碼 鏈碼是從物體邊界上的任意一個(gè)點(diǎn)（x, y）出發(fā)，而后只記錄下一個(gè)邊界點(diǎn)的方向碼，直至回到出發(fā)點(diǎn)為止的編碼序列。在采用邊界跟蹤方法獲取物體邊界輪廓時(shí)，可以直接得到邊界鏈碼。,8.4.1 圖像的邊界描述,8方向鏈碼,8.4.1 圖像的邊界描述,下面的圖像用鏈碼

16、表示為： 20206644 這個(gè)結(jié)果與起點(diǎn)有關(guān)，為 了避免這個(gè)問題，用循環(huán) 碼（歸一化）表示： 02066442 具體方法為：首尾相連循 環(huán)形成的自然數(shù)最小,8.4.1 圖像的邊界描述,圖像平移鏈碼不變，但旋轉(zhuǎn)時(shí)鏈碼會(huì)發(fā)生變化，為此可用差分碼表示 原鏈碼(4)20206644 原鏈碼(3)17175533 差分碼 66266060（模8、反向） 差分碼 66266060,1,1,3,3,7,5,5,7,8.4.1 圖像的邊界描述,五、線條的描述 若圖中相繼相鄰的點(diǎn)集能擬合與某些曲線函數(shù)，那么這些曲線函數(shù)的少量參數(shù)就可做為該點(diǎn)集的一種描述。 如：常用B樣條曲線來(lái)擬合，用于從邊界識(shí)別零件等場(chǎng)合。,

17、能用少量數(shù)據(jù)描述物體特征叫做描述子。 區(qū)域的描述子應(yīng)滿足四點(diǎn)要求： 1）能精確地描述特征 2）對(duì)大小變化不敏感 3）對(duì)描述的起點(diǎn)不敏感 4）對(duì)平移旋轉(zhuǎn)不敏感,8.4.1 圖像的邊界描述,8.4.1 圖像的邊界描述,六、傅立葉描述子 從任一點(diǎn)開始的一個(gè)N點(diǎn)的閉合邊界序列（xk,yk）(k=0,N)可以認(rèn)為是一個(gè)周期為N的周期函數(shù)，把 它放到復(fù)平面上， 就形成了一個(gè)1維 的復(fù)數(shù)序列uk+jvk,8.4.1 圖像的邊界描述,對(duì)這個(gè)復(fù)數(shù)序列 進(jìn)行傅立葉變換,8.4.1 圖像的邊界描述,我們只利用s(w)的前M個(gè)系數(shù)，其余系數(shù)置0，反變換就得到s(k)的一個(gè)近似 傅立葉變換的低頻信息對(duì)應(yīng)總體形狀而高頻信

18、息對(duì)應(yīng)一些細(xì)節(jié)，這樣我們可用對(duì)應(yīng)低頻分量的傅立葉系數(shù)（個(gè)數(shù)M遠(yuǎn)N）來(lái)近似描述邊界的形狀。（P231圖）,8.4.2 區(qū)域的描述,一、矩描述子 對(duì)數(shù)字圖像f(x,y)，如果它分段連續(xù)且在XY平面上只有有限個(gè)點(diǎn)不為零，可證明其各階矩存在，f(x,y)的pq階矩定義為：,8.4.2 區(qū)域的描述,可以證明f(x,y)與mpq是一一對(duì)應(yīng)的。 區(qū)域的矩是用所有區(qū)域的點(diǎn)計(jì)算出來(lái)的，抗干擾性能較好。 f(x,y)的pq階中心矩定義為： 其中：,8.4.2 區(qū)域的描述,三階以下的中心矩：u00、u01 u10、u11 、u20、u02、u30、u12、 u21、 u03 f(x,y)的歸一化中心矩可表示為： 其

19、中,8.4.2 區(qū)域的描述,可以導(dǎo)出具有平移、旋轉(zhuǎn)和尺度變換不變性的7個(gè)不變矩： P241圖,8.4.2 區(qū)域的描述,二、區(qū)域面積 通常面積的計(jì)算可以直接對(duì)分割出的物體內(nèi)像元計(jì)數(shù)即可。 從閉合邊界來(lái)計(jì)算面積有類似計(jì)算周長(zhǎng)的4連通和8連通的問題 用不同方法描述的邊界計(jì)算面積時(shí)有很大差異。,8.4.2 區(qū)域的描述,A31（每一小塊面積認(rèn)為是1）,8.4.2 區(qū)域的描述,第一層有1個(gè)白小塊(標(biāo)記為1的)，面積4m-1=43-1=16 第二層有2個(gè)白小塊，面積24m-2=243-2=8 第三層有11個(gè)白小塊，面積114m-3=1143-3=11 總面積1681135,用四叉樹描述區(qū)域時(shí)，只需將葉節(jié)點(diǎn)的

20、面積相加即可。 葉節(jié)點(diǎn)面積為4ml，l為葉節(jié)點(diǎn)所在層數(shù)，m為圖像層數(shù)，N2m,8.4.2 區(qū)域的描述,三、區(qū)域重心 重心是一種全局描述符，區(qū)域重心的坐標(biāo)是根據(jù)所有屬于區(qū)域的點(diǎn)計(jì)算出來(lái)的。 在區(qū)域本身尺寸與各區(qū)域間的距離相對(duì)很小時(shí)，可將區(qū)域用其重心坐標(biāo)的質(zhì)點(diǎn)來(lái)代替,8.4.2 區(qū)域的描述,四、區(qū)域的拓?fù)浣Y(jié)構(gòu) 拓?fù)鋵W(xué)是研究圖形不受畸變變形影響性質(zhì)的。 歐拉數(shù)EC（連通組元個(gè)數(shù)）H（孔） E=1-2=-1 E=1-1=0,B,A,8.4.2 區(qū)域的描述,五、區(qū)域的紋理 紋理是物體表面結(jié)構(gòu)的模式，如木材、水泥、沙子、玻璃等等，對(duì)圖像分析和理解十分重要。 紋理可以看做許多基本紋理小單元的重復(fù)，這些小單元可稱作紋理元，紋理元常包含多個(gè)象素。 常用的紋理描