視覺底層處理課件

7.2視覺的底層處理2010-5-57.2視覺的底層處理視覺的底層處理本節(jié)主要內(nèi)容7.2.1基于局部邊緣檢測的分割算法7.2.2基于區(qū)域的分割7.2.3特征的提取與匹配視覺的底層處理本節(jié)主要內(nèi)容7.2.1基于局部邊緣檢測的分割視覺的底層處理視覺系統(tǒng)的底層（LowLevel）處理是如何提取三維物體的初始簡圖，它是視覺系統(tǒng)中高層（HighLevel）處理的基礎(chǔ)和能否完成計算機(jī)視覺理解的關(guān)鍵。

低層處理通常利用分割算法來實現(xiàn)，其中有兩種算法：

1）基于局部邊緣的檢測分割算法

2）基于區(qū)域的分割算法

視覺的底層處理視覺系統(tǒng)的底層（Low7.2.1基于局部邊緣檢測的分割算法

物體的邊界總是以圖像灰度的突變形式出現(xiàn)的。視覺系統(tǒng)的實驗表明，圖像中的邊界是識別一個物體最敏感的要素，因而啟示人們能否利用邊界輪廓來表示物體，同時設(shè)計各種不同的算法，直接從圖像灰度值找到物體的邊界。當(dāng)物體具有較低的信噪比或邊界有復(fù)雜的形狀時，難以實現(xiàn)。7.2.1基于局部邊緣檢測的分割算法物7.2.1基于局部邊緣檢測的分割算法改進(jìn)：把圖像變?yōu)橛芯植炕叶韧蛔兊男问?，然后把這些邊緣復(fù)合成較精細(xì)的邊界。常用的邊緣檢測算子是梯度算子（如LaplaceSobel算子），利用梯度算子檢測理想邊緣輪廓的實驗結(jié)果如圖7.2所示。

圖7.2理想邊緣輪廓7.2.1基于局部邊緣檢測的分割算法改進(jìn)：7.2.1基于局部邊緣檢測的分割算法梯度算子

對于一個灰度圖像f(x,y),在每一個像素上的梯度可表示為E（x,y）=（Ex2(x,y)+Ey2(x,y)）1/2

梯度方向用表示。梯度算子的簡

化式為或者E（x,y）=max(|Ex|,|Ey|).

若采用3*3Sobel算子，如圖7.3所示，Ex,Ey為x,y方向的偏導(dǎo)，表示如下：

Ex=(A2+2A3+A4)-(A0+2A7+A8)Ey=(A0+2A1+A2)-(A0+2A5+A4)

7.2.1基于局部邊緣檢測的分割算法梯度算子7.2.1基于局部邊緣檢測的分割算法Laplace邊緣檢測算子數(shù)學(xué)表達(dá)式為

的近似形式。離散Laplace算子形式為圖7.3圖像的3*3領(lǐng)域7.2.1基于局部邊緣檢測的分割算法Laplace邊緣檢測算7.2.1基于局部邊緣檢測的分割算法實驗表明，該算子對線段噪聲更敏感。

自然景物中包含不同大小的物體，需選取不同濾波器使邊緣檢測能多尺度的提取物體邊緣目的。因此提出一種多分辨率的邊緣檢測算法。

Marr等人先用高斯函數(shù)對圖像進(jìn)行平滑，然后采用Laplace函數(shù)根據(jù)二階導(dǎo)數(shù)過零點來檢測圖像邊緣，且可通過連續(xù)改變的方法，得到一系列由粗到細(xì)的邊緣。具體算法如下：首先對圖像采用高斯函數(shù)卷積濾波，濾波的結(jié)果去除了原圖噪聲點和小尺寸的細(xì)節(jié)，使得檢測到的邊緣更可靠。邊緣點就是二階導(dǎo)數(shù)的過零點。

7.2.1基于局部邊緣檢測的分割算法實7.2.1基于局部邊緣檢測的分割算法

其中高斯濾波函數(shù)為▽2代表Laplace運算，*代表卷積運算。把上面兩個運算化為一個運算，通常以Log函數(shù)與原圖像相卷積來完成。上式的對數(shù)形式表示為7.2.1基于局部邊緣檢測的分割算法其中高斯7.2.1基于局部邊緣檢測的分割算法它在二維坐標(biāo)系中的圖形如圖7.4所示.

應(yīng)用不同的，采用過零技術(shù)，做多尺度的邊緣檢測如圖7.5所示。在該圖中，水平軸X，垂直軸，顯然在增大時，被檢測的邊緣減少，在某種分辨率下，一定尺度的邊緣可被檢測出來。在較小時，圖中包括了較多的“細(xì)”節(jié)；反之在較大時，圖中的細(xì)節(jié)則要“粗”的多。

如何將“粗”“細(xì)”情節(jié)組合成單一形式，則還是一個感興趣的問題。7.4高斯濾波圖7.5多尺度的邊緣檢測7.2.1基于局部邊緣檢測的分割算法它在二維坐標(biāo)系中的圖形如7.2.2基于區(qū)域的分割

上節(jié)討論了線特征的邊界分割法，本節(jié)將介紹兩種區(qū)域分割的方法：閾值區(qū)域分割法和分裂與合并。

1、閾值區(qū)域分割法對于一個包含物體和背景的圖像，通常選取一個閾值將物體從背景中區(qū)分出來。如果圖像有幾個不同的目標(biāo)區(qū)域，則每個區(qū)域都有自己的灰度特征，在這種情景下，灰度圖像的直方圖有幾個峰值，每個峰值相應(yīng)一個或者幾個區(qū)域，單閾值分割法將不能準(zhǔn)確的從灰度圖像中分割出不同的區(qū)域目標(biāo)。為了克服上述缺點，可先對圖像進(jìn)行高通濾波以去掉低頻的背景變化，再使用原先的閾值法和空間可變的閾值法。7.2.2基于區(qū)域的分割上節(jié)討論了7.2.2基于區(qū)域的分割

2、分裂與合并利用灰度特征分割圖像時，噪聲可形成偽邊緣，甚至形成假目標(biāo)。而采用分裂和合并的方法，可以將屬于不同物體的目標(biāo)分開，而把同一物體的目標(biāo)合并。在分裂和合并過程中，可以采用如下啟發(fā)信息：合并相鄰的具有同類屬性的區(qū)域。去除疑義邊界利用區(qū)域之間的拓?fù)涮卣麝P(guān)系利用景物中的形狀信息利用景物中的語義信息7.2.2基于區(qū)域的分割2、分裂與合并7.2.2基于區(qū)域的分割分裂合并算法過程：分裂過程：假如一個區(qū)域的屬性不一致，應(yīng)當(dāng)將這個區(qū)域加以分裂。有兩個問題需要注意：一、如何判斷一個區(qū)域?qū)傩圆灰恢拢慷?、如何將這兩個區(qū)域分裂開？對于前者，可利用灰度方差和最優(yōu)函數(shù)誤差技術(shù)來判斷同一區(qū)域?qū)傩允欠褚恢?；對于后者，人們采用?guī)則分類算法（四叉樹算法）。目前的許多合并算法判斷兩個區(qū)域具有同一屬性，它們都是基于區(qū)域灰度特征和區(qū)域邊界特征進(jìn)行的合并。通常的合并方法有如下兩種：7.2.2基于區(qū)域的分割分裂合并算法過程：7.2.2基于區(qū)域的分割（1）比較他們的灰度平均值，假若兩區(qū)域灰度平均值低于閾值，可考慮將兩區(qū)域合并。（2）假如灰度值服從概率分布，根據(jù)兩個相鄰區(qū)域灰度是否具有同一概率分布來判斷兩相鄰區(qū)域是否合并。例如，有兩個相鄰區(qū)域R1和R2，他們的像素點數(shù)分別為m1,m2,假設(shè)

有兩個區(qū)域?qū)儆谕晃矬w，他們的灰度分布屬于高斯分布。兩個區(qū)域?qū)儆诓煌矬w，每個區(qū)域的灰度分布為高斯分布，分別為。7.2.2基于區(qū)域的分割（1）比較他們的灰度7.2.2基于區(qū)域的分割為了判斷兩類相鄰區(qū)域可否合并，定義合并系數(shù)

L=兩個目標(biāo)區(qū)域概率/同一目標(biāo)區(qū)域概率=P1*P2/P

=若L低于某個閾值，則可合并這兩個區(qū)域為一個目標(biāo)區(qū)域。7.2.2基于區(qū)域的分割為了判斷兩類相鄰區(qū)域可否合并，定7.2.3特征提取與匹配

特征提取與匹配是視覺底層處理中的一項極為基本和重要的技術(shù)。

1、特征提取

特征提取是基于形狀的邊界或區(qū)域的表示和描述。表示方式是鏈碼，采用鏈碼表示的方式較簡易可行。最常用的是如圖7.6所示的Freeman碼，其次是多邊形的分段逼近表示，它采用的算法是把原輪廓分割成幾個線段來表示。分段逼近算法可以是基于段合并與段分裂的相結(jié)合。段合并首先把輪廓分成足夠小的段，然后遞歸的為這些段應(yīng)用合并策略，構(gòu)造較大的段，直到進(jìn)一步的合并將產(chǎn)生合并程度不好的段為止。

7.2.3特征提取與匹配特征提7.2.3特征提取與匹配（a）四一方向連通（b）八一方向連通（c)(d)分別為邊界輪廓圖（e）四一鏈碼圖（f）八一鏈碼圖7.2.3特征提取與匹配（a）四一方向連通（b）八一方向7.2.3特征提取與匹配合并策略可以是順序的，在這種情況下，單一的初始段作為一個段的“種子”，只要擬合程度滿足要求，鄰近段就可以加進(jìn)去。段分裂開始時，先把一條曲線同整個輪廓擬合，如該擬合程度足夠好，則算法終止，否則曲線分裂成段，擬合及測試過程遞歸應(yīng)用于各段。

邊界描述也是物體特征提取的基礎(chǔ)，常用的是Fourier描述方法，他利用Fourier級數(shù)表示區(qū)域邊界。這類基于頻域的描述方法，包含的系數(shù)越多，形狀特征的精確性也就越高。7.2.3特征提取與匹配合并策略可以7.2.3特征提取與匹配

Fourier描述方法對于一般形狀的物體，僅僅取邊界曲線Fourier展開式中幾個低階系數(shù)，就可以獲得較好的描述。形狀和邊界描述，對于物體識別起著特別重要的作用。一般來說，特征可分為形狀特征，如角點；參考特征，如矩特征。角點、曲線拐點等特征點是非常重要的特征，The和Chin分析和比較了幾個特征檢測算法，發(fā)現(xiàn)基于高曲率處關(guān)鍵點檢測算法對于平緩過渡的拐點就不能檢測出來（如圓弧與直線的相切點）。為此，這里介紹一種自適應(yīng)檢測關(guān)鍵特征點方法。如圖7.7所示。7.2.3特征提取與匹配Fouri7.2.3特征提取與匹配圖7.7關(guān)鍵特征點提取過程（a）邊界輪廓圖（b）曲率信號圖（c）曲率信號濾波結(jié)果（d）特征點提取7.2.3特征提取與匹配7.2.3特征提取與匹配其中圖（a）是圖（b）的曲率信號圖。顯然，基于該曲率的信號變化提取關(guān)鍵特征點是較困難的，有必要先對該曲率進(jìn)行濾波，濾除噪聲信號，然后根據(jù)曲率信號的峰和谷，過零檢測相應(yīng)特征點。

下面是曲率信號的濾波過程：假設(shè)I0（s）為濾波平滑前曲率信號，It（s）為曲率信號經(jīng)t次迭代濾波的輸出信號，其定義為：

其中C（s+i）為相應(yīng)I（s+i）變化的權(quán)系數(shù)，在區(qū)域邊界點C（s+i）接近0，在區(qū)域內(nèi)部C（s+i)為1，若屬于不同區(qū)域的兩點只能取平均。然而區(qū)域的邊界并不確定，根據(jù)鄰近曲率的估計，C（s）可用下式表示：

7.2.3特征提取與匹配其中圖（a）7.2.3特征提取與匹配7.2.3特征提取與匹配7.2.3特征提取與匹配2、匹配

7.2.3特征提取與匹配2、匹配7.2.3特征提取與匹配7.2.3特征提取與匹配7.2.3特征提取與匹配7.2.3特征提取與匹配7.2.3特征提取與匹配7.2.3特征提取與匹配7.2.3特征提取與匹配7.2.3特征提取與匹配7.2視覺的底層處理2010-5-57.2視覺的底層處理視覺的底層處理本節(jié)主要內(nèi)容7.2.1基于局部邊緣檢測的分割算法7.2.2基于區(qū)域的分割7.2.3特征的提取與匹配視覺的底層處理本節(jié)主要內(nèi)容7.2.1基于局部邊緣檢測的分割視覺的底層處理視覺系統(tǒng)的底層（LowLevel）處理是如何提取三維物體的初始簡圖，它是視覺系統(tǒng)中高層（HighLevel）處理的基礎(chǔ)和能否完成計算機(jī)視覺理解的關(guān)鍵。

低層處理通常利用分割算法來實現(xiàn)，其中有兩種算法：

1）基于局部邊緣的檢測分割算法

2）基于區(qū)域的分割算法

視覺的底層處理視覺系統(tǒng)的底層（Low7.2.1基于局部邊緣檢測的分割算法

物體的邊界總是以圖像灰度的突變形式出現(xiàn)的。視覺系統(tǒng)的實驗表明，圖像中的邊界是識別一個物體最敏感的要素，因而啟示人們能否利用邊界輪廓來表示物體，同時設(shè)計各種不同的算法，直接從圖像灰度值找到物體的邊界。當(dāng)物體具有較低的信噪比或邊界有復(fù)雜的形狀時，難以實現(xiàn)。7.2.1基于局部邊緣檢測的分割算法物7.2.1基于局部邊緣檢測的分割算法改進(jìn)：把圖像變?yōu)橛芯植炕叶韧蛔兊男问?，然后把這些邊緣復(fù)合成較精細(xì)的邊界。常用的邊緣檢測算子是梯度算子（如LaplaceSobel算子），利用梯度算子檢測理想邊緣輪廓的實驗結(jié)果如圖7.2所示。

圖7.2理想邊緣輪廓7.2.1基于局部邊緣檢測的分割算法改進(jìn)：7.2.1基于局部邊緣檢測的分割算法梯度算子

對于一個灰度圖像f(x,y),在每一個像素上的梯度可表示為E（x,y）=（Ex2(x,y)+Ey2(x,y)）1/2

梯度方向用表示。梯度算子的簡

化式為或者E（x,y）=max(|Ex|,|Ey|).

若采用3*3Sobel算子，如圖7.3所示，Ex,Ey為x,y方向的偏導(dǎo)，表示如下：

Ex=(A2+2A3+A4)-(A0+2A7+A8)Ey=(A0+2A1+A2)-(A0+2A5+A4)

7.2.1基于局部邊緣檢測的分割算法梯度算子7.2.1基于局部邊緣檢測的分割算法Laplace邊緣檢測算子數(shù)學(xué)表達(dá)式為

的近似形式。離散Laplace算子形式為圖7.3圖像的3*3領(lǐng)域7.2.1基于局部邊緣檢測的分割算法Laplace邊緣檢測算7.2.1基于局部邊緣檢測的分割算法實驗表明，該算子對線段噪聲更敏感。

自然景物中包含不同大小的物體，需選取不同濾波器使邊緣檢測能多尺度的提取物體邊緣目的。因此提出一種多分辨率的邊緣檢測算法。

Marr等人先用高斯函數(shù)對圖像進(jìn)行平滑，然后采用Laplace函數(shù)根據(jù)二階導(dǎo)數(shù)過零點來檢測圖像邊緣，且可通過連續(xù)改變的方法，得到一系列由粗到細(xì)的邊緣。具體算法如下：首先對圖像采用高斯函數(shù)卷積濾波，濾波的結(jié)果去除了原圖噪聲點和小尺寸的細(xì)節(jié)，使得檢測到的邊緣更可靠。邊緣點就是二階導(dǎo)數(shù)的過零點。

7.2.1基于局部邊緣檢測的分割算法實7.2.1基于局部邊緣檢測的分割算法

其中高斯濾波函數(shù)為▽2代表Laplace運算，*代表卷積運算。把上面兩個運算化為一個運算，通常以Log函數(shù)與原圖像相卷積來完成。上式的對數(shù)形式表示為7.2.1基于局部邊緣檢測的分割算法其中高斯7.2.1基于局部邊緣檢測的分割算法它在二維坐標(biāo)系中的圖形如圖7.4所示.

應(yīng)用不同的，采用過零技術(shù)，做多尺度的邊緣檢測如圖7.5所示。在該圖中，水平軸X，垂直軸，顯然在增大時，被檢測的邊緣減少，在某種分辨率下，一定尺度的邊緣可被檢測出來。在較小時，圖中包括了較多的“細(xì)”節(jié)；反之在較大時，圖中的細(xì)節(jié)則要“粗”的多。

如何將“粗”“細(xì)”情節(jié)組合成單一形式，則還是一個感興趣的問題。7.4高斯濾波圖7.5多尺度的邊緣檢測7.2.1基于局部邊緣檢測的分割算法它在二維坐標(biāo)系中的圖形如7.2.2基于區(qū)域的分割

上節(jié)討論了線特征的邊界分割法，本節(jié)將介紹兩種區(qū)域分割的方法：閾值區(qū)域分割法和分裂與合并。

1、閾值區(qū)域分割法對于一個包含物體和背景的圖像，通常選取一個閾值將物體從背景中區(qū)分出來。如果圖像有幾個不同的目標(biāo)區(qū)域，則每個區(qū)域都有自己的灰度特征，在這種情景下，灰度圖像的直方圖有幾個峰值，每個峰值相應(yīng)一個或者幾個區(qū)域，單閾值分割法將不能準(zhǔn)確的從灰度圖像中分割出不同的區(qū)域目標(biāo)。為了克服上述缺點，可先對圖像進(jìn)行高通濾波以去掉低頻的背景變化，再使用原先的閾值法和空間可變的閾值法。7.2.2基于區(qū)域的分割上節(jié)討論了7.2.2基于區(qū)域的分割

2、分裂與合并利用灰度特征分割圖像時，噪聲可形成偽邊緣，甚至形成假目標(biāo)。而采用分裂和合并的方法，可以將屬于不同物體的目標(biāo)分開，而把同一物體的目標(biāo)合并。在分裂和合并過程中，可以采用如下啟發(fā)信息：合并相鄰的具有同類屬性的區(qū)域。去除疑義邊界利用區(qū)域之間的拓?fù)涮卣麝P(guān)系利用景物中的形狀信息利用景物中的語義信息7.2.2基于區(qū)域的分割2、分裂與合并7.2.2基于區(qū)域的分割分裂合并算法過程：分裂過程：假如一個區(qū)域的屬性不一致，應(yīng)當(dāng)將這個區(qū)域加以分裂。有兩個問題需要注意：一、如何判斷一個區(qū)域?qū)傩圆灰恢拢慷?、如何將這兩個區(qū)域分裂開？對于前者，可利用灰度方差和最優(yōu)函數(shù)誤差技術(shù)來判斷同一區(qū)域?qū)傩允欠褚恢?；對于后者，人們采用?guī)則分類算法（四叉樹算法）。目前的許多合并算法判斷兩個區(qū)域具有同一屬性，它們都是基于區(qū)域灰度特征和區(qū)域邊界特征進(jìn)行的合并。通常的合并方法有如下兩種：7.2.2基于區(qū)域的分割分裂合并算法過程：7.2.2基于區(qū)域的分割（1）比較他們的灰度平均值，假若兩區(qū)域灰度平均值低于閾值，可考慮將兩區(qū)域合并。（2）假如灰度值服從概率分布，根據(jù)兩個相鄰區(qū)域灰度是否具有同一概率分布來判斷兩相鄰區(qū)域是否合并。例如，有兩個相鄰區(qū)域R1和R2，他們的像素點數(shù)分別為m1,m2,假設(shè)

有兩個區(qū)域?qū)儆谕晃矬w，他們的灰度分布屬于高斯分布。兩個區(qū)域?qū)儆诓煌矬w，每個區(qū)域的灰度分布為高斯分布，分別為。7.2.2基于區(qū)域的分割（1）比較他們的灰度7.2.2基于區(qū)域的分割為了判斷兩類相鄰區(qū)域可否合并，定義合并系數(shù)

L=兩個目標(biāo)區(qū)域概率/同一目標(biāo)區(qū)域概率=P1*P2/P

=若L低于某個閾值，則可合并這兩個區(qū)域為一個目標(biāo)區(qū)域。7.2.2基于區(qū)域的分割為了判斷兩類相鄰區(qū)域可否合并，定7.2.3特征提取與匹配

特征提取與匹配是視覺底層處理中的一項極為基本和重要的技術(shù)。

1、特征提取

特征提取是基于形狀的邊界或區(qū)域的表示和描述。表示方式是鏈碼，采用鏈碼表示的方式較簡易可行。最常用的是如圖7.6所示的Freeman碼，其次是多邊形的分段逼近表示，它采用的算法是把原輪廓分割成幾個線段來表示。分段逼近算法可以是基于段合并與段分裂的相結(jié)合。段合并首先把輪廓分成足夠小的段，然后遞歸的為這些段應(yīng)用合并策略，構(gòu)造較大的段，直到進(jìn)一步的合并將產(chǎn)生合并程度不好的段為止。

7.2.3特征提取與匹配特征提7.2.3特征提取與匹配（a）四一方向連通（b）八一方向連通（c)(d)分別為邊界輪廓圖（e）四一鏈碼圖（f）八一鏈碼圖7.2.3特征提取與匹配（a）四一方向連通（b）八一方向7.2.3特征提取與匹配合并策略可以是順序的，在這種情況下，單一的初始段作為一個段的“種子”，只要擬合程度滿足要求，鄰近段就可以加進(jìn)去。段分裂開始時，先把一條曲線同整個輪廓擬合，如該擬合程度足夠好，則算法終止，否則曲線分裂成段，擬合及測試過程遞歸應(yīng)用于各段。

邊界描述也是物體特征提取的基礎(chǔ)，常用的是Fourier描述方法，他利用Fourier級數(shù)表示區(qū)域邊界。這類基于頻域的描述方法，包含的系數(shù)越多，形狀特征的精確性也就越高。7.2.3特征提取與匹配合并策略