第十章 圖像分割

數(shù)字圖像處理

DigitalImageProcessing電子科技大學(xué)中山學(xué)院計(jì)算機(jī)工程系鄒昆Email：cszoukun@第十章圖像分割1概覽圖像分割與前面章節(jié)介紹的圖像處理方法不同：輸入和輸出均為圖像輸入為圖像輸出為屬性“圖像處理”“圖像分析”2概覽圖像分割是指將一幅圖像分解為若干互不交疊的、有意義的的區(qū)域。分割到什么程度取決于具體要解決的問題，目標(biāo)是把感興趣的物體分離出來。 例如：流量統(tǒng)計(jì)和車牌識(shí)別中的分割 電子元件裝配的自動(dòng)檢測(cè)3圖像圖像識(shí)別圖像預(yù)處理圖像理解圖像分割在整個(gè)圖像處理過程中的作用

圖像分割圖像分割是圖像識(shí)別和圖像理解的基本前提步驟，圖像分割質(zhì)量的好壞直接影響后續(xù)圖像處理的效果。概覽圖像分割的作用4概覽在實(shí)際應(yīng)用中如何提高分割的健壯性？成像環(huán)境控制。 如在工業(yè)檢測(cè)應(yīng)用中傳感器選擇：選擇的傳感器類型能夠增強(qiáng)感興趣的目標(biāo)而減少無關(guān)圖像細(xì)節(jié)的影響。 如軍事應(yīng)用中的紅外成像。5概覽圖像分割算法一般是基于灰度值的兩個(gè)基本特性之一:不連續(xù)性和相似性。第一類方法：

基于灰度的不連續(xù)變化(如圖像邊緣)分割圖像。第二類方法：

依據(jù)事先制定的準(zhǔn)則將圖像分割為相似的區(qū)域。如門限(閾值)處理、區(qū)域生長(zhǎng)、區(qū)域分離和聚合都屬于這類方法。6概覽本章內(nèi)容結(jié)構(gòu)：灰度間斷檢測(cè)(重點(diǎn)邊緣檢測(cè))閾值分割區(qū)域分割形態(tài)學(xué)分割(分水嶺分割)(不講)運(yùn)動(dòng)在分割中的應(yīng)用710.1間斷檢測(cè)間斷檢測(cè)的通用方法：使用一個(gè)模板對(duì)整幅圖像進(jìn)行檢測(cè)。1個(gè)3×3的模板8點(diǎn)檢測(cè)孤立點(diǎn)的檢測(cè)使用右圖模板,若則在模板中心的位置已經(jīng)檢測(cè)到一個(gè)孤立點(diǎn).T為非負(fù)門限一個(gè)孤立點(diǎn)與它周圍的點(diǎn)很不同,因而很容易被這類模板檢測(cè)到.圖10.2點(diǎn)檢測(cè)模板9點(diǎn)檢測(cè)T取(c)中像素絕對(duì)值最高值的90%.例10.1圖像中孤立點(diǎn)的檢測(cè)僅適合于檢測(cè)均一背景上的單像素灰度間斷10線檢測(cè)圖10.3線檢測(cè)模板垂直水平第1個(gè)模板對(duì)水平方向(一個(gè)像素寬度)的線條有很強(qiáng)的響應(yīng).第2個(gè)模板對(duì)+45度方向線有最強(qiáng)響應(yīng).第3個(gè)模板對(duì)垂直方向線有最強(qiáng)響應(yīng).第4個(gè)模板對(duì)-45度方向線有最強(qiáng)響應(yīng).11線檢測(cè)若要檢測(cè)特定方向上的線,應(yīng)使用與這一方向有關(guān)的模板,并設(shè)置該模板的輸出門限.令R1,R2,R3,R4分別表示圖10.3中模板的響應(yīng),如果|Ri|>|Rj|,則此點(diǎn)被認(rèn)為與在模板i方向上的線更相關(guān).12線檢測(cè)例10.2：特定方向上的線檢測(cè)13當(dāng)人看一個(gè)有邊緣的物體時(shí),首先感覺到的便是邊緣.在邊緣處，灰度和結(jié)構(gòu)等信息的產(chǎn)生突變.邊緣是一個(gè)區(qū)域的結(jié)束,也是另一個(gè)區(qū)域的開始,利用該特征可以分割圖像.由于圖像數(shù)據(jù)是二維的,而實(shí)際物體是三維的,從三維到二維的投影必然會(huì)造成信息的丟失,再加上成像過程中光照的不均和噪聲等因素的影響,使得有邊緣的地方不一定能被檢測(cè)出來,而檢測(cè)出來的邊緣也不一定代表實(shí)際邊緣.圖像的邊緣有方向和幅度兩個(gè)屬性,沿邊緣方向像素變化平緩,垂直于邊緣方向像素變化劇烈.邊緣上的這種變化可以用微分算子檢測(cè)出來,通常用一階或二階導(dǎo)數(shù)來檢測(cè)邊緣.邊緣檢測(cè)14相對(duì)與點(diǎn)檢測(cè)和線檢測(cè)，邊緣檢測(cè)是更常用更通用的灰度級(jí)間斷檢測(cè)方法。兩類邊緣檢測(cè)方法：一階數(shù)字導(dǎo)數(shù)——梯度算子二階數(shù)字導(dǎo)數(shù)——拉普拉斯算子重點(diǎn)講述這二者在邊緣檢測(cè)中的特性。邊緣檢測(cè)15邊緣檢測(cè)斜坡數(shù)字邊緣模型理想數(shù)字邊緣模型水平線通過圖像的灰度剖面圖水平線通過圖像的灰度剖面圖斜坡長(zhǎng)度與邊緣的模糊程度成正比.16邊緣檢測(cè)灰度剖面圖一階導(dǎo)數(shù)二階導(dǎo)數(shù)一階導(dǎo)數(shù)可以用于檢測(cè)圖像中的一個(gè)點(diǎn)是否在斜坡上.二階導(dǎo)數(shù)的符號(hào)可以用于判斷一個(gè)邊緣像素是在邊緣亮的一邊還是暗的一邊.(1)對(duì)圖像中的每條邊緣二階導(dǎo)數(shù)生成兩個(gè)值(2)一條連接二階導(dǎo)數(shù)正極值和負(fù)極值的虛構(gòu)直線將在邊緣中點(diǎn)附近穿過零點(diǎn).據(jù)此可以用于確定粗邊線的中心.17邊緣點(diǎn)的確定：使用一階導(dǎo)數(shù)(梯度算子)：在該點(diǎn)處的二維一階導(dǎo)數(shù)比背景點(diǎn)的一階導(dǎo)數(shù)大的多。使用二階導(dǎo)數(shù)(拉普拉斯算子)：由正、負(fù)兩個(gè)極值的零交叉點(diǎn)確定。何為足夠大？——通過設(shè)定閾值邊緣點(diǎn)構(gòu)成的連通集構(gòu)成邊緣片段。圖像分割還有一個(gè)關(guān)鍵步驟是將邊緣片段連接起來構(gòu)成區(qū)域的邊界。邊緣檢測(cè)18

噪聲對(duì)邊緣檢測(cè)的影響一階導(dǎo)和二階導(dǎo)都對(duì)噪聲敏感，二階導(dǎo)要更為敏感一些。因此，對(duì)于存在噪聲的圖像，在進(jìn)行邊緣檢測(cè)之前需要進(jìn)行降噪19梯度算子梯度算子是基于一階導(dǎo)數(shù)的邊緣檢測(cè)算子。在這里將介紹Roberts算子、Sobel算子、Prewitt算子等.通過2×2或者3×3的模板與圖像中做卷積運(yùn)算,然后選取合適的閾值以提取邊緣.梯度算子20圖像f(x,y)中(x,y)處的梯度：

幅值

方向角

梯度方向與該點(diǎn)處的邊緣方向相垂直梯度算子21梯度算子

數(shù)字圖像處理中用差分代替微分

近似計(jì)算22梯度算子Roberts算子Z1Z2Z3Z4Z5Z6Z7Z8Z9-10010-11023梯度算子Prewitt算子Z1Z2Z3Z4Z5Z6Z7Z8Z9-1-1-1000111-101-101-10124梯度算子Sobel算子Z1Z2Z3Z4Z5Z6Z7Z8Z9-1-2-1000121-101-202-10125梯度算子011-101-1-10-1-10-101011012-101-2-10-2-10-101012PrewittSobel用于檢測(cè)對(duì)角邊緣的Prewitt算子和Sobel算子26梯度算子處理效果演示梯度算子墻面的紋理也可見，這通常是不希望的27對(duì)原圖先用5×5的均值濾波進(jìn)行平滑后的處理結(jié)果梯度算子墻面紋理消失，主邊緣得到保留。所有邊緣的響應(yīng)幅度變?nèi)酢?8使用對(duì)角Sobel模版處理的結(jié)果水平邊緣也可見，但強(qiáng)度相對(duì)較弱梯度算子29拉普拉斯算子差分微分二階導(dǎo)數(shù)算子30拉普拉斯算子

兩種常用的拉普拉斯算子模板0101-410101111-8111131拉普拉斯算子

拉普拉斯算子一般不直接用于邊緣檢測(cè),這是因?yàn)椋?1)作為一個(gè)二階導(dǎo)數(shù),拉普拉斯算子對(duì)噪聲具有無法接受的敏感性;(2)拉普拉斯算子的幅值產(chǎn)生雙邊緣,這將使分割復(fù)雜化，是不希望 的;(3)拉普拉斯算子不能檢測(cè)邊緣的方向.拉普拉斯算子在分割中所起的作用包括:(1)利用它的零交叉的性質(zhì)進(jìn)行邊緣定位;(2)確定一個(gè)像素是在邊緣暗的一邊還是亮的一邊.

32高斯－拉普拉斯算子

考慮函數(shù):h的拉普拉斯算子(h關(guān)于r的二階導(dǎo)數(shù)):高斯型的拉普拉斯算子(LoG)模糊圖像使用LoG相當(dāng)于先對(duì)圖像進(jìn)行平滑濾波,然后再應(yīng)用拉普拉斯算子.33拉普拉斯算子

高斯型拉普拉斯算子三維曲線圖像橫截面5×5的模板34拉普拉斯算子

35算子總結(jié)

Roberts算子：Roberts算子利用局部差分算子尋找邊緣，邊緣定位精度較高，由于圖像沒經(jīng)過平滑處理，因此不具備抑制噪聲的能力。該算子對(duì)具有陡峭邊緣且含噪聲少的圖像效果較好。

Sobel算子和Prewitt算子：都是對(duì)圖像先做加權(quán)平滑處理，然后再做微分運(yùn)算，所不同的是平滑部分的權(quán)值有些差異，因此對(duì)噪聲具有一定的抑制能力，但不能完全排除檢測(cè)結(jié)果中出現(xiàn)的虛假邊緣。雖然這兩個(gè)算子邊緣定位效果不錯(cuò)，但檢測(cè)出的邊緣容易出現(xiàn)多像素寬度。36算子比較

Laplacian算子：是不依賴于邊緣方向的二階微分算子，對(duì)圖像中的階躍型邊緣點(diǎn)定位準(zhǔn)確，該算子對(duì)噪聲非常敏感，它使噪聲成分得到加強(qiáng)，這兩個(gè)特性使得該算子容易丟失一部分邊緣的方向信息，造成一些不連續(xù)的檢測(cè)邊緣，同時(shí)抗噪聲能力比較差。37算子比較

LOG算子：該算子首先用高斯函數(shù)對(duì)圖像作平滑濾波處理，然后才使用Laplacian算子檢測(cè)邊緣，因此克服了Laplacian算子抗噪聲能力比較差的缺點(diǎn)，但是在抑制噪聲的同時(shí)也可能將原有的比較尖銳的邊緣也平滑掉了，造成這些尖銳邊緣無法檢被測(cè)到。應(yīng)用LOG算子，高斯函數(shù)中方差參數(shù)的選擇很關(guān)鍵，對(duì)圖像邊緣檢測(cè)效果有很大的影響。高斯濾波器為低通濾波器，方差越大，通頻帶越窄，對(duì)較高頻率的噪聲的抑制作用越大，避免了虛假邊緣的檢出，同時(shí)信號(hào)的邊緣也被平滑了，造成某些邊緣點(diǎn)的丟失。反之，越小，通頻帶越寬，可以檢測(cè)到的圖像更高頻率的細(xì)節(jié)，但對(duì)噪聲的抑制能力相對(duì)下降，容易出現(xiàn)虛假邊緣。因此，應(yīng)用LOG算子，為取得更佳的效果，對(duì)于不同圖像應(yīng)選擇不同參數(shù)。3810.2邊緣連接和邊界檢測(cè)利用前面的方法檢測(cè)出邊緣點(diǎn),但由于噪聲、光照不均等因素的影響，獲得邊緣點(diǎn)有可能是不連續(xù)的，必須使用連接過程將邊緣像素組合成有意義的邊緣信息，以備后續(xù)處理。39局部處理

分析圖像中每個(gè)點(diǎn)（x,y）的一個(gè)小鄰域，根據(jù)梯度確定邊緣像素的相似性。如果滿足：如果大小和方向準(zhǔn)則得到滿足,則在前面定義的(x,y)鄰域中的點(diǎn)就與位于(x,y)的像素連接起來.梯度大?。禾荻确较颍?0車牌檢測(cè)局部處理411986年，JohnCanny在《AComputationalApproachtoEdgeDetection》一文中對(duì)過去的一些邊緣檢測(cè)方法和應(yīng)用作了總結(jié)，并提出了邊緣檢測(cè)的3條準(zhǔn)則。這3條準(zhǔn)則后來被稱作Canny準(zhǔn)則。Canny算法42Canny準(zhǔn)則的具體內(nèi)容包括3個(gè)方面：好的檢測(cè)效果 錯(cuò)誤檢測(cè)率要盡可能低。即真實(shí)邊緣檢出率高，虛假邊緣檢出率低。對(duì)邊緣的定位要準(zhǔn)確 檢測(cè)結(jié)果所標(biāo)記的邊緣位置要和圖像上真正邊緣的中心位置充分接近。對(duì)同一邊緣要有低的響應(yīng)次數(shù)Canny算法43Canny算法的基本步驟：用2D高斯濾波模板進(jìn)行卷積以消除雜點(diǎn)。利用梯度算子(比如Prewitt算子或Sobel算子)找到圖像灰度沿x、y兩個(gè)方向的偏導(dǎo)數(shù)Gx和Gy，并求出梯度的大小。根據(jù)Gx和Gy計(jì)算出梯度的方向。將梯度方向大致分為四種：水平、垂直、正45度、負(fù)45度。遍歷圖像，若某個(gè)像素的梯度與其梯度方向上相鄰兩個(gè)像素的梯度值相比不是最大，則置其梯度為0，即不是邊緣，稱為非最大值抑制。根據(jù)直方圖計(jì)算兩個(gè)閾值。小于低閾值的一定不是邊緣，大于高閾值的一定是邊緣。位于中間的像素點(diǎn)要根據(jù)相似性判斷是否是邊緣點(diǎn)。Canny算法4410.3

門限處理(閾值分割)由于圖像門限處理的直觀性和易于實(shí)現(xiàn)的性質(zhì),使它在圖像分割應(yīng)用中處于重要地位.在之前已經(jīng)用過閾值分割，在這里對(duì)其進(jìn)行更正式更詳細(xì)的討論。閾值分割屬于第二類分割方法，即基于相似性的分割。45基本原理上圖(a)為一幅圖像的灰度級(jí)直方圖,其由亮的對(duì)象和暗的背景組成.對(duì)象和背景的灰度級(jí)形成兩個(gè)不同的模式.選擇一個(gè)門限值T,可以將這些模式分開.(b)包含3個(gè)模式.(a)單一門限(b)多門限進(jìn)行分割的灰度級(jí)直方圖46基本原理原始圖像——f(x,y)灰度閾值——T閾值運(yùn)算得二值圖像——g(x,y)

閾值選擇直接影響分割效果，通常可以通過對(duì)灰度直方圖的分析來確定它的值。對(duì)象點(diǎn)背景點(diǎn)47閾值選擇利用灰度直方圖的雙峰或多峰選擇兩峰之間的谷底作為閾值

48人工閾值人工選擇法是通過人眼的觀察，應(yīng)用人對(duì)圖像的知識(shí)，在分析圖像直方圖的基礎(chǔ)上，人工選出合適的閾值。也可以在人工選出閾值后，根據(jù)分割效果，不斷的交互操作，從而選擇出最佳的閾值。

49人工閾值50自動(dòng)閾值迭代法

基本思想：開始時(shí)選擇一個(gè)閾值作為初始估計(jì)值，然后按某種策略不斷地改進(jìn)這一估計(jì)值，直到滿足給定的準(zhǔn)則為止。在迭代過程中，關(guān)鍵之處在于選擇什么樣的閾值改進(jìn)策略，好的閾值的改進(jìn)策略應(yīng)該具備兩個(gè)特征，一是能夠快速收斂，二是在每一個(gè)迭代過程中，新產(chǎn)生閾值優(yōu)于上