【ch02】圖像邊緣、角點(diǎn)檢測(cè)

圖像邊緣、角點(diǎn)檢測(cè)工業(yè)和信息化部“十二五”規(guī)劃教材計(jì)算機(jī)視覺(jué)第二章01圖像底層計(jì)算機(jī)視覺(jué)的主要研究對(duì)象為圖像處理，實(shí)際上可以簡(jiǎn)而言之為從單幅或多幅二維投影圖像（或視頻序列）中計(jì)算出視覺(jué)所需要的客觀參數(shù)。因此圖像處理可以認(rèn)為是計(jì)算機(jī)視覺(jué)的基礎(chǔ)。圖像圖2.1中顯示的是一幅故宮的圖像及其局部放大后的圖像。圖像從圖2.2可以明顯看出，圖像具有局部平滑的特性。圖像02灰度位圖圖像和彩色位圖圖像一般出版物為了降低成本，都采用灰度圖像，也就是沒(méi)有彩色的圖像。那么，這種灰度圖像屬于8位圖像，還是24位圖像呢?具體在計(jì)算機(jī)中是如何表示的呢?這些問(wèn)題參考位圖的結(jié)構(gòu)，如圖2.4所示。灰度位圖圖像和彩色位圖圖像Windows規(guī)定一個(gè)掃描行所占的字節(jié)數(shù)必須是4的倍數(shù)，若不足4的倍數(shù)則要對(duì)其進(jìn)行擴(kuò)充。一般程序中，BMP文件的數(shù)據(jù)是從圖像的左下角開(kāi)始逐行掃描圖像的，即從下到上、從左到右來(lái)安排圖像的像素值，因此圖像坐標(biāo)零點(diǎn)在圖像左下角?；叶任粓D圖像和彩色位圖圖像03GIF圖像格式和JPEG壓縮在Windows平臺(tái)上，位圖是使用最廣泛的圖像格式。其他各種文件格式，如GIF、JPEG、TIFF和PNG等，在顯示時(shí)都轉(zhuǎn)換為BMP后再進(jìn)行顯示。對(duì)于視頻也遵循這種流程，視頻每幀圖像解碼后稱為YUV亮度/色度分量形式，然后轉(zhuǎn)換為BMP格式的數(shù)據(jù)進(jìn)行顯示。GIF圖像格式和JPEG壓縮GIF圖像GIF（GraphicsInterchangeFormat）圖像的擴(kuò)展名采用“.gif"，由CompuServe公司開(kāi)發(fā)，用于屏顯和網(wǎng)絡(luò)。它包括87a和89a兩種格式，其中87a描述單一（靜止）圖像，89a描述多幀圖像，通常在GIF動(dòng)畫(huà)中使用。它最具特色的特點(diǎn)為其色彩模式，支持28（256色）種顏色。GIF圖像格式和JPEG壓縮因此，在處理GIF圖像時(shí)，顏色的數(shù)目往往都是256種，有時(shí)在計(jì)算機(jī)視覺(jué)處理中，若沒(méi)有注意則會(huì)造成意外結(jié)果。而將其他圖像保存為GIF圖像時(shí)，需要對(duì)顏色進(jìn)行量化處理，近些年提出了很多相關(guān)的顏色量化算法，比較典型而直觀的量化算法就是聚類的算法，通過(guò)將類別數(shù)目定義為256即可采用通用的聚類算法進(jìn)行計(jì)算。GIF圖像格式和JPEG壓縮圖像JPEG壓縮流程如圖2.5所示。GIF圖像格式和JPEG壓縮根據(jù)人類視覺(jué)的特性和信息論的觀點(diǎn)，其中將RGB圖像轉(zhuǎn)換為YCbCr圖像利用了人類視覺(jué)對(duì)亮度信息敏感，而針對(duì)色度信息不敏感的特點(diǎn)，可以進(jìn)一步對(duì)色度分量進(jìn)行下采樣以降低數(shù)據(jù)量。GIF圖像格式和JPEG壓縮下面我們看一下JPEG壓縮的具體流程。首先若原始圖像是RGB圖像，則轉(zhuǎn)換為YCbCr圖像，對(duì)YCbCr兩個(gè)色度分量進(jìn)行下采樣，然后進(jìn)行8×8的塊劃分，如圖2.6所示。GIF圖像格式和JPEG壓縮然后按照從上到下、從左到右的順序分別對(duì)每個(gè)塊做處理，如圖2.7所示，將從圖中取出的8×8塊表示成f（x，y）的矩陣形式。GIF圖像格式和JPEG壓縮04圖像邊緣及其檢測(cè)從概念上來(lái)看，邊緣一般指像素值發(fā)生突變的區(qū)域，但由于數(shù)字圖像成像過(guò)程中無(wú)法形成理想的突變狀態(tài)，因此一般在圖像中很少出現(xiàn)突變的邊緣，而是有一個(gè)漸變的過(guò)程。邊緣類型圖像邊緣及其檢測(cè)一般在圖像處理中，有4種邊緣類型，當(dāng)然這4種類型也可以上下翻轉(zhuǎn)，分別對(duì)應(yīng)階梯狀、斜坡?tīng)?、脈沖狀和屋頂狀4種邊緣類型，如圖2.19所示。圖像邊緣及其檢測(cè)在濾波處理階段，實(shí)際上是對(duì)圖像進(jìn)行濾波處理。在差分處理階段，通過(guò)利用邊緣的特性采取一階和二階差分來(lái)獲取邊緣區(qū)域。在差分階段沿梯度方向計(jì)算其一階方向?qū)?shù)，然后在檢測(cè)階段，通過(guò)檢測(cè)上一步導(dǎo)數(shù)輸出的峰值來(lái)定位邊緣點(diǎn)。圖像邊緣及其檢測(cè)邊緣檢測(cè)的三個(gè)階段濾波操作及雙邊濾波器在信號(hào)處理中，濾波與預(yù)測(cè)是緊密相關(guān)的概念，實(shí)質(zhì)上就是對(duì)輸入的數(shù)據(jù)進(jìn)行處理，然后產(chǎn)生輸出。若輸入的數(shù)據(jù)為以前的數(shù)據(jù)，而產(chǎn)生的數(shù)據(jù)為未來(lái)的數(shù)據(jù)，則稱為預(yù)測(cè)；若產(chǎn)生的數(shù)據(jù)只是對(duì)當(dāng)前數(shù)據(jù)的校正，則稱為濾波。圖像邊緣及其檢測(cè)當(dāng)u從0到N-1變化時(shí)，對(duì)應(yīng)從低頻到高頻變化，其頻譜圖如圖2.20所示。圖像邊緣及其檢測(cè)眾所周知，連續(xù)函數(shù)的導(dǎo)數(shù)在離散情況下采用差分來(lái)近似。這從連續(xù)函數(shù)的導(dǎo)數(shù)定義：差分操作圖像邊緣及其檢測(cè)圖像邊緣及其檢測(cè)邊緣檢測(cè)操作2.4.5節(jié)直接利用梯度幅度進(jìn)行閾值化操作來(lái)檢測(cè)邊緣，但并未用到梯度的方向信息。梯度方向表示函數(shù)值增加的方向，因此若函數(shù)值在某個(gè)方向上沒(méi)有任何變化，則其梯度值為0。非極大值抑制操作圖像邊緣及其檢測(cè)圖2.23的每列像素值都一樣，每行像素值分別從0~255均勻變化。圖像邊緣及其檢測(cè)幾種典型的邊緣檢測(cè)算子在真實(shí)邊緣檢測(cè)算子中，為了避免噪聲的干擾，一般先對(duì)圖像進(jìn)行平滑等預(yù)處理，然后再采用上述的檢測(cè)過(guò)程進(jìn)行檢測(cè)。應(yīng)用最為廣泛的邊緣檢測(cè)算子之一就是JohnCanny在1986年提出的Canny算子，它與Marr邊緣檢測(cè)方法類似，也屬于先平滑后求導(dǎo)數(shù)的方法。其次采用連續(xù)的函數(shù)來(lái)逼近圖像的局部區(qū)域，然后利用連續(xù)函數(shù)的偏導(dǎo)數(shù)來(lái)獲取其不連續(xù)點(diǎn)，典型的方式為Haralick算子。第三類就是LoG算子，實(shí)際上相當(dāng)于對(duì)圖像進(jìn)行不同尺度下的平滑操作，然后在對(duì)其求差，從而凸顯邊緣操作。圖像邊緣及其檢測(cè)05圖像角點(diǎn)檢測(cè)底層視覺(jué)的重要任務(wù)之一就是提取圖像中的各種特征，為后續(xù)視覺(jué)處理任務(wù)提供支撐。而除邊緣外，角點(diǎn)為另外一個(gè)常用的重要特征，并且角點(diǎn)對(duì)幾何變換具有較好的魯棒性，因此在計(jì)算機(jī)視覺(jué)任務(wù)中扮演著重要的角色。圖像角點(diǎn)檢測(cè)圖像角點(diǎn)檢測(cè)圖像角點(diǎn)檢測(cè)基本原理及Harris角點(diǎn)檢測(cè)以下面比較極端的圖像為例，從中取出三個(gè)小區(qū)域進(jìn)行角點(diǎn)檢測(cè)，如圖2.26所示。圖中的白色框作為一個(gè)滑動(dòng)窗口，若對(duì)該窗口內(nèi)的像素值做求和操作，則右邊最上面的滑動(dòng)窗口無(wú)論往哪個(gè)方向做小量滑動(dòng)，其值都不會(huì)發(fā)生任何變化。而右邊中間的窗口則不一樣，若該窗口水平方向滑動(dòng)，則其值不會(huì)發(fā)生變化；而若該窗口上下滑動(dòng)，則其值會(huì)發(fā)生變化。右邊最下面的窗口無(wú)論如何滑動(dòng)窗口都會(huì)造成值發(fā)生變化。圖像角點(diǎn)檢測(cè)若對(duì)應(yīng)平坦區(qū)域，則表明行列式的值會(huì)很小，此時(shí)對(duì)應(yīng)兩個(gè)特征值都比較小，近似為0，如圖2.27所示。圖像角點(diǎn)檢測(cè)FAST角點(diǎn)檢測(cè)直觀上，角點(diǎn)處的像素值肯定與周圍鄰域的像素值有較大的差別，這種差別的模式是可以確定的，因此需要考慮圖2.29中的中心像素與其周邊像素的差值，若其周邊與當(dāng)前點(diǎn)像素值差值大的點(diǎn)足夠多，則當(dāng)前點(diǎn)很可能是角點(diǎn)。圖像角點(diǎn)檢測(cè)例如，圖2.29中當(dāng)前點(diǎn)的半徑為3的圓周上的點(diǎn)，若有連續(xù)12個(gè)點(diǎn)的像素值與當(dāng)前點(diǎn)的像素值差大于某個(gè)閾值，則可認(rèn)為是角點(diǎn)。圖像角點(diǎn)檢測(cè)06形狀檢測(cè)實(shí)際上，這些幾何形狀的檢測(cè)往往在先前獲得的邊緣圖像上進(jìn)行，而由于在邊緣檢測(cè)中，噪聲往往會(huì)使檢測(cè)出來(lái)的邊緣不連續(xù)，因此出現(xiàn)了幾何形狀，但是形狀不連續(xù)。如何將這些具有標(biāo)準(zhǔn)幾何形狀的邊緣點(diǎn)連接成標(biāo)準(zhǔn)的形狀呢?標(biāo)準(zhǔn)Hough變換及圓形Hough變換形狀檢測(cè)形狀檢測(cè)廣義Hough變換廣義Hough變換原理如圖2.32所示。三種常見(jiàn)Hough變換的區(qū)別目前，常見(jiàn)的Hough變換分為三種，分別是標(biāo)準(zhǔn)的Hough變換（SHT）、廣義的Hough變換（GHT）和隨機(jī)的Hough變換（RHT）。SHT和GHT顯然都是一對(duì)多的映射，即每個(gè)邊緣像素點(diǎn)對(duì)參數(shù)空間矩陣的很多位置都有貢獻(xiàn)。形狀檢測(cè)從可處理的圖像類型來(lái)看，三種變換都可以處理二值圖像，但只有GHT可以處理灰度圖像。從檢測(cè)的目標(biāo)來(lái)看，三種變換都可以檢測(cè)圓和參數(shù)型形狀，但SHT和RHT不能檢測(cè)任意形狀的目標(biāo)而GHT可以。并且SHT和RHT可以檢測(cè)直線，而GHT不能檢測(cè)直線。從檢測(cè)速度來(lái)看，RHT最快速，SHT和GHT都比較慢。形狀檢測(cè)07直線段檢測(cè)但是其效率較低，并且容易受紋理和噪聲的影響，具有以下兩個(gè)缺陷：第一，這樣的處理忽略了邊緣點(diǎn)的方向性，前面圓形Hough變換中就利用曲率信息來(lái)提高效率；第二，閾值的選取非常困難。直線段檢測(cè)這樣將圖像劃分成線支撐區(qū)域，每個(gè)區(qū)域中的聯(lián)通像素具有類似的梯度角度。然后，按照直線段的特征來(lái)擬合每個(gè)線支撐區(qū)域，直線圖特征可用圖2.34表示。直線段檢測(cè)08本章小結(jié)計(jì)算機(jī)視覺(jué)的研究?jī)?nèi)容廣泛，其分類標(biāo)準(zhǔn)頗多。但無(wú)論如何，底層計(jì)算機(jī)視覺(jué)主要是圖像處理及其相關(guān)技術(shù)。從中獲取各種底層的特征，后續(xù)的計(jì)算機(jī)任務(wù)基于提取的特征來(lái)進(jìn)一步進(jìn)行對(duì)象表達(dá)和理解，也就是高層的計(jì)算機(jī)視覺(jué)任務(wù)