圖象分割與邊緣檢測(cè)

圖象分割與邊緣檢測(cè)第1頁(yè)，共95頁(yè)，2023年，2月20日，星期四5.1圖像分割5.1.1概述圖像分割是將圖像劃分成若干個(gè)互不相交的小區(qū)域的過(guò)程，小區(qū)域是某種意義下具有共同屬性的像素的連通集合。如不同目標(biāo)物體所占的圖像區(qū)域、前景所占的圖像區(qū)域等。連通是指集合中任意兩個(gè)點(diǎn)之間都存在著完全屬于該集合的連通路徑。對(duì)于離散圖像而言，連通有4連通和8連通之分，如圖5-1所示。第2頁(yè)，共95頁(yè)，2023年，2月20日，星期四圖5-14連通和8連通第3頁(yè)，共95頁(yè)，2023年，2月20日，星期四4連通指的是從區(qū)域上一點(diǎn)出發(fā)，可通過(guò)4個(gè)方向，即上、下、左、右移動(dòng)的組合，在不越出區(qū)域的前提下，到達(dá)區(qū)域內(nèi)的任意像素；8連通方法指的是從區(qū)域上一點(diǎn)出發(fā)，可通過(guò)左、右、上、下、左上、右上、左下、右下這8個(gè)方向的移動(dòng)組合來(lái)到達(dá)區(qū)域內(nèi)的任意像素。圖像分割有三種不同的途徑：其一是將各像素劃歸到相應(yīng)物體或區(qū)域的像素聚類方法,即區(qū)域法；其二是通過(guò)直接確定區(qū)域間的邊界來(lái)實(shí)現(xiàn)分割的邊界方法；其三是首先檢測(cè)邊緣像素，再將邊緣像素連接起來(lái)構(gòu)成邊界形成分割。在圖像分割技術(shù)中，最常用的是利用閾值化處理進(jìn)行的圖像分割。第4頁(yè)，共95頁(yè)，2023年，2月20日，星期四5.1.2灰度閾值法分割常用的圖像分割方法是把圖像灰度分成不同的等級(jí)，然后用設(shè)置灰度門限（閾值）的方法確定有意義的區(qū)域或分割物體的邊界。常用的閾值化處理就是圖像的二值化處理，即選擇一閾值，將圖像轉(zhuǎn)換為黑白二值圖像，用于圖像分割及邊緣跟蹤等預(yù)處理。圖像閾值化處理的變換函數(shù)表達(dá)式為(5-1)第5頁(yè)，共95頁(yè)，2023年，2月20日，星期四圖5-2閾值變換曲線第6頁(yè)，共95頁(yè)，2023年，2月20日，星期四在圖像的閾值化處理過(guò)程中，選用不同的閾值其處理結(jié)果差異很大。如圖5-3所示,閾值過(guò)大，會(huì)提取多余的部分；而閾值過(guò)小，又會(huì)丟失所需的部分（注意：當(dāng)前背景為黑色，對(duì)象為白色時(shí)剛好相反）。因此，閾值的選取非常重要。圖5-3(a)原始圖像的直方圖如圖5-4所示。分析該直方圖可知，該直方圖具有雙峰特性，圖像中的目標(biāo)（細(xì)胞）分布在較暗的灰度級(jí)上形成一個(gè)波峰，圖像中的背景分布在較亮的灰度級(jí)上形成另一個(gè)波峰。此時(shí)，用其雙峰之間的谷低處灰度值作為閾值T進(jìn)行圖像的閾值化處理，便可將目標(biāo)和背景分割開(kāi)來(lái)。第7頁(yè)，共95頁(yè)，2023年，2月20日，星期四圖5-3不同閾值對(duì)閾值化結(jié)果的影響(a)原始圖像；(b)閾值T=91；(c)閾值T=130；(d)閾值T=43(a)(b)(c)(d)第8頁(yè)，共95頁(yè)，2023年，2月20日，星期四圖5-4圖5-3(a)所示圖像的直方圖第9頁(yè)，共95頁(yè)，2023年，2月20日，星期四

1.判別分析法確定最佳閾值判別分析法確定最佳閾值的準(zhǔn)則，是使進(jìn)行閾值處理后分離的像素類之間的類間方差最大。判別分析法只需計(jì)算直方圖的0階矩和1階矩，是圖像閾值化處理中常用的自動(dòng)確定閾值的方法。設(shè)圖像總像素?cái)?shù)為N，灰度值為i的像素?cái)?shù)為Ni，則至灰度級(jí)K的灰度分布的0階矩及1階矩分別定義為0階矩：(5-2)第10頁(yè)，共95頁(yè)，2023年，2月20日，星期四1階矩：(5-3)當(dāng)K=L-1時(shí)，ω(L-1)=1；μ(L-1)＝μT，μT稱為圖像的平均灰度。設(shè)有M-1個(gè)閾值：0≤k1＜k2＜…＜KM-1≤L-1。將圖像分割成M個(gè)灰度值的類Cj（Cj∈［kj-1+1,…,kj］;j=1,2,…,M;k0=0,kM=L），則各類Cj的發(fā)生概率ωj和平均值μj為(5-4)(5-5)式中,ω(0)=0，μ(0)=0。第11頁(yè)，共95頁(yè)，2023年，2月20日，星期四由此可得各類的類間方差為將使上式的σ2值為最大的閾值組(k1,k2，…,kM－1)，作為M值化的最佳閾值組。若取M為2，即分割成2類，則可用上述方法求出二值化的閾值。(5-6)第12頁(yè)，共95頁(yè)，2023年，2月20日，星期四

2.p尾法確定閾值

p尾法僅適用于事先已知目標(biāo)所占全圖像百分比的場(chǎng)合。若一幅圖像由亮背景和黑目標(biāo)組成，已知目標(biāo)占圖像的(100－p)%面積，則使得至少(100－p)%的像素閾值化后匹配為目標(biāo)的最高灰度，將選作用于二值化處理的閾值。第13頁(yè)，共95頁(yè)，2023年，2月20日，星期四5.1.3區(qū)域生長(zhǎng)分割的目的是把一幅圖像劃分成一些區(qū)域，最直接的方法就是把一幅圖像分成滿足某種判據(jù)的區(qū)域，也就是說(shuō)，把點(diǎn)組成區(qū)域。為了實(shí)現(xiàn)分組，首先要確定區(qū)域的數(shù)目，其次要確定一個(gè)區(qū)域與其他區(qū)域相區(qū)別的特征，最后還要產(chǎn)生有意義分割的相似性判據(jù)。第14頁(yè)，共95頁(yè)，2023年，2月20日，星期四分割區(qū)域的一種方法叫區(qū)域生長(zhǎng)或區(qū)域生成。假定區(qū)域的數(shù)目以及在每個(gè)區(qū)域中單個(gè)點(diǎn)的位置已知，則從一個(gè)已知點(diǎn)開(kāi)始，加上與已知點(diǎn)相似的鄰近點(diǎn)形成一個(gè)區(qū)域。相似性準(zhǔn)則可以是灰度級(jí)、彩色、組織、梯度或其他特性，相似性的測(cè)度可以由所確定的閾值來(lái)判定。方法是從滿足檢測(cè)準(zhǔn)則的點(diǎn)開(kāi)始，在各個(gè)方向上生長(zhǎng)區(qū)域，當(dāng)其鄰近點(diǎn)滿足檢測(cè)準(zhǔn)則就并入小塊區(qū)域中。當(dāng)新的點(diǎn)被合并后再用新的區(qū)域重復(fù)這一過(guò)程，直到?jīng)]有可接受的鄰近點(diǎn)時(shí)生成過(guò)程終止。第15頁(yè)，共95頁(yè)，2023年，2月20日，星期四圖5-5給出一個(gè)簡(jiǎn)單的例子。此例的相似性準(zhǔn)則是鄰近點(diǎn)的灰度級(jí)與物體的平均灰度級(jí)的差小于2。圖中被接受的點(diǎn)和起始點(diǎn)均用下劃線標(biāo)出，其中（a）圖是輸入圖像；（b）圖是第一步接受的鄰近點(diǎn)；（c）圖是第二步接受的鄰近點(diǎn)；（d）圖是從6開(kāi)始生成的結(jié)果。第16頁(yè)，共95頁(yè)，2023年，2月20日，星期四圖5-5區(qū)域生長(zhǎng)示例第17頁(yè)，共95頁(yè)，2023年，2月20日，星期四當(dāng)生成任意物體時(shí)，接收準(zhǔn)則可以結(jié)構(gòu)為基礎(chǔ)，而不是以灰度級(jí)或?qū)Ρ榷葹榛A(chǔ)。為了把候選的小群點(diǎn)包含在物體中，可以檢測(cè)這些小群點(diǎn)，而不是檢測(cè)單個(gè)點(diǎn)，如果它們的結(jié)構(gòu)與物體的結(jié)構(gòu)足夠相似時(shí)就接受它們。第18頁(yè)，共95頁(yè)，2023年，2月20日，星期四5.1.4區(qū)域聚合區(qū)域聚合可直接用于圖像分割，它要求聚合中的各個(gè)點(diǎn)必須在平面上相鄰接而且特性相似。區(qū)域聚合的步驟是首先檢查圖像的測(cè)度集，以確定在測(cè)度空間中聚合的位置和數(shù)目，然后把這些聚合的定義用于圖像，以得到區(qū)域聚合。區(qū)域聚合技術(shù)可以說(shuō)明如下。首先，在圖片上定義某個(gè)等價(jià)關(guān)系。例如，最簡(jiǎn)單的等價(jià)關(guān)系可定義為p(i,j)＝p(k,l)。也就是說(shuō)，如果p(i,j)＝p(k,l)，就說(shuō)明p(i,j)與p(k,l)等價(jià)。任何在點(diǎn)的格子上的等價(jià)關(guān)系又可劃分為等價(jià)類。例如，p(i,j)的取值范圍為0到63，就可以產(chǎn)生64個(gè)等價(jià)類的模板。如果關(guān)系滿足，它的值等于1，否則為0。第19頁(yè)，共95頁(yè)，2023年，2月20日，星期四模板的圖像是兩兩不相交的，那么64個(gè)模板就會(huì)充滿整個(gè)格子。這些等價(jià)的類又可進(jìn)一步分為最大連接的子集（連接分量）。連接性可以用點(diǎn)(i,j)的鄰點(diǎn)來(lái)定義，如4連通鄰點(diǎn)、8連通鄰點(diǎn)等等。假如R是屬于格子的子集，在R中存在一個(gè)點(diǎn)序列，第一個(gè)點(diǎn)是p1，最后一個(gè)點(diǎn)是p2，屬于格子的子集R的兩個(gè)點(diǎn)p1和p2是被連接起來(lái)的，這樣，相繼的各點(diǎn)是4連接相鄰的。通過(guò)這樣的連接關(guān)系可以定義一個(gè)屬于R的子集，這個(gè)子集形成一個(gè)區(qū)域，在這個(gè)區(qū)域中，任何點(diǎn)都與R有關(guān)。利用等價(jià)模板可分成最大的連接區(qū)域，然后，這些最大的連接區(qū)域又可以像搭積木一樣形成有意義的分割。第20頁(yè)，共95頁(yè)，2023年，2月20日，星期四1970年布萊斯和芬尼瑪提出一種分割方法，如圖5-6所示。圖（a）是具有灰度級(jí)的3×3的G陣列，圖（b）是對(duì)G的分割結(jié)果。其中，圖像格子為G，它是大格子S的子格子。G為n×m的格子，S是（2n＋1）×（2m＋1）的大格子。在大格子中，G(i,j)點(diǎn)位于S的(2i+1,2j+1)點(diǎn)上。G中的點(diǎn)與S中的點(diǎn)相對(duì)應(yīng)，其中每一下標(biāo)都是奇數(shù)，其余的點(diǎn)用來(lái)代表區(qū)域的邊界。以這種形式表現(xiàn)的區(qū)域，產(chǎn)生一種尋找最大連接區(qū)域的方法。G中的點(diǎn)與它上邊和右邊的點(diǎn)相比較，灰度級(jí)相同就合并，灰度級(jí)不同就插入邊界線。把圖像中的每個(gè)點(diǎn)都處理過(guò)之后，整個(gè)圖像就被分割成區(qū)域。在這個(gè)例子中，由于采用了4連通等價(jià)關(guān)系，因此，由圖可見(jiàn)，在對(duì)角線方向上的等灰度級(jí)產(chǎn)生了隔開(kāi)的區(qū)域。第21頁(yè)，共95頁(yè)，2023年，2月20日，星期四圖5-6布萊斯和芬尼瑪分割方法第22頁(yè)，共95頁(yè)，2023年，2月20日，星期四5.2邊緣檢測(cè)在Marr的視覺(jué)計(jì)算理論框架中，抽取二維圖像上的邊緣、角點(diǎn)、紋理等基本特征，是整個(gè)系統(tǒng)框架中的第一步。這些特征所組成的圖稱為基元圖。Yuille等指出，在不同“尺度”意義下的邊緣點(diǎn)，在一定條件下包含了原圖像的全部信息。圖5-7畫出了一幅圖像中的邊緣點(diǎn)，僅僅根據(jù)這些邊緣點(diǎn)，就能識(shí)別出三維物體，可見(jiàn)邊緣點(diǎn)確實(shí)包含了圖像中的大量信息。第23頁(yè)，共95頁(yè)，2023年，2月20日，星期四圖5-7圖像中的邊緣點(diǎn)第24頁(yè)，共95頁(yè)，2023年，2月20日，星期四（1）空間曲面上的不連續(xù)點(diǎn)。如標(biāo)為A的邊緣線，這些邊緣線為兩個(gè)不同曲面的或平面的交線，該點(diǎn)處物體表面的法線方向不連續(xù)，在A類邊緣線的兩邊，圖像的灰度值有明顯的不同。（2）B類邊緣線。B類邊緣線是由不同材料或相同材料不同顏色產(chǎn)生的。圖中桌面由兩種不同材料組成，由于它們對(duì)光的反射系數(shù)不同，使B邊緣線的兩側(cè)灰度有明顯不同。第25頁(yè)，共95頁(yè)，2023年，2月20日，星期四（3）C類邊緣線。C類邊緣線是物體與背景的分界線。如圖中圓柱上有兩條C類邊緣線，這類邊緣線一般稱為外輪廓線。在C類邊緣點(diǎn)上，三維物體表面的法線方向是連續(xù)的，出現(xiàn)邊緣點(diǎn)是由于從一定視角看物體時(shí)，C類邊界點(diǎn)是物體與背景的交界處。由于物體與背景在光照條件與材料反射系數(shù)等方面差異很大，因此在C類邊緣兩側(cè)，圖像的灰度也有很大差異。圖中標(biāo)以C′的邊緣，即是物體與背景的交界處，也是物體上表面法線的不連續(xù)處，但引起它兩側(cè)灰度躍變的原因是前者。（4）D邊緣。D是陰影引起的邊緣。由于物體表面某一部分被另一物體遮擋，使它得不到光源的照射，從而引起邊緣點(diǎn)兩側(cè)灰度值有較大的差異。第26頁(yè)，共95頁(yè)，2023年，2月20日，星期四5.2.1邊緣檢測(cè)與微分運(yùn)算如前所述，邊緣點(diǎn)是信號(hào)“變化劇烈”的地方，但這么說(shuō)并不準(zhǔn)確，需要定義一個(gè)準(zhǔn)確的邊緣數(shù)學(xué)模型。以一維信號(hào)為例，圖5-8（a）是一種階躍信號(hào)，我們當(dāng)然認(rèn)為A點(diǎn)處為邊緣點(diǎn)。在實(shí)際情況中，物理信號(hào)不可能有理想的突變，而是如圖5-8（b）所示的逐漸增大的信號(hào)，對(duì)圖5-8（b）中所示A、B、C三點(diǎn)，一般稱B點(diǎn)為邊緣點(diǎn)。在圖5-8（c）和5-8（d）中，如果臺(tái)階比較窄，即可以認(rèn)為B點(diǎn)為邊緣點(diǎn)，也可以認(rèn)為該信號(hào)有兩個(gè)邊緣點(diǎn)A與C。第27頁(yè)，共95頁(yè)，2023年，2月20日，星期四圖5-8不同的邊緣信號(hào)第28頁(yè)，共95頁(yè)，2023年，2月20日，星期四圖5-9圖像中不同類型的邊界（a）邊界；（b）線；（c）折線變化；（d）緩慢的平滑變化(a)(b)(d)(c)第29頁(yè)，共95頁(yè)，2023年，2月20日，星期四圖5-10用Prewitt算子進(jìn)行邊緣檢測(cè)的結(jié)果圖5-10第30頁(yè)，共95頁(yè)，2023年，2月20日，星期四5.2.2高斯-拉普拉斯(LOG)算子噪聲點(diǎn)對(duì)邊緣檢測(cè)有較大的影響，效果更好的邊緣檢測(cè)器是高斯-拉普拉斯(LOG)算子。它把高斯平滑濾波器和拉普拉斯銳化濾波器結(jié)合起來(lái)，先平滑掉噪聲，再進(jìn)行邊緣檢測(cè)，所以效果更好。常用的LOG算子是5×5的模板：第31頁(yè)，共95頁(yè)，2023年，2月20日，星期四圖5-11LOG算子中心點(diǎn)的距離與位置加權(quán)系數(shù)的關(guān)系第32頁(yè)，共95頁(yè)，2023年，2月20日，星期四若將圖5-11繞y軸作旋轉(zhuǎn)一周后，LOG算子很像一頂墨西哥草帽，所以，LOG又叫墨西哥草帽濾波器。在圖像邊緣檢測(cè)中，還有Wallis算子、過(guò)零點(diǎn)檢測(cè)（Marr-Hildreth算子）、Canny邊緣檢測(cè)方法、SUSAN（SmallestUnivalueSegmentAssimilatingNucleus）邊緣檢測(cè)等。第33頁(yè)，共95頁(yè)，2023年，2月20日，星期四5.3輪廓跟蹤與提取5.3.1輪廓跟蹤在識(shí)別圖像中的目標(biāo)時(shí)，往往需要對(duì)目標(biāo)邊緣作跟蹤處理，也叫輪廓跟蹤。顧名思義，輪廓跟蹤就是通過(guò)順序找出邊緣點(diǎn)來(lái)跟蹤邊界的。若圖像是二值圖像或圖像中不同區(qū)域具有不同的像素值，但每個(gè)區(qū)域內(nèi)的像素值是相同的，則如下算法可完成基于4連通或8連通區(qū)域的輪廓跟蹤。第34頁(yè)，共95頁(yè)，2023年，2月20日，星期四步驟1：首先按從上到下，從左到右的順序掃描圖像，尋找沒(méi)有標(biāo)記跟蹤結(jié)束記號(hào)的第一個(gè)邊界起始點(diǎn)A0，A0是具有最小行和列值的邊界點(diǎn)。定義一個(gè)掃描方向變量dir，該變量用于記錄上一步中沿著前一個(gè)邊界點(diǎn)到當(dāng)前邊界點(diǎn)的移動(dòng)方向，其初始化取值為(1)對(duì)4連通區(qū)域取dir=3，如圖5-12(a)所示；(2)對(duì)8連通區(qū)域取dir=7，如圖5-12(b)所示。第35頁(yè)，共95頁(yè)，2023年，2月20日，星期四圖5-12方向變量的初始化第36頁(yè)，共95頁(yè)，2023年，2月20日，星期四步驟2：按逆時(shí)針?lè)较蛩阉鳟?dāng)前像素的3×3鄰域，其起始搜索方向設(shè)定如下：(1)對(duì)4連通區(qū)域取(dir+3)mod4，如圖5-13(a)所示；(2)對(duì)8連通區(qū)域，若dir為奇數(shù)取(dir+7)mod8，如圖5-13(b)所示；若dir為偶數(shù)取(dir+6)mod8，如圖5-13(c)所示。第37頁(yè)，共95頁(yè)，2023年，2月20日，星期四圖5-133×3鄰域起始搜索方向第38頁(yè)，共95頁(yè)，2023年，2月20日，星期四在3×3鄰域中搜索到的第一個(gè)與當(dāng)前像素值相同的像素便為新的邊界點(diǎn)An，同時(shí)更新變量dir為新的方向值。步驟3：如果An等于第二個(gè)邊界點(diǎn)A1且前一個(gè)邊界點(diǎn)An-1等于第一個(gè)邊界點(diǎn)A0，則停止搜索，結(jié)束跟蹤，否則重復(fù)步驟2繼續(xù)搜索。步驟4：由邊界點(diǎn)A0、A1、A2、…、An-2構(gòu)成的邊界便為要跟蹤的邊界。算法中步驟1中所采用的準(zhǔn)則稱為“探測(cè)準(zhǔn)則”，其作用是找出第一個(gè)邊界點(diǎn)；步驟3中所采用的準(zhǔn)則稱為“跟蹤準(zhǔn)則”，其作用是找出所有邊界點(diǎn)。第39頁(yè)，共95頁(yè)，2023年，2月20日，星期四圖5-14輪廓跟蹤示例第40頁(yè)，共95頁(yè)，2023年，2月20日，星期四5.3.2輪廓提取二值圖像輪廓提取的算法非常簡(jiǎn)單，就是掏空內(nèi)部點(diǎn)：如果原圖像中有一點(diǎn)為黑，且它的8個(gè)鄰點(diǎn)都是黑色時(shí)，說(shuō)明該點(diǎn)是內(nèi)部點(diǎn)，將該點(diǎn)刪除（置為白色像素值255）。對(duì)圖像中所有像素點(diǎn)執(zhí)行該操作便可完成圖像輪廓的提取。在此不對(duì)其作過(guò)多說(shuō)明，請(qǐng)讀者參考配套光盤的源程序。第41頁(yè)，共95頁(yè)，2023年，2月20日，星期四5.4圖像匹配5.4.1模板匹配模板匹配是指用一個(gè)較小的圖像，即模板與源圖像進(jìn)行比較，以確定在源圖像中是否存在與該模板相同或相似的區(qū)域，若該區(qū)域存在，還可確定其位置并提取該區(qū)域。模板匹配常用的一種測(cè)度為模板與原圖像對(duì)應(yīng)區(qū)域的誤差平方和。設(shè)f(x,y)為M×N的原圖像，t(j,k)為J×K(J≤M，K≤N)的模板圖像，則誤差平方和測(cè)度定義為（5-7）第42頁(yè)，共95頁(yè)，2023年，2月20日，星期四將式（5-7）展開(kāi)可得(5-8)第43頁(yè)，共95頁(yè)，2023年，2月20日，星期四令第44頁(yè)，共95頁(yè)，2023年，2月20日，星期四DS(x,y)稱為原圖像中與模板對(duì)應(yīng)區(qū)域的能量，它與像素位置(x,y)有關(guān)，但隨像素位置(x,y)的變化，DS(x,y)變化緩慢。DST(x,y)稱為模板與原圖像對(duì)應(yīng)區(qū)域的互相關(guān)，它隨像素位置(x,y)的變化而變化，當(dāng)模板t(j,k)和原圖像中對(duì)應(yīng)區(qū)域相匹配時(shí)取得最大值。DT(x,y)稱為模板的能量，它與圖像像素位置(x,y)無(wú)關(guān)，只用一次計(jì)算便可。顯然，用式(5-8)計(jì)算誤差平方和測(cè)度可以減少計(jì)算量。第45頁(yè)，共95頁(yè)，2023年，2月20日，星期四基于上述分析，若設(shè)DS(x,y)也為常數(shù)，則用DST(x,y)便可進(jìn)行圖像匹配，當(dāng)DST(x,y)取最大值時(shí)，便可認(rèn)為模板與圖像是匹配的。但假設(shè)DS(x,y)為常數(shù)會(huì)產(chǎn)生誤差，嚴(yán)重時(shí)將無(wú)法正確地完成匹配，因此可用歸一化互相關(guān)作為誤差平方和測(cè)度，其定義為(5-9)第46頁(yè)，共95頁(yè)，2023年，2月20日，星期四圖5-15給出了模板匹配的示意圖，其中假設(shè)原圖像f(x,y)和模板圖像t(k,l)的原點(diǎn)都在左上角。對(duì)任何一個(gè)f(x,y)中的(x,y)，根據(jù)式（5-9）都可以算得一個(gè)R(x,y)值。當(dāng)x和y變化時(shí)，t(j,k)在原圖像區(qū)域中移動(dòng)并得出R(x,y)所有值。R(x,y)的最大值便指出了與t(j,k)匹配的最佳位置，若從該位置開(kāi)始在原圖像中取出與模板大小相同的一個(gè)區(qū)域，便可得到匹配圖像。第47頁(yè)，共95頁(yè)，2023年，2月20日，星期四圖5-15模板匹配示意圖第48頁(yè)，共95頁(yè)，2023年，2月20日，星期四用歸一化互相關(guān)求匹配的計(jì)算工作量非常大，因?yàn)槟０逡?M－J＋1)×(N－K＋1)個(gè)參考位置上做相關(guān)計(jì)算，其中，除最佳匹配點(diǎn)外，其余做的都是無(wú)效運(yùn)算，所以有必要對(duì)其進(jìn)行改進(jìn)，以提高運(yùn)算速度。常用的方法有序貫相似性檢測(cè)算法、幅度排序相關(guān)算法、FFT相關(guān)算法、分層搜索序貫判決算法等。模板匹配的主要局限性在于它只能進(jìn)行平行移動(dòng)，如原圖像中要匹配的目標(biāo)發(fā)生旋轉(zhuǎn)或大小變化，該算法無(wú)效。另外，如原圖像中要匹配的目標(biāo)只有部分可見(jiàn)，該算法也無(wú)法完成匹配。第49頁(yè)，共95頁(yè)，2023年，2月20日，星期四模板匹配程序的核心代碼如下：//****************************************//函數(shù)名稱：BOOLTemplateMatch()//基本功能：本函數(shù)對(duì)傳入的CDibObject圖像對(duì)象進(jìn)行圖像匹配運(yùn)算//參數(shù)說(shuō)明：CDibObject*pTemplate 模板圖像數(shù)據(jù)指針// CDibObject*pDibObject 圖像對(duì)象指針//返回值：BOOL成功時(shí)返回TRUE，失敗時(shí)返回FALSE////****************************************BOOLCAreaPro::TemplateMatch(CDibObject*pTemplate,CDibObject*pDibObject){第50頁(yè)，共95頁(yè)，2023年，2月20日，星期四//其他變量定義、獲取圖像數(shù)據(jù)區(qū)及開(kāi)辟臨時(shí)內(nèi)存等代碼//循環(huán)變量inti,j,m,n;//中間結(jié)果doubledSigmaST;doubledSigmaS;doubledSigmaT;//相關(guān)性測(cè)度doubleR;//最大相關(guān)性測(cè)度doubleMaxR;//最大相關(guān)性出現(xiàn)位置intnMaxWidth,nMaxHeight;…第51頁(yè)，共95頁(yè)，2023年，2月20日，星期四//計(jì)算dSigmaTdSigmaT=0;//計(jì)算模板能量for(n=0;n<nTempHeight;n++){for(m=0;m<nTempWidth;m++){pTemplateTemp=pTempBits+nTempWidthBytes*n+m;templatepixel=*pTemplateTemp;dSigmaT+=(double)templatepixel*templatepixel; } }第52頁(yè)，共95頁(yè)，2023年，2月20日，星期四//找到圖像中最大相關(guān)性的出現(xiàn)位置MaxR=0.0;for(j=0;j<nHeight-nTempHeight+1;j++){for(i=0;i<nWidth-nTempWidth+1;i++){dSigmaST=0;dSigmaS=0;//計(jì)算源圖像中與模板對(duì)應(yīng)區(qū)域的能量及其與模板的互相關(guān)for(n=0;n<nTempHeight;n++){for(m=0;m<nTempWidth;m++){第53頁(yè)，共95頁(yè)，2023年，2月20日，星期四pOldTemp=pOldBits+nWidthBytes*(j+n)+(i+m);pTemplateTemp=pTempBits+nTempWidthBytes*n+m;pixel=*pOldTemp;templatepixel=*pTemplateTemp;dSigmaS+=(double)pixel*pixel;dSigmaST+=(double)pixel*templatepixel;}}//計(jì)算相關(guān)性R=dSigmaST/(sqrt(dSigmaS)*sqrt(dSigmaT));//與最大相關(guān)性比較第54頁(yè)，共95頁(yè)，2023年，2月20日，星期四if(R>MaxR){MaxR=R;nMaxWidth=i;nMaxHeight=j;}}}//將最大相關(guān)性出現(xiàn)區(qū)域部分復(fù)制到目標(biāo)圖像for(n=0;n<nTempHeight;n++){第55頁(yè)，共95頁(yè)，2023年，2月20日，星期四for(m=0;m<nTempWidth;m++){pTemplateTemp=pTempBits+nTempWidthBytes*n+m;pNewTemp=pNewBits+nWidthBytes*(n+nMaxHeight)+(m+nMaxWidth);*pNewTemp=*pTemplateTemp;}}//釋放內(nèi)存等代碼return(TRUE);}…第56頁(yè)，共95頁(yè)，2023年，2月20日，星期四圖5-16模板匹配示例(a)原圖像與匹配結(jié)果；(b)模板；（c）街坊（CityBlock）距離法顏色匹配的結(jié)果第57頁(yè)，共95頁(yè)，2023年，2月20日，星期四5.4.2直方圖匹配顏色是描述圖像內(nèi)容的一個(gè)重要特征。人們已經(jīng)提出了多種借助顏色特征對(duì)圖像進(jìn)行檢索的方法。常用的顏色空間有R、G、B和H、S、I。實(shí)際上，利用H、S、I顏色空間進(jìn)行檢索的效果更好一些，但以下討論主要以R、G、B空間為例。為利用圖像的顏色特征描述圖像，可借助圖像特征的統(tǒng)計(jì)直方圖。利用直方圖進(jìn)行圖像的匹配，這便是直方圖匹配。由于篇幅所限，在此只給出常用直方圖匹配的數(shù)學(xué)原理公式，有關(guān)算法請(qǐng)讀者自行設(shè)計(jì)完成。第58頁(yè)，共95頁(yè)，2023年，2月20日，星期四1.直方圖相交法設(shè)HQ(k)和HD(k)分別為查詢圖像Q和數(shù)據(jù)庫(kù)圖像D的特征統(tǒng)計(jì)直方圖，則兩圖像之間的匹配值d(Q,D)為(5-10)第59頁(yè)，共95頁(yè)，2023年，2月20日，星期四

2.歐幾里得距離法為減少計(jì)算量，可采用直方圖的均值來(lái)粗略地表達(dá)顏色信息，對(duì)圖像的R、G、B三個(gè)分量，匹配的特征矢量f是(5-11)式中,μR、μG、μB分別是R、G、B三個(gè)分量直方圖的0階距。此時(shí)查詢圖像Q和數(shù)據(jù)庫(kù)圖像D之間的匹配值為(5-12)第60頁(yè)，共95頁(yè)，2023年，2月20日，星期四3.中心矩法對(duì)直方圖來(lái)說(shuō)，均值為0階矩，更高階的矩也可使用。設(shè)用 分別表示查詢圖像Q的R、G、B三個(gè)分量直方圖的i(i≤3)階中心矩；用 分別表示數(shù)據(jù)庫(kù)圖像D的R、G、B三個(gè)分量直方圖的i(i≤3)階中心矩，則它們之間的匹配值為式中，WR，WG，WB為加權(quán)系數(shù)。第61頁(yè)，共95頁(yè)，2023年，2月20日，星期四

4.參考顏色法歐幾里得距離法太粗糙，直方圖相交法計(jì)算量太大，一種折衷的方法是將圖像顏色用一組參考色表示，這組參考色應(yīng)能覆蓋視覺(jué)上可感受到的各種顏色。參考色的數(shù)量要比原圖像少，這樣可計(jì)算簡(jiǎn)化的直方圖，所以匹配的特征矢量是f=［r1,r2…rN］T (5-14)式中：ri是第i種顏色出現(xiàn)的頻率，N是參考顏色表的尺寸。加權(quán)后的查詢圖像Q和數(shù)據(jù)庫(kù)圖像D之間的匹配值為(5-15)第62頁(yè)，共95頁(yè)，2023年，2月20日，星期四式中：前面4種方法中，后3種主要是從減少計(jì)算量的角度對(duì)第1種方法進(jìn)行簡(jiǎn)化，但直方圖相交法還有另外一個(gè)問(wèn)題。當(dāng)圖像中的特征并不能取遍所有的可取值時(shí)，統(tǒng)計(jì)直方圖中會(huì)出現(xiàn)一些零值。這些零值的出現(xiàn)會(huì)給直方圖的相交帶來(lái)影響，從而使得由式(5-10)求得的匹配值并不能正確反映兩圖間的顏色差別。第63頁(yè)，共95頁(yè)，2023年，2月20日，星期四

5.閔可夫斯基距離法若兩幅圖像Q和D的直方圖分別為HQ和HK，則顏色直方圖匹配的計(jì)算方法可以利用度量空間的閔可夫斯基 (λ=1,也叫“街坊”（CityBlock）距離)，按如下方法進(jìn)行匹配(5-16)第64頁(yè)，共95頁(yè)，2023年，2月20日，星期四

R、G、B圖像顏色是由不同亮度的紅、綠、藍(lán)三基色組成，因此式(5-16)可以改寫成：(5-17)式(5-17)在具體實(shí)施時(shí)，必須從所讀取的各像素顏色值中分離出R、G、B三基色的亮度值。這種方法進(jìn)行顏色匹配的例子如圖5-16（c）所示。第65頁(yè)，共95頁(yè)，2023年，2月20日，星期四如前所述，由于直方圖丟失了顏色的位置信息，因此兩幅圖像可能內(nèi)容完全不同，但直方圖相似。所以，僅用簡(jiǎn)單的顏色直方圖匹配也容易造成誤識(shí)別。一種改進(jìn)的方法是將圖像劃分成若干子塊，分別對(duì)各子塊進(jìn)行匹配。1991年，A.Nagasaka和Y.Tanaka提出了一種將視頻幀或圖像分割成4×4相同大小的子塊并比較相應(yīng)子塊的方法。這種方法對(duì)兩幅視頻幀或圖像的相應(yīng)子塊進(jìn)行比較，廢棄差別最大的一對(duì)，其余的比較結(jié)果參與最后的識(shí)別。B.Shahraray也曾提出類似的方法：將視頻幀或圖像分割成子塊并進(jìn)行塊匹配，對(duì)所有子塊匹配的結(jié)果采用一種非線性的統(tǒng)計(jì)算法進(jìn)行綜合評(píng)價(jià)。由于子塊的位置固定，各子塊的直方圖在一定程度上反映了顏色的位置特征，因此子塊劃分與匹配的方法可以對(duì)物體運(yùn)動(dòng)、攝像機(jī)運(yùn)動(dòng)、鏡頭縮放等情況有更好的適應(yīng)性。第66頁(yè)，共95頁(yè)，2023年，2月20日，星期四6.X2直方圖匹配X2直方圖匹配的計(jì)算公式如下：(5-18)對(duì)于R、G、B圖像，X2直方圖匹配的計(jì)算公式又可以變?yōu)?5-19)第67頁(yè)，共95頁(yè)，2023年，2月20日，星期四X2直方圖匹配與模板匹配或顏色直方圖匹配相比具有更好的識(shí)別率，識(shí)別鏡頭切換(AbruptSceneChange)上效果良好。A.Nagasaka和Y.Tanaka通過(guò)對(duì)灰度和、灰度模板匹配、灰度直方圖匹配、彩色模板匹配、顏色直方圖匹配和X2直方圖匹配六種匹配方法進(jìn)行了實(shí)驗(yàn)比較。結(jié)果表明，采用圖像分塊加上X2直方圖匹配在鏡頭切換識(shí)別上具有很好的效果，但對(duì)鏡頭漸變識(shí)別效果不好。第68頁(yè)，共95頁(yè)，2023年，2月20日，星期四5.4.3形狀匹配形狀也是描述圖像內(nèi)容的一個(gè)重要特征，利用形狀進(jìn)行匹配需要考慮三個(gè)問(wèn)題。首先，形狀常與目標(biāo)聯(lián)系在一起，所以相對(duì)于顏色，形狀特征可以看作是更高層次的圖像特征。要獲得有關(guān)目標(biāo)的形狀參數(shù)，常常要先對(duì)圖像進(jìn)行分割，所以形狀特征會(huì)受圖像分割效果的影響。其次，目標(biāo)形狀的描述是一個(gè)非常復(fù)雜的問(wèn)題，至今還沒(méi)有找到能與人的感覺(jué)相一致的圖像形狀的確切數(shù)學(xué)定義。最后，從不同視角獲取的圖像中目標(biāo)形狀可能會(huì)有很大差別，為準(zhǔn)確進(jìn)行形狀匹配，需要解決平移、尺度、旋轉(zhuǎn)變換不變性的問(wèn)題。第69頁(yè)，共95頁(yè)，2023年，2月20日，星期四目前，常用的形狀匹配方法主要有幾何參數(shù)法（Niblack，1993）、（Scassellati，1994）、特征模表示法（Pentland，PicardandSclaroff，1996）、不變矩法（Mehtre，1997）、邊界方向直方圖法（Jain，1996）、小波重要系數(shù)法（Jacobs，1995）、小波輪廓表示法（楊翔英、章毓晉，1999）等。第70頁(yè)，共95頁(yè)，2023年，2月20日，星期四目標(biāo)的形狀常常可以用目標(biāo)的輪廓來(lái)表示，而輪廓是由一系列邊界點(diǎn)所組成的。一般認(rèn)為，在較大尺度下常常能較可靠地消除誤檢并檢測(cè)到真正的邊界點(diǎn)，但在大尺度下對(duì)邊界的定位不易準(zhǔn)確。相反，在較小尺度下對(duì)真正邊界點(diǎn)的定位常比較準(zhǔn)確，但在小尺度下誤檢的比例會(huì)增加。所以，可考慮先在較大尺度下檢測(cè)出真正的邊界點(diǎn)，再在較小尺度下對(duì)真正邊界點(diǎn)進(jìn)行較精確的定位。小波變換和分析作為一種多尺度、多通道分析工具，比較適合對(duì)圖像進(jìn)行多尺度的邊界檢測(cè)，可參考有關(guān)文獻(xiàn)。第71頁(yè)，共95頁(yè)，2023年，2月20日，星期四5.5投影法與差影法5.5.1投影法顧名思義，投影法就是把圖像在某一方向（常用的是水平方向和垂直方向）上進(jìn)行投影。在投影圖上便可反映出圖像中目標(biāo)對(duì)象的位置、尺寸等信息。圖5-17是一幅圖像分別在水平方向和垂直方向上的投影。可以看出投影法是一種很自然的方法，有點(diǎn)像灰度直方圖。為了得到更好的效果，投影法經(jīng)常和閾值化一起使用。由于噪聲點(diǎn)對(duì)投影有一定的影響，所以處理前最好先做一次平滑，去除噪聲，然后進(jìn)行閾值化處理，再對(duì)閾值化后的二值圖像在某個(gè)方向上進(jìn)行投影運(yùn)算。第72頁(yè)，共95頁(yè)，2023年，2月20日，星期四圖5-17投影法第73頁(yè)，共95頁(yè)，2023年，2月20日，星期四圖5-18華盛頓紀(jì)念碑圖第74頁(yè)，共95頁(yè)，2023年，2月20日，星期四圖5-19閾值化后的華盛頓紀(jì)念碑第75頁(yè)，共95頁(yè)，2023年，2月20日，星期四圖5-20垂直方向投影第76頁(yè)，共95頁(yè)，2023年，2月20日，星期四5.5.2差影法1.圖像的代數(shù)運(yùn)算圖像的代數(shù)運(yùn)算是指對(duì)兩幅輸入圖像進(jìn)行點(diǎn)對(duì)點(diǎn)的加、減、乘、除四則運(yùn)算而得到輸出圖像的運(yùn)算。如果記輸入圖像為A(x,y)和B(x,y)，輸出圖像為C(x,y)，則四種圖像代數(shù)運(yùn)算的表達(dá)式如下：C(x,y)＝A(x,y)＋B(x,y)C(x,y)＝A(x,y)－B(x,y)C(x,y)＝A(x,y)×B(x,y)C(x,y)＝A(x,y)／B(x,y)第77頁(yè)，共95頁(yè)，2023年，2月20日，星期四另外，還可通過(guò)適當(dāng)?shù)慕M合，形成涉及幾幅圖像的復(fù)合代數(shù)運(yùn)算方程。圖像相加一般用于對(duì)同一場(chǎng)景的多幅圖像求平均，以便有效地降低加性噪聲。通常，圖像采集系統(tǒng)中采集圖像時(shí)有這樣的參數(shù)可供選擇。其實(shí)，直接采集的圖像品質(zhì)較好，不需要這樣的處理，但是對(duì)于經(jīng)過(guò)長(zhǎng)距離模擬通信方式傳送的圖像（如太空航天器傳回的星際圖像）這種處理是不可缺少的。但利用求平均法降低噪聲信號(hào)，提高信噪比的方法，只有當(dāng)噪聲可以用同一個(gè)獨(dú)立分布的隨機(jī)模型描述時(shí)才會(huì)有效。第78頁(yè)，共95頁(yè)，2023年，2月20日，星期四圖像相減常用于檢測(cè)變化及運(yùn)動(dòng)物體，圖像相減運(yùn)算又稱為圖像差分運(yùn)算。差分方法可以分為控制環(huán)境下的簡(jiǎn)單差分方法和基于背景模型的差分方法。在控制環(huán)境下，或者在很短的時(shí)間間隔內(nèi)，可以認(rèn)為背景是固定不變的，可以直接使用差分運(yùn)算檢測(cè)變化及運(yùn)動(dòng)的物體。這種方法與閾值化處理結(jié)合往往是建立機(jī)器視覺(jué)系統(tǒng)最有效的方法之一。在相對(duì)穩(wěn)定的環(huán)境下，可以假設(shè)背景變化緩慢，且符合一定的分布規(guī)律，通過(guò)建立背景模型，實(shí)施差分方法來(lái)檢測(cè)運(yùn)動(dòng)物體，也可獲得很好的效果。第79頁(yè)，共95頁(yè)，2023年，2月20日，星期四乘法運(yùn)算可以用來(lái)實(shí)現(xiàn)掩模處理，即屏蔽掉圖像的某些部分。此外由于時(shí)域的卷積和相關(guān)運(yùn)算與頻域的乘積運(yùn)算對(duì)應(yīng)，因此乘法運(yùn)算有時(shí)也作為一種技巧來(lái)實(shí)現(xiàn)卷積或相關(guān)處理。除法運(yùn)算可用于校正成像設(shè)備的非線性影響，在特殊形態(tài)的圖像（如CT等醫(yī)學(xué)圖像）處理中用到。第80頁(yè)，共95頁(yè)，2023年，2月20日，星期四2.差影法所謂差影法，實(shí)際上就是圖像的相減運(yùn)算(又稱減影技術(shù))，是指把同一景物在不同時(shí)間拍攝的圖像或同一景物在不同波段的圖像相減。差值圖像提供了圖像間的差異信息，能用以指導(dǎo)動(dòng)態(tài)監(jiān)測(cè)、運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤、圖像背景消除及目標(biāo)識(shí)別等。其算法流程圖如圖5-21所示。第81頁(yè)，共95頁(yè)，2023年，2月20日，星期四圖5-21差影法檢測(cè)變化目標(biāo)流程圖第82頁(yè)，共95頁(yè)，2023年，2月20日，星期四差影法是非常有用的，比如說(shuō)可以用在監(jiān)控系統(tǒng)中。在銀行金庫(kù)內(nèi)，攝像頭每隔一小段時(shí)間拍攝一幅圖像，并與上一幅圖像做差影，如果圖像差別超過(guò)了預(yù)先設(shè)置的閾值，說(shuō)明有異常情況發(fā)生，這時(shí)就應(yīng)該拉響警報(bào)。在利用遙感圖像進(jìn)行動(dòng)態(tài)監(jiān)測(cè)時(shí)，用差值圖像可以發(fā)現(xiàn)森林火災(zāi)、洪水泛濫，監(jiān)測(cè)災(zāi)情變化及估計(jì)損失等；也能用來(lái)監(jiān)測(cè)河口、海岸的泥沙淤積及監(jiān)視江河、湖泊、海岸等的污染。利用差值圖像還能鑒別出耕地及不同的作物覆蓋情況。第83頁(yè)，共95頁(yè)，2023年，2月20日，星期四利用差影技術(shù)消除圖像背景也有很明顯的效果。例如，在血管造影技術(shù)中，腎動(dòng)脈造影術(shù)對(duì)診斷腎臟疾病就有獨(dú)特效果。為了減少誤診，人們希望提供反映游離血管的清晰圖像。通常的腎動(dòng)脈造影在造影劑注入后，雖然能夠看出腎動(dòng)脈血管的形狀及分布，但由于腎臟周圍血管受到脊椎及其他組織影像的重疊，難以得到理想的游離血管圖像。對(duì)此，可攝制出腎動(dòng)脈造影前后的兩幅圖像，相減后就能把脊椎及其他組織的影像去掉，而僅保留血管圖像。類似的技術(shù)也可用于診斷印刷線路板及集成電路掩模的缺陷。電影特技中應(yīng)用的“藍(lán)幕”技術(shù)，其實(shí)也包含差影法的原理。第84頁(yè)，共95頁(yè)，2023年，2月20日，星期四圖像在作差影法運(yùn)算時(shí)必須使兩相減圖像的對(duì)應(yīng)像點(diǎn)位于空間同一目標(biāo)點(diǎn)上。否則，必須先作幾何校正與配準(zhǔn)。當(dāng)將一個(gè)場(chǎng)景中系列圖像相減用來(lái)檢測(cè)運(yùn)動(dòng)或其他變化時(shí)，難以保證準(zhǔn)確對(duì)準(zhǔn)。這時(shí)就需要更進(jìn)一步的考慮。假定差圖像由下式給定：(5-20)如果Δx很小，那么上式可以近似為(5-21)第85頁(yè)，共95頁(yè)，2023年，2月20日，星期四注意到 本身也是一幅圖像，我們將其直方圖以H′(D)表示。因此，由式(5-21)表示的位移差圖像的直方圖為(5-22)由式（5-22）可知，減去稍微有些不對(duì)準(zhǔn)的一幅圖像的復(fù)制品可得到偏導(dǎo)數(shù)圖像。偏導(dǎo)數(shù)的方向?yàn)閳D像位移的方向。第86頁(yè)，共95頁(yè)，2023年，2月20日，星期四根據(jù)以上理論，利用VC++可以編寫出實(shí)現(xiàn)圖像加減運(yùn)算的函數(shù)，其核心代碼如下://*****************************************//函數(shù)名稱：voidAddBuffer()//基本功能：本函數(shù)對(duì)傳入的兩幅圖像數(shù)據(jù)進(jìn)行加操作//參數(shù)說(shuō)明：unsignedchar*pOut指向輸出圖像數(shù)據(jù)的指針// unsignedchar*pIn 指向輸入圖像數(shù)據(jù)的指針// LONGlSize 圖像數(shù)據(jù)的大小（nWidthBytes*nHeight）//返回值：無(wú)//注意：此函數(shù)聲明為保護(hù)型，只能在CAreaPro類中使用//*****************************************第87頁(yè)，共95頁(yè)，2023年，2月20日，星期四voidCAreaPro::MinusBuffer(unsignedchar*pO