關(guān)于圖像匹配的綜述

1、關(guān)于圖像匹配的綜述1. 圖像匹配的背景及定義1.1 圖像匹配的背景及意義圖像匹配技術(shù)廣泛的應(yīng)用于日常生活中的諸多領(lǐng)域， 如醫(yī)療診斷中各種醫(yī)學(xué)圖片的分析與識(shí)別、遙感圖片識(shí)別、天氣預(yù)報(bào)中的衛(wèi)星云圖識(shí)別、指紋識(shí)別、人臉識(shí)別等。圖像匹配技術(shù)主要指通過(guò)計(jì)算機(jī)， 采用數(shù)學(xué)技術(shù)方法， 對(duì)獲取的圖像按照特定目的進(jìn)行相應(yīng)的處理。 圖像匹配技術(shù)是人工智能的一個(gè)重要分支和應(yīng)用， 隨著計(jì)算機(jī)技術(shù)及人工智能技術(shù)的發(fā)展， 圖像識(shí)別技術(shù)逐漸成為人工智能的基礎(chǔ)技術(shù)之一。 它涉及的技術(shù)領(lǐng)域相當(dāng)?shù)膹V泛， 也越來(lái)越深入， 其基本分析方法也隨著數(shù)學(xué)工具的不斷進(jìn)步而不斷發(fā)展。 現(xiàn)在， 圖像識(shí)別技術(shù)的應(yīng)用范圍己經(jīng)不僅僅局限于視覺(jué)的范圍，

2、也體現(xiàn)在機(jī)器智能和數(shù)字技術(shù)等方面。1.2 圖像匹配的定義所謂圖像匹配是指在一幅（或一批） 圖像中尋找與給定目標(biāo)圖像相似的圖像或者圖像區(qū)域（子圖像 ） 的過(guò)程。通常將已知目標(biāo)圖像稱(chēng)為模板圖像，而將待搜索圖像中可能與它對(duì)應(yīng)的子圖稱(chēng)作該模板的待匹配的目標(biāo)圖像。 圖像匹配是在來(lái)自不同時(shí)間或者不同視角的同一場(chǎng)景的兩幅或多幅圖像之間尋找對(duì)應(yīng)關(guān)系，該技術(shù)隸屬于計(jì)算機(jī)視覺(jué)哺領(lǐng)域。圖像匹配的具體應(yīng)用包括目標(biāo)或場(chǎng)景識(shí)別、在多幅圖像中求解3D 結(jié)構(gòu)、立體對(duì)應(yīng)和運(yùn)動(dòng)跟蹤等。由于拍攝時(shí)間、 拍攝角度、 自然環(huán)境的變化， 多種傳感器的使用、 傳感器本身的缺陷及噪聲等影響，拍攝的圖像會(huì)存在灰度失真和幾何畸變。 同時(shí)， 圖像

3、預(yù)處理過(guò)程會(huì)引入的誤差， 這都是導(dǎo)致模板圖像與待匹配的目標(biāo)圖像之間通常存在著一定程度上的差異。在這種情況下，如何使匹配算法精度高、正確匹配率高、速度快和抗干擾性強(qiáng)成為人們關(guān)心的問(wèn)題。2. 圖像匹配算法的分類(lèi)圖像匹配算法的選取對(duì)圖像匹配結(jié)果的影響很大。實(shí)用的匹配算法不僅要求計(jì)算量小，還必須具有良好的抗噪能力和抗幾何形變的能力。 通常情況下， 圖像匹配算法可以分為以下兩大類(lèi)：基于灰度相關(guān)的匹配算法、基于特征的圖像匹配算法。1） 基于灰度分布的相關(guān)匹配算法， 也稱(chēng)為基于區(qū)域的匹配方法。 常見(jiàn)的基于圖像灰度的匹配方法有： （ 1）歸一化灰度相關(guān)匹配、 （ 2 ）最小二乘影像匹配、和（3）序貫相似性檢測(cè)

4、法匹配等。 該類(lèi)算法直接利用整幅圖像的灰度信息， 建立兩幅圖像之間的相似性度量， 然后采在灰度及幾何畸變用某種搜索方法， 尋找使相似性度量值最大或最小的變換模型的參數(shù)值。不大的情況下有較好的估計(jì)精度和魯棒性，抗噪能力強(qiáng)。但是它運(yùn)算量大、 速度慢、抗灰度及幾何畸變能力較弱。難以達(dá)到實(shí)時(shí)要求，一旦進(jìn)入信息貧乏的區(qū)域， 會(huì)導(dǎo)致誤匹配率上升。 如歸一化積相關(guān)匹配算法，該算法是一種典型的基于灰度相關(guān)的圖像匹配算法，該算法在應(yīng)用于異類(lèi)圖像的配準(zhǔn)時(shí)存在一定的不足。2）基于特征的匹配算法。常見(jiàn)的特征有物理特征、邊緣、不變矩、局部嫡差以及變換域特 征等?；谔卣鞯钠ヅ渌惴m然抗次度和幾何畸變能力強(qiáng)，但其噪聲抑制

5、能力較弱。圖像的特征提取是特征匹配算法的關(guān)鍵問(wèn)題，它直接關(guān)系到匹配算法的好壞。此外，為了加快圖像匹配速度，人們提出將小波分析方法應(yīng)用于圖像匹配中。但遺憾的是，小波分析在一維時(shí)所具有的優(yōu)異特性并不能簡(jiǎn)單的推廣到二維甚至高維，可分離小波只具有有限的方向，不能最優(yōu)表示含線(xiàn)或者面奇異的高維函數(shù)，多尺度幾何分析方法也就應(yīng)運(yùn)而生。基于變換域的匹配方法有（1）不變矩匹配法、（2）距離變換匹配法和（3）基于小波變換的匹配等，這些匹配 方法對(duì)噪聲不敏感，檢測(cè)結(jié)果不受光照變化影響，可以較好的處理圖像之間的尺度和旋轉(zhuǎn)變 化?；谀Ｐ偷钠ヅ浞椒ㄔ谟?jì)算機(jī)視覺(jué)領(lǐng)域中的應(yīng)用非常廣泛，它可以分為剛體形狀匹配和變形模板匹配兩大

6、類(lèi)。Kass提出的Snake主動(dòng)輪廓模型是比較典型的自由式變形模板模型。由于不受全局結(jié)構(gòu)的限制，所以Snake模型能表示任意的形狀，但是該模型對(duì)于模板的初始 位置和噪聲比較敏感，對(duì)于凹邊緣的收斂性較差，而且容易陷入局部最小值。2.1基于灰度分布的相關(guān)匹配算法（1）歸一化灰度相關(guān)匹配歸一化積相關(guān)是一種典型的基于灰度相關(guān)的算法，具有不受比例因子誤差的影響和抗白噪聲干擾能力強(qiáng)等優(yōu)點(diǎn)，它使用的相似性度量定義如下：（） ，-公式通過(guò)比較參考圖像和輸入圖像在各個(gè)位置的相關(guān)系數(shù)，相關(guān)值最大的點(diǎn)就是最佳匹配位置。 歸一化積相關(guān)匹配算法實(shí)現(xiàn)的步驟描述如下：1獲得帶匹配圖像、模版圖像數(shù)據(jù)的地址、存儲(chǔ)的高度和寬度。

7、2建立一個(gè)目標(biāo)圖像指針，并分配內(nèi)存，以保存匹配完成后的圖像，將帶匹配圖像復(fù)制到目標(biāo)圖像中。3逐個(gè)掃描圖像中的像素點(diǎn)對(duì)應(yīng)的摸板子圖，根據(jù)公式1求出每一個(gè)像素點(diǎn)位置的逐一化積 相關(guān)函數(shù)值，找到圖像中最大歸一化函數(shù)值的出現(xiàn)位置，記錄像素點(diǎn)的位置。4 將目標(biāo)圖像多有的像素值減半以便和原圖區(qū)別，把模板圖像復(fù)制到目標(biāo)圖像中步驟 3 中記錄的像素點(diǎn)位置。( 2 )最小二乘影像匹配乘法在影像匹配中的應(yīng)用是20 世紀(jì) 80 發(fā)展起來(lái)的。 德國(guó) Ackermann 教授提出了一種新的影像匹配方法- 最小二乘影像匹配， 由于該方法充分利用了影像窗口內(nèi)的信息進(jìn)行平差計(jì)算，使影像匹配可以達(dá)到 1/10 甚至 1/100

8、 像素的高精度，即影像匹配精度可達(dá)到子像素等級(jí)。 為此， 最小二乘影像匹配被稱(chēng)為”高精度影像匹配”， 但也有人習(xí)慣于稱(chēng)其為”高精度影像相關(guān)”。最小二乘法是處理各種觀測(cè)數(shù)據(jù)進(jìn)行測(cè)量平差的一種基本方法。如果以不同精度多次觀測(cè)一個(gè)或多個(gè)未知量， 為了求定各未知量的最可靠值， 各觀測(cè)量必須加改正數(shù)， 使其改正數(shù)的平方乘以觀測(cè)值的權(quán)數(shù)的總和為最小因此稱(chēng)作最小二乘法。 所謂 “權(quán)” 就是表示觀測(cè)結(jié)果質(zhì)量相對(duì)可靠程度的一種權(quán)衡值。其算法實(shí)現(xiàn)設(shè)計(jì)如下：首先在左影像中選擇一個(gè)適當(dāng)大小的區(qū)域，作為匹配的目標(biāo)區(qū)。目標(biāo)區(qū)的大小按照實(shí)際情況而定， 不宜過(guò)大也不宜過(guò)小。過(guò)大就會(huì)使匹配準(zhǔn)確度降低，也會(huì)增加運(yùn)算量， 使匹配效

9、率降低 ; 過(guò)小會(huì)導(dǎo)致參與平差計(jì)算的像素點(diǎn)數(shù)目不足， 從而會(huì)影響最小二乘法計(jì)算出的參數(shù)不能滿(mǎn)足要求 因此，合適的目標(biāo)區(qū)域是非常重要的。選擇完目標(biāo)區(qū)后即確定了以左影像為基準(zhǔn)，利用變換參數(shù)對(duì)右影像進(jìn)行幾何變換和輻射變換，變換模型如下:()+()=+()+()-公式 2其中 () ，() 為偶然誤差，而右影像坐標(biāo)與左影像坐標(biāo)間的關(guān)系為：=+=+-公式 3最小二乘影像匹配算法可分為以下幾個(gè)步驟來(lái)理解:第一步 : 先將目標(biāo)區(qū)各個(gè)像素點(diǎn)的坐標(biāo)按公式3 進(jìn)行變換， 如圖 1 所示。 目標(biāo)區(qū)經(jīng)過(guò)變換后，在右影像中的形狀和位置的情況( 下圖中的變換參數(shù)取的是初始值， 因此右影像中的區(qū)域形狀與目標(biāo)區(qū)相比，沒(méi)有發(fā)生

10、變形) 。同左影像片影悻圖1選取的目標(biāo)區(qū)域與經(jīng)參數(shù)變換后的影像對(duì)比圖第二步：完成幾何畸變改正后，圖 中B區(qū)域內(nèi)每個(gè)像素點(diǎn)的坐標(biāo)值一般都不會(huì)為整數(shù)， 因此需要灰度重采樣(第一次幾何畸變改正后， 只需讀取該區(qū)域中的各像素點(diǎn)在右影像中的 灰度值即可)，可以采用間接法重采樣， 即對(duì)區(qū)域中的每個(gè)像素點(diǎn)用雙線(xiàn)性?xún)?nèi)插的方法計(jì)算 其灰度值，將計(jì)算后得到的灰度值賦給 B區(qū)域中的對(duì)應(yīng)像素點(diǎn)，像素點(diǎn)的坐標(biāo)值與目標(biāo)區(qū) 域中像素點(diǎn)的坐標(biāo)值是對(duì)應(yīng)的。第三步：對(duì)于重采樣后的像素點(diǎn)用(2)式進(jìn)行輻射畸變的改正，按照假設(shè)此時(shí)B區(qū)域的各像素點(diǎn)的灰度值估值應(yīng)該與目標(biāo)區(qū)域?qū)?yīng)像素點(diǎn)的灰度值估值相等。可以用下式表示：()二+()公式

11、4第四步：按照最小二乘影像匹配算法計(jì)算出畸變參數(shù)的改正值，從而計(jì)算出畸變參數(shù)。接著計(jì)算目標(biāo)區(qū)域與 B區(qū)域的相關(guān)系數(shù)，由于匹配過(guò)程是一個(gè)迭代過(guò)程，因此此次計(jì)算的相關(guān) 系數(shù)若大于上一次的相關(guān)系數(shù)，就可以認(rèn)為匹配結(jié)束。否則用計(jì)算得出的畸變參數(shù)重新進(jìn)行 計(jì)算，得到新的B區(qū)域灰度值再次計(jì)算相關(guān)系數(shù)并判斷迭代是否結(jié)束。以上過(guò)程可以認(rèn)為 B區(qū)域中的小區(qū)域影像是每次用畸變參數(shù)計(jì)算后的更加接近匹配區(qū) 域的小區(qū)域影像代替后得到的。隨著畸變參數(shù)的不斷變化，B區(qū)域中的小區(qū)域影像就無(wú)限接近于匹配區(qū)域的影像， 通過(guò)計(jì)算最佳匹配點(diǎn)坐標(biāo)，就可以得出目標(biāo)區(qū)與右影像的最佳同名點(diǎn)的坐標(biāo)。最小二乘影像匹配算法匹配精度高，能夠很方便地

12、引入變形參數(shù)進(jìn)行整體平差，從而抵消左右影像之間的幾何差異和輻射差異，既考慮了輻射誤差對(duì)影像匹配的影響，同時(shí)也考慮如目標(biāo)點(diǎn)與最了幾何畸變對(duì)影像匹配的影響。 避免了只考慮灰度的匹配方法出現(xiàn)的誤匹配， 終計(jì)算得出的匹配點(diǎn)。 雖然灰度相似性很大， 但它們可能并不是同名點(diǎn)， 因?yàn)樗鼈兊膸缀挝恢每赡艽嬖诤艽蟮牟町悾?而最小二乘影像匹配的方法由于考慮了目標(biāo)區(qū)與匹配區(qū)的幾何畸變， 所以能有效地避免此類(lèi)問(wèn)題的產(chǎn)生。（ 3 ）序貫相似性檢測(cè)法匹配序貫相似性檢測(cè)算法（ SSDA是針對(duì)傳統(tǒng)模板匹配算法提出的一種高效的圖像匹配算法在進(jìn)行每一個(gè)搜索窗口的匹配相關(guān)運(yùn)算時(shí)，合理的計(jì)算間隔，檢測(cè)當(dāng)前所得的相關(guān)結(jié)果和SSDA閾彳

13、t T的比較關(guān)系。SSDA算法是用作為匹配尺度的。在圖像 f（x,y ）中的點(diǎn)（u, v）的非相似度 m（ u,v ）用如下式子計(jì)算。-公式 5式中，點(diǎn)（u, v）表示的不是模板的中央，而是左上角位置。如果在（u, v）處有和模板一致的圖案時(shí)，則 m （u, v）值很小，相反則 m （u, v）值很大。特別是模板和圖像完全不一致的時(shí)候，如果在模板的各像素上與圖像的灰 度差的絕對(duì)值一次增加下去，其和就會(huì)急劇地增大。因此，在做加法的過(guò)程中，如果灰度差的部分和超過(guò)了某一閾值時(shí)，就認(rèn)為在位置上和模板一致的圖案不存在，從而轉(zhuǎn)移到下一個(gè)位置上進(jìn)行m（ u ， v ） 的計(jì)算。 包括 m（ u ， v ）

14、在內(nèi)的計(jì)算只是加減運(yùn)算，而且這一計(jì)算大多數(shù)中途便停止了， 因此可大幅度地縮短時(shí)間。 為了盡早的停止計(jì)算， 可以隨機(jī)的選擇像素的位置進(jìn)行灰度差的計(jì)算。圖像的序貫相似性算法實(shí)現(xiàn)的步驟描述如下：1 獲得帶匹配圖像、模板圖像數(shù)據(jù)的地址、存儲(chǔ)的高度和寬度。2 建立一個(gè)目標(biāo)圖像指針，并分配內(nèi)存，以保存圖像匹配后的圖像，將帶匹配圖像復(fù)制到目標(biāo)圖像中。3 逐個(gè)掃描源圖像中的像素點(diǎn)所對(duì)應(yīng)的摸板子圖，根據(jù)公式 6 求出每一個(gè)像素點(diǎn)位置的絕對(duì)誤差值，當(dāng)累加絕對(duì)誤差值超過(guò)閾值時(shí)，停止累加，記錄像素點(diǎn)的位置和累加 的次數(shù)。- 公式 64 循環(huán)步驟 3 ，直到處理完源圖像的全部像素點(diǎn)，累加次數(shù)最少的像素點(diǎn)為最佳匹配點(diǎn)。5

15、 將目標(biāo)圖像所有像素值減半以便和原圖區(qū)別，把模板圖像復(fù)制到目標(biāo)圖像中步驟 4記錄的像素點(diǎn)位置。6 .2 基于特征的相關(guān)匹配算法( 1 ) 不變矩匹配法在圖像處理中， 矩是一種統(tǒng)計(jì)特性， 可以使用不同階次的矩計(jì)算模板的位置、 方向和尺度變換參數(shù)。 由于高階對(duì)噪聲和變形非常敏感， 因此在實(shí)際應(yīng)用中通常選用低階矩來(lái)實(shí)現(xiàn)圖像匹配。矩定義為p,q=0,1,2,- 公式 7其中， p 和 q 可以取所有的非負(fù)整數(shù)值；參數(shù)p+q 成為矩的階。由于 p 和 q 可取所有的非負(fù)整數(shù)值，他們產(chǎn)生一個(gè)矩的無(wú)限集。而且，這個(gè)集合完全可以卻都函數(shù)f (x, y)本身。也就是說(shuō)，集合對(duì)于函數(shù)f (x, y)是惟一的，也只

16、有f ( x ， y )才具有該特定的矩集。為了使矩描述與大小、 平移、 旋轉(zhuǎn)無(wú)關(guān)， 可以用二階和三階規(guī)格化中心距導(dǎo)出 7 個(gè)不變矩，不變矩描述分割出的區(qū)域時(shí)，具有對(duì)平移、旋轉(zhuǎn)和尺寸大小都不變的性質(zhì)。利用二階和三階規(guī)格化中心距導(dǎo)出的 7 個(gè)不變矩如下:+4+-+()()-+4()()+-3)公式8但是，上述幾種據(jù)特性的定義都不具有尺度不變形。通過(guò)歸一化刀、 和 ，實(shí)現(xiàn)了尺度不變形。圖像的不變矩匹配算法實(shí)現(xiàn)的步驟描述如下：1獲得待匹配圖像、模板圖像數(shù)據(jù)的地址、存儲(chǔ)的高度和寬度。2根據(jù)式8求出待匹配圖像和模板圖像的7個(gè)不變矩。3根據(jù)下式求出待匹配他圖像和模板圖像的相關(guān)值。 -公式9(2)距離變換匹

17、配法距離變換也是一種常見(jiàn)的二值圖像處理算法，用來(lái)計(jì)算圖像中任意位置到最近邊緣點(diǎn)的距離。其基本原理為：設(shè)二值圖像I包含兩種元素，物體 D和背景O,距離圖為D,則距離變換定義為D(p)=mindist(p,q),q O-公式 10其中，(p,q)為圖像的像素點(diǎn)，dist ()為距離測(cè)度函數(shù)，常見(jiàn)的距離測(cè)度函數(shù)有切削距離、 街區(qū)距離和歐氏距離。切削距離和街區(qū)距離是歐氏距離的一種近似。 對(duì)于兩幅而知圖像，定義其匹配誤差度量準(zhǔn)則為 -公式11其中，A, B分別是2個(gè)圖像中為“ 1 的像素點(diǎn)集合；a、b分別為A、B中的任一點(diǎn)； 、 分別是A、B中點(diǎn)的個(gè)數(shù)；而g ()是加權(quán)函數(shù)，他在x半軸上是連續(xù)遞增的，滿(mǎn)

18、足-公式12可以證明，有如下性質(zhì)：1=0;2當(dāng)兩個(gè)圖像完全一致時(shí)，=0,此時(shí)兩個(gè)圖像完全一樣；3由于g()對(duì)各點(diǎn)距離變換的值連續(xù)加權(quán)，當(dāng)兩個(gè)圖像間發(fā)生一定幾何失真時(shí)，不會(huì)突然增加，而是隨幾何失真程度地增強(qiáng)而逐漸增加。利用這一準(zhǔn)則可實(shí)現(xiàn)不同成像條件下的圖像匹配。首先在參考圖中任一可能匹配位置上截取與實(shí)測(cè)圖大小相同的圖像塊，然后對(duì)實(shí)測(cè)圖與各參考圖塊提取邊緣并作二值化，在采用上述準(zhǔn)則求出二值的匹配誤差。搜索完參考圖的每一個(gè)可能匹配位置，誤差最小的幾位配準(zhǔn)點(diǎn)。在匹配誤差準(zhǔn)則中，難點(diǎn)是的求取，如果對(duì)A中每個(gè)點(diǎn)a都做最近鄰搜索，計(jì)算量將很大。因此可以采用膨脹運(yùn)算與類(lèi)似“或“運(yùn)算來(lái)代替。將加權(quán)函數(shù)離散化：-

19、公式13將加權(quán)函數(shù)離散化，按照這個(gè)加權(quán)函數(shù)對(duì)參考土塊的二值化邊緣圖中每個(gè)點(diǎn)f進(jìn)行膨脹運(yùn)算如下：G (f) =g (f)-公式 14這樣，對(duì)A中點(diǎn)a,求取g (a)就轉(zhuǎn)化為求 A的膨脹圖，即對(duì)相應(yīng)的點(diǎn)進(jìn)行比較保留較小值。圖像的距離變化匹配算法實(shí)現(xiàn)的步驟如下：1獲得待匹配圖像、末班圖像數(shù)據(jù)的地址、存儲(chǔ)的高度和寬度；2建立一個(gè)目標(biāo)圖像指針，別分配內(nèi)存，以保存圖像匹配后的圖像，將待匹配圖像復(fù)制到目標(biāo)圖像中。3逐個(gè)掃描源圖像中的像素點(diǎn)所對(duì)應(yīng)的摸板子圖，根據(jù)公式13求出每一個(gè)像素點(diǎn)位置的最小距離值，記錄像素點(diǎn)的位置。4循環(huán)步驟3,直到處理完源圖像的全部像素點(diǎn)，距離最小的像素點(diǎn)為最佳匹配點(diǎn)。5將目標(biāo)圖像所有像素值減半以便和原圖區(qū)別，把模板圖像復(fù)制到目標(biāo)圖像中步驟4記錄的像素點(diǎn)位置。(3) 基于小波變換的模板匹配基于小波變換的模板匹配方法，即在經(jīng)典模板匹配方法的基礎(chǔ)上，在小波域進(jìn)行相關(guān)匹配。首先將待配準(zhǔn)的圖像與參考圖像分解成多級(jí)小波系數(shù)圖像.模板匹配在每一級(jí)低頻小波系數(shù)圖像上進(jìn)行，并對(duì)該圖像進(jìn)行配準(zhǔn)，最后通過(guò)小波逆變換生成最終的配準(zhǔn)結(jié)果?？梢愿纳颇０迤ヅ渌阉魍ㄟ^(guò)小波分解，由于模板搜索