圖像識別匹配技術(shù)原理

1、 第1章 緒論1.1 研究背景及意義數(shù)字圖像，又稱數(shù)碼圖像或數(shù)位圖像，是二維圖像用有限數(shù)字?jǐn)?shù)值像素的表示。通常，像素在計算機中保存為二維整數(shù)數(shù)組的光柵圖像，這些值經(jīng)常用壓縮格式進行傳輸和儲存。數(shù)字圖像可以由許多不同的輸入設(shè)備和技術(shù)生成，例如數(shù)碼相機、掃描儀、坐標(biāo)測量機等，也可以從任意的非圖像數(shù)據(jù)合成得到，例如數(shù)學(xué)函數(shù)或者三維幾何模型，三維幾何模型是計算機圖形學(xué)的一個主要分支。數(shù)字圖像處理領(lǐng)域就是研究它們的變換算法。數(shù)字圖像處理(Digital Image Processing)是通過計算機對圖像進行去除噪聲、增強、復(fù)原、分割、提取特征等處理的方法和技術(shù)。數(shù)字圖像處理的產(chǎn)生和迅速發(fā)展主要受三個因

2、素的影響:一是計算機的發(fā)展;二是數(shù)學(xué)的發(fā)展(特別是離散數(shù)學(xué)理論的創(chuàng)立和完善);三是廣泛的農(nóng)牧業(yè)、林業(yè)、環(huán)境、軍事、工業(yè)和醫(yī)學(xué)等方面的應(yīng)用需求的增長。圖像配準(zhǔn)(Image registration)就是將不同時間、不同傳感器(成像設(shè)備)或不同條件下(天候、照度、攝像位置和角度等)獲取的兩幅或多幅圖像進行匹配、疊加的過程，它已經(jīng)被廣泛地應(yīng)用于遙感數(shù)據(jù)分析、計算機視覺、圖像處理等領(lǐng)域。圖像配準(zhǔn)的方法迄今為止，在國內(nèi)外的圖像處理研究領(lǐng)域，已經(jīng)報道了相當(dāng)多的圖像配準(zhǔn)研究工作，產(chǎn)生了不少圖像配準(zhǔn)方法?？偟膩碚f，各種方法都是面向一定范圍的應(yīng)用領(lǐng)域，也具有各自的特點。比如計算機視覺中的景物匹配和飛行器定位系統(tǒng)

3、中的地圖匹配，依據(jù)其完成的主要功能而被稱為目標(biāo)檢測與定位，根據(jù)其所采用的算法稱之為圖像相關(guān)等等。基于灰度信息的圖像配準(zhǔn)方法一般不需要對圖像進行復(fù)雜的預(yù)先處理，而是利用圖像本身具有灰度的一些統(tǒng)計信息來度量圖像的相似程度。主要特點是實現(xiàn)簡單，但應(yīng)用范圍較窄，不能直接用于校正圖像的非線性形變，在最優(yōu)變換的搜索過程中往往需要巨大的運算量。經(jīng)過幾十年的發(fā)展，人們提出了許多基于灰度信息的圖像配準(zhǔn)方法，大致可以分為三類：互相關(guān)法（也稱模板匹配法）、序貫相似度檢測匹配法、交互信息法。目前主要圖像配準(zhǔn)方法有基于互信息的配準(zhǔn)方法，基于相關(guān)性的配準(zhǔn)方法和基于梯度的配準(zhǔn)方法。其中基于梯度的方法基本很少單獨使用，而作為

4、一個輔助性的測度與其它方法相結(jié)合起來使用。基于灰度的配準(zhǔn)算法是醫(yī)學(xué)圖像配準(zhǔn)研究的發(fā)展方向，也是目前研究的熱點之一?；诨叶鹊呐錅?zhǔn)方法與基于特征的配準(zhǔn)方法的區(qū)別在于前者沒有提取圖像特征的步驟，直接對圖像中的灰度進行處理。基于灰度的配準(zhǔn)方法計算復(fù)雜度高、對圖像的灰度、旋轉(zhuǎn)、形變以及遮擋都比較敏感?；叶认嚓P(guān)的配準(zhǔn)方法是從待拼接圖像的灰度值出發(fā),圖像拼接故而成為灰度相關(guān)的配準(zhǔn)算法的一個基礎(chǔ)。圖像拼接(image mosaic)技術(shù)是將一組相互間重疊部分的圖像序列進行空間匹配對準(zhǔn),經(jīng)重采樣合成后形成一幅包含各圖像序列信息的寬視角場景的、完整的、高清晰的新圖像的技術(shù)。圖像拼接在攝影測量學(xué)、計算機視覺、遙感

5、圖像處理、醫(yī)學(xué)圖像分析、計算機圖形學(xué)等領(lǐng)域有著廣泛的應(yīng)用價值?；叶认嚓P(guān)的圖像配準(zhǔn)算法在圖像處理技術(shù)中起著十分關(guān)鍵的作用，它是圖像處理技術(shù)得以發(fā)展的一個重要基礎(chǔ)。它推動著圖像處理技術(shù)在醫(yī)學(xué)、生物、信息處理和其他很多高科技領(lǐng)域內(nèi)的應(yīng)用，它已漸漸發(fā)展成社會生活中不可分離的一種技術(shù)，對于圖像處理技術(shù)發(fā)展及應(yīng)用具有重要意義。1.2 圖像配準(zhǔn)方法概述配準(zhǔn)技術(shù)的流程如下：首先對兩幅圖像進行特征提取得到特征點；通過進行相似性度量找到匹配的特征點對；然后通過匹配的特征點對得到圖像空間坐標(biāo)變換參數(shù)：最后由坐標(biāo)變換參數(shù)進行圖像配準(zhǔn)。而特征提取是配準(zhǔn)技術(shù)中的關(guān)鍵，準(zhǔn)確的特征提取為特征匹配的成功進行提供了保障。因此，尋

6、求具有良好不變性和準(zhǔn)確性的特征提取方法，對于匹配精度至關(guān)重要。圖像配準(zhǔn)的方式可以概括為相對配準(zhǔn)和絕對配準(zhǔn)兩種：相對配準(zhǔn)是指選擇多圖像中的一張圖像作為參考圖像，將其它的相關(guān)圖像與之配準(zhǔn)，其坐標(biāo)系統(tǒng)是任意的。絕對配準(zhǔn)是指先定義一個控制網(wǎng)格，所有的圖像相對于這個網(wǎng)格來進行配準(zhǔn)，也就是分別完成各分量圖像的幾何校正來實現(xiàn)坐標(biāo)系的統(tǒng)一。本文主要研究大幅面多圖像的相對配準(zhǔn)，因此如何確定多圖像之間的配準(zhǔn)函數(shù)映射關(guān)系是圖像配準(zhǔn)的關(guān)鍵。通常通過一個適當(dāng)?shù)亩囗検絹頂M合兩圖像之間的平移、旋轉(zhuǎn)和仿射變換，由此將圖像配準(zhǔn)函數(shù)映射關(guān)系轉(zhuǎn)化為如何確定多項式的系數(shù)，最終轉(zhuǎn)化為如何確定配準(zhǔn)控制。目前，根據(jù)如何確定的方法和圖像配準(zhǔn)

7、中利用的圖像信息區(qū)別可將圖像配準(zhǔn)方法分為三個主要類別：基于灰度信息法、變換域法和基于特征法，其中基于特征法又可以根據(jù)所用的特征屬性的不同而細(xì)分為若干類別。以下將根據(jù)這一分類原則來討論目前已經(jīng)報道的各種圖像配準(zhǔn)方法和原理。1.3 研究現(xiàn)狀國外從20世紀(jì)60年代就開始在圖像配準(zhǔn)領(lǐng)域進行研究，但直到1980年代才開始引起學(xué)者們的關(guān)注。到上世紀(jì)末，單模圖像配準(zhǔn)問題已基本解決，但多模圖像配準(zhǔn)由于涉及模式和領(lǐng)域的復(fù)雜性，仍需密切關(guān)注。國際上對圖像配準(zhǔn)技術(shù)曾做過調(diào)查，其結(jié)論是1990年代初技術(shù)就明顯增加。而國內(nèi)從1990年代初才開始涉足此領(lǐng)域。與灰度相關(guān)的圖像配準(zhǔn)算法是圖像配準(zhǔn)算法中比較經(jīng)典的一種，很多配準(zhǔn)

8、技術(shù)都以它為基礎(chǔ)進行延伸和擴展。針對多光譜遙感圖像，提出了一種基于局部灰度極值的配準(zhǔn)方法：通過在基準(zhǔn)圖像和待配準(zhǔn)圖像中同步尋找含有灰度極值的小區(qū)域，再用多項式對極值區(qū)域進行曲面擬合，最后，分別計算小區(qū)域的極值點作為特征點進行配準(zhǔn)。并用真實和模擬多光譜圖像進行了試驗結(jié)果顯示該課題提出具有算法簡單和配準(zhǔn)精度高的特點。這是與灰度相關(guān)圖像配準(zhǔn)算法有關(guān)的一個擴展應(yīng)用。1.4 研究問題及內(nèi)容本文在分析了灰度相關(guān)的圖像配準(zhǔn)算法中的線匹配法、比值匹配法和塊匹配法，利用這三種方法分別實現(xiàn)兩幅圖像在水平垂直位移上的配準(zhǔn)，而本課題研究的內(nèi)容是提出一種基于灰度相關(guān)的算法，不僅能實現(xiàn)兩幅圖在水平和垂直位移的配準(zhǔn)，同時也

9、能實現(xiàn)在繞光軸旋轉(zhuǎn)情況下的圖像配準(zhǔn)。這里提出了一種方法，多尺度模塊匹配法。在這三種匹配的環(huán)境下，它能實現(xiàn)水平垂直位移上的匹配、縮放以及旋轉(zhuǎn)。同時通過在Matlab編程環(huán)境下編程實現(xiàn)相關(guān)算法，通過實際圖像的配準(zhǔn)試驗，利用這些結(jié)論最終得到精確地配準(zhǔn)結(jié)果。20第2章 圖像配準(zhǔn)基本理論2.1 圖像配準(zhǔn)的基本介紹2.1.1 圖像配準(zhǔn)的描述圖像配準(zhǔn)是對取自不同時間，不同傳感器或不同視角的同一場景的兩幅圖像或者多幅圖像匹配的過程。圖像配準(zhǔn)廣泛用于多模態(tài)圖像分析，是醫(yī)學(xué)圖像處理的一個重要分支，也是遙感圖像處理，目標(biāo)識別，圖像重建，機器人視覺等領(lǐng)域中的關(guān)鍵技術(shù)之一，也是圖像融合中要預(yù)處理的問題，待融合圖像之間往

10、往存在偏移、旋轉(zhuǎn)、比例等空間變換關(guān)系，圖像配準(zhǔn)就是將這些圖像變換到同一坐標(biāo)系下，以供融合使用。2.1.2 圖像配準(zhǔn)的定義對于二維圖像配準(zhǔn)可定義為兩幅圖像在空間和灰度上的映射4，如果給定尺寸的二維矩陣和代表兩幅圖像，和分別表示相應(yīng)位置上的灰度值，則圖像間的映射可表示為：,式中表示一個二維空間坐標(biāo)變換，即，且是一維灰度變換。2.1.3 圖像配準(zhǔn)的步驟圖像配準(zhǔn)的基本過程可以分為三個步驟：第一步是為每一個圖像信息模式各定義一個坐標(biāo)系，然后再定義這些參考特征之間的失調(diào)或相似函數(shù)；第二步是分割出圖像的參考特征，再定義這些參數(shù)特征之間的失調(diào)或相似函數(shù)；第三步是應(yīng)用優(yōu)化算法，使第二步中失調(diào)（相似）函數(shù)達到全局

11、最?。ㄗ畲螅┲?，達到兩幅圖像的配準(zhǔn)。其中參考特征和對應(yīng)優(yōu)化算法的選擇是配準(zhǔn)的核心，也是不同配準(zhǔn)算法的差異所在。2.2 圖像配準(zhǔn)的相關(guān)概念2.2.1 配準(zhǔn)基準(zhǔn)通常，圖像配準(zhǔn)中根據(jù)配準(zhǔn)基準(zhǔn)的特性，可分為基于外部基準(zhǔn)的配準(zhǔn)和基于內(nèi)部基準(zhǔn)的配準(zhǔn)5，外部基準(zhǔn)是指強加于待配準(zhǔn)對象的各種人造標(biāo)記，這些標(biāo)記必須在各種配準(zhǔn)模式中都清晰可見且可準(zhǔn)確檢測到。內(nèi)部基準(zhǔn)是指由圖像本身得到的位置相對固定且圖像特征明晰的各種配準(zhǔn)標(biāo)識。2.2.2 映射變換與配準(zhǔn)區(qū)域設(shè)和表示兩幅待匹配的圖像，和分別表示兩幅圖像的密度函數(shù)，其中和分別表示在圖像和中的像素坐標(biāo)。圖像匹配就是要找到一個把圖像映射到圖像的變換,使得變換后的圖像和具有幾

12、何對應(yīng)性。這種映射變換有剛體變換、仿射變換、投影變換以及曲線變換等。配準(zhǔn)時的變換區(qū)域根據(jù)實際需要又分為局部配準(zhǔn)和全局配準(zhǔn)。局部變換一般很少直接使用，因為它會破壞圖像的局部連續(xù)性，且變換的雙映射性會影響圖像的再采樣。從近期關(guān)于圖像配準(zhǔn)方面的文章看，一般剛性和仿射多用于全局變換，而曲線變換多用于局部變換。2.2.3 配準(zhǔn)的交互性與優(yōu)化根據(jù)人的參與程序配準(zhǔn)又可分為全自動式，交互式和半自動式三種。全自動式中使用者僅需給相應(yīng)算法提供圖像數(shù)據(jù)以及圖像獲取的一些可能信息；交互式中使用者必須親自進行配準(zhǔn)，軟件僅給目前變換提供一個可視的或數(shù)字的感官印象以及初始變換的一個可能參數(shù)；半自動式中，交互式有兩種方式：一

13、種是使用者須初始化算法，如分割數(shù)據(jù)，另一種是指導(dǎo)算法，如拒絕或接受配準(zhǔn)假設(shè)。配準(zhǔn)變換的參數(shù)可以是直接計算出的，也可以是搜索計算出的。直接計算的最優(yōu)化方法一般已完全由實例決定，所能研究的工作也僅限于如何使用非常少的信息把此計算方法應(yīng)用于實際。搜索計算的最優(yōu)化方法大多都可以用待優(yōu)化的變換參數(shù)的一個標(biāo)準(zhǔn)數(shù)學(xué)函數(shù)來表達配準(zhǔn)實例，此函數(shù)力圖使圖像在某一變換時兩幅圖像可達到最大相似。這些函數(shù)通常在單模配準(zhǔn)中能簡單一些，因為此時圖像的相似性更能容易直接定義。我們可以通過使用一個標(biāo)準(zhǔn)的、合適的最優(yōu)化方法使相似函數(shù)達到最優(yōu)。目前應(yīng)用比較廣泛的方法有Powell的方法、Downhill Simplex方法、Bre

14、nt的方法以及一系列一維搜索算法、Levenberg-Marquardt最優(yōu)化算法、Newton-Raph son迭代算法、stochastic搜索算法、梯度下降法(gradient descent methods)、遺傳算法(genetic methods)、模擬退火法(simulated annealing)，粒子群算法(partice sworm)，蟻群算法(ant)，幾何散列法(geometric hashing)。多分辨率(如金字塔)和多尺度方法可以加速最優(yōu)化的收斂速度。許多實際應(yīng)用中使用了不止一種最優(yōu)化方法，一般是先使用一種粗糙但快速的算法，然后再接著使用一種準(zhǔn)確但運算速度慢的算法

15、。2.2.4 圖像成像模式與配準(zhǔn)方法的分類有單模式和多模式等，單模(monomodality)圖像配準(zhǔn)是指待配準(zhǔn)的兩幅圖像是同一種成像設(shè)備獲取的。多模(multimodality)圖像配準(zhǔn)6是指待配準(zhǔn)的兩幅圖像來源于不同的成像設(shè)備?；诨叶刃畔⒌膱D像配準(zhǔn)方法一般不需要對圖像進行復(fù)雜的預(yù)先處理，而是利用圖像本身具有灰度的一些統(tǒng)計信息來度量圖像的相似程度。主要特點是實現(xiàn)簡單，但應(yīng)用范圍較窄，不能直接用于校正圖像的非線性形變，在最優(yōu)變換的搜索過程中往往需要巨大的運算量。經(jīng)過幾十年的發(fā)展，人們提出了許多基于灰度信息的圖像配準(zhǔn)方法，大致可以分為三類：互相關(guān)法（也稱模板匹配法）、最大互信息法和基于小波變換

16、的圖像配準(zhǔn)法。(1) 互相關(guān)法對于同一物體由于各種圖像獲取條件的差異或物體自身發(fā)生的空間位置的改變而產(chǎn)生的單模圖像配準(zhǔn)問題常常應(yīng)用互相關(guān)法。在互相關(guān)法中互相關(guān)值的大小反映了配準(zhǔn)的效果?；ハ嚓P(guān)法的思路是找出使各圖像之間相關(guān)性最大的空間變換參數(shù)來實現(xiàn)圖像的配準(zhǔn)。該方法通過優(yōu)化兩幅圖像間的相似性測度來估計空間變換參數(shù)（剛體的平移和旋轉(zhuǎn)參數(shù)），采用的相似性測度可以是多種多樣的，例如相關(guān)系數(shù)，差值的平方和及相關(guān)函數(shù)等。其中最經(jīng)典的相似性測度是歸一化的相關(guān)系數(shù)(correlation coefficient , CC)，即：, (2.1)式中，為模板圖像，為圖像的灰度；為與有相同大小的目標(biāo)圖像，為圖像的灰

17、度；和分別為圖像和灰度的均方值。由于要對每種變換參數(shù)可能的取值都要計算一次相似性測度，互相關(guān)法的計算量比較龐大，因此近年來發(fā)展了快速搜索算法，例如，用相位相關(guān)傅立葉法估算平移和旋轉(zhuǎn)參數(shù)；用遺傳算法和模擬退火技術(shù)減少搜索時間和克服局部極值問題。尤其注意的是互相關(guān)法受到不同模態(tài)成像特點的影響，例如同一物體在不同的模態(tài)圖像中表現(xiàn)出紋理和密度的非線性差異，使相關(guān)性計算無意義，故互相關(guān)性法主要局限于單模圖像配準(zhǔn)7。對于條件不好或曲線不完全閉合的圖像配準(zhǔn)，Kaneko等提出了一種選擇性相關(guān)系數(shù)法(selective correlation coefficient，即)，實際上是的擴展，在每次為其計算時間僅

18、僅依靠兩幅圖像灰度的比較過程，故其代價非常小甚至可以忽略不計。(2) 最大互信息法(Maximization of Mutual Information)互信息是信息論的一個基本概念，是兩個隨機變量統(tǒng)計相關(guān)性的測度。最大互信息法幾乎可以用在任何不同模式圖像的配準(zhǔn)，特別是當(dāng)其中一個圖像的數(shù)據(jù)部分缺損時也能得到很好的配準(zhǔn)效果。當(dāng)含有相同內(nèi)容的兩幅圖像通過幾何變換在空間對齊時，它們所包含的灰度值的互信息量最大。因此最大化的互信息量可以作為圖像配準(zhǔn)準(zhǔn)則?；谧畲蠡バ畔?的配準(zhǔn)過程實質(zhì)上是搜索最佳的幾何變換參數(shù)，使兩幅圖像的互信息達到最大。該方法采用整幅圖像的所有像素共同組成特征空間，再根據(jù)特征空間確定

19、一種空間變換，使一幅圖像經(jīng)過該變換后和另一幅圖像的互信息最大，最終實現(xiàn)配準(zhǔn)。互信息(Mutual Information,MI)是信息論中的一個測度，用于描述兩個變量間的統(tǒng)計相關(guān)性，或一個變量中包含的另一個變量中的信息的多少，表示兩個隨機變量之間的依賴程度，一般用熵來表示。熵表達的是一個系數(shù)的復(fù)雜性和不確定性。變量A的熵定義為：, (2.2), (2.3)將待配準(zhǔn)的兩幅醫(yī)學(xué)圖像定義為浮動圖像A和參考圖像B，它們是關(guān)于圖像灰度的兩個隨機變量集。設(shè)它們的邊緣概率分布分別為、，聯(lián)合概率分布，則它們的互信息為：, (2.4)當(dāng)兩幅圖像的空間位置達到一致時，其中一幅圖像表達另一幅圖像的信息，即其互信息應(yīng)

20、為最大。繼互信息測度提出后，學(xué)者們對基于Shannon熵的方法做了進一步的研究，相繼提出了比互信息更為穩(wěn)定的，其它一些形式的熵測度，稱為歸一化的互信息，例如Studholme提出了歸一化互信息測度(nrimalized mutual information, ):, （2.5）(3) 基于小波的圖像配準(zhǔn)方法近年來圖像配準(zhǔn)的重要發(fā)展之一是采用小波變換進行圖像局部特征提取，該方法的關(guān)鍵技術(shù)是二維離散小波分解。設(shè)在平面內(nèi)的二維圖像,基于二維離散小波變換的圖像分解是將該原始圖像在某一尺度上分別在方向上進行小波分解，每次分解后的低頻部分用表示，高頻部分用表示。在某一尺度上，圖像可以經(jīng)過方向和方向的離散小

21、波變換后分解為4個子圖像，在方向和方向都是高頻子圖像,在方向是低頻，在方向是高頻子圖像和在方向是高頻方向是低頻的子圖像。低頻子圖像給出了原圖像的概貌，高頻子圖像給出了原圖像的細(xì)貌。對于二維正交小波變換有其快速算法-Mallat算法，它把小波變換的計算問題轉(zhuǎn)化為小波變換后系數(shù)的計算問題：在實際操作中，給出尺度層上的離散采樣值數(shù)據(jù)，要計算尺度層上的小波變換系數(shù)，即分解算法的問題。基于小波變換的圖像配準(zhǔn)方法有多分辨率分析的優(yōu)勢，能夠提高配準(zhǔn)的速度。 2.3 灰度相關(guān)的配準(zhǔn)方法基于灰度信息的圖像配準(zhǔn)方法一般不需要對圖像進行復(fù)雜的預(yù)先處理，而是利用圖像本身具有灰度的一些統(tǒng)計信息來度量圖像的相似程度。主要

22、特點是實現(xiàn)簡單，但應(yīng)用范圍較窄，不能直接用于校正圖像的非線性形變，在最優(yōu)變換的搜索過程中往往需要巨大的運算量。經(jīng)過幾十年的發(fā)展，人們提出了許多基于灰度信息的圖像配準(zhǔn)方法，大致可以分為三類：互相關(guān)法（也稱模板匹配法）、序貫相似度檢測匹配法、交互信息法。 互相關(guān)法是最基本的基于灰度統(tǒng)計的圖像配準(zhǔn)9方法，通常被用于進行模板匹配和模式識別。它是一種匹配度量，通過計算模板圖像和搜索窗口之間的互相關(guān)值，來確定匹配的程度，互相關(guān)值最大時的搜索窗口位置決定了模板圖像在待配準(zhǔn)圖像中的位置。序貫相似度檢測匹配法(Sequential Similarity Detection Algorithms，)是由Barne

23、a等人提出來的。方法的最主要的特點是處理速度快。該方法先選擇一個簡單的固定門限，若在某點上計算兩幅圖像殘差和的過程中，殘差和大于該固定門限，就認(rèn)為當(dāng)前點不是匹配點，從而終止當(dāng)前的殘差和的計算，轉(zhuǎn)向別的點去計算殘差和，最后認(rèn)為殘差和增長最慢的點就是匹配點。這種方法的基本思想是基于對誤差的積累進行分析。所以對于大部分非匹配點來說，只需計算模板中的前幾個像素點，而只有匹配點附近的點才需要計算整個模板。這樣平均起來每一點的運算次數(shù)將遠(yuǎn)遠(yuǎn)小于實測圖像的點數(shù)，從而達到減少整個匹配過程計算量的目的。 交互信息法最初是Viola等人于1995年把交互信息引入到圖像配準(zhǔn)的領(lǐng)域的，它是基于信息理論的交互信息相似性

24、準(zhǔn)則。初衷是為了解決多模態(tài)醫(yī)學(xué)圖像的配準(zhǔn)問題。交互信息用來比較兩幅圖像的統(tǒng)計依賴性。首先將圖像的灰度視作具有獨立樣本的空間均勻隨機過程，相關(guān)的隨機場可以采用高斯馬爾科夫隨機場模型建立，用統(tǒng)計特征10概率密度函數(shù)來描述圖像的統(tǒng)計性質(zhì)。交互信息是兩個隨機變量和之間統(tǒng)計相關(guān)性的量度，或是一個變量包含另一個變量的信息量的量度。交互信息圖像配準(zhǔn)方法一經(jīng)提出，有不少基于此類的研究，尤其在醫(yī)學(xué)圖像的配準(zhǔn)問題上。比如將交互信息和梯度結(jié)合起來改善其極值性能的算法、多分辨率圖像金字塔法等等。但交互信息是建立在概率密度估計的基礎(chǔ)上的，有時需要建立參數(shù)化的概率密度模型，它要求的計算量很大，并且要求圖像之間有很大的重疊

25、區(qū)域，由此函數(shù)可能出現(xiàn)病態(tài)，且有大量的局部極值。 本文接下來將要陳述灰度相關(guān)的幾種配準(zhǔn)方法，大致可分為：線匹配法、比值匹配法和塊匹配法。比值匹配法是指將待配準(zhǔn)圖像的一定間隔的行或列的像素的比值作為模板；塊匹配法是指將待配準(zhǔn)圖像的正方形區(qū)域的像素的集合作為模板。比值匹配法是從一幅圖像的重疊區(qū)域中部分相鄰的兩列上取出部分像素，然后以它們的比值作為模板，在另一幅圖像中搜索最佳匹配，這種算法計算量較小，但精度低；塊匹配法是以一幅圖像重疊區(qū)域中的一塊作為模板，在另一幅圖像中搜索與此模板最相似的匹配塊，這種算法精度較高，但計算量過大。而設(shè)計一種基于灰度相關(guān)的算法，既能實現(xiàn)水平、垂直位移上的配準(zhǔn)，同時也能實

26、現(xiàn)繞光軸旋轉(zhuǎn)這種情況是本文的核心。第3章 線匹配法3.1 線匹配法基本介紹及原理針對圖像的平移、旋轉(zhuǎn)、尺度變換等整體匹配，提出了一種圖像線性變換的匹配算法11。首先定義待匹配圖像匹配點間的線性變換模型，以對應(yīng)像素灰度差平方和作為圖像匹配誤差函數(shù)，然后借助最小化誤差函數(shù)確定參數(shù)迭代增量，由迭代法求得最佳線性變換參數(shù)。為減少計算量與提高收斂速度提出了三種改進策略：增加權(quán)函數(shù)、圖像網(wǎng)格點采樣和增加加速運動量。實驗顯示對于小范圍平移、旋轉(zhuǎn)及尺度變換的圖像能進行準(zhǔn)確快速的整體匹配，而改進策略能有效提高匹配速度。3.2 線性變換圖像匹配模型令待匹配的兩幅二維圖像為和，兩幅圖像中任意一對匹配點的坐標(biāo)滿足線性

27、變換關(guān)系。令圖像中某一坐標(biāo)為，它與圖像中的坐標(biāo)對應(yīng)。上式中上標(biāo)表示轉(zhuǎn)置運算。坐標(biāo)與之間存在一個偏移量，定義如下： (3.1) (3.2) (3.3)因此坐標(biāo)變換可以表示為,即像素與對應(yīng)。3.3 線匹配法具體的算法實現(xiàn)如果給定條件，兩幅圖像內(nèi)容整體間存在某種線性變換，則通過求解變換系數(shù)能實現(xiàn)配準(zhǔn)。這對很多問題是一種合理假設(shè)?；谶@一思想，為解決圖像整體匹配問題，本文針對圖像的平移、旋轉(zhuǎn)、尺度變換等整體匹配，提出一種帶6個參數(shù)的坐標(biāo)線性變換圖像匹配新模型，該模型將匹配誤差定義為圖像整體誤差，通過最小化誤差函數(shù)確定參數(shù)迭代增量，由迭代法求得最佳線性變換參數(shù)。并且針對收斂速度提出了增加權(quán)函數(shù)、圖像網(wǎng)格

28、點采樣和增加加速動量項三種策略及具體實現(xiàn)方法。（1）誤差函數(shù)及參數(shù)求解算法圖像匹配的誤差函數(shù)定義為：， (3.4)該公式中領(lǐng)域與圖像的分辨率一致。這種領(lǐng)域設(shè)置與光流模型的領(lǐng)域設(shè)置存在顯著不同，它對噪聲更不敏感。通過最小化誤差函數(shù)可以求出變換參數(shù)，它決定各像素的偏移量為建立迭代求解模型，引入增量，代入式(3.1)得到，新的模型如下： (3.5) (3.6)為求解增量，上述函數(shù)需要對求偏導(dǎo)。一種可行方法是將函數(shù)一階泰勒展開： (3.7)上式中點號表示積。將(3.7)代入(3.6)，對求偏導(dǎo)，并令偏導(dǎo)為零，則得到下式： (3.8)上式中表示，它用圖像F中坐標(biāo)X+T處得灰度梯度近似。表示六維列向量。求

29、只需對方程(3.8)乘以的逆矩陣即可。（2）迭代方法求解變換參數(shù)求解圖像與圖像間的匹配，可以用增量迭代法計算變換參數(shù)向量，算法如下：初始化向量為零向量；按式(3.8)計算參數(shù)增量；更新參數(shù)；如果的二范數(shù)小于某一閾值，則表示迭代收斂，程序退出；若大于該閾值則轉(zhuǎn)到步驟繼續(xù)迭代；如果迭代次數(shù)超過最多限定次數(shù)則程序退出，提示不收斂。判斷收斂的條件也可設(shè)置為最近次迭代的二范數(shù)之和小于某一閾值，的典型取值為3。3.4 實驗結(jié)果和分析首先利用配準(zhǔn)圖像庫中的圖像，生成具有不同相對位移的子圖像；平移配準(zhǔn)參數(shù)可以在程序中進行調(diào)整，圖3.1及圖3.2為配準(zhǔn)參數(shù)為時生成一對尺寸為400400的兩幅圖像。 圖3.1 L

30、ena 參考圖像 圖3.2 Lena 待配準(zhǔn)圖像圖3.3及圖3.4為配準(zhǔn)參數(shù)為時生成尺寸為288288的兩幅圖像。 圖3.3 Lena 參考圖像 圖3.4 Lena 待配準(zhǔn)圖像圖3.5及圖3.6為配準(zhǔn)參數(shù)為生成尺寸為456456的兩幅圖像。 圖3.5 Lena 參考圖像 圖3.6 Lena 待配準(zhǔn)圖像圖3.7為采用線模板匹配方法的實驗結(jié)果。黑色線段表示選取的線模板，連線表示線段兩端點為匹配點對。圖3.7 Lena線匹配效果圖由實驗可知，線模板匹配是在參考圖像中選定一行上取出部分像素的灰度值，在搜索圖中搜索最佳匹配。線匹配法的優(yōu)點是精確直觀，缺點是操作復(fù)雜，重復(fù)步驟較多，實用性不強。它只能處理簡

31、單的平移變換下的圖像配準(zhǔn)，容易受光照的影響，不能實現(xiàn)圖像旋轉(zhuǎn)和縮放情況下的配準(zhǔn)，故而存在一定的局限性，適用性不強。第4章 比值匹配法4.1 比值匹配法基本介紹及原理 比值匹配法12算法思路是利用圖像中兩列上的部分像素的比值作為模板，即在參考圖像的重疊區(qū)域中分別在兩列上取出部分像素，用它們的比值作為模板，然后在搜索圖中搜索最佳的匹配。匹配的過程是在搜索圖中，由左至右依次從間距相同的兩列上取出部分像素，并逐一計算其對應(yīng)像素值比值;然后將這些比值依次與模板進行比較，其最小差值對應(yīng)的列就是最佳匹配。這樣在比較中只利用了一組數(shù)據(jù)，而這組數(shù)據(jù)利用了兩列像素及其所包含的信息。圖4.1為圖像模板選取示意圖，其

32、中，圖1 為像素的圖像，圖1 為像素的圖像，和可相等，也可不等。圖1和圖1為左右重疊關(guān)系，圖1在圖1的左邊。j j+span j j+span 像素的圖像 像素的圖像圖4.1 圖像模板選取示意圖在圖4.1的重疊區(qū)域選取間隔為span的2列像素（第列和第列），計算其對應(yīng)像素比值，即為模板。 (4.1)式中，為選定的列。在圖4.1中從第1列開始依次取間隔為span的2列，計算其對應(yīng)像素的比值，即為模板。 (4.2)計算a模板與b模板差值，即為c模板，函數(shù)表達式為： （4.3）式中，。為二維數(shù)組，對對應(yīng)的列向量求得到。 （4.4）的大小就反映圖1所示圖像選定像素對應(yīng)列的差異，的最小值對應(yīng)的列坐標(biāo)即為

33、最佳匹配。4.2 比值匹配法具體的算法實現(xiàn)該算法的具體實現(xiàn)步驟如下：(1) 在參考圖像中間隔為個像素的距離上的兩列像素中，各取個像素，計算這個像素的比值，將個比值存入數(shù)組中，將其作為比較的模板。(2) 從搜索圖中在同樣相隔個像素的距離上的兩列，各取出個像素，計算其比值，將個比值存入數(shù)組。假定垂直錯開距離不超過個像素，多取的個像素則可以解決圖像垂直方向上的交錯問題。(3) 利用參考圖像中的比值模板在搜索圖中尋找相應(yīng)的匹配。首先進行垂直方向上的比較，即記錄下搜索圖中每個比值數(shù)組內(nèi)的最佳匹配。再將每個數(shù)組的組內(nèi)最佳匹配進行比較，即進行水平方向的比較，得到的最小值就認(rèn)為是全局最佳匹配。此時全局最佳匹配

34、即為圖像間在水平方向上的偏移距離，該全局最佳匹配隊?wèi)?yīng)的組內(nèi)最佳匹配即為圖像間垂直方向上的偏移距離。本算法的思路是在第1幅圖像的重疊區(qū)域中分別在2列取出部分像素，用它們的比值作為模板；在第2幅圖像中由左至右依次從間距相同2列取出部分像素，并逐一計算其對應(yīng)像素值比值；然后將這些比值依次與模板進行比較，其最小差值所對應(yīng)的列就是最佳匹配。4.3 實驗結(jié)果和分析以下是光照效果由弱到強的比值匹配仿真實驗結(jié)果圖。比值匹配和線匹配相比不同之處是通過不同亮度的調(diào)節(jié)可檢測到配準(zhǔn)參數(shù)，由此可以看出它們的區(qū)別。比值匹配是利用兩條線段的比值進行匹配?；叶缺戎灯ヅ浞ㄝ^線匹配法多了一項光照對平移參數(shù)的影響，下面我們以平移參

35、數(shù)為主，著重研究輸入圖像存在亮度差異時，仿真圖像配準(zhǔn)的實驗效果。圖4.2為待配準(zhǔn)圖像與參考圖像之間存在亮度差異為-20%時的配準(zhǔn)效果圖。圖4.2 Lena灰度比值匹配圖（亮度差異-20%）圖4.3為待配準(zhǔn)圖像與參考圖像之間存在亮度差異為+5%時的配準(zhǔn)效果圖。圖4.3 Lena灰度比值匹配圖（亮度差異+5%）圖4.4為待配準(zhǔn)圖像與參考圖像之間存在亮度差異為+20%時的配準(zhǔn)效果圖。圖4.4 Lena灰度比值匹配圖（亮度差異+20%）由圖4.2-圖4.4可以看出灰度比值匹配的優(yōu)缺點如下：(1)比值匹配法的優(yōu)點:a.算法思路清晰簡單，容易理解，實現(xiàn)起來比較方便。b.匹配計算的時候，計算量小，速度快。(

36、2) 比值匹配法的缺點:a.利用圖像的特征信息太少。只利用了兩條豎直的平行特征線段的像素的信息，沒有能夠充分利用了圖像重疊區(qū)域的大部分特征信息。雖然算法提到，在搜索圖中由左至右依次從間距相同的兩列上取出部分像素，計算其對應(yīng)像素的比值，然后將這些比值依次與模版進行比較，好像是利用了搜索圖中的重疊區(qū)域的大部分圖像信息，但在參考圖像中，只是任意選擇了兩條特征線，沒有充分利用到參考圖像的重疊區(qū)域的特征信息。b.對圖片的采集提出了較高的要求。此算法對照片先進行垂直方向上的比較，然后再進行水平方向上的比較，這樣可以解決上下較小的錯開問題。在采集的時候只能使照相機在水平方向上移動。然而，有時候不可避免的照相

37、機鏡頭會有小角度的旋轉(zhuǎn)，使得拍攝出來的照片有一定的旋轉(zhuǎn)，在這個算法中是無法解決的。而且對重疊區(qū)域無明顯特征的圖像，比較背景是海洋或者天空，這樣在選取特征模版的時候存在很大的問題。由于照片中存在大塊紋理相同的部分，所以與模版的差別就不大，這樣有很多匹配點，很容易造成誤匹配。c.不易對兩條特征線以及特征線之間的距離進行確定。算法中在參考圖像的重疊區(qū)域中取出兩列像素上的部分像素，并沒有給出選擇的限制。然而在利用拼接算法實現(xiàn)自動拼接的時候，如果選取的特征線不是很恰當(dāng)，那么這樣的特征線算出來的模版就失去了作為模版的意義。同時，在確定特征線間距時，選的過大，則不能充分利用重疊區(qū)域的圖像信息。選擇的過小，則

38、計算量太大。第5章 塊匹配法5.1 塊匹配法基本介紹及原理塊匹配法13是指將待配準(zhǔn)圖像的正方形區(qū)域的像素的集合作為模板。塊匹配法是以一幅圖像重疊區(qū)域中的一塊作為模板，在另一幅圖像中搜索與此模板最相似的匹配塊，這種算法精度較高，但計算量過大?；叶刃畔俗畲罅康膱D像信息，而邊緣信息則反映了圖像內(nèi)在的性質(zhì)，它不易受外界光照條件的影響而產(chǎn)生劇烈的變化。因此相比灰度信息，邊緣信息，使得其抗灰度和幾何畸變能力強，采用邊緣信息構(gòu)建模板在圖像拼接17中可獲得更加可靠的穩(wěn)定性。因此我們以圖像的邊緣為特征尋找基準(zhǔn)塊。應(yīng)用塊匹配算法，首先要有搜索最佳匹配的標(biāo)準(zhǔn)，這里稱之為價值函數(shù)：均方誤差(MSE)、絕對誤差和(SAD)、平均絕對誤差(MAD)、方差和(SSE)、絕對