數(shù)字攝影測量-最小二乘數(shù)字影像匹配

1、第五章 最小二乘影像匹配 數(shù)字攝影測量學Digital Photogrammetry1前述內(nèi)容回顧LS匹配概述僅考慮輻射線性畸變的LS匹配僅考慮相對移位的LS匹配單點最小二乘影像匹配小結(jié)第10講 最小二乘影像匹配 Least-Square Image Matching2以數(shù)字影像局部范圍內(nèi)（窗口）的灰度值及其分布作為匹配實體，通過計算相似性測度確定共軛實體的影像匹配方法。前述內(nèi)容回顧1、基于灰度影像匹配的定義3相關(guān)函數(shù)測度協(xié)方差函數(shù)測度相關(guān)系數(shù)測度差平方和測度差平方和測度2、基于灰度影像匹配的相似性測度前述內(nèi)容回顧43、相關(guān)系數(shù)測度的性質(zhì)相關(guān)系數(shù)與灰度的線性擬合相關(guān)系數(shù)是灰度線性變換的不變量說

2、明，相關(guān)系數(shù)最大的匹配，正是將右像局部窗口內(nèi)的灰度值擬合為左像局部窗口內(nèi)灰度值的線性函數(shù)后，殘差平方和最小的匹配。前述內(nèi)容回顧5候選窗口灰度值形成的變動向量搜索區(qū)域候選窗口/搜索窗口直觀說明（以點匹配為例）：目標窗口灰度值形成的固定向量目標窗口前述內(nèi)容回顧6在目標影像上選取待匹配的點，稱為目標點;以目標點為中心，選取一定大小的窗口，稱為目標窗口;按照一定的先驗知識和約束條件確定該目標點的共軛點（同名點）在右影像上可能存在的范圍，稱為搜索區(qū)域;4、基于灰度影像匹配的計算過程前述內(nèi)容回顧7以搜索區(qū)域內(nèi)每一點為中心，開取同樣大小的窗口，稱為搜索窗口；計算目標窗口和每一個搜索窗口的相關(guān)系數(shù)，以相關(guān)系數(shù)

3、大于一定閾值的搜索窗口的中心作為候選的匹配點;結(jié)合其它的條件或指標在候選點中確定最終配準點?；蛘咧苯右韵嚓P(guān)系數(shù)最大的窗口作為目標窗口的配準窗口，中心點作為配準點。 前述內(nèi)容回顧4、基于灰度影像匹配的計算過程8用相關(guān)系數(shù)的拋物線擬合提高相關(guān)精度整像素相關(guān)精度前述內(nèi)容回顧5、基于灰度影像相關(guān)的精度9VLL法影像匹配示意圖地面A10前述內(nèi)容回顧6、基于物方的影像匹配（VLL） 給定地面點的平面坐標（X，Y）近似最低高程Zmin。 ZiZminiZ高程搜索步距Z可由所要求的高程精度確定 由地面點平面坐標和可能的高程Zi計算左右像坐標（xi, yi）與（xi”，yi”）： 分別以（xi, yi）與（xi

4、”，yi”）為中心在左右影像上取影像窗口，計算其匹配測度，如相關(guān)系數(shù) i。 將i的值增加1，重復(fù)（3）（4）兩步，得到0，1，2，n取其最大者k： k max0，1，2，n11 德國Ackermann教授提出了一種新的影像匹配方法最小二乘影像匹配（least Squares Image Matching） 利用了影像內(nèi)的窗口內(nèi)的像素進行平差計算，影像匹配可以達到1/10甚至1/100像素的高精度（子像素級）優(yōu)點如下LS匹配概述1、起源12 最小二乘影像匹配中可以非常靈活地引入各種已知參數(shù)和條件，從而可以進行整體平差。 解決“單點”的影像匹配問題，以求其“視差”；也可以直接解求其空間坐標 同時解

5、決“多點”影像匹配或“多片”影像匹配 引入“粗差檢測”，從而大大地提高影像匹配的可靠性 LS匹配概述2、優(yōu)點133、最小二乘影像匹配原理“灰度差的平方和最小” 僅僅認為影像灰度只存在偶然誤差 LS匹配概述14 這就是按vvmin原則進行影像匹配的數(shù)學模型。若在此系統(tǒng)中引入系統(tǒng)變形的參數(shù)，按 vvmin的原則，解求變形參數(shù)，就構(gòu)成了最小二乘影像匹配系統(tǒng)。優(yōu)點：靈活,可靠和高精度缺點：如當初始值不太準時，系統(tǒng)的收斂性等問題有待解決。解決方法：實際應(yīng)用中，一般將基于灰度的匹配或基于特征的匹配作為粗匹配，而將最小二乘影像匹配作為精匹配。LS匹配概述15輻射畸變：灰度值的偏差照明及被攝影物體輻射面的方向

6、大氣與攝影機物鏡所產(chǎn)生的衰減攝影處理條件的差異以及影像數(shù)字化過程中所產(chǎn)生的誤差等等影像灰度的系統(tǒng)變形有兩大類：輻射畸變；幾何畸變。LS匹配概述16幾何畸變：兩影像的相對變形LS匹配概述17幾何畸變攝影機方位不同所產(chǎn)生的影像的透視畸變影像的各種畸變由于地形坡度所產(chǎn)生的影像畸變等，豎直航空攝影的情況下，地形高差則是幾何畸變的主要因素。LS匹配概述18在影像匹配中引入這些變形參數(shù)，同時按最小二乘的原則，解求這些參數(shù)，就是最小二乘影像匹配的基本思想。LS匹配概述19Left imageRight image三、僅考慮輻射線性畸變的最小二乘匹配相關(guān)系數(shù) 20三、僅考慮輻射線性畸變的最小二乘匹配相關(guān)系數(shù)

7、誤差方程：現(xiàn)假定灰度分布g1相對于另一個灰度分布g2存在著線性畸變21對窗口中的每個像素列誤差方程式：三、僅考慮輻射線性畸變的最小二乘匹配相關(guān)系數(shù) 法化答解22三、僅考慮輻射線性畸變的最小二乘匹配相關(guān)系數(shù) 23按vvmin的原理，可得法方程式 三、僅考慮輻射線性畸變的最小二乘匹配相關(guān)系數(shù) 24假定對g1，g2已作過中心化處理 即：三、僅考慮輻射線性畸變的最小二乘匹配相關(guān)系數(shù) 接下來再分析殘差25消除了兩個灰度分布的系統(tǒng)的輻射畸變后，其殘余的灰度差的平方和為26相關(guān)系數(shù)27 相關(guān)系數(shù)與vv的關(guān)系 vv是噪聲的功率g12為信號的功率 三、僅考慮輻射線性畸變的最小二乘匹配相關(guān)系數(shù) 28 以“相關(guān)系數(shù)

8、最大”作為影像匹配搜索同名點的準則，其實質(zhì)是搜索“信噪比為最大”的灰度序列 信噪比 相關(guān)系數(shù)與信噪比之間的關(guān)系 29影像匹配的主要目的是確定影像相對移位，傳統(tǒng)的算法采用目標區(qū)相對于搜索區(qū)不斷地移動一個整像素，搜索最大相關(guān)系數(shù)的影像區(qū)中心作為同名像點 。 在最小二乘影像匹配算法中，可引入幾何變形參數(shù)，直接解算影像移位，這是此算法的特點。 三、僅考慮輻射線性畸變的最小二乘匹配相關(guān)系數(shù) 30僅考慮相對移位的LS匹配基本誤差方程考慮一維核線影像，如下圖同名點同名點31四、僅考慮影像相對移位的一維LS匹配 假設(shè)兩個一維灰度函數(shù)g1(x), g2(x),除隨機噪聲外，g2(x)相對于g1(x)只存在零次幾

9、何變形移位量x。誤差方程式32對離散的數(shù)字影像而言，灰度函數(shù)的導(dǎo)數(shù)g,2(x)可由差分代替 為解求相對移位量x，需對上式進行線性化 為采樣間隔 33最小二乘影像匹配是非線性系統(tǒng)，必須進行迭代。迭代過程收斂的速度取決于初值。誤差方程式可寫為 解得影像的相對移位 34基本思想 兩個局部影像片（patch）之間的變形，不僅有灰度畸變、相對移位，而且還存在著幾何畸變。只有充分地考慮影像間的這些變形因素，才能獲得最佳的影像匹配。 兩個二維影像之間的幾何變形1單點最小二乘影像匹配352 數(shù)學模型理想情況下，有：考慮5x5窗口單點最小二乘影像匹配36 x2 y2灰度畸變+幾何變形 幾何變形 單點最小二乘影像

10、匹配37上述方程的直觀意義為： 我們的目的就是在局部窗口范圍內(nèi)，求出上述方程中參數(shù)的最或然值：然后對給定的初值 計算出配準位置 38單點最小二乘影像匹配39經(jīng)線性化后誤差方程式dh0，dh1， da0，,db2是待定參數(shù)的改正值模型線性化單點最小二乘影像匹配40單點最小二乘影像匹配誤差方程式的系數(shù)41 在數(shù)字影像匹配中，灰度均是按規(guī)則格網(wǎng)排列的離散陣列，且采樣間隔為常數(shù)，可被視為單位長度，上式中的偏導(dǎo)數(shù)均用差分代替：單點最小二乘影像匹配42幾何改正重采樣輻射畸變改正左片右片最小二乘法匹配流程圖計算最佳匹配點位計算參數(shù)值結(jié)束相關(guān)計算是否迭代43賦初值4、計算過程單點最小二乘影像匹配44Step1

11、:幾何變形改正 根據(jù)幾何變形改正參數(shù)a0, a1, a2,b0, b1, b2將左方影像窗口的影像坐標變換至右方影像陣列：單點最小二乘影像匹配45Step2：重采樣 由于換算所得之坐標x2，y2一般不可能是右方影像陣列中的整數(shù)行列號，因此重采樣是必須的。Step3：輻射畸變改正 利用所求的輻射畸變改正參數(shù)h0, h1；對上述重采樣的結(jié)果作輻射改正單點最小二乘影像匹配46Step4:相關(guān)系數(shù)計算 計算左方影像窗口與經(jīng)過幾何、輻射改正后的右方影像窗口的灰度陣列之間的相關(guān)系數(shù)，若小于前一次迭代后所求得的相關(guān)系數(shù)，則迭代結(jié)束，轉(zhuǎn)step7；否則轉(zhuǎn)step5。也可以根據(jù)幾何變形參數(shù)是否小于某個預(yù)定的閾值。 單點最小二乘影像匹配47Step5:采用最小二乘影像匹配，解求變形參數(shù)的改正值dh0,dh1, da0,。 Step6:計算新的變形改正參數(shù) ，轉(zhuǎn)step148單點最小二乘影像匹配49對于輻射畸變參數(shù)滿足： 單點最小二乘影像匹配50Step7:計算最佳匹配的點位 ?？捎锰荻鹊钠椒綖闄?quán)，在左方影像窗口內(nèi)對坐標作加權(quán)平均：單點最小二乘影像匹配匹配精度取決于影像灰度的梯度 加權(quán)平均51右片上同名點的坐標為： 單點最小二乘影像匹配52為了進一步提高其可靠性與精度，例如