圖像拼接算法

圖像拼接算法第1頁(yè)，共19頁(yè)，2023年，2月20日，星期五圖像拼接簡(jiǎn)介第2頁(yè)，共19頁(yè)，2023年，2月20日，星期五圖像拼接簡(jiǎn)介圖像拼接中的幾個(gè)主要問(wèn)題：使用圖像數(shù)據(jù)和攝像機(jī)模型對(duì)幾何失真進(jìn)行校正。使用圖像數(shù)據(jù)及攝像機(jī)模型進(jìn)行圖像對(duì)齊。消除拼接圖像中的接縫。第3頁(yè)，共19頁(yè)，2023年，2月20日，星期五攝像機(jī)運(yùn)動(dòng)模型在拍攝過(guò)程中由于攝像機(jī)鏡頭的運(yùn)動(dòng)，使得拍攝到的相鄰兩幅圖像中的景物會(huì)出現(xiàn)幾何形變。通過(guò)尋找能夠恰當(dāng)?shù)貙⒁环鶊D像與另一幅圖像對(duì)準(zhǔn)的幾何變換來(lái)將兩幅圖像對(duì)齊。這些變換被稱為對(duì)應(yīng)(homography)。換句話說(shuō)，這些幾何變換是一種映射， 兩幅有重疊區(qū)域的圖像，其中一幅圖像重疊區(qū)域中的一個(gè)點(diǎn)經(jīng)過(guò)這種幾何變換將被映射到另外一幅圖像重疊區(qū)域中的某個(gè)點(diǎn)上。這樣這兩個(gè)點(diǎn)形成了對(duì)應(yīng)關(guān)系。在固定位置拍攝的條件下，我們通常使用8-參數(shù)運(yùn)動(dòng)模型以及其簡(jiǎn)化形式來(lái)概括或計(jì)算這些幾何變換。第4頁(yè)，共19頁(yè)，2023年，2月20日，星期五攝像機(jī)運(yùn)動(dòng)模型homography第5頁(yè)，共19頁(yè)，2023年，2月20日，星期五攝像機(jī)的8-參數(shù)運(yùn)動(dòng)模型常見的幾種幾何變換：平移（translation)旋轉(zhuǎn)(rotation)水平切變(horizontalshear)投影(projection)第6頁(yè)，共19頁(yè)，2023年，2月20日，星期五8-參數(shù)運(yùn)動(dòng)模型假設(shè)和分別是一個(gè)象素點(diǎn)的新舊坐標(biāo)，一個(gè)二維仿射變換可以寫為： 或是

尺度和旋轉(zhuǎn) 垂直切變 水平切變

第7頁(yè)，共19頁(yè)，2023年，2月20日，星期五8-參數(shù)運(yùn)動(dòng)模型仿射變換在統(tǒng)一坐標(biāo)系下可以用一個(gè)矩陣相乘的形式來(lái)表示：

當(dāng)引進(jìn)尺度參數(shù)W后，就得到了8-參數(shù)模型： 第8頁(yè)，共19頁(yè)，2023年，2月20日，星期五8－參數(shù)運(yùn)動(dòng)模型平移、剛體、仿射以及透視變換對(duì)應(yīng)的變換矩陣M的形式：第9頁(yè)，共19頁(yè)，2023年，2月20日，星期五圖像對(duì)齊圖像對(duì)齊找出兩幅圖像之間最優(yōu)的空間位置和色彩之間的變換關(guān)系，使一幅圖像中的點(diǎn)最優(yōu)地映射到另一幅圖像中。它是圖像拼接過(guò)程中的主要任務(wù)。第10頁(yè)，共19頁(yè)，2023年，2月20日，星期五圖像對(duì)齊方法所使用的圖像特征特征點(diǎn)頻域灰度值優(yōu)化算法非線性最小二乘傅立葉變換小波變換動(dòng)態(tài)規(guī)劃遺傳算法第11頁(yè)，共19頁(yè)，2023年，2月20日，星期五對(duì)齊算法流程投影到統(tǒng)一坐標(biāo)系初始變換矩陣M最終變換矩陣M圖像合成非線性最小二乘法進(jìn)行優(yōu)化第12頁(yè)，共19頁(yè)，2023年，2月20日，星期五初始變換矩陣的獲取初始變換矩陣M可以通過(guò)提取特征點(diǎn)或者在頻域上計(jì)算兩幅圖像的相位相關(guān)等方法來(lái)得到。MATLAB中內(nèi)建有cpselect函數(shù)，該函數(shù)允許用戶在將要拼接的兩幅圖像的重疊區(qū)域中手工選取一定數(shù)量的匹配特征點(diǎn)對(duì)然后自動(dòng)給出兩幅圖像之間的初始變換矩陣。第13頁(yè)，共19頁(yè)，2023年，2月20日，星期五優(yōu)化目標(biāo)函數(shù)假設(shè)I‘(x’,y‘)和I(x,y)是兩幅需要對(duì)齊的圖像。這種方法就是要使I(x,y)和I‘(x’,y‘)的重疊區(qū)域中所有相應(yīng)象素i的強(qiáng)度值之差的平方和最小，即：第14頁(yè)，共19頁(yè)，2023年，2月20日，星期五L-M非線性最小二乘算法1.對(duì)于未對(duì)齊圖像中（x,y）處的象素點(diǎn)，（a）計(jì)算它在基準(zhǔn)圖像中的位置第15頁(yè)，共19頁(yè)，2023年，2月20日，星期五L-M非線性最小二乘算法（cont.）（b）計(jì)算誤差梯度（c）計(jì)算Hessian矩陣A和加權(quán)梯度向量b,其中第16頁(yè)，共19頁(yè)，2023年，2月20日，星期五L-M非線性最小二乘算法（cont.）2.求解方程并且更新變換矩陣3.檢查誤差E的變化，如果增大，則適當(dāng)?shù)卦黾应?，重新?jì)算一個(gè)△m，然后重復(fù)步驟2；如果減小，則適當(dāng)?shù)販p小λ，重新計(jì)算△m，然后重復(fù)步驟2。4.不斷進(jìn)行迭代計(jì)算直到強(qiáng)度差E低于某一門限或執(zhí)行完一定的次數(shù)為止。第17頁(yè)，共19頁(yè)，2023年，2月20日，星期五拼接實(shí)驗(yàn)(1)第18頁(yè)，共19頁(yè)，2023年，2月20日，星期五后續(xù)工作改進(jìn)圖像對(duì)齊算