全景圖像拼接與漫游林曉澤.ppt

全景圖像的拼接與漫游,By 林曉澤,2010-12-06,主要內(nèi)容,研究背景與意義 全景圖像拼接 全景圖像漫游（虎溪虛擬校園系統(tǒng)） 總結(jié),研究背景與意義,項(xiàng)目依托： 科技攻關(guān)項(xiàng)目“全景圖像制作與基于嵌入式的漫游關(guān)鍵技術(shù)”； 虎溪校區(qū)虛擬校園系統(tǒng)； 國(guó)家大學(xué)生創(chuàng)新基金。 意義 建筑、規(guī)劃、園林景觀等各類大型場(chǎng)景的動(dòng)態(tài)交互式立體展現(xiàn)；（上海世博會(huì)） 相比三維建模，制作流程快，更真實(shí)，速度更快； 現(xiàn)有的全景拼接軟件：版權(quán)，部分需要手工設(shè)置。,全景圖像拼接,全景圖像拼接的定義： 全景圖像拼接是一種將一組相互間有重疊部分的圖像序列進(jìn)行空間匹配對(duì)準(zhǔn)，經(jīng)重采樣合成后形成一幅包含各圖像序列信息的360水平視角的、完整的、清晰的新圖像的技術(shù) 。,領(lǐng)域人物,Richard Szeliski Microsoft Research,David G.Lowe UBC,Richard Szeliski. Image Alignment and Stitching: A Tutorial. M.Brown,D.G.Lowe. Recognising Panoramas. M.Brown,D.G.Lowe. Automatic Panoramic Image Stitching using Invariant Features.,全景圖像拼接-主要步驟,圖像拍攝 圖像預(yù)處理 圖像配準(zhǔn) 圖像融合 輸出全景圖,步驟1：圖像拍攝,What is fisheye? 短焦距，球面鏡頭，水平垂直視域1800 Why is fisheye? 圖像數(shù)量 拼接復(fù)雜度和運(yùn)算時(shí)間,步驟2：圖像預(yù)處理,魚(yú)眼圖像的校正,步驟3：圖像配準(zhǔn),圖像配準(zhǔn)的本質(zhì)是尋找一種圖像對(duì)之間的變換關(guān)系，在這種變換關(guān)系下，兩幅圖像之間可以建立像素點(diǎn)之間的對(duì)應(yīng)關(guān)系。我們使用特征匹配點(diǎn)建立這種變換關(guān)系。 特征點(diǎn)的查找 特征點(diǎn)的粗匹配 匹配點(diǎn)的優(yōu)化 幾何變換模型 映射到同一基準(zhǔn)面,特征點(diǎn)的查找,特征點(diǎn)的粗匹配,匹配點(diǎn)的優(yōu)化,變換關(guān)系的求解,同一基準(zhǔn)面的映射,二維圖像之間的位置變換關(guān)系可以通過(guò)一個(gè)3*3的8參數(shù)矩陣來(lái)表示。兩幅圖像的像素坐標(biāo)關(guān)系來(lái)表示。,圖像配準(zhǔn)-變換關(guān)系,圖像配準(zhǔn)-變換關(guān)系,使用仿射變換作為幾何變換模型。 仿射變換的定義：經(jīng)過(guò)變換后第一幅圖像上的直線映射到第二幅圖像后仍為直線，并且保持平衡關(guān)系，這樣的變換稱為仿射變換。如圖：,仿射變換,6參數(shù),RANSAC,RANSAC(Random sample consensus)：它是根據(jù)一組包含異常數(shù)據(jù)的樣本數(shù)據(jù)集，計(jì)算出數(shù)據(jù)的數(shù)學(xué)模型參數(shù)，得到有效樣本數(shù)據(jù)的算法。 Step 1:將所有匹配點(diǎn)代入公式，采用最小二乘法解出H，進(jìn)入Step2； Step 2:設(shè)定一個(gè)閾值T，將滿足d( Pi,HPj )T(d為歐式距離)的點(diǎn)確定為內(nèi)點(diǎn)，其余的為外點(diǎn)，進(jìn)入Step3； Step 3:將所有內(nèi)點(diǎn)代入公式，采用最小二乘法解出H，如果Step3中沒(méi)有任何點(diǎn)改變，則進(jìn)入Step4；否則進(jìn)入Step3； Step4：所有內(nèi)點(diǎn)是準(zhǔn)確匹配點(diǎn)，外點(diǎn)是誤匹配點(diǎn)，算法結(jié)束。,特征點(diǎn)匹配,誤匹配點(diǎn)(外點(diǎn)),H1,H2,H3,H4,如何投影？,1,2,4,1,3,怎么辦？,選擇一張圖像作為基準(zhǔn)面，將所有圖像映射到面上。,存在俯仰變換的校正圖,人工校正3俯仰變換,6參數(shù),2參數(shù),步驟4：圖像融合-線性融合,重疊區(qū)域范圍內(nèi)，從左到右，左圖像的像素對(duì)融合圖像的亮度貢獻(xiàn)率從100%線性減少到0%，右圖像像素對(duì)融合圖像的亮度貢獻(xiàn)率從0%線性增加到100%。,陰影部分為重疊區(qū)域,100%,100%,0%,0%,左圖,右圖,線性融合,重影現(xiàn)象,線性融合方法簡(jiǎn)單，但存在問(wèn)題。,使用多段融合方法,解決辦法,多段融合,多段融合算法是一種多尺度、多分辨率的圖像融合方法。在不同尺度和空間分辨率上進(jìn)行融合。 步驟1：建立圖像的高斯金字塔 步驟2：由高斯金字塔建立圖像的拉普拉斯金字塔 步驟3：對(duì)拉普拉斯金字塔的每層進(jìn)行融合 步驟4：組合融合后的拉普拉斯金字塔,多段融合,高斯金字塔,1.第1層放大一倍得到圖像A,2.第0層減去圖像A，得到拉普拉斯金字塔第0層。,0,1,2,3,多段融合,拉普拉斯金字塔,亮度取平均,取亮度大的點(diǎn)，保持輪廓,0,1,2,3,多段融合,線性融合,多段融合,消除重影現(xiàn)象,全景圖像漫游,虎溪虛擬校園系統(tǒng)（前臺(tái)Flash+后臺(tái)JSP） 全景瀏覽 建筑物（單位，辦