增強現(xiàn)實技術(shù)(第五章)概述課件

1、第五章 三維注冊與虛實融合 5.1 虛實融合原理 5.2 相機標(biāo)定技術(shù) 5.3 圖像的標(biāo)識識別 5.4 虛實融合增強顯示案例：中聯(lián)重科增強現(xiàn)實.mp4 （128) 5.1 虛實融合原理增強現(xiàn)實系統(tǒng)必須能夠?qū)崟r地檢測出觀測者(或攝像機)相對于真實場景的位置和方向角，以及成像系統(tǒng)(攝像機)的內(nèi)部參數(shù)(焦距和成像屏幕大小等)。根據(jù)這些信息實時確定所要添加的虛擬信息在投影系統(tǒng)中的大小、方向和映射位置。在用戶看來，無論從任何角度觀察，都應(yīng)該使虛擬物體與真實場景保持三維歐氏空間的幾何一致性。這就是AR中的三維注冊(Registration)所要完成的任務(wù)。5.1 虛實融合原理實現(xiàn)虛實融合的關(guān)鍵技術(shù)，是相機

2、標(biāo)定與三維注冊技術(shù)，通過精準(zhǔn)的相機標(biāo)定與三維注冊，使虛擬物體可以與真實世界進行無縫融合。在真實世界中人為地設(shè)定世界坐標(biāo)系的原點、X坐標(biāo)、y坐標(biāo)、Z坐標(biāo)，并測量出多個標(biāo)志點的三維坐標(biāo)值。對攝像機攝取的圖像進行視覺識別，找到各標(biāo)志點在圖像顯示坐標(biāo)系中的二維坐標(biāo)值。通過各個標(biāo)志點在世界坐標(biāo)系中的三維坐標(biāo)值和在顯示坐標(biāo)系中的二維坐標(biāo)值，實時計算出攝像機的焦距、成像屏幕大小等內(nèi)部參數(shù)、在世界坐標(biāo)系中的位置和方向角等外部參數(shù)。識別出通過提取給定的一幅或多幅圖像的特征點來計算攝像機在真實世界的相對位置和方向，根據(jù)這些信息實時確定系統(tǒng)中要添加的虛擬物體在真實環(huán)境中的正確位置。使用基于計算機視覺的相機標(biāo)定技術(shù)對

3、標(biāo)識進行識別，實現(xiàn)系統(tǒng)中的三維注冊。三維注冊子模塊以圖像檢測模塊的輸出結(jié)果為數(shù)據(jù)的輸入，通過相機標(biāo)定內(nèi)部參數(shù)和外部參數(shù)的算法，將程序中所用到標(biāo)記的三維位置和姿態(tài)計算出來。相機的外部參數(shù)作為輸出結(jié)果輸入到虛實融合子模塊，用DirectX或openGL中的虛擬相機模擬真實世界中的相機，產(chǎn)生良好的虛實環(huán)境無縫融合的場景。將三維的虛擬動畫模型渲染到特定的標(biāo)識物上，實現(xiàn)增強現(xiàn)實的效果。5.1 虛實融合原理根據(jù)實時計算出攝像機的焦距、成像屏幕大小等內(nèi)部參數(shù)、在世界坐標(biāo)系中的位置和方向角等外部參數(shù)設(shè)定虛擬相機。通過虛擬相機對三維虛擬場景進行變換。（1）將變換后的虛擬場景的影像疊加到實際場景的影像中，實現(xiàn)虛實

4、融合。將虛實融合后的圖像通過頭盔或投影機顯示出來，觀察者看到的是虛實融合后的場景。（2）將三維的虛擬動畫貼圖渲染到真實世界的標(biāo)識物上，實現(xiàn)增強現(xiàn)實的效果。 如：“別克汽車十城市巡展潘多拉項目.MOV” 5.1 虛實融合原理第五章 三維注冊與虛實融合 5.1 虛實融合原理 5.2 相機標(biāo)定技術(shù) 5.3 圖像的標(biāo)識識別 5.4 虛實融合5.2 相機標(biāo)定技術(shù)通過相機標(biāo)定技術(shù)實時計算出攝像機的焦距、成像屏幕大小等內(nèi)部參數(shù)、在世界坐標(biāo)系中的位置和方向角等外部參數(shù)。相機標(biāo)定技術(shù)與四個坐標(biāo)系統(tǒng)有關(guān)，分別是世界坐標(biāo)系，成像平面坐標(biāo)系，相機坐標(biāo)系和圖像顯示坐標(biāo)系。四個坐標(biāo)系的關(guān)系世界坐標(biāo)系： 選擇一個基準(zhǔn)坐標(biāo)系

5、來描述攝像機安放在現(xiàn)實世界的位置，并用它描述世界環(huán)境中任何物體的位置，由基準(zhǔn)觀測原點和X軸、Y軸、Z軸組成。成像平面坐標(biāo)系：相機的焦點為坐標(biāo)系的原點o 1，成像平面的中軸為x 1 、y 1軸。相機坐標(biāo)系： o點是攝像機(camera)的光心，x軸和y軸與成像坐標(biāo)系x 1 、y 1軸平行，z軸為攝像機的光軸，與成像平面垂直。由o點、x、y、z軸組成的直角坐標(biāo)系稱為攝像機坐標(biāo)系。圖像顯示坐標(biāo)系： 顯示在計算機屏幕上的圖像坐標(biāo)u、v，左上角為坐標(biāo)原點。 u、v分別與x 1 、y 1軸平行。四個坐標(biāo)系的關(guān)系世界坐標(biāo)系與攝像機坐標(biāo)系的關(guān)系R為旋轉(zhuǎn)矩陣，表示兩個坐標(biāo)系各坐標(biāo)軸之間旋轉(zhuǎn)向量，t是平移向量，也

6、是世界坐標(biāo)系原點在相機坐標(biāo)系中的坐標(biāo)值 x=r11X+r12Y+r13Z+t1 y=r21X+r22Y+r23Z+t2 z=r31X+r32Y+r33Z+t1R=t=成像平面坐標(biāo)系與攝像機坐標(biāo)系的關(guān)系上式用齊次方程表示：三角形OO1P1和OO2P相似： f/z=O1P1/O2P2=x1/x=y1/y 成像平面坐標(biāo)系與圖像顯示坐標(biāo)系的關(guān)系上式用齊次方程表示：O1為成像平面坐標(biāo)原點，是攝像機光軸與圖像平面的交點dx和dy表示一個像素在x1軸與y1軸方向上的大小。u= v=綜合以上三個關(guān)系式，得sx=1/dx sx 為水平方向上的圖像尺度因子sy=1/dy sy為垂直方向上的圖像尺度因子P稱為投影矩

7、陣，含有五個未知數(shù)，反映相機的內(nèi)部參數(shù)： f，即相機的焦距，單位是毫米， Sx即水平方向上的圖像尺度因子，單位是像素/毫米 Sy即垂直方向上的圖像尺度因子，單位是像素/毫米 (u。，v。)表示圖像屏幕中心點像素所處的行數(shù)和列數(shù)。D稱為旋轉(zhuǎn)平移矩陣，六個未知數(shù)，反映相機的外部參數(shù)： R含有的三個旋轉(zhuǎn)角 t含有的世界坐標(biāo)系原點在相機坐標(biāo)系中的坐標(biāo)值四個坐標(biāo)系的關(guān)系當(dāng)相機選定后，內(nèi)部參數(shù)不變。當(dāng)相機的位置和角度固定后，外部參數(shù)不變。根據(jù)若干已知二維點與其對應(yīng)三維點的坐標(biāo)值，求解P矩陣和D矩陣中含有的11個未知數(shù)，從而確定攝像機的內(nèi)部參數(shù)和外部參數(shù)。相機參數(shù)的求取上述含有P、D的矩陣關(guān)系可以改寫為：相

8、機參數(shù)的求取寫成方程式：將第3式代入1、2式：相機參數(shù)的求取由一個已知的二維點的坐標(biāo)與其對應(yīng)的三維點的坐標(biāo)，我們可以獲得兩個方程，由于方程中有12個未知數(shù)，我們至少要知道 6 組這樣的點。當(dāng)選擇多于6個特征點時，就會有多組解。這些解有一定誤差，但應(yīng)該誤差不大對每個求得的系數(shù)算均值，再用各系數(shù)誤差的平方和最小的一組解作為最佳的一組解。相機參數(shù)的求取第五章 三維注冊與虛實融合 5.1 虛實融合原理 5.2 相機標(biāo)定技術(shù) 5.3 圖像的標(biāo)識識別 5.4 虛實融合在增強現(xiàn)實系統(tǒng)中，經(jīng)過圖像分割、邊緣檢測和輪廓提取之后，我們就可以把以上步驟的結(jié)果用于標(biāo)識識別子模塊根據(jù)模式匹配算法，使系統(tǒng)從攝像機的視頻圖

9、像中正確的識別出預(yù)先設(shè)計好的標(biāo)識，同時給出標(biāo)識的ID號碼，作為系統(tǒng)中圖形顯示子模塊輸入?yún)?shù)的一部分，以使得圖形顯示子模塊將預(yù)先設(shè)計好的三維模型正確的顯示在特定的標(biāo)記上，實現(xiàn)對真實環(huán)境的增強。標(biāo)識分為兩類，一類是人工設(shè)定好的標(biāo)識，一類是場景中自然具備的。人工設(shè)定好的標(biāo)識一般由具有一定寬度的黑色封閉的矩形框和內(nèi)部的各種圖形或文字兩部分構(gòu)成。5.3 圖像的標(biāo)識識別對于人工設(shè)定好的標(biāo)識通過對視頻中的每一幀圖像運用圖像分割、邊緣提取、連通區(qū)域檢測、輪廓提取等過程判斷視頻圖像中是否含有封閉的黑色矩形框。匹配連通區(qū)域中的四邊形結(jié)構(gòu)，記錄視頻圖像中所有標(biāo)識所在區(qū)域和坐標(biāo)。分別提取各個標(biāo)識四邊形的邊緣像素坐標(biāo)，

10、找出四邊形標(biāo)識四個頂點坐標(biāo)，計算出標(biāo)識邊緣的直線方程(屏幕坐標(biāo))。由于系統(tǒng)中使用的標(biāo)識記是事先設(shè)計的有規(guī)則的標(biāo)識，所以能夠快速獲得檢測結(jié)果。5.3 圖像的標(biāo)識識別對于人工設(shè)定好的標(biāo)識標(biāo)識所代表的具體信息用標(biāo)識內(nèi)部的圖形或文字表示，如表示何種目標(biāo)或在此應(yīng)顯示何種虛擬物體。具體的標(biāo)識內(nèi)部圖像可以根據(jù)需要手動選擇任意的圖像作為標(biāo)識物，可以通過幾種圖元的組合自動生成工程中所需要標(biāo)識。進行模板匹配，來實現(xiàn)標(biāo)識識別。在做標(biāo)識匹配前，需要進行圖像正規(guī)化。5.3 圖像的標(biāo)識識別圖像正規(guī)化系統(tǒng)中采集圖像的攝像頭在采集圖像的時候處于隨機的位置，即從任何角度任何位置拍攝都可以，那么，攝像頭鏡面不一定與標(biāo)識物的平面是

11、平行的，攝像頭的光軸也并不一定是垂直于標(biāo)識物。所以采集到的圖像也是不規(guī)則的，標(biāo)識物的外輪廓發(fā)生了一定的變形，這些變形包括平移、旋轉(zhuǎn)、縮放仿射變形等。為了用預(yù)先制作的模版和圖像進行匹配，從而識別標(biāo)識物的ID號碼，需要對圖像進行幾何變換，使圖像正規(guī)化5.3 圖像的標(biāo)識識別圖像正規(guī)化將從攝像頭獲取的標(biāo)識圖像轉(zhuǎn)變?yōu)閿z像頭和圖像是正對著的，攝像頭的光心垂直于標(biāo)識物時拍攝的視頻圖像。一般情況下，由于由攝像機引起的這種圖像變換是仿射變換。通常情況下，這種變換是線性的，即能夠保持線段的直線性、距離化、平行性不變。在圖像線性變形的假設(shè)條件下，變形圖像點的坐標(biāo)(X,Y)與原圖像上點的坐標(biāo)(x,y)之間的關(guān)系是:5

12、.3 圖像的標(biāo)識識別其中，C為3*3的矩陣，這個矩陣的第三列對平面圖像沒有影響，所以只要確定了變形圖像上的3個點以及在沒有變形圖像上與它們對應(yīng)的3個點的坐標(biāo)，就可以代入方程組，求出方程中的六個未知數(shù)。也就是求得了變形圖像和未變形圖像之間的對應(yīng)關(guān)系。5.3 圖像的標(biāo)識識別模板匹配圖像匹配技術(shù)是數(shù)字圖像處理領(lǐng)域的一項重要研究。根據(jù)已知模式(模板圖)，到另一幅圖中搜索相匹配的子圖像的過程，稱為模板匹配。模板就是一幅已知的小圖像，具體地說模板匹配的過程是在一幅大圖像中搜尋目標(biāo)，己知該圖中有要找的目標(biāo)，通過一定的算法可以在圖中找到目標(biāo)，確定其坐標(biāo)位置。圖像的模板匹配技術(shù)可以分成直接基于灰度值的方法以及基

13、于特征提取的方法兩大類。5.3 圖像的標(biāo)識識別一幅圖像與另一幅圖像接近的程度需要一個尺度來描述，在數(shù)學(xué)上常用向量的范數(shù)做為一個尺度。假設(shè)輸入圖像為M，已知圖像為T，它們之間的相似度可以用下式衡量：其中，d是一個距離標(biāo)量，表示兩個向量之間的距離。通過在圖像中尋找使d值最小的區(qū)域，確定被尋找的圖像T在輸入圖像中的位置等信息。為了防止出現(xiàn)匹配錯誤的情況，一般會在應(yīng)用中設(shè)置一個閥值，當(dāng)d小于某個閥值時，認(rèn)為兩幅圖像有一定可比的相似度，當(dāng)d大于某個閥值時，認(rèn)為兩幅圖像不具有可比的相似度，不參與d值的比較。5.3 圖像的標(biāo)識識別由于在拍攝圖像的時候，會因為光照強度不同，獲取的圖像在灰度級的分布上會不同，這

14、種情況使得兩張原本形狀相似的圖像被檢測為不相似。為了避免這種情況，實際應(yīng)用中使用兩個向量的夾角這個標(biāo)準(zhǔn)來衡量兩個圖像的相似度，公式如下:系統(tǒng)中采用標(biāo)準(zhǔn)相似度來進行模版匹配。所采用的特征是圖像的標(biāo)識物區(qū)域的面積比幾何特征。面積比計算比較簡單，實時性好;同時在圖像進行線性變換的過程中面積比特征不會改變。在對系統(tǒng)的標(biāo)識物事先設(shè)定好的情況下會有較高的精度。5.3 圖像的標(biāo)識識別第五章 三維注冊與虛實融合 5.1 虛實融合原理 5.2 相機標(biāo)定技術(shù) 5.3 圖像的標(biāo)識識別 5.4 虛實融合5.4 虛實融合對虛擬的三維物體進行投影變換等三維注冊操作后，其大小、朝向、位置等都與實際場景匹配。直接將變換后的虛

15、擬場景的影像疊加到實際場景的影像中，實現(xiàn)虛實融合，或者將三維的虛擬動畫貼圖渲染到真實世界的標(biāo)識物上，實現(xiàn)增強現(xiàn)實的效果，都沒有大的問題。為了取得更好的效果，虛實融合模塊除完成前景和虛景融合外，還要進行遮擋處理、邊緣融合等工作。虛實融合模塊還要將光照、陰影、前景色彩增強等視覺效果根據(jù)環(huán)境的需要和真實世界的場景加入到系統(tǒng)中，使得增強現(xiàn)實系統(tǒng)中的場景更加逼真。5.4 虛實融合在系統(tǒng)中，為了達到逼真的虛實融合的效果，正確顯示虛擬物體和真實物體的遮擋關(guān)系，需要將深度檢測模塊的輸出結(jié)果傳入虛實結(jié)合子?？?，虛實結(jié)合子模塊根據(jù)真實場景中的物體與虛擬物體的遮擋關(guān)系進行虛擬場景與真實場景的無縫融合。虛實融合模塊處理虛擬物體與真實物體之間的遮擋關(guān)系的具體步驟如下:5.4 虛實融合如果物體在監(jiān)控區(qū)域，將物體的深度信息和監(jiān)控區(qū)域中虛擬物體的深度信息進行比較。如果真實場景中物體的深度大于虛擬投影三維模型的深度信息，從固定攝像機的視角看，真實場景中的物體與虛擬物體的空間位置關(guān)系是真實場景的物體在后，虛擬物體在前，那么就直接將三維虛擬的模型投影在標(biāo)記物上。如果真實場景中物體的深度小于虛擬投影的三維模型的深度信息，真實場景的物體在前，虛擬物體在后，那么就將三維虛擬的模型投影在標(biāo)記物上之后