增強現(xiàn)實技術(shù)之基于視覺的增強現(xiàn)實系統(tǒng)培訓講義

第二章基于視覺增強現(xiàn)實系統(tǒng)框架2.1系統(tǒng)框架2.2系統(tǒng)模塊介紹2.3圖像采集與處理模塊2.4三維模型繪制模塊

2.5標識識別模塊2.6三維注冊模塊2.7深度檢測模塊2.8虛實融合模塊2.9動作交互模塊增強現(xiàn)實技術(shù)之基于視覺的增強現(xiàn)實系統(tǒng)培訓講義第1頁2.1系統(tǒng)框架

增強現(xiàn)實技術(shù)之基于視覺的增強現(xiàn)實系統(tǒng)培訓講義第2頁2.2系統(tǒng)模塊介紹

系統(tǒng)由9個主要子模塊組成：圖像采集子模塊數(shù)字圖像處理子模塊注冊定位子模塊標識識別子模塊，深度檢測子模塊圖形渲染子模塊用戶交互子模塊虛實融合子模塊多媒體控制子模塊增強現(xiàn)實技術(shù)之基于視覺的增強現(xiàn)實系統(tǒng)培訓講義第3頁2.2系統(tǒng)模塊介紹圖像采集子模塊從圖像輸入設備中采集視頻流，從視頻流中獲取視頻圖像。數(shù)字圖像處理子模塊為三維注冊子模塊和虛實結(jié)合子模塊提供非常主要基礎數(shù)據(jù)。它詳細功效是經(jīng)過圖像分割，邊緣檢測等圖像處理方法對采集圖像進行處理，從工作環(huán)境背景中識別出預先在環(huán)境中設置用于定位標志。標識識別子模塊依據(jù)模式匹配算法，使系統(tǒng)從攝像機視頻圖像中正確識別出預先設計好標識物，同時給出標識物ID號碼，作為系統(tǒng)中圖形顯示子模塊輸入?yún)?shù)一部分，以使得圖形顯示子模塊將預先設計好三維模型正確顯示在特定位置上。增強現(xiàn)實技術(shù)之基于視覺的增強現(xiàn)實系統(tǒng)培訓講義第4頁2.2系統(tǒng)模塊介紹注冊定標子模塊以圖像檢測模塊輸出結(jié)果為數(shù)據(jù)輸入，經(jīng)過相機標定內(nèi)部參數(shù)算法和相機標定外部參數(shù)算法，將程序中所用到標識三維位置和姿態(tài)計算出來，最終相機外部參數(shù)作為輸出結(jié)果輸入到虛實結(jié)合子模塊，用openGL等軟件中虛擬相機模擬真實世界中相機，產(chǎn)生良好虛實環(huán)境無縫融合場景。深度檢測子模塊檢測特定空間點深度信息。為了判斷系統(tǒng)中渲染虛擬物體與真實環(huán)境中物體遮擋關(guān)系，系統(tǒng)中需要計算虛擬物體與真實場景中物體深度信息，經(jīng)過比較它們深度信息，確定虛擬物體與真實場景中物體遮擋關(guān)系，實現(xiàn)系統(tǒng)中真實場景與虛擬物體遮擋一致性，同時經(jīng)過檢測真實場景中用戶手勢等交互動作，完成用戶與場景中虛擬物體自然交互。增強現(xiàn)實技術(shù)之基于視覺的增強現(xiàn)實系統(tǒng)培訓講義第5頁2.2系統(tǒng)模塊介紹圖形繪制子模塊實現(xiàn)對虛擬三維模型實時動態(tài)渲染。虛實融合模塊主要完成前景和虛景融合、遮擋處理、邊緣融合等工作。額外視覺效果，如光照、前景色彩增加等也在模塊中實現(xiàn)。為了到達逼真虛實融合效果，正確顯示虛擬物體和真實物體遮擋關(guān)系，需要將深度檢測模塊輸出結(jié)果作為輸入傳入虛實結(jié)合子?？?，虛實結(jié)合子模塊依據(jù)真實場景中物體與虛擬物體遮擋關(guān)系進行虛擬場景與真實場景無縫融合。用戶交互子模塊為用戶提供兩種與虛擬三維模型進行直接交互方式。多媒體控制模塊模擬系統(tǒng)環(huán)境中產(chǎn)生各種各樣聲音元素，同時把視頻文件播放出來。增強現(xiàn)實技術(shù)之基于視覺的增強現(xiàn)實系統(tǒng)培訓講義第6頁2.3圖像采集與處理模塊圖像采集模塊主要功效是從圖像輸入設備中采集視頻流，從視頻流中獲取視頻圖像。增強現(xiàn)實系統(tǒng)圖像采集應該滿足實時性、準確性要求。當前性能較高CCD攝像頭都能夠滿足系統(tǒng)對圖像精度和獲取速度要求。微軟DirectX開發(fā)包中Direetshow模塊，是微軟企業(yè)公布在Windows環(huán)境下運行一個流媒體處理體系，是DirectX組成部分之一。Directshow支持很各種多媒體格式，包含慣用ASF，MPEG，AVI，MP3，WAV等。當系統(tǒng)安裝有硬件加速設備時候，Directshow能夠自動檢測并使用硬件加速設備。一樣，它也支持沒有硬件加速設備系統(tǒng)。增強現(xiàn)實技術(shù)之基于視覺的增強現(xiàn)實系統(tǒng)培訓講義第7頁2.3圖像采集與處理模塊增強現(xiàn)實技術(shù)之基于視覺的增強現(xiàn)實系統(tǒng)培訓講義第8頁2.3圖像采集與處理模塊在基于計算機視覺系統(tǒng)工程中，數(shù)字圖像處理子模塊為三維注冊子模塊和虛實結(jié)合子模塊提供非常主要基礎數(shù)據(jù)。它詳細功效是經(jīng)過圖像分割、邊緣檢測等圖像處理方法對采集圖像進行處理，從工作環(huán)境背景中識別出預先在環(huán)境中設置用于定位標志。數(shù)字圖像處理子模塊性能優(yōu)劣直接影響系統(tǒng)在三維注冊階段實時性和虛擬結(jié)合模塊中無縫融合準確性。數(shù)字圖像處理子模塊三個主要過程是圖像預處理與圖像分割，邊緣檢測和提取系統(tǒng)感興趣特征點。增強現(xiàn)實技術(shù)之基于視覺的增強現(xiàn)實系統(tǒng)培訓講義第9頁2.3圖像采集與處理模塊詳細實現(xiàn)在第三章詳細介紹增強現(xiàn)實技術(shù)之基于視覺的增強現(xiàn)實系統(tǒng)培訓講義第10頁2.4三維模型繪制模塊能夠用DirectX、游戲引擎中繪制三維模型語句和渲染語句來繪制三維模型，但所繪制模型相對簡單。用3DsMAX、Maya來繪制三維模型，然后導出到增強現(xiàn)實程序開發(fā)環(huán)境。三維模型運動控制由增強現(xiàn)實程序開發(fā)環(huán)境中程序?qū)崿F(xiàn)，但人物運動序列等看能夠在3DsMAX、Maya中建好后導出。模型復制能夠用程序?qū)崿F(xiàn)。詳細繪制方法在第四章中詳細介紹增強現(xiàn)實技術(shù)之基于視覺的增強現(xiàn)實系統(tǒng)培訓講義第11頁2.5標識識別模塊在增強現(xiàn)實系統(tǒng)中，經(jīng)過圖像分割、邊緣檢測和輪廓提取之后，我們就能夠把以上步驟結(jié)果用于標識識別子模塊依據(jù)模式匹配算法，使系統(tǒng)從攝像機視頻圖像中正確識別出預先設計好標識，同時給出標識ID號碼，作為系統(tǒng)中圖形顯示子模塊輸入?yún)?shù)一部分，以使得圖形顯示子模塊將預先設計好三維模型正確顯示在特定標識上，實現(xiàn)對真實環(huán)境增強。標識分為兩類，一類是人工設定好標識，一類是場景中自然具備。人工設定好標識普通由含有一定寬度黑色封閉矩形框和內(nèi)部各種圖形或文字兩部分組成。增強現(xiàn)實技術(shù)之基于視覺的增強現(xiàn)實系統(tǒng)培訓講義第12頁2.5標識識別模塊對于人工設定好標識經(jīng)過對視頻中每一幀圖像運用圖像分割、邊緣提取、連通區(qū)域檢測、輪廓提取等過程判斷視頻圖像中是否含有封閉黑色矩形框。匹配連通區(qū)域中四邊形結(jié)構(gòu)，記錄視頻圖像中全部標識所在區(qū)域和坐標。分別提取各個標識四邊形邊緣像素坐標，找出四邊形標識四個頂點坐標，計算出標識邊緣直線方程(屏幕坐標)。由于系統(tǒng)中使用標識記是事先設計有規(guī)則標識，所以能夠快速獲得檢測結(jié)果。增強現(xiàn)實技術(shù)之基于視覺的增強現(xiàn)實系統(tǒng)培訓講義第13頁2.5標識識別模塊對于人工設定好標識標識所代表詳細信息用標識內(nèi)部圖形或文字表示，如表示何種目標或在此應顯示何種虛擬物體。具體標識內(nèi)部圖像能夠依據(jù)需要手動選擇任意圖像作為標識物，能夠經(jīng)過幾個圖元組合自動生成工程中所需要標識。進行模板匹配，來實現(xiàn)標識識別。在做標識匹配前，需要進行圖像正規(guī)化。增強現(xiàn)實技術(shù)之基于視覺的增強現(xiàn)實系統(tǒng)培訓講義第14頁2.5標識識別模塊圖像正規(guī)化系統(tǒng)中采集圖像攝像頭在采集圖像時候處于隨機位置，即從任何角度任何位置拍攝都能夠，那么，攝像頭鏡面不一定與標識物平面是平行，攝像頭光軸也并不一定是垂直于標識物。所以采集到圖像也是不規(guī)則，標識物外輪廓發(fā)生了一定變形，這些變形包含平移、旋轉(zhuǎn)、縮放仿射變形等。為了用預先制作模版和圖像進行匹配，從而識別標識物ID號碼，需要對圖像進行幾何變換，使圖像正規(guī)化增強現(xiàn)實技術(shù)之基于視覺的增強現(xiàn)實系統(tǒng)培訓講義第15頁2.5標識識別模塊圖像正規(guī)化將從攝像頭獲取標識圖像轉(zhuǎn)變?yōu)閿z像頭和圖像是正對著，攝像頭光心垂直于標識物時拍攝視頻圖像。普通情況下，因為由攝像機引發(fā)這種圖像變換是仿射變換。通常情況下，這種變換是線性，即能夠保持線段直線性、距離化、平行性不變。在圖像線性變形假設條件下，變形圖像點坐標(X,Y)與原圖像上點坐標(x,y)之間關(guān)系是:增強現(xiàn)實技術(shù)之基于視覺的增強現(xiàn)實系統(tǒng)培訓講義第16頁2.5標識識別模塊其中，C為3*3矩陣，這個矩陣第三列對平面圖像沒有影響，所以只要確定了變形圖像上3個點以及在沒有變形圖像上與它們對應3個點坐標，就能夠代入方程組，求出方程中六個未知數(shù)。也就是求得了變形圖像和未變形圖像之間對應關(guān)系。增強現(xiàn)實技術(shù)之基于視覺的增強現(xiàn)實系統(tǒng)培訓講義第17頁2.5標識識別模塊模板匹配圖像匹配技術(shù)是數(shù)字圖像處理領域一項主要研究。依據(jù)已知模式(模板圖)，到另一幅圖中搜索相匹配子圖像過程，稱為模板匹配。模板就是一幅已知小圖像，詳細地說模板匹配過程是在一幅大圖像中搜尋目標，己知該圖中有要找目標，經(jīng)過一定算法能夠在圖中找到目標，確定其坐標位置。圖像模板匹配技術(shù)能夠分成直接基于灰度值方法以及基于特征提取方法兩大類。增強現(xiàn)實技術(shù)之基于視覺的增強現(xiàn)實系統(tǒng)培訓講義第18頁2.5標識識別模塊一幅圖像與另一幅圖像靠近程度需要一個尺度來描述，在數(shù)學上慣用向量范數(shù)做為一個尺度。假設輸入圖像為M，已知圖像為T，它們之間相同度能夠用下式衡量：其中，d是一個距離標量，表示兩個向量之間距離。經(jīng)過在圖像中尋找使d值最小區(qū)域，確定被尋找圖像T在輸入圖像中位置等信息。為了預防出現(xiàn)匹配錯誤情況，普通會在應用中設置一個閥值，當d小于某個閥值時，認為兩幅圖像有一定可比相同度，當d大于某個閥值時，認為兩幅圖像不含有可比相同度，不參加d值比較。增強現(xiàn)實技術(shù)之基于視覺的增強現(xiàn)實系統(tǒng)培訓講義第19頁2.5標識識別模塊因為在拍攝圖像時候，會因為光照強度不一樣，獲取圖像在灰度級分布上會不一樣，這種情況使得兩張原本形狀相同圖像被檢測為不相同。為了防止這種情況，實際應用中使用兩個向量夾角這個標準來衡量兩個圖像相同度，公式以下:系統(tǒng)中采取標準相同度來進行模版匹配。所采取特征是圖像標識物區(qū)域面積比幾何特征。面積比計算比較簡單，實時性好;同時在圖像進行線性變換過程中面積比特征不會改變。在對系統(tǒng)標識物事先設定好情況下會有較高精度。增強現(xiàn)實技術(shù)之基于視覺的增強現(xiàn)實系統(tǒng)培訓講義第20頁2.6三維注冊模塊增強現(xiàn)實系統(tǒng)必須能夠?qū)崟r地檢測出觀察者(或攝像機)相對于真實場景位置和方向角，以及成像系統(tǒng)(攝像機)內(nèi)部參數(shù)(焦距和像元高寬比等)依據(jù)這些信息來實時確定所要添加虛擬信息在真實空間中映射位置，并將這些信息實時顯示在圖象中正確位置。在用戶看來，不論從任何角度觀察，都應該使虛擬物體與真實場景保持三維歐氏空間幾何一致性。這就是AR中虛實注冊(Registration)所要完成任務。增強現(xiàn)實技術(shù)之基于視覺的增強現(xiàn)實系統(tǒng)培訓講義第21頁2.6三維注冊模塊三維注冊子模塊以圖像檢測模塊輸出結(jié)果為數(shù)據(jù)輸入，經(jīng)過相機標定內(nèi)部參數(shù)算法和相機標定外部參數(shù)算法，將程序中所用到標識三維位置和姿態(tài)計算出來。相機外部參數(shù)作為輸出結(jié)果輸入到虛實融合子模塊，用DirectX或openGL中虛擬相機模擬真實世界中相機，產(chǎn)生良好虛實環(huán)境無縫融合場景。將三維虛擬動畫模型渲染到特定標識物上，實現(xiàn)增強現(xiàn)實效果。該模塊詳細設計和詳細算法在第五章有詳細討論。增強現(xiàn)實技術(shù)之基于視覺的增強現(xiàn)實系統(tǒng)培訓講義第22頁2.7深度檢測模塊為了判斷系統(tǒng)中渲染虛擬物體與真實環(huán)境中物體遮擋關(guān)系，系統(tǒng)中需要計算虛擬物體與真實場景中物體深度信息，經(jīng)過比較它們深度信息，確定虛擬物體與真實場景中物體遮擋關(guān)系，實現(xiàn)系統(tǒng)中真實場景與虛擬物體遮擋一致性由計算機視覺相機標定技術(shù)能夠知道，一幅圖像中一個點確定空間中一條直線與這個點相對應，為了在系統(tǒng)中求取圖像上一點深度信息，需要兩幅圖像或多幅圖像。計算一個點在多幅圖像上深度信息直線方程，然后聯(lián)方程，用最小二乘法計算出圖像點深度信息。增強現(xiàn)實技術(shù)之基于視覺的增強現(xiàn)實系統(tǒng)培訓講義第23頁2.7深度檢測模塊深度檢測模塊流程圖增強現(xiàn)實技術(shù)之基于視覺的增強現(xiàn)實系統(tǒng)培訓講義第24頁2.8虛實融合模塊虛實融合模塊主要完成前景和虛景融合、遮擋處理、邊緣融合等工作。額外視覺效果，如光照、前景色彩增加等也在模塊中實現(xiàn)。在系統(tǒng)中，為了到達逼真虛實融合效果，正確顯示虛擬物體和真實物體遮擋關(guān)系，需要將深度檢測模塊輸出結(jié)果作為輸入傳入虛實結(jié)合子模快，虛實結(jié)合子模塊依據(jù)真實場景中物體與虛擬物體遮擋關(guān)系進行虛擬場景與真實場景無縫融合。虛實融合模塊處理虛擬物體與真實物體之間遮擋關(guān)系詳細步驟以下:增強現(xiàn)實技術(shù)之基于視覺的增強現(xiàn)實系統(tǒng)培訓講義第25頁2.8虛實融合模塊假如物體在監(jiān)控區(qū)域，將物體深度信息和監(jiān)控區(qū)域中虛擬物體深度信息進行比較。假如真實場景中物體深度大于虛擬投影三維模型深度信息，從固定攝像機視角看，真實場景中物體與虛擬物體空間位置關(guān)系是真實場景物體在后，虛擬物體在前，那么就直接將三維虛擬模型投影在標識物上。假如真實場景中物體深度小于虛擬投影三維模型深度信息，真實場景物體在前，虛擬物體在后，那么就將三維虛擬模型投影在標識物上之后，將高斯摳圖得到真實物體圖像渲染到虛擬三維模型之上，顯示真實物體與虛擬物體遮擋關(guān)系。增強現(xiàn)實技術(shù)之基于視覺的增強現(xiàn)實系統(tǒng)培訓講義第26頁2.8虛實融合模塊虛實融合模塊要將光照、陰影、前景