虛擬現(xiàn)實技術(shù)基礎(chǔ)

1、虛擬現(xiàn)實技術(shù)簡介授課教師：侯守明2 2主要內(nèi)容l虛擬現(xiàn)實系統(tǒng)的特點及組成l立體視覺的生成與獲取l虛擬現(xiàn)實交互設(shè)備l虛擬現(xiàn)實系統(tǒng)的分類l增強現(xiàn)實技術(shù)3 3虛擬現(xiàn)實系統(tǒng)的特點及組成l虛擬現(xiàn)實技術(shù)綜合圖形、圖像、聲音、手勢、語音等要素，試圖給計算機使用者創(chuàng)造一種全新的感官體驗，使其具有置身于真實世界的感覺l“虛擬環(huán)境是使人們具有沉浸感的由計算機生成的、交互的、三維的環(huán)境” - Aukstakalnis S and Blatner D.4 4虛擬現(xiàn)實系統(tǒng)的特點及組成l主要特點l沉浸感如同置身于真實環(huán)境中：三維、立體、多通道l高交互性可采取現(xiàn)實生活中習(xí)以為常的方式來操縱虛擬環(huán)境中的物體l實時性依視點位置

2、和視線方向?qū)崟r地改變畫面，并實時產(chǎn)生聽覺、觸覺/力覺響應(yīng)5 5虛擬現(xiàn)實系統(tǒng)的特點及組成l典型虛擬現(xiàn)實系統(tǒng)的組成l計算機系統(tǒng)l用戶l虛擬環(huán)境人機界面 6 6虛擬現(xiàn)實系統(tǒng)的特點及組成l基于HMD的虛擬現(xiàn)實系統(tǒng)的構(gòu)成 7 7立體視覺的生成與獲取l產(chǎn)生沉浸感的至關(guān)重要的因素l立體圖像與觀察者視點和視線方向一致l實時生成l人類立體視覺的產(chǎn)生 l立體圖像生成的照相機模型l對稱透視投影成像相機模型位置方向8 8立體視覺的生成與獲取l立體圖像生成的照相機模型l對稱透視投影成像相機模型 （cont.)寬高比視角9 9立體視覺的生成與獲取1010立體視覺的生成與獲取l立體圖像生成的照相機模型l對稱透視投影成像相機

3、模型 （cont.)近裁剪平面距離與遠(yuǎn)裁剪平面距離1111立體視覺的生成與獲取l立體圖像生成的照相機模型l對稱透視投影成像相機模型 （cont.)焦距1212立體視覺的生成與獲取l立體圖像生成的照相機模型l對稱透視投影成像相機模型 （cont.)左右眼視差（Parallax）l為生成立體圖像，計算機必須針對同一場景生成兩幅不同的圖像l分別按照觀察者左、右眼的位置實時繪制 右眼視圖 視線方向 視差 左眼視圖 1313立體視覺的生成與獲取l立體視覺的捕獲l必須借助于一定的觀察設(shè)備，使計算機生成的左、右眼圖像分別為觀察者的左、右眼所接收l常用的立體視覺設(shè)備HMD立體眼鏡 1414虛擬現(xiàn)實交互設(shè)備lW

4、IMP交互范式已不再適用lWindows，Icons，Menus，Pointing devicesl用戶將通過一系列新的交互手段，與虛擬世界中的物體進行直接的、三維的交互l三維鼠標(biāo)lWANDl數(shù)據(jù)手套l麥克風(fēng)l1515虛擬現(xiàn)實交互設(shè)備l三維定位跟蹤設(shè)備l用于跟蹤用戶當(dāng)前方位的傳感器l大多數(shù)具有6自由度（6-DOF）位置和方向各3自由度l佩戴于用戶身體的某些部位可對相應(yīng)部位進行跟蹤l一般采用電磁技術(shù)、超聲技術(shù)、光學(xué)技術(shù)，也有基于慣性的和純機械方式的1616虛擬現(xiàn)實交互設(shè)備l三維定位跟蹤設(shè)備l電磁式跟蹤器示例 1717虛擬現(xiàn)實交互設(shè)備l三維定位跟蹤設(shè)備lLogitech超聲三維鼠標(biāo) 1818虛擬現(xiàn)

5、實交互設(shè)備l三維定位跟蹤設(shè)備l光學(xué)跟蹤器 跟蹤器 紅外攝像機 LED 被跟蹤物 用作標(biāo)記的小球 1919虛擬現(xiàn)實交互設(shè)備l手持式交互設(shè)備lWand/Wanda美國Illonis大學(xué)EVL實驗室開發(fā)主要用于CAVE、ImmersaDesk等虛擬環(huán)境中類似于三維鼠標(biāo)，上有三個按鍵和一個操縱桿（Joystick）2020虛擬現(xiàn)實交互設(shè)備l手持式交互設(shè)備lWii Remote任天堂游戲主機Wii的主要控制器外形及按鈕操作與電視遙控器類似可握持在手中，特別適合于指向、揮動等操作 2121虛擬現(xiàn)實交互設(shè)備l數(shù)據(jù)手套l附有傳感器，分布在手掌和手指的關(guān)節(jié)處，以獲取用戶手形的準(zhǔn)確信息l傳感有電磁式、機械式或光學(xué)

6、式l傳感器捕獲的數(shù)據(jù)被轉(zhuǎn)換成關(guān)節(jié)角度數(shù)據(jù)，用于控制虛擬手的運動2222虛擬現(xiàn)實交互設(shè)備l數(shù)據(jù)手套傳感器的典型配置 22-dof2323虛擬現(xiàn)實交互設(shè)備l數(shù)據(jù)手套示例lImmersion數(shù)據(jù)手套產(chǎn)品lhttp:/ (a) (b) (c) (d) (e) 2424虛擬現(xiàn)實交互設(shè)備l數(shù)據(jù)手套示例lPinchGlove數(shù)據(jù)手套lhttp:/2525虛擬現(xiàn)實交互設(shè)備l數(shù)據(jù)手套示例l5DT數(shù)據(jù)手套lhttp:/ 3636基于投影顯示的虛擬現(xiàn)實系統(tǒng)lVirtual WorkbenchTM 衛(wèi)星虛擬裝配衛(wèi)星虛擬裝配3737遙在系統(tǒng)l將現(xiàn)實世界中遠(yuǎn)程場景與操作人員的感官直接連通，讓用戶感覺就像親臨現(xiàn)場一樣l利用

7、計算機圖形、人機交互、傳感器、網(wǎng)絡(luò)等技術(shù)l遠(yuǎn)程傳感器可安裝在機器人身上l機器人身上有小型攝像系統(tǒng)l需感知用戶位置、動作、語音等，將其傳送到遠(yuǎn)程操控遠(yuǎn)程對象l用戶與遠(yuǎn)程對象進行信息雙向交流 3838遙在系統(tǒng)l示例： Cisco遠(yuǎn)程電話會議系統(tǒng) http:/ 混合現(xiàn)實 (Mixed Reality, MR) 現(xiàn)實環(huán)境 (Real Environment) 增強現(xiàn)實 (Augmented Reailty, AR) 增強虛擬 (Augmented Virtuality, AV) 虛擬環(huán)境 (Virtual Environment) 4141增強現(xiàn)實系統(tǒng)l系統(tǒng)組成4242增強現(xiàn)實技術(shù)l顯示技術(shù)l基于光學(xué)

8、視透式HMD的增強現(xiàn)實顯示原理 圖形系統(tǒng) 頭部位置 虛擬物體 HMD 監(jiān)視器 真實世界 光學(xué)合成 眼睛 4343增強現(xiàn)實技術(shù)l顯示技術(shù)l基于屏幕的增強現(xiàn)實顯示原理 圖形系統(tǒng) 視頻合成 真實 世界 真實場景 視頻 相機位置 虛擬物體 增強的視頻 顯示 4444增強現(xiàn)實技術(shù)l顯示技術(shù)l基于視頻視透式HMD的增強現(xiàn)實顯示原理 圖形系統(tǒng) 真實 世界 頭部位置 真實場景視頻 眼睛 監(jiān)視器 虛擬物體 視頻合成 HMD 相機 4545增強現(xiàn)實技術(shù)l配準(zhǔn)（registration）問題l將位于不同坐標(biāo)系中的物體統(tǒng)一到一個共同的坐標(biāo)系中AR系統(tǒng)涉及多個空間，每個空間都有各自不同的坐標(biāo)系l配準(zhǔn)是實現(xiàn)虛擬景物圖像和真實世界圖像之間正確融合的前提l配準(zhǔn)錯誤將導(dǎo)致用戶的注意力分散，甚至無法工作4646增強現(xiàn)實技術(shù)l配準(zhǔn)困難的原因l需對人和攝像機的運動進行實時跟蹤運動跟蹤可借助跟蹤設(shè)備來完成，但如何校正這些運動數(shù)據(jù)以消除噪聲?l系統(tǒng)所采用的顯示方式?jīng)Q定了虛擬景物圖像配準(zhǔn)到真實場景圖