虛擬現(xiàn)實(shí)技術(shù)導(dǎo)論 課件 梁曉輝 第1、2章 概論、虛擬現(xiàn)實(shí)常用軟硬件

虛擬現(xiàn)實(shí)技術(shù)導(dǎo)論第1章概論本講大綱1.1基本概念及發(fā)展簡(jiǎn)史1.2虛擬現(xiàn)實(shí)的關(guān)聯(lián)概念1.3典型特征1.4虛擬現(xiàn)實(shí)系統(tǒng)1.5虛擬現(xiàn)實(shí)系統(tǒng)的構(gòu)建過(guò)程1.6習(xí)題1.1基本概念及發(fā)展簡(jiǎn)史虛擬現(xiàn)實(shí)(VR)——三元世界的界面真實(shí)世界虛擬世界

人虛擬現(xiàn)實(shí)是人與虛擬世界及真實(shí)世界的相互作用虛擬現(xiàn)實(shí)就是采用以計(jì)算機(jī)技術(shù)為核心的現(xiàn)代高技術(shù)生成逼真的視、聽(tīng)、觸覺(jué)一體化的一定范圍的三維虛擬環(huán)境，用戶可以借助必要的裝備以自然的方式與虛擬環(huán)境中的物體進(jìn)行交互作用、相互影響，從而獲得親臨等同真實(shí)環(huán)境的感受和體驗(yàn)。基本概念虛擬現(xiàn)實(shí)技術(shù)充分利用計(jì)算機(jī)硬件和軟件的集成技術(shù)，提供一種實(shí)時(shí)、三維的虛擬環(huán)境，用戶借助必要的設(shè)備（如頭盔，手套等）以自然方式與虛擬環(huán)境中的物體進(jìn)行交互，從而沉浸于虛擬環(huán)境中，產(chǎn)生接近真實(shí)環(huán)境的感受和體驗(yàn)。虛擬環(huán)境是由計(jì)算機(jī)生成的實(shí)時(shí)動(dòng)態(tài)的三維立體逼真圖像，它可以是某一現(xiàn)實(shí)世界的再現(xiàn)，也可以是虛擬構(gòu)想的世界。關(guān)鍵詞：3D+交互基本概念3D＋交互示例虛擬現(xiàn)實(shí)產(chǎn)生的背景與應(yīng)用需求演化密切相關(guān)與計(jì)算技術(shù)發(fā)展密切相關(guān)虛擬現(xiàn)實(shí)產(chǎn)生的背景現(xiàn)代科學(xué)研究的主要手段理論研究（推導(dǎo)、演繹）科學(xué)實(shí)驗(yàn)（統(tǒng)計(jì)、歸納）一個(gè)問(wèn)題如何使得計(jì)算過(guò)程和結(jié)果更為直觀？科學(xué)計(jì)算數(shù)值計(jì)算方法模擬仿真新的計(jì)算方法虛擬現(xiàn)實(shí)產(chǎn)生的背景直觀為什么首先要可視？真正的直觀需要可視、可聽(tīng)、可觸、可嗅，而視覺(jué)占到人的輸入信息的80%以上，是基本的可視的概念并不陌生解析幾何（代數(shù)、幾何）在于虛擬現(xiàn)實(shí)關(guān)聯(lián)的學(xué)科中，與“可視”相關(guān)的也是最早發(fā)展的虛擬現(xiàn)實(shí)產(chǎn)生的背景虛擬現(xiàn)實(shí)考慮的核心問(wèn)題如何把現(xiàn)實(shí)世界中物體和數(shù)據(jù)映射成具有某種幾何、物理和行為屬性的對(duì)象（實(shí)物虛化）如何計(jì)算機(jī)中的虛擬對(duì)象映射到現(xiàn)實(shí)世界中（虛物實(shí)化）發(fā)展簡(jiǎn)史80多年前的飛行模擬器……1929年EdwinA.Link發(fā)明了一種飛行模擬器“藍(lán)盒子”，可提供俯仰、偏航、滾轉(zhuǎn)等復(fù)雜飛行動(dòng)作。這是人類模擬仿真物理現(xiàn)實(shí)的初次嘗試如今，全球民航共使用著約1200余臺(tái)全飛模擬機(jī)，其中約550臺(tái)位于美國(guó)、75臺(tái)位于英國(guó)、我國(guó)擁有約60多臺(tái)，而德國(guó)和日本分別擁有50臺(tái)，法國(guó)擁有其中的40余臺(tái)發(fā)展簡(jiǎn)史

50多年前的摩托車仿真器……1956年，MortonHeileg開(kāi)發(fā)了一個(gè)摩托車仿真器Sensorama，基于一對(duì)并排的35mm照相機(jī)實(shí)現(xiàn)三維視頻反饋，有立體聲效，能產(chǎn)生振動(dòng)感覺(jué)1962年的“Sensoramasimulator”專利已具有一定的VR技術(shù)的思想發(fā)展簡(jiǎn)史圖形學(xué)和VR的里程碑，63－68年……IvanSutherland：1963畫(huà)板1965終極的顯示1966HMD1968

E&S1988圖靈獎(jiǎng)發(fā)展簡(jiǎn)史圖形學(xué)和VR的里程碑，63－68年……IvanSutherland：1963畫(huà)板1965終極的顯示1966HMD1968

E&S1988圖靈獎(jiǎng)發(fā)展簡(jiǎn)史人機(jī)交互1987年，James.D.Foley在具有影響力的《科學(xué)美國(guó)人》上發(fā)表了“InterfacesforAdvancedComputing”。該雜志還發(fā)表了報(bào)導(dǎo)數(shù)據(jù)手套的文章，引起人們的關(guān)注發(fā)展簡(jiǎn)史AR……VR……1973年，Krueger提出了“ArtificialReality”一詞，這是早期出現(xiàn)的VR詞語(yǔ)1989年，美國(guó)VPL公司的創(chuàng)立者JaronLanier提出了VirtualReality一詞2014年3月20日，F(xiàn)acebook公司宣布斥資20億美元收購(gòu)虛擬現(xiàn)實(shí)公司Oculus。這是Facebook金額排名第二的收購(gòu)交易2014年7月25日，Amazon發(fā)布FirePhone3D手機(jī)，

增強(qiáng)3D購(gòu)物/娛樂(lè)體驗(yàn)2014年9月，微軟研發(fā)3D觸覺(jué)反饋觸摸屏：醫(yī)生可以摸到腫瘤2015年1月22日，微軟舉辦Win10預(yù)覽版發(fā)布會(huì)，推出HoloLens全息影像頭盔2015年CES（國(guó)際消費(fèi)電子展），三星等推出的多款虛擬現(xiàn)實(shí)頭盔、應(yīng)用等發(fā)展簡(jiǎn)史發(fā)展簡(jiǎn)史虛擬現(xiàn)實(shí)可能應(yīng)用的九個(gè)領(lǐng)域：2016年1月14日，高盛發(fā)布58頁(yè)報(bào)告，指出虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR）將像PC一樣改變世界預(yù)期到2025年VR和AR軟硬件營(yíng)收達(dá)800-1800億美元高盛預(yù)測(cè)報(bào)告：像PC一樣改變世界視頻游戲現(xiàn)場(chǎng)直播視頻娛樂(lè)零售業(yè)房地產(chǎn)教育健康工程軍事發(fā)展簡(jiǎn)史2018年，美國(guó)公布的《2016-2045年新興科技趨勢(shì)報(bào)告》預(yù)測(cè)未來(lái)30年里，虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)這些技術(shù)將成為主流技術(shù)。AR將把實(shí)時(shí)相關(guān)的信息給用戶投放在現(xiàn)實(shí)中，而VR則可以通過(guò)融合視覺(jué)、聽(tīng)覺(jué)、嗅覺(jué)和觸覺(jué)來(lái)實(shí)現(xiàn)深度沉浸的體驗(yàn)。發(fā)展簡(jiǎn)史近年來(lái)，元宇宙（Metaverse）成為市場(chǎng)上比較火熱的概念。元宇宙指利用科技手段連接與創(chuàng)造出與現(xiàn)實(shí)世界映射和交互的虛擬世界，該虛擬世界同時(shí)是一個(gè)具備基本新型社會(huì)體系的數(shù)字生活空間。其本質(zhì)是對(duì)現(xiàn)實(shí)世界的虛擬化、數(shù)字化，包括對(duì)內(nèi)容生產(chǎn)、經(jīng)濟(jì)系統(tǒng)、用戶體驗(yàn)以及實(shí)體世界大量真實(shí)內(nèi)容的改造。其中，擴(kuò)展現(xiàn)實(shí)（ExtendedReality，XR）技術(shù)是VR與AR技術(shù)的綜合，為用戶提供沉浸式體驗(yàn)，與數(shù)字孿生技術(shù)、區(qū)塊鏈技術(shù)一道成為支持元宇宙的核心技術(shù)之一。發(fā)展簡(jiǎn)史使人機(jī)界面、人機(jī)交互自然、友好是計(jì)算機(jī)科學(xué)工作者不懈追求的目標(biāo)。計(jì)算與仿真成為科學(xué)技術(shù)探索除理論研究、科學(xué)實(shí)驗(yàn)之外的第三種手段。人們?cè)谠S多領(lǐng)域所需解決的問(wèn)題越來(lái)越需要有力的預(yù)測(cè)手段和虛擬環(huán)境。追求、探求、需求計(jì)算機(jī)科學(xué)工作者不斷追求的三個(gè)目標(biāo)：快捷，聰明，和諧虛擬現(xiàn)實(shí)的三大應(yīng)用方向訓(xùn)練演練(模擬現(xiàn)實(shí)環(huán)境)規(guī)劃（設(shè)計(jì)）預(yù)測(cè)(虛擬未來(lái)環(huán)境)觀賞娛樂(lè)(構(gòu)想現(xiàn)實(shí)未來(lái)幻想環(huán)境)1.2虛擬現(xiàn)實(shí)的關(guān)聯(lián)概念與VR緊密相關(guān)的概念MR（混合現(xiàn)實(shí)）、AR（增強(qiáng)現(xiàn)實(shí)）、AV（增強(qiáng)虛擬）這些概念根據(jù)虛擬環(huán)境與真實(shí)環(huán)境信息融合的程度劃分虛擬現(xiàn)實(shí)發(fā)展的四個(gè)傳統(tǒng)領(lǐng)域

虛擬現(xiàn)實(shí)傳統(tǒng)仿真真實(shí)數(shù)據(jù)等游戲動(dòng)畫(huà)CAD/CAM圖形圖像人機(jī)交互等概念仿真等虛擬實(shí)體等近年來(lái)一些熱詞都有與虛擬現(xiàn)實(shí)相關(guān)內(nèi)容云計(jì)算：GoogleGlass（顯示）大數(shù)據(jù)：可視分析（視覺(jué)處理）可穿戴：新型人機(jī)界面（交互方式）5G：全景展示（內(nèi)容展現(xiàn)形式）人工智能：內(nèi)容處理，交互1.3典型特征VR3I典型特征示意圖沉浸（Immersion）交互（Interaction）構(gòu)想（Imagination）虛擬現(xiàn)實(shí)的三個(gè)主要特點(diǎn)依托的學(xué)科多（多學(xué)科交叉融合）應(yīng)用性強(qiáng)（與應(yīng)用領(lǐng)域交叉融合）高度依賴數(shù)據(jù)資源和計(jì)算資源1.4虛擬現(xiàn)實(shí)系統(tǒng)虛擬現(xiàn)實(shí)系統(tǒng)邏輯結(jié)構(gòu)典型虛擬現(xiàn)實(shí)系統(tǒng)一般包含一個(gè)虛擬環(huán)境（VirtualEnvironment，VE）及若干化身虛擬現(xiàn)實(shí)系統(tǒng)的4種分類（1）沉浸型（2）桌面型（3）增強(qiáng)型（4）分布型沉浸型這類系統(tǒng)主要面向高端應(yīng)用，其典型特點(diǎn)是使用高端圖形工作站（群）和高逼真感的視聽(tīng)觸設(shè)備，以提供更好的沉浸感。航天航空領(lǐng)域的應(yīng)用沉浸型這類系統(tǒng)主要面向高端應(yīng)用，其典型特點(diǎn)是使用高端圖形工作站（群）和高逼真感的視聽(tīng)觸設(shè)備，以提供更好的沉浸感。醫(yī)學(xué)領(lǐng)域的應(yīng)用桌面型這類系統(tǒng)主要面向普及型應(yīng)用，其典型特點(diǎn)是基于個(gè)人計(jì)算機(jī)和常規(guī)交互設(shè)備，在通用硬件上構(gòu)造簡(jiǎn)易型的系統(tǒng)。虛擬奧運(yùn)博物館增強(qiáng)型這類系統(tǒng)主要面向增強(qiáng)現(xiàn)實(shí)的應(yīng)用，其典型特點(diǎn)是：利用機(jī)械、聲波、光學(xué)、電磁技術(shù)獲取運(yùn)動(dòng)物體的3D姿態(tài)，然后與虛擬對(duì)象進(jìn)行注冊(cè)、融合，并使用透視頭盔式顯示器，在現(xiàn)實(shí)場(chǎng)景中疊加虛擬物體，增加虛實(shí)融合的內(nèi)容。大飛機(jī)虛擬融合系統(tǒng)分布型這類系統(tǒng)主要面向網(wǎng)絡(luò)環(huán)境下的虛擬現(xiàn)實(shí)應(yīng)用，其典型特點(diǎn)是：利用網(wǎng)絡(luò)將不同節(jié)點(diǎn)的虛擬現(xiàn)實(shí)系統(tǒng)加以聯(lián)結(jié)，構(gòu)建共享一致的虛擬環(huán)境，從而進(jìn)行協(xié)同和交互。分布型分布型虛擬現(xiàn)實(shí)系統(tǒng)的典型架構(gòu)：邏輯層主要實(shí)現(xiàn)了虛擬環(huán)境物理層通過(guò)每個(gè)虛擬的區(qū)域可能對(duì)應(yīng)一個(gè)區(qū)域服務(wù)器此外，物理層還設(shè)置了模型服務(wù)器與監(jiān)控服務(wù)器用于數(shù)據(jù)處理與服務(wù)管理1.5虛擬現(xiàn)實(shí)系統(tǒng)的構(gòu)建過(guò)程虛擬現(xiàn)實(shí)系統(tǒng)構(gòu)建過(guò)程建模+渲染+交互界面1.6習(xí)題習(xí)題虛擬現(xiàn)實(shí)的概念是什么？其主要特征是什么？構(gòu)造虛擬環(huán)境的主要過(guò)程是什么？你認(rèn)為構(gòu)造虛擬環(huán)境的難點(diǎn)是什么？虛擬現(xiàn)實(shí)技術(shù)導(dǎo)論第2章虛擬現(xiàn)實(shí)常用軟硬件本講大綱2.1典型輸入設(shè)備2.2典型輸出設(shè)備2.3常用軟件2.4習(xí)題2.1典型輸入設(shè)備用戶位姿獲取設(shè)備電磁跟蹤設(shè)備（電磁發(fā)射、接收）聲學(xué)跟蹤設(shè)備（超聲等發(fā)射、接收）光學(xué)跟蹤設(shè)備（光學(xué)傳感器、攝像頭）光波、有標(biāo)志點(diǎn)、無(wú)標(biāo)識(shí)點(diǎn)、深度圖通過(guò)攝像機(jī)獲取二維圖像標(biāo)志點(diǎn)，進(jìn)而獲得三維位置慣性跟蹤設(shè)備（加速度計(jì)、陀螺儀）眼球跟蹤設(shè)備混合方式用戶位姿獲取設(shè)備——電磁跟蹤設(shè)備現(xiàn)有電磁跟蹤設(shè)備一般由控制部件、信號(hào)發(fā)射器（transmitter）和接收器（receiver）組成發(fā)射器與接收器均包括3個(gè)相互垂直（正交）的電磁感應(yīng)圈；發(fā)射器通過(guò)電磁感應(yīng)圈產(chǎn)生磁場(chǎng)，接收器接收到磁場(chǎng)，并在感應(yīng)圈上產(chǎn)生相應(yīng)的電流；根據(jù)接收到的電流信號(hào)，通過(guò)控制部件預(yù)先設(shè)定的算法計(jì)算，就能得到跟蹤目標(biāo)相對(duì)于接收器的位置和方向。根據(jù)所發(fā)射磁場(chǎng)的不同，又可分為交流電發(fā)射器型和直流電發(fā)射器型。用戶位姿獲取設(shè)備——電磁跟蹤設(shè)備目前使用較為廣泛的直流電跟蹤系統(tǒng)，如AscensionTechnology公司的FlockofBirds系統(tǒng)，其刷新率可達(dá)100Hz，系統(tǒng)延遲在沒(méi)有噪聲濾波器的情況下，最小可到17ms。FlockofBirds系統(tǒng)用戶位姿獲取設(shè)備——聲學(xué)跟蹤設(shè)備聲學(xué)跟蹤技術(shù)利用超聲波的特性來(lái)達(dá)到目標(biāo)的位置跟蹤。不過(guò)從理論上講，聽(tīng)覺(jué)波也是可以使用的。聲學(xué)跟蹤系統(tǒng)根據(jù)其跟蹤方法可以分為兩類：飛行時(shí)間（TimeofFlight，ToF）測(cè)量法相位差（Phase-Coherent，PC）測(cè)量法為了更好地確定目標(biāo)位置和方向，在實(shí)際應(yīng)用中，通常采用多個(gè)超聲波發(fā)射/接收傳感器。Logitech跟蹤設(shè)備用戶位姿獲取設(shè)備——光學(xué)跟蹤設(shè)備光學(xué)跟蹤系統(tǒng)的感光設(shè)備種類很多，如普通攝像機(jī)、光敏二極管等。光源也是多種多樣的，可以是環(huán)境光，也可以是受跟蹤器控制發(fā)出的光。為了防止可見(jiàn)光的干擾，有時(shí)也使用紅外線作為光源。光學(xué)跟蹤系統(tǒng)使用的技術(shù)主要可分為：標(biāo)志系統(tǒng)模式識(shí)別系統(tǒng)激光測(cè)距系統(tǒng)光學(xué)跟蹤設(shè)備用戶位姿獲取設(shè)備——標(biāo)志系統(tǒng)標(biāo)志系統(tǒng)（markersystem）也稱為信號(hào)燈系統(tǒng)或固定傳感器系統(tǒng)，是當(dāng)前使用最多的光學(xué)跟蹤技術(shù)。它有兩種結(jié)構(gòu)：自外而內(nèi)（out-inside）結(jié)構(gòu)，例如圖a以及結(jié)構(gòu)自內(nèi)而外（inside-out）結(jié)構(gòu)，例如圖b。用戶位姿獲取設(shè)備——模式識(shí)別系統(tǒng)模式識(shí)別系統(tǒng)的原理是通過(guò)比較已知的樣本模式與傳感器得到的模式而得出物體位置的，它其實(shí)是前面介紹的標(biāo)志系統(tǒng)的一個(gè)改進(jìn)。把幾個(gè)LED那樣的發(fā)光器件按某一固定陣列（即樣本模式排列），并將其固定在被跟蹤對(duì)象的身上。然后由攝像機(jī)跟蹤拍攝運(yùn)動(dòng)的LED陣列，記錄整個(gè)LED陣列模式的變化。這實(shí)際上是將人的運(yùn)動(dòng)抽象為固定模式的LED點(diǎn)陣運(yùn)動(dòng)，從而避免從圖像中直接識(shí)別被跟蹤物體所帶來(lái)的復(fù)雜性。用戶位姿獲取設(shè)備——激光測(cè)距系統(tǒng)激光測(cè)距系統(tǒng)將激光發(fā)射到被測(cè)物體，然后接收從物體上反射回來(lái)的光測(cè)量出位置。激光通過(guò)一個(gè)衍射光柵射到被跟蹤物體上，然后接收經(jīng)物體表面反射的2D衍射圖的傳感器記錄。這種經(jīng)反射的衍射圈帶有一定的畸變，而這一畸變是與距離有關(guān)的，作為測(cè)量距離的一種量度。HTCViveLighthouseHTCViveLighthouse使用雙基站定位系統(tǒng)。Valve在頭顯和控制器上安裝了很多光敏傳感器。在基站的LED閃光之后就會(huì)同步信號(hào)，然后光敏傳感器可以測(cè)量出軸激光和軸激光分別到達(dá)傳感器的時(shí)間。這個(gè)時(shí)間就正好是軸和軸激光轉(zhuǎn)到這個(gè)特定的，點(diǎn)亮傳感器的角度的時(shí)間，于是傳感器相對(duì)于基站的軸和軸角度也就已知了；分布在頭顯和控制器上的光敏傳感器位置也是已知的，于是通過(guò)各個(gè)傳感器的位置差，就可以計(jì)算出頭顯位置和運(yùn)動(dòng)軌跡。用戶位姿獲取設(shè)備——慣性跟蹤設(shè)備慣性跟蹤技術(shù)使用慣性傳感器進(jìn)行跟蹤，主要包括陀螺儀（gyroscope）傳感器從原理上，高速旋轉(zhuǎn)的陀螺有保持其旋轉(zhuǎn)軸朝向不變的能力，可以測(cè)量被跟蹤物體的3自由度選擇運(yùn)動(dòng)（yaw、roll、pitch），從而達(dá)到對(duì)頭部方向運(yùn)動(dòng)的跟蹤。加速器（accelerator）傳感器加速計(jì)用來(lái)測(cè)量頭部運(yùn)動(dòng)的加速度或者是環(huán)境中運(yùn)動(dòng)物體的加速度，達(dá)到對(duì)頭部位置運(yùn)動(dòng)的跟蹤。慣性跟蹤設(shè)備用戶位姿獲取設(shè)備——眼球跟蹤設(shè)備ASL的MobileEye是可移動(dòng)的眼球軌跡追蹤系統(tǒng)，專為需要自由移動(dòng)應(yīng)用而設(shè)計(jì)，可以用在室內(nèi)也可以在戶外，它緊湊、堅(jiān)固，能應(yīng)用到體育方面。該系統(tǒng)重量輕，用于記錄的設(shè)備也很小，能別在一條皮帶上。眼睛圖像和場(chǎng)景圖像交錯(cuò)地保存在特制的DVCR磁帶里，以確保足夠高分辨率。其采樣率為25/30Hz。ASLModel504用戶運(yùn)動(dòng)數(shù)據(jù)獲取設(shè)備運(yùn)動(dòng)捕獲是記錄人體運(yùn)動(dòng)信息以供分析和回放的技術(shù)。捕捉的數(shù)據(jù)既可簡(jiǎn)單到記錄軀體部件的空間位置，也可復(fù)雜到記錄臉部和肌肉群的細(xì)致運(yùn)動(dòng)。應(yīng)用在計(jì)算機(jī)角色動(dòng)畫(huà)的運(yùn)動(dòng)捕捉則涉及到如何把真人動(dòng)作轉(zhuǎn)換為虛擬角色的動(dòng)作，直接轉(zhuǎn)換映射，用真人演員的手臂運(yùn)動(dòng)控制虛擬角色的手臂動(dòng)作間接轉(zhuǎn)換映射，用真人演員的手臂和手指動(dòng)作來(lái)控制虛擬角色的皮膚顏色和情緒等。影視特效動(dòng)畫(huà)制作虛擬現(xiàn)實(shí)游戲人體工程學(xué)模擬訓(xùn)練生物力學(xué)用戶運(yùn)動(dòng)數(shù)據(jù)獲取設(shè)備運(yùn)動(dòng)數(shù)據(jù)獲取裝備全身運(yùn)動(dòng)捕捉系統(tǒng)機(jī)械電子式運(yùn)動(dòng)捕捉系統(tǒng)光學(xué)動(dòng)作捕捉系統(tǒng)臉部表情捕捉系統(tǒng)數(shù)據(jù)手套用戶運(yùn)動(dòng)數(shù)據(jù)獲取設(shè)備——機(jī)械電子式運(yùn)動(dòng)捕捉系統(tǒng)ME4是ME電子機(jī)械式運(yùn)動(dòng)捕獲系統(tǒng)的最新產(chǎn)品ME4更貼身、重量更輕、操作更簡(jiǎn)單，其設(shè)計(jì)最大程度滿足用戶動(dòng)作的自由度和舒適度，由安放于人體17處關(guān)節(jié)的43只運(yùn)動(dòng)傳感器精確記錄運(yùn)動(dòng)者骨骼的轉(zhuǎn)動(dòng)ME4價(jià)格低，同時(shí)可最多捕獲16人的運(yùn)動(dòng)信息，沒(méi)有光學(xué)運(yùn)動(dòng)捕獲常見(jiàn)的測(cè)量死角和標(biāo)記點(diǎn)混淆，沒(méi)有電磁跟蹤系統(tǒng)常見(jiàn)的外界干擾產(chǎn)生的誤差增加傳感器錨點(diǎn)數(shù)量、位置（頭、肘、膝蓋、臀部）可配合完成諸如頭手倒立、四肢匍匐、就座等復(fù)雜動(dòng)作捕獲。用戶運(yùn)動(dòng)數(shù)據(jù)獲取設(shè)備——光學(xué)動(dòng)作捕捉系統(tǒng)光學(xué)動(dòng)作捕捉系統(tǒng)廣泛用于運(yùn)動(dòng)、人體工程學(xué)、實(shí)時(shí)動(dòng)畫(huà)制作、工業(yè)測(cè)量、臨床運(yùn)動(dòng)分析、知覺(jué)動(dòng)作技能研究。它可用于各種環(huán)境包括醫(yī)院、工廠大學(xué)、運(yùn)動(dòng)場(chǎng)、動(dòng)畫(huà)制作攝影棚和國(guó)際空間站等。PS光學(xué)式人體運(yùn)動(dòng)捕捉系統(tǒng)是目前光學(xué)式系統(tǒng)中價(jià)格最便宜、性能最好的系統(tǒng)。它依靠主動(dòng)方式的、一元硬幣大小的LED，可以快速、高精度、方便地獲取人體各個(gè)部位的運(yùn)動(dòng)數(shù)據(jù)。不同于被動(dòng)式的光學(xué)反射標(biāo)志，其能夠?qū)崟r(shí)獲取多達(dá)120個(gè)LED主動(dòng)方式標(biāo)志點(diǎn)的運(yùn)動(dòng)軌跡。用戶運(yùn)動(dòng)數(shù)據(jù)獲取設(shè)備——臉部表情捕捉系統(tǒng)FT45臉部表情跟蹤系統(tǒng)是廣泛使用的人體臉部表情跟蹤系統(tǒng)。通過(guò)臉部的36個(gè)不同標(biāo)記，F(xiàn)T45系統(tǒng)可以實(shí)時(shí)捕獲臉部運(yùn)動(dòng)數(shù)據(jù)。研究者可以在不同的場(chǎng)合多次重復(fù)使用這些數(shù)據(jù)文件。這些數(shù)據(jù)可以反映到其他虛擬角色的3D臉部模型上，從而獲得和表演者相似的表情，也可以進(jìn)行表情變化。用戶運(yùn)動(dòng)數(shù)據(jù)獲取設(shè)備——數(shù)據(jù)手套數(shù)據(jù)手套是虛擬現(xiàn)實(shí)應(yīng)用的主要交互設(shè)備，它作為一只虛擬的手或控件用于3DVR場(chǎng)景的模擬交互，可進(jìn)行物體抓取、移動(dòng)、裝配、操縱、控制，有有線和無(wú)線、左手和右手之分，可用于視景仿真軟件環(huán)境中。Material:BlackstretchlycraFlexureresolution:12-bitA/D.Minimumdynamicrangeis8bits.Flexuresensors:Proprietaryfiberopticbasedflexortechnology.2Sensorsperfinger(1stjoint[knuckle],2ndjoint).Abductionsensorsbetweenfingers.Computerinterface:RS232(2-wire:GND,TX)

8databits,1stopbit,noparity

19200bps(transmitonly)[9600bpsforwirelessglove]Powersupply:9VDCcenterpostive(150mA)Samplingrate:Thefullhand(14sensors)maybesampledatupto100samplespersecond.Transmissionfrequency:Right-handedwirelessglove:418MHz

Left-handedwirelessglove:433.92MHzWirelessrange:Upto30m真實(shí)物體幾何材質(zhì)屬性獲取設(shè)備3D掃描儀接觸式掃描儀非接觸式掃描儀激光掃描儀結(jié)構(gòu)式3D掃描儀3D照相機(jī)真實(shí)物體幾何材質(zhì)屬性獲取設(shè)備——3D掃描儀利用光學(xué)、機(jī)械等方法，獲取三維物體的表面幾何屬性，分為接觸式和非接觸式。真實(shí)物體幾何材質(zhì)屬性獲取設(shè)備——接觸式掃描儀接觸式掃描儀通過(guò)內(nèi)置高精度位置和方向傳感器感知探頭所處位置。主要產(chǎn)品有MS接觸式數(shù)據(jù)化儀。MS接觸式數(shù)據(jù)化儀是由三段碳纖維臂構(gòu)成，臂與臂之間由球狀連接器相連，內(nèi)置高精度位置和方向傳感器，以感知探頭所處位置。真實(shí)物體幾何材質(zhì)屬性獲取設(shè)備——非接觸式掃描儀激光掃描儀使用條狀激光對(duì)輸入對(duì)象進(jìn)行掃描，使用CCD相機(jī)接受其反射光束。根據(jù)三角測(cè)距原理獲得與拍攝物體之間的距離，進(jìn)行3D數(shù)據(jù)化處理。目前已成形的產(chǎn)品有DeltaSphere-3000、FastSCANCobra、ModelMaker以及VIVID系列等。結(jié)構(gòu)光式3D掃描儀有別于傳統(tǒng)的激光點(diǎn)掃描和線掃描方式，該掃描系統(tǒng)采用結(jié)構(gòu)光照相式原理對(duì)物體進(jìn)行快速面掃描。目前成型的產(chǎn)品有3DREALSCAN和北京天遠(yuǎn)的3D掃描系統(tǒng)。3D照相機(jī)美能達(dá)公司1999年推出3D1500數(shù)碼照相機(jī)可將現(xiàn)實(shí)世界中的實(shí)物實(shí)景拍攝為3D影像。3D數(shù)碼照相機(jī)在逼真再現(xiàn)立體世界方面還存在著不足，比如，目前只能通過(guò)3D技術(shù)再現(xiàn)小實(shí)物，拍攝后在計(jì)算機(jī)中處理的時(shí)間也較長(zhǎng)。目前的3D照相機(jī)主要有Komamura的Horseman3Dcamera，它采用了雙鏡頭組，但雙鏡頭是同時(shí)工作的，因此不需要額外地處理就可以直接拍攝出紅藍(lán)立體眼鏡能夠觀看的立體照片。2.2典型輸出設(shè)備典型輸出設(shè)備視覺(jué)輸出

3D立體眼鏡頭盔式顯示器3D環(huán)幕儀全息顯示真3D立體顯示器力/觸覺(jué)輸出力覺(jué)/動(dòng)感反饋設(shè)備觸覺(jué)反饋典型輸出設(shè)備——3D立體眼鏡一般由立體圖形加速卡、紅外控制發(fā)射盒、有線或線立體眼鏡，支持高分辨率、高場(chǎng)頻、逐行立體顯示。具有全面、小型、經(jīng)濟(jì)、適用的特點(diǎn)，適于基于PC機(jī)的小型VR系統(tǒng)，具有較好的性能價(jià)格比。典型輸出設(shè)備——頭盔式顯示器headmounteddisplay（HMD），分為遮擋型和透視型典型輸出設(shè)備——3D環(huán)幕儀利用投影、液晶屏構(gòu)造的大范圍視景空間典型輸出設(shè)備——全息顯示伽伯通過(guò)記錄3D物體信息的物光波的振幅和位相分布，并將記錄結(jié)果稱為“全息圖”。通?？梢詫⑷D理解為一個(gè)大容量的存儲(chǔ)器件，存儲(chǔ)或“凍結(jié)”了3D物體的全部信息。為了從全息圖中提取物光波的信息，還必須采用適當(dāng)?shù)墓獠ㄕ丈淙D，“解凍”或恢復(fù)原來(lái)的物光波，人眼朝向再現(xiàn)物光波進(jìn)行觀察時(shí)，就如同通過(guò)全息圖去觀察原來(lái)的真實(shí)物體一樣。典型輸出設(shè)備——真3D立體顯示器基于人眼立體視覺(jué)的3D成像受到觀察角度、輔助儀器、眼睛觀察時(shí)間等限制。由于焦距固定，使得眼睛在場(chǎng)景中無(wú)法像觀看一個(gè)真實(shí)物體那樣收縮或改變焦距，所以沒(méi)有真正意義上實(shí)現(xiàn)物體的全面3D顯示。全息成像無(wú)法顯示動(dòng)態(tài)立體圖像，很大程度上限制了全息顯示技術(shù)在現(xiàn)代信息顯示中的應(yīng)用。隨著計(jì)算機(jī)技術(shù)和圖形圖像技術(shù)的發(fā)展，出現(xiàn)了直接在3D數(shù)據(jù)場(chǎng)中生成體素點(diǎn)，不需佩戴任何輔助設(shè)備，可全視角、多人同時(shí)觀察立體圖像且具有物理景深的3D顯示器，即真3D立體顯示器，其相關(guān)技術(shù)稱為真3D立體顯示技術(shù)。真3D立體顯示技術(shù)，按成像原理不同可分為：靜態(tài)成像技術(shù)動(dòng)態(tài)成像技術(shù)把兩束激光束照到一個(gè)由特殊材料制造的透明圖像空間上，經(jīng)過(guò)折射，兩束光相交到一點(diǎn)，激發(fā)圖像空間材料發(fā)光，便產(chǎn)生了組成立體圖像最小單位—體素，每個(gè)體素對(duì)應(yīng)真實(shí)物體的一個(gè)實(shí)際的點(diǎn)，當(dāng)這兩束激光束快速移動(dòng)時(shí)，在圖像空間中就形成許許多多個(gè)交叉點(diǎn)，無(wú)數(shù)個(gè)體素點(diǎn)就構(gòu)成了真3D的物體圖像。動(dòng)態(tài)成像技術(shù)將顯示的圖像用2D切片的方式投影到一個(gè)旋轉(zhuǎn)或平移的屏幕上，同時(shí)該屏幕以觀察者無(wú)法察覺(jué)的速度在運(yùn)動(dòng)，由于人眼的視覺(jué)暫留，從而在人眼中形成3D物體，實(shí)現(xiàn)圖像的真3D顯示。典型輸出設(shè)備——真3D立體顯示器當(dāng)前幾種先進(jìn)的真3D立體顯示器包括Felix3D以及Perspecta3D等。典型輸出設(shè)備——真3D立體顯示器力覺(jué)/動(dòng)感反饋（force/kinestheticfeedback）觸覺(jué)反饋（tactilefeedback）典型輸出設(shè)備——力/觸覺(jué)輸出力覺(jué)反饋設(shè)備是虛擬現(xiàn)實(shí)系統(tǒng)中的一種重要的設(shè)備，能使參與者實(shí)現(xiàn)虛擬環(huán)境中除視覺(jué)、聽(tīng)覺(jué)之外的第三感覺(jué)——觸覺(jué)和力感。它可提供高度逼真的3D力（觸覺(jué)）反饋能力，在辦公室/桌面環(huán)境下進(jìn)行操作，并與標(biāo)準(zhǔn)PC機(jī)兼容。它能進(jìn)一步增強(qiáng)虛擬環(huán)境的交互性，從而真正體會(huì)到虛擬世界中的交互真實(shí)感。相對(duì)力反饋，觸覺(jué)反饋還處于初級(jí)階段。日本岐阜大學(xué)工學(xué)系元島棲二教授的研究小組成功開(kāi)發(fā)出世界最小的超敏感觸覺(jué)傳感器，在醫(yī)療器械領(lǐng)域應(yīng)用前景廣泛。傳感器在約0.1mm3的合成樹(shù)脂中埋入了直徑1~10μm、長(zhǎng)300~500μm、像彈簧一樣的螺旋狀微細(xì)碳線圈元件。碳線圈接觸物體之后，會(huì)將微小的壓力和溫度變化轉(zhuǎn)換成電信號(hào)。此外，傳感器還可以感知“擰”、"摩擦"等信號(hào)。2.3常用軟件構(gòu)建具有逼真感和交互性的VR系統(tǒng)，首先面臨的就是建?！，F(xiàn)有的虛擬現(xiàn)實(shí)建模軟件主要集中在支持虛擬景物的幾何和物理建模方面。前者又可分為面向動(dòng)畫(huà)制作與面向?qū)崟r(shí)繪制的建模軟件兩類。建模軟件面向動(dòng)畫(huà)制作的建模，也稱為3D幾何造型設(shè)計(jì)，是3D動(dòng)畫(huà)制作工具的基本功能。動(dòng)畫(huà)制作中的建模一般包括基本幾何形體繪制、復(fù)雜模型組合等?，F(xiàn)有一些公開(kāi)的3D模型庫(kù)可供使用，以提高開(kāi)發(fā)效率。目前流行的3D動(dòng)畫(huà)制作工具包括Alias公司的Maya，Avid公司的SoftimageXSI，SideEffectsSoftware公司的Houdini，Discreet公司的3DStudioMax，Newtek公司的Lightwave3D，Pixar公司的PhotorealisticRenderman等。建模軟件——面向動(dòng)畫(huà)制作的建模軟件Maya主界面Houdini主界面3D模型的數(shù)據(jù)組織合適對(duì)實(shí)時(shí)繪制有重要影響。在面向?qū)崟r(shí)繪制3D模型格式中，最有代表性的是Multigen的OpenFlight格式。該數(shù)據(jù)格式已成為視景仿真領(lǐng)域公認(rèn)的模型數(shù)據(jù)標(biāo)準(zhǔn)，大部分VR開(kāi)發(fā)軟件，如VEGA，OpenGVS等都支持這種格式MultigenCreator是美國(guó)MultiGen-Paradigm公司推出的一個(gè)交互式3D建模軟件，支持建立優(yōu)化的3D模型，具有多邊形建模、矢量建模、大規(guī)模地形精確生成等功能。建模軟件——面向?qū)崟r(shí)繪制的建模軟件Multigencreator主界面地形模型相比其他模型規(guī)模更大，手工建模工作量巨大。因此，出現(xiàn)了一系列專為地形制作開(kāi)發(fā)的工具，如CreatorTerrainStudio，TerraVista等。為提高建模效率，出現(xiàn)了一些特定功能的輔助工具，如格式轉(zhuǎn)換工具Polytrans，Deep-Exploration等，可將面向動(dòng)畫(huà)制作的3D模型數(shù)據(jù)格式進(jìn)行轉(zhuǎn)換，適用于實(shí)時(shí)VR系統(tǒng)；三維模型化簡(jiǎn)工具GeomagicDecimate、Action3DReducer、RationalReducer等，可對(duì)較為復(fù)雜的面向動(dòng)畫(huà)制作的3D模型進(jìn)行簡(jiǎn)化，以滿足實(shí)時(shí)繪制的需要。建模軟件——面向?qū)崟r(shí)繪制的建模軟件Terravista主界面此外，還有一些面向深度圖像的建模工具，如攝像采集裝置和激光掃描儀附帶的軟件系統(tǒng)。這些軟件系統(tǒng)專門(mén)處理通過(guò)相應(yīng)設(shè)備采集到的深度圖像，并生成幾何模型。例如微軟公司的Kinect配套的KinectforwindowsSDK的界面。在SDK中專門(mén)集成了KinectFusion等算法，實(shí)現(xiàn)從深度相機(jī)的標(biāo)定、3D點(diǎn)云建模、表面網(wǎng)格生成以及骨架標(biāo)定等。建模軟件——面向?qū)崟r(shí)繪制的建模軟件Kinect

SDK主界面最初的Web3D標(biāo)準(zhǔn)是VRML（VirtualRealityMarkupLanguage），它描述了3D景物的幾何尺寸、形狀、色彩、材質(zhì)、光照等。但是由于標(biāo)準(zhǔn)過(guò)于龐大，VRML處理效率低下，很多公司并沒(méi)有完全遵循VRML標(biāo)準(zhǔn)，而是推出自己的制作工具，使用專用的文件格式和瀏覽器插件。Web3D標(biāo)準(zhǔn)與建模工具VRML

Editor主界面1998年，VRML組織改名Web3D聯(lián)盟，同時(shí)制定了一個(gè)新標(biāo)準(zhǔn)Extensible3D（X3D）。X3D整個(gè)新出現(xiàn)的XML，Java和流傳輸?shù)燃夹g(shù)，希望提高處理能力、繪制質(zhì)量和傳輸速度。2004年8月，X3D規(guī)范被ISO批準(zhǔn)為ISO/IEC19775國(guó)際標(biāo)準(zhǔn)。但到目前為止，X3D標(biāo)準(zhǔn)仍未完全統(tǒng)一Web3D格式，面臨一些有力的競(jìng)爭(zhēng)，如由Intel，微軟，Macromedia，Adobe，波音等公司聯(lián)合組建的3DIF（3DIndustryForum）聯(lián)盟支持的U3D（Universal3D）標(biāo)準(zhǔn)。在面向Web應(yīng)用方面也有一些基于圖像的建模工具，如Canoma、Photo3D、PhotoModeler、ImageModeler。Web3D標(biāo)準(zhǔn)與建模工具虛擬環(huán)境和對(duì)象的逼真性取決于外觀建模水平，也有賴于虛擬對(duì)象的物理建模，也就是物理引擎的實(shí)現(xiàn)。物理引擎計(jì)算虛擬環(huán)境中物體運(yùn)動(dòng)、場(chǎng)景變化、物體與場(chǎng)景之間、物體與物體之間的交互作用和動(dòng)力學(xué)特性效果。它通常以程序庫(kù)的形式提供，其中包括若干功能模塊，各模塊為應(yīng)用程序留出接口。它定義了一個(gè)高層的API集合，封裝了底層的物理計(jì)算細(xì)節(jié)，使得開(kāi)發(fā)人員可以專注于高層應(yīng)用程序開(kāi)發(fā)，大幅度縮短開(kāi)發(fā)周期。物理引擎HavokPhysics是Havok公司開(kāi)發(fā)的物理引擎，基于剛體動(dòng)力學(xué)，能模擬多關(guān)節(jié)剛體的約束和連接，開(kāi)發(fā)者可以指定對(duì)象的物理性質(zhì)，如質(zhì)量、密度、摩擦系數(shù)等。HavokPhysics引入連續(xù)碰撞檢測(cè)技術(shù)，包含RagDoll人體模型系統(tǒng)，可以表現(xiàn)車輛在虛擬環(huán)境中的各種動(dòng)態(tài)效果，包括車輛間的相互碰撞和各種操作的模擬。HavokPhysics是目前應(yīng)用最為廣泛的物理引擎之一，但計(jì)算量大，對(duì)CPU等硬件要求高。物理引擎為解決物理運(yùn)算計(jì)算量大的問(wèn)題，美國(guó)AGEIA公司研制了專門(mén)的物理加速硬件。該公司在2005年提出PPU（PhysicsProcessingUnit）的概念。PPU是繼GPU以后的又一次處理器功能專門(mén)化。2006年3月GDC06（GameDeveloperConference），游戲開(kāi)發(fā)者會(huì)議），第一塊物理加速卡正式發(fā)布，命名為PhysX。在PPU的支持下，PhysX每秒可處理32000~50000個(gè)剛體，效率有了大幅度提高。物理引擎VR應(yīng)用中的渲染軟件主要來(lái)源于計(jì)算機(jī)圖形學(xué)。從圖形學(xué)發(fā)展的角度，基本可分為3層：最下層是基礎(chǔ)3D圖形繪制庫(kù)，提供一系列圖形繪制標(biāo)準(zhǔn)API；中間層是3D圖形引擎；最上層是可視化開(kāi)發(fā)平臺(tái)或?qū)嶋H應(yīng)用。渲染軟件基礎(chǔ)3D圖形繪制庫(kù)主要有OpenGL、Direct3D、Java3D、Vulcan等，它們直接操作圖形硬件，提供了3D圖形繪制的底層基礎(chǔ)API。渲染軟件——基礎(chǔ)3D圖形繪制庫(kù)OpenGL是一個(gè)開(kāi)放的3D圖形軟件包，具有建模、變換、顏色模式設(shè)置、光照和材質(zhì)設(shè)置、紋理映射、位圖顯示和圖像增強(qiáng)、雙緩存動(dòng)畫(huà)等功能。OpenGL獨(dú)立于窗口系統(tǒng)和操作系統(tǒng)，以它為基礎(chǔ)開(kāi)發(fā)的應(yīng)用程序可以十分方便地在各種平臺(tái)間移植。Direct3D是微軟提供的基于COM接口標(biāo)準(zhǔn)的3D圖形API，具有良好的硬件兼容性，支持很多最新的圖形學(xué)技術(shù)成果?，F(xiàn)在幾乎所有具有3D圖形加速的顯卡都支持Direct3D。但其接口較為復(fù)雜，且只能在Windows平臺(tái)上使用。Java3DAPI是Sun定義的用來(lái)開(kāi)發(fā)3D圖形和Web3D應(yīng)用程序的編程接口。除提供OpenGL，Direct3D定義的一部分底層繪制功能外，還提供了一些建造3D物體的高層構(gòu)造函數(shù)。從所處層次看，Java3D兼有基礎(chǔ)3D圖形繪制庫(kù)和3D圖形引擎的一些功能。3D圖形引擎提供面向?qū)崟r(shí)VR應(yīng)用的完整軟件開(kāi)發(fā)支持，負(fù)責(zé)底層3D圖形繪制的數(shù)據(jù)組織和處理，發(fā)揮硬件的加速特性，為上層應(yīng)用程序提供有效的圖形繪制支持。圖形引擎一般包括真實(shí)感渲染、3D場(chǎng)景管理、聲音管理、碰撞檢測(cè)、地形匹配以及實(shí)時(shí)對(duì)象維護(hù)等功能，并提供與3D虛擬環(huán)境繪制相關(guān)的高層API渲染軟件——3D圖形引擎渲染軟件——常見(jiàn)的圖形引擎OpenGLPerformer是一個(gè)可擴(kuò)展的實(shí)時(shí)3D視景開(kāi)發(fā)軟件包，在OpenGL圖形庫(kù)基礎(chǔ)上構(gòu)建，提供了一組標(biāo)準(zhǔn)C/C++語(yǔ)言綁定的編程接口，通過(guò)一個(gè)靈活的3D圖形工具集提供高性能繪制能力。OpenGVS直接架構(gòu)于OpenGL，Direct3D等3D圖形API上，包含一組面向?qū)ο蟮腃++API，封裝了繁雜的底層圖形驅(qū)動(dòng)函數(shù)。這些API分為相機(jī)、通道、幀緩沖、煙霧、光源、對(duì)象、場(chǎng)景、特效、工具等各組資源，開(kāi)發(fā)人員可以根據(jù)需要調(diào)用這些資源來(lái)驅(qū)動(dòng)硬件實(shí)時(shí)產(chǎn)生所需的圖形。Vega支持多種3D模型，提供了許多可選模塊，支持導(dǎo)航、照明、動(dòng)畫(huà)、人物、大規(guī)模地形、CAD數(shù)據(jù)輸入和DIS/HLA分布式應(yīng)用等需求。OpenSceneGraph（OSG）是一個(gè)基于OpenGL的開(kāi)源3D圖形開(kāi)發(fā)庫(kù)，提供了一套C++API，具有較完整的3D圖形開(kāi)發(fā)功能，通過(guò)狀態(tài)轉(zhuǎn)化、繪圖管道和自定制等操作，還可以進(jìn)行繪制性能優(yōu)化。OSG主要包括場(chǎng)景圖形核心、Producer庫(kù)、OpenThread庫(kù)以及用戶插件等4個(gè)部分。VTree是一個(gè)面向?qū)ο蟮?D圖形開(kāi)發(fā)庫(kù)，包括一系列C++類和有關(guān)函數(shù)。VTree生成并連接不同節(jié)點(diǎn)到一個(gè)附屬于景物實(shí)體的可視