虛擬現(xiàn)實技術論文

1、南京師范大學報告之虛擬現(xiàn)實技術期末論文作 者: 學校名稱: 南京師范大學 學 號: 18103617 專 業(yè): 測繪工程 年 級: 大 四 指導教師: 江 南 日 期: 2013年12月 【摘要】：本文介紹了虛擬現(xiàn)實技術的特點和研究現(xiàn)狀，對虛擬現(xiàn)實技術的建模技術進行了描述，論述了虛擬現(xiàn)實技術在科學、軍事等領域的應用以及國內(nèi)外的最新研究進展，并對未來發(fā)展方向進行了展望。【關鍵詞】：虛擬現(xiàn)實技術；三維建模技術；實時繪制技術一、 虛擬現(xiàn)實技術1.1定義虛擬現(xiàn)實（簡稱VR），又稱靈境技術或者賽伯空間，是以沉浸性、交互性和構(gòu)想性為基本特征的計算機高級人機界面。他綜合利用了計算機圖形學、仿真技術、多媒體技

2、術、人工智能技術、計算機網(wǎng)絡技術、并行處理技術和多傳感器技術，模擬人的視覺、聽覺、觸覺等感覺器官功能，使人能夠沉浸在計算機生成的虛擬境界中，并能夠通過語言、手勢等自然的方式與之進行實時交互，創(chuàng)建了一種適人化的多維信息空間。使用者不僅能夠通過虛擬現(xiàn)實系統(tǒng)感受到在客觀物理世界中所經(jīng)歷的“身臨其境”的逼真性，而且能夠突破空間、時間以及其他客觀限制，感受到真實世界中無法親身經(jīng)歷的體驗。 虛擬現(xiàn)實是從兩個英語單詞“Virtual Reality”翻譯而來的，其中“Virtual”的含義是虛擬的，非真實的，即現(xiàn)場或環(huán)境是由計算機模擬生成的非真實的，只存在于計算機內(nèi)部的世界?！癛eality”的意思是現(xiàn)實、

3、實際，真實的事物，即真實的世界或現(xiàn)實的環(huán)境。因此，“Virtual Reality”一詞應譯為虛擬現(xiàn)實。故虛擬現(xiàn)實的含義就是利用計算機技術通過各種技術手段在計算機內(nèi)部構(gòu)建一個讓人如臨其境的虛擬世界。這種用來構(gòu)建虛擬世界的技術就稱為虛擬現(xiàn)實技術。1.2特點人們現(xiàn)在較為熟悉的是3D技術，已被廣泛的應用于電影技術中。人們可以看到一個三維的世界，看起來更加真實，觀眾仿佛已融進了電影情節(jié)中，具有較強的視覺沖擊感。相較于3D技術，虛擬現(xiàn)實技術則能給我們一個更加完善的虛擬環(huán)境，它不光看起來像真的，聽起來像真的，還可以摸起來、聞起來、嘗起來都像真的。即人的視、聽、觸、嗅、味各種感覺在這個虛擬環(huán)境中就完全如在真

4、實的世界，人們可以完全如在真實的世界中一樣與虛擬世界進行交互。虛擬現(xiàn)實技術具有以下幾個基本特征:交互性（Interactivity）: 指用戶對虛擬現(xiàn)實環(huán)境內(nèi)物體的操作程度以及在虛擬環(huán)境中得到反饋信息的實時性及自然程度;沉浸感（Immersion）也可稱為臨場感: 指用訪問者到作為主角存在于模擬環(huán)境中的真實感的程度;構(gòu)想性（Imagination）也稱想像性: 指用戶沉浸在設計者構(gòu)想的多維信息空間中，通過自己的感知和認知能力獲取虛擬環(huán)境中的知識，發(fā)揮主觀能動性，發(fā)現(xiàn)新問題，形成新的思想。二、 主要技術2.1三維建模技術由于虛擬現(xiàn)實技術的基礎就是三維模型的建立，不僅對于模型的外觀的逼真性要求較高

5、，而且在虛擬現(xiàn)實系統(tǒng)中， 由于部分物體好要求具有復雜的行為，以及良好的實時性和交換能力。故虛擬現(xiàn)實系統(tǒng)的建模技術與其他圖形的建模技術相比具有如下的特點：（1）虛擬場景中的模型數(shù)量和類型都是大量的；（2）其他圖形建模系統(tǒng)中只需構(gòu)建靜態(tài)或者是簡單運動的物體，但在虛擬場景中卻需對物體建立自己獨特的行為，且符合物理規(guī)律。（3）為了滿足其較好的操作性和良好的實時性及交換性，故物體必須在某種適當?shù)姆绞絹碜龀鱿鄳姆磻?。所以建模技術可分為三類：幾何建模、物理建模、行為建模。2.1.1幾何建模幾何建模技術按照結(jié)構(gòu)可分為層次建模法和屬主建模法。層次建模法是利用樹形結(jié)構(gòu)來表示物體的各個組成部分，當物體發(fā)生移動時，

6、只需對某節(jié)點及其相對父節(jié)點的位置和方向的變化進行描述即可。屬主建模法就是讓同一類的對象具有相同的屬主，屬主里面含有了同類對象的詳細結(jié)構(gòu)。當需要制作這一類事物時，只需建立一個指向該物主的指針即可。這樣不但簡單高效，還可以便于修改及一致性也較好。2.1.2物理建模當幾何建模完成后，我們就要為其構(gòu)建動力學體系，描述其預期的運動方式。典型的物理建模方法有分形技術和粒子系統(tǒng)。分形技術的優(yōu)點是操作簡單，易于構(gòu)建復雜且不規(guī)則的物理模型。但是需要大規(guī)模的物理計算，造成實時性交差。所以，在虛擬系統(tǒng)中一般只用了構(gòu)建靜態(tài)遠景模型。在粒子系統(tǒng)中，建模時將物體以最小單位體素來劃分，為每一個體素建立獨有的位置、速度、顏色

7、和生命周期等等屬性。通過動力學計算和隨機過程即可得到運動且逼真的畫面。故虛擬系統(tǒng)中用粒子系統(tǒng)構(gòu)建運動的物理模型。2.1.3行為建模在幾何建模和物理建模的基礎上，若想讓虛擬環(huán)境更加逼真，就需要加入行為建模，行為建模用于處理物體的運動和行為。分為運動學法和動力學仿真法兩種方法。動力學法是通過線性插值、三次樣條插值等方法內(nèi)插幀，來達到物體的平移和旋轉(zhuǎn)等動作。并不知道物體的物理屬性，仿真效果不是很理想。動力學仿真屬于物理仿真的一部分，利用物理學定律來描述物體的運動。使得運動的描述更加精確和自然，且物體間的交互和實時性更好。2.2真實感實時繪制技術在虛擬現(xiàn)實系統(tǒng)中，如想做到更加逼真，只靠三維立體感是遠遠

8、不夠的。還要求有較強的真實感和實時性。2.2.1真實繪制技術虛擬現(xiàn)實系統(tǒng)中，對真實繪制技術的要求與傳統(tǒng)的真實感圖形繪制不同，傳統(tǒng)的繪制只要求圖形質(zhì)量和真實感，但是，在VR中，我們必須做到圖形顯示的更新速度不小于用戶的視覺轉(zhuǎn)變速度，否則就會出現(xiàn)畫面的遲滯現(xiàn)象。故在VR中，實時三維繪制要求圖形實時生成，每秒鐘必須生成不低于10到20幀圖像。同時還要求其真實性，必須反映模擬物體的物理屬性。通常為了使得畫面場景更加逼真和實時性強，通常采用紋理映射、環(huán)境映射和反走樣的方法。2.2.2基于幾何模型的實時繪制技術為了使得畫面不出現(xiàn)遲滯現(xiàn)象，就要求計算機具有很好的性能，保證每秒鐘的幀數(shù)不低于30幀。虛擬場景的

9、制圖基礎是幾何，即在數(shù)學上的曲線、曲面等數(shù)學模型，必須先設定好幾何模型的輪廓，同時采用模擬虛擬攝像機在六個自由度運動，輸出畫面。當虛擬場景較復雜時，數(shù)據(jù)量就會巨大，若產(chǎn)生的延時過長，不但用戶的沉浸感會降低，甚至使人產(chǎn)生頭暈、乏力等“運動病”。所以，除了提供計算機的硬件設備外，我們也要減低場景的復雜度。用以提高虛擬三維場景的顯示速度的方法有：預測計算、脫機計算、剪切、可見消隱、細節(jié)層次模型等。2.2.3基于圖像的實時繪制技術 基于圖形繪制（Image Based Rendering，IBR）不同于傳統(tǒng)的幾何繪制方法，先建模型，在定光源的繪制。IBR直接從一系列圖形中生成未知角度的圖像，畫面直接進

10、行變換、插值和變形，從而得到不同視覺角度的場景畫面。其特點如下：第一，IBR的方法降低了計算量，減低了對計算機硬件的要求，食用于個人計算機用戶使用。第二，圖片的來源可以使數(shù)碼相機中的真實環(huán)境中的相片，也可由電腦生成，或者二者相結(jié)合，產(chǎn)生更加逼真的場景。第三，IBR的畫面顯示開銷與畫面的復雜度無關，只于畫面的分辨率有關，所以可以顯示較復雜的畫面。 2.3三維虛擬聲音技術日常生活中我們所聽到的立體聲是來自于左右聲道，聲音效果可以很明顯的是我們感到來自我們面前的平面，而非像有人在我們背后喊我們時，聲音來自于聲源，且能準確判斷出其方位。顯然現(xiàn)在的立體聲是不能做到的。而三維虛擬聲音就是要做到聽其音辨其位

11、，即在虛擬場景中用戶可以聽聲辯位，完全符合現(xiàn)實環(huán)境中的聽力系統(tǒng)的要求，這樣的聲音系統(tǒng)就稱之為三維虛擬聲音。 2.3.1三維聲音的特點 在虛擬現(xiàn)實系統(tǒng)的聲音系統(tǒng)中，我們要致力于為用戶營造強烈的存在感和真實性。故在虛擬三維聲音系統(tǒng)中的核心技術就是三維虛擬聲音定位技術。其特點為：全面三維定位特性（3D steering）、三維實時跟蹤特性（3D Localization）、沉浸感與交互性。 全面三維定位特性（3D steering）可以實現(xiàn)將聲音信號定位到特定虛擬生源，用戶可以通過它精確判斷出聲源的位置，并符合真實世界中的聽覺方式。三維實時跟蹤特性（3D Localization）可以使聲音效果與變

12、化的視覺相一致，即用戶的位置和聲源發(fā)生相對位置的變化時，其聲源位置也隨之改變，產(chǎn)生視聽覺得疊加和同步效果。故三維實時跟蹤特性（3D Localization）就是用來完成三維虛擬環(huán)境中實施跟蹤虛擬聲源位置變化或虛擬影像變化的能力的。沉浸感與交互性是指當用戶在虛擬環(huán)境中時，加入三維虛擬聲音后，可以為用戶營造身臨其境的感覺，并且隨著用戶的運動可以產(chǎn)生現(xiàn)場反映和實時響應的能力。 2.3.2語音識別技術（Automatic Speech Recognition,ASR） 語音識別技術（Automatic Speech Recognition,ASR）是將語言信號轉(zhuǎn)變?yōu)榭杀挥嬎銠C識別的文字信息，使得計算

13、機可以識別說話人的語言指令和文字內(nèi)容的技術。 要想達到語音的完全識別是非常困難的，必須經(jīng)過參數(shù)提取、參考模式建立、模式識別等若干個過程。隨著研究人員的不斷研究，使用了傅里葉轉(zhuǎn)換、到頻譜參數(shù)等方法，語音識別度也越來越高。 2.3.3語音合成技術（Text to Speech,TTS） 語音合成技術（Text to Speech,TTS），是指人工合成語音的技術。達到計算機輸出地語音可以準確、清晰、自然的表達意思。一般方法有兩種：一是錄音/重放，二是文-語轉(zhuǎn)換。在虛擬現(xiàn)實系統(tǒng)中，語音合成技術的運用可以提高系統(tǒng)的沉浸感，同時彌補視覺信息的不足。 2.3.4人機自然交互技術 在虛擬現(xiàn)實系統(tǒng)中，我們致力

14、于使得用戶可以通過眼睛、手勢、耳朵、語言、鼻子和皮膚等等感覺器官來和計算機系統(tǒng)中產(chǎn)生的虛擬環(huán)境進行交互，這種虛擬環(huán)境下的交換技術就稱之為人機自然交互技術。目前，人機交互技術主要體現(xiàn)在以下三個方面：第一：手勢識別技術，通過數(shù)據(jù)手套(Data glove)來實現(xiàn)。數(shù)據(jù)手套(Data glove)是虛擬現(xiàn)實系統(tǒng)中最常用的人機交互設備，可精確測量出手的位置和形狀，由此實現(xiàn)環(huán)境中的虛擬手對虛擬物體的操縱。數(shù)據(jù)手套通過手指上的彎曲、扭曲傳感器和手掌上的彎度、弧度傳感器，確定手及關節(jié)的位置和方向。 第二：面部表情識別技術，該項技術目前的研究與人們的期望效果還相差較遠，但是去研究成果去展現(xiàn)了其魅力所在。這項技

15、術一般分為三個步驟，首先是面部表情的跟蹤，利用攝像機記錄下用戶的表情，再通過圖像分析和識別技術達到表情的識別。其次是對面部表情的編碼，研究人員利用面部動作編碼系統(tǒng)（FACS）對人的面部表情進行解剖，并對其面部活動進行分類和編碼。最后是面部表情的識別， 通過FACS系統(tǒng)可以構(gòu)成表情識別的系統(tǒng)流程圖，如下：第三：眼動跟蹤技術眼動跟蹤技術（Eye Movement-based Interaction）也稱之為實現(xiàn)跟蹤技術。它可以補充頭部跟蹤技術的不足之處，這樣即簡單有直接?，F(xiàn)有的是先跟蹤技術及特點如下：2.5實時碰撞檢測技術在日常生活中人們已經(jīng)建立了一定的物理習慣，如固體之間不能彼此穿透，物體高空墜

16、落做自由落體運動，拋出去的物體做平拋運動等等，同時還要受到重力和空氣流速的影響等等。為了在虛擬現(xiàn)實系統(tǒng)中完全的模擬現(xiàn)實環(huán)境，且防止發(fā)生穿透現(xiàn)象，就必須引入實時碰撞檢測技術。 Moore提出了兩個碰撞檢測算法，其一處理三角剖分的物體表面，另一個處理多面體環(huán)境的碰撞檢測。為了防止穿透有三個主要部分。首先，必須檢測碰撞。其次，為響應碰撞應調(diào)節(jié)物體速度。最后，如果碰撞，響應不引起物體立刻分開，必須計算和施加接觸力，直到分開。2.6三維全景技術三維全景技術（Panorama）為現(xiàn)在最為流行的視覺技術，它以圖像繪制技術為基礎生成具有真實感圖像的虛擬現(xiàn)實技術。全景圖的生成，首先是通過照相機平移或旋轉(zhuǎn)得到的一

17、序列圖像樣本；再利用圖像拼接技術生成具有強烈動感和透視效果的全景圖像；最后在利用圖像融合技術使得全景圖給用戶帶來全新的現(xiàn)實感和交互感。該項技術利用對全景圖深度信息的提取來恢復實時場景的三維信息建立模型。方法簡單，設計周期縮短，使得費用大大降低，且效果更加，故目前較為流行。南師大三維全景三、 國內(nèi)外虛擬現(xiàn)實技術研究進展3.1美國 美國作為VR技術的發(fā)源地，其研究水平基本上就代表國際VR發(fā)展的水平。目前美國在該領域的基礎研究主要集中在感知、用戶界面、后臺軟件和硬件四個方面。美國宇航局(NASA)的Ames實驗室研究主要集中在以下方面：將數(shù)據(jù)手套工程化，使其成為可用性較高的產(chǎn)品；在約翰遜空間中心完成

18、空間站操縱的實時仿真；大量運用了面向座艙的飛行模擬技術；對哈勃太空望遠鏡的仿真?，F(xiàn)在正致力于一個叫“虛擬行星探索”(vPE)的試驗計劃?，F(xiàn)在NASA己經(jīng)建立了航空、衛(wèi)星維護VR訓練系統(tǒng)，空間站VR訓練系統(tǒng)，并且已經(jīng)建立了可供全國使用的VR教育系統(tǒng)。北卡羅來納大學(UNC)的計算機系是進行VR研究最早的大學，他們主要研究分子建模、航空駕駛、外科手術仿真、建筑仿真等。Loma lAnda大學醫(yī)學中心的David Warner博士和他的研究小組成功地將計算機圖形及VR的設備用于探討與神經(jīng)疾病相關的問題，首創(chuàng)了VR兒科治療法。麻省理工學院(MIT)是研究人工智能、機器人和計算機圖形學及動畫的先鋒，這些

19、技術都是VR技術的基礎，1985年M1T成立了媒體實驗室，進行虛擬環(huán)境的正規(guī)研究。華盛頓大學華盛頓技術中心的人機界面技術實驗室(1ilT lab)，將VR研究引入了教育、設計、娛樂和制造領域。 外科手術仿真航空駕駛仿真3.2日本 日本現(xiàn)主要致力于建立大規(guī)模虛擬現(xiàn)實知識庫和人機接口方面的研究，同時在虛擬現(xiàn)實游戲方面的研究也處于領先地位。富士通實驗室有限公司研究虛擬生物與虛擬現(xiàn)實環(huán)境的相互作用，已開發(fā)了一套神經(jīng)網(wǎng)絡姿勢的識別系統(tǒng)；日本奈良尖端技術研究生院的研究小組制造了一種嗅覺模擬器，使用戶可以聞到虛擬空間中水果釋放的香味，是虛擬現(xiàn)實技術在嗅覺研究領域的一項突破。另外，國外還有研究出多個用于開發(fā)應

20、用程序的虛擬現(xiàn)實軟件開發(fā)平臺，如英國Superscape公司的VRT,Division公司的dVISE等，研發(fā)的開發(fā)平臺針對不同應用項目，在一定程度上提高了虛擬現(xiàn)實系統(tǒng)的研發(fā)效果。3.3中國我國VR技術研究起步較晚，與國外發(fā)達國家還有一定的差距，但現(xiàn)在已引起國家有關部門和科學家們的高度重視，并根據(jù)我國的國情，制定了開展VR技術的研究計劃。九五規(guī)劃、國家自然科學基金委、國家高技術研究發(fā)展計劃等都把VR列入了研究項目。國內(nèi)一些重點院校，已積極投入到了這一領域的研究工作。北京航空航天大學計算機系：著重研究了虛擬環(huán)境中物體物理特性的表示與處理；在虛擬現(xiàn)實中的視覺接口方面開發(fā)出部分硬件，并提出有關算法及實現(xiàn)方法；實現(xiàn)了分布式虛擬環(huán)境網(wǎng)絡設計，可以提供實時三維動態(tài)數(shù)據(jù)庫、虛擬現(xiàn)實演示環(huán)境、用于飛行員訓練的虛擬現(xiàn)實系統(tǒng)、虛擬現(xiàn)實應用系統(tǒng)的開發(fā)平臺等。浙江大學CAD&CG國家重點實驗室開發(fā)出了一套桌面型虛擬建筑環(huán)境實時漫游系統(tǒng)，還研制出了在虛擬環(huán)境中一種新的快速漫游算法和一種遞進網(wǎng)格的快速生成算法；哈爾