第三章虛擬現(xiàn)實系統(tǒng)的相關(guān)技術(shù)ppt40

1、3 虛擬現(xiàn)實系統(tǒng)的相關(guān)技術(shù) 現(xiàn)階段計算機的運行速度達不到虛擬現(xiàn)實系統(tǒng)所需要的情況下，相關(guān)技術(shù)就顯得尤為重要。要生成一個三維場景，并使場景圖像能隨視角不同實時地顯示變化，只有設(shè)備是遠遠不夠的，還必須有相應(yīng)的技術(shù)理論相支持。13.1 立體顯示技術(shù)o人類從客觀世界獲得的信息的80%以上來自視覺。在視覺顯示技術(shù)中，實現(xiàn)立體顯示技術(shù)成為虛擬現(xiàn)實的一種極重要的支撐技術(shù)。o人的左右眼有大約6-8cm的距離，由于這種視差，使得人的大腦能將兩眼得到的細微差別圖像進行融合而產(chǎn)生有空間感的立體物體。o立體圖的產(chǎn)生基本過程是對同一場景分別產(chǎn)生兩個相應(yīng)于左右雙眼的不同圖像，讓它們之間具有一定的視差。在觀察時借助立體眼鏡

2、等設(shè)備，使左右雙眼只能看到與之相應(yīng)的圖像，視線相交于三維空間中的一點上，從而恢復出三維深度信息。o常見有彩色眼鏡法、偏振光眼鏡法、串行立體顯示法等。23.2 環(huán)境建模技術(shù)o虛擬環(huán)境建模的目的在于獲取實際三維環(huán)境的三維數(shù)據(jù)，并根據(jù)其應(yīng)用的需要，利用獲取的三維數(shù)據(jù)建立相應(yīng)的虛擬環(huán)境模型。只有設(shè)計出反映研究對象的真實有效的模型，虛擬現(xiàn)實系統(tǒng)才有可信度。33.2 環(huán)境建模技術(shù)o虛擬現(xiàn)實系統(tǒng)中的虛擬環(huán)境，可能有下列幾種情況：（1）模仿真實世界中的環(huán)境（系統(tǒng)仿真）（2）人類主觀構(gòu)造的環(huán)境（3）模仿真實世界中的人類不可見的環(huán)境（科學可視化）43.2 環(huán)境建模技術(shù)o虛擬現(xiàn)實系統(tǒng)中的環(huán)境建模技術(shù)與其他圖形建模技

3、術(shù)相比，主要有以下三個特點：（1）虛擬環(huán)境中可以有很多的物體，往往需要建造大量完全不同類型的物體模型。（2）虛擬環(huán)境中有些物體有自己的行為，而一般其他圖形建模系統(tǒng)中只構(gòu)造靜態(tài)的物體，或是物體簡單的運動。（3）虛擬環(huán)境中的物體必須有良好的操縱性能，當用戶與物體進行交互時，物體必須以某種適當?shù)姆绞絹碜龀鱿鄳?yīng)的反應(yīng)。53.2 環(huán)境建模技術(shù)o基于目前的技術(shù)水平，常見的是三維視覺建模和三維聽覺建模。而在當前應(yīng)用中，環(huán)境建模一般主要是三維視覺建模。o三維視覺建?？煞譃閹缀谓！⑽锢斫?、行為建模。63.2.1幾何建模技術(shù)o傳統(tǒng)意義上的虛擬場景基本上都是基于幾何的，就是用數(shù)學意義上的曲線、曲面等數(shù)學模型預(yù)先

4、定義好虛擬場景的幾何輪廓，再采取紋理映射、光照等數(shù)學模型加以渲染。o主要研究對象是對物體幾何信息的表示與處理。它涉及幾何信息數(shù)據(jù)結(jié)構(gòu)及相關(guān)構(gòu)造的表示與操縱數(shù)據(jù)結(jié)構(gòu)的算法建模方法。73.2.1幾何建模技術(shù)幾何模型一般可分為面模型與體模型：o面模型用面片來表現(xiàn)對象的表面，其基本幾何元素多為三角形；建模與繪制技術(shù)相對成熟，處理方便，但難以進行整體形式的操作（如拉伸、壓縮等），多用于剛體對象的幾何建模。o體模型用體素來描述對象的結(jié)構(gòu)，其基本幾何元素多為四面體。擁有對象的內(nèi)部信息，可以很好地表達模型在外力作用下的體特征（如變形、分裂等），但計算的時間與空間復雜度也相應(yīng)增加，多用于軟體對象的幾何建模。83

5、.2.1幾何建模技術(shù)幾何建模通常采用以下兩種方法：（1）人工的幾何建模方法o利用虛擬現(xiàn)實工具軟件來進行建模，如OpenGL、Java3D、VRML等。這類方法主要針對虛擬現(xiàn)實技術(shù)的特點而編寫，編程容易，效率較高。o直接從某些商品圖形庫中選購所需的幾何圖形，可以避免直接用多邊形拼構(gòu)某個對象外形時繁瑣的過程，也可節(jié)省大量的時間。o利用常用建模軟件來進行建模。如AutoCAD、3DS等，用戶可交互式地創(chuàng)建某個對象的幾何圖形，但并非所有要求的數(shù)據(jù)都以虛擬現(xiàn)實要求的形式提供，實際使用時必須要通過相關(guān)程序或手工導入。o自制的工具軟件。93.2.1幾何建模技術(shù)（2）自動的幾何建模方法o采用三維掃描儀對實際物

6、體機型三維掃描。o基于圖片的建模技術(shù)。對建模對象實地拍攝兩張以上的照片，根據(jù)透視學和攝影測量學原理，根據(jù)標志和定位對象上的關(guān)鍵控制點，建立三維網(wǎng)格模型。103.2.2物理建模技術(shù)o幾何建模的下一步發(fā)展是物理建模，也就是在建模時考慮對象的物理屬性。虛擬現(xiàn)實系統(tǒng)的物理建模是基于物理方法的建模，往往采用微分方程來描述。o典型的物理建模方法有分形技術(shù)和粒子系統(tǒng)。113.2.3行為建模技術(shù)o行為建模主要研究的是物體運動的處理和對其行為的描述。o行為建模就是在創(chuàng)建模型的同時，不僅賦予模型外形、質(zhì)感等表現(xiàn)特征，同時也賦予模型物理屬性和“與生俱來”的行為與反應(yīng)能力，并且服從一定的客觀規(guī)律。123.2.3行為建

7、模技術(shù)o在虛擬環(huán)境行為建模中，建模方法主要有基于數(shù)值插值的運動學方法與基于物理的動力學仿真方法。（1）運動學方法：通過幾何變換（平移和旋轉(zhuǎn)等）來描述運動。（2）動力學仿真：運用物理定律而非幾何變換來描述物體的行為，在該方法中，運動是通過物體的質(zhì)量和慣性、力和力矩以及其他的物理作用計算出來的。133.3 真實感實時繪制技術(shù)o要實現(xiàn)虛擬現(xiàn)實系統(tǒng)中的虛擬世界，僅有立體顯示技術(shù)是遠遠不夠的，虛擬現(xiàn)實中還有真實感與實時性的要求，也就是說虛擬世界的產(chǎn)生不僅需要真實的立體感，而且虛擬世界還必須實時生成，這就必須要采用真實感真實感實時繪制技術(shù)實時繪制技術(shù)。143.3.1 真實感繪制技術(shù)o真實感繪制：在計算機中

8、重現(xiàn)真實世界場景的過程。其主要任務(wù)是要模擬真實物體的物理屬性，即物體的形狀、光學性質(zhì)、表面紋理和粗糙程度，以及物體間的相對位置、遮擋關(guān)系等等。o實時繪制：當用戶視點發(fā)生變化時，他所看到的場景需要及時更新，這就要保證圖形顯示更新的速度必須跟上視點的改變速度。153.3.1 真實感繪制技術(shù)o為了提高顯示的逼真度，加強真實性，常采用下列方法：（1）紋理映射：紋理映射是將紋理圖像貼在簡單物體的幾何表面，以近似描述物體表面的紋理細節(jié)，加強真實性。實質(zhì)上，它用二維的平面圖像代替三維模型的局部。（2）環(huán)境映射：采用紋理圖像來表示物體表面的鏡面反射和規(guī)則透視效果。（3）反走樣：走樣是由圖像的像素性質(zhì)造成的失真

9、現(xiàn)象。反走樣方法的實質(zhì)是提高像素的密度。163.3.2 基于幾何圖形的實時繪制技術(shù)o傳統(tǒng)的虛擬場景基本上都是基于幾何的，就是用數(shù)學意義上的曲線、曲面等數(shù)學模型預(yù)先定義好虛擬場景的幾何輪廓，再采用紋理映射、光照等數(shù)學模型加以渲染。o大多數(shù)虛擬現(xiàn)實系統(tǒng)的主要部分是構(gòu)造一個虛擬環(huán)境，并從不同的方向進行漫游。要達到這個目標，首先是構(gòu)造幾何模型，其次模擬虛擬攝像機在六個自由度運動，并得到相應(yīng)的輸出畫面。173.3.2 基于幾何圖形的實時繪制技術(shù)o除了在硬件方面采用高性能的計算機，提高計算機的運行速度以提高圖形顯示能力外，還可以降低場景的復雜度，即降低圖形系統(tǒng)需處理的多邊形數(shù)目。o有下面幾種用來降低場景復

10、雜度的方法：（1）預(yù)測計算：根據(jù)各種運動的方向、速率和加速度等運動規(guī)律，可在下一幀畫面繪制之前用預(yù)測、外推法的方法推算出手的跟蹤系統(tǒng)及其他設(shè)備的輸入，從而減少由輸入設(shè)備所帶有的延遲。（2）脫機計算：在實際應(yīng)用中有必要盡可能將一些可預(yù)先計算好的數(shù)據(jù)進行預(yù)先計算并存儲在系統(tǒng)中，這樣可加快需要運行時的速度。183.3.2 基于幾何圖形的實時繪制技術(shù)（3）3D剪切：將一個復雜的場景劃分成若干個子場景，系統(tǒng)針對可視空間剪切。虛擬環(huán)境在可視空間以外的部分被剪掉，這樣就能有效地減少在某一時刻所需要顯示的多邊形數(shù)目，以減少計算工作量，從而有效降低場景的復雜度。（4）可見消隱：系統(tǒng)僅顯示用戶當前能“看見”的場景

11、，當用戶僅能看到整個場景很小部分時，由于系統(tǒng)僅顯示相應(yīng)場景，可大大減少所需顯示的多邊形的數(shù)目。193.3.2 基于幾何圖形的實時繪制技術(shù)（5）細節(jié)層次模型(Level of Detail,LOD)：首先對同一個場景或場景中的物體，使用具有不同細節(jié)的描述方法得到的一組模型。在實時繪制時，對場景中不同的物體或物體的不同部分，采用不同的細節(jié)描述方法，對于虛擬環(huán)境中的一個物體，同時建立幾個具有不同細節(jié)水平的幾何模型。 LOD模型是一種全新的模型表示方法，改變了傳統(tǒng)圖形繪制中的“圖像質(zhì)量越精細越好”的觀點，而是依據(jù)用戶視點的主方向、視線在景物表面的停留時間、景物離視點的遠近和景物在畫面上投影區(qū)域的大小等

12、因素來決定景物應(yīng)選擇的細節(jié)層次，以達到實時顯示圖形的目的。 通過對場景中每個圖形對象的重要性進行分析，使得最重要的圖形對象進行較高質(zhì)量的繪制，而不重要的圖形對象采用較低質(zhì)量的繪制，在保證實時圖形顯示的前提下，最大程度地提高視覺效果。20213.3.3 基于圖像的實時繪制技術(shù)o當前真實感圖形實時繪制的其中一個熱點問題就是基于圖像的繪制(IBR,Image Based Rendering)。IBR完全摒棄傳統(tǒng)的先建模、后確定光源的繪制方法，它直接從一系列已知的圖像中生成未知視角的圖像。o基于圖像的繪制技術(shù)是基于一些預(yù)先生成的場景畫面，對接近于視點或視線方向的畫面進行變換、插值與變形，從而快速得到當

13、前視點處的場景畫面。223.3.3 基于圖像的實時繪制技術(shù)o與基于幾何的傳統(tǒng)繪制技術(shù)相比，基于圖像的實時繪制技術(shù)的優(yōu)勢在于：（1）計算量適中，對計算機的資源要求不高。（2）作為已知的源圖像既可以是計算機生成的，也可以是用相機從真實環(huán)境中捕獲，甚至是兩者混合生成，因此可以反映更加豐富的明暗、顏色、紋理等信息。（3）圖像繪制技術(shù)與所繪制的場景復雜性無關(guān)，交互顯示的開銷僅與所要生成畫面的分辨率有關(guān)，因此能用于表現(xiàn)非常復雜的場景。233.3.3 基于圖像的實時繪制技術(shù)o目前基于圖像的繪制的相關(guān)技術(shù)主要有以下兩種：（1）全景技術(shù)：全景技術(shù)是指在一個場景中選擇一個觀察點，用相機或攝像機每旋轉(zhuǎn)一下角度拍攝得

14、到一組照片，再采用各種工具軟件拼接成一個全景圖像，它所形成的數(shù)據(jù)較小，對計算機要求低，適用于桌面型虛擬現(xiàn)實系統(tǒng)中，建模速度快，但一般一個場景只有一個觀察點，因此交互性較差。（2）圖像的插值及視圖變換技術(shù)：根據(jù)在不同觀察點所拍攝的圖像，交互地給出或自動得到相鄰兩個圖像之間對應(yīng)點，采用插值或視圖變換的方法求出對應(yīng)于其他點的圖像，生成新的視圖，根據(jù)這個原理可實現(xiàn)多點漫游。243.4 三維虛擬聲音的實現(xiàn)技術(shù)o虛擬現(xiàn)實系統(tǒng)中的三維聲音，使聽者能感覺到聲音是來自圍繞聽者雙耳的一個球形中的任何地方。因此把在虛擬場景中能使用戶準確地判斷出聲源的精確位置、符合人們在真實境界中聽覺方式的聲音系統(tǒng)稱為三維虛擬聲音。

15、253.4.1 三維虛擬聲音的作用o聲音在虛擬現(xiàn)實系統(tǒng)中的作用，主要有以下幾點：（1）聲音是用戶和虛擬環(huán)境的另一種交互方法，人們可以通過語音與虛擬世界進行雙向交流。（2）數(shù)據(jù)驅(qū)動的聲音能傳遞對象的屬性信息。（3）增強空間信息，尤其是當空間超出了視域范圍。263.4.2 三維虛擬聲音的特征 在三維虛擬聲音系統(tǒng)最核心的技術(shù)是三維虛擬聲音定位技術(shù)，它的特征主要有：（1）全向三維定位特征：在三維虛擬空間中把實際聲音信號定位到特定虛擬專用源的能力。（2）三維實時跟蹤特性：在三維虛擬空間中實時跟蹤虛擬聲源位置變化或景象變化的能力。（3）沉浸感與交互性：沉浸感是指加入三維虛擬聲音后，能使用戶產(chǎn)生身臨其境的感

16、覺，有助于增強臨場效果。而三維聲音的交互特性則是指隨用戶的運動而產(chǎn)生的臨場反應(yīng)和實時響應(yīng)的能力。273.4.3 語音識別技術(shù)o與虛擬世界進行語音交互是實現(xiàn)虛擬現(xiàn)實系統(tǒng)中一個高級目標，語音技術(shù)在虛擬現(xiàn)實技術(shù)中的關(guān)鍵技術(shù)是語音識別技術(shù)和語音合成技術(shù)。o語音識別技術(shù)(ASR, Automatic Speech Recognition)：將人說話的語音信號轉(zhuǎn)換為可被計算機程序所識別的文字信息，從而識別說話人的語音指令以及文字內(nèi)容的技術(shù)。包括：參數(shù)提取、參考模式建立、模式識別等過程。283.4.4 語音合成技術(shù)o語音合成技術(shù)（TTS, Test to Speech）：用人工的方法生成語音的技術(shù)，當計算機

17、合成語音時，如何能做到聽話人能理解其意圖并感知其情感，一般對 “語音”的要求是清晰、可聽懂、自然、具有表現(xiàn)力。o實現(xiàn)語音輸出有兩種方法：（1）錄音/重放：首先要把模擬語音信號轉(zhuǎn)換成數(shù)字序列，編碼后暫存于存儲設(shè)備中（錄音），需要時再經(jīng)解碼，重建聲音信號（重放）。（2）文-語轉(zhuǎn)換：把計算機內(nèi)的文本轉(zhuǎn)換成連續(xù)自然的語聲流。應(yīng)預(yù)先建立語音參數(shù)數(shù)據(jù)庫、發(fā)音規(guī)則庫等。需要輸出語音時，系統(tǒng)按需求先合成語音單元，再按語音學規(guī)則或語言學規(guī)則連接成自然的語流。293.5 自然交互與傳感技術(shù)o人機交互界面經(jīng)歷以下幾個發(fā)展階段：（1）20實際40年代到70年代，人機交互采用的是命令行方式（CLI）。（2）到20世紀8

18、0年代初，出現(xiàn)了圖形用戶界面（GUI），GUI的廣泛流行將人機交互推向圖形用戶界面的新階段。（3）到20世紀90年代初，多媒體界面成為流行的交互方式，它在界面信息的表現(xiàn)方式上進行了改進，使用了多種媒體。同時，界面輸出也開始轉(zhuǎn)為動態(tài)、二維圖形/圖像及其他多媒體信息的方式。303.5 自然交互與傳感技術(shù)o作為新一代的人機交互系統(tǒng)，虛擬現(xiàn)實技術(shù)與傳統(tǒng)交互技術(shù)的區(qū)別：（1）自然交互（2）多通道（3）高“帶寬”（4）非精確交互技術(shù)313.5 自然交互與傳感技術(shù)o在虛擬現(xiàn)實領(lǐng)域中較為常用的交互技術(shù)有手勢識別、面部表情的識別以及眼動跟蹤等。（1）手勢識別 手勢識別系統(tǒng)的輸入設(shè)備與主要分為基于數(shù)據(jù)手套的識別和

19、基于視覺（圖像）的手語識別系統(tǒng)兩種。 基于數(shù)據(jù)手套的手勢識別系統(tǒng)，就是利用數(shù)據(jù)手套和位置跟蹤器來捕捉手勢在空間運動的軌跡和時序信息，對較為復雜的手的動作進行檢測，包括手的位置、方向和手指彎曲度等，并可根據(jù)這些信息對手勢進行分析。 基于視覺的手勢識別是從視覺通道獲得信號，通常采用攝像機采集手勢信息，由攝像機連續(xù)拍下手部的運動圖像后，先采用輪廓的辦法識別出手上的每一個手指，進而再用邊界特征識別的方法區(qū)分出一個較小的、集中的各種手勢。 手勢識別技術(shù)主要有：模板匹配、人工神經(jīng)網(wǎng)絡(luò)和統(tǒng)計分析技術(shù)。323.5 自然交互與傳感技術(shù)（2）面部表情識別 人可以通過臉部的表情表達自己的各種情緒，傳遞必要的信息。人

20、臉圖像的分割、主要特征（如眼睛、鼻子等）定位以及識別是這個技術(shù)的主要難點。 一般人臉檢測問題可以描述為：給定一副靜止圖像或一段動態(tài)圖像序列，從未知的圖像背景中分割、提取并確認可能存在的人臉，如果檢測到人臉，提取人臉特征。在某些可以控制拍攝條件的場合，將人臉限定在標尺內(nèi)，此時人臉的檢測與定位相對容易。在另一些情況下，人臉在圖像中的位置預(yù)先是未知的，這時人臉的檢測與定位將受以下因素的影響：人臉在圖像中的位置、角度和不固定尺度以及光照的影響；發(fā)型、眼鏡、胡須以及人臉的表情變化等；圖像中的噪聲等。333.5 自然交互與傳感技術(shù) 人臉檢測的基本思想是建立人臉模型，比較所有可能的待檢測區(qū)域與人臉模型的匹配

21、程度，從而得到可能存在人臉的區(qū)域。根據(jù)對人臉知識的利用方法，可以將人臉檢測方法分為兩大類：基于特征的人臉檢測方法和基于圖像的人臉檢測方法。 基于特征的人臉檢測，直接利用人臉信息，比如人臉膚色、人臉的幾何結(jié)構(gòu)等。包括輪廓規(guī)則；器官分布規(guī)則；膚色、紋理規(guī)則；對稱性規(guī)則；運動規(guī)則。 基于圖像的人臉檢測方法，看作一般的模式識別問題。包括神經(jīng)網(wǎng)絡(luò)方法；特征臉方法；模板匹配方法。343.5 自然交互與傳感技術(shù)（3）眼動跟蹤 人們可能經(jīng)常在不轉(zhuǎn)動頭部的情況下，僅僅通過移動視線來觀察一定范圍內(nèi)的環(huán)境或物體。為了模擬人眼的功能，在虛擬現(xiàn)實系統(tǒng)中引入眼動跟蹤技術(shù)。 眼動跟蹤技術(shù)的基本工作原理是利用圖像處理技術(shù)，使用能鎖定眼睛的特殊攝像機。通過攝入從人的眼角膜和瞳孔反射的紅外線連續(xù)地記錄視線變化，從而達到記錄、分析視線追蹤過程的目的。353.5 自然交互與傳感技術(shù)（4）觸覺（力覺）反饋傳感技術(shù) 觸覺（力覺）是運用先進的技術(shù)手段將虛擬物體的空間運動轉(zhuǎn)變成特殊設(shè)備的機械運動，在感覺到物體的表面紋理的同時也使用戶能夠體驗到真實的力度感和方向感，從而提供一個嶄新的人機交互界面。 觸摸感知是指人與物體對象接觸所得到的全部感覺，包括觸摸感、壓感、震動感、刺痛感等；觸摸反饋一般指作用在人皮膚上的力，它反映了人觸摸物體的感覺，側(cè)重于