第3章虛擬現實的相關技術及軟件38

1、虛擬現實技術天津天獅學院黃金棟第3章虛擬現實實的相關關技術及及軟件3.1三三維建建模技術術及軟件件3.2視視覺實實時動態(tài)態(tài)繪制技技術3.3三三維虛虛擬聲音音技術3.4人人機自自然交互互技術3.5物物理仿仿真技術術3.6三三維全全景技術術3.7虛虛擬現現實開發(fā)發(fā)軟件工工具集3.1三維建模模技術及及軟件3.1.1幾幾何何建模技技術3.1.2行行為為建模技技術3.1.3虛虛擬擬現實的的建模軟軟件基于物體體的幾何何和形狀狀等信息息的表示示，研究究圖形數數據結構構等問題題。處理對物物體的運運動和行行為的描描述，通通常稱之之為動畫畫。3.1三維建模模技術及及軟件3.1.1幾幾何何建模技技術1、技術術指標幾

2、何建模模技術的的研究對對象是對對物體幾幾何信息息的表示示與處理理。它涉涉及表示示幾何信信息的數數據結構構及相關關的構造造與操縱縱數據結結構的算算法。評價一個個虛擬環(huán)環(huán)境建模模技術水水平的三三個常用用指標是是：交互互式顯示示能力、交互式式操縱能能力和易易于構造造的能力力。圖像必須須每秒更更新20次以上上才能使使用戶產產生連續(xù)續(xù)的視覺覺，因此此模型的的表示還還必須便便于快速速構造和和顯示，這同時時也是對對行為建建模技術術的要求求。3.1三維建模模技術及及軟件3.1.1幾幾何何建模技技術2、建模模方法層次建模模法利用樹形形結構來來表示物物體的各各個組成成部分，不僅提提供了一一種簡便便自然的的分割復復

3、雜物體體的方法法，而且且對模型型的修改改也十分分有利。屬主建模模法讓同一種種對象擁擁有同一一個屬主主，屬主主包含了了該類對對象的詳詳細結構構。當要要建立某某個屬主主的一個個實例時時，只要要復制指指向屬主主的指針針即可。體素：用來構構造物體體的原子子單位，體素的的選取決決定了建建模系統(tǒng)統(tǒng)所能構構造的對對象范圍圍。結構：用來決決定體素素如何組組合以構構成新的的對象。優(yōu)點：簡單高高效、易易于修改改、一致致性好3.1三維建模模技術及及軟件3.1.2行行為為建模技技術1、運動動學法通過幾何何變換如如平移和和旋轉等等來描述述運動。在運動動控制中中，無需需知道物物體的物物理屬性性。在關關鍵幀動動畫中，運動是

4、是通過顯顯示指定定幾何變變換來實實施的，內插幀幀可用各各種插值值技術來來完成，如線性性插值、三次樣樣條插值值等。2、動力力學仿真真法運用物理理定律而而非幾何何變換來來描述物物體的運運動，通通過物體體的質量量和慣性性、力和和力矩以以及其他他物理作作用計算算出來。更適于于物體間間交互作作用較多多的虛擬擬環(huán)境建建模。3.1三維建模模技術及及軟件3.1.3虛虛擬現現實的建建模軟件件1、3dsMax美國Autodesk公司推推出的功功能強大大的三維維設計軟軟件包，它集三三維建模模、材質質制作、燈光設設定、攝攝像機使使用、動動畫設置置及渲染染輸出于于一身，提供了了三維動動畫及靜靜態(tài)效果果圖全面面完整的的解

5、決方方案。2、MAYA也是由Autodesk公司司出品的的一款頂頂級建模模、動畫畫、特效效和渲染染軟件，相對于于3ds Max，Maya在電影影、大型型游戲、數字出出版、廣廣播電視視節(jié)目制制作等方方面更勝勝一籌。3、CreatorMultiGen-Paradigm公司司出品的的交互式式三維建建模軟件件，擁有有多邊形形建模、矢量建建模、大大面積地地形精確確生成等等功能，不僅能能夠創(chuàng)建建三維地地形和模模型，而而且可以以高效、最優(yōu)化化地生成成實時三三維數據據庫。3.2視覺實時時動態(tài)繪繪制技術術3.2.1實實時時動態(tài)繪繪制技術術的基本本原理3.2.2基基于于圖形的的實時動動態(tài)繪制制技術3.2.3基基于

6、于圖像的的實時動動態(tài)繪制制技術3.2視覺實時時動態(tài)繪繪制技術術3.2.1實實時時動態(tài)繪繪制技術術的基本本原理實時動態(tài)態(tài)繪制技技術是指指利用計計算機為為用戶提提供一個個能從任任意視點點及方向向實時觀觀察三維維場景的的手段，所期望望的是圖圖像幀速速高而等等待時間間短。當生成虛虛擬環(huán)境境的視圖圖時，必必須要設設計出好好的數據據空間和和視頻圖圖像，使使計算機機系統(tǒng)盡盡快運行行，每秒秒生成足足夠數量量的新幀幀，從而而保證系系統(tǒng)刷新新頻率不不低于2030幀/秒。等待時間間是實時時動態(tài)繪繪制技術術的另一一個關鍵鍵指標，它指用用戶動作作的開始始與在顯顯示器上上出現對對這一動動作的響響應反饋饋之間的的時長。3.

7、2視覺實時時動態(tài)繪繪制技術術3.2.2基基于于圖形的的實時動動態(tài)繪制制技術1、場景景分塊（WorldSubdivision）指把一個個復雜的的場景劃劃分為多多個相互互之間幾幾乎或完完全不可可見的子子場景。這樣系系統(tǒng)就能能大量地地減少在在某一時時刻需要要顯示的的多邊形形數目，從而有有效降低低可視場場景的復復雜度。2、可見見消隱（VisibilityCulling）基于給定定的視點點和視線線方向，決定場場景中哪哪些物體體的表面面是可見見的，哪哪些是被被遮擋而而不可見見的。使使用此方方法能使使系統(tǒng)僅僅顯示用用戶當前前能“看看見”的的場景，與用戶戶的視點點關系密密切。3、細節(jié)節(jié)選擇（LevelofDe

8、tail）為每個物物體建立立多個相相似的模模型，不不同模型型對物體體的細節(jié)節(jié)描述不不同。對對物體細細節(jié)的選選擇越精精確，模模型也就就越復雜雜。3.2視覺實時時動態(tài)繪繪制技術術3.2.3基基于于圖像的的實時動動態(tài)繪制制技術用圖像合合成代替替幾何建建模來創(chuàng)創(chuàng)建復雜雜的場景景，不但但真實感感強，而而且整個個過程都都可以在在二維空空間中進進行，其其繪制時時間不取取決于場場景的復復雜度，而只與與顯示分分辨率有有關。3.3三維虛擬擬聲音技技術三維虛擬擬聲音與與人們熟熟悉的立立體聲音音有所所不同。所謂的的立體聲聲雖然有有左右聲聲道之分分，但就就整體效效果而言言，立體體聲來自自聽者面面前的某某個平面面，而三三

9、維虛擬擬聲音則則是來自自圍繞聽聽者雙耳耳的一個個球形中中的任何何地方，即聲音音出現在在頭的上上方、后后方或前前方。3.3三維虛擬擬聲音技技術3.3.1三三維虛虛擬聲音音的特征征3.3.2頭頭部部相關傳傳遞函數數3.3.3語語音音合成技技術3.3三維虛擬擬聲音技技術3.3.1三三維虛虛擬聲音音的特征征全向三維維定位特特性（3DSteering）指在三維維虛擬環(huán)環(huán)境中把把實際聲聲音信號號定位到到特定虛虛擬聲源源的能力力。它能能使用戶戶準確地地判斷出出聲源的的精確位位置，從從而符合合人們在在真實世世界中的的聽覺方方式。三維實時時跟蹤特特性（3DReal-Time Localization）：指在三維

10、維虛擬環(huán)環(huán)境中實實時跟蹤蹤虛擬聲聲源位置置變化或或虛擬影影像變化化的能力力。只有有聲音效效果與實實時變化化的視覺覺相一致致，才可可能產生生視覺與與聽覺的的疊加和和同步效效應。3.3三維虛擬擬聲音技技術3.3.2頭頭部部相關傳傳遞函數數首先通過過測量外外界聲音音與鼓膜膜上聲音音的頻譜譜差異，獲得了了聲音在在耳部附附近發(fā)生生的頻譜譜成形，隨后利利用這些些數據對對聲波與與人耳的的交互方方式進行行編碼，得出相相關的一一組傳遞遞函數，并確定定出兩耳耳的信號號傳播延延遲特點點，以此此對聲源源進行定定位。通常在VR系統(tǒng)統(tǒng)中，當當無回聲聲的信號號由這組組傳遞函函數處理理后，再再通過與與聲源纏纏繞在一一起的濾濾

11、波器驅驅動一組組耳機，就可以以在傳統(tǒng)統(tǒng)的耳機機上形成成有真實實感的三三維聲音音了。由由于這組組傳遞函函數與頭頭部有關關，故被被稱為頭頭部相關關傳遞函函數（Head-RelatedTransferFunction，HRTF）。3.3三維虛擬擬聲音技技術3.3.3語語音音合成技技術語音合成成技術是是從語音音參數出出發(fā)，先先通過A/D轉轉換將語語音數字字化，經經過數字字處理和和運算，然后再再通過D/A轉轉換而輸輸出語音音的。將語音合合成與語語音識別別技術結結合起來來，還可可以使用用戶與計計算機所所創(chuàng)建的的虛擬環(huán)環(huán)境進行行簡單的的語音交交流，這這在VR環(huán)境中中具有突突出的應應用價值值。3.4人機自然然

12、交互技技術3.4.1手手勢勢識別技技術3.4.2面面部部表情識識別技術術3.4.3眼眼動動跟蹤技技術3.4人機自然然交互技技術3.4.1手手勢勢識別技技術（Gesture Recognition）將虛擬世世界中常常用的指指令定義義出了一一系列的的手勢集集合，利利用這些些手勢，參與者者可以執(zhí)執(zhí)行諸如如導航、拾取物物體、釋釋放物體體等操作作。手勢語言言使用戶戶可以自自始至至終地采采用同一一種輸輸入設備備（通常常是數數據手套套）與虛虛擬世界界進行行交互，將用戶戶的注注意力主主要集中中于虛虛擬世界界，降低低對輸入入設備備的額外外關注。3.4人機自然然交互技技術3.4.2面面部部表情識識別技術術（Fac

13、eDetection&Recognition）計算機面面部表情情的識別別技術的的三個步步驟：1、面部部表情的的跟蹤為了識別別表情，首先要要將表情情信息從從外界攝攝取回來來?，F階階段，跟跟蹤面部部表情的的裝置和和方法不不一。典型的例例子為Sim-Graphics開開發(fā)的虛虛擬演員員系統(tǒng)（VActor）。此外，有有的系統(tǒng)統(tǒng)還能通通過攝像像機拍攝攝用戶的的面部表表情，然然后利用用圖像分分析和識識別技術術進行表表情識別別3.4人機自然然交互技技術3.4.2面面部部表情識識別技術術（FaceDetection&Recognition）計算機面面部表情情的識別別技術的的三個步步驟：2、面部部表情的的編碼要

14、使計算算機識別別表情，就要將將表情信信息以計計算機所所能理解解的形式式表示出出來，即即對面部部表情進進行編碼碼?？蒲腥藛T員Ekman和和Friesen提出出了一個個描述所所有視覺覺上可區(qū)區(qū)分的面面部運動動的系統(tǒng)統(tǒng)，叫做做面部動動作編碼碼系統(tǒng)（FACS），它是基基于對所所有引起起面部動動作的臉臉的“動動作單元元的枚枚舉編制制而成的的。3.4人機自然然交互技技術3.4.2面面部部表情識識別技術術（FaceDetection&Recognition）計算機面面部表情情的識別別技術的的三個步步驟：3、面部部表情的的識別根據分析析人的眉眉、眼、口等等面部器器官在不不同表表情時產產生的變變化，對對表情情的

15、識別別采用了了圖示二二叉樹樹分類器器方案。3.4人機自然然交互技技術3.4.2面面部部表情識識別技術術（FaceDetection&Recognition）計算機面面部表情情的識別別技術的的三個步步驟：3、面部部表情的的識別表情識別別的系統(tǒng)統(tǒng)流程如如圖。3.4人機自然然交互技技術3.4.3眼眼動動跟蹤技技術（Eye Movement-based Interaction）視線追蹤蹤的基本本工作原原理是利利用圖像像處理技技術，使使用能鎖鎖定眼睛睛的特殊殊攝像機機，通過過攝入從從人的眼眼角膜和和瞳孔反反射的紅紅外線連連續(xù)地記記錄視線線變化，從而記記錄和分分析視線線追蹤過過程。 視覺追蹤方法技 術 特

16、 點眼電圖（EOG）高帶寬，精度低，對人干擾大虹膜-鞏膜邊緣高帶寬，垂直精度低，對人干擾大，誤差大角膜反射高帶寬，誤差大瞳孔-角膜反射低帶寬，精度高，對人無干擾，誤差小接觸鏡高帶寬，精度最高，對人干擾大，不舒適3.4人機自然然交互技技術3.4.3眼眼動動跟蹤技技術（Eye Movement-based Interaction）從視線跟跟蹤裝置置得到的的原始數數據必須須經過進進一步的的處理才才能用于于人機交交互，目目的就是是從中提提取出用用于人機機交互所所必需的的眼睛定定位坐標標。由于于人眼存存在固有有的抖動動，而眼眼睛眨動動也將造造成數據據的中斷斷，所以以如何有有效地濾濾除干擾擾信號，提取有有

17、意眼動動的數據據時仍需需解決的的問題之之一。將視線應應用于人人機交互互必須克克服的另另一個困困難是避避免所謂謂的“米米達斯接接觸（MidasTouch）”問題，在理想想情況下下，系統(tǒng)統(tǒng)應當在在用戶希希望發(fā)出出控制時時，及時時地處理理其視線線輸入，而在相相反的情情況下則則忽略其其視線的的移動。3.5物理仿真真技術1、設計計數學模模型數學模型型即描述述虛擬對對象行為為和運動動的一組組方程式式，用來來建立虛虛擬對象象的視覺覺屬性（如大小小、形狀狀、顏色色等）、物理屬屬性（如如質量、硬度等等）和物物理規(guī)則則（如引引力、阻阻力等）。2、創(chuàng)建建物理屬屬性首先確定定物理過過程，即即作用在在虛擬對對象上的的物

18、理現現象，接接著利用用軟件仿仿真算法法描述上上述物理理過程，最后通通過計算算機程序序語言實實現上述述仿真算算法，由由此表達達出模型型質量、密度等等物理屬屬性和力力的概念念。3、實現現碰撞檢檢測碰撞檢測測技術也也是VR系統(tǒng)中中不可缺缺少的、極其關關鍵的技技術之一一。不僅僅要能檢檢測是否否有碰撞撞的發(fā)生生、碰撞撞發(fā)生的的位置，還要計計算出碰碰撞發(fā)生生后的反反應。目目前較成成熟的碰碰撞檢測測算法有有層次包圍圍盒法和和空間分分解法等。3.5物理仿真真技術碰撞檢測測算法：層次包圍圍盒法利用體積積略大而而形狀簡簡單的包包圍盒把把復雜的的幾何對對象包裹裹起來，在進行行碰撞檢檢測時，首先進進行包圍圍盒之間間的

19、相交交測試，若包圍圍盒不相相交，則則排除碰碰撞可能能性；若若相交，則接著著進行幾幾何對象象之間精精確的碰碰撞檢測測?？臻g分解解法將虛擬空空間分解解為體積積相等的的小單元元格，所所有對象象都被分分配在一一個或多多個單元元格之中中，系統(tǒng)統(tǒng)只對占占據同一一單元格格或相鄰鄰單元格格的對象象進行相相交測試試。3.6三維全景景技術（Panorama）3.6.1三三維維全景技技術的基基本概念念3.6.2全全景景圖的制制作技術術3.6三維全景景技術（Panorama）3.6.1三三維全全景技術術的基本本概念三維全景景技術是是一種基基于圖像像繪制技技術生成成真實感感圖形的的VR實實現技術術。首先使用用照相機機拍

20、攝獲獲取圖像像序列，然后將將序列樣樣本折疊疊變換并并投影至至觀察表表面如柱柱面、球球面、立立方體表表面等，并將圖圖像局部部對準，最后由由相關軟軟件進行行圖像拼拼接融合合生成可可供瀏覽覽和交互互的三維維全景圖圖。工具軟件件有QuickTimeVR、IPIX、Ulead Cool360以以及杰圖圖造景師師等3.6三維全景景技術（Panorama）3.6.2全全景圖圖的制作作技術1、圖像像拍攝技技術原始資料料獲取方方式：其其一是使使用特殊殊攝像設設備拍攝攝，如全全景照相相機、附附帶魚眼眼鏡頭（FisheyesAdapter）和和全景頭頭（Panohead）相機機等；其其二是使使用普通通照相機機拍攝。

21、拍攝方法法：其一一是定點點拍攝，即將相相機固定定在三腳腳架上并并圍繞相相機光心心旋轉向向不同方方向拍攝攝；其二二是多視視點拍攝攝，相機機可在不不同位置置拍攝，但一般般只能進進行水平平移動。3.6三維全景景技術（Panorama）3.6.2全全景圖圖的制作作技術圖像拼接接技術根據采集集照片序序列類型型的不同同，圖像像拼接技技術主要要涉及以以下兩方方面：若圖像序序列取自自同一視視點不同同視角，重疊畫畫面無縮縮放，則則圖像拼拼接時只只需確定定重疊區(qū)區(qū)域，將將相臨圖圖像中對對應的像像素點對對準，再再進行平平滑拼接接即可。若圖像序序列取自自不同視視點，重重疊畫面面有縮放放，則圖圖像拼接接時需確確定重疊疊

22、區(qū)域和和縮放比比例，可可以交互互給出或或自動求求出每兩兩幅圖像像之間的的對應點點，再用用圖像插插值或視視圖變換換的方法法求出該該物體對對應于其其他觀察察點的圖圖像。3.6三維全景景技術（Panorama）3.6.2全全景圖圖的制作作技術圖像融合合技術圖像融合合技術解解決的主主要問題題是如何何使拼接接的兩幅幅圖像不不出現明明顯的拼拼接縫，并在亮亮度、色色度、對對比度上上沒有明明顯的差差別。通通常，重重疊區(qū)域域的邊界界上，兩兩幅圖像像灰度上上的細微微差別一一般都會會導致很很明顯的的拼縫，一般可可在兩幅幅圖像的的重疊區(qū)區(qū)域采用用漸入漸漸出的方方法，將將兩幀圖圖像的像像素值按按一定的的比例合合成到新新

23、圖，由由前一幅幅圖像慢慢慢過渡渡到下一一幅圖像像。3.7虛擬現實實開發(fā)軟軟件工具具集3.7.1VegaPrime3.7.2Virtools3.7.3VRP3.7.4Web3D技技術及相相關軟件件3.7虛擬現實實開發(fā)軟軟件工具具集3.7.1VegaPrimeVega Prime（簡稱稱VP）由MultiGen-Paradigm公司出出品，構構建在VSG（VegaSceneGraph）框框架之上上，包括括圖形用用戶界面面LynxPrime和一一系列可可調用的的、用C+實實現的庫庫文件、頭文件件?；谟赩P視視景仿真真主要包包括視景景模型的的預處理理、LynX圖圖形界面面設計和和視景仿仿真程序序設計等等三部分分。3.7虛擬現實實開發(fā)軟軟件工具具集3.7.2VirtoolsVirtools由法法國達索索集團（DassaultSystemes）出品，是一套套具備豐豐富的互互動行為為模塊的的實時3D環(huán)境境編輯軟軟件，可可以將現現有常用用的檔案案格式整整合在一一起，如如3D的的模型、2D圖圖形或音音效等，這使得得用戶能能夠快速速地熟悉悉各種功功能，包包括從簡簡單的變變形到復復雜的力力學功能能等。3.7虛擬現實實開發(fā)軟軟件工具具集3.7.3VRPVRP系系列軟件件由中視視典數字字科技有有限公司司研制出出品，以以VR-Platform引引擎為核核心，衍衍生出VRP-IE（VRP三維網網絡