虛擬現(xiàn)實與增強現(xiàn)實理論與實踐 課件 單美賢 第1-3章 什么是VR -AR系列教程-Vuforia入門 - -Unity虛擬交互引擎介紹

虛擬現(xiàn)實與增強現(xiàn)實第一章

VR&AR概述VR定義概述VR的發(fā)展歷史與演變VR定義及原理虛擬現(xiàn)實(VirtualReality)，簡稱VR技術。利用電腦或其他智能計算設備模擬產生一個三度空間的虛擬世界，提供用戶關于視覺、聽覺、觸覺等感官的模擬，讓用戶如同身臨其境一般。虛擬現(xiàn)實三大特點：浸沉感、交互性和構想性。一是沉浸性(Immersion)。就是在虛擬現(xiàn)實系統(tǒng)提供的虛擬環(huán)境中，體驗者的確有了“看得見、聽得到、摸得著、聞得出”的真實感受。二是交互性(Interaction)。就是體驗者用在日常生活中的方式與虛擬場景中的人或物進行各種交流、產生真實的互動體會。三是構想性(imagination)。就是用戶能在虛擬的環(huán)境中獲取新的知識和經驗，形成感性或理性的認識，從而產生新的思想和行動，有效提高思考和行動能力。VR分類非沉浸式虛擬現(xiàn)實系統(tǒng)，用戶通過鍵盤、鼠標、操縱桿或觸摸屏等設備與虛擬環(huán)境進行交互，這種虛擬現(xiàn)實系統(tǒng)通常被稱為非沉浸式虛擬現(xiàn)實系統(tǒng)（Non-Immersive

VRSystem），又稱桌面式或窗口式虛擬現(xiàn)實系統(tǒng)。/resourcedetail.aspx?id=184沉浸式虛擬現(xiàn)實系統(tǒng)（Immersive

VR

System）可使用戶完全融入并感知虛擬環(huán)境，獲得存在感。一般有兩種途徑實現(xiàn)系統(tǒng)功能：洞穴自動虛擬環(huán)境（Cave

Automatic

Virtual

Environments

，簡稱CAVE）和頭戴式顯示器，同時配備運動傳感器以協(xié)助進行自然交互。分布式虛擬現(xiàn)實系統(tǒng)（Distributed

VR

System）通過互聯(lián)網(wǎng)絡使多地用戶能夠實時交互，共享相同虛擬世界。虛擬世界不獨立存在，運行于網(wǎng)絡連接的多個計算機系統(tǒng)。

1VR與AR的區(qū)別AR

(Augmented

Reality)-增強現(xiàn)實：是一種實時地計算攝影機影像的位置及角度并加上相應圖像的技術，將真實環(huán)境和虛

擬物體實時地疊加到同一個空間，進行互動。真實世界信息和虛擬世界信息“無縫”集成。AR,1970年提出這一概念。2012年4月，谷歌發(fā)布Google

Glasses2015年1月，微軟發(fā)布Hololens全息眼鏡2016年2月，Meta公司發(fā)布Meta

2眼鏡……VR與AR的區(qū)別VR和AR的區(qū)別：VR的視覺呈現(xiàn)方式是阻斷人眼與現(xiàn)實世界的連接，通過設備實時渲染的畫面，營造出一個全新的世界。（VR遮斷真實世界）AR的視覺呈現(xiàn)方式是在人眼與現(xiàn)實世界連接的情況下，疊加全息影像，加強其視覺呈現(xiàn)的方式（AR則是疊加虛擬的影像）MR

(Mixed

Reality,

混合現(xiàn)實)是虛擬現(xiàn)實技術的進一步發(fā)展，該技術在虛擬世界、現(xiàn)實世界和用戶之間搭起一個交互反饋的信息回路，以增強用戶體驗的真實感。認識常見的VR、AR、MR設備不同類型VR眼鏡性能對比典型的VR交互外設VR將視聽體驗帶到了一個新的高度VR主要設備構成VR顯示原理人體左眼、右眼存在視覺差（位置/角度偏移），人腦基于雙眼視覺差計算出立體場景。所有3D格式（偏振/紅藍/快門等）均基于此原

理。左右分屏式3D格式，將左眼、右眼圖像并排輸出顯示，通過佩戴眼鏡實現(xiàn)左眼只看左邊圖像、右眼只看右邊圖像，合并入人腦后即呈

現(xiàn)立體場景。VR眼鏡：核心包括顯示屏幕、光學器件、圖像處理器及輸入接口等。處理器及輸入接口負責左右格式內容處理、輸入，屏幕負責顯示

左右格式內容，光學器件通過光學路徑使左右眼與左右圖像對應。思考：4KVR眼鏡的視覺效果只達到了2K，是什么原因？VR眼鏡由于要實現(xiàn)立體效果，所謂的4K其實只有一半的有效分辨率，也就是2K單眼VR眩暈VR在各行各業(yè)中的應用VR典型應用/app/468820/Titans_of_Space_PLUS/VR+藝術繪畫VR直播參考演示案例：/home/live/index.html?home_id=697&live_id=1489VR數(shù)字人VR發(fā)展展望VR市場細分VR頭戴設備市場規(guī)模VR內容市場規(guī)模VR內容市場：?

消費級內容市場：游戲、影視、直播……?

企業(yè)級內容市場：教育、培訓……?

VR營銷市場：VR技術+廣告營銷VR發(fā)展展望目前資本市場前景良好，融資創(chuàng)新積極性較高。預計2021年中國VR設備出貨量820萬臺，用戶量超過2500萬人，中國VR市場規(guī)模將占全球的34.6%，達到460億元。2020年3月2日，人社局新發(fā)布了16個新職業(yè)，其中包括：虛擬現(xiàn)實工程技術人員、全媒體運營師

等。復習VR、AR、MR的概念發(fā)展歷史VR應用VR行業(yè)現(xiàn)狀：產品快速成熟，市場高速增長，人才、應用緊缺VR技術路徑虛擬現(xiàn)實專業(yè)技能集及崗位集（數(shù)字媒體/計算機等相關）VR與元宇宙虛擬現(xiàn)實，數(shù)字孿生，元宇宙......信息技術3.0時代來臨元宇宙：現(xiàn)實世界高度數(shù)字化與虛擬世界高度個性化的深度融合。VR：元宇宙世界的視覺大門。虛實共生：虛實相互依存；AI賦能現(xiàn)實世界；人類賦能虛擬空間數(shù)字孿生是充分利用物理模型、傳感器更新、運行歷史等數(shù)據(jù)，集成多學科、多物理量、多尺度、多概率的仿真過程，在虛擬空間中完成映射，從而反映相對應的實體裝備的全生命周期過程。元宇宙的英文名MetaverseMeta來自希臘語，意為超出verse則來自于宇宙「Universe」其字面意思就表示為「超越現(xiàn)實宇宙」的存在，即被科技創(chuàng)造出的與現(xiàn)實真實世界映射交互的虛擬世界，是一種具備新型社會體系的數(shù)字生活空間。09:48S.

35

1

1

1從物理宇宙到元宇宙可以大致分為四個階段:09:48S.

3909:48S.

40

109:49虛擬現(xiàn)實與增強現(xiàn)實虛擬現(xiàn)實的接口設備請體驗相關VR和AR類產品或應用，例如：手機端應用“AR

Ruler”;

元宇宙校園，數(shù)字/VR展館、VR直播，等等。在此過中，1?可以從沉浸感、交互性、想像性等程角度思考；2?可以結合自己的專業(yè)角度來思考（這些產品包括哪些專業(yè)能力，有哪些地方可以改進的，自己如果想從事這方面的工作需要如何提升等）09:49S.

209:49S.

3虛擬現(xiàn)實系統(tǒng)的組成虛擬現(xiàn)實從應用角度講，是利用計算機圖形生成技術從空間和位置上以交互方式虛擬出三維場景（視覺）、聲音（聽覺）、觸覺甚至嗅覺的感受，從而達到身臨其境的效果。從技術角度講，是由高性能計算機系統(tǒng)、顯示輸出設備、位置和觸覺跟蹤采集輸入設備、軟件引擎系統(tǒng)等組成。09:49S.

409:49S.

5本章內容人的視覺特效立體視覺視場虛擬現(xiàn)實接口設備視覺顯示設備聽覺顯示設備觸覺/力覺等顯示設備跟蹤設備

109:49S.

609:49S.

709:49S.

8立體視覺人為什么要長兩只眼睛？僅從單幅場景圖像無法獲知物體的深度信息兩眼大約有6.5cm的瞳距，對同一場景，兩眼得到的圖像略有差別，大腦對這兩幅圖像中的細節(jié)進行解釋使你有距離和深度的感覺09:49S.

9我們只是根據(jù)場景中的光照變化、物體遮擋、陰影以及經驗等渠道來感覺那些場景的立體效果。浮空硬幣的效果09:49S.

1009:49S.

11立體視覺可以推算出深度

z

的計算公式：z

=

D*S

/(xl

-

xr)視差：真實空間的某一點，分別投影生成兩幅圖像中兩個位置不同的像點，這相互對應的兩個像點在圖像中位置上的差值就是視差。09:49S.

12立體視覺只要使雙眼各自看到恰當?shù)膱D像，就能使人產生立體的感覺。立體顯示的原理就是通過體視設備使左右兩眼看到兩幅圖像。兩幅圖象之間存在的水平位差在人眼中形成視差，使得原本在二維平面上的圖像被重構成一虛擬的立體空間。立體顯示原理立體圖產生的基本原理是通過深度信息的恢復來實現(xiàn)的。我們這里所指的立體圖是通過讓左右雙眼接受各自的圖像，從而恢復三維信息。通過這一機制產生的立體圖是和人們日常生活中感受立體信息的過程相一致的。立體圖繪制則是對同一場景用左右兩個視點分別計算其透視圖，產生兩幅具有一定視差的圖像，然后借助立體眼鏡等設備，使左右雙眼只能看到與之相對應的圖像，視線相交于三維空間中的一點上，從而恢復出三維深度信息。立體視覺顯示器的原理舉例09:49S.

1409:49S.

15視場眼睛的視場約為水平±100o，垂直±60o，而水平的雙目重疊視場120o目前的實際全景顯示設備可能產生水平±100o，垂直±30o視場，這已經有強的沉浸感了。09:49S.

16本章內容人的視覺特效立體視覺視場虛擬現(xiàn)實接口設備視覺顯示設備聽覺顯示設備觸覺/力覺等顯示設備跟蹤設備09:49S.

17虛擬現(xiàn)實的接口設備視覺顯示設備聽覺顯示設備觸覺/力覺等顯示設備跟蹤設備09:49S.

18視覺顯示設備視覺顯示設備視覺顯示表面成像系統(tǒng)跟蹤系統(tǒng)09:49S.

19視覺顯示表面陰極射線管（CRT）液晶顯示器（LCD）等離子顯示器（PDP）發(fā)光二極管顯示器（LED）VRD類顯示器投影類顯示三維顯示09:49S.

20發(fā)光二極管顯示器（LED）09:49S.

21VRD顯示原理（VirtualReality

Display

）VCD直接把調制的光線投射在人眼的視網(wǎng)膜上，產生光柵化的圖像。09:49S.

22VRD顯示特點很小很輕的眼鏡大于120o的大視場很低的功率消耗具有看穿的顯示方式09:49S.

23投影類顯示司空見慣的投影儀投影在投影幕上、墻上或者任何地方可穿戴設備：第六感omniTouch09:49S.

24能夠讓任何表面或物體變成交互式顯示屏幕，辨識操作者的手勢動作。09:49S.

25三維顯器

Felix3DRGB激光調制器二色鏡電機和位置傳感器09:49S.

26期

望當

下09:49S.

27視覺顯示設備視覺顯示設備應當包括：視覺顯示表面成像系統(tǒng)跟蹤系統(tǒng)幾種典型的虛擬現(xiàn)實立體顯示設備09:49S.

28幾種典型的虛擬現(xiàn)實立體顯示設備頭盔式立體顯示器HMD可看穿的HMD雙目全方位監(jiān)視器BOOM立體眼鏡式立體顯示器環(huán)屏或球屏立體顯示設備洞穴式立體顯示（CAVE）自動立體顯示器09:49S.

29HMD09:49S.

30HMD09:49S.

31可看穿的頭盔顯示器在看穿的頭盔顯示中，虛擬圖像投射在觀察者眼前的半反光半透明的光學玻璃上。于是在看到計算機生成的虛擬圖形的同時，也看到真實場景。09:49可看穿的頭盔顯示器BAE為“鷹獅”提供綜合頭盔顯示器系統(tǒng)Sony公司的LDI-100頭盔顯示器，重量120g，提供可看穿的顯示S.

3209:49S.

33BOOM顯示器BOOM（Binocular

Omni-OrientationalMonitor雙目全方位監(jiān)視器）力圖克服頭戴式頭盔的幾個缺點：有重量，頭戴不適跟蹤延遲分辨率低09:49FakespaceFS2(dual

CRT,1280x1024)S.

3409:49S.

35FakespacePinch(dual

CRT,1280x1024)09:49S.

36BOOM顯示器BOOM已不常用力圖克服頭戴式頭盔的幾個缺點：有重量，頭戴不適跟蹤延遲分辨率低游戲頭盔：Oculus

Rift2013年CES中展出了一款名為OculusRift的頭戴式娛樂終端09:49S.

37Oculus

Rift

視頻OculusRift & VR極寬的視角對角線

110

度、水平視角

90

度不會有在黑暗中看小屏幕的感覺。這是真正沉浸式體驗的保證。低延遲使用高精度、輕量級的屏幕，使得游戲畫面能夠最大程度跟上頭部的擺動。價格實惠希望更多的滿足各位游戲迷大視場介紹視頻-2’3009:49S.

40幾種典型的立體視覺顯示設備頭盔式立體顯示器HMD可看穿的HMDBOOM立體眼鏡式立體顯示器環(huán)屏或球屏立體顯示設備洞穴式立體顯示（CAVE）自動立體顯示09:49S.

41立體眼鏡式立體顯示顯示設備提供左右眼交替的立體顯示對；通過佩帶立體眼鏡使雙目分別觀看左右圖像，從而產生立體視覺。09:49S.

42立體眼鏡式立體顯示分類按照眼鏡原理分類主動系統(tǒng)（有源系統(tǒng)）。通過場順序眼鏡（液晶光閥眼鏡）使雙眼分時觀看左右圖像；被動系統(tǒng)（無源系統(tǒng)），使用紅綠眼鏡、偏振眼鏡等使雙眼分別觀看不同的左右圖像。主動式立體投影系統(tǒng)主動式立體成像是計算機通過投影儀快速交替地將左右眼的圖像投射到屏幕上，并通過紅外發(fā)射器發(fā)射同步信號。觀眾佩戴主動式立體眼鏡，鏡片由高速反應液晶制成。S.

44主動系統(tǒng)顯示原理標準布局：利用紅外信號傳送同步信號，用于控制液晶眼鏡的開關。主動式立體成像是計算機通過投影儀快速交替地將左右眼的圖像投射到屏幕上，并通過紅外發(fā)射器發(fā)射同步信號。觀眾佩戴主動式立體眼鏡，鏡片由高速反應液晶制成。被動式立體投影系統(tǒng)–

被動式立體成像一般情況下是使用兩臺投影儀，一臺投射左眼圖像，另外一臺投射右眼圖像，將左右眼圖像同時投射到屏幕上。投影儀鏡頭前安裝偏振光片，使投射的光線變成偏振光，而觀眾配帶的立體眼鏡的鏡片也是偏振光片，并且左眼的偏振片與投射左眼圖像的投影儀的偏振光片的偏振方向是相同的，右眼的偏振片與投射右眼圖像的投影儀的偏振光片的偏振方向是相同的。這樣左眼圖像只能透過左眼鏡片，而右眼圖像也只能透過右眼鏡片，從而使觀眾看到立體的圖像。09:49S.

46被動系統(tǒng)佩戴偏振眼鏡偏振光09:49S.

47被動系統(tǒng)兩臺投影機，

各套上一個偏振片，把兩個偏振光的影像同時放映在金屬銀幕上(金屬的反射不會改變偏振光向)，兩個偏振光的振動方向互成直角。觀眾也戴上偏振片造成的眼鏡。左眼的鏡片只許左方攝影機的影像通過，而右眼的鏡片只許右方攝影機的影像通過，于是就產生立體感覺。09:49S.

48被動系統(tǒng)戴紅綠眼鏡看黑白立體影像兩臺放映機，其一透過紅濾鏡放映紅色影像，另一透過綠濾鏡放映綠色影像。這兩影像同時在銀幕上相疊。觀眾戴上以一紅一綠的玻璃紙為鏡片的眼鏡。09:49S.

49幾種典型的立體視覺顯示設備頭盔式立體顯示器HMD可看穿的HMDBOOM立體眼鏡式立體顯示器環(huán)屏或球屏立體顯示設備洞穴式立體顯示（CAVE）自動立體顯示09:49S.

50環(huán)屏立體顯示設備180度環(huán)狀屏幕09:49S.

51環(huán)屏立體顯示設備09:49S.

52雙通道，三幕09:49S.

53核心技術——邊緣融合重疊區(qū)域需要進行融合色彩上的平衡幾何矯正09:49S.

54幾何矯正09:49S.

55非線性失真校正無幾何矯正時的柱幕投影效果，重合區(qū)形狀不重合09:49S.

56非線性失真校正帶幾何矯正時的柱幕投影效果，重合區(qū)形狀重合球幕09:49S.

57四川志勝公司球幕1四川志勝公司球幕209:49S.

58球屏立體顯示設備09:49S.

59幾種典型的立體視覺顯示設備頭盔式立體顯示器HMD可看穿的HMDBOOM立體眼鏡式立體顯示器環(huán)屏或球屏立體顯示設備洞穴式立體顯示（CAVE）自動立體顯示09:49S.

60洞穴式立體顯示（CAVE）09:49S.

61洞穴式立體顯示（CAVE）第一個CAVE為1991年由美國Illinois大學EVL實驗室研制至少具有三個顯示表面，它們彼此相連構成房間。允許多人共享一個虛擬環(huán)境，立體視圖受控于一位觀察者的視點位置和視線方向。09:49S.

62CAVE09:49S.

6309:49中視典CAVE中視典CAVE

209:49S.

65視覺顯示設備頭盔式立體顯示器HMD可看穿的HMDBOOM立體眼鏡式立體顯示環(huán)屏或球屏立體顯示設備洞穴式立體顯示（CAVE）自動立體顯示（裸眼3D）09:49S.

66自動立體顯示（裸眼3D）自動立體顯示不要求輔助的觀看設備（如場順序或偏振眼鏡），不給用戶附加慣性約束自動分光立體顯示

(Autostereoscopic

Displays)-------又稱為光柵3D顯示集成成像3D顯示(Integral

Imaging

3D

Display)體三維顯示

(Volumetric

3D

Display)全息術

(Hologram)其他09:49S.

6709:49S.

68自動分光立體顯示

---

透鏡顯示面一個透鏡面是圓柱透鏡的陣列，它可以產生左右眼觀看的圖像，并可以將這兩副不同的二維圖像導向不同的觀看子區(qū)域。當觀察者的頭在正確的位置時，每只眼就在不同的觀看區(qū)，看到不同的圖像，得到雙目視差。09:49S.

69自動分光立體顯示

---

視差檔板顯示視差檔板是放在顯示前方的垂直平板，它對每只眼都阻檔了屏幕的一部分。視差檔板的作用類似透鏡面。差別在于它是用檔板檔住部分顯示，而不是用透鏡導引屏幕圖像。屏幕顯示兩個圖像，每個分成垂直條。屏幕上顯示的條交替為左右眼圖像。每只眼只看到它的條。自動分光立體顯示

(光柵3D顯示)已開始應用到手機、電腦、電視等產品上。09:49/articles/107717.htm光柵3D顯示的筆記本09:49 S.

7109:49S.

72光柵3D顯示的液晶顯示器09:49S.

73集成成像3D顯示記錄階段將記錄介質置于微透鏡板的焦平面上,

每個微透鏡單元從不同的方向記錄物體空間的部分信息再現(xiàn)階段將記錄介質置于具有相同參數(shù)的微透鏡陣列的焦平面上,

用散射光照射,

由光線可逆原理就可在微透鏡板另一側觀看到再現(xiàn)物體空間場景09:49S.

74記錄過程再現(xiàn)過程09:49S.

75自動立體顯示（裸眼3D）自動立體顯示不要求輔助的觀看設備（如場順序或偏振眼鏡），不給用戶附加慣性約束自動分光立體顯示

(Autostereoscopic

Displays)-------又稱為光柵3D顯示集成成像3D顯示(Integral

Imaging

3D

Display)體三維顯示

(Volumetric

3D

Display)全息術

(Hologram)其他09:49S.

76體三維顯示體三維顯示掃描體顯示

(Swept-Volume

Display)高速旋轉的屏幕，二維圖像堆積形成立體印象–

Felix3D、Perspecta固態(tài)體顯示

(Solid-VolumeDisplay)solidFELIX：一整塊立方體水晶作為顯示介質DepthCube系統(tǒng)：層疊液晶屏幕方式來實現(xiàn)三維體顯示09:49S.

77體三維顯示

---

掃描體顯示Felix3D原理09:49 S.

78體三維顯示

---

掃描體顯示Perspecta原理09:49S.

79體三維顯示

---

掃描體顯示東京－日立公司“日立人類交流實驗室”開發(fā)的3D顯示器原型－－TransPort09:49S.

80體三維顯示

---

固態(tài)體顯示DepthCube系統(tǒng)原理09:49S.

81自動立體顯示（裸眼3D）自動立體顯示不要求輔助的觀看設備（如場順序或偏振眼鏡），不給用戶附加慣性約束自動分光立體顯示

(Autostereoscopic

Displays)-------又稱為光柵3D顯示集成成像3D顯示(Integral

Imaging

3D

Display)體三維顯示

(Volumetric

3D

Display)全息術

(Hologram)其他09:49自動立體顯示

---

全息攝影演示Holography.wmvS.

8209:49S.

8309:49S.

84←世界上首次使用全息投影的演唱會2010年3月9號晚間世嘉公司舉辦了一場名為“初音未來的感謝祭”“初音之日”（Miku'sDay）的初音未來全息投影演唱會普羅米修斯電影片段2013年6月在Nature雜志上的一篇文章，宣稱：3D技術獲突破，低成本移動全息圖將成現(xiàn)實據(jù)估計，采用他們研發(fā)的新技術制造全息顯示器的成本不到320英鎊。09:49S.

85四種裸眼3D技術的比較自動分光3D顯示（光柵3D顯示）：技術最成熟，正推向市場，但技術仍需進步。集成成像3D顯示：技術較成熟，研發(fā)階段，極具競爭力。體3D顯示：機械復雜，3D圖形質量欠佳，發(fā)展受限。全息3D顯示：技術不成熟，研究階段，3D顯示的終極目標。09:49S.

8609:49S.

87視覺顯示設備頭盔式立體顯示器HMD可看穿的HMDBOOM立體眼鏡式立體顯示環(huán)屏或球屏立體顯示設備洞穴式立體顯示（CAVE）自動立體顯示09:49S.

88接口設備視覺顯示設備聽覺顯示設備觸覺/力覺等顯示設備跟蹤設備09:49S.

89耳朵的定位功能雙耳效應：人的兩只耳朵對同一聲源的直達聲具有時間差（0.44~0.5）微妙，而人耳可以根據(jù)這些微小的差別判斷聲音的方向，確定聲源的位置，但只能局限于確定前方水平方向的聲源，不能解決三維空音聲源的定位耳廓效應：人的耳廓對聲波的反射以及對空間聲源的定位有重要的定向作用。借此效應，可以判斷聲源的三維位置人耳的頻率濾波效應：人耳的聲音定位機制與聲音頻率有關，對20~200赫的低音靠相位差定位，對300~4000赫的中音靠音強差定位，對高音則依靠聲音差定位頭部相關傳輸函數(shù)：人的聽覺系統(tǒng)對不同方位的聲音產生不同的頻譜，而這一頻譜特性可由頭部相關傳遞函數(shù)HRTF來描述09:49S.

90聽覺顯示設備要求虛擬環(huán)境的聽覺接口應該能給兩耳提供一對聲波：它應有高度逼真性；能以預定方式改變波形，作為聽者各種屬性和輸出的函數(shù)；排除所有不是VR系統(tǒng)產生的聲源（增強現(xiàn)實系統(tǒng)除外）。09:49S.

91聽覺顯示系統(tǒng)的任務聲音空間定位和建模聲音傳播模擬聲源信號合成語音合成非語音合成09:49S.

92環(huán)繞立體聲杜比（Dolby）環(huán)繞聲系統(tǒng)虛擬環(huán)繞聲技術–

把多聲道的信號經過處理，在兩個平行放置的音箱中回放出來，并且能夠讓人感覺到環(huán)繞聲的效果立體聲文件09:49S.

93四聲道環(huán)繞立體聲立體聲與三維虛擬聲音的區(qū)別立體聲不像真實聲音那樣是在外部的.立體聲聽上去好像是從用戶的頭里發(fā)出來的.隨著用戶頭部運動,小提琴的聲音變到了用戶左邊.三維虛擬聲音是使用頭部跟蹤器的數(shù)據(jù)合成的虛擬小提琴在空間中的位置保持不變,因此聲音好像來自用戶的腦后.聲音傳播的模擬09:49S.

95教堂聲音傳播模擬公路障礙物聲音模擬聲源信號合成語音合成非語音合成TTS（Text

To

Speech）的研究–

木蘭09:49S.

96木蘭聲音其他聲音合成游

戲應用09:49S.

972.2

接口設備視覺顯示設備聽覺顯示設備觸覺/力覺等顯示設備跟蹤設備（位姿傳感器）09:49S.

98觸覺/力覺顯示觸覺/力覺包括“肌肉運動知覺”和“接觸的感覺”觸覺/力覺顯示的困難觸覺是唯一一個雙向感覺通道除味覺外，觸覺是唯一一個不能隔一段距離進行刺激的感覺09:49S.

99各種不同類型的抓取動作從左到右，按照力量大小和靈巧程度排列S.

100觸覺/力覺顯示器舉例力覺顯示器力反饋鼠標FEELitMouse力反饋手柄力反饋手臂安裝在人身體上的力反饋設備觸覺顯示器液壓氣動手阻抗控制振動09:4909:49S.

101力覺顯示設備力反饋鼠標FEELit

Mouse：當仿真碰撞時，它給人手施加反饋力。09:49力反饋手柄ImpulseEngine2000：它在兩個自由度跟蹤運動，增加力反饋。通過調節(jié)剛度、頻度、幅度的變化可以仿真表面、紋理、彈性、液體、重力場、彈跳的球、生物材料以及其他物理感覺。09:49S.

103力反饋手臂力反饋手柄09:49S.

104安裝在人身體上的力反饋設備力反饋操縱手臂09:49S.

105安裝在手上的力反饋設備S.

106觸覺/力覺顯示器舉例力覺顯示器力反饋鼠標FEELitMouse力反饋手柄力反饋手臂安裝在人身體上的力反饋設備觸覺顯示器氣動式探針式振動式手阻抗控制09:4909:49氣動接觸反饋Teletact

Glove–

使用安裝在手套上的微型空氣袋來提供接觸反饋09:49探針式接觸反饋還可通過聲音線圈的振動來模擬觸覺輕型的形狀記憶合金（SMM）驅動器探針陣列式的振動觸覺反饋設備微軟在觸覺方面的嘗試09:4909:49S.

110基于熱反饋增強的接觸反饋在Salford大學（UK）研究的接觸反饋設備。該設備提供了溫度和熱傳導反饋。溫度信息可以幫助識別虛擬物體是冷是熱，甚至代替"疼痛"（危險）反饋。S.

111觸覺/力覺顯示器舉例力覺顯示器力反饋鼠標FEELitMouse力反饋手柄力反饋手臂安裝在人身體上的力反饋設備觸覺顯示器氣動式探針式振動式手阻抗控制09:4909:49S.

112還有少數(shù)對嗅覺、味覺等的模擬工作09:49嗅覺研究的實例2007年日本奈良尖端技術研究生院大學教授千原國宏領導的研究小組開發(fā)出一種嗅覺模擬器只要把虛擬空間里的水果拉到鼻尖上一聞，裝置就會在鼻尖處放出水果的香味來自谷歌09:49S.

114味覺研究的實例2003年的國際計算機圖形學大會（Siggraph）上，日本筑波大學展示了其研制的味覺虛擬器。它可以真實地模擬食物在口中咀嚼時的味道和口感。振動式虛擬味覺設備—TagCandy09:49接吻機器人09:49S.

1162012年2月新家坡國立大學研制09:49虛擬懷孕2009年IavalVirtual虛擬現(xiàn)實大會上的一個展示。日本的一個產品。用戶可以體驗懷孕的感受。感受重量以及被嬰兒踢的感覺。里面是一個水袋。09:49多感官研究的實例來自谷歌2008年3月，來自約克和華威大學的科學家小組，研制世界上第一款能夠模擬所有5種感覺的虛擬現(xiàn)實裝置：虛擬繭09:49S.

119多感官研究的實例“虛擬繭”包括：–電腦顯示屏–揚聲器–風扇–嗅覺管09:49S.

120多感官研究的實例虛擬繭設計原理圖：09:49S.

121接口設備視覺顯示設備聽覺顯示設備觸覺/力覺等顯示設備跟蹤設備S.

122跟蹤設備機械式傳感器磁場式傳感器超聲式傳感器光學式傳感器慣性式傳感器神經/肌肉跟蹤技術聲音識別意念操縱位姿傳感器虛擬現(xiàn)實系統(tǒng)中常需要檢測頭部和手的位置：一般要跟蹤6個不同的運動方向，即沿X、Y、Z坐標軸的平動和沿X、Y、Z軸方向的轉動。六自由度（6DOF）：寬度、高度、深度、俯仰角、轉動角、偏轉角6DOF跟蹤器6

DOF(自由度,

Degree

Of

Freedom)09:49S.

125機械式傳感器

---

跟蹤球安裝有傳感器的球，它測量用戶的手施加在彈性元件上的三個力和力矩，從而控制虛擬物體的運動速度和角速度的大小。09:49S.

126機械式傳感器

---

3D探頭這個探頭有六個關節(jié)。每個轉動關節(jié)表示一個自由度，于是探頭有六個自由度，這允許同時確定探頭尖端的位置和方向。09:49S.

127一個雕刻品的實例力反饋系統(tǒng)

Phantom09:49S.

128機械式傳感器

——

數(shù)據(jù)手套VPL公司的DataGlove：光纖導管09:49S.

129二、電磁傳感器原理：被動線圈中的感應電流正比與被動線圈和主動線圈的距離，也與夾角相關。09:49S.

130三、超聲傳感器原理：利用聲音的速度。超聲傳感器包括三個超聲發(fā)射器的陣列（安裝在天花板上），三個超聲接受器（安裝在被測物體上），用于啟動發(fā)射的紅外同步信號，以及計算機。聲音定位跟蹤系統(tǒng)利用不同聲源的聲音到達某一特定地點的時間差、相位差、聲壓差等進行定位與跟蹤。一般使用超音速頻率(20kHz以上)以使發(fā)射器發(fā)射的聲音不被周圍的人聽到,從而不至于造成環(huán)境污染。因此，又稱之為超音速系統(tǒng)。兩種基本算法–聲波飛行時間(Time-of-flight)測量法–相位相干(Phase-Coherent)測量法聲波飛行時間位置跟蹤器聲波飛行時間設備通過測量聲波飛行時間來確定距離。通過使用多個發(fā)射器和傳感器獲得一系列的距離，便可以計算出接收器的位置和方向。相位相干位置跟蹤器相位相干位置跟蹤器通過比較基準信號與由傳感器檢測到的發(fā)射信號二者的相位來確定距離。由于相位可被連續(xù)地測量，因此相位相干系統(tǒng)能產生較高的數(shù)據(jù)傳輸率。大的數(shù)據(jù)設備可進行多次濾波以克服環(huán)境干擾的影響而不影響系統(tǒng)的精度、響應性、或者耐久性。聲音位置跟蹤器的評價聲波飛行時間系統(tǒng)小范圍內，聲波飛行時間系統(tǒng)有較好的精確度和響應性。操作范圍擴大時，聲波飛行時間數(shù)據(jù)傳輸率的降低，系統(tǒng)對于歸類誤差的校正能力變差。任何范圍內都容易受到偽聲音脈沖的干擾。系統(tǒng)由于每一次測量的都是一個絕對距離，不易產生累積誤差。相位相干系統(tǒng)相位相干系統(tǒng)本質上不易受到噪聲的干擾。具有較高的數(shù)據(jù)傳輸率使此系統(tǒng)能提供改善了的精度、響應性、范圍大和魯棒性。相位相干系統(tǒng)也不易受到偽脈沖的干擾。不能直接測量距離而只能測量位置的變化，容易產生累積誤差。09:49S.

135四、光學傳感器原理：距離可以由三角關系測量（立體視覺），或由傳遞時間測量（激光雷達），或光的干涉測量。光學跟蹤系統(tǒng)實現(xiàn)方法采用兩個或多個攝象機類型的傳感器分辨三維信息。它利用先進的模式識別技術跟蹤頭部位置。工作原理在要跟蹤的物體上貼上反光標簽(Marker)，通過鏡頭發(fā)射和接受指定波長的紅外光，這樣可以獲得Marker的三維運動軌跡。必須保證每個marker

有兩個以上相機觀察到。09:49S.

138光學傳感器09:49S.

139光學傳感器應用：人臉表情或動作捕捉09:49S.

140光學傳感器應用：人臉表情或動作捕捉09:49S.

141光學傳感器應用：人臉表情或動作捕捉09:49S.

142阿凡達演示表情捕捉09:49S.

143微軟的mobile

surface演示：MobileSurface.flv一種四攝像頭的攝影設備一種全場景的光學跟蹤系統(tǒng)09:49S.

145五、慣性傳感器原理：采用加速度計和角速度計moven演示

Moven表演加速傳感器演示學生作的加速傳感器學生作的手機傳感器體感游戲索尼的EyeToy游戲任天堂的Wii

Remote索尼的PlayStation

Move微軟的Kinect09:49S.14609:49S.147前幾年出現(xiàn)的PC機單攝像頭游戲（如EyeToy），可算是一種簡單的體感跟蹤。EyeToy演示09:49148位置跟蹤器已經在游戲中得到越來越廣范的應用任天堂2006年推出的Wii游戲機配備有Wii控制器（Wii

Remote）– Wii控制器除了像一般遙控器可以用按鈕來控制，它還有兩項功能：指向定位及動作感應。Wii宣傳片S.09:49S.149位置跟蹤器已經在游戲中得到越來越廣范的應用索尼2010年推出了PS3動作控制手柄PlayStation

Move（又稱為體感手柄）09:49S.150位置跟蹤器已經在游戲中得到越來越廣范的應用微軟在2010年推出“初生計劃（Project

Natal）”

，后產品以Kinect命名Natal宣傳片Kinect09:49S.151Kinect周年紀念S.

152跟蹤設備機械式傳感器磁場式傳感器超聲式傳感器光學式傳感器慣性式傳感器神經/肌肉跟蹤技術聲音識別意念操縱位姿傳感器S.09:49153神經/肌肉跟蹤技術通過感知人體肌肉或神經信號來確定手指動作的技術演示：muscle_Sense.flvMYO腕帶MYO腕帶MYO腕帶原理跟蹤設備機械式傳感器磁場式傳感器超聲式傳感器光學式傳感器慣性式傳感器神經/肌肉跟蹤技術聲音識別與交互09:4意9念操縱位姿傳感器聲音識別與交互Iphone

5

的Siri聲音識別與交互很有可能成為下一個熱點09:49S.

156意念控制腦機接口（Brain-Computer

Interface）TED視頻09:49S.

158本章內容人的視覺特效立體視覺視場虛擬現(xiàn)實接口設備視覺顯示