虛擬現(xiàn)實(shí)技術(shù)概論 第2版 課件 第2章 虛擬現(xiàn)實(shí)技術(shù)

VR技術(shù)基本原理

及主要技術(shù)基本原理頭戴顯示器的成像原理主要技術(shù)

視覺顯示設(shè)備與技術(shù)計(jì)算機(jī)圖形技術(shù)動(dòng)作捕捉技術(shù)人機(jī)交互技術(shù)5頭戴顯示器6頭戴顯示器（HeadMountDisplay，HMD）是一種可穿戴式顯示裝置，一般戴在頭上或作為頭盔的一部分，通過小型液晶顯示屏顯示圖像，經(jīng)過光學(xué)系統(tǒng)校正后投射到用戶眼中。正立放大虛像液晶顯示屏凸透鏡頭戴顯示器7為了使用戶獲得3D的視覺體驗(yàn)，即深度知覺（Depthperception），HMD需要在左右眼顯示不同的圖像，常用的方法包括使用雙路視頻輸出，或者將視頻按奇偶幀進(jìn)行時(shí)分復(fù)用等。89視覺顯示設(shè)備與技術(shù)觸覺與力覺顯示設(shè)備內(nèi)容—視覺感知的幾個(gè)基本概念—立體視覺—視覺顯示設(shè)備—常見的力/觸覺顯示設(shè)備“沉浸感”是虛擬現(xiàn)實(shí)系統(tǒng)最重要的基木特征。身臨其境---

如何實(shí)現(xiàn)感官特性，包括視覺、聽覺、觸覺、味覺、嗅覺等。常有的顯示設(shè)備包括：視覺顯示設(shè)備、聽覺顯示設(shè)備、力覺和觸覺顯示設(shè)備等。據(jù)統(tǒng)計(jì)，人類對(duì)客觀世界的感知信息75%-80%來至視覺，所以視覺通道是VR系統(tǒng)中最重要的感知接口。

視覺顯示設(shè)備與技術(shù)視覺感知的幾個(gè)基本概念視域：一個(gè)物體能否被觀察者看到，取決于該物體的圖象是否落在觀察者的視網(wǎng)膜上和落在視網(wǎng)膜上的什么位置。能夠被眼睛看到的區(qū)域稱為視域。

在實(shí)際中，全景顯示產(chǎn)生水平±100°，垂直±30°的視域即可有很強(qiáng)的沉浸感。視角：視覺感知中關(guān)于可視目標(biāo)大小的測量，可視目標(biāo)在視網(wǎng)膜上的投影大小能夠決定視覺感知的質(zhì)量。一般認(rèn)為理想的目標(biāo)提示大小為:在正常光照條件下視角不應(yīng)該小于15°，在較低光照條件下視角不應(yīng)該小于21°。這是視景生成和頭盔顯示過程中的重要參考系數(shù)。立體視覺視覺生成外界景物發(fā)射或反射光線刺激視網(wǎng)膜感光細(xì)胞令視覺神經(jīng)產(chǎn)生知覺立體視覺生成原理兩眼空間位置的不同，是產(chǎn)生立體視覺的主要原因?？臻g某個(gè)物體在兩眼的視圖中位置不同就產(chǎn)生了立體視差。人眼利用這種視差，判斷物體的遠(yuǎn)近，產(chǎn)生深度感,形成立體視覺，由此獲得環(huán)境的三維信息。人的視覺系統(tǒng)可以通過四種線索得到深度知覺：側(cè)視網(wǎng)膜圖象差：也稱雙目視差，在雙目光軸平行時(shí)，由于幾何位置的差別，兩目看同一環(huán)境，卻得到不同的圖像，形成主要的深度感。運(yùn)動(dòng)視差：當(dāng)觀察者相對(duì)環(huán)境運(yùn)動(dòng)時(shí)，產(chǎn)生的深度感。如果頭部運(yùn)動(dòng)，就可能發(fā)現(xiàn)物體之間的遮擋關(guān)系。運(yùn)動(dòng)視差是深度感知中的最有力的線索。事實(shí)上，許多動(dòng)物和昆蟲主要是靠運(yùn)動(dòng)視差識(shí)別目標(biāo)，例如:兔子和蜜蜂.圖象大小差異:對(duì)己知物體，圖像尺寸的變化是透視深度感。人的直覺是，物體越遠(yuǎn)，看起來越小。如果物體A與B同樣大，但A的圖象比B的小.同樣可認(rèn)為A比B離觀察者更遠(yuǎn)。紋理梯度:指視野中的物體在網(wǎng)膜上的投影大小和投影密度發(fā)生有層次的變化。例如，當(dāng)你看沙灘上的石頭。根據(jù)視網(wǎng)膜上紋理梯度的變化，把小而密的事物看成是比較遠(yuǎn)的，大而疏的物體看成是比較近的虛擬現(xiàn)實(shí)視覺的立體顯示，僅僅實(shí)現(xiàn)雙目視差。虛擬現(xiàn)實(shí)視覺的立體顯示，還沒有實(shí)現(xiàn)人類其他的深度感。為了實(shí)現(xiàn)立體顯示，應(yīng)該為雙目提供不同的圖像，有雙目視差的圖像。為此，對(duì)同一虛擬環(huán)境，由兩個(gè)虛擬觀察點(diǎn)分別透視投影，得到有雙目視差的兩個(gè)圖像。立體顯示就是給雙目提供有雙目視差的兩個(gè)圖像.視覺顯示設(shè)備頭盔顯示器（HMD）：頭盔顯示器是3DVR圖形顯示與觀察設(shè)備，可單獨(dú)與主機(jī)相連以接受來自主機(jī)的3DVR圖形圖像信號(hào)，借助空間跟蹤定位器可進(jìn)行虛擬現(xiàn)實(shí)輸出效果觀察，同時(shí)觀察者可做空間上的自由移動(dòng)，如；自由行走、旋轉(zhuǎn)等，沉浸感極強(qiáng)，優(yōu)于顯示器的虛擬現(xiàn)實(shí)觀察效果，遜于虛擬三維投影顯示，在投影式虛擬現(xiàn)實(shí)系統(tǒng)中，頭盔顯示器作為系統(tǒng)功能和設(shè)備的一種補(bǔ)充和輔助。OculusRift19HTCVive20PlayStationVR21SamsungGearVR22GoogleCardboard23各產(chǎn)品性能對(duì)比產(chǎn)品名稱分辨率刷新頻率視野范圍發(fā)售時(shí)間價(jià)格OculusRift2160x120090Hz110°2016.3$599HTCVive2160x120090Hz110°2016.4$799PlayStationVR1920x1080120Hz100°2016.10$399GearVR2560x144060Hz96°2015.11$99GoogleCardboard---2014.6Free24雙目全方位顯示器（BOOM）

是一種偶聯(lián)頭部的立體顯示設(shè)備，類似使用望遠(yuǎn)鏡，它把兩個(gè)獨(dú)立的顯示器捆綁在一起，由兩個(gè)相互垂直的機(jī)械臂支撐，這不僅讓用戶可以在半徑2m的球面空間內(nèi)用手自由操縱顯示器的位置，還能降低顯示器的重量加以巧妙的平衡而是指始終保持水平，不受平臺(tái)運(yùn)動(dòng)的影響。在支撐臂上的每個(gè)節(jié)點(diǎn)處都有位置跟蹤器，因此BOOM和HMD一樣有實(shí)時(shí)的觀測和交互能力。BOOM全方位顯示器3D眼鏡顯示系統(tǒng)該系統(tǒng)設(shè)備包括：立體圖像顯示器和3D眼鏡。立體圖像顯示器以兩倍于正常掃描的速度刷新屏幕，計(jì)算機(jī)給顯示器交替發(fā)送兩幅有輕微偏差的圖像。位于CRT（陰極射線管）顯示器頂部的紅外發(fā)射器與信號(hào)同步，以無線方式控制活動(dòng)眼鏡。紅外控制器指導(dǎo)立體眼鏡的液晶光柵交替地遮擋眼睛視野。大腦記錄快速交替的左右眼圖像序列，并通過立體視覺將其融合在一起，從而產(chǎn)生深度感。世界杯3D觀看紅外立體眼鏡顯示利用紅外信號(hào)傳送同步信號(hào)，用于控制液晶眼鏡的開關(guān)。眼鏡上備有輕便的鋰電池，眼鏡在無線狀態(tài)下工作：紅外立體眼鏡顯示系統(tǒng)超聲波立體眼鏡顯示除了紅外立體眼鏡顯示中的設(shè)備外，眼鏡上還有頭部跟蹤的超聲接受器。超聲接受信號(hào)要經(jīng)過導(dǎo)線傳給頭部跟蹤系統(tǒng)，眼鏡在有線狀態(tài)下工作：超聲波立體眼鏡顯示系統(tǒng)洞穴式立體顯示系統(tǒng)（CAVE系統(tǒng)）使用投影系統(tǒng)，投射多個(gè)投影面，形成房間式的空間結(jié)構(gòu)，使得圍繞觀察者具有多個(gè)圖像畫面顯示的虛擬現(xiàn)實(shí)系統(tǒng)，增強(qiáng)了沉浸感。CAVE空間結(jié)構(gòu)示意圖CAVE系統(tǒng)是一種基于多通道視景同步技術(shù)和立體顯示技術(shù)的房間式投影可視協(xié)同環(huán)境，該系統(tǒng)可提供一個(gè)房間大小的4面、5面或者6面的立方體投影顯示空間，供多人參與:所有參與者均完全沉浸在一個(gè)被立體投影畫面包圍的高級(jí)虛擬仿真環(huán)境中，借助音響技術(shù)和相應(yīng)虛擬現(xiàn)實(shí)交互設(shè)備獲得一種身臨其境約高分辨率三維立體視聽影像和6自由度交互感受。CAVE系統(tǒng)的優(yōu)點(diǎn)：提供高質(zhì)量的立體顯示圖像，即色彩豐富、無閃爍、大屏幕立體顯示、多人參與和協(xié)同工作。

CAVE系統(tǒng)的缺點(diǎn)：價(jià)格昂貴，體積大，并且參與的人數(shù)有限，如果人數(shù)達(dá)到12人，CAVE的顯示設(shè)備就顯得太小了。目前CAVE系統(tǒng)并沒有標(biāo)準(zhǔn)化，兼容性較差，因而限制了其普及。響應(yīng)工作臺(tái)立體顯示系統(tǒng)計(jì)算機(jī)通過多傳感器交互通道向用戶提供視覺、聽覺、觸覺等多模態(tài)信息，具有非沉浸式、支持多用戶協(xié)同工作佩戴立體眼鏡，坐在顯示器周圍的多個(gè)用戶可以同時(shí)在立體顯示屏中看到三維對(duì)象浮在工作臺(tái)上面，虛擬景象具有較強(qiáng)立體感，較適合輔助教學(xué)、產(chǎn)品演示。V-Desk6工作示意圖裸眼立體顯示系統(tǒng)顯示技術(shù)結(jié)合雙眼的視覺差和圖片三維的原理，自動(dòng)生成兩幅圖片，一幅給左眼看，另一幅給右眼看，使人的雙眼產(chǎn)生視覺差異。雙眼觀看液晶的角度不同，不用戴上立體眼鏡就可以看到立體的圖像。立體液晶顯示器墻式立體顯示系統(tǒng)類似于放映電影形式的背投式顯示設(shè)備，屏幕大，容納的人數(shù)多，分為單通道立體投影系統(tǒng)和多通道立體投影系統(tǒng)。適用于教學(xué)和成果演示。單通道立體投影系統(tǒng)：以一臺(tái)圖形工作站為實(shí)時(shí)驅(qū)動(dòng)平臺(tái)，兩臺(tái)疊加的立體專業(yè)LCD投影儀作為投影主體。在顯示屏上顯示一幅高分辨率的立體投影影像。優(yōu)點(diǎn)：是一種低成本、操作簡便、占用空間較小、具有極好性能價(jià)格比的小型虛擬三維投影顯示系統(tǒng)，其集成的顯示系統(tǒng)使安裝、操作使用更加容易和方便，被廣泛應(yīng)用于高等院校和科研院所的虛擬現(xiàn)實(shí)實(shí)驗(yàn)室中。多通道立體投影系統(tǒng)：用巨幅平面投影結(jié)構(gòu)來增強(qiáng)沉浸感，配備了完善的多通道聲響及多維感知性交互系統(tǒng)，充分滿足虛擬顯示技術(shù)的視、聽、觸等多感知應(yīng)用需求，是理想的設(shè)計(jì)、協(xié)同和展示平臺(tái)。它可根據(jù)場地定空間的大小靈活地配置兩個(gè)、三個(gè)甚至是若千個(gè)投影通道，無縫地拼接成一幅巨大的投影幅面、極高分辨率的二維或三維立體圖像，形成一個(gè)更大的虛擬現(xiàn)實(shí)仿真系統(tǒng)環(huán)境。如環(huán)幕投影系統(tǒng)：三通道環(huán)幕投影示例多通道折幕示例折幕也是被業(yè)界公認(rèn)的體驗(yàn)式環(huán)境，根據(jù)環(huán)境及實(shí)際需求，可考慮不同類型的折幕方式，以產(chǎn)生不同的沉浸感。適合小型會(huì)議室和臨時(shí)展覽五折幕220度，10-30人360度環(huán)幕投影顯示：由數(shù)字內(nèi)容、硬件（投影系統(tǒng)、播放系統(tǒng)）和系統(tǒng)集成（多組投影同步控制系統(tǒng)、無縫拼接系統(tǒng)和曲面處理系統(tǒng)）組成。具有極強(qiáng)的沉浸感。360度環(huán)幕投影顯示球幕無縫拼接系統(tǒng)半球，15-20人完全用商用投影機(jī)和普通計(jì)算機(jī)搭建的投影環(huán)境，沒有接縫，形成整體效果。球幕無縫拼接顯示全息投影顯示也稱虛擬成像技術(shù)，無需配戴眼鏡，利用干涉和衍射原理記錄并再現(xiàn)物體真實(shí)的三維圖像的記錄和再現(xiàn)的技術(shù)。在美國麻省一位叫ChadDyne的29歲理工研究生發(fā)明了一種空氣投影和交互技術(shù)，它可以在氣流形成的墻上投影出具有交互功能的圖像。此技術(shù)來源海市蜃樓的原理，將圖像投射在水蒸氣上，由于分子震動(dòng)不均衡，可以形成層次和立體感很強(qiáng)的圖像。南加利福尼亞大學(xué)創(chuàng)新科技研究院的研究人員目前宣布他們成功研制一種360度全息顯示屏，這種技術(shù)是將圖像投影在一種高速旋轉(zhuǎn)的鏡子上從而實(shí)現(xiàn)三維圖像。臺(tái)灣利用湖面水幕展現(xiàn)3D姓名360度全息顯示第六屆中國—東盟博覽會(huì)在南寧國際會(huì)展中心圓滿落幕。TimeLink的360度全息影像技術(shù)成為東盟博覽會(huì)的一大亮點(diǎn)。2010年3月9號(hào)晚間世嘉公司舉辦了一場名為“初音未來日的感謝祭”“初音之日”的初音未來所謂的全息投影演唱會(huì)。投影機(jī)直接背投在全息投影膜，是全息，但不是最理想化的全息投影。此外，網(wǎng)上也盛傳著各種類似的3D全息作品。國際會(huì)展全息展示3D魔獸全息顯示目錄catalogue#1全息投影#2幻影成像#4高清投影膜#3互動(dòng)投影1、全息投影通過3D全息影像技術(shù)，在舞臺(tái)上展現(xiàn)花果山多彩壯觀的奇景，有“美猴王”的招牌動(dòng)作大耍金箍棒，更有高科技的3D全新影像技術(shù)重磅加身，使得“美猴王”現(xiàn)場騰云駕霧，而花果山、天宮等壯麗美景也得以再現(xiàn)舞臺(tái)，畫面震撼。@2016年遼寧春晚六小齡童3D美猴王

1、全息投影2015年春晚李宇春演唱《蜀繡》2014年公告牌音樂獎(jiǎng)的頒獎(jiǎng)儀式，就曾用這種技術(shù)“復(fù)活”了過世的天王邁克爾·杰克遜2010年初音未來演唱會(huì)（日本）1、全息投影（Front-projectedholographicdisplay）全息投影技術(shù)，也稱虛擬成像技術(shù)。是利用光的干涉和衍射原理記錄并再現(xiàn)物體真實(shí)三維圖像的技術(shù)。全息投影技術(shù)不僅可以產(chǎn)生立體的空中幻像，還可以使幻像與表演者產(chǎn)生互動(dòng)，一起完成表演，產(chǎn)生令人震撼的演出效果。主要適用于產(chǎn)品展覽、汽車服裝發(fā)布會(huì)、舞臺(tái)節(jié)目、互動(dòng)演出、酒吧娛樂等。1、全息投影真正的全息投影技術(shù)嚴(yán)格意義上來講，3D的美猴王確實(shí)驚艷四座，但這不是真正的全息投影技術(shù)！立體動(dòng)態(tài)全息還停留在實(shí)驗(yàn)室初級(jí)階段，主要通過空間光調(diào)制器實(shí)現(xiàn)。一塊相位型SLM售價(jià)十萬人民幣以上，要搭建一個(gè)稍微能看得過去的系統(tǒng)，沒有百萬美元是做不到的。@光調(diào)制器目錄catalogue#1全息投影#4高清投影膜#3全息展柜#2幻影成像2、幻影成像幻影成像幻影舞臺(tái)全息影柜將幻影成像系統(tǒng)配合專業(yè)的燈光設(shè)計(jì)，把播放的視訊呈現(xiàn)于立體空間之中，而配合音響系統(tǒng)及控制系統(tǒng)，即可以實(shí)現(xiàn)大型的夢(mèng)幻演出，繪聲繪色，虛幻莫測，非常直觀的給人留下深深地印象。2.1幻影舞臺(tái)幻影舞臺(tái)原理示意圖舞臺(tái)幻影成像技術(shù)以寬銀幕的環(huán)境、場景模型和燈光的變換為背景，使用投影機(jī)播放特殊的3D全息視頻，經(jīng)由透明全息半透膜的光學(xué)反射，將活動(dòng)人像疊加進(jìn)場景之中，構(gòu)成了動(dòng)靜結(jié)合的影視畫面。再加以聲光電控制系統(tǒng)的渲染，構(gòu)成氣勢(shì)磅礴的全息幻影舞臺(tái)。2.1幻影舞臺(tái)舞臺(tái)在布置反射膜時(shí)候的施工圖舞臺(tái)幻影成像所使用的反射膜是特殊的專用膜，在膜的表面通過真空磁控濺射鍍膜工藝鍍制納米級(jí)的感光涂層，使膜在保持較高的透過率95%以上的同時(shí)也具有高的反射率（鏡面外觀）。膜層主要成分是SOB感光材料，具有成像細(xì)膩，高清晰度成像功能，能使影像產(chǎn)生極大立體縱深感。智慧交互平臺(tái)系統(tǒng)2.2全息影柜全息影柜原理示意圖全息影柜是能夠把影像懸浮于空中的立體成像技術(shù)，是由全息材料制成的反射面，將虛擬影像做成懸浮于空中，360度均能觀看。根據(jù)功能需要，可做成180度、270度和360度的全息影柜，最大的可做成3m多寬。五大亮點(diǎn)四大優(yōu)勢(shì)將展示的產(chǎn)品配合成像逼真的立體特效重疊于一個(gè)空間中呈現(xiàn)，做成以假亂真的效果，帶給人們視覺上強(qiáng)烈的沖擊。主要應(yīng)用于購物中心的高端精致商店展示、或者作為裝潢設(shè)計(jì)風(fēng)格的體現(xiàn)、房地產(chǎn)行業(yè)應(yīng)用展示、甚至發(fā)布會(huì)中作為布置的亮點(diǎn)運(yùn)用。@目錄catalogue#1全息投影#4高清投影膜#3互動(dòng)投影#2幻影成像3、互動(dòng)投影互動(dòng)投影采取動(dòng)作捕捉的技術(shù)，適合各種設(shè)備，例如LED大屏幕，等離子、數(shù)字視頻墻等，將參與者的動(dòng)作轉(zhuǎn)換成數(shù)據(jù)與虛擬影像互動(dòng)?；?dòng)投影應(yīng)用領(lǐng)域；商城、專賣店、大賣場等消費(fèi)場所；酒吧、迪廳、KTV等娛樂場所；展覽會(huì)、展品推介會(huì)、大型慶典等活動(dòng)現(xiàn)場；博物館、科技館、圖書館等展館。交互傳感吸引人流：新奇的互動(dòng)效果必然會(huì)吸引和引導(dǎo)人流的參觀，同時(shí)好的設(shè)計(jì)和藝術(shù)效果為博物館增加互動(dòng)氣氛。導(dǎo)引方向：可以用作功能式，比如智能的博物館指引、查詢，比起以往傳統(tǒng)的指示牌查詢屏得更加人性化?；?dòng)投影優(yōu)點(diǎn)：非接觸式的交流：更加人性化，同時(shí)減少了因人流接觸而產(chǎn)生細(xì)菌傳染。經(jīng)濟(jì)效益：新媒體藝術(shù)可以做成實(shí)時(shí)互動(dòng)廣告的形式，讓游客與宣傳內(nèi)容互動(dòng)，增加了博物館的知名度，加深了游客對(duì)博物館的印象，博物館得到宣傳的同時(shí)