VR系統(tǒng)的組成與交互技術(shù)匯總

1、VR系統(tǒng)的組成與交互技術(shù)匯總今天給大家介紹一下VR系統(tǒng)的組成與當(dāng)前一些VR交互技術(shù)，希望大家對(duì)VR有更深的理解。一個(gè)典型的虛擬現(xiàn)實(shí)系統(tǒng)主要由計(jì)算機(jī)、輸入輸出設(shè)備、虛擬現(xiàn)實(shí)設(shè)計(jì)/劉覽軟件等組成。用戶以計(jì)算機(jī)為核心，通過輸入輸出設(shè)備與應(yīng)用軟件的虛擬世界進(jìn)行交互。計(jì)算機(jī)在虛擬現(xiàn)實(shí)系統(tǒng)中，計(jì)算機(jī)是系統(tǒng)的心臟，主要用于接收、處理、控制顯示各種信息及相互間的作用和狀態(tài)，負(fù)責(zé)虛擬世界的生成、人與虛擬世界的自然交互等功能的實(shí)現(xiàn)。輸入輸出設(shè)備在虛擬現(xiàn)實(shí)系統(tǒng)中，用戶與虛擬世界之間要實(shí)現(xiàn)自然的交互，必須采用特殊的輸入輸出設(shè)備，用以識(shí)別用戶的各種信息輸入，并實(shí)時(shí)生成逼真的反饋信息。VR輸入設(shè)備如動(dòng)作捕捉、手勢(shì)識(shí)別、聲

2、音感知等體感類設(shè)備，通過感知用戶輸入信息，與虛擬世界進(jìn)行交互，輸入設(shè)備是實(shí)現(xiàn)消費(fèi)者交互、沉浸感的重要技術(shù)。下面是一些在VR虛擬現(xiàn)實(shí)場景中運(yùn)用到的交互技術(shù)：動(dòng)作捕捉用戶想要獲得完全的沉浸感，真正“進(jìn)入”虛擬世界，動(dòng)作捕捉系統(tǒng)是必須的。目前專門針對(duì)VR的動(dòng)捕系統(tǒng)，目前市面上可參考的有PerceptionNeuron。但是這樣的動(dòng)作捕捉設(shè)備只會(huì)在特定的超重度的場景中使用，因?yàn)槠溆泄逃械囊子眯蚤T檻，需要用戶花費(fèi)比較長的時(shí)間穿戴和校準(zhǔn)才能夠使用。相比之下，Kinect這樣的光學(xué)設(shè)備在某些對(duì)于精度要求不高的場景可能也會(huì)被應(yīng)用。全身動(dòng)捕在很多場合并不是必須的，它的另一個(gè)問題，在于沒有反饋，用戶很難感覺到自己

3、的操作是有效的，這也是交互設(shè)計(jì)的一大痛點(diǎn)。觸覺反饋這里主要是按鈕和震動(dòng)反饋，這就是下面要提到的一大類，虛擬現(xiàn)實(shí)手柄。目前三大VR頭顯廠商Oculus、索尼、HTCVive都不約而同的采用了虛擬現(xiàn)實(shí)手柄作為標(biāo)準(zhǔn)的交互模式：兩手分立的、6個(gè)自由度空間跟蹤的（3個(gè)轉(zhuǎn)動(dòng)自由度3個(gè)平移自由度），帶按鈕和震動(dòng)反饋的手柄。這樣的設(shè)備顯然是用來進(jìn)行一些高度特化的游戲類應(yīng)用的（以及輕度的消費(fèi)應(yīng)用），這也可以視作一種商業(yè)策略，因?yàn)閂R頭顯的早期消費(fèi)者應(yīng)該基本是游戲玩家。但是，這樣高度特化/簡化的交互設(shè)備的優(yōu)勢(shì)顯然是能夠非常自如地在諸如游戲等應(yīng)用中使用，但是它無法適應(yīng)更加廣泛的應(yīng)用場景。眼球追蹤提起VR領(lǐng)域最重要的

4、技術(shù)，眼球追蹤技術(shù)絕對(duì)值得被從業(yè)者們密切關(guān)注。Oculus創(chuàng)始人帕爾默拉奇就曾稱其為“VR的心臟”，因?yàn)樗鼘?duì)于人眼位置的檢測(cè)，能夠?yàn)楫?dāng)前所處視角提供最佳的3D效果，使VR頭顯呈現(xiàn)出的圖像更自然,延遲更小，這都能大大增加可玩性。同時(shí)，由于眼球追蹤技術(shù)可以獲知人眼的真實(shí)注視點(diǎn)，從而得到虛擬物體上視點(diǎn)位置的景深。所以，眼球追蹤技術(shù)被大部分VR從業(yè)者認(rèn)為將成為解決虛擬現(xiàn)實(shí)頭盔眩暈病問題的一個(gè)重要技術(shù)突破。事實(shí)上，在業(yè)內(nèi)人看來，從眼球追蹤技術(shù)本身來說，雖然在VR上有一些限制，但可行性還是比較高的，比如外接電源、將VR的結(jié)構(gòu)設(shè)計(jì)做的更大等。但更大的挑戰(zhàn)在與通過調(diào)整圖像來適應(yīng)眼球的移動(dòng)，這些圖像調(diào)整的算法目

5、前來說都是空白的。有兩個(gè)指標(biāo)，一是圖像自然真實(shí)，二是快速延遲小。這對(duì)VR+眼球追蹤提出了更高的要求，如果達(dá)到這兩點(diǎn)，VR的可玩性會(huì)再提高一個(gè)檔次。肌電模擬關(guān)于這個(gè)我們通過一個(gè)VR拳擊設(shè)備Impacto來說明，Impacto結(jié)合了觸覺反饋和肌肉電刺激精確模擬實(shí)際感覺。具體來說，Impacto設(shè)備分為兩部分。一部分是震動(dòng)馬達(dá)，能產(chǎn)生震動(dòng)感，這個(gè)在一般的游戲手柄中可以體驗(yàn)到；另外一部分,也是最有意義的部分，是肌肉電刺激系統(tǒng)，通過電流刺激肌肉收縮運(yùn)動(dòng)。兩者的結(jié)合能夠給人們帶來一種錯(cuò)覺，誤以為自己擊中了游戲中的對(duì)手，因?yàn)檫@個(gè)設(shè)備會(huì)在恰當(dāng)?shù)臅r(shí)候產(chǎn)生類似真正拳擊的“沖擊感”。然而，業(yè)內(nèi)人士對(duì)于這個(gè)項(xiàng)目有些爭

6、議，目前的生物技術(shù)水平無法利用肌肉電刺激來高度模擬實(shí)際感覺。即使采用這種方式，以目前的技術(shù)能實(shí)現(xiàn)的也是比較粗糙的感覺，這種感覺對(duì)于追求沉浸感的VR也沒有太多用處，“還不如震動(dòng)馬達(dá)”。還有一位從事疼痛緩解理療儀的朋友表示，利用肌肉電刺激來模擬真實(shí)感覺需要克服的問題有很多，因?yàn)樯窠?jīng)通道是一個(gè)精巧而復(fù)雜的結(jié)構(gòu)，從外部皮膚刺激是不太可能的，但是“隨便”電刺激一下讓肌肉運(yùn)動(dòng)以當(dāng)做反饋是可以的。手勢(shì)跟蹤使用手勢(shì)跟蹤作為交互可以分為兩種方式：第一種是使用光學(xué)跟蹤，比如LeapMotion這樣的深度傳感器，第二種是將傳感器戴在手上的數(shù)據(jù)手套。光學(xué)跟蹤的優(yōu)勢(shì)在于使用門檻低，場景靈活，用戶不需要在手上穿脫設(shè)備，未

7、來在一體化移動(dòng)VR頭顯上直接集成光學(xué)手部跟蹤用作移動(dòng)場景的交互方式是一件很可行的事情。但是其缺點(diǎn)在于視場受局限，以及我們之前所提到的兩個(gè)基本問題：需要用戶付出腦力和體力才能實(shí)現(xiàn)的交互是不會(huì)成功的，使用手勢(shì)跟蹤會(huì)比較累而且不直觀，沒有反饋。這需要良好的交互設(shè)計(jì)才能彌補(bǔ)。數(shù)據(jù)手套，一般在手套上集成了慣性傳感器來跟蹤用戶的手指乃至整個(gè)手臂的運(yùn)動(dòng)。它的優(yōu)勢(shì)在于沒有視場限制，而且完全可以在設(shè)備上集成反饋機(jī)制（比如震動(dòng)，按鈕和觸摸）。它的缺陷在于使用門檻較高：用戶需要穿脫設(shè)備，而且作為一個(gè)外設(shè)其使用場景還是受局限：就好比說在很多移動(dòng)場景中不太可能使用鼠標(biāo)。不過這些問題都沒有技術(shù)上的絕對(duì)門檻，完全可以想象類

8、似于指環(huán)這樣的高度集成和簡化的數(shù)據(jù)手套在未來的VR產(chǎn)業(yè)中出現(xiàn)，用戶可以隨身攜帶隨時(shí)使用。這兩種方式各有優(yōu)劣，可以想見在未來這兩種手勢(shì)跟蹤在很長一段時(shí)間會(huì)并存,用戶在不同的場景（以及不同的偏好）使用不同的跟蹤方式。方向追蹤方向追蹤除了可以用來瞄點(diǎn)，還可以用來控制用戶在VR中的前進(jìn)方向。不過，如果用方向追蹤調(diào)整方向的話很可能會(huì)有轉(zhuǎn)不過去的情況，因?yàn)橛脩舨豢偸亲谀軌?60度旋轉(zhuǎn)的轉(zhuǎn)椅上的，可能很多情況下都會(huì)空間受限。比如頭轉(zhuǎn)了90度接著再轉(zhuǎn)身體，加起來也很難轉(zhuǎn)過180度所以，這里“空間受限無法轉(zhuǎn)身是一個(gè)需求”，于是交互設(shè)計(jì)師給出了解決方案按下鼠標(biāo)右鍵則可以讓方向回到原始的正視方向或者叫做重置當(dāng)前凝

9、視的方向（就是你最初始時(shí)候面向的那個(gè)方向），或者可以通過搖桿調(diào)整方向，或按下按鈕回到初始位置。但問題還是存在的，以用戶面朝的方向作為行走方向比起鍵鼠和gamepad，轉(zhuǎn)向和視覺相匹配極大地增強(qiáng)了沉浸感，但是卻有可能玩得很累，削弱了舒適性。語音交互在VR中海量的信息淹沒了用戶，他不會(huì)理會(huì)視覺中心的指示文字，而是環(huán)顧四周不斷發(fā)現(xiàn)和探索。如果這時(shí)給出一些圖形上的指示還會(huì)干擾到他們?cè)赩R中的沉浸式體驗(yàn)，所以最好的方法就是使用語音，和他們正在觀察的周遭世界互不干擾。這時(shí)如果用戶和VR世界進(jìn)行語音交互，會(huì)更加自然，而且它是無處不在無時(shí)不有的，用戶不需要移動(dòng)頭部和尋找它們，在任何方位任何角落都能和他們交流。

10、傳感器傳感器能夠幫助人們與多維的VR信息環(huán)境進(jìn)行自然地交互。比如，人們進(jìn)入虛擬世界不僅僅是想坐在那里，他們也希望能夠在虛擬世界中到處走走看看，比如萬向跑步機(jī)。然而體驗(yàn)過的人都反應(yīng)過，這樣的跑步機(jī)實(shí)際上并不能夠提供接近于真實(shí)移動(dòng)的感覺，目前體驗(yàn)并不好。還有的想法是使用腳上的慣性傳感器使用原地走代替前進(jìn)，比如StompzVR。還比如全身VR套裝Teslasuit戴上這套裝備，可以切身感覺到虛擬現(xiàn)實(shí)環(huán)境的變化，比如可感受到微風(fēng)的吹佛，甚至是射擊游戲中還能感受到中彈的感覺。這些都是由設(shè)備上的各種傳感器產(chǎn)生的，比如智能感應(yīng)環(huán)、溫度傳感器、光敏傳感器、壓力傳感器、視覺傳感器等，能夠通過脈沖電流讓皮膚產(chǎn)生相應(yīng)的感覺，或是把游戲中觸覺、嗅覺等各種感知傳送到大腦。但是，目前已有的應(yīng)用傳感器的設(shè)備體驗(yàn)度都不高，在技術(shù)上還需要做出很多突破。真實(shí)場景設(shè)計(jì)就是造出一個(gè)與虛擬世界的墻壁、阻擋和邊界等完全一致的可自由移動(dòng)的真實(shí)場地，它是一個(gè)混合現(xiàn)實(shí)型的體驗(yàn)，把虛擬世界構(gòu)建在物理世界之上，讓使用者能夠感覺到周圍的物體并使用真實(shí)的道具，比如手提燈、劍、槍等。這種真實(shí)場地通過仔細(xì)的規(guī)劃關(guān)卡和場景設(shè)計(jì)就能夠給用