Oculus Insight內(nèi)向外追蹤技術(shù)的起步、發(fā)展與未來

-6-OculusInsight內(nèi)向外追蹤技術(shù)的起步、發(fā)展與未來VR設(shè)備原本需要利用外部傳感器來追蹤所述的運動。用于實現(xiàn)追蹤的攝像頭接入PC,而盡管這是可行的方案,但降低了VR的便攜性和增加了設(shè)置簡單度。VR硬件原本需要通過數(shù)據(jù)線接入PC,直到Facebook工程團隊發(fā)覺了一種剪掉線纜的方法。

當安娜科茲明斯基(AnnaKozminski)于2022年作為軟件程序工程師加入Facebook的時候,她的任務非常簡潔:剪掉VR設(shè)備的線纜,這樣無論何時何地,任何人都能夠戴上頭顯并立刻沉醉在的虛擬現(xiàn)實世界中,無需外部追攝像頭來捕獲環(huán)境。

安娜指出:"我們盼望構(gòu)建一個允許你像真實世界那樣自然輕松地在VR世界中移動,并且能夠在里面進行自由探究的系統(tǒng)。'

對于安娜加入的團隊,其使命是為消費者VR設(shè)備開發(fā)首款功能完備的"內(nèi)向外'追蹤系統(tǒng)。這項技術(shù)將能夠追蹤用戶的完整運動范圍(亦即六自由度),同時可以精確地定位頭顯和兩個運動掌握器的位置。

VR設(shè)備原本需要利用外部傳感器來追蹤所述的運動。用于實現(xiàn)追蹤的攝像頭接入PC,而盡管這是可行的方案,但降低了VR的便攜性和增加了設(shè)置簡單度。

安娜表示:"借助頭顯的內(nèi)向外追蹤,步入VR就像戴上耳機聽音樂一樣簡潔。'

但團隊的使命遠非易事。他們必需將討論試驗室中最先進的計算機視覺技術(shù)帶到任何人都可以使用的消費設(shè)備。追蹤需要精確到低于1毫米,需要足以捕獲頭部的微妙傾斜或手部的短暫快速閃動。它必需足夠強大,可以滿意現(xiàn)實世界家庭中的幾乎全部條件。它同時必需足夠高效,而且可以依靠于電池來實現(xiàn)功能。

OculusQuest是第一款內(nèi)嵌全六自由度追蹤和雙掌握器追蹤的頭顯設(shè)備。

為了實現(xiàn)這一點,安娜及其團隊利用計算機視覺和自研算法來生成用戶周遭環(huán)境的實時3D映射,這樣頭顯就能夠計算你所在的位置并將其傳至虛擬現(xiàn)實世界。

Facebook將這個系統(tǒng)稱為OculusInsight。它使得全新的OculusQuest和RiftS頭顯成為可能。日前,這家公司撰文介紹了蘇黎世、門洛帕克和西雅圖工程師團隊是如何將這項技術(shù)變?yōu)楝F(xiàn)實的過程,下面是映維網(wǎng)的詳細整理:

OculusQuest頭顯中的攝像頭和追蹤傳感器

1.SLAM

OculusInsight內(nèi)向外追蹤的基礎(chǔ)是SLAM(即時定位與地圖構(gòu)建),它主要通過計算機視覺CV算法來融合來自多個傳感器的輸入數(shù)據(jù),從而在不斷更新的數(shù)字映射中確定對象的位置。SLAM早已用于機器人技術(shù)和智能手機中的AR相機效果,而Facebook也在2022年通過SantaCruzVR頭顯原型進行了演示。但OculusInsight需要前所未有的精度和效率,這意味著它需要適配最新的追蹤技術(shù)和計算機視覺。

"大多數(shù)技術(shù)都是從學術(shù)開頭,源于試驗室。'安娜如是說道。她加入Facebook蘇黎士的工程團隊不是偶然。實際上,這里的大多數(shù)成員都是來自于研發(fā)自動導航系統(tǒng)的ZurichEye項目(由著名學院蘇黎世聯(lián)邦理工學院和蘇黎世高校組織組織)。

為了構(gòu)建更先進的SLAM,工程團隊借鑒了Facebook多年來在人工智能方面的討論工程工作,構(gòu)建用于理解視頻中消失的對象和行為的系統(tǒng),并且開發(fā)了能夠支持移動設(shè)備的高效計算機視覺算法。

2.應用于前沿VR設(shè)備

奧斯卡林德(OskarLinde)是Facebook團隊中負責OculusInsight的首席機器感知架構(gòu)師,他在構(gòu)建超高效SLAM系統(tǒng)方面有著豐富的閱歷。林德是13thLab的聯(lián)合創(chuàng)始人,后者曾于2022年首次展現(xiàn)了用于消費者應用的視覺SLAM技術(shù)(用于AR手游)。Facebook于2022年收購了13thLab及其SLAM技術(shù),而林德順勢加入公司并負責開發(fā)VR頭顯的內(nèi)向外追蹤功能,同時組建了開頭專研OculusInsight的團隊。

2022年的OculusInsight團隊正在全心全意地投入到工作之中,但他們面臨著一個核心挑戰(zhàn):創(chuàng)建基于SLAM的精確和高效算法,并且足以支持OculusQuest等移動設(shè)備。林德的搭檔是工程經(jīng)理喬爾赫胥(JoelHesch),后者主要是討論將基于視覺、激光和慣性傳感器的SLAM技術(shù)用以以幫助機器人導航,并致力于移動AR和VR應用。來到Facebook的赫胥負責把OculusInsight整合至Quest和RiftS的團隊。

林德、赫胥、安娜,以及他們的團隊鑒了Facebook之前用于移動AR的SLAM工作,以及初代OculusRift系統(tǒng)中的追蹤技術(shù),但他們需要查找新的方法來調(diào)整設(shè)計它們,從而能夠支持VR頭顯實現(xiàn)內(nèi)向外追蹤。

在智能手機端,SLAM利用手機攝像頭創(chuàng)建"世界鎖定'的照片和視頻效果。但對于VR,這涉及多個攝像頭,額外的傳感器,以及需要在三維空間中追蹤的三個不同對象。

安娜解釋說:"我們一次性需要解決三個移動組件:頭顯,以及兩個額外的掌握器。我們每一次都需要獵取正確的姿勢。'

團隊同時遇到了其他挑戰(zhàn)。當你揮舞虛擬光劍或操縱虛擬飛船時,假如運動掌握器過于過近或遠離頭顯,頭顯攝像頭將難以清晰地感知掌握器的紅外LED。OculusInsight同時采納了其他傳感器,包括頭顯和掌握器內(nèi)嵌的慣性測量單元所供應的加速度和速率數(shù)據(jù)。系統(tǒng)必需實時地處理全部數(shù)據(jù),而對于Quest而言,這一切都需要由移動芯片集執(zhí)行。

3.毫米級追蹤精度

為了解決所述挑戰(zhàn),OculusInsight團隊有條不紊地改進系統(tǒng)。為了提高系統(tǒng)的追蹤精度和速度,他們構(gòu)建了全新的計算機視覺算法。他們同時在各種樣本環(huán)境中錄制了數(shù)千小時的視頻,然后用來訓練系統(tǒng)識別其環(huán)境中的特征。例如,通過定位和追蹤沙發(fā)的角落或桌子的邊緣,OculusInsight可以實時地對一個人在房間內(nèi)的準確位置進行三角測量(類似于人眼檢測對象的方式)。

團隊同時利用了特別精確的OptiTrack動捕陣列,一種用于好萊塢視覺特效制作的相同類型設(shè)備。通過對比OptiTrack和OculusInsight的測量數(shù)據(jù),工程人員能夠微調(diào)系統(tǒng)的計算機視覺算法,從而實現(xiàn)毫米以內(nèi)的追蹤精度。

4.大量測試

盡管討論試驗室的重點是實現(xiàn)精確?????、可測量、可重復的結(jié)果,但對于構(gòu)建能夠支持消費者日常用例的技術(shù)而言,團隊需要將重點轉(zhuǎn)移到感知指標。換句話說:VR用戶對給定體驗的實際感受是如何?

為了解決所謂的"Swimminess'(物理位置與運動和虛擬位置與運動不匹配時消失的失向感)和抖動(視覺頻閃和畫面拖尾)等感知偽影,工程團隊充分發(fā)揮了自己的想象力。

為了記錄運動并提升OculusInsight的追蹤性能,蘇黎世團隊的工程師大衛(wèi)沃格特(DavidVogt)正在設(shè)置OptiTrack動捕系統(tǒng)

蘇黎世團隊在多種環(huán)境和條件下利用OptiTrack動捕系統(tǒng)對OculusInsight進行了測試,而他們是將自己作為測試對象。

為了測試OculusInsight在現(xiàn)實世界中的性能,蘇黎世團隊的工程師利用了數(shù)以百計的真實世界房間。上圖是其中一個用于測試的房間。

5.超越VR,成為AR眼鏡的基礎(chǔ)

如今,OculusInsight將步入VR體驗變得前所未有的輕松。對于RiftS,你只需將頭顯接入PC,無需額外的傳感器。Quest則完全不需要計算機,可以開箱即用并支持房間規(guī)模體驗。但是,Facebook對將來的暢想遠遠超越了今