基于邊緣計(jì)算的沉浸式VR

基于邊緣計(jì)算的沉浸式VR崔勇清華大學(xué)

計(jì)算機(jī)系cuiyong@1VR/AR應(yīng)用精靈寶可夢(mèng)Go任天堂和谷歌通過智能手機(jī)在現(xiàn)實(shí)世界里發(fā)現(xiàn)精靈，進(jìn)行抓捕和戰(zhàn)斗房屋裝修HouseVR想看看將來(lái)裝修好的房子？想和設(shè)計(jì)師一起所見即所得？HouseVR發(fā)展難點(diǎn)室內(nèi)模型構(gòu)造麻煩，設(shè)計(jì)師？–家具模型更不易，家具城？“+互聯(lián)網(wǎng)”Wednesday,

April

28,

2021考慮到Mobile

VR在短期內(nèi)更具前景…網(wǎng)絡(luò)延遲無(wú)法規(guī)避○響應(yīng)延遲難以保證復(fù)雜的場(chǎng)景和高質(zhì)量的畫面○消耗大量帶寬資源網(wǎng)絡(luò)連接&高刷新率○手機(jī)能耗增大社交VRFacebook

Social

VR

Avatar實(shí)現(xiàn)Face-to-Face社交連線型頭戴式VRVR的性能需求極低響應(yīng)延遲：小于25ms較高刷新率(FPS)：大于60Hz復(fù)雜的場(chǎng)景：真實(shí)環(huán)境、全景視角…社交VR給移動(dòng)終端和網(wǎng)絡(luò)傳輸架構(gòu)帶來(lái)了巨大挑戰(zhàn)Wednesday,

April

28,

2021考慮到Mobile

VR在短期內(nèi)更具前景…網(wǎng)絡(luò)延遲無(wú)法規(guī)避○響應(yīng)延遲難以保證復(fù)雜的場(chǎng)景和高質(zhì)量的畫面○消耗大量帶寬資源網(wǎng)絡(luò)連接&高刷新率○手機(jī)能耗增大VR市場(chǎng)問題VR市場(chǎng)現(xiàn)狀2016

VR元年2017寒冬將至？

VR市場(chǎng)現(xiàn)狀用戶持續(xù)增加商家生產(chǎn)VR設(shè)備數(shù)持續(xù)增多大品牌居多Google、HTC寒冬？Wednesday,

April

28,

2021考慮到Mobile

VR在短期內(nèi)更具前景…網(wǎng)絡(luò)延遲無(wú)法規(guī)避○響應(yīng)延遲難以保證復(fù)雜的場(chǎng)景和高質(zhì)量的畫面○消耗大量帶寬資源網(wǎng)絡(luò)連接&高刷新率○手機(jī)能耗增大臺(tái)式VR

vs手機(jī)VR臺(tái)式機(jī)VR畫質(zhì)體驗(yàn)好但價(jià)格高移動(dòng)受到限制手機(jī)VR畫質(zhì)體驗(yàn)待優(yōu)化但價(jià)格低用戶可自由移動(dòng)市場(chǎng)對(duì)比手機(jī)VR將成主流？數(shù)據(jù)線限制Wednesday,

April

28,

2021傳感器采集運(yùn)動(dòng)輸入數(shù)據(jù)采集到的數(shù)據(jù)進(jìn)行過濾并通過線纜傳輸?shù)街鳈C(jī)游戲引擎根據(jù)獲取的輸入數(shù)據(jù)更新邏輯和渲染視口提交到驅(qū)動(dòng)并由驅(qū)動(dòng)發(fā)送到顯卡進(jìn)行渲染把渲染的結(jié)果提交到屏幕,像素進(jìn)行顏色的切換用戶在屏幕上看到相應(yīng)的畫面VR延時(shí)需求手機(jī)VR顯示過程流程復(fù)雜導(dǎo)致延遲延時(shí)需求高延時(shí)導(dǎo)致用戶暈眩用戶視覺反饋受限如何克服延時(shí)？Wednesday,

April

28,

2021考慮到Mobile

VR在短期內(nèi)更具前景…網(wǎng)絡(luò)延遲無(wú)法規(guī)避○響應(yīng)延遲難以保證復(fù)雜的場(chǎng)景和高質(zhì)量的畫面○消耗大量帶寬資源網(wǎng)絡(luò)連接&高刷新率○手機(jī)能耗增大手機(jī)VR相關(guān)試驗(yàn)方法1：云端渲染高質(zhì)量VR畫面發(fā)至手機(jī)幀率受帶寬波動(dòng)影響帶寬不足方法2：手機(jī)本地渲染高質(zhì)量VR應(yīng)用手機(jī)溫度過高用戶體驗(yàn)畫面卡頓如何結(jié)合兩者優(yōu)勢(shì)？Wednesday,

April

28,

2021考慮到Mobile

VR在短期內(nèi)更具前景…網(wǎng)絡(luò)延遲無(wú)法規(guī)避○響應(yīng)延遲難以保證復(fù)雜的場(chǎng)景和高質(zhì)量的畫面○消耗大量帶寬資源網(wǎng)絡(luò)連接&高刷新率○手機(jī)能耗增大未來(lái)的手機(jī)VR將來(lái)無(wú)線網(wǎng)能帶來(lái)幫助?將來(lái)硬件能帶來(lái)幫助?400Mbps

TCP吞吐量已經(jīng)包含27%CPU（在谷歌Pixel手機(jī)中）高質(zhì)量VR幀流的傳輸需要大約6

Gbps的吞吐量

[MoVR,NSDI’2017]CPU/GPU在高端手機(jī)中Wednesday,

April

28,

2021發(fā)展的非常緩慢的進(jìn)展:由于電源的約束，GPU

Frequency(MHz)Nexus

4(2012)Nexus

5(2013)Nexus6(2014)Nexus6P(2015)PixelXL(2016)Note8(201

CPU

Frequency7)

(GHz)Blockage產(chǎn)生的主要原因是用戶變化的動(dòng)作（如圖所示的抬手）會(huì)阻擋mmWave信號(hào)-解決方案是架設(shè)可編程的mmWave反射鏡Mobility的問題在于mmWave的波長(zhǎng)非常小，頭盔的移動(dòng)（用戶移動(dòng)）會(huì)導(dǎo)致天線需要重新校準(zhǔn)（確保天線發(fā)射的方向能到達(dá)頭盔），校準(zhǔn)的時(shí)間會(huì)影響到VR的響應(yīng)性-解決方案是利用VR系統(tǒng)本身的定位傳感器等功能，快速、實(shí)時(shí)確定頭盔的位置，并以此計(jì)算、調(diào)整天線邊緣計(jì)算＋手機(jī)VR傳統(tǒng)做法–服務(wù)器放在云端延時(shí)高創(chuàng)新思路：邊緣計(jì)算手機(jī)VR放云端延時(shí)高！Wednesday,

April

28,

2021引入邊緣計(jì)算(VR服務(wù)器)Blockage產(chǎn)生的主要原因是用戶變化的動(dòng)作（如圖所示的抬手）會(huì)阻擋mmWave信號(hào)-解決方案是架設(shè)可編程的mmWave反射鏡Mobility的問題在于mmWave的波長(zhǎng)非常小，頭盔的移動(dòng)（用戶移動(dòng)）會(huì)導(dǎo)致天線需要重新校準(zhǔn)（確保天線發(fā)射的方向能到達(dá)頭盔），校準(zhǔn)的時(shí)間會(huì)影響到VR的響應(yīng)性-解決方案是利用VR系統(tǒng)本身的定位傳感器等功能，快速、實(shí)時(shí)確定頭盔的位置，并以此計(jì)算、調(diào)整天線“剪掉繩子”的高質(zhì)量VR邊緣計(jì)算＋手機(jī)VRMIT的Dina嘗試采用新型高速無(wú)線傳輸–

Enabling

High-Quality

Untethered

VR

[NSDI17]手機(jī)VR設(shè)備無(wú)法提供好的用戶體驗(yàn)？核心思想：60GHz＋本地緩存響應(yīng)性處理產(chǎn)生時(shí)延設(shè)備精確性被波長(zhǎng)影響移動(dòng)中及時(shí)加載預(yù)測(cè)點(diǎn)60GHz

AP微波反射器Wednesday,

April

28,

2021考慮到Mobile

VR在短期內(nèi)更具前景…網(wǎng)絡(luò)延遲無(wú)法規(guī)避○響應(yīng)延遲難以保證復(fù)雜的場(chǎng)景和高質(zhì)量的畫面○消耗大量帶寬資源網(wǎng)絡(luò)連接&高刷新率○手機(jī)能耗增大發(fā)現(xiàn)手機(jī)VR改進(jìn)點(diǎn)改進(jìn)點(diǎn)1:內(nèi)容可分為前景交互和背景環(huán)境改進(jìn)點(diǎn)2：前景交互和背景環(huán)境有可預(yù)測(cè)性的渲染工作云朵和山脈

(背景環(huán)境)Wednesday,

April

28,

2021賽車手Daydream

VR應(yīng)用故障率渲染工作量Karts游戲,相對(duì)低(前景交互)前景交互背景環(huán)境可預(yù)測(cè)性

隨機(jī),不可預(yù)測(cè)連續(xù),

可

測(cè)的高考慮到Mobile

VR在短期內(nèi)更具前景…網(wǎng)絡(luò)延遲無(wú)法規(guī)避○響應(yīng)延遲難以保證復(fù)雜的場(chǎng)景和高質(zhì)量的畫面○消耗大量帶寬資源網(wǎng)絡(luò)連接&高刷新率○手機(jī)能耗增大“本地手機(jī)”的高質(zhì)量VR微軟提出FlashBackImmersive

Virtual

Reality..[MobiSys16]手機(jī)VR設(shè)備無(wú)法提供好的用戶體驗(yàn)？核心思想：預(yù)渲染＋緩存預(yù)測(cè)用戶三維空間->離散點(diǎn)每一個(gè)點(diǎn)->預(yù)測(cè)緩存移動(dòng)中及時(shí)加載預(yù)測(cè)點(diǎn)Wednesday,

April

28,

2021考慮到Mobile

VR在短期內(nèi)更具前景…網(wǎng)絡(luò)延遲無(wú)法規(guī)避○響應(yīng)延遲難以保證復(fù)雜的場(chǎng)景和高質(zhì)量的畫面○消耗大量帶寬資源網(wǎng)絡(luò)連接&高刷新率○手機(jī)能耗增大Furion設(shè)計(jì)第一步協(xié)同渲染手機(jī)GPU→前景交互遠(yuǎn)端GPU→背景環(huán)境結(jié)合它們到手機(jī)關(guān)鍵優(yōu)勢(shì)互作用耗時(shí)顯著降低解碼

(16ms)背景環(huán)境(≈48ms)請(qǐng)求

(3ms)渲染背景環(huán)境

(11ms)編碼

(10ms)傳輸

(8ms)每一幀合并(<1ms)渲染前景環(huán)境(12ms)前景交互

(≈12ms)樣例輸入瓶頸!Wednesday,

April

28,

2021考慮到Mobile

VR在短期內(nèi)更具前景…網(wǎng)絡(luò)延遲無(wú)法規(guī)避○響應(yīng)延遲難以保證復(fù)雜的場(chǎng)景和高質(zhì)量的畫面○消耗大量帶寬資源網(wǎng)絡(luò)連接&高刷新率○手機(jī)能耗增大Furion設(shè)計(jì)第二步離散化虛擬世界借移動(dòng)時(shí)延去預(yù)先取臨近的幀使用預(yù)先渲染和預(yù)先編碼的全景幀去批處理所有可能的方向預(yù)取臨近的全景照片

一般來(lái)說,運(yùn)動(dòng)延時(shí)≈20msWednesday,

April

28,

2021離散化的虛擬世界考慮到Mobile

VR在短期內(nèi)更具前景…網(wǎng)絡(luò)延遲無(wú)法規(guī)避○響應(yīng)延遲難以保證復(fù)雜的場(chǎng)景和高質(zhì)量的畫面○消耗大量帶寬資源網(wǎng)絡(luò)連接&高刷新率○手機(jī)能耗增大Furion設(shè)計(jì)第三步手機(jī)上解碼一個(gè)全景幀大約需要40ms的延時(shí)并行解碼互作用耗時(shí)顯著降低并行解碼多核解碼，解碼時(shí)間:≈13msWednesday,

April

28,

2021考慮到Mobile

VR在短期內(nèi)更具前景…網(wǎng)絡(luò)延遲無(wú)法規(guī)避○