基于5G網(wǎng)絡(luò)的8KVR直播技術(shù)方案

1、技術(shù)創(chuàng)新，變革未來基于5G網(wǎng)絡(luò)的8K VR直播技術(shù)方案一個小故事愛奇藝AI虛擬主播 奈奈奇遇2S VR一體機愛奇藝l 企業(yè)理念：悅享品質(zhì)l 企業(yè)愿景：做一家以科技創(chuàng)新為驅(qū)動的偉大娛樂公司l 企業(yè)文化：集科技人才和創(chuàng)意人才的DNA為一體目錄5G視頻時代的思考與實踐VR設(shè)備觀影與傳統(tǒng)觀影方式的關(guān)系VR設(shè)備觀影的技術(shù)挑戰(zhàn)8K VR視頻直播解決方案5G技術(shù)有望在視頻領(lǐng)域最先發(fā)揮作用5G時代，視頻行業(yè)將面臨新的發(fā)展機遇移動流量已占互聯(lián)網(wǎng)流量63.5%,5G時代將達(dá)到80%移動視頻流量每年增長45%,到2023年占總體移動數(shù)據(jù)流量的73%相關(guān)預(yù)測，移動用戶月平均流量將從2019年的11.7GB增長到202

2、8 年的84.4GB，視頻將占到所有5G流量的80%后期發(fā)展隨著基站數(shù)量、下游應(yīng)用、終端數(shù)量增加，5G的廣連接特性會發(fā)揮更大價值， 如：工業(yè)互聯(lián)網(wǎng)應(yīng)用、智慧城市等2019年5G初期芯片、網(wǎng)絡(luò)、終端、應(yīng)用協(xié)同， 應(yīng)用發(fā)展相對落后視頻類應(yīng)用成熟度高，經(jīng)濟(jì)價值 大，依托5G提供超高清視頻傳輸通道，實現(xiàn)4K/8K/12K點播、直播，AR/VR/MR,互動視頻等多種商業(yè) 模式愛奇藝+5G5G技術(shù)融合視頻場景視頻品質(zhì)內(nèi)容創(chuàng)作等應(yīng)用，引爆新的屏幕 需求采編5G超高速上傳通道+邊緣網(wǎng)絡(luò)提供編解碼等計算能力，使內(nèi)容創(chuàng)作更加靈活高效點播5G超高帶寬與內(nèi)容下沉技術(shù)會使在線視頻品質(zhì)進(jìn)一步得 到提升：4K/8K/VRV

3、R/AR5G+MEC技術(shù)可以有效支撐8K-VR 、VR 直播AI智能生產(chǎn)、智能分發(fā)、智能播放、 智能交互、智能變現(xiàn)Live直播更高清晰、更多視角、更多互 動、更多想象5G時代愛奇藝的實踐愛奇藝與中國移動、 中國電信和中國聯(lián)通 三大運營商合作，探 索5G商用落地，建 立5G終端聯(lián)合研發(fā) 實驗室愛奇藝、中國聯(lián)通北 京公司聯(lián)合測試，通 過奇速播落地5G-CPE/WiFi場景，提供VR視頻的極致播 放體驗愛奇藝攜手中國移動， 以奇遇VR一體機為觀看終端，實現(xiàn)愛奇 藝世界大會5G 8K全景直播愛奇藝與華為公司合 作完成5G-MEC與視 頻CDN融合部署測試， 直播、VR等各類應(yīng)用端到端時延15ms 以內(nèi)

4、案例:愛奇藝世界大會8K全景直播端邊云是指，將傳統(tǒng)云計算、存儲的 功能下沉到邊進(jìn)行彈性部署，將端上 的一些計算功能上浮到邊，實現(xiàn)輕客 戶端。以此滿足超高清、多機位視頻上傳、 制作、剪輯、存儲、分發(fā)所需要的大帶寬、高計算、低時延需求。面向5G的端邊云技術(shù)架構(gòu)傳統(tǒng)信號回傳方式專線衛(wèi)星4G背包案例:愛奇藝世界大會8K全景直播VR視頻演示目錄5G視頻時代的思考與實踐VR設(shè)備觀影與傳統(tǒng)觀影方式的關(guān)系VR設(shè)備觀影的技術(shù)挑戰(zhàn)8K VR視頻直播解決方案VR設(shè)備觀影與傳統(tǒng)觀影方式的關(guān)系VR設(shè)備觀影與傳統(tǒng)觀影方式的關(guān)系屏幕尺寸，以FOV(視場角)粗略衡量清晰度，以PPI(平面視頻，每英寸像素個數(shù))/PPD(球面視

5、頻，每度像素個數(shù))粗略衡量流暢度，以FPS(幀率)粗略衡量屏幕尺寸清晰度流暢度沉浸感VR設(shè)備觀影與傳統(tǒng)觀影方式的關(guān)系PPI-6PPI-18Agustsson, Eirikur and Timofte, Radu, NTIRE 2017 Challenge on Single Image Super-Resolution: Dataset and Study, The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, July.2017VR設(shè)備觀影與傳統(tǒng)觀影方式的關(guān)系VR設(shè)備觀影當(dāng)PPD達(dá)到6

6、0(人眼視網(wǎng)膜極限)時觀看清晰度最高11G.L.Fain and E.John, Dowling.”Intracellular recordings from single rods and cones in the mudpuppy retina”, Science, Vol.180,No4091,pp.1178-1181,Jul.1973VR設(shè)備觀影與傳統(tǒng)觀影方式的關(guān)系硬件4K屏幕（單眼2K）、90度FOV可達(dá)到21.3PPD，由此得出對應(yīng)播放內(nèi)容的分辨率是7680 x3840 7680 x38401920 x1920VR設(shè)備觀影與傳統(tǒng)觀影方式的關(guān)系需求很明確4K屏，要播放VR 8K內(nèi)容才

7、搭配！目錄5G視頻時代的思考與實踐VR設(shè)備觀影與傳統(tǒng)觀影方式的關(guān)系VR設(shè)備觀影的技術(shù)挑戰(zhàn)8K VR視頻直播解決方案VR設(shè)備觀影的技術(shù)挑戰(zhàn)最簡單也是最原始的方法是整個視頻全部傳輸，行不行？29491200個像素VR設(shè)備觀影的技術(shù)挑戰(zhàn)整個視頻全部傳輸，第一個缺點是碼率高ITU-RVR設(shè)備觀影的技術(shù)挑戰(zhàn)主流芯片解碼能力是4K但是我們的目標(biāo)是降低硬件門檻，讓更多用戶體驗到優(yōu)質(zhì)的內(nèi)容引用自 https:/products/snapdragon-835-mobile-platform整個視頻全部傳輸，第二個缺點是終端芯片解碼能力限制VR設(shè)備觀影的技術(shù)挑戰(zhàn)面積分辨率(8K)分辨率(16K)缺點球面(參考)4

8、R2ERP22R27680 x384015360 x7680空間冗余CubeMap32R2/25760 x384011520 x7680空間冗余EAC32R2/25760 x384011520 x7680空間冗余四棱錐2R2/23840 x19207680 x3840存儲副本多四棱柱2R2/23840 x19207680 x3840存儲副本多分塊串流/現(xiàn)有方案的比較8K VR視頻直播解決方案-愛奇藝分塊串流方案面積分辨率(8K)分辨率(16K)缺點球面(參考)4R2ERP22R27680 x384015360 x7680空間冗余CubeMap32R2/25760 x384011520 x768

9、0空間冗余EAC32R2/25760 x384011520 x7680空間冗余四棱錐2R2/23840 x19207680 x3840存儲副本多四棱柱2R2/23840 x19207680 x3840存儲副本多分塊串流/1920 x19203840 x3840現(xiàn)有方案的比較目錄5G視頻時代的思考與實踐VR設(shè)備觀影與傳統(tǒng)觀影方式的關(guān)系VR設(shè)備觀影的技術(shù)挑戰(zhàn)8K VR視頻直播解決方案8K VR視頻直播解決方案-愛奇藝分塊串流方案分塊串流，簡單講，是將視頻畫面分塊，只傳輸部分畫面到VR終端進(jìn)行播放。分塊串流關(guān)鍵技術(shù)編解碼封裝存儲播放8K VR視頻直播解決方案-愛奇藝分塊串流方案編解碼分層編碼 基本層

10、 增強層分塊編碼只解碼部分畫面 分塊自由組合解碼 媒體描述信息空間坐標(biāo)描述多路編碼同步 自定義SEI多路解碼同步 時戳對齊8K VR視頻直播解決方案-愛奇藝分塊串流方案編解碼只解碼視口內(nèi)的分塊8K VR視頻直播解決方案-愛奇藝分塊串流方案編解碼當(dāng)用戶頭部轉(zhuǎn)動，及時更新分塊集合8K VR視頻直播解決方案-愛奇藝分塊串流方案編解碼可調(diào)整分塊大小綜合屏幕有效覆蓋率和編解碼效率8K VR視頻直播解決方案-愛奇藝分塊串流方案編解碼輕量級操作分塊自由組合成大的圖像不是矩形怎么辦？8K VR視頻直播解決方案-愛奇藝分塊串流方案編解碼幀頭信息相同運動矢量限制Slice/Tile8K VR視頻直播解決方案-愛奇

11、藝分塊串流方案編解碼視頻頭信息的修改解析頭信息替換句法元素生成新的頭信息8K VR視頻直播解決方案-愛奇藝分塊串流方案編解碼幀頭信息的修改8K VR視頻直播解決方案-愛奇藝分塊串流方案編解碼自定義SEI(輔助增強信息)標(biāo)記，同步多路編碼畫面完全一致8K VR視頻直播解決方案-愛奇藝分塊串流方案封裝moof：movie fragment box mdat：media data box8K VR視頻直播解決方案-愛奇藝分塊串流方案封裝8K VR視頻直播解決方案-愛奇藝分塊串流方案存儲減少請求次數(shù)QTP長連接多路復(fù)用 預(yù)推送8K VR視頻直播解決方案-愛奇藝分塊串流方案播放ViewPort分塊集合計算基本層高優(yōu)先級分塊數(shù)據(jù)超時丟棄總結(jié)&展望總結(jié)5G