2022年5G網(wǎng)絡(luò)人工智能AI文娛技術(shù)實踐

TOC\o"1-1"\h\z\u優(yōu)酷發(fā)布窄帶高清3.0，用戶看片流量再省 內(nèi)容全生命周期里的文娛大 5G下的6DoF視頻技術(shù)，到底有何不同 大數(shù)據(jù)賦能電影數(shù)智化宣 9月27日，在2019杭州·云棲大會【智慧文娛技術(shù)】分論壇上，優(yōu)酷帶來了行業(yè)關(guān)注已久的窄帶高清3.0。在5G大趨勢下，優(yōu)酷加速布局智能高清，意在通過3.01.03.0，早在2015年，阿里巴巴就提出窄帶高清概念。這個概念一經(jīng)提出，就被行業(yè)及1.02.0，窄帶高清一直從這三個層面出發(fā)，實現(xiàn)降本提體驗。今日發(fā)布的窄帶高清3.02.0基礎(chǔ)上再節(jié)省約30的寬帶碼率。更重要的是，打破了終端設(shè)備和內(nèi)容平臺之優(yōu)酷發(fā)布窄帶高清優(yōu)酷發(fā)布窄帶高清3.0，用戶看片流量再省30%< PAGE63.0，窄帶高清不僅僅是節(jié)省碼率。1.0是實現(xiàn)最佳分辨率——碼率的匹配關(guān)系，平均節(jié)省30%帶寬，在用戶低帶寬條件下也可看高清。2.0實現(xiàn)云端渲染，迎合人眼主觀視覺，讓720P達到1080P觀感。緊接著，優(yōu)酷技術(shù)團隊花了整整22.03.030爆發(fā)5G時代，讓使用移動網(wǎng)絡(luò)、使用千元機的用戶同樣享受超高清視頻服務(wù)，實現(xiàn)3.0.0(.264EV)，標準碼流是建設(shè)良好生態(tài)的基礎(chǔ)，更具普適性。二是從云到端sienformatinSEI.0一套完全符合通用標準的私有視頻傳輸播放協(xié)議，可直接與現(xiàn)有的協(xié)議和設(shè)備接入，輸出給行業(yè)的上下游。3進行數(shù)據(jù)化建模，對視頻的各個場景進行AI智能分析，讓每一幀畫面、每一臺設(shè)備都能獲得最合適的渲染處理，達到最佳的觀影效果。這種云端基于AI內(nèi)容分析生成3.0窄帶高清窄帶高清1.02.03.0除了窄帶高清，老片修復(fù)和超高清重制也作為優(yōu)酷的超高清戰(zhàn)略融入平臺全鏈路+新片采用深度學習算法實現(xiàn)超高清化K/0/DR/有了窄帶高清轉(zhuǎn)碼的加持，讓廣大用戶得以用最少的流量看高清。在播放環(huán)節(jié)，通過從業(yè)務(wù)模式出發(fā)，優(yōu)酷更聚焦窄帶高清的軟件解決方案。從行業(yè)視角看，5G時代下的窄帶高清云+端聯(lián)動趨勢亦然來到。所以，優(yōu)酷正在積極與硬件終端廠商合AI PAGE10內(nèi)容全生命周期里的文娛大腦內(nèi)容全生命周期里的文娛大腦 PAGE11 《長安十二時辰》為例，該片非群演有約1000人，群演有300到1500人，歷時21770嗨，可能來自于前面的30分鐘鋪墊在那一分鐘爆發(fā)了，針對內(nèi)容的這個特點，我們今天這個問題加劇了，比過去還要復(fù)雜。在過去的510UPGC整個內(nèi)容的生產(chǎn)量極大的發(fā)展，用戶的消費分層化、多樣化。全民爆款越來越少，用戶對內(nèi)容的需求更加個性化。相應(yīng)于內(nèi)容生產(chǎn)端，就需要考慮不同用戶群的個性化需求。1））用戶心理偏好、心理情緒來自于生理構(gòu)造，基于心理學的五大人格理論和用戶的觀看行為，構(gòu)建模型建立左邊和右邊的連接，從而知道創(chuàng)造什么樣的內(nèi)容，用戶會有什么樣的感受。上圖是《長安十二時辰》的分析示例，我們把已有的劇本作為樣本，讓機器去學習，識別出劇本的所有角色，把角色直接交互的對白、行為識別出來，再進行社團的核心管理團隊以皇上為中心。通過這種方式快速定位整個劇本的人物和人物關(guān)系的展開。圍繞角色關(guān)系，將整個劇本的角色情緒也識別出來，構(gòu)造成如上的曲線?；趯Ａ縿”镜姆治銮€，抽取出各個指標（出鏡率、戲份、情緒值等）并形成的識別、體檢的掃描，參考零線的位置。我們發(fā)現(xiàn)《藥神》幾乎都是正向和負向級的，直到最后出現(xiàn)一個正向區(qū)間，基本上后期都是以眼淚為主。而《長安十二時辰》的情緒狀態(tài)比較穩(wěn)定。對照情緒高低點的具體情節(jié)，我們發(fā)現(xiàn)，曲線表達的情緒和具體的故事情節(jié)是非常相符的。然后我們拿更多的方式去驗證它的合理性，上圖抽取《長安十二時辰》的劇集，表示每一秒鐘有多少用戶在看，通過兩條曲線對比，我們可以發(fā)現(xiàn)，兩條曲線的相關(guān)性比較高的將近60%，情緒的高峰、低谷和用戶的觀看行為狀態(tài)是吻合的，由此我們就提供了一種能力，基于這種能力對劇本或影片做情緒掃描，實現(xiàn)對影片熱度的未播先知，再對比benchmark，幫助制作者更高效的完成制作。首先，我們把用戶觀影情緒的表述，映射到認知計算中常用的二維空間表示，也就是Valence和Arousal。Valence表示情緒正負極性，Arousal表示情感激烈論文/abs/1909.0176。近兩年，心理學研究的核心觀點是為什么用戶會感同身受？這來自于前兩年的一個理論——靜向神經(jīng)元，所以我們選擇場景、表情、動作以及聲音作為基本的模型的輸入，對模型參數(shù)進行學習。如上所講，內(nèi)容產(chǎn)業(yè)有強延遲滿足的問題，我們通過兩層分析來解決長短期滿足的問題，除用戶情緒分析，我們也做內(nèi)容角色的情緒識別。通過圖片表情識別模型，2004開心、害怕為主，正面形象以悲傷、生氣為主，與負面反派的開心正好相對，正面的人一直很沮喪，是一個有些壓抑角色形象。同樣，我們分析角色的每秒情緒，形成角色的正負情緒曲線，部分影片的分析結(jié)果曲線如上圖，不同題材類型的節(jié)目會有不同的情緒密度。所以，你想放松的時候，要看的不一定是喜劇，喜劇其實不一定會放松，因為角色的正負向情緒不停交替，由于延遲滿足，大腦負荷非常大，需要做長短記憶，反而很多愛情片對大腦的占用相對低。ladmarkdesempGB三通道拼接合并后作為模型輸入，dnsmapReducednlossVMmareoss，提升各情緒類別的類間差距，提升情緒識別的效果，具體如上圖。機器AI和人工經(jīng)驗將是個永恒主題。一是結(jié)合符號學派智能和鏈接學派智能，建設(shè)5G下的6DoF視頻技術(shù)，到底有何不同？5G時代，視頻內(nèi)容形態(tài)將迎來三個趨勢：一是依托5G的大帶寬，超高清視頻體驗是人類感官消費的最終形態(tài)，還有很長的路要走；三是交互式視頻，包括3D視頻、ARAI在2019杭州云棲大會【智慧文娛技術(shù)】分論壇上，阿里文娛高級算法專家張?zhí)?G3D交互式視頻與單向接收式視頻的最大區(qū)別在于，交互要有額外的信息反饋，目前有四種交互能力：一是最傳統(tǒng)的方式，如評論、點贊等，依靠視頻之外的內(nèi)容提供 PAGE22>5G6DoF5G5G下的6DoF視頻技術(shù)，到底有何不同？ PAGE23 四是信息量來自從2D3D的視頻形態(tài)變化。當視頻形態(tài)從2D3D6DoF6DoF6sf，其概念來自于物體在空間中運動時VR，會明顯發(fā)現(xiàn)，基于固定VRVR6DoF視頻，是一種更自由的視頻形態(tài)。首先“腳可以動”，用戶可以虛擬和6DoF視頻，通過相機陣列來拍更大范圍，獲得更多的觀看自由度。其實，類似的6DoF技術(shù)已有很長歷史，最經(jīng)典的是《黑客帝國》中男主角NEO仰身躲子彈的慢動作鏡頭，當時依靠一整排照相機拍攝，將每個相機拍好的圖三、交互式視頻形態(tài)：6DoF視頻2D6DoF視頻形態(tài)是賽事中，VR視頻可以向前看球員、向左右看場地，向后看觀眾，聽起來視覺上更自VR視頻有更好的視覺體驗。116DoF視頻為例，其拍攝跟普通視頻拍攝的鏈路是一第一，現(xiàn)場拍攝環(huán)節(jié)。多機位同步控制與拍攝，將采集好的視頻和圖像上傳到云端做處理。第二，云端處理環(huán)節(jié)。在云上計算畫面中物體的景深關(guān)系，生成基準視角的視頻CDN傳到用戶手機上。第三，端側(cè)播放環(huán)節(jié)。在用戶端做解碼，根據(jù)用戶的交互操作，計算視點位置，H.24/H.26，播放設(shè)備本身具備解碼能力，保證覆蓋幾乎全部機型。端到端的實時畫面生成效率，同時兼顧手感，從技術(shù)角度來就是低延遲。6DoF的圖像所進行的新視角生成會把瑕疵放大。目前，從優(yōu)酷的實踐看，100Mbps以上的4G5G6DoF視頻節(jié)省寬帶傳輸?shù)牡诙€解決方案類似云游戲，不需要將拼接視頻傳到2D視頻，這樣所占用的寬帶就很小了。但為了觀看流暢，整體鏈路的延遲5G的低延遲特性。從行業(yè)角度出發(fā)，視頻標準化更傾向于從傳統(tǒng)的視頻壓縮到3D相關(guān)的視頻處理。可以看到MPEG的Roadmap中，從6DoF3DAVSVR標準就綜上所述，6DF3DVR應(yīng)用場景方面都有區(qū)別。6oF建能力，它在記錄真實世界、在以體育比賽和舞臺表演為核心的內(nèi)容上有很明顯優(yōu)3D建模去理解場景內(nèi)容。二是連接能力的提升，將用戶和生產(chǎn)者的距離拉近，在消5G帶來的連接能力和云帶來的算力的雙重提升，交互式視頻將成為視頻內(nèi)這是一個萬物智聯(lián)的時代，是AI技術(shù)和物聯(lián)網(wǎng)相結(jié)合的時代，今天我主要介紹IoT大麥現(xiàn)場服務(wù)平臺，分為設(shè)備端和服務(wù)端兩部分。端上設(shè)備的一大特點就是碎片化非常嚴重，因此如何標準化是一大挑戰(zhàn)。另外端基礎(chǔ)能力，如物聯(lián)網(wǎng)及安全等技術(shù)能力的建設(shè)也是重點，除此之外，5G在2019杭州云棲大會【智慧文娛技術(shù)】分論壇上，阿里巴巴大文娛事業(yè)群高級無線開發(fā)專家楚佩斯重點分享5G下，大麥現(xiàn)場服務(wù)解決方案實踐。以下為分享 PAGE28大麥物聯(lián)網(wǎng)技術(shù)實踐：挑戰(zhàn)、解法、趨勢大麥物聯(lián)網(wǎng)技術(shù)實踐：挑戰(zhàn)、解法、趨勢 PAGE29 原來的大麥在現(xiàn)場服務(wù)這一塊，大麥和麥座都有相應(yīng)的現(xiàn)場業(yè)務(wù)，存在重復(fù)建設(shè)問題。大家可以看圖中的硬件設(shè)備，種類繁多，但是現(xiàn)場對穩(wěn)定性的要求是異常嚴苛的。試想一下，一個十萬人的大型活動，現(xiàn)場服務(wù)中斷一分鐘，將導(dǎo)致非常嚴重的事故發(fā)生。我們在全國運用的非常多的自助的設(shè)備如果全部要依賴于人工來運維的話，對于人力的消耗也是非常大的問題，因此如何提效降本、提升運營效率是一個非?，F(xiàn)實的話題。像原始社會，SDK與業(yè)務(wù)耦合嚴重，每一次改動都牽一發(fā)動全身，自動化測試無法第二個階段做了硬件抽象層，通過在業(yè)務(wù)層和硬件SDK層中間增加一層硬件抽象層，這個事情在Android的Framework底層也是這么做的，這樣確實在一定程度SDK來實現(xiàn)，進程間使用Android的AIDL來實現(xiàn)，定義標準的Service接口。這樣帶來的好處就是驅(qū)動程序可以隨著ROM一起打包發(fā)布，A供應(yīng)商的自助機和B供應(yīng)商的自助機，我們使用的是完全無差別的業(yè)務(wù)apk。C供應(yīng)商和D供應(yīng)商只需要按照apkAIDL通過標準化的建設(shè)是非常有利于整個的自動化測試的，整個的流程分為三部分，業(yè)務(wù)程序、驅(qū)動程序、硬件模塊，左邊這個是我們從一個票的核驗到完成的開閘的整個調(diào)用鏈路。G20Hz00bs享的。GG100MHz4G55G3～5度區(qū)域還是需要做專項優(yōu)化的。我們創(chuàng)新性的使用一些物聯(lián)網(wǎng)技術(shù)來解決現(xiàn)場挑戰(zhàn)，但物聯(lián)網(wǎng)技術(shù)的安全性和穩(wěn)定性成為比較大的挑戰(zhàn)。設(shè)備上云肯定需要考慮安全問題，阿里的物聯(lián)網(wǎng)平臺提供了整個設(shè)備上云解決方案，設(shè)備安全的認證通過一個三元組的設(shè)備密鑰去完成設(shè)備的激活入網(wǎng)，而且一機一密，即使攻破一個設(shè)備也無法將其應(yīng)用到其他設(shè)備，整個網(wǎng)絡(luò)的安全性可以得到保障。另外物聯(lián)網(wǎng)設(shè)備的數(shù)據(jù)如果需要存儲，阿里云也提供了表格存儲和DataHub4G帶寬是有限的，在高密度區(qū)域是供不應(yīng)求的。那么如何解決不同業(yè)務(wù)對于帶寬、時延不同的需求呢？4GQCI(QoSClassIdentifier，QCIEPS要的QoS參數(shù)，它是一個數(shù)量等級，3gpp一共定義了9個等級，語音電話是工作QCI1tcpQCI6可以看到，在網(wǎng)絡(luò)壓力比較大的情況下，QCI3等級的業(yè)務(wù)相對QCI6等級的業(yè)務(wù)要5G時代其實粒度會更細，也有了一個新的命名叫網(wǎng)絡(luò)切片。通過網(wǎng)5G里面的網(wǎng)絡(luò)切片是端到端的，而4GQCIQoS保障。NB-IoT5GNB-IoT是窄帶物聯(lián)網(wǎng)，只有180kHz帶寬，每個數(shù)據(jù)包紙可以傳輸512個字節(jié)的內(nèi)容。NB-IoT是運營商部署在獨立頻段上的，因此在現(xiàn)場人流量集聚擁塞的情R13eDRXPSM的模式，目PSMeDRX模式成為了一個選項。行到上面。比如新增售票，某一個用戶購票后，數(shù)據(jù)如何進入設(shè)備中。由于NB-IoT的帶寬非常小，因此需要將數(shù)據(jù)包進行壓縮，以滿足在NB-IoT網(wǎng)絡(luò)中運行。NB-IoTCoAP協(xié)議并不保證數(shù)據(jù)包可靠到達，因此如果業(yè)務(wù)需要可靠到達，需在物聯(lián)網(wǎng)中也很復(fù)雜，協(xié)議是沒有既定的，比如通信協(xié)議有HTP、QT、COAPWi-Fi，a4GNB-IoTNB-IoT過撕票根的方式來核驗，電子票的占比還有待進一步提升。12306也在推動票務(wù)及核5G和現(xiàn)場會有什么結(jié)合？VR／全息等技術(shù)將帶來真正的沉浸式體驗，改變現(xiàn)20周年晚會時，也會有互動手環(huán)，通過IoT設(shè)備通信完成很好的互動體驗，對超大5G也會支持高密由于電影宣發(fā)的長鏈路和環(huán)節(jié)的復(fù)雜性，在數(shù)據(jù)化的進程中，我們遇到不少難219馮新平，從技術(shù)層面分享了阿里影業(yè)的數(shù)據(jù)化宣發(fā)的解決方案，希望對大家有借鑒。20182.5用戶在線上購票，8%9%非常高。 PAGE38大數(shù)據(jù)賦能電影數(shù)智化宣發(fā)大數(shù)據(jù)賦能電影數(shù)智化宣發(fā) PAGE39 快的時間內(nèi)把所要的渠道做整合。另外無論渠道多么繁多，85%的電影票都在線上656第二是引導(dǎo)核心觀眾去看，核心觀眾就是電影拍攝前所確定的受眾人群。第三是分析潛在觀眾在哪里？燈塔中有兩個比較好的功能，V映前票房預(yù)測的難度特別大，因為影響因素特別多，與當時的輿情、熱點相關(guān)性比較大。我們在支持發(fā)行階段的數(shù)據(jù)指導(dǎo)，所以做的是實時票房預(yù)測，包括有效場1.190%，如何基于直聯(lián)影院推測全國的票房情況？行業(yè)全部影院中，有的影院上報專資辦票房中規(guī)中矩的，和真實數(shù)據(jù)基本一致，有的和真實數(shù)據(jù)有較大出處，所以要識別出可信影院，標準就是計算影院排座之后，上映的最后時間節(jié)點的不可售狀態(tài)和真實上報的數(shù)據(jù)差距，越小越可信，然后根據(jù)這些可信影院的票房來預(yù)測大盤票房。2018主要