愛奇藝智能播放技術(shù)及應(yīng)用

1、技術(shù)創(chuàng)新，變革未來愛奇藝智能播放技術(shù)及應(yīng)用在全球整體的互聯(lián)網(wǎng)下行流量中，視頻占到了近58%。全球互聯(lián)網(wǎng)現(xiàn)象報告AI在視頻行業(yè)中的應(yīng)用智能播放自適應(yīng)碼率 窄帶高清 ZoomAI 人像彈幕智能生產(chǎn)/分發(fā)個性化推薦 封面圖選取 審核只看他智能變現(xiàn)創(chuàng)可貼 隨視購 前情提要 Video In智能選角輔助后期制作 短視頻拍攝直播美顏/貼紙智能創(chuàng)作智能播放更清晰更流暢更有趣主要內(nèi)容更清晰-畫質(zhì)增強更流暢-智能倍幀更有趣-人像彈幕展望主要內(nèi)容更清晰-畫質(zhì)增強更流暢-智能倍幀更有趣-人像彈幕展望超高清時代難點（一）用戶自己上傳（UGC）的圖片/短視頻/視頻：質(zhì)量參差不齊模糊壓縮噪聲 噪點色彩灰暗暗光拍攝多次壓縮

2、難點（二）老電影/電視劇/綜藝視頻電影雙教子評書亂世梟雄膠片劃痕 背景噪聲 畫面抖動 色彩灰暗 低分辨率ZoomAI畫質(zhì)增強技術(shù)視頻/圖像增強方案超分辨率去噪銳化增強工具包色彩增強去劃痕分辨率低背景/壓縮噪聲 色彩灰暗 膠片損傷解決難點1：UGC圖片質(zhì)量問題ZoomAI工具包超分辨率去噪銳化色彩增強增強前圖片增強后圖片為各條業(yè)務(wù)線 自由定制方案接口一致相互解耦靈活配置v1.0版本-端到端深度神經(jīng)網(wǎng)絡(luò)工具1工具2.解決難點1：UGC圖片質(zhì)量問題v2.0版本-基于內(nèi)容理解的畫質(zhì)增強需要清晰需要無噪需要清晰畫質(zhì)增強流水線原圖文字區(qū)域檢測模塊顯著性檢測模塊文字區(qū)域前景區(qū)域背景區(qū)域文字增強模塊前景增強模

3、塊 背景增強模塊圖片融合增強圖片應(yīng)用落地原圖增強圖原圖增強圖全站頻道/UGC封面圖增強解決難點2：老電影/電視劇質(zhì)量問題復(fù)用已有的增強方法：超分辨率、去噪、色彩/亮度增強特有的問題：劃痕和白點去劃痕的經(jīng)典方法two-stage：劃痕檢測 + 劃痕去除劃痕檢測：直線檢測等劃痕去除：時間插值，空間插值等缺點：一般只處理水平/豎直的劃痕，無法處理水漬，白點畫面本身的水平/豎直線的處理劃痕ZoomAI去劃痕前提：劃痕等只在某一幀出現(xiàn)光流估計 + warp + 多幀融合融合 CNN修復(fù)幀i幀i-K幀i幀i+K幀i幀i from i-K幀i from 幀i from 幀i from i+K場景切分算法效果

4、展示落地應(yīng)用國劇修復(fù)經(jīng)典電影修復(fù)更清晰-畫質(zhì)增強提升UGC畫質(zhì)方案：基于內(nèi)容理解的畫質(zhì)增強落地：全站頻道/UGC封面圖增強提升老視頻畫質(zhì)方案：現(xiàn)有增強算法+基于幀間融合的去劃痕算法落地：國劇/老電影修復(fù)主要內(nèi)容更清晰-畫質(zhì)增強更流暢-智能倍幀更有趣-人像彈幕展望智能倍幀增加視頻的幀率，使得觀影體驗更流暢適用于3D動漫、體育比賽鏡頭、慢動作回放、動作大片等智能倍幀T+1幀T+0幀光流預(yù)測最終結(jié)果T+0.5warpT+0.5預(yù)測幀2T+0.5預(yù)測幀1融合 網(wǎng)絡(luò)前向預(yù)測逆向預(yù)測智能倍幀難點-插幀偽影期望的倍幀效果偽影偽影檢測深度神經(jīng)網(wǎng)絡(luò) 打分器插幀畫面分數(shù)T+1幀T+0幀插幀or落地應(yīng)用智能倍幀（5

5、0fps）原片（25fps）3D動漫倍幀-已上線主要內(nèi)容更清晰-畫質(zhì)增強更流暢-智能倍幀更有趣-人像彈幕展望人像彈幕彈幕不”擋”人人像彈幕基于深度學習的圖像分割DeepLab人像彈幕難點算法準確度場景復(fù)雜實時性與功耗蒙版文件大小Easy modeHell modeHard mode人像彈幕難點1：算法準確度基于語義分割，全自動分割出人像作為前景用綜藝數(shù)據(jù)訓練模型（中國有嘻哈）人像彈幕難點1：算法準確度用綜藝數(shù)據(jù)訓練模型形態(tài)學方法，濾除誤分割區(qū)域，填充孔洞人像彈幕難點1：算法準確度用綜藝數(shù)據(jù)訓練模型形態(tài)學方法后處理方法，修復(fù)明顯錯誤mIoU:87.6% - 93.6%人像彈幕難點2：場景復(fù)雜遠景觀眾人像彈幕難點2：場景復(fù)雜遠景觀眾：景別識別人像彈幕難點2：場景復(fù)雜遠景觀眾：景別識別中景(MS)遠景(WS)特寫(CU)人像彈幕難點2：場景復(fù)雜遠景觀眾：景別識別人像彈幕難點2：場景復(fù)雜遠景觀眾：景別識別人像彈幕難點2：場景復(fù)雜遠景觀眾：景別識別近景觀眾： AI明星彈幕人像彈幕移動端實時摳圖劣勢功耗大，影響觀影體驗低端機效果差難點3：實時性與功耗優(yōu)勢Android中端機雙線程25FPS模型尺寸270KB人像彈幕難點4：蒙版文件大小景別識別幀內(nèi)：行程編碼編碼前編碼后人像彈幕難點4：蒙版文件大小景別識別幀內(nèi)：行程編碼幀間：合并相似幀大?。簤嚎s至1/25主要內(nèi)