愛(ài)奇藝推薦中臺(tái)探索與實(shí)踐-張時(shí)駿

1、愛(ài)奇藝推薦中臺(tái)探索與實(shí)踐自我介紹自我介紹畢業(yè)于上海交通大學(xué)計(jì)算機(jī)系，現(xiàn)任愛(ài)奇藝高級(jí)技術(shù)經(jīng)理一職，愛(ài)奇藝推薦中臺(tái)的總架 構(gòu)師。在愛(ài)奇藝從事推薦引擎架構(gòu)和開(kāi)發(fā)工作，近幾年專注于分布式高并發(fā)線上引擎的 架構(gòu)，搭建了熱點(diǎn)信息流、小視頻信息流等推薦引擎。目前正在致力于愛(ài)奇藝推薦中臺(tái) 的建設(shè)，旨在幫助公司內(nèi)各業(yè)務(wù)團(tuán)隊(duì)能夠以低成本、高效率、高產(chǎn)出的方式獲取一套完 整的推薦服務(wù)及其周邊配套設(shè)施，快速實(shí)現(xiàn)業(yè)務(wù)目標(biāo)。目錄推薦中臺(tái)背景推薦中臺(tái)架構(gòu)推薦中臺(tái)實(shí)踐問(wèn)題一：推薦形式不同問(wèn)題二：推薦實(shí)體不同問(wèn)題三：推薦需求不同業(yè)務(wù)對(duì)接效果推薦中臺(tái)背景需求排期，堆積如山業(yè)務(wù)方重復(fù)造輪子推薦業(yè)務(wù)小視頻熱點(diǎn)動(dòng)漫看點(diǎn)推薦實(shí)體豎屏小視

2、頻橫屏視頻漫畫圖文直播推薦形式個(gè)性化推薦信息流推薦相關(guān)推薦主題推薦推薦需求入場(chǎng)規(guī)則時(shí)效性多樣性AB實(shí)驗(yàn)?zāi)夸浲扑]中臺(tái)背景推薦中臺(tái)架構(gòu)推薦中臺(tái)實(shí)踐問(wèn)題一：推薦形式不同問(wèn)題二：推薦實(shí)體不同問(wèn)題三：推薦需求不同業(yè)務(wù)對(duì)接效果推薦閉環(huán)用戶引擎行為數(shù)據(jù)算法實(shí)體數(shù)倉(cāng)推薦池愛(ài)奇藝 TO C 個(gè)性化用戶觸達(dá)系統(tǒng)姜餅無(wú)際好多納豆泡泡PPS愛(ài)奇藝APP PCVRTV APP愛(ài)奇藝 TO C 短視頻推薦觸達(dá)系統(tǒng)推薦中臺(tái)整體架構(gòu)多端適配（APP/PC/H5/PAD/VR/TV） 多路召回（粗排，精排、Rerank）通用推薦池平臺(tái)通用特征服務(wù)基礎(chǔ)內(nèi)容理解組件基礎(chǔ)用戶畫像內(nèi)容生產(chǎn)系統(tǒng)優(yōu)質(zhì)卡段（人工，AI）PGC優(yōu)質(zhì)內(nèi)容愛(ài)奇藝

3、號(hào) 審核平臺(tái) 標(biāo)注平臺(tái)基礎(chǔ)服務(wù)平臺(tái) 用戶興趣試探新內(nèi)容試探保量系統(tǒng)愛(ài)奇藝推薦中臺(tái) 特殊策略干預(yù) 融合控制排序大數(shù)據(jù)存儲(chǔ)和服務(wù)平臺(tái)分布式在線機(jī)器學(xué)習(xí)平臺(tái)通用AB TEST平臺(tái)用戶數(shù)據(jù)分析平臺(tái)報(bào)表AB實(shí)驗(yàn)報(bào)表效果總表排序模型 FM DNNGBDTLR召回模型 相關(guān)召回 向量召回協(xié)同召回?zé)衢T召回特征工程 統(tǒng)計(jì)特征 環(huán)境特征向量特征Meta特征用戶畫像 短期畫像 長(zhǎng)期畫像中期畫像靜態(tài)畫像 漫畫輕小說(shuō) 直播 圖文 視頻推薦池 質(zhì)量評(píng)估 深度特征 內(nèi)容標(biāo)簽 分類體系內(nèi)容理解Workflow 配置平臺(tái) 基本配置 模塊配置推薦中臺(tái)內(nèi)部架構(gòu)線上引擎 用戶興趣 召回 過(guò)濾 粗排 精排 多樣性控制推薦中臺(tái)內(nèi)部架構(gòu)：

4、推薦池推薦池?cái)?shù)據(jù)服務(wù)去重mapping實(shí)時(shí)更新消息snapshot文件近實(shí)時(shí)Hbase表推薦池運(yùn)維服務(wù)自動(dòng)化部署toolkit一站式workflow 配置平臺(tái)推薦池通用邏輯層數(shù)據(jù)補(bǔ)償/ 糾錯(cuò)通用元數(shù)據(jù)轉(zhuǎn)換統(tǒng)一數(shù)據(jù)拓?fù)?字典通用去重通用緩存實(shí)體關(guān)聯(lián)業(yè)務(wù)推薦池孵化器干預(yù)后臺(tái)業(yè)務(wù)去重準(zhǔn)入/過(guò)濾/ 退場(chǎng)規(guī)則引擎輔助功能實(shí)時(shí)監(jiān)控HA漏斗分析數(shù)據(jù)校驗(yàn)適配數(shù)據(jù)生產(chǎn)源自定義數(shù)據(jù)源非視頻數(shù)據(jù)用戶行為數(shù)據(jù)智能特征庫(kù)愛(ài)奇藝號(hào)數(shù)據(jù)長(zhǎng)，短，小視頻推薦中臺(tái)內(nèi)部架構(gòu)：內(nèi)容理解 在線服務(wù)消息推送智能特征庫(kù)內(nèi)容理解服務(wù)產(chǎn)品標(biāo)簽體系定制產(chǎn)品用戶群行為適配 業(yè)務(wù)線標(biāo)準(zhǔn)適配 分類體系 內(nèi)容標(biāo)簽 內(nèi)容深度表示 質(zhì)量評(píng)估內(nèi)容風(fēng)險(xiǎn)評(píng)估業(yè)務(wù)

5、定制化組件通用內(nèi)容理解組件音頻理解視頻理解圖像理解文本理解多模態(tài)特征融合內(nèi)容理解基礎(chǔ)技術(shù)推薦中臺(tái)內(nèi)部架構(gòu)：特征工程特征倉(cāng)庫(kù)特征運(yùn)維 特征文件實(shí)時(shí)特征消息 特征查詢一站式workflow配置平臺(tái) 特征運(yùn)維部署平臺(tái)特征數(shù)據(jù)深度特征統(tǒng)計(jì)特征meta特征附加服務(wù)HA服務(wù)降級(jí)特征校驗(yàn)任務(wù)監(jiān)控離線特征計(jì)算平臺(tái)用戶行為實(shí)時(shí)ETL實(shí)時(shí)特征計(jì)算平臺(tái)數(shù)據(jù)轉(zhuǎn)化特征歸一化統(tǒng)計(jì)特征計(jì)算框架 特征ID服務(wù)化外部特征接入框架 數(shù)據(jù)源解析 正排服務(wù)化meta特征計(jì)算框架實(shí)時(shí)/離線規(guī)范統(tǒng)一特征數(shù)據(jù)源接入平臺(tái)解析配置數(shù)據(jù)規(guī)范業(yè)務(wù)隔離細(xì)粒度延遲監(jiān)控告警流式ETL 處理框架多機(jī)房互備（HA）實(shí)時(shí)meta 特征框架實(shí)時(shí)特征歸一化實(shí)時(shí)統(tǒng)

6、計(jì)特征框架session特征框架召回全局熱門區(qū)分用戶群的熱門熱門召回Item協(xié)同過(guò)濾行為Embedding模型協(xié)同召回實(shí)體詞&主題詞召回分類召回語(yǔ)義Embedding模型相關(guān)召回多模型融合新用戶模版召回興趣不足時(shí)的召回拓展冷啟試探 質(zhì)量控制策略 厭倦懲罰召回配比多目標(biāo)模型融合深度學(xué)習(xí)模型 產(chǎn)出校驗(yàn) 樹(shù)模型排序模型監(jiān)控 線性模型離線評(píng)估推薦中臺(tái)內(nèi)部架構(gòu)：算法數(shù)據(jù)接入 數(shù)據(jù)格式規(guī)約 數(shù)據(jù)同步流程 配置文件 樣本處理流程標(biāo)簽 標(biāo)準(zhǔn)化標(biāo)簽計(jì)算 數(shù)據(jù)抽取數(shù)據(jù)清洗 興趣計(jì)算 興趣衰減 興趣合并畫像業(yè)務(wù)畫像 靜態(tài)興趣 短期興趣 中期興趣 長(zhǎng)期興趣 標(biāo) 簽擴(kuò)展基礎(chǔ)畫像全站基礎(chǔ)畫像數(shù)據(jù)監(jiān)控 超時(shí)監(jiān)控 覆蓋監(jiān)控模

7、型服務(wù)DNNFMGBDTLR推薦中臺(tái)內(nèi)部架構(gòu)：引擎UI 一站式workflow配置平臺(tái) 上線部署配置平臺(tái) AB實(shí)驗(yàn)配置平臺(tái)精排服務(wù) 多樣性控制 模型Rerank多目標(biāo)精排召回服務(wù)平臺(tái)向量召回服務(wù) 向量召回倒排召回服務(wù)協(xié)同召回標(biāo)簽召回粗排服務(wù) 多路粗排 多樣性控制單路粗排用戶興趣服務(wù) 興趣衰減 興趣試探 負(fù)反饋過(guò)濾興趣冷凍興趣獲取附加服務(wù)調(diào)用鏈服務(wù)發(fā)現(xiàn)回滾機(jī)制HA智能降級(jí)實(shí)時(shí)監(jiān)控多語(yǔ)言保量系統(tǒng)AB分流定向運(yùn)營(yíng)融合控制人工干預(yù)Root服務(wù) 離線特征 實(shí)時(shí)特征特征服務(wù) 特征填充 特征轉(zhuǎn)換 引擎現(xiàn)場(chǎng)目錄推薦中臺(tái)背景推薦中臺(tái)架構(gòu)推薦中臺(tái)實(shí)踐問(wèn)題一：推薦形式不同問(wèn)題二：推薦實(shí)體不同問(wèn)題三：推薦需求不同業(yè)務(wù)

8、對(duì)接效果問(wèn)題一：推薦形式不同個(gè)性化推薦信息流推薦相關(guān)推薦主題推薦解決方案一：統(tǒng)一接口參數(shù)含義area推薦區(qū)域，綁定策略配置passport_id登錄IDdevice_id設(shè)備IDcontext_id上下文ID，相關(guān)推薦session_id會(huì)話ID，翻頁(yè)去重theme_id主題ID，主題推薦解決方案一：統(tǒng)一流程Y是否個(gè)性化用戶畫像一級(jí)排序一級(jí)召回N請(qǐng)求Y是否信息流NRerank是否主題模式響應(yīng)Y推薦歷史N二級(jí)召回二級(jí)排序解決方案一：召回倉(cāng)庫(kù) 熱門召回 標(biāo)簽召回 協(xié)同召回協(xié)同過(guò)濾 主題召回 地域召回 向量召回Word2VecDSSM解決方案一：模型倉(cāng)庫(kù)Logistic RegressionWide

9、 & DeepGBDTFactorization MachinesDeepFM目錄推薦中臺(tái)背景推薦中臺(tái)架構(gòu)推薦中臺(tái)實(shí)踐問(wèn)題一：推薦形式不同問(wèn)題二：推薦實(shí)體不同問(wèn)題三：推薦需求不同業(yè)務(wù)對(duì)接效果問(wèn)題二：推薦實(shí)體不同橫屏視頻漫畫豎屏小視頻圖文直播解決方案二：統(tǒng)一實(shí)體字段原始字段名映射字段名通用字段定義idIdname/titlenamepicture_url/cover_urlpicture_urlfirst_publish_timefirst_online_timefirst_publish_timeis_valid/is_onlineis_valid業(yè)務(wù)獨(dú)有字段定義live_statusliveroom_live_status解決方案二：推薦池合并游戲直播奇秀直播影訊劇頭條VLOG片段好多小視頻愛(ài)奇藝小視頻中臺(tái)業(yè)務(wù)直播公共池圖文公共池橫屏視頻公共池豎屏視頻公共池同類推薦池直播公共數(shù)據(jù)圖文公共數(shù)據(jù)視頻公共數(shù)據(jù)公共層數(shù)據(jù)解決方案二：通用特征通用特征展示量點(diǎn)擊量點(diǎn)擊率長(zhǎng)點(diǎn)擊率平均觀看時(shí)長(zhǎng)消費(fèi)金額新鮮度熱度解決方案二：自定義特征業(yè)務(wù)方提供特征目錄推薦中臺(tái)背景推薦中臺(tái)架構(gòu)推薦中臺(tái)實(shí)踐問(wèn)題一：推薦形式不同問(wèn)題二：推薦實(shí)體不同問(wèn)題三：推薦需求不同業(yè)務(wù)對(duì)接效果問(wèn)題三：需求不同入場(chǎng)規(guī)則時(shí)效性多樣性AB實(shí)驗(yàn)解決方案三：入場(chǎng)規(guī)則腳本業(yè)務(wù)方提供入場(chǎng)規(guī)則腳本解決方案三：引擎在