從問答到直播小蜜虛擬主播的多模態(tài)技術(shù)實(shí)踐

小蜜虛擬主播的多模態(tài)技術(shù)實(shí)踐趙中州達(dá)摩院高級(jí)算法專家2020年12月天貓雙11第12年帶貨更強(qiáng)勁小蜜—雙11背后的新變化比相當(dāng)于10萬名人工客服的工作量店小蜜對(duì)話輪次能力等同于58.6萬名人工客服2018.11.12018.11.11熱線智能客服外呼規(guī)模支持音畫同步多模態(tài)交互全球消費(fèi)者覆蓋數(shù)區(qū)，18種語言2020.11.12020.11.11為什么要做虛擬主播播限制時(shí)段怯場(chǎng)雙11十大黑科技—圍繞虛擬主播的交互新形態(tài)?通過播報(bào)內(nèi)容背后的意圖與情緒表?通過播報(bào)內(nèi)容背后的意圖與情緒表達(dá)，動(dòng)態(tài)插入特色口升人物感染力與生動(dòng)性今天的大促活動(dòng)也太劃算了吧！殼很酥脆，夾心也是入口即化哦?智能場(chǎng)控系統(tǒng)?1對(duì)多問答、閑聊?暖場(chǎng)?游戲?發(fā)紅包?拉關(guān)注??智能劇本系統(tǒng)?挖掘多種商品內(nèi)容，自動(dòng)生成合理、順暢、專業(yè)的報(bào)劇本?動(dòng)態(tài)關(guān)聯(lián)圖片、視頻及3D模型等多媒體內(nèi)容，形成圖文劇本，提升貨品表現(xiàn)力圖從問答到直播，面臨的新挑戰(zhàn)從問答到直播的技術(shù)演進(jìn)劇本合成文案生成視覺呈現(xiàn)知識(shí)推理圖譜構(gòu)建劇本合成文案生成視覺呈現(xiàn)知識(shí)推理圖譜構(gòu)建意圖分類任務(wù)型對(duì)話問題生成文檔問答視覺問答動(dòng)作驅(qū)動(dòng)人臉重建情感TTS劇劇本編排虛擬人決策情感計(jì)算行為驅(qū)動(dòng)直播間協(xié)同虛擬主播技術(shù)大圖(播報(bào)+問答)PartIIPartI直播PartIIPartI直播商品概要細(xì)節(jié)介紹活動(dòng)優(yōu)惠用戶痛點(diǎn)商品問答亮點(diǎn)功能商品展示文案挖掘/生成文本改寫文本改寫圖譜對(duì)齊編排模式挖掘圖譜推理圖譜推理結(jié)構(gòu)規(guī)劃銜接素材篩選素材篩選機(jī)器閱讀問題生成問題生成視覺問答呈現(xiàn)多模態(tài)匹配細(xì)粒度理解細(xì)粒度理解美觀度評(píng)估素材排序素材銜接素材銜接PartI.從問答到直播，長(zhǎng)劇本創(chuàng)作是首要挑戰(zhàn)重選品打爆點(diǎn)內(nèi)容專業(yè)多樣能種草有共鳴視聽呈現(xiàn)結(jié)合學(xué)術(shù)定義—Text/StoryGenerationStoryGenerationDataset:StoryGenerationDataset:WritingPrompts|開放式/生成不可控Ref:HierarchicalNeuralStoryGeneration(ACL2018)AKnowledge-EnhancedPretrainingModelforCommonsenseStoryGeneration(TACL2020)Dataset:ROTOWIRE/WIKIBIO|短文本/強(qiáng)依賴數(shù)據(jù)Ref:LongandDiverseTextGenerationwithPlanning-basedHierarchicalVariationalModel(EMNLP2019)學(xué)術(shù)定義—StoryTelling/StoryVisualizationVisualStoryTellingDataset：VIST|短文本/圖片元素多、差異大Ref:VisualStorytelling(NAACL2016)StorytellingfromanImageStreamUsingSceneGraphs(AAAI2020)StoryVisualizationDataset:CLEVR-SV/Pororo-SV|預(yù)研性方向/生成效果差Ref:StoryGAN:ASequentialConditionalGANforStoryVisualization(CVPR2019)虛擬主播劇本構(gòu)建流程詞語組詞語組頁測(cè)測(cè)質(zhì)量檢測(cè)量素材的挑戰(zhàn)—詳情頁結(jié)構(gòu)化改寫黃金配比配方，深為發(fā)絲注入清爽凈驗(yàn)重排 (已切圖)LayoutembeddingObjectembeddingdel方入洗發(fā)凈化活力素材的挑戰(zhàn)—圖結(jié)構(gòu)賣點(diǎn)生成Novelgraph2textalgorithmSOTAon內(nèi)部和公開數(shù)據(jù)集Agenda,DuIEYunzhouShiZhilingLuoPengchengZhu,FengJi,WeiZhou,HaiqingChen,andYujiuYang.2020.G2T:GeneratingFluentDescriptionsforKnowledgeGraph.InProceedingsofthe43rdInternationalACMSIGIR2020.結(jié)構(gòu)的挑戰(zhàn)—引入知識(shí)圖譜增強(qiáng)邏輯性POI基礎(chǔ)生成的劇本更具有可信度，更符合消費(fèi)者的認(rèn)強(qiáng)化真實(shí)感效)基于電商知識(shí)圖譜的知識(shí)推理[銜接句1]：接下來看一下面料材質(zhì)。[銜接句1]：接下來看一下面料材質(zhì)。和細(xì)膩[句子4]，讓每一個(gè)穿過它的人都愛不釋手，不易發(fā)生過敏的氣，保持干爽，上身十分純凈舒服[句子4]，舒適親膚不扎人[句子2.棉布材質(zhì)最大的特點(diǎn)就是吸濕性和吸汗性能極強(qiáng)，可以保3.棉布的透氣性較好，因此可以讓你時(shí)刻保持干爽整潔。凈舒服。?句子shuffle：學(xué)習(xí)句子重排能力?隨機(jī)丟棄/替換連詞&助詞：學(xué)習(xí)銜接能力?構(gòu)造重復(fù)樣本?[SEG1][SEG2],[SEG1][SEG3]-?保持多樣性，提升素材利用率型.4.6PartII.從問答到直播，關(guān)注點(diǎn)變化引發(fā)的問答新挑戰(zhàn)…后問答打卡/關(guān)注/轉(zhuǎn)發(fā)/口令惠問答某直播間對(duì)話分布?指令問答——可枚舉，確定性高?活動(dòng)優(yōu)惠——玩法多，頻繁變動(dòng)?商品問答——范圍廣，問題長(zhǎng)尾?售中售后——占比小，易標(biāo)準(zhǔn)化豐富的答案來源vs高昂的維護(hù)成本通過閱讀理解，降低人工配置成本?基于海量問答語料預(yù)訓(xùn)練據(jù)做精調(diào)?借助不同任務(wù)的共同學(xué)習(xí)使模型在多場(chǎng)景提升10+F1從答到問—通過QAMaker輔助知識(shí)構(gòu)建純抽取業(yè)務(wù)可控性不足領(lǐng)域冷啟動(dòng)缺乏訓(xùn)練語料文檔拆解慢，知識(shí)庫構(gòu)建成本高引入詳情頁內(nèi)容支持輕量化問答多模態(tài)閱讀理解—支持主觀、長(zhǎng)尾問題回復(fù)?一圖勝千言，不僅可以回答事實(shí)類問題，還可以回答非事實(shí)類、主觀類問題，促進(jìn)成交轉(zhuǎn)化。芒果好吃嗎那你這個(gè)不會(huì)勾絲吧這款襪子是純棉透氣的嗎多模態(tài)閱讀理解—支持視覺-文字的匹配與對(duì)齊店心心心心念念等著它ll情頁圖片ROI細(xì)節(jié)右就可以取下化妝棉，然后在全臉再噴灑適量的純露，舒緩整個(gè)臉部肌視頻/關(guān)鍵幀這款T恤是圓領(lǐng)設(shè)計(jì)。圓領(lǐng)的設(shè)計(jì)，貼PVPV細(xì)節(jié)圖多模態(tài)閱讀理解挑戰(zhàn)?早期采用機(jī)器閱讀理解(MRC)的方案，對(duì)商品詳情頁中的OCR文字進(jìn)行閱讀理解，但純文本模態(tài)解決的問題?判斷一幅圖片能否回答用戶的問題，需要綜合理解多模態(tài)信息，包括用戶問題，圖片中的文字和圖像信息，這給算法帶來新的挑戰(zhàn)切圖任務(wù)中，通過邊緣檢測(cè)和文字聚類的方法容易產(chǎn)生誤切分多模態(tài)預(yù)訓(xùn)練如火如荼LXMERTVLBERTViLBERTVideoBertUNITERUnicoder-VL小蜜多模態(tài)算法—MMTK(MultiModalToolkit)MMTK多模態(tài)語言模型?構(gòu)造圖文跨模態(tài)數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練–詳情頁圖片與OCR文字的對(duì)應(yīng)關(guān)系–詳情頁圖片的上下拼接關(guān)系–利用圖片中識(shí)別的對(duì)象、OCR的BoundingBox的坐標(biāo)位置信息等。?設(shè)計(jì)針對(duì)商品詳情圖的預(yù)訓(xùn)練任務(wù)–MTP：隨機(jī)掩蓋部分文本，利用圖片和上下文預(yù)測(cè)缺失文本–MIFR：隨機(jī)掩蓋圖片目標(biāo)，利用文本和其它目標(biāo)預(yù)測(cè)缺失目標(biāo)的特征–ITM：預(yù)測(cè)文本和圖片是否匹配–IRP：預(yù)測(cè)兩張圖片之間的關(guān)系準(zhǔn)確率圖片檢索召回訓(xùn)練態(tài)預(yù)訓(xùn)練異步處理實(shí)時(shí)問答可以定時(shí)多久小蜜視覺問答/劇本配圖流程異步處理實(shí)時(shí)問答可以定時(shí)多久總結(jié)?智能人機(jī)交互正在全面轉(zhuǎn)變?yōu)橐曨l、圖像、語音、文本多模態(tài)融合的交互方式，帶來更為擬人和豐富的交互體驗(yàn)，虛擬人將成為人機(jī)交互的新入口。?