阿里小蜜智能問答技術(shù)演進(jìn)

ML-Summit2021張佶阿里巴巴達(dá)摩院

阿里小蜜ML-Summit智能問答技術(shù)演進(jìn)ML-Summit阿里巴巴達(dá)摩院資深算法專家張佶，阿里巴巴達(dá)摩院資深算法專家，致力于智能人機(jī)交互領(lǐng)域的算法研究和業(yè)務(wù)場(chǎng)景落地，積累了10年自然語(yǔ)言處理領(lǐng)域技術(shù)經(jīng)驗(yàn)，擔(dān)任阿里小蜜算法中臺(tái)負(fù)責(zé)人，基于創(chuàng)新技術(shù)推動(dòng)小蜜大規(guī)模智能服務(wù)業(yè)務(wù)的落地與發(fā)展。目前小蜜算法中臺(tái)服務(wù)于阿里CCO客服、經(jīng)濟(jì)體80多個(gè)業(yè)務(wù)BU、數(shù)百萬(wàn)企業(yè)客戶以?來(lái)自18個(gè)不同語(yǔ)言、130多個(gè)不同國(guó)家的全球客戶。主辦方發(fā)展歷程智能化（2015年起）面向阿里電商的智能客服

規(guī)?；?017年起）消費(fèi)者/商家/企業(yè)/政府

ML-Summit2021多元化泛服務(wù)（2020年起）阿里小蜜阿里小蜜阿里小蜜店小蜜智能客服超級(jí)小蜜經(jīng)濟(jì)體小蜜熱線小蜜阿里小蜜店小蜜智能客服超級(jí)小蜜經(jīng)濟(jì)體小蜜熱線小蜜店小蜜云小蜜質(zhì)培小蜜企業(yè)小蜜智能直播企業(yè)小蜜智能直播虛擬主播智能輔播……n智能服務(wù)已全面進(jìn)入多元化 的時(shí)代，小蜜聚焦 兩個(gè)賽道，通過(guò) 的應(yīng)用、創(chuàng)新的交互 降低服務(wù) ，創(chuàng)造 。目前小蜜平臺(tái)同時(shí)服務(wù)于阿里電商客服、阿里集團(tuán)80多個(gè)業(yè)務(wù)BU（餓了么、盒馬、淘寶直播等），數(shù)百萬(wàn)B端客戶（商家、企業(yè)、政府機(jī)構(gòu)等），以及來(lái)自20個(gè)不同語(yǔ)言、130多個(gè)國(guó)家的全球客戶。小蜜算法平臺(tái)

ML-Summit2021建設(shè)小蜜算法平臺(tái)，以統(tǒng)一的算法架構(gòu)、高效的復(fù)用性應(yīng)對(duì)全域業(yè)務(wù)的快速增長(zhǎng)。小蜜蜜蜜小蜜蜜蜜NLUNLG視頻、圖像、語(yǔ)音、文本融合的交互方式，帶來(lái)更為豐富的交互體驗(yàn)。NLUNLGMRCDeepQAKBQA多模態(tài)VQA多語(yǔ)言LiveQA從單語(yǔ)言交互變?yōu)?MRCDeepQAKBQA多模態(tài)VQA多語(yǔ)言LiveQAML-Summit202101多模態(tài)技術(shù)演進(jìn)及虛擬主播場(chǎng)景構(gòu)建

ML-Summit2021 店小蜜

商品詳情頁(yè)、PDF說(shuō)明書 虛擬主播2017-2018以機(jī)器閱讀理解為核心的時(shí)期 2019多模態(tài)閱讀理解2017-2018以機(jī)器閱讀理解為核心的時(shí)期2019多模態(tài)閱讀理解VQA2020虛擬主播圍繞人貨場(chǎng)重塑直播形態(tài)圍繞人貨場(chǎng)重塑直播形態(tài)AI驅(qū)動(dòng)虛擬人直播+互動(dòng)升人物感染力與生動(dòng)性今天的大促活動(dòng)也太劃算了吧！殼很酥脆，夾心也是入口即化哦屬性/細(xì)節(jié)圖智能劇本系統(tǒng)播報(bào)劇本升人物感染力與生動(dòng)性今天的大促活動(dòng)也太劃算了吧！殼很酥脆，夾心也是入口即化哦屬性/細(xì)節(jié)圖智能劇本系統(tǒng)播報(bào)劇本3D模型等多媒體內(nèi)容，形成圖文劇本，提升貨品表現(xiàn)力人物驅(qū)動(dòng)貨品展現(xiàn)

ML-Summit2021智能場(chǎng)控系統(tǒng)問答、閑聊暖場(chǎng)游戲發(fā)紅包智能場(chǎng)控系統(tǒng)問答、閑聊暖場(chǎng)游戲發(fā)紅包拉關(guān)注場(chǎng)景交互

ML-Summit2021內(nèi)容專業(yè)多樣視聽呈現(xiàn)結(jié)合StoryTellingStoryVisualization

ML-Summit2021 VisualStoryTellingDataset：VIST|Ref:VisualStorytelling(NAACL2016)StorytellingfromanImageStreamUsingSceneGraphs(AAAI2020)

StoryVisualizationDataset:CLEVR-SV/Pororo-SV|Ref:StoryGAN:ASequentialConditionalGANforStoryVisualization(CVPR2019)

ML-Summit2021框架編排 素材構(gòu)建 表達(dá)銜接 視覺展現(xiàn)框架編排 素材構(gòu)建 表達(dá)銜接 視覺展現(xiàn)豐富的素材形態(tài)多渠道內(nèi)容來(lái)源知識(shí)質(zhì)量檢測(cè)豐富的素材形態(tài)多渠道內(nèi)容來(lái)源知識(shí)質(zhì)量檢測(cè)

ML-Summit2021關(guān)鍵 三元詞 組短語(yǔ) 單句 摘要關(guān)鍵 三元詞 組短語(yǔ) 單句 摘要商品 詳情屬性 頁(yè)評(píng)論 百科 文章情感 文本識(shí)別 糾錯(cuò)流暢一致豐富性檢性檢性度測(cè)測(cè)量e:lie:DoinnoledgephContutionndpplitioninE-oee(CM2020)

ML-Summit2021以POI為中心的知識(shí)圖譜連接了用戶興趣和商品屬性，以此為基礎(chǔ)生成的劇本更具有可信度，更符合消費(fèi)者的認(rèn)知，可以有效的提升虛擬主播播報(bào)內(nèi)容的吸引力和導(dǎo)購(gòu)性?；A(chǔ)內(nèi)容成分基礎(chǔ)內(nèi)容痛點(diǎn)連接賣點(diǎn)(功效)用戶問題痛點(diǎn)連接強(qiáng)化真實(shí)感生活場(chǎng)景強(qiáng)化真實(shí)感

基于電商知識(shí)圖譜的知識(shí)推理e:lie:DoinnoledgephContutionndpplitioninE-oee(CM2020)[銜接句1]：接下來(lái)看一下面料材質(zhì)。[[銜接句1]：接下來(lái)看一下面料材質(zhì)。[銜接句2]：這款寶貝采用了棉布的面料，質(zhì)感很好。[屬性句]：棉布材質(zhì)最大的特點(diǎn)就是吸濕性和吸汗性能極強(qiáng)，可以保持長(zhǎng)時(shí)間的干爽[句子2]。這種材質(zhì)，十分親膚舒適，觸感非常柔和細(xì)膩[句子4]，讓每一個(gè)穿過(guò)它的人都愛不釋手，不易發(fā)生過(guò)敏的情況[句子1]，同時(shí)又有透氣效果，能夠有效排除身體散發(fā)??的熱氣，保持干爽，上身十分純凈舒服[句子4]，舒適親膚不扎人[句子5]。

ML-Summit20211.棉布與生俱來(lái)的親膚感，讓每一個(gè)穿過(guò)它的人都愛不釋手，1.棉布與生俱來(lái)的親膚感，讓每一個(gè)穿過(guò)它的人都愛不釋手，2.3.4.且衛(wèi)生性能很好，不易發(fā)生過(guò)敏的情況。持長(zhǎng)時(shí)間的干爽。棉布的透氣性較好，因此可以讓你時(shí)刻保持干爽整潔。棉布的面料選擇，十分親膚舒適，觸感非常柔和細(xì)膩，同5.?時(shí)又有透氣效果，能夠有效排除身體散發(fā)??的熱氣，保持干爽，上身十分純凈舒服。棉布面料，舒適親膚不扎人。注：綠色表示被刪除的部分任務(wù)構(gòu)造方法：句子shuffle：學(xué)習(xí)句子重排能力隨機(jī)丟棄/替換連詞&助詞：學(xué)習(xí)銜接能力構(gòu)造重復(fù)樣本[SEG1][SEG2],[SEG1][SEG3]->[SEG1][SEG2][SEG3]保持多樣性，提升素材利用率模型BLEU-4ROUGE-L平均句長(zhǎng)Distinct-2Pipeline44.466.844.693.0rl70.272.575.693.0

ML-Summit2021對(duì)商品靜態(tài)圖片所在的場(chǎng)景進(jìn)行3D建模，按虛擬相機(jī)運(yùn)動(dòng)軌跡對(duì)3D場(chǎng)景模型進(jìn)行虛擬拍攝，充分利用詳情頁(yè)圖片素材提升視覺呈現(xiàn)效果，成為鏡頭推拉搖移的基礎(chǔ)技術(shù)，高效生成商品呈現(xiàn)視頻。

ML-Summit2021一對(duì)多回答需要決策回答的時(shí)機(jī)需要口播回答豐富的答案來(lái)源，高昂的維護(hù)成本直播間問答 在線問答

ML-Summit2021圖文匹配 合并重排 OCR改寫 完整性檢驗(yàn)圖文匹配合并重排OCR改寫完整性檢驗(yàn)LayoutLayoutembeddingQ：這款護(hù)發(fā)素有什么特點(diǎn)？

詳情圖（已切圖）

<這款護(hù)發(fā)素采用黃金配發(fā)，為發(fā)絲注入清爽凈化活力。>卓越黃金配比配方護(hù)膚概念引入洗發(fā)….配方為發(fā)絲注入清爽凈化活力Pjqtjainqd卓越黃金配比配方護(hù)膚概念引入洗發(fā)….配方為發(fā)絲注入清爽凈化活力PjqtjainqdGqnqjativqModqlOCR+結(jié)構(gòu)特征 改寫結(jié)果

ML-Summit2021多模態(tài)理解挑戰(zhàn) 多模態(tài)語(yǔ)言模型方案多模態(tài)理解挑戰(zhàn)多模態(tài)語(yǔ)言模型方案判斷一幅圖片能否回答用戶的問題，需要綜合理解多模態(tài)信息，包括用戶問題，圖片中的文字和圖像信息，這給算法帶來(lái)新的挑戰(zhàn)Q:什么面料？（第一張圖圖文并茂，信息量更大）

包含4個(gè)跨模態(tài)預(yù)訓(xùn)練任務(wù)的SingleStream方案，相比文本單模態(tài)預(yù)訓(xùn)練模型在下游任務(wù)上體現(xiàn)顯著優(yōu)勢(shì)Q：拉鏈長(zhǎng)什么樣子？（沒有文字描述）模型切圖合并準(zhǔn)確率圖文排序Top1準(zhǔn)確率單模態(tài)預(yù)訓(xùn)練模型（Structbert）743%705%跨模態(tài)預(yù)訓(xùn)練模型79.1%86.4%ML-Summit202102多語(yǔ)言技術(shù)拓展全球業(yè)務(wù)種語(yǔ)言的國(guó)際客戶支撐支持英、俄、西、法、日、阿、韓、波、葡、泰、印、越等20種語(yǔ)言。讓阿里集團(tuán)Lazada、AliExpress、Daraz等國(guó)際業(yè)務(wù)的用戶進(jìn)入智能服務(wù)時(shí)代。

ML-Summit2021

ML-Summit20212周內(nèi)AE阿拉伯語(yǔ) AE俄語(yǔ) AE西班牙語(yǔ) Lazada泰語(yǔ) Lazada越南語(yǔ)

ML-Summit2021化?；旌险Z(yǔ)言風(fēng)格。一個(gè)典型的案例：在巴基斯坦，用戶會(huì)使語(yǔ)。三種用法經(jīng)?；旌显谝黄?。

Daraz

ML-Summit2021國(guó)際化業(yè)務(wù)帶來(lái)新的技術(shù)挑戰(zhàn)，多語(yǔ)言算法面臨著和單語(yǔ)言完全不同的難點(diǎn)。1.Low-Resource新接入的語(yǔ)言大部分為L(zhǎng)ow-1.Low-Resource新接入的語(yǔ)言大部分為L(zhǎng)ow-小語(yǔ)種標(biāo)注成本高。慢。2導(dǎo)致模型效果下降。的N:MMapping的現(xiàn)象。Mapping容易，而遠(yuǎn)距離語(yǔ)言對(duì)挑戰(zhàn)大。3）、南亞）多種文化的混雜，帶來(lái)語(yǔ)言的混用現(xiàn)象。Urdu的三種語(yǔ)言混合420個(gè)語(yǔ)言，每個(gè)業(yè)務(wù)都需要快速提升算法工程師并不能看懂這些語(yǔ)言，無(wú)法逐個(gè)分析參加維護(hù)的算法工程師無(wú)法隨著業(yè)務(wù)的增長(zhǎng)而增加。

ML-Summit2021小蜜多語(yǔ)言算法從2017年開始，至今經(jīng)歷了V1->V3三個(gè)大的階段的發(fā)展，實(shí)現(xiàn)語(yǔ)言快速拓展V12017年起Lazada業(yè)務(wù)從無(wú)到有的建立起來(lái)。質(zhì)量受限仍需要大量人工標(biāo)注數(shù)據(jù)。業(yè)務(wù)效果上線Lazada英語(yǔ)、印尼語(yǔ)，其中印尼語(yǔ)6個(gè)月上線上線初期解決率50%+

V22018年起在QA場(chǎng)景成功落地Cross-Lingual技術(shù)。Cross-Lingual遷移學(xué)習(xí)混合語(yǔ)言詞向量基于ShareEncoder的Multitask方式引入多種任務(wù)支持多語(yǔ)言分類、匹配、機(jī)器閱讀業(yè)務(wù)效果Lazada越南語(yǔ)、泰語(yǔ)3個(gè)月上線。支持混合語(yǔ)言。整體解決率進(jìn)入到70%+的時(shí)代。線上支持8個(gè)語(yǔ)言的運(yùn)轉(zhuǎn)。

V32020年起業(yè)務(wù)效果線上支持20個(gè)語(yǔ)言的運(yùn)轉(zhuǎn)。1個(gè)月上線3個(gè)語(yǔ)言。整體多語(yǔ)言解決率進(jìn)入90%+時(shí)代。

ML-Summit2021通過(guò)多語(yǔ)言語(yǔ)言模型使得不同語(yǔ)言的數(shù)據(jù)可以共享，在拓展新語(yǔ)言時(shí)減少對(duì)目標(biāo)語(yǔ)言標(biāo)注數(shù)據(jù)的依賴，實(shí)現(xiàn) 加入更多跨語(yǔ)言任務(wù)訓(xùn)練來(lái)拉近更多對(duì)齊任務(wù)利用平行語(yǔ)料將平行的兩句話拼接在一起，遮蓋其中一句話的50%進(jìn)行預(yù)測(cè)。 一起，通過(guò)對(duì)輸出層做averagepooling獲得每個(gè)句子的句向量來(lái)預(yù)測(cè)對(duì)方句子的單詞。多語(yǔ)言語(yǔ)言模型的蒸餾落地

方案阿拉伯語(yǔ)ACC方案阿拉伯語(yǔ)ACCRT（ms）1CNN訓(xùn)練機(jī)器翻譯數(shù)據(jù)（英->阿）0.47152LM訓(xùn)練機(jī)翻譯數(shù)據(jù)（英->阿）0.555003LM訓(xùn)練標(biāo)注數(shù)據(jù)（英+俄+西）0.635004方案2+30.665005方案4+跨語(yǔ)言數(shù)據(jù)增廣（英->阿）0.695006方案5+人工標(biāo)注0.765007方案6+蒸餾0.7520阿拉伯語(yǔ)分類任務(wù)的冷啟動(dòng)效果從語(yǔ)言到文化1、詞序?qū)φZ(yǔ)言遷移產(chǎn)生較大影響