知識驅動的智能問答在企業(yè)計算中的落地實踐

12341234風險管控客戶服務企業(yè)計算定義市場市場內容優(yōu)化產(chǎn)品頁社交媒體產(chǎn)品頁客戶服務BusinessIntelligenceAnalyticsAnalyticsSales/MarketingSalesBusinessIntelligenceAnalyticsAnalyticsSales/MarketingSales/Marketing美國2B市場40%中國2B市場BusinessBusinessIntelligenceAnalyticsAnalytics中國2B市場：巨大的發(fā)展?jié)摿γ绹绹鳰icrosoft暫無超過Microsoft$10B的企業(yè)ORACLe面向外部行業(yè)知識圖譜面向 面向外部行業(yè)知識圖譜面向 智能咨詢服務平臺??Web（H5）?…用戶提問微信/APP/Web知識學習智能引擎語義理解智能引擎人機協(xié)同知識智能監(jiān)控查詢回復更新官方網(wǎng)站市場動態(tài)專家整理其他知識用戶提問微信/APP/Web知識學習智能引擎語義理解智能引擎人機協(xié)同知識智能監(jiān)控查詢回復更新官方網(wǎng)站市場動態(tài)專家整理其他知識智能咨詢服務平臺——智能問答產(chǎn)品信息知識庫知識庫12341234問答范式的演變 基于知識圖譜的基于多引擎的問答問答系統(tǒng)成為下一代搜索引擎問答系統(tǒng)成為下一代搜索引擎的11問答數(shù)據(jù)的幾種形態(tài)及關系問答技術形態(tài)IRQA：基于信息檢索的問答IRQA：基于信息檢索的問答KBQAKBQA：基于知識庫的問答MRC：基于閱讀理解的回答13樂言智能問答戰(zhàn)略9樂言問答引擎——以基金行業(yè)為例?基于檢索的問答(IRQA)模塊?數(shù)據(jù)：業(yè)務人員積累的基金領域的FAQ對?基于知識庫的問答(KBQA)模塊?數(shù)據(jù)：基于業(yè)務人員提供的基金領域知識點構建的知識圖譜?基于閱讀理解的問答(MRCQA)模塊?數(shù)據(jù)：業(yè)務人員提供的基金領域知識文本IRQA在問答對中對用戶查詢進行檢索，IRQA在問答對中對用戶查詢進行檢索，返回語義最相關的FAQ對對應的答案。16KBQA對用戶查詢進行語義解析，并在知識圖譜中查詢推理得到答案。MRCQAMRC（機器閱讀理解在候選段落中找到能回答用戶問題的精確片段。多引擎QA融合的必要性不同的QA技術擅長回答的問題不同，需要取長補短。12341234問答在對話系統(tǒng)中的位置IRQA架構設計IRQA在線部分IRQA使用的模型?基于梯度提升樹的排序模型?學習FAQ對的偏序關系?參考文獻[1][2]?面向表示的深度模型?側重于對query對的語義表示進行建模?參考文獻[3][4][5]?面向交互的深度模型?側重于對query對內部的詞語交互建模?參考文獻[6][7][8][9]IRQA：面向表示的建模優(yōu)點優(yōu)點缺點[4]AlatentsemanticmodelwithconvolutioIRQA：面向交互的建模優(yōu)點考慮兩個句子詞語間的語義交互缺點模型復雜，對數(shù)據(jù)量要求非常高[6]ConvolutionalNeuralNetworkArc?知識特征??知識特征?語義特征?語言理解特征IRQA：挑戰(zhàn)和應對?端到端學習，三步合為一步？?對訓練數(shù)據(jù)量要求巨大，不合適冷啟動場景建模?可解釋性差?我們的創(chuàng)新?從可解釋的角度做特征工程?通用領域訓練?當前領域精調?刻畫領域關系的遷移學習IRQA；基于CQA數(shù)據(jù)的挖掘?社區(qū)問答(CQA)數(shù)據(jù)挖掘，緩解數(shù)據(jù)少的問題?領域詞挖掘?贖回、賣出?句式挖掘?一回事?同一個業(yè)務[10]QuestionGenerationforQuestionAnswering.KBQA架構設計樂言KBQA：基于模板匹配的語義解析xxxxxxKBQA：基于模板匹配的語義解析?查詢模板匹配(打分排序)時使用的特征，?實體/屬性值實體的matching特征?謂詞關系的matching特征?問題子圖結構的matching特征?包括實體類型，關系空間，答案類型等?模板的生成?人工撰寫?從數(shù)據(jù)學習模板+人工審核?參考文獻[11][11]Automated templategenerationforquestion[11]Automated templateKBQA：基于復述的語義解析xxxxxx[12]Semanticparsingviaparaphrasing.KBQA：基于復述的語義解析Q:申購xxx基金要多少錢1基于ES的粗排2基于語義匹配的精排match(n:Instance{Q:申購xxx基金要多少錢1基于ES的粗排2基于語義匹配的精排match(n:Instance{name:”xxx主題混合型證券投資基金"})-[r:HAS_PROPERTY]-(v:Property{name:"申購費"})returnv.valueas申購費KBQA：基于復述的語義解析標準問法庫標準問法庫ESES初選xxxxxx主題混合型證券投資基金的贖回費xxx主題混合型證券投資基金的申購費xxx主題混合型證券投資基金的基金代碼語義匹配模型語義匹配模型C:xxx主題混合型證券投資基金的申購費KBQA：語義解析方法的融合缺點實體/關系識別部分的誤差會導致查詢模板匹配的召回率不高MRC架構設計MRC在線部分MRC模型框架Extractionbasedquestionanswer 劃分Span(起始位置->終止位置)[13]BidirectionalAttentionFlowforMachine并行執(zhí)行并行執(zhí)行MRC與IRQA、KBQA的關系串行執(zhí)行串行執(zhí)行QA：多策略融合[14]Textual analysis[14]Textual analysis問答在對話系統(tǒng)中的位置語言理解實體識別和鏈接實體識別和鏈接?識別查詢中的領域實體，意圖理解意圖理解問題類型判定問題類型判定答案類型判定語言理解模型?FastText分類模型?意圖理解?問題類型判定?答案類型判定?FastText分類模型?意圖理解?問題類型判定?答案類型判定?雙向LSTM的序列標注（實體識別）模型?實體識別[17]Character-BasedLSTM-CRFwithRadical-LevelFeaturesforChineseNamed?實體識別語言理解實例實體識別和鏈接：申購實體識別和鏈接：申購->行為意圖理解：咨詢交易規(guī)則問題類型：預測型答案類型：時間回復生成?將QA的結果進行友好化，生成符合用戶profile設定，并返回給用戶?KBQA?將KB查詢的結構化結果生成最終的序列?參考文獻[18][19]?MRC?基于閱讀理解的答案合成?參考文獻[20]?IRQA?將QA結果友好化，例如，加上“您好”、“上午好”等前綴?參考文獻[21][22][23][24] 回復生成實例xxx基金公司有回復生成實例幾種貨幣性基金多用戶管理多用戶管理多輪對話設計 Session_Obj_1 12341234樂言問答：離線部分架構數(shù)據(jù)獲取模型更新智能導航?熱點問題推薦?熱點問題推薦反饋收集熱點問題推薦熱點問題推薦交互設計用戶反饋用戶反饋實體相關問題推薦實體相關問題推薦交互設計其他請求負載均衡數(shù)據(jù)存儲分流樂言智能問答每天服務五百萬人次每天服務五百萬人次ThankYou!參考文獻[1]TianqiChenandCarlosGuestrin.XGBoost:AScalableTreeBoostingSystem.In22nd[2]J.H.Friedman.Greedyfunctionapproximation:Agradientboostingmachine.AnnalsofStatistics,29:1189–1232[3]HamidPalangietal.Semanticmodellingwithlong-short-termmemoryforinformationretrieval.arXivpreprintarXiv:14[4]Shen,Yelong,etal.Alatentsemanticmodelwithconvolutional-poolingstructureforinformationretrieval.Proceedingsofthe23rdACMInternationalConferenceonConferenceonInformationandKnowl[5]Po-SenHuang,XiaodongHe,JianfengGao,LiDeng,AlexAcero,LarryHeck.Learning[6]BaotianHu,ZhengdongLu,HangLi,QingcaiChen,ConvolutionalNeuralNetworkArchitecturesforMatchingNaturalLanguageSentenceDocChat:AnInformationRetrievalApproachforChatbotEnginesUsingUnstructured 9o]cuWmenngYin,HinrichSchütze,BingXiang,BowenZhou.ABConvolutionalNeuralNetworkforModelingSe參考文獻knowledgegraphs."InProceeding1191-1200.InternationalWorldWideWebConf[12]Berant,Jonathan,andPercyLiang."Semanticparsingviaparaphrasing."InProceedingsofthe52ndAnnualMeetingoftheAssociationforComputationalLinguistics(Volume1:Long Farhadi,HannanehHajishirzi.BidirectionalAttentionFlowforMachineComprehen[14]Murdock,J.William,etal."Textualevidencegatheringandanalysis."IBMJournalofBasedLSTM-CRFwithRadical-LevelFeaturesforChineseNamedEntityRecognition,Structure-awareSeq2seqLea參考文獻[19]NeuralTextGenerationfromStructuredDatawithApplicationtotxheBiography[20]S-Net:FromAnswerExtractiontoAnswerGenerationforMachineReadingComprehension,ChuanqiTan,Fur[21]JiataoGu,Zheng