QQ瀏覽器搜索智能問答的探索與實踐

1994年第一代互聯(lián)網(wǎng)搜1994年第一代互聯(lián)網(wǎng)搜智能整合成一個門戶網(wǎng)次使用這種模式并且大信息類信息類25~30%25~30%...1234””基于FAQ問答庫的”KBQAKnowledge-BasedQAP地理位置?P地理位置?什么是KBQA知識圖譜KBQASS艾菲爾鐵塔解決方案基于組合范疇語法(CCG)或句法計算推理打分算子鏈生成清洗算子執(zhí)行排序NEL計算推理打分算子鏈生成清洗算子執(zhí)行排序NEL方案選擇√表達較短，同時有很多簡單詞堆砌√形式簡單，多為簡單SPO查詢√需要靈活多變，可解釋性要求較強，遇到問題需要批量收斂S:劉德華S:劉德華基于種子SPO，從多方數(shù)據(jù)來源挖掘模板問:劉德華老婆是問:劉德華老婆是文名字叫carol，1966年4月6日出生在馬來西亞檳城，有5個兄弟姐妹，家境富裕，父親做地產(chǎn)和酒樓生意。1984年她和姐妹參加當(dāng)?shù)氐摹靶鲁毙〗恪边x美獲得季軍，之后赴香港學(xué)美容。2009年9月，劉德華在朱麗倩父親去世后，承…億級別FAQ庫e.g.特朗普大女兒特朗普大女兒e.g.劉德華張家輝合作作品e.g.1991年10月出生是什么星座1991年10月出生是e.g.爸爸的姐姐的兒子怎么稱呼怎么稱呼e.g.今天是農(nóng)歷幾月幾號[w:*][x:is][r:lunar_day]使用輕量且精準的模型兜住模板未能覆蓋的10%的用戶表達e.g.劉德華老婆是誰[d:entity-person][d:entity-person]老婆是誰[r:spouse][r:heigh女兒三次請求圖引擎稱謂二次請求圖引擎兒子一次請求圖引擎姐姐女兒三次請求圖引擎稱謂二次請求圖引擎兒子一次請求圖引擎姐姐e.g.張國立離婚了嗎e.g.張學(xué)友梁朝偉合作作品e.g.喬丹科比多高e.g.特朗普二女兒叫什么e.g.廣州和深圳GDP對比e.g.廣東有幾個地級市e.g.去年是什么生肖[w:*][r:age]e.g.爸爸的姐姐的兒子怎么稱呼calAge根據(jù)當(dāng)前時間calAge計算年齡getEntity請求圖引擎getEntitygetEntitygetEntitygetEntity"爸爸"MachineReadingComprehension合QP匹配和MRC等技術(shù)，從自由文本中問答對，擴充線上FAQ庫，提升問答整體√來源簡單√廣泛適配多數(shù)場景A:講述了白雪公主的故事版本見于德國1812年的《格個小矮人的故事。的歷史原型是1725年生于德國西部美茵河畔洛爾城的瑪利亞·索菲亞·馮·埃爾塔爾。A:格林童話精神的化身信物。系統(tǒng)性解決方案難點粗排+據(jù)識MRC答案融合答案rank召回最終輸出Grammar系統(tǒng)性解決方案難點粗排+據(jù)識MRC答案融合答案rank召回最終輸出Grammar摘要生成摘要生成Summary圈定贊美祖國快遞單號查詢表情包大全為什么語音識別不出來怎么修改id今日頭條怎樣申請為什么被限制登錄讀大專要多少怎樣與新同學(xué)他害怕嗎？…據(jù)識掉不合規(guī)Q哪只牛股可以買蘋果公司財報營收iphone12上市黃曉明主演的什么電影五一放幾天中國最長河流異性相吸同性相斥原理iphone6s屏幕多大強時效過濾Who人物/人名Where地點/位置信息When時間How步驟/方法Why原因/起因Desc觀點/作用/特點/描述優(yōu)化一:BERT-SeriesModelBERTRoBERTaALBERTELECTRA95.0094.9194.8094.21(F1分數(shù))優(yōu)化三:StandardTricks2.規(guī)避災(zāi)難性遺忘-Layer-wiseLRDecay(+0.4~0.9)簡單卻行之有效的策略，在與下游分布一致的海量-從Uncertainty最低的20%樣FGMICLR2017(+0.3)PGDFGMICLR2017(+0.3)PGDICLR2018(+0.2)擾動之下的擾動之下的Loss分布對抗式訓(xùn)練常規(guī)訓(xùn)練SMARTACL2020(+0.5~0.8)SMARTACL2020(+0.5~0.8)FreeATICLR2019(+0.1)采用FreeATICLR2019(+0.1)FreeLBNIPSwherewhowhyhowtop…wherewhowhyhowtop…whennumericentity…desc2019年經(jīng)濟工作之所以在十分困難的情況下實現(xiàn)穩(wěn)中有進、AnsK-1AnsK-2Ans1…AnsK-10Ans2….….…AnsK-1AnsK-2Ans3…AnsK-1AnsK-2Ans1…AnsK-10Ans2….….…AnsK-1AnsK-2Ans3…?答案排序：選取基礎(chǔ)Q-T-P-A四元Para1Para1Para2Para2ParaPara-3….….ParaPara-X….….ParaPara-KAnsAnsK-10wYwY…以UGC用戶生產(chǎn)的各大社區(qū)③搜狗問問地悟空問答以PGC專家生產(chǎn)的垂類網(wǎng)站騰訊醫(yī)典在線UGC數(shù)據(jù)離線PGC外部CP合作在線UGC數(shù)據(jù)離線PGC外部CP合作……EMEM庫采用433維特征，包括：400維預(yù)訓(xùn)練詞向量33維其他手工特征使用BiLSTM編碼層進行Encoder預(yù)訓(xùn)練BERT使用基礎(chǔ)Pret-trainBERT進行雙12345123451.ELECTRA采用MLM+RTDFullyFullyConnectedLayerELECTRAwordembedding+segmentembedding+positionembedding