任務驅(qū)動的多輪對話的設(shè)計參考

WordWord專業(yè)資料1.1背景知識介紹多輪對話之所以稱之為多輪對話，而不是多輪問答，是因為除了問答內(nèi)容外，還有閑聊模式下的情感交流，以及多數(shù)情況以陳述句形式表達的情景模式，因此多輪問答實際是多輪對話的子集。由于事件的復雜性直接導致了多輪對話的復雜性，即上文所述的正常的知識問答和命令問答外，還有情感和場景表述，造成每一句與上下文語義高度相關(guān)或不相關(guān)交錯出現(xiàn)，就導致了規(guī)則的高度復雜性。諳句K對詰語可 對.應主體工容二1再明，可型'：：問E1陳述2.惠及3國理）無語權(quán)'：：Mi1弧?E宙您"近注9曲通 力31F幺時候能發(fā)苴卮：'：>：'對二1丁E宙您"近注9曲延 方33得第%女啊、D3二仃產(chǎn)4匕我5C底三算況兔WiT >373T9我家知海等著電加呢3二3二制二?。萦拔摇昂銢r兔WiT >373:3；.：.：D才「“二eBf3^S0d6af329c9aBdi 160790L惜您指等一下：正在為您核實處理中噴t1T1T1T16OT2Hm出莫“睡涅船先出 WK匚席什總問題我E以后反處權(quán)解法曳？1：1㈤花一m出莫“睡涅船先出 WT旺3［數(shù)Hk］耐顯亢版am"去9天恭租姓名打犬或犬物和數(shù)字打"1C二二乙？3e出期■在叫益沛 ■日禮C二13二忠e出期■在叫益沛 :。區(qū)這款商三庫房還法有到即二二二對二丁匚/甥陽曲■虹先汕 二:他6小幺時候能到苴耳？iii上3物/甥陽曲■虹先汕二17什可魄，康樣責的先貪二-13次血制25M6ai329如diT6口瞥器嚏看前個青曳質(zhì)?D-D-D-LW7S88曲制25期血32%兆陽-51初毗南騎一袋都沒有么？T。T）T。TL6Q?盹甘e市您述3；屋九先Sdi .C有的話都給:生花E ：■二？.就二泯的長簽“前五旌”生W1T 工:3二二?：二。二三?三E宙簽“前五旌”生W1T 二門照九精等靜1111fi7388eif^250d￡=：j23:3aij： IF可打恩tI。丁「造E求您SE64生在 W儂弓查值以援作丁有黃先賢二二116C7158E求您SE64生在力吃3感曲:星京走是兩個售二二116C7158eBf3fl25M6aI329c9aEdi->160789&>Ot關(guān)注一下H單而物流信息哈T1T1T1-^16070BS日相您口則:算先兆在 1/儂r狗,啥時饌食專部：1：'2通:審E出您口哈M洶加祖 W7照則E一良拄 二二二L6CT397E出您口哈M洶先加 1^17399年三卷雪快點發(fā)貨：iZ。二制二型E宙我制胡三：算兜加WIT 旁的強1二二/二三蚊如果用有限狀態(tài)機來處理多輪對話，就必須對話語權(quán)方（即誰說出的話，必須被對方回答，則這方為對話話語權(quán)方）的每一個token語句進行意圖識別，引入意圖隊列，對隊列進行基于規(guī)則的推理機處理或基于深度學習的預測，例如：（寒暄>查訂單>確認退款>?）正常情況？==再見結(jié)束本輪對話。當然也可以用seq2seq的方法，將整個對話過程，抽象成一個session。輸入若干個相關(guān)句子，解碼成一個句子，即答案。多輪交互的一個重點問題是：如何根據(jù)上下文理解當前的意圖，而不僅僅是針對單輪進行一個分析，從而能夠使得對話在一個連續(xù)的語境下，是具備session粒度理解能力的。以下方案，均假設(shè)有一個已經(jīng)做得比較好的單輪理解以后的情況：嘗試方案1：最簡單粗暴地，把多輪query，融合成一個單輪的query，進行一次性的解析.直接將多輪交互的意圖理解問題，轉(zhuǎn)換成一個單輪的意圖理解問題，從而復用原有的單輪理解效果。例如：我想看電影-周星馳演的一喜劇片，三個query合并以后，解析到實際用戶的需求，是周星馳主演的喜劇電影。優(yōu)點：簡單，粗暴，易于實現(xiàn)，幾乎服用了單輪解析能力缺點：簡單，粗暴，易于出錯，幾乎沒有任何實質(zhì)性的多輪解析能力，純粹靠運氣優(yōu)化方向：可以加入一些query拼接的限制，提高拼接的準確率，從而在運用到單輪解析能力的同時，不至于在準召上偏離得太離譜（如：只拼接兩輪的、三輪及以上拼接，考慮拼接后的意圖變化情況等）嘗試方案2:不是簡單拼接，而是結(jié)果和query的識別過程拼接：單輪已經(jīng)解析出了一個意圖和某些槽位，將此意圖及槽位存儲起來。遇到query的時候，判定該意圖下，這個query能否納入同樣的意圖中，抽取出對應的槽位。如果可以，則更新意圖的槽位內(nèi)容。如果不可以，則拋棄當前意圖，以query作為單輪解析，得到新的意圖。例如：我想看電影-要免費的，第一輪意圖為電影，第二輪在電影這個意圖下，發(fā)現(xiàn)“免費”這個槽位，是符合電影意圖描述的，所以，為該意圖的槽位新增一個“免費”例如：我想看愛情電影一能給我講個笑話嗎，第一輪意圖為電影，而第二輪在電影這個意圖下，發(fā)現(xiàn)query并沒有任何跟電影相關(guān)的槽位信息，所以，拋棄第一輪的電影意圖，直接將第二輪query當成單輪的，直接解析得到新的意圖-笑話。優(yōu)點：基于意圖來進行判定，比拼接更準確，也更廣泛地識別當前query是否仍在同一個意圖中，遞歸地實現(xiàn)多輪意圖解析，避免了拼接過長，拼接過于粗暴帶來的誤召回和欠召回缺點：存儲下來的是意圖和槽位，然后再基于此進行新的query解析，判定是否槽位能夠納入原有意圖范圍內(nèi)，這種遞歸旦有某一步除了問題，后面的每一步，基本上都掛掉了，納入原有意圖范圍內(nèi)，這種遞歸解析錯誤的傳播深度和廣度，都會很大優(yōu)化方向：前面幾步，可以輔助以方案一的拼接，來提高意圖的正確性，保證后續(xù)的方向，都是正確的嘗試方案3:以對話管理過程中增加一些冗余性來對方案2進行擴充，提高召回率。多輪交互一旦進入了某個意圖，即開始該意圖的滿足，而當其第一次多輪解析未能命中該意圖，也無法命中任何其他意圖（純屬閑聊）的時候，可以過該輪的意圖解析，而繼續(xù)進入下一輪，檢測該意圖是否涵蓋了當前query中的槽位，是則可以繼續(xù)該意圖的滿足，不至于輕易斷開多輪對話流（此處的冗余輪數(shù)可以根據(jù)實際情況自行調(diào)整，一輪、兩輪均可）。例如：給我推薦個餐廳-有川菜口味的嗎-咦，還蠻多嘛（冗余跳過）―找個最便宜的吧優(yōu)點：可以一定程度上緩解方案二遞歸性帶來的意外跳出意圖的問題，提高每個意圖的服務整體性，保證多輪的延續(xù)性。缺點：因為原理上跟方案二是一致的，所以還是會存在方案二的缺點，并且冗余跳過有可能是未能識別到具體的意圖，從而令本該跳出對話的多輪，多停留了一兩輪在了當前意圖，才能跳出去，會降低交互的智能性。優(yōu)化方向：盡可能提升多個意圖的覆蓋面，從而減少切換意圖的誤判為聊天，提升冗余的準確性上述三個方案，都是可以直接通過比較簡單的框架設(shè)計來實現(xiàn)的，而讀者可以發(fā)現(xiàn)，可能最關(guān)鍵的還是這些方案的前提：【假設(shè)有一個已經(jīng)做得比較好的單輪理解】?？梢钥吹剑瑔屋喞斫馐撬幸鈭D識別的基礎(chǔ)，只有做好單輪的理解，才可能做好多輪，當然，做好了單輪，不一定就能做好多輪。對話系統(tǒng)的分類及方法：按照對話答案的生成方式大致可以分為以下幾種：規(guī)則依存系統(tǒng)（Rule-basedsystem）：對話經(jīng)過預定義的規(guī)則（關(guān)鍵詞、if-else、機器學習方法等）處理，然后執(zhí)行相應的操作，產(chǎn)生回復。（ELIZA系統(tǒng)如果輸入語句中沒有發(fā)現(xiàn)預定義規(guī)則則生成generic的響應）。缺點是規(guī)則的定義，系統(tǒng)越復雜規(guī)則也越多，而且其無法理解人類語言，也無法生成有意義的自然語言對話。處在比較淺層的階段;檢索依存系統(tǒng)（IR-basedSystems）：信息檢索或者最近鄰方法，要求生成的響應與對話存在語義相關(guān)性（VSM、TF-IDF、Rank、推薦等排序方法）。有點是比生成模型簡單，直接從訓練集中選擇答案，且可以添加自定義規(guī)則干預排序函數(shù)較為靈活；缺點是無法應對自然語言的多變性、語境解構(gòu)、連貫性等，對語義的細微差別也無法識別；自生成依存系統(tǒng)（Generation-basedSystems）:將對話視為input-outputmapping問題，提出了MT-based方法（SMT統(tǒng)計機器翻譯、IBM-model、phrase-basedMT等），這種方法復雜且無法很好的解決輸入輸出的對應關(guān)系（尤其是當句子較復雜的時候，只適合單詞級別）。但是NN、seq-to-seq等方法很好地解決了這些問題，可以生成更加豐富、有意義、特別的對話響應。但是還存在許多問題，比如沉悶的回應、agent沒有一個固定的風格、多輪對話槽填充等等。框架依存系統(tǒng)（Frame-basedDialogueSystems）:定義一個對話的框架，及其中所涉及的重要元素。優(yōu)點是目標明確框架對對話指導意義明顯，適用于飛機票、餐館等預定領(lǐng)域。缺點是框架設(shè)計需要人工成本，且無法遷移到別的領(lǐng)域，并未涉及到人類語言的理解層面。按照對話的應答方式大致可以分為以下幾種：.有限狀態(tài)機系統(tǒng)（Finite-StateMachineSystems）：（用戶使用預定義的模板提問，系統(tǒng)之響應能力范圍之內(nèi)的問題），這種方法的缺點是完全依賴于對框架slot的填充，而無法決定對話的進程和狀態(tài)（用戶接受建議、拒絕等）.純粹的多輪對話依存系統(tǒng)(State-basedSystems):主要包含系統(tǒng)狀態(tài)(上下文信息、用戶意圖、對話進程等)和系統(tǒng)行動兩(基于state采取action)個部分。MDP、POMDP等模型。.純粹的單輪對話(Question-Answering-QA)系統(tǒng)(BasedDialogueSystems)：factoidQA-based，個人助手，需要回答各種各樣的問題并且進行交互式對話。目前的研究點主要包括，bot如何通過對話進行自學習、對于out-of-vocab的詞匯應該學會問，即學會與人交流、如何通過在線反饋學習(犯錯時調(diào)整、正確時加強) 待處理部分 1.2本文解決問題本文主要關(guān)注于chit-chat和QA-baseddialogsystem。開放域?qū)υ捝蒫hit-chat首先探討如何構(gòu)建一個能夠與人類進行有趣，有意義，連貫，一致和長期對話的引人入勝的閑聊式對話系統(tǒng)。要求其擁有以下特性：避免dull沉悶的回應，產(chǎn)生語義更加豐富的響應解決一致性問題，避免前后相應不一致可以進行長期多輪對話使用對抗學習生成人類無法區(qū)分的對話響應為了實現(xiàn)上述的功能和特點，主要會引入下面幾種技術(shù)和算法來解決相應的問題?；バ畔?避免無聊的相應目前神經(jīng)網(wǎng)絡傾向于產(chǎn)生類似于“Idon'tknow”這種無聊的響應(dullresponse/genericresponse)，不利于對話進行。因為對于模型來講，“Idon'tknow”這種答案往往都是正確的，但是我們可以反過來思考這個問題，也就是將"Idon'tknow"作為輸入進行訓練。因此可以使用MaximumMutualInformation(MMI)取代MLE作為訓練的優(yōu)化指標，事實證明這種方法可以大幅度提升模型響應的豐富度，減少dullresponse產(chǎn)生的頻率。這部分方法將會在第三章進行詳細的介紹。解決Bot前后一致性問題目前對話機器人無法產(chǎn)生前后一致性的對話，簡單說就是沒有一個固定的風格。所以要給bot一個連續(xù)的“角色”，這種角色可以當做是身份元素(事實背景、用戶簡介)、語言行為、交互方式等的組合。作者基于Seq-to-Seq模型提出了兩種角色模型，一個是單bot的SpearkerModel，另一個是雙bot的Spearker-AddresseeModel。這部分內(nèi)容可以參考第四章以及他在2016年發(fā)表在ACL的論文“Apersona-basedneuralconversationmodel”。使用強化學習RL實現(xiàn)長期多輪對話當前的Seq-to-Seq模型大都使用MLE作為目標函數(shù)并根據(jù)一輪對話來產(chǎn)生響應，很難產(chǎn)生更長久的多輪對話，一般在兩輪之后就陷入重復。所以作者提出使用強化學習來最大化長期獎勵的期望來增加對話輪次。并建設(shè)性地提出了三種Reward公式，**forward-looking、informative、coherent**，最后使用policygradient的方法進行訓練，取得了很好的效果。這部分內(nèi)容會在第五章進行詳細介紹，或者參考其在2016年發(fā)表在EMNLP的文章“DeepReinforcementLearningforDialogueGeneration”使用對抗生成學習GAN產(chǎn)生對話目前模型生成的對話大都來自于訓練數(shù)據(jù)集，這就一定程度上限制了產(chǎn)生相應的多樣性、豐富程度等。所以引入GAN來生成更接近于人類語言的響應。這里使用一個Seq-to-Seq作為生成器，在用一個鑒別器來標記生成的響應是人類語言還是機器生成語言，這樣Seq-to-Seq最終生成的響應會越來越接近人類語言。這部分內(nèi)容會在第六章進行介紹，或者參考其在2017年發(fā)表在EMNLP上的文章〃Adversariallearningforneuraldialoguegeneration”。交互式QA對話機器人其次探討bot如何通過online學習完善自己，使得交互性更強。要求其可以：學會向人類提問，何時何處問什么從online學習，根據(jù)錯誤改進自己通過提問進行交互學習因為目前問答系統(tǒng)當遇到自己回答不了的問題時（沒見過的表達形式，自己不知道的東西等情況），往往會做出很差的回應或者重定向到其他資源（展示搜索網(wǎng)頁的結(jié)果）。但我們更希望機器人在遇到這種問題時可以通過向?qū)Ψ教釂柕姆绞絹磉M行交互式問答進而解決該問題。可以通過離線學習或者在線強化學習的方式進行訓練。這部分內(nèi)容將會在第七章進行介紹，也可以參考其在2017年發(fā)表在ICLR上的論文〃Learningthroughdialogueinteractionsbyaskingquestions”。Human-in-the-Loop的對話學習目前的對話機器人大都使用固定的數(shù)據(jù)集提前訓練好之后就開始使用，但很多情況下我們需要機器人上線之后不斷地根據(jù)具體環(huán)境改善自己，也就是要進行在線學習，根據(jù)對方的反饋來不斷地調(diào)整自己。所以作者使用一個teacher-student的對話數(shù)據(jù)集并結(jié)合強化學習進行訓練。這部分工作將在第，八章進行介紹，也可以參考其2017年發(fā)表在ICLR上的文章“Dialoguelearningwithhuman-in-the-loop”。第二章背景知識這一部分主要介紹了論文中使用到的Seq-to-Seq模型、MemoryNetwork模型、增強學習中的policygradient方法這三塊內(nèi)容。如果不熟悉的同學可以抽時間看一看，這里因為之前已經(jīng)對Seq-to-Seq和MemNN兩部分有所掌握，所以主要看了一下policynetwork方面的知識，當做是背景知識補充。強化學習中兩個主流的方法就是Q_learning和PolicyNetwork，相比Q_learning，policynetwork不需要顯示的求解估值函數(shù)，而且對于連續(xù)動作和狀態(tài)空間的問題，也可