2024自然語言處理中的多任務學習

目錄 1 3 4 6 7 11 14 15 18 22 22 25 25 26 27 29 33FudanNLP，并將在12月中旬推出全新的NLP系統(tǒng)：fastNLP。NLPNLPELMoOpenAIGPTBERTDeepContextualizedWordRepresentationsELMo兩個雙向的LSTM來預測一個前向、正向的語言模型，然后將它們拼起來，這個模型是一BERT是將機器翻譯中的常用模型transformerNLPNLP下面給出一個多任務學習的例子，對于兩個單獨的任務訓練兩個模型，對于任務1訓練一NLPtaskA和taskB兩個任務可以共享同一個模型。m合損失函數(shù)jointloss。MTL，我們可以允許模型竊聽，即通過任務A來學習該特征。2008年由RonanCollobert在論文AUnifiedArchitectureforNaturalLanguageProcessing：DeepNeuralNetworkswithMultitaskLearningQstaskB，在中間部分兩個任務有交互，αtaskA過來，有多少信息從taskB中流過來，這樣兩個任務就由兩路，四個系數(shù)構(gòu)成一個矩陣做覺領(lǐng)域，后來被人們用于NLP。memorynegativetransfer，就需要判斷哪些內(nèi)容是和任務相關(guān)的，這就引入了近兩年流行的對抗學習，在對抗學習中，中間的LSTM共享層有一個判決器來區(qū)分共享特征從哪個任務傳遞過來，在送入LSTM這樣就去掉了特征的源信息，保證了共享LSTM學到的是與源無關(guān)的共享價值信息，這些2016年AndersSфgaardDeepMulti-taskLearningwithLowLevelsTasksSupervisedatLowerLayers中提出在低級的網(wǎng)絡(luò)層次輸出低級的任務，在高級的網(wǎng)絡(luò)層次輸出高級的任務。例如在第一層輸出詞性標簽POStag，在第三層輸出chunktag，將NLP任務按照不同的級別來設(shè)計共享模式。共享模式搜索是讓計算機自動搜索這些共享模式，具體做法如圖d所示，我們希望設(shè)計一1AM4BM3CM2hardsoft在面向NLP的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索中，從共享池中挑選Ma1，Ma2等模塊來組成不同的模分都假設(shè)答案在原文中出現(xiàn)，我們用的一個主要框架是BiderectionalAttention，同時給你context和query，做一個雙向的注意力交互，最終確定兩個位置，一個是答案開始的用性。幾乎NLP所有任務都可以轉(zhuǎn)化成閱讀理解任務通過該框架解決和完成。NLPNLPBiderectionalAttention因此需要對BiderectionalAttention框架進行改進。還有一個較大