2023年自然語(yǔ)言處理如何入門-NLPer的打怪升級(jí)之路報(bào)告

00NLP的研究早在第一臺(tái)電子計(jì)算機(jī)出現(xiàn)后不久就已經(jīng)開(kāi)展NumericalAndCalcul1954年，IBM實(shí)驗(yàn)室進(jìn)行了自動(dòng)翻譯實(shí)驗(yàn)，將6022\高中--\高中--高中--高中--\4李宏毅2020機(jī)器學(xué)習(xí)深度學(xué)習(xí)(完整版)國(guó)語(yǔ)https://www.bilibili神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)邱錫鵬/v99高中--\高中--\22編程關(guān)---框架的迭代速度驚人22編程關(guān)—每年算法都有新的熱點(diǎn)22編程關(guān)—如何過(guò)關(guān)\高中--\高中--33論文關(guān)—NLP&ML相關(guān)論文每年10K+ACL20213350篇論文投稿，最終有21.3%的論文被主會(huì)錄EMNLP2021共收到有效投稿3114篇，錄用754篇，錄用率僅為24.82%。ICML2021的論文接收結(jié)果已經(jīng)公布，今年一共有5513篇有效投稿，其中1184篇論文被接收，接收率為21.5%。ICLR2021共收到了2997篇論文投稿，相比去年的2594篇論文投稿，增加了15.5%。其中860篇論文被接收，接受率為28.7%NeurIPS2021收到有效論文投稿9122篇，接收率為26%，只有3%論文被接收為Spotlight。33論文關(guān)—分層過(guò)濾，集團(tuán)作戰(zhàn)，公眾號(hào)熱點(diǎn) ContrastiveLearningforMany-to-manyMultilingualN1.用對(duì)比學(xué)習(xí)的方法將多種語(yǔ)言映射到同一個(gè)語(yǔ)義2.對(duì)句子中的phrase進(jìn)行aligned的跨語(yǔ)空ss-間中，令不同語(yǔ)言同語(yǔ)義的句子在表示空間平行語(yǔ)料和單獨(dú)語(yǔ)料的數(shù)據(jù)增強(qiáng)方法如下圖高中--高中--\44任務(wù)關(guān)—研究熱點(diǎn)切換速度快44任務(wù)關(guān)—熱門方向年年換，我該如何選選擇熱門的方向44任務(wù)關(guān)—熱門方向年年換，我該如何選選擇冷門的方向44任務(wù)關(guān)—熱門方向年年換，我該如何選44任務(wù)關(guān)—熱門方向年年換，我該如何選44任務(wù)關(guān)—熱門方向年年換，我該如何選“四縱三橫”理論---王興44任務(wù)關(guān)—什么樣的Idea可以發(fā)論文44任務(wù)關(guān)—如何找到Motivation44任務(wù)關(guān)—如何找到Motivation44任務(wù)關(guān)—過(guò)關(guān)條件\高中--\高中--44有了空氣動(dòng)力學(xué)才有了航空器的大發(fā)展第一代:基于規(guī)則的方法第二代:基于統(tǒng)計(jì)機(jī)器學(xué)習(xí)的方法第三代:基于預(yù)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)方法第四代:基于超大規(guī)模預(yù)訓(xùn)練語(yǔ)言的PromptLearning?第一代:基于規(guī)則的方法詞形分析任務(wù)第二代:基于統(tǒng)計(jì)機(jī)器學(xué)習(xí)的方法特征工程（FeatureEngineering我們要進(jìn)行 第二代:基于統(tǒng)計(jì)機(jī)器學(xué)習(xí)的方法雖然解放手動(dòng)配置特征模板所需要的人力，但是是以需要人工去設(shè)計(jì)合適網(wǎng)絡(luò)結(jié)構(gòu)。第三代:基于預(yù)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)方法）：第三代:基于預(yù)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)方法第四代:基于超大規(guī)模預(yù)訓(xùn)練語(yǔ)言的PromptLearning?情感傾向分析任務(wù)第一代:基于規(guī)則的方法語(yǔ)言學(xué)***第二代:基于統(tǒng)計(jì)機(jī)器學(xué)習(xí)的方法語(yǔ)言學(xué)**，概率**，最優(yōu)化***第三代:基于預(yù)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)方法語(yǔ)言學(xué)，概率*，最優(yōu)化**第四代:基于超大規(guī)模預(yù)訓(xùn)練語(yǔ)言的PromptLearning?第N代:基于貝葉斯網(wǎng)絡(luò)?第N+1代:基于因果推斷?4從事自然語(yǔ)言處理深層次研究需要掌握基礎(chǔ)理論高中--高中--\55如何寫論文---論x文發(fā)表流程《機(jī)器翻譯學(xué)術(shù)論?文寫作?方法和技巧》清華大學(xué)劉洋通常大家認(rèn)為的審稿人應(yīng)該是這樣審稿的:敲。即使你的英?文寫得極其糟糕、即使你的?文章組織很混亂、即使你的表述很難看懂，審稿人花費(fèi)了大量的時(shí)間后終于看懂了，他認(rèn)實(shí)際上審稿?往往是這樣審稿的:他不一定是專家，一直忙于其他事，在deadline到來(lái)之前一天要完看題目、摘要，掃一下introduction（知道你做什么），然后直接翻到最后找核心實(shí)驗(yàn)結(jié)果（做得好不好），然后基本確定錄還是不錄（也許只用5分鐘?。Ｈ绻麤Q定錄，剩下就是寫些贊美的話，指出些次要的小?毛病。如果決定拒，下面的過(guò)程就是細(xì)看中間部分找理由第-印象定錄拒，5分鐘內(nèi)打動(dòng)審稿人!信息的呈現(xiàn)符合讀者的認(rèn)知慣性信息的呈現(xiàn)符合讀者的認(rèn)知慣性盡量降低讀者的理解難度盡量降低讀者的理解難度盡量提高讀者閱讀時(shí)的愉悅感盡量提高讀者閱讀時(shí)的愉悅感圖?根據(jù)標(biāo)題過(guò)濾50%?根據(jù)摘要再過(guò)濾20%?根據(jù)介紹再過(guò)濾20%?剩下的10%再仔細(xì)看論文?用一句話概括你所做的工作?考慮搜索引擎的影響，包含關(guān)鍵詞幾句話概括你的工作?力圖把所有細(xì)節(jié)都說(shuō)清楚?用很專業(yè)的術(shù)語(yǔ)來(lái)描述55如何寫論文--摘要的一個(gè)例子研究的任務(wù)是什么現(xiàn)有的方法有什么問(wèn)題我們的解決思路是什么實(shí)現(xiàn)這個(gè)思路會(huì)遇到哪些難點(diǎn)我們?nèi)绾谓鉀Q的我們解決的還不錯(cuò)Maetal.Sentence-levelDistantRelationExtractionviaNegativeTraining,ACL202155如何寫論文--摘要的一個(gè)例子我們的解決思路是什么我們?nèi)绾谓鉀Q的我們解決的還不錯(cuò)研究的任務(wù)是什么現(xiàn)有的方法哪些現(xiàn)有的方法有什么問(wèn)題我們的解決思路是什么我們?nèi)绾谓鉀Q的我們的核心貢獻(xiàn)是什么55如何寫論文—首頁(yè)加圖表現(xiàn)在非常流行在第一頁(yè)右上部分加入一個(gè)圖表說(shuō)明本文的Motivation55如何寫論文—段落的寫法55如何寫論文—段落的寫法?有利于降低初學(xué)者或其他