科研論文寫(xiě)作寫(xiě)作路徑+實(shí)踐（更新版）

導(dǎo)師：John老師講師簡(jiǎn)介：中國(guó)科學(xué)院大學(xué)博士研究生，曾在騰訊和微軟亞洲研究院進(jìn)行NLP相關(guān)的項(xiàng)目。在國(guó)際會(huì)議發(fā)表論文近20篇。5項(xiàng)專(zhuān)利，多次獲得國(guó)家獎(jiǎng)學(xué)金，科研學(xué)術(shù)競(jìng)賽top-3?？蒲姓撐膶?xiě)作寫(xiě)作路徑+實(shí)踐主要內(nèi)容目錄如何科學(xué)選題如何獲得好的idea如何寫(xiě)出好的論文科研論文寫(xiě)作框架科學(xué)選題科學(xué)選題科學(xué)實(shí)驗(yàn)過(guò)程前期工作尋找ideas進(jìn)行實(shí)驗(yàn)新的idea？？？？？？？？？？？？科學(xué)選題科學(xué)選題選題從公司的招聘信息從目前頂會(huì)論文的分析從Arxiv上看最近的論文都在作什么科學(xué)選題科學(xué)選題選題從公司的招聘信息從目前頂會(huì)論文的分析從Arxiv上看最近的論文都在作什么科學(xué)選題科學(xué)選題選題從公司的招聘信息從目前頂會(huì)論文的分析從Arxiv上看最近的論文都在作什么科學(xué)選題科學(xué)選題選題從公司的招聘信息從目前頂會(huì)論文的分析從Arxiv上看最近的論文都在作什么科學(xué)選題科學(xué)選題選題從公司的招聘信息從目前頂會(huì)論文的分析從Arxiv上看最近的論文都在作什么科學(xué)選題科學(xué)選題選題從公司的招聘信息從目前頂會(huì)論文的分析從Arxiv上看最近的論文都在作什么主要內(nèi)容目錄如何科學(xué)選題如何獲得好的idea如何寫(xiě)出好的論文科研論文寫(xiě)作框架IDEAS論文想法多讀論文從論文的實(shí)驗(yàn)+分析得出結(jié)論實(shí)例：ESConv數(shù)據(jù)集IDEAS論文想法多讀論文從論文的實(shí)驗(yàn)+分析得出結(jié)論實(shí)例：ESConv數(shù)據(jù)集動(dòng)手做實(shí)驗(yàn)不親自做實(shí)驗(yàn)永遠(yuǎn)不知道有什么BUG實(shí)例：DureaderCase分析跑別人的代碼，分析預(yù)測(cè)的數(shù)據(jù)結(jié)果。IDEAS論文想法多讀論文從論文的實(shí)驗(yàn)+分析得出結(jié)論實(shí)例：ESConv數(shù)據(jù)集動(dòng)手做實(shí)驗(yàn)不親自做實(shí)驗(yàn)永遠(yuǎn)不知道有什么BUG實(shí)例：DureaderCase分析跑別人的代碼，分析預(yù)測(cè)的數(shù)據(jù)結(jié)果。IDEAS論文想法多讀論文從論文的實(shí)驗(yàn)+分析得出結(jié)論實(shí)例：ESConv數(shù)據(jù)集動(dòng)手做實(shí)驗(yàn)不親自做實(shí)驗(yàn)永遠(yuǎn)不知道有什么BUG實(shí)例：DureaderCase分析跑別人的代碼，分析預(yù)測(cè)的數(shù)據(jù)結(jié)果。直覺(jué)的（睡夢(mèng)中想到也說(shuō)不定）主要內(nèi)容目錄如何科學(xué)選題如何獲得好的idea如何寫(xiě)出好的論文科研論文寫(xiě)作框架目錄動(dòng)機(jī)明確思維導(dǎo)圖實(shí)驗(yàn)充分如何寫(xiě)出好的論文動(dòng)機(jī)明確是基礎(chǔ)也是最重要的部分1）你的論文主題是什么，目的是什么；2）你選擇這個(gè)話題的原因，比如寫(xiě)作背景、時(shí)代背景等等；我們以一個(gè)例子進(jìn)行介紹。如何寫(xiě)出好的論文動(dòng)機(jī)明確是基礎(chǔ)也是最重要的部分1）你的論文主題是什么，目的是什么；2）你選擇這個(gè)話題的原因，比如寫(xiě)作背景、時(shí)代背景等等；我們以一個(gè)例子進(jìn)行介紹。如何寫(xiě)出好的論文思維導(dǎo)圖明確每一個(gè)章節(jié)的內(nèi)容和作用引言部分相關(guān)工作方法實(shí)驗(yàn)總結(jié)如何寫(xiě)出好的論文實(shí)驗(yàn)充分動(dòng)機(jī)是什么？緊扣動(dòng)機(jī)進(jìn)行實(shí)驗(yàn)的整理有哪些必須做的實(shí)驗(yàn)？參考往常的論文所做的實(shí)驗(yàn)——主實(shí)驗(yàn)、消融實(shí)驗(yàn)、case實(shí)驗(yàn)用什么數(shù)據(jù)集？是否需要在多個(gè)數(shù)據(jù)集上進(jìn)行驗(yàn)證為什么做這個(gè)實(shí)驗(yàn)？一定要明確實(shí)驗(yàn)的目的和分析，分析很重要實(shí)驗(yàn)占比多少？主要內(nèi)容目錄如何科學(xué)選題如何獲得好的idea如何寫(xiě)出好的論文科研論文寫(xiě)作框架論文書(shū)寫(xiě)書(shū)寫(xiě)思路：定義好研究的任務(wù)是什么。比如情感原因?qū)Τ槿∈莻€(gè)什么任務(wù)。嵌套NER等等目前的挑戰(zhàn)是什么？可以從前人工作的角度出發(fā)，怎么做的。有什么缺點(diǎn)？--Motivation為了解決這個(gè)問(wèn)題，提出什么模型或者方法（簡(jiǎn)述）這個(gè)模型包括幾部分？核心模塊是什么？作用是什么？陳述其余模塊的功能和效果。實(shí)驗(yàn)結(jié)果表明…1摘要論文書(shū)寫(xiě)1摘要論文書(shū)寫(xiě)APER:AdaPtiveEvidence-drivenReasoningNetworkformachinereadingcomprehensionwithunanswerablequestions

1摘要論文書(shū)寫(xiě)ACo-InteractiveGraphAttentionNetworkforJointDialogActRecognitionandSentimentClassification

1摘要論文書(shū)寫(xiě)DIALOGRAPH:INCORPORATINGINTERPRETABLESTRATEGY-GRAPHNETWORKSINTONEGOTIATIONDIALOGUES

1摘要論文書(shū)寫(xiě)2Introduction書(shū)寫(xiě)思路：擴(kuò)展說(shuō)明一下研究的任務(wù)定義以及研究該任務(wù)的意義。目前的挑戰(zhàn)是什么，舉例說(shuō)明（現(xiàn)存工作沒(méi)有解決的問(wèn)題）（可以列舉一個(gè)例子說(shuō)明現(xiàn)存工作沒(méi)有考慮，或者沒(méi)有達(dá)到這種效果）闡述現(xiàn)存工作，有什么問(wèn)題(跟現(xiàn)有的工作的比較)--舉例說(shuō)明現(xiàn)在的工作是怎么做的，可以分成幾大類(lèi)，每一類(lèi)有若干典型工作，闡述他們存在的缺點(diǎn)，或者說(shuō)該任務(wù)的挑戰(zhàn)他們還沒(méi)有很好解決。論文書(shū)寫(xiě)2Introduction做這個(gè)任務(wù)是有意義的論文書(shū)寫(xiě)2Introduction書(shū)寫(xiě)思路：擴(kuò)展說(shuō)明一下研究的任務(wù)定義以及研究該任務(wù)的意義。目前的挑戰(zhàn)是什么，舉例說(shuō)明（現(xiàn)存工作沒(méi)有解決的問(wèn)題）（可以列舉一個(gè)例子說(shuō)明現(xiàn)存工作沒(méi)有考慮，或者沒(méi)有達(dá)到這種效果）闡述現(xiàn)存工作，有什么問(wèn)題(跟現(xiàn)有的工作的比較)--舉例說(shuō)明現(xiàn)在的工作是怎么做的，可以分成幾大類(lèi)，每一類(lèi)有若干典型工作，闡述他們存在的缺點(diǎn)，或者說(shuō)該任務(wù)的挑戰(zhàn)他們還沒(méi)有很好解決。為了解決該問(wèn)題，提出了什么模型，包括幾部分，可以展開(kāi)介紹每個(gè)部分的功能和效果。用到的技術(shù)是什么？本文的貢獻(xiàn)：一般3點(diǎn)，注意重點(diǎn)突出模塊的作用和效果論文書(shū)寫(xiě)2Introduction論文書(shū)寫(xiě)2Introduction摘要和Intro對(duì)應(yīng)起來(lái)論文書(shū)寫(xiě)3Relatedwork書(shū)寫(xiě)思路：分成2-3部分說(shuō)明。每一部分的相關(guān)工作可以按照類(lèi)別展開(kāi)說(shuō)明再具體每一個(gè)工作的細(xì)節(jié)。最后要說(shuō)一下之前工作和我們的區(qū)別，我們的優(yōu)勢(shì)在哪里。這一部分的相關(guān)工作和Introduction中相關(guān)工作有什么區(qū)別？論文書(shū)寫(xiě)3Relatedwork書(shū)寫(xiě)思路：分成2-3部分說(shuō)明。每一部分的相關(guān)工作可以按照類(lèi)別展開(kāi)說(shuō)明再具體每一個(gè)工作的細(xì)節(jié)。最后要說(shuō)一下之前工作和我們的區(qū)別，我們的優(yōu)勢(shì)在哪里。這一部分的相關(guān)工作和Introduction中相關(guān)工作有什么區(qū)別？相關(guān)的工作，針對(duì)某一個(gè)任務(wù)（比如分詞）的一些方法--傳統(tǒng)，深度。再如：圖卷積。論文書(shū)寫(xiě)3Relatedwork論文書(shū)寫(xiě)4模型部分書(shū)寫(xiě)思路：整體一段介紹模型的總體結(jié)構(gòu)圖分段闡述每個(gè)模塊（為了達(dá)到什么目的，用什么方法，怎么做）先說(shuō)目的和作用再說(shuō)怎么個(gè)操作和過(guò)程訓(xùn)練損失預(yù)測(cè)（是否和訓(xùn)練不一致，有沒(méi)有后處理等）論文書(shū)寫(xiě)4模型部分論文書(shū)寫(xiě)5實(shí)驗(yàn)部分（至少30%）書(shū)寫(xiě)思路：數(shù)據(jù)集有什么特點(diǎn)數(shù)據(jù)集規(guī)模標(biāo)簽類(lèi)別等等實(shí)驗(yàn)設(shè)置參數(shù)（設(shè)置的范圍，和最后的選定值）預(yù)處理Baseline評(píng)價(jià)指標(biāo)論文書(shū)寫(xiě)5實(shí)驗(yàn)部分（至少30%）書(shū)寫(xiě)思路：實(shí)驗(yàn)結(jié)果（分析為主，效果的提升不要重點(diǎn)說(shuō)，為什么有提升，為什么效果不好，重點(diǎn)寫(xiě)）主實(shí)驗(yàn)--表格雙欄ablation實(shí)驗(yàn)分析實(shí)驗(yàn)，解釋一下模型內(nèi)部的機(jī)理或者為啥奏效可視化實(shí)驗(yàn)參數(shù)實(shí)驗(yàn)論文書(shū)寫(xiě)5實(shí)驗(yàn)部分（至少30%）論文書(shū)寫(xiě)5實(shí)驗(yàn)部分（至少30%）論文書(shū)寫(xiě)6總結(jié)書(shū)寫(xiě)思路：我們提出了什么包含幾個(gè)模塊每個(gè)模塊的作用，達(dá)到的效果實(shí)驗(yàn)數(shù)據(jù)實(shí)驗(yàn)結(jié)果說(shuō)明了什么直接給結(jié)論，不用再寫(xiě)分析之類(lèi)的未來(lái)的工作（考慮其他因素，模型部分可以改進(jìn)點(diǎn)）論文書(shū)寫(xiě)6總結(jié)1.矩陣計(jì)算2.概率論、信息論神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識(shí)一、神經(jīng)網(wǎng)絡(luò)與多層感知器

1.1人工神經(jīng)元：MP模型1.2多層感知機(jī)1.3激活函數(shù)（sigmoid/tanh/relu）1.4反向傳播（BP）：梯度下降，學(xué)習(xí)率1.5損失函數(shù)：MSE/CE；Softmax函數(shù)1.6權(quán)值初始化1.7正則化：L1、L2和Dropout；提及BN/GN/IN/LN二、卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.1卷積神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介2.2卷積層2.3池化層2.4Lenet5三、循環(huán)神經(jīng)網(wǎng)絡(luò)3.1rnn循環(huán)神經(jīng)網(wǎng)絡(luò)3.2lstm長(zhǎng)短記憶循環(huán)神經(jīng)網(wǎng)絡(luò)3.3gru門(mén)控循環(huán)單元NLP基礎(chǔ)知識(shí)基本概念預(yù)備知識(shí)形式語(yǔ)言與自動(dòng)機(jī)語(yǔ)料庫(kù)與語(yǔ)言知識(shí)庫(kù)語(yǔ)言模型概率圖模型自動(dòng)分詞、命名實(shí)體識(shí)別與詞性標(biāo)注Python基礎(chǔ)1.編程基礎(chǔ)2.機(jī)器學(xué)習(xí)庫(kù)數(shù)學(xué)基礎(chǔ)PyTorch入門(mén)PyTorch簡(jiǎn)介及安PyTorch人名幣分類(lèi)PyTorch數(shù)據(jù)讀取模塊PyTorch數(shù)據(jù)增強(qiáng)PyTorchModule模塊PyTorch常用網(wǎng)絡(luò)層PyTorch損失函數(shù)PyTorch優(yōu)化器OptimizerPyTorch可視化TensorBoardPyTorch實(shí)用技巧GPU/Finetune/保存加載學(xué)習(xí)路徑NLPBaselineICLR2013，EfficientEstimationofWordRepresentationinVectorSpace，詞向量扛鼎之作EMNLP2014，GloVe:GlobalVectorsforWordRepresentation，最著名的詞向量訓(xùn)練模型之一EMNLP2015，Compositionalcharactermodelsforopenvocabularywordrepresentation，第一篇介紹字符嵌入EMNLP2014，ConvolutionalNeuralNetworkforSentenceClassification，CNN文本分類(lèi)扛鼎之作NIPS2015，Character-levelConvolutionalNetworksforTextClassification，第一篇字符級(jí)別的文本分類(lèi)EACL2017，BagofTricksforEfficientTextClassification，細(xì)粒度文本分類(lèi)模型NIPS2014，SequencetoSequenceLearningwithNeuralNetworks，深度LSTM做神經(jīng)機(jī)器翻譯ICLR2015，NeuralMachineTranslationbyJointlyLearningtoAlignandTranslate，第一篇提出注意力機(jī)制的論文NAACL2016，HierarchicalAttentionNetworksforDocumentClassification，HanAttention用于文本分類(lèi)Coling2018，SGM:SequenceGenerationModelforMulti-labelClassification，第一篇使用序列生成做多標(biāo)簽文本分類(lèi)學(xué)習(xí)路徑數(shù)學(xué)基礎(chǔ)Python基礎(chǔ)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識(shí)Pytorch快速入門(mén)圖像基礎(chǔ)NLP基礎(chǔ)Step0：選修知識(shí)CV方向NLP方向10篇論文10篇論文Step1：BaselinePaperStep2：細(xì)分專(zhuān)題Paper語(yǔ)義分割；目標(biāo)檢測(cè)；GAN；OCR；輕量化網(wǎng)絡(luò)信息抽取