深度學習 教學大綱

深度學習一、課程說明課程編號：092115Z10課程名稱（中/英文）：深度學習/DeepLearning課程類別：選修學時/學分：32/2先修課程：機器學習、線性代數(shù)、概率論與數(shù)理統(tǒng)計、高等數(shù)學、計算機程序設(shè)計基礎(chǔ)適用專業(yè)：大數(shù)據(jù)、計算機科學與技術(shù)、智能科學與技術(shù)、物聯(lián)網(wǎng)工程、信息安全教材、教學參考書：臺灣大學MachineLearningandhavingitdeepandstructured.毅.tw/~tlkagk/courses_MLDS17.html《DeepLearning》.IanGoodfellow，YoshuaBengio，andAaronCourville（著）.MIT,2017《機器學習》.周志華（著）.清華大學出版社,2016《深度學習:原理與應用實踐》.張重生（著）.電子工業(yè)出版社,2016《DeepLearning:APractitioner'sApproach》.AdamGibsonandJoshPatterson（著）.O'ReillyMedia,2017《深度學習兒方法與應用》.鄧力,俞棟（著），謝磊（譯）.機械工業(yè)出版社,2016《神經(jīng)網(wǎng)絡(luò)與深度學習》.吳岸城（著）.電子工業(yè)出版社,2016二、課程設(shè)置的目的意義本課程是為大數(shù)據(jù)專業(yè)設(shè)立的拓展知識體系的專業(yè)選修課。深度學習是人工智能特別是機器學習領(lǐng)域近幾年興起的一個研究熱點，主要是研究如何利用多層次的深度人工神經(jīng)網(wǎng)絡(luò)運用模塊化思想自動的學習數(shù)據(jù)的特征的一種端到端機器學習模式。課程設(shè)置的目的是讓學生了解深度學習這一機器學習和大數(shù)據(jù)分析前沿研究領(lǐng)域，從而一方面訓練學生的科研思維能力，另一方面為學生在機器學習、大數(shù)據(jù)分析等領(lǐng)域的創(chuàng)新實踐提供創(chuàng)新思維訓練。三、課程的基本要求知識：掌握單個神經(jīng)元與邏輯回歸的對應關(guān)系，以及前向全連通神經(jīng)網(wǎng)絡(luò)基本架構(gòu)；理解深度神經(jīng)網(wǎng)絡(luò)的模塊化思想；掌握深度學習在訓練和測試階段進行分別優(yōu)化的技巧（如自適應學習率、正則化、Dropout等）；掌握卷積神經(jīng)網(wǎng)絡(luò)基本思想并學會靈活運用；理解和掌握詞嵌入、自編碼器、遷徙學習等無監(jiān)督學習的基本原理；掌握結(jié)構(gòu)化學習的基本概念、原理和框架，并結(jié)合循環(huán)神經(jīng)網(wǎng)絡(luò)進一步理解結(jié)構(gòu)化學習的理念；了解和掌握深度強化學習的基本概念和方法。能力：能夠熟練掌握深度學習開發(fā)工具（如TensorFlow）的框架，并能夠基于深度神經(jīng)網(wǎng)絡(luò)設(shè)計和實現(xiàn)深度學習應用；能夠根據(jù)卷積神經(jīng)網(wǎng)絡(luò)的3個屬性靈活運用卷積神經(jīng)網(wǎng)絡(luò)到不同類型的機器學習任務(wù)；能夠運用詞嵌入、自編碼器、遷徙學習等技術(shù)完成各類無監(jiān)督學習的訓練任務(wù)；能夠運用循環(huán)神經(jīng)網(wǎng)絡(luò)完成訓練機器翻譯等結(jié)構(gòu)化學習的任務(wù)。素質(zhì)：建立深度學習基于框架的商業(yè)軟件開發(fā)觀念，通過課程中的演示、交互、討論培養(yǎng)表達、歸納、分析、溝通、交流等素質(zhì)，通過課程學習及課程項目建立深度學習技術(shù)到應用的思維模式，提升理解工程管理與經(jīng)濟決策的基本素質(zhì)。通過課外導學的模式，提升自主學習和終身學習的意識，形成不斷學習和適應發(fā)展素質(zhì)。四、教學內(nèi)容、重點難點及教學設(shè)計章節(jié)教學內(nèi)容總學時學時分配教學重點教學難點教學方案設(shè)計（含教學方法、教學手段）講課（含研討）實踐第1章緒論220從深度學習的發(fā)展歷程出發(fā)，介紹深度學習的基本概念和思想，然后通過對各種類型的深度神經(jīng)網(wǎng)絡(luò)典型應用的介紹，形成對深度學習這一前沿領(lǐng)域的初步認識。第2章神經(jīng)元與邏輯回歸222（課外）最大似然估計與交叉熵；邏輯回歸與分類的區(qū)別和聯(lián)系；單個神經(jīng)元與邏輯回歸的對應關(guān)系Sigmoid函數(shù)的數(shù)學推導；生成模型和判別模型的區(qū)另限交叉熵與方差用在邏輯回歸上的區(qū)別教學思路：從邏輯回歸和分類的區(qū)別和聯(lián)系出發(fā)，引出生成模型和判別模型的區(qū)別和關(guān)聯(lián)，弓|出sigmoid和softmax函數(shù)的物理意義；從邏輯回歸的局限性引出邏輯回歸和單個神經(jīng)元的關(guān)聯(lián)，并說明層次化連接多個神經(jīng)元的必要性。教學模式：課堂內(nèi)知識講授和課堂內(nèi)學生回答問題，并結(jié)合實際動手操作；1.5學時課程講授；0.5學時課堂回答問題；2學時課外作業(yè)。

A-H-章節(jié)教學內(nèi)容總學時學時分配教學重點教學難點教學方案設(shè)計（含教學方法、教學手段）講課（含研討）實踐第3章深度學習框架及模塊化思想422（課內(nèi)實驗）掌握深度神經(jīng)網(wǎng)絡(luò)的基本框架；理解深度學習模塊化思想對深度學習模塊化思想的理解；理論知識的實踐運用教學思路：首先通過前向神經(jīng)網(wǎng)絡(luò)來理解深度神經(jīng)網(wǎng)絡(luò)的基本框架，再通過淺層和深層神經(jīng)網(wǎng)絡(luò)（相同數(shù)量級的參數(shù)）的性能對比引出深層神經(jīng)網(wǎng)絡(luò)的模塊化思想，從而說明加深網(wǎng)絡(luò)層數(shù)的益處。教學模式：課堂內(nèi)知識講授和課堂內(nèi)學生回答問題，并結(jié)合實際動手操作；1.5學時課程講授；0.5學時課堂回答問題；2學時課內(nèi)實驗。第4章深度學習訓練技巧222（課外）自適應學習率（Momentum等）、Dropout的思想與具體流程，及其與Ensemble的聯(lián)系；EarlyStopping;BatchNormalization梯度消失問題；Maxout與ReLu的關(guān)系；L1與L2正則化的本質(zhì)區(qū)別；Dropout測試階段權(quán)重乘以系數(shù)背后的原因教學思路：首先說明深度學習訓練和測試的基本流程，并說明初學者容易在訓練效果不太好的時候就歸罪于過擬合是有其片面性的，并由此引出分別針對訓練和測試階段的效果不好的問題而推薦使用的一些技巧。教學模式：課堂內(nèi)知識講授和課堂內(nèi)學生回答問題，并結(jié)合實際動手操作；1.5學時課程講授；0.5學時課堂回答問題；2學時課外作業(yè)。第5章卷積神經(jīng)網(wǎng)絡(luò)CNN422（課內(nèi)實驗）CNN的3個核心屬性；CNN的基本框架；卷積和池化的技術(shù)細節(jié)；揭秘CNN隱藏層所學內(nèi)容的方法揭秘CNN隱藏層所學內(nèi)容的方法；CNN針對具體任務(wù)的靈活運用教學思路：首先介紹使用CNN來識別圖像的3個主要原因，并由此引出CNN的基本框架，以及框架中卷積和池化這兩個模塊所具備的特性是如何對應上述3個原因的，最后再介紹卷積和池化的具體細節(jié)。在此基礎(chǔ)上，介紹各種解釋CNN隱含層所學內(nèi)容的方法，以及圖像之外的一些CNN應用。教學模式：課堂內(nèi)知識講授和課堂內(nèi)學生回答問題，并結(jié)合實際動手操作；1.5學時課程講授；0.5學時課堂回答問題；2學時課內(nèi)實驗。aa-「*第6章詞嵌入和網(wǎng)422詞嵌入方詞嵌入和教學思路：首先介紹

A-H-章節(jié)教學內(nèi)容總學時學時分配教學重點教學難點教學方案設(shè)計（含教學方法、教學手段）講課（含研討）實踐絡(luò)嵌入（課內(nèi)實驗）法獲取詞語語義的原理；網(wǎng)絡(luò)嵌入的基本原理主成分分析的異同1-hot向量和詞向量的基本概念，再通過比較基于計數(shù)的和基于預測的詞嵌入方法，說明詞嵌入方法的基本流程、網(wǎng)絡(luò)結(jié)構(gòu)、原理，然后從詞與詞之間的關(guān)系引入關(guān)系嵌入的概念以及詞嵌入的相關(guān)應用，最后，介紹受詞嵌入啟發(fā)而提出的網(wǎng)絡(luò)嵌入等前沿熱點。教學模式：課堂內(nèi)知識講授和課堂內(nèi)學生回答問題，并結(jié)合實際動手操作；1.5學時課程講授；0.5學時課堂回答問題；2學時課內(nèi)實驗。第7章自編碼器與可變自編碼器222（課外）自編碼器的原理可變自編碼器的原理和網(wǎng)絡(luò)設(shè)計教學思路：首先通過比較主成分分析和自編碼器說明自編碼器的架構(gòu)、原理和作用，再通過介紹自編碼器的應用場景來加深對自編碼器的理解，并通過與CNN的結(jié)合引出反卷積和反池化的概念，最后，通過具體應用引出可變自編碼器（一種利用自編碼器的生成模型）。教學模式：課堂內(nèi)知識講授和課堂內(nèi)學生回答問題，并結(jié)合實際動手操作；1.5學時課程講授；0.5學時課堂回答問題；2學時課內(nèi)實驗。第8章遷徙學習222（課外作業(yè)）各種遷徙學習類型的典型模型；層遷徙在具體應用場景下的區(qū)另除多任務(wù)學習和漸進神經(jīng)網(wǎng)絡(luò)的異同領(lǐng)域?qū)褂柧毜睦斫猓贿w徙學習針對具體應用場景的靈活運用教學思路：首先從為什么需要遷徙學習入手引出遷徙學習的基本概念，然后分別從源數(shù)據(jù)集和目標數(shù)據(jù)集是否有標簽作為遷徙學習分類依據(jù)將遷徙學習分類4類，并分別講解每種類型下的代表性模型。教學模式：課堂內(nèi)知識講授和課堂內(nèi)學生回答問題，并結(jié)合實際動手操作；1.5學時課程講

A-H-章節(jié)教學內(nèi)容總學時學時分配教學重點教學難點教學方案設(shè)計（含教學方法、教學手段）講課（含研討）實踐授；0.5學時課堂回答問題；2學時課外作業(yè)。第9章結(jié)構(gòu)化學習222（課外）結(jié)構(gòu)化學習的概念和基本框架；結(jié)構(gòu)化學習的算法結(jié)構(gòu)化學習的算法和針對具體應用場景的靈活運用教學思路：首先介紹結(jié)構(gòu)化學習的基本概念和典型應用，然后給出結(jié)構(gòu)化學習的基本框架，再通過具體案例進行講解并與深度神經(jīng)網(wǎng)絡(luò)建立起關(guān)聯(lián)，最后再進一步介紹結(jié)構(gòu)化的線性模型和支持向量機模型。教學模式：課堂內(nèi)知識講授和課堂內(nèi)學生回答問題，并結(jié)合實際動手操作；1.5學時課程講授；0.5學時課堂回答問題；2學時課外作業(yè)。第10*章循環(huán)神經(jīng)網(wǎng)絡(luò)RNN422（課內(nèi)實驗）RNN的核心思想；LSTM的原理RNN與結(jié)構(gòu)化學習的關(guān)聯(lián)以及針對具體應用場景的靈活運用教學思路：首先通過具體案例引出RNN的必要性和RNN的基本概念，并在此基礎(chǔ)上進一步引出雙向RNN和LSTM的基本概念，然后通過指出RNN在訓練的過程中容易出現(xiàn)的問題引出GRU、ClockwiseRNN、SCRN等解決方案，接著，通過RNN的具體應用案例來進一步理解RNN，最后，討論一下RNN與注意力模型、存儲網(wǎng)絡(luò)、結(jié)構(gòu)化學習的關(guān)聯(lián)（通過自然語言處理中的具體案例序列標簽問題）。教學模式：課堂內(nèi)知識講授和課堂內(nèi)學生回答問題，并結(jié)合實際動手操作；1.5學時課程講授；0.5學時課堂回答問題；2學時課內(nèi)實驗。第11*章深度強化學習222（課外）強化學習的基本思想；深度強化學習的不同之處深度強化學習訓練的困難以及針對具體應用場景的靈活運用教學思路：首先介紹一下強化學習的基本概念，再通過機器打游戲等案例來進一步理解強化學習，然后通過基于策略、基于值以及兩者結(jié)合的的三種強化學習類型分別講解。教學模式：課堂內(nèi)知識章節(jié)教學內(nèi)容總學時學時分配教學重點教學難點教學方案設(shè)計（含教學方法、教學手段）講課（含研討）實踐講授和課堂內(nèi)學生回答問題，并結(jié)合實際動手操作；1.5學時課程講授；0.5學時課堂回答問題；2學時課外實驗。注：實踐包括實驗、上機等五、實踐教學內(nèi)容和基本要求1．共享單車使用情況預測：根據(jù)給定的共享單車使用情況的數(shù)據(jù)集，利用前向神經(jīng)網(wǎng)絡(luò)預測共享單車使用情況；.基于CNN的物體識別：基于卷積神經(jīng)網(wǎng)絡(luò)編碼實現(xiàn)對圖像中的物體進行識別；.基于詞嵌入的語義分析：基于詞嵌入方法，根據(jù)給定的自然語言文本數(shù)據(jù)集，編碼實現(xiàn)對自然語言文本的語義聚類分析和詞語之間關(guān)系分析；.基于RNN的機器翻譯：基于循環(huán)神經(jīng)網(wǎng)絡(luò)，根據(jù)給定的自然語言文本數(shù)據(jù)集，編碼實現(xiàn)中英文的機器翻譯功能。六、考核方式及成績評定根據(jù)課程類型、課程性質(zhì)、課程內(nèi)容及特點，確定適合的考核內(nèi)容、考核方式及成績評定?？己藘?nèi)容