《深度學(xué)習(xí)》課程教學(xué)大綱

《深度學(xué)習(xí)》課程教學(xué)大綱一、課程基本信息課程代碼：課程名稱：深度學(xué)習(xí)英文名稱：Deeplearning課程類別：專業(yè)方向課學(xué)時(shí)：48學(xué)分：3適用對象:大三以上對人工智能及相關(guān)學(xué)科感興趣的學(xué)生考核方式：考查先修課程：數(shù)學(xué)分析、高等代數(shù)、概率論與數(shù)理統(tǒng)計(jì)二'課程簡介本課程是人工智能前沿課程，培養(yǎng)學(xué)生用機(jī)器學(xué)習(xí)方法分析并解決包括但不限于圖像理解、語音識別、自然語言理解等實(shí)際問題的能力。內(nèi)容主要主要分成三大塊，一是以回歸、分類、廣義回歸為代表的淺層模型；二是BP神經(jīng)網(wǎng)絡(luò)、深度網(wǎng)絡(luò)、卷積網(wǎng)絡(luò)、反應(yīng)網(wǎng)絡(luò)、長短期記憶單元等為代表的深度神經(jīng)網(wǎng)絡(luò)模型；三是介于有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)之間的強(qiáng)化學(xué)習(xí)模型。這些技術(shù)和內(nèi)容是當(dāng)今人工智能人才所必須掌握的，也是相關(guān)企業(yè)所迫切需要的。課程的特色是通過通俗易懂的推導(dǎo)、簡單的算例展示各種模型的技術(shù)細(xì)節(jié)，然后通過實(shí)驗(yàn)來強(qiáng)化對知識的理解和動手能力的提高。Thisisoneofcutting-edgecoursefromthefieldofartificialintelligence.Generally,Thetopicscovershallowmodel(regression/classificationmodelsincludethebasicconceptofmachinelearning,generalizedlinearmodels),Deepmodel(BPnetworksandDepthlearningmodels,deepconvolutionnetwork,Rucurrentneuralnetwork,Long-shorttermmemorymodel)andasetofmethodscalledreenforcedlearningtechniquesusedintoday'spopularAlphaGochessprograms.三、課程性質(zhì)與教學(xué)目的(黑體，小4)(正文宋體/小四)建議在課程教學(xué)目的融入課程思政要求本課程是人工智能前沿課程，其目的是借助統(tǒng)計(jì)學(xué)科背景知識，讓學(xué)生徹底理解并掌握以深度學(xué)習(xí)為代表的人工智能前沿技術(shù)，培養(yǎng)學(xué)生用機(jī)器學(xué)習(xí)方法分析并解決包括但不限于圖像理解、語音識別、自然語言理解等實(shí)際問題的能力。為相關(guān)企事業(yè)單位培養(yǎng)合格的人工智能方面的人才。動態(tài)規(guī)劃算法、蒙特卡羅算法、時(shí)間差分學(xué)習(xí)算法.基本概念和知識點(diǎn)策略預(yù)測、策略控制、策略迭代、值迭代、回合、勘探/利用、同策略/異策略、重要性抽樣、覆蓋性假設(shè)、前向視覺/后向視覺.問題與應(yīng)用（能力要求）掌握從數(shù)據(jù)中擬合MDPs模型的方法。具備將MDPs模型解決實(shí)際的半監(jiān)督學(xué)習(xí)問題。第三節(jié)深度強(qiáng)化學(xué)習(xí)算法.主要內(nèi)容基于深度網(wǎng)絡(luò)的狀態(tài)價(jià)值和動作價(jià)值函數(shù)近似、基于深度網(wǎng)絡(luò)的策略梯度法。.基本概念和知識點(diǎn).問題與應(yīng)用（能力要求）具備融合深度技術(shù)和強(qiáng)化學(xué)習(xí)技術(shù)處理實(shí)際中存在的高級機(jī)器智能化問題，初步具備為高新企業(yè)提供智能化解決方案提供決策咨詢，甚至技術(shù)支持的能力。第四節(jié)深度強(qiáng)化學(xué)習(xí)的應(yīng)用.主要內(nèi)容圍棋AlphaGo、從AlphaGo到AlphaGoZero＞基于像素的乒乓球游戲。.基本概念和知識點(diǎn)圍棋博奕樹、蒙特卡羅樹搜索、策略網(wǎng)絡(luò)、價(jià)值網(wǎng)絡(luò).問題與應(yīng)用（能力要求）具備融合深度技術(shù)和強(qiáng)化學(xué)習(xí)技術(shù)處理實(shí)際中存在的高級機(jī)器智能化問題，初步具備為高新企業(yè)提供智能化解決方案提供決策咨詢，甚至技術(shù)支持的能力。（三）思考與實(shí)踐運(yùn)行至少一個(gè)MDPs模型，并思考MDPs模型的優(yōu)缺點(diǎn)。（四）教學(xué)方法與手段課堂講授，課后編程五、各教學(xué)環(huán)節(jié)學(xué)時(shí)分配（黑體，小4）\教學(xué)環(huán)節(jié)、講課習(xí)題課討論課實(shí)驗(yàn)實(shí)習(xí)其他教學(xué)環(huán)節(jié)小計(jì)第一章：淺層模型1-2周0.5周0.5周3周第二章：深度神經(jīng)網(wǎng)絡(luò)4-5周0.5周0.5周3周第三章：卷積神經(jīng)網(wǎng)絡(luò)7-8周0.5周0.5周3周第四章：反應(yīng)神經(jīng)網(wǎng)絡(luò)10-11周0.5周0.5周3周第五章：深度強(qiáng)化學(xué)習(xí)1335周0.5周0.5周4周合計(jì)11周2.5周2.5周16周“各教學(xué)環(huán)節(jié)學(xué)時(shí)分配”中，“其它教學(xué)環(huán)節(jié)”主要指習(xí)題課、課堂討論、課程設(shè)計(jì)、觀看視頻、現(xiàn)場參觀等教學(xué)環(huán)節(jié)。六、課程考核（—）考核方式：本課程作為統(tǒng)計(jì)學(xué)研究生課程，也可作為統(tǒng)計(jì)與數(shù)學(xué)學(xué)院高年級本科專業(yè)課程，期末考試可為閉卷筆試和課程論文結(jié)合的方式。主要考察學(xué)生對統(tǒng)計(jì)機(jī)器學(xué)習(xí)基本概念和常見的統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法的掌握以及這些方法，尤其是深度學(xué)習(xí)方法背后的統(tǒng)計(jì)學(xué)原理的把握。（二）成績構(gòu)成平時(shí)成績占比：30%期末考試占比：70%學(xué)生的課程總評成績由平時(shí)成績（占10%）、實(shí)驗(yàn)成績（占20%）和期末考試成績（占70%）三局部構(gòu)成，期中平時(shí)成績包括出勤、作業(yè)、課題測驗(yàn)、學(xué)習(xí)主動性等要素。（三）成績考核標(biāo)準(zhǔn)建議文科類專業(yè)在此模塊融入課程思政相關(guān)元素具體標(biāo)準(zhǔn)見每期的參考答案及評分標(biāo)準(zhǔn)。七、推薦教材和教學(xué)參考資源建議有相關(guān)課程思政教學(xué)資源的也可列入。包括推薦教材、經(jīng)典書目、參考書、雜志、期刊、網(wǎng)絡(luò)刊物、電子刊物、學(xué)習(xí)網(wǎng)站。網(wǎng)絡(luò)刊物和學(xué)習(xí)網(wǎng)站需要有具體網(wǎng)址鏈接，參考書格式應(yīng)包括書名、編著者、出版社和出版年份等。其

格式如下：序號.作者（編著者）.書名（版本）.出版地：出版社，出版年份序號.［國別］作者（編著者）.書名（版本）.譯者（假設(shè)為中文版）.出版地：出版社，出版年份L陳藹祥.深度學(xué)習(xí).清華大學(xué)出版社.2020AndrewNg（吳恩達(dá)）.Standford機(jī)器學(xué)習(xí)公開課.TrevorHastie,RobertTibshirani,JeromeFriedman.Theelementofstatisticallearning.Springer,ISBN:0,2016IanGoodfellowandYoshuaBengioandAaronlearning.MITPress,2016八、其他說明（黑體，小4）修訂日期：2021修訂日期：2021年1月2日

審定日期：2021年1月5日大綱修訂人：陳藹祥、張贊波大綱審定人：陳藹祥通過本課程，將結(jié)合技術(shù)的介紹穿插進(jìn)行課程思政教育，讓學(xué)生形成科技強(qiáng)國的意識，甚至形成科技復(fù)興民族的理念。具體地，本課程將向?qū)W生傳遞科學(xué)技術(shù)開展規(guī)律基礎(chǔ)上，設(shè)法讓學(xué)生建立正確的科學(xué)與技術(shù)的辯證統(tǒng)一的關(guān)系的認(rèn)知，并認(rèn)識中外科技開展水平差異，以及差距背后的個(gè)體和群體的原因。然后讓學(xué)生潛移默化中形成踏踏實(shí)實(shí)做學(xué)問，在個(gè)體扎實(shí)科研工作基礎(chǔ)上實(shí)現(xiàn)個(gè)人價(jià)值與國家、民族復(fù)興大業(yè)這一社會價(jià)值的統(tǒng)一。四、教學(xué)內(nèi)容及要求（黑體，小4）建議重點(diǎn)在此模塊根據(jù)課程情況融入課程思政元素第一章淺層模型（一）目的與要求.介紹機(jī)器學(xué)習(xí)的基本概念和方法，掌握編程實(shí)現(xiàn)機(jī)器學(xué)習(xí)算法的能力.掌握數(shù)據(jù)分析基本方法和背后的統(tǒng)計(jì)學(xué)原理.理解淺層模型處理數(shù)據(jù)能力的局限（二）教學(xué)內(nèi)容第一節(jié)深度學(xué)習(xí)史前開展史.主要內(nèi)容數(shù)據(jù)分析的三個(gè)階段的劃分。從統(tǒng)計(jì)學(xué)、數(shù)學(xué)、計(jì)算機(jī)三大學(xué)科在數(shù)據(jù)分析中的角色演變認(rèn)識科技開展規(guī)律。.基本概念和知識點(diǎn)數(shù)據(jù)分析，機(jī)器學(xué)習(xí)，人工智能三概念，以及統(tǒng)計(jì)學(xué)、計(jì)算機(jī)技術(shù)開展在數(shù)據(jù)科學(xué)中的角色與作用演化。.問題與應(yīng)用（能力要求）要求做到概念清晰，學(xué)科邊界明確，開展脈絡(luò)的準(zhǔn)確把握。第二節(jié)線性回歸模型.主要內(nèi)容線性回歸（梯度下降,正規(guī)方程），模型選擇，屬性空間，假設(shè)函數(shù)空間，特征映射，特征選擇，回歸分析的概率解釋。.基本概念和知識點(diǎn)訓(xùn)練集，輸入變量/特征,輸出變量/目標(biāo)變量，假設(shè)函數(shù)，極小二乘法，優(yōu)化目標(biāo)，隨機(jī)梯度，全梯度..問題與應(yīng)用（能力要求）掌握機(jī)器學(xué)習(xí)的基本概念,初步建立模型的概念，并掌握通過優(yōu)化方法編程實(shí)現(xiàn)從數(shù)據(jù)中學(xué)習(xí)簡單的線性模型的能力.第三節(jié)Logistics二分類模型.主要內(nèi)容回歸與分類問題，Logistics回歸.基本概念和知識點(diǎn)伯努利分布與分類問題.問題與應(yīng)用（能力要求）建立訓(xùn)練數(shù)據(jù)的概率分布的概念，初步形成對數(shù)據(jù)的洞察力。理解并掌握為何不同分布的數(shù)據(jù)需選用不同的模型。掌握通過優(yōu)化方法編程實(shí)現(xiàn)從數(shù)據(jù)中學(xué)習(xí)簡單的二分類模型的能力。第四節(jié)Softmax多分類模型.主要內(nèi)容Softmax多分類模型.基本概念和知識點(diǎn)多重伯努利分布與多分類模型.問題與應(yīng)用（能力要求）建立訓(xùn)練數(shù)據(jù)的概率分布的概念，初步形成對數(shù)據(jù)的洞察力。理解并掌握為何不同分布的數(shù)據(jù)需選用不同的模型。掌握通過優(yōu)化方法編程實(shí)現(xiàn)從數(shù)據(jù)中學(xué)習(xí)簡單的多分類模型的能力。第五節(jié)廣義線性模型.主要內(nèi)容廣義線性模型GLMs.基本概念和知識點(diǎn)指數(shù)分布族，聯(lián)接函數(shù)（Linkfunction）,響應(yīng)函數(shù)（Responsefunction）.問題與應(yīng)用（能力要求）進(jìn)一步理解線性模型的局限以及廣義線性模型思想在克服傳統(tǒng)線性模型缺乏上的努力及取得的相應(yīng)效果，逐步形成廣義線性模型這一類淺層模型的內(nèi)在局限性的認(rèn)識。理解并掌握Softmax多分類模型，掌握通過優(yōu)化方法編程實(shí)現(xiàn)從數(shù)據(jù)中學(xué)習(xí)多分類模型的能力。第四節(jié)模型選擇與交叉驗(yàn)證.主要內(nèi)容模型選擇，特征選擇。.基本概念和知識點(diǎn)欠擬合和過擬合，方差與偏倚，訓(xùn)練誤差，測試誤差，交叉驗(yàn)證，k-折交叉驗(yàn)證3.問題與應(yīng)用（能力要求）理解欠擬合和過擬合的概念，并能通過訓(xùn)練誤差和測試誤差識別模型是處于欠擬合還是處于過擬合。掌握通過交叉驗(yàn)證方法進(jìn)行模型選擇的基本方法。（三）思考與實(shí)踐編程實(shí)現(xiàn)至少一個(gè)淺層模型，并思考淺層模型的局限。（四）教學(xué)方法與手段課堂講授，課后編程第二章深層模型（一）目的與要求.介紹BP神經(jīng)網(wǎng)絡(luò)、深層神經(jīng)網(wǎng)絡(luò).理解深層神經(jīng)網(wǎng)絡(luò)工作機(jī)理，掌握訓(xùn)練深層神經(jīng)網(wǎng)絡(luò)的技巧.掌握克服深層神經(jīng)網(wǎng)絡(luò)過擬合的假設(shè)干技巧和方法（二）教學(xué)內(nèi)容第一節(jié)傳統(tǒng)BP網(wǎng)絡(luò).主要內(nèi)容聯(lián)結(jié)學(xué)派的生物學(xué)背景，BP網(wǎng)絡(luò)結(jié)構(gòu)，BP算法.基本概念和知識點(diǎn)MP神經(jīng)元模型，激活函數(shù)，前向計(jì)算，反向計(jì)算，3層BP網(wǎng)絡(luò)的任意逼近能力.問題與應(yīng)用（能力要求）掌握BP網(wǎng)絡(luò)的原理和計(jì)算過程。掌握通過優(yōu)化方法編程實(shí)現(xiàn)BP算法。第二節(jié)從BP網(wǎng)絡(luò)到深度網(wǎng)絡(luò).主要內(nèi)容BP網(wǎng)絡(luò)的局限及深度網(wǎng)絡(luò)優(yōu)點(diǎn)，表示學(xué)習(xí)，深度學(xué)習(xí)中的正那么化技術(shù).基本概念和知識點(diǎn)無監(jiān)督學(xué)習(xí)，梯度消失/爆炸，逐層貪心預(yù)訓(xùn)練，稀疏自編碼，棧式自編碼，特征提取，微調(diào)多層自編碼，表示稀疏，模型平均，Dropout.問題與應(yīng)用（能力要求）理解并掌握深度學(xué)習(xí)中的關(guān)鍵技術(shù)，比方特征提取，正那么化技術(shù)。具備將深度技術(shù)應(yīng)用于解決高精度的分類識別難題的能力。第三節(jié)深度網(wǎng)絡(luò)的進(jìn)一步解釋.主要內(nèi)容深層網(wǎng)絡(luò)的可視化、深層網(wǎng)絡(luò)的局部-整體表征學(xué)習(xí)能力.基本概念和知識點(diǎn)自動特征提取、局部-整體表征學(xué)習(xí).問題與應(yīng)用（能力要求）理解并掌握深度神經(jīng)網(wǎng)絡(luò)在局部-整體表征學(xué)習(xí)方面的能力。具備將深度技術(shù)應(yīng)用于解決高精度的分類識別難題的能力。第四節(jié)克服過擬合：深度網(wǎng)絡(luò)中的正那么化技術(shù).主要內(nèi)容克服過擬合的三類技術(shù)：模型約束、輸入約束、模型集成.基本概念和知識點(diǎn)正那么化、過擬合.問題與應(yīng)用（能力要求）深層神經(jīng)網(wǎng)絡(luò)在高效的表征學(xué)習(xí)能力的同時(shí)，也存在重易陷入過擬合的狀態(tài)，理解并掌握抵抗過擬合的各種正那么化技術(shù)，提高解決實(shí)際應(yīng)用問題的能力。（三）思考與實(shí)踐編程實(shí)現(xiàn)至少一個(gè)層數(shù)為5層的模型，并思考訓(xùn)練深層模型與淺層模型的差異。（四）教學(xué)方法與手段課堂講授，課后編程第三章深度卷積網(wǎng)絡(luò)（一）目的與要求.介紹適合圖像處理的卷積神經(jīng)網(wǎng)絡(luò)。.理解卷積的基本概念，掌握卷積神經(jīng)網(wǎng)絡(luò)的工作機(jī)理，掌握訓(xùn)練深層卷積神經(jīng)網(wǎng)絡(luò)的技巧.掌握克服深層神經(jīng)網(wǎng)絡(luò)過擬合的假設(shè)干技巧和方法（二）教學(xué)內(nèi)容第一節(jié)卷積的數(shù)學(xué)公式及其含義.主要內(nèi)容卷積的直觀含義、卷積的數(shù)學(xué)公式、卷積的例子.基本概念和知識點(diǎn)卷積、卷積核、卷積神經(jīng)網(wǎng)絡(luò).問題與應(yīng)用（能力要求）理解卷積的概念，掌握卷積公式，明白卷積背后的特征識別原理，為學(xué)習(xí)卷積網(wǎng)絡(luò)奠定基礎(chǔ)。第二節(jié)卷積神經(jīng)網(wǎng)絡(luò)的技術(shù)細(xì)節(jié).主要內(nèi)容以手寫體數(shù)字“7”為例介紹卷積網(wǎng)絡(luò)結(jié)構(gòu)、輸入輸出數(shù)據(jù)、網(wǎng)絡(luò)的訓(xùn)練算法。.基本概念和知識點(diǎn)局部感受、權(quán)值共享、池化（平均池化、極大池化）、特征識別的穩(wěn)健性.問題與應(yīng)用（能力要求）理解并掌握卷積網(wǎng)絡(luò)背后的特征識別定理。具備將卷積網(wǎng)絡(luò)熟練應(yīng)用的能力。第三節(jié)卷積網(wǎng)絡(luò)的變體.主要內(nèi)容卷積網(wǎng)絡(luò)的三類變體：卷積核的變體、卷積通道的變體、卷積層連接的變體。.基本概念和知識點(diǎn)卷積核的尺寸、可變型卷積核、卷積通道、可別離卷積、高速網(wǎng)絡(luò)、殘差網(wǎng)絡(luò)、稠密網(wǎng)絡(luò).問題與應(yīng)用（能力要求）掌握卷積網(wǎng)絡(luò)研究的前沿動態(tài)以及各種變體的優(yōu)缺點(diǎn)，進(jìn)一步加強(qiáng)應(yīng)用各種變體技術(shù)解決實(shí)際問題的能力。第四節(jié)卷積網(wǎng)絡(luò)在自動駕駛中的應(yīng)用.主要內(nèi)容簡介基于神經(jīng)網(wǎng)絡(luò)的三大自動駕駛系統(tǒng)：ALVNN,DAVE,DAVE2.基本概念和知識點(diǎn)端到端、自動駕駛.問題與應(yīng)用（能力要求）理解將神經(jīng)網(wǎng)絡(luò)技術(shù)用以解決自動駕駛這樣一類實(shí)際問題所面臨的挑戰(zhàn)，掌握技術(shù)的同時(shí)，通過案例進(jìn)一步提升實(shí)際應(yīng)用的能力。（三）思考與實(shí)踐搭建實(shí)驗(yàn)平臺，運(yùn)行一個(gè)卷積網(wǎng)絡(luò)實(shí)例，并思考卷積網(wǎng)絡(luò)進(jìn)行圖像識別的優(yōu)越性。（四）教學(xué)方法與手段課堂講授，課后編程第四章深度反應(yīng)網(wǎng)絡(luò)（-）目的與要求.介紹適合時(shí)間序列處理的RNNs、LSTM模型.掌握語音識別、文本處理（摘要、生成與寫作）、機(jī)器翻譯基本知識.掌握CTC技術(shù)，為實(shí)現(xiàn)自然語音交互軟件系統(tǒng)奠定基礎(chǔ)（二）教學(xué)內(nèi)容第一節(jié)反應(yīng)神經(jīng)網(wǎng)絡(luò).主要內(nèi)容統(tǒng)計(jì)語言模型、RNNs網(wǎng)絡(luò)結(jié)構(gòu)、RNNs的訓(xùn)練算法、RNNs中的誤差沿時(shí)間軸傳播公式、RNNs的變體.基本概念和知識點(diǎn)馬爾科夫模型、獨(dú)熱向量、詞嵌入、BPTT.問題與應(yīng)用（能力要求）理解時(shí)間序列處理問題，掌握RNNs網(wǎng)絡(luò)技術(shù)。第二節(jié)長短期記憶單元.主要內(nèi)容序列的長期學(xué)習(xí)難題、LSTM網(wǎng)絡(luò)結(jié)構(gòu)、LSTM的訓(xùn)練算法、對LSTM的理解。從廣大科研人員為克服/抑制梯度消失/爆炸問題所經(jīng)歷的長期艱難探索談科研人員必須具備的假設(shè)干品質(zhì)。正確認(rèn)識縱向科研和橫向研發(fā)的辯證統(tǒng)一關(guān)系。.基本概念和知識點(diǎn)長短期記憶單元、控制信息讀寫的門機(jī)制、LSTM對梯度消失/爆炸問題的抑制.問題與應(yīng)用（能力要求）理解長時(shí)間序列處理難題，并掌握LSTM技術(shù)。第三節(jié)