《深度學(xué)習(xí)基礎(chǔ)》課程教學(xué)大綱

《深度學(xué)習(xí)基礎(chǔ)》教學(xué)大綱一、課程基本信息課程名稱深度學(xué)習(xí)基礎(chǔ)FundamentalsofDeepLearning課程編碼CST521721030開(kāi)課院部計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院課程團(tuán)隊(duì)機(jī)器學(xué)習(xí)教學(xué)團(tuán)隊(duì)學(xué)分3.0課內(nèi)學(xué)時(shí)56講授32實(shí)驗(yàn)0上機(jī)24實(shí)踐0課外學(xué)時(shí)56適用專業(yè)智能科學(xué)與技術(shù)授課語(yǔ)言中文先修課程高等數(shù)學(xué)（2-1）、線性代數(shù)、高等數(shù)學(xué)（2-2）、概率論與數(shù)理統(tǒng)計(jì)、離散數(shù)學(xué)、人工智能導(dǎo)論、機(jī)器學(xué)習(xí)課程簡(jiǎn)介（限選）深度學(xué)習(xí)源于人工神經(jīng)網(wǎng)絡(luò)，自2006年被提出后，受到學(xué)術(shù)界和工業(yè)界的高度關(guān)注，迅速成為機(jī)器學(xué)習(xí)領(lǐng)域最為活躍的一個(gè)分支。深度學(xué)習(xí)是一種基于對(duì)數(shù)據(jù)進(jìn)行表征學(xué)習(xí)的方法，通過(guò)構(gòu)建具有多個(gè)隱層的學(xué)習(xí)網(wǎng)絡(luò)和海量的訓(xùn)練數(shù)據(jù)，來(lái)學(xué)習(xí)有用的特征，通過(guò)逐層特征變換，將樣本在原空間的特征表示變換到新特征空間，從而實(shí)現(xiàn)更加準(zhǔn)確高效的分類或預(yù)測(cè)。近年來(lái)，深度學(xué)習(xí)方法已經(jīng)在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、語(yǔ)音識(shí)別、記憶網(wǎng)絡(luò)等諸多領(lǐng)域中得到廣泛應(yīng)用本課程包括深度學(xué)習(xí)的基本概念、基本原理和基本方法，從數(shù)學(xué)基礎(chǔ)、編程知識(shí)和機(jī)器學(xué)習(xí)基本知識(shí)，深度學(xué)習(xí)的主要內(nèi)容，深度學(xué)習(xí)各部分的原理、技術(shù)和方法，以及相關(guān)的應(yīng)用，并結(jié)合項(xiàng)目實(shí)戰(zhàn)，清晰地理解和掌握深度學(xué)習(xí)技術(shù)。還以引導(dǎo)學(xué)生樹(shù)立正確的人生觀、價(jià)值觀、世界觀為目的，通過(guò)創(chuàng)新教學(xué)方法、豐富課程內(nèi)涵、優(yōu)化教學(xué)設(shè)計(jì)、改進(jìn)課堂管理等方式，將思想政治教育有機(jī)融入課程教學(xué)活動(dòng)。Deeplearningoriginatedfromartificialneuralnetwork.Sinceitwasproposedin2006,ithasreceivedhighattentionfromacademiaandindustryandhasrapidlybecomethemostactivebranchinthefieldofmachinelearning.Deeplearningisamethodbasedondatacharacterizationlearning.ByconstructingaLearningNetworkwithmultiplehiddenlayersandmassivetrainingdata,usefulfeaturesarelearned,throughlayer-by-layerfeaturetransformation,thefeaturerepresentationofthesampleintheoriginalspaceistransformedintoanewfeaturespace,thusrealizingmoreaccurateandefficientclassificationorprediction.Inrecentyears,deeplearningmethodshavebeenwidelyusedinmanyfieldssuchascomputervision,naturallanguageprocessing,speechrecognition,memorynetwork,etc.Thiscourseincludesthebasicconcepts,basicprinciplesandbasicmethodsofdeeplearning,fromthebasicknowledgeofmathematics,programmingknowledgeandmachinelearning,themaincontentsofdeeplearning,theprinciplesofdeeplearningofeachpart,technologyandmethods,aswellasrelatedapplications,combinedwithactualcombatoftheproject,clearlyunderstandandmasterin-depthlearningtechnology.Italsoaimsatguidingstudentstoestablishcorrectoutlookonlife,valuesandworldoutlook,throughinnovatingteachingmethods,enrichingcurriculumconnotation,optimizingteachingdesign,improvingclassroommanagement,etc,organicallyintegrateideologicalandpoliticaleducationintocurriculumteachingactivities.負(fù)責(zé)人大綱執(zhí)筆人審核人二、課程目標(biāo)序號(hào)代號(hào)課程目標(biāo)OBE畢業(yè)要求指標(biāo)點(diǎn)任務(wù)自選1M1目標(biāo)1：“能通過(guò)文獻(xiàn)調(diào)研了解深度學(xué)習(xí)的國(guó)內(nèi)外研究現(xiàn)狀，分析深度學(xué)習(xí)應(yīng)用領(lǐng)域的復(fù)雜工程問(wèn)題可行方案“是2.32M2目標(biāo)2：“能夠根據(jù)用戶需求確定深度學(xué)習(xí)的設(shè)計(jì)目標(biāo)，將卷積神經(jīng)網(wǎng)絡(luò)個(gè)模型的設(shè)計(jì)思想和設(shè)計(jì)策略并運(yùn)用于深度學(xué)習(xí)模型的總體設(shè)計(jì)和實(shí)踐“是3.13M3目標(biāo)3：“掌握深度學(xué)習(xí)常用的卷積神經(jīng)網(wǎng)絡(luò)，循環(huán)網(wǎng)咯和對(duì)抗神經(jīng)網(wǎng)絡(luò)等原理和使用方法，并理解其局限性“是5.14M4目標(biāo)4：“了解深度學(xué)習(xí)的國(guó)際發(fā)展趨勢(shì)、研究熱點(diǎn)，能將工程的設(shè)計(jì)和開(kāi)發(fā)建設(shè)置于國(guó)際背景下“是10.25M5目標(biāo)5：“充分認(rèn)識(shí)終身學(xué)習(xí)的重要性，具有較強(qiáng)的自主學(xué)習(xí)和終身學(xué)習(xí)意識(shí)的可行方案“是12.1三、課程內(nèi)容序號(hào)章節(jié)號(hào)標(biāo)題課程內(nèi)容/重難點(diǎn)支撐課程目標(biāo)課內(nèi)學(xué)時(shí)教學(xué)方式課外學(xué)時(shí)課外環(huán)節(jié)1第一章數(shù)學(xué)基礎(chǔ)/4講授6自學(xué)資料21.1數(shù)據(jù)表示——標(biāo)量、向量、矩陣和張量標(biāo)量、向量、矩陣和張量;向量的范數(shù);常用的向量;常見(jiàn)的矩陣;矩陣的操作;張量的常用操作/講授/自學(xué)資料31.2優(yōu)化的基礎(chǔ)——導(dǎo)數(shù)及其應(yīng)用導(dǎo)數(shù)；泰勒公式；拉格朗日乘數(shù)法；/講授/自學(xué)資料41.3概率模型的基礎(chǔ)——概率論隨機(jī)變量；概率分布；邊緣概率；條件概率；獨(dú)立性；期望、方差與協(xié)方差；常用的概率分布/講授/自學(xué)資料5第二章深度學(xué)習(xí)基礎(chǔ)/4講授、上機(jī)12自學(xué)資料62.1深度學(xué)習(xí)發(fā)展歷程介紹國(guó)內(nèi)深度學(xué)習(xí)的進(jìn)展和祖國(guó)深度學(xué)習(xí)領(lǐng)域取得的成就M1,M4,M5/講授/自學(xué)資料72.2感知機(jī)感知機(jī)的起源；感知機(jī)的局限性M3,M4/講授/自學(xué)資料82.3前饋神經(jīng)網(wǎng)絡(luò)神經(jīng)元；網(wǎng)絡(luò)結(jié)構(gòu)；訓(xùn)練與預(yù)測(cè)；反向傳播算法M3,M4/講授/自學(xué)資料92.4提升神經(jīng)網(wǎng)絡(luò)訓(xùn)練的技巧參數(shù)更新方法；數(shù)據(jù)預(yù)處理；參數(shù)的初始化；正則化M3,M4/講授/自學(xué)資料102.5深度學(xué)習(xí)框架深度學(xué)習(xí)框架的作用；常見(jiàn)深度學(xué)習(xí)框架M3,M4/講授/自學(xué)資料112.6實(shí)踐：手寫(xiě)數(shù)字識(shí)別數(shù)據(jù)準(zhǔn)備；網(wǎng)絡(luò)結(jié)構(gòu)定義；網(wǎng)絡(luò)訓(xùn)練；網(wǎng)絡(luò)預(yù)測(cè)M24上機(jī)/自學(xué)資料12第三章卷積神經(jīng)網(wǎng)絡(luò)/8講授、上機(jī)10自學(xué)資料133.1概述介紹國(guó)內(nèi)學(xué)者在卷積神經(jīng)網(wǎng)絡(luò)方面有國(guó)際影響的算法M1,M4,M5/講授/自學(xué)資料143.2整體結(jié)構(gòu)/M3,M4/講授/自學(xué)資料153.3卷積層全連接層的問(wèn)題；卷積運(yùn)算；卷積的導(dǎo)數(shù)；卷積層操作；矩陣快速卷積M3,M4/講授/自學(xué)資料163.4池化層/M3,M4/講授/自學(xué)資料173.5歸一化層/M3,M4/講授/自學(xué)資料183.6參數(shù)學(xué)習(xí)/M3,M4/講授/自學(xué)資料193.7典型卷積神經(jīng)網(wǎng)絡(luò)LeNet；AlexNet；VGGNe；Inception；ResNet；DenseNet；MobileNetM3,M4/講授/自學(xué)資料203.8實(shí)踐：貓狗識(shí)別數(shù)據(jù)準(zhǔn)備；網(wǎng)絡(luò)配置；網(wǎng)絡(luò)訓(xùn)練；網(wǎng)絡(luò)預(yù)測(cè)M26上機(jī)/自學(xué)資料21第四章循環(huán)神經(jīng)網(wǎng)絡(luò)/6講授、上機(jī)12自學(xué)資料224.1循環(huán)神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介祖國(guó)在循環(huán)神經(jīng)網(wǎng)絡(luò)算法的應(yīng)用案例；循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與計(jì)算能力；參數(shù)學(xué)習(xí)；循環(huán)神經(jīng)網(wǎng)絡(luò)變種結(jié)構(gòu)；深度循環(huán)神經(jīng)網(wǎng)絡(luò)；遞歸神經(jīng)網(wǎng)絡(luò)M1,M4,M5/講授/自學(xué)資料234.2長(zhǎng)期依賴和門(mén)控RNN長(zhǎng)期依賴的挑戰(zhàn)；循環(huán)神經(jīng)網(wǎng)絡(luò)的長(zhǎng)期依賴問(wèn)題；門(mén)控RNN；優(yōu)化長(zhǎng)期依賴M3,M4/講授/自學(xué)資料244.3雙向RNN/M3,M4/講授/自學(xué)資料254.4序列到序列架構(gòu)Seq2Seq；注意力機(jī)制；M3,M4/講授/自學(xué)資料264.5實(shí)踐：電影評(píng)論情感分析數(shù)據(jù)準(zhǔn)備；網(wǎng)絡(luò)結(jié)構(gòu)定義；網(wǎng)絡(luò)訓(xùn)練；網(wǎng)絡(luò)預(yù)測(cè)M16上機(jī)8自學(xué)資料27第五章深度學(xué)習(xí)進(jìn)階/6講授、上機(jī)/自學(xué)資料285.1深度生成模型變分自編碼器；生成對(duì)抗網(wǎng)絡(luò)M3,M4/講授/自學(xué)資料295.2深度強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)模型；強(qiáng)化學(xué)習(xí)分類；深度強(qiáng)化學(xué)習(xí)；深度Q網(wǎng)絡(luò)；深度強(qiáng)化學(xué)習(xí)應(yīng)用M3,M4/講授/自學(xué)資料305.3遷移學(xué)習(xí)遷移學(xué)習(xí)的定義與分類；遷移學(xué)習(xí)的基本方法M3,M4/講授/自學(xué)資料315.4實(shí)踐：生成對(duì)抗網(wǎng)絡(luò)數(shù)據(jù)準(zhǔn)備；網(wǎng)絡(luò)配置；模型訓(xùn)練與預(yù)測(cè)M24上機(jī)/自學(xué)資料32第六章深度學(xué)習(xí)應(yīng)用：計(jì)算機(jī)視覺(jué)/4講授、上機(jī)8自學(xué)資料336.1目標(biāo)檢測(cè)傳統(tǒng)目標(biāo)檢測(cè)；基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測(cè)；基于回歸的卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測(cè)M3,M4/講授/自學(xué)資料346.2語(yǔ)義分割傳統(tǒng)語(yǔ)義分割方法；基于卷積神經(jīng)網(wǎng)絡(luò)的語(yǔ)義分割M3,M4/講授/自學(xué)資料356.3實(shí)踐：目標(biāo)檢測(cè)數(shù)據(jù)準(zhǔn)備；網(wǎng)絡(luò)配置；模型訓(xùn)練；模型預(yù)測(cè)M24上機(jī)/自學(xué)資料四、考核方式序號(hào)考核環(huán)節(jié)操作細(xì)節(jié)總評(píng)占比1平時(shí)作業(yè)1.每章布置作業(yè)二到五道題2.成績(jī)采用百分制，根據(jù)作業(yè)完成準(zhǔn)確性、是否按時(shí)上交、是否獨(dú)立完成評(píng)分。3.考核學(xué)生對(duì)深度學(xué)習(xí)基本知識(shí)的掌握能力，學(xué)生綜合運(yùn)用所學(xué)知識(shí)分析問(wèn)題、解決問(wèn)題的能力題型主要有編程、分析和計(jì)算題。15%2上機(jī)1.本課程24個(gè)上機(jī)實(shí)驗(yàn)，共四次上機(jī)大作業(yè)2.成績(jī)采用百分制，根據(jù)上機(jī)完成情況評(píng)分。3.考核學(xué)生對(duì)深度學(xué)習(xí)系統(tǒng)知識(shí)的應(yīng)用能力，能夠根據(jù)用戶需求確定設(shè)計(jì)目標(biāo)，從技術(shù)角度優(yōu)選解決方案獲得有效結(jié)論。15%3考勤隨機(jī)點(diǎn)名、刷卡點(diǎn)名等5%4課堂表現(xiàn)隨機(jī)檢查學(xué)生上課精神狀態(tài)、回答問(wèn)題情況5%5期末考試1.閉卷考試，成績(jī)采用百分制，卷面成績(jī)總分100分。2.主要考核學(xué)生對(duì)深度學(xué)習(xí)基本知識(shí)的掌握能力，學(xué)生綜合運(yùn)用所學(xué)知識(shí)分析問(wèn)題、解決問(wèn)題的能力，題型主要有簡(jiǎn)答題、作圖題、分析題、計(jì)算題等。60%五、評(píng)分細(xì)則序號(hào)課程目標(biāo)考核環(huán)節(jié)大致占比評(píng)分等級(jí)1M1期末考試100%（見(jiàn)試卷評(píng)分標(biāo)準(zhǔn)）2M2上機(jī)60%A-按時(shí)提交上機(jī)報(bào)告，程序運(yùn)行流暢，結(jié)論無(wú)誤。B-按時(shí)提交上機(jī)報(bào)告，程序設(shè)計(jì)析基本規(guī)范，結(jié)論有一點(diǎn)偏差。C-數(shù)據(jù)分析過(guò)程存在問(wèn)題。D-發(fā)生安全事故3M2期末考試40%（見(jiàn)試卷評(píng)分標(biāo)準(zhǔn)）4M3平時(shí)作業(yè)40%A-按時(shí)提交作業(yè)，各模型等基本知識(shí)點(diǎn)理解無(wú)誤。B-按時(shí)提交作業(yè)，各模型等基本知識(shí)點(diǎn)理解存在少量錯(cuò)誤。5M3期末考試60%（見(jiàn)試卷評(píng)分標(biāo)準(zhǔn)）6M4上機(jī)40%A-按時(shí)提交上機(jī)報(bào)告，上機(jī)中有新的深度學(xué)習(xí)模型和思想。B-按時(shí)提交上機(jī)報(bào)告，上機(jī)程序照搬