人工智能原理及MATLAB實(shí)現(xiàn) 教案 第4章 深度學(xué)習(xí)

《人工智能算法》課程教案教學(xué)目的、要求：1.掌握深度學(xué)習(xí)的定義，了解深度學(xué)習(xí)的起源2.掌握深度學(xué)習(xí)的方法3.了解深度學(xué)習(xí)模擬、研究與應(yīng)用領(lǐng)域4.掌握深度學(xué)習(xí)的模型教學(xué)重點(diǎn)及難點(diǎn)：重點(diǎn)：深度學(xué)習(xí)的技術(shù)特征難點(diǎn)：深度學(xué)習(xí)的知識(shí)獲取教學(xué)基本內(nèi)容教學(xué)過(guò)程設(shè)計(jì)§4.1深度學(xué)習(xí)概述深度學(xué)習(xí)作為一種實(shí)現(xiàn)人工智能的強(qiáng)大技術(shù)，已經(jīng)在圖像視頻處理、機(jī)器翻譯、數(shù)據(jù)挖掘、自然語(yǔ)言處理等多個(gè)領(lǐng)域得到了大量的成功應(yīng)用，產(chǎn)生了令人眼花繚亂的效果，誕生了一些很優(yōu)秀的機(jī)器學(xué)習(xí)技術(shù)和神經(jīng)網(wǎng)絡(luò)方法，使機(jī)器能模仿視聽和思考等人類活動(dòng)，解決很多復(fù)雜的模式識(shí)別問(wèn)題，使得人工智能邁進(jìn)了盛況空前、影響深遠(yuǎn)的新時(shí)代。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中一種基于對(duì)數(shù)據(jù)進(jìn)行表征學(xué)習(xí)的方法，是一種能夠模擬出人腦的神經(jīng)結(jié)構(gòu)的機(jī)器學(xué)習(xí)方法。它的概念起源于人工神經(jīng)網(wǎng)絡(luò)，本質(zhì)上是指一類對(duì)具有深層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)進(jìn)行有效訓(xùn)練的結(jié)構(gòu)和方法，其深度含義就是指不包括輸入層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的層數(shù)。如圖4.1所示的含多個(gè)隱含層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。在人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，從一個(gè)輸入產(chǎn)生一個(gè)輸出所涉及的計(jì)算可以通過(guò)一個(gè)流向圖來(lái)表示。流向圖中每一個(gè)節(jié)點(diǎn)表示一個(gè)基本的計(jì)算及一個(gè)計(jì)算的值，計(jì)算的結(jié)果被應(yīng)用到這個(gè)節(jié)點(diǎn)的子節(jié)點(diǎn)的值，輸入節(jié)點(diǎn)沒(méi)有父節(jié)點(diǎn)，輸出節(jié)點(diǎn)沒(méi)有子節(jié)點(diǎn)。這種流向圖的一個(gè)特別屬性是深度，即一個(gè)輸入至一個(gè)輸出最長(zhǎng)路徑的長(zhǎng)度。只有超過(guò)一定深度的神經(jīng)網(wǎng)絡(luò)才是深度學(xué)習(xí)?！?.2深度學(xué)習(xí)模型深度學(xué)習(xí)的模型有很多，目前開發(fā)者最常用的深度學(xué)習(xí)模型與架構(gòu)包括CNN、DBN、RNN、RNTN、自動(dòng)編碼器、GAN等。§4.3深度學(xué)習(xí)的學(xué)習(xí)與訓(xùn)練深度學(xué)習(xí)的學(xué)習(xí)即深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練,一般可采用前向傳播或反向傳播算法。但實(shí)驗(yàn)結(jié)果表明，對(duì)深度結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)采用隨機(jī)初始化的方法，由于采用基于梯度的優(yōu)化易使訓(xùn)練結(jié)果陷入局部極值，而找不到全局最優(yōu)值，并且隨著網(wǎng)絡(luò)結(jié)構(gòu)層次的加深，更難以得到好的泛化性能，使得深度結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)在隨機(jī)初始化后得到的學(xué)習(xí)結(jié)果甚至不如只有一個(gè)或兩個(gè)隱層的淺結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)得到的學(xué)習(xí)結(jié)果好。2006年后通過(guò)研究發(fā)現(xiàn)，用無(wú)監(jiān)督學(xué)習(xí)算法對(duì)深度結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)進(jìn)行逐層預(yù)訓(xùn)練，能夠得到較好的學(xué)習(xí)結(jié)果。無(wú)監(jiān)督預(yù)訓(xùn)練不僅初始化網(wǎng)絡(luò)得到好的初始參數(shù)值，而且可以提取關(guān)于輸入分布的有用信息，有助于網(wǎng)絡(luò)找到更好的全局最優(yōu)解。§4.4深度學(xué)習(xí)框架為了在解決各種實(shí)際問(wèn)題中有效地利用深度學(xué)習(xí)模型，現(xiàn)已有很多開發(fā)平臺(tái)和工具可以選擇。比較常用的有Theano、TensorFlow、Caff、Deeplearning4J和Keras等?！?.5深度學(xué)習(xí)的應(yīng)用與挑戰(zhàn)深度學(xué)習(xí)是一種從數(shù)據(jù)中提取表示的好方法，能夠用于分類、回歸和信息檢索等特定問(wèn)題中，已廣泛應(yīng)用于圖像分類及識(shí)別、人臉識(shí)別、視頻分類、行為識(shí)別、手寫體字符識(shí)別、圖像檢索、人體運(yùn)動(dòng)行為識(shí)別等問(wèn)題。深度學(xué)習(xí)雖然已取得了很大的成就，但也存在一些問(wèn)題及挑戰(zhàn)。1.深度學(xué)習(xí)目前存在的問(wèn)題（1）理論問(wèn)題。深度學(xué)習(xí)的學(xué)習(xí)訓(xùn)練的計(jì)算復(fù)雜度較大，較難估計(jì)需要多大參數(shù)規(guī)模和深度的神經(jīng)網(wǎng)絡(luò)模型去解決相應(yīng)的問(wèn)題；在對(duì)構(gòu)建好的網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)，需要多少訓(xùn)練樣本才能足以使網(wǎng)絡(luò)滿足擬合狀態(tài)等問(wèn)題；另外，網(wǎng)絡(luò)模型訓(xùn)練所需要消耗的計(jì)算資源很難預(yù)估，對(duì)網(wǎng)絡(luò)的優(yōu)化技術(shù)仍有待提高。而且由于深度學(xué)習(xí)模型的代價(jià)函數(shù)都是非凸的，這也造成理論研究方面的困難。（2）建模問(wèn)題。在解決深層學(xué)習(xí)理論和計(jì)算困難的同時(shí)，如何構(gòu)建新的分層網(wǎng)絡(luò)模型，既能夠像傳統(tǒng)深層模型一樣能夠有效的抽取數(shù)據(jù)的潛在特征，又能夠像支持向量機(jī)一樣便于進(jìn)行理論分析，另外，如何針對(duì)不同的應(yīng)用問(wèn)題構(gòu)建合適的深層模型同樣是一個(gè)很有挑戰(zhàn)性的問(wèn)題?，F(xiàn)在用于圖像和語(yǔ)言的深度模型都擁有相似卷積和降采樣的功能模塊，研究人員在聲學(xué)模型方面也在進(jìn)行相應(yīng)的探索，能不能找到一個(gè)統(tǒng)一的深度模型適用于圖像，語(yǔ)音和自然語(yǔ)言的處理仍需要探索。（3）工程應(yīng)用問(wèn)題。在深度學(xué)習(xí)的工程應(yīng)用問(wèn)題上，如何利用現(xiàn)有的大規(guī)模并行處理計(jì)算平臺(tái)進(jìn)行大規(guī)模樣本數(shù)據(jù)訓(xùn)練是各個(gè)進(jìn)行深度學(xué)習(xí)研發(fā)公司首要解決的難題。由于像Hadoop這樣的傳統(tǒng)大數(shù)據(jù)處理平臺(tái)的延遲過(guò)高，不適用于深度學(xué)習(xí)的頻繁迭代訓(xùn)練過(guò)程?，F(xiàn)在最多采用的深度網(wǎng)絡(luò)訓(xùn)練技術(shù)是隨機(jī)梯度下降算法。這種算法不適于在多臺(tái)計(jì)算機(jī)間并行運(yùn)算，即使采用GPU加速技術(shù)對(duì)深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練也是需要花費(fèi)漫長(zhǎng)的時(shí)間。隨著互聯(lián)網(wǎng)行業(yè)的高速發(fā)展，特別是數(shù)據(jù)挖掘的需要，往往面對(duì)的是海量需要處理的數(shù)據(jù)。由于深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練速度緩慢無(wú)法滿足互聯(lián)網(wǎng)應(yīng)用的需求。3min引入：通過(guò)圖像視頻處理對(duì)深度學(xué)習(xí)應(yīng)用實(shí)例引入。內(nèi)容設(shè)計(jì)思路：對(duì)課堂內(nèi)容進(jìn)行分析，引導(dǎo)學(xué)生了解內(nèi)容之間的相互聯(lián)系，并指出本節(jié)課的重點(diǎn)難點(diǎn)以及教學(xué)目的。核心是給學(xué)員講清楚技術(shù)特征10min強(qiáng)調(diào)：引導(dǎo)學(xué)生思考深度學(xué)習(xí)的原理，觸類旁通。分析：方法與應(yīng)用領(lǐng)域的關(guān)系。注意過(guò)渡：動(dòng)畫演示：課堂