深度學(xué)習(xí)的基本理論與方法

PPT模板網(wǎng)-PPT網(wǎng)-網(wǎng)-免費(fèi)PPT模板下載網(wǎng)-PPT模板網(wǎng)-PPT網(wǎng)-PPT模板下載網(wǎng)-PPT模板免費(fèi)下載網(wǎng)-PPT教程網(wǎng)-PPT素材網(wǎng)-PPT課件深度學(xué)習(xí)的基本理論方法深度學(xué)習(xí)理論培訓(xùn)PPT課件講述人：XXX日期：20××.××.××Deeplearning(DL),abranchofmachinelearning(ML)andartificialintelligence(AI)isnowadaysconsideredasacoretechnologyoftoday’sFourthIndustrialRevolution.

深度學(xué)習(xí)的概述與動(dòng)機(jī)|深度學(xué)習(xí)的具體模型與方法|深度學(xué)習(xí)的應(yīng)用與問(wèn)題

目錄CONTENTS01深度學(xué)習(xí)的概述與動(dòng)機(jī)Overviewandmotivationofdeeplearning02深度學(xué)習(xí)的具體模型與方法Specificmodelsandmethodsofdeeplearning03深度學(xué)習(xí)的應(yīng)用與問(wèn)題Applicationsandproblemsofdeeplearning01PART深度學(xué)習(xí)的概述與動(dòng)機(jī)Deeplearning(DL),abranchofmachinelearning(ML)andartificialintelligence(AI)isnowadaysconsideredasacoretechnologyoftoday’sFourthIndustrialRevolution.

1基本概念淺層學(xué)習(xí)淺層學(xué)習(xí)是機(jī)器學(xué)習(xí)的第一次浪潮人工神經(jīng)網(wǎng)絡(luò)（BP算法）SVM、Boosting、最大熵方法（如LR，LogisticRegression）雖被稱作多層感知機(jī)，但實(shí)際是種只含有一層隱層節(jié)點(diǎn)的淺層模型帶有一層隱層節(jié)點(diǎn)（如SVM、Boosting），或沒有隱層節(jié)點(diǎn)（如LR）的淺層模型局限性：有限樣本和計(jì)算單元情況下對(duì)復(fù)雜函數(shù)的表示能力有限，針對(duì)復(fù)雜分類問(wèn)題其泛化能力受限。1基本概念SIFT算法HoG算法Textons算法Spinimage算法RIFT算法GLOH算法1基本概念2006年，加拿大多倫多大學(xué)教授、機(jī)器學(xué)習(xí)領(lǐng)域的泰斗GeoffreyHinton在《科學(xué)》上發(fā)表論文提出深度學(xué)習(xí)主要觀點(diǎn)多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征對(duì)數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視化或分類；深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過(guò)“逐層初始化”（layer-wisepre-training）來(lái)有效克服，逐層初始化可通過(guò)無(wú)監(jiān)督學(xué)習(xí)實(shí)現(xiàn)的。01021基本概念深度學(xué)習(xí)深度學(xué)習(xí)通過(guò)組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示1981年的諾貝爾醫(yī)學(xué)獎(jiǎng)獲得者DavidHubel和TorstenWiesel發(fā)現(xiàn)了一種被稱為“方向選擇性細(xì)胞的神經(jīng)元細(xì)胞，當(dāng)瞳孔發(fā)現(xiàn)了眼前的物體的邊緣，而且這個(gè)邊緣指向某個(gè)方向時(shí)，這種神經(jīng)元細(xì)胞就會(huì)活躍1基本概念深度學(xué)習(xí)的優(yōu)勢(shì)能以更加緊湊簡(jiǎn)潔的方式來(lái)表達(dá)比淺層網(wǎng)絡(luò)大得多的函數(shù)集合訓(xùn)練深度學(xué)習(xí)的困難01數(shù)據(jù)獲取問(wèn)題：考慮到深度網(wǎng)絡(luò)具有強(qiáng)大的表達(dá)能力，在不充足的數(shù)據(jù)上進(jìn)行訓(xùn)練將會(huì)導(dǎo)致過(guò)擬合局部極值問(wèn)題：與梯度下降法有關(guān)021深度神經(jīng)網(wǎng)絡(luò)的演化神經(jīng)網(wǎng)絡(luò)深度神經(jīng)網(wǎng)絡(luò)多層感知器1神經(jīng)網(wǎng)絡(luò)輸出

激活函數(shù)

+11神經(jīng)網(wǎng)絡(luò)

+1+1

Layer

Layer

Layer

1多層感知器

+1+1

Layer

Layer

Layer

+1

Layer網(wǎng)絡(luò)中包含一層或多個(gè)隱藏在輸入和輸出神經(jīng)節(jié)點(diǎn)之間的層1多層感知器多層感知器的訓(xùn)練分為以下兩個(gè)階段前向階段網(wǎng)絡(luò)中突觸的權(quán)值是固定的，輸入信號(hào)在網(wǎng)絡(luò)中一層一層的傳播，直到輸出端反向階段反向傳播算法1反向傳播算法反向傳播算法可表示為以下幾個(gè)步驟01進(jìn)行前饋傳導(dǎo)計(jì)算，利用前向傳導(dǎo)公式，得到

直到輸出層

的激活值

02對(duì)輸出層（第

層）的計(jì)算

03對(duì)于

各層的計(jì)算04計(jì)算最終需要的

05根據(jù)殘差對(duì)參數(shù)W和b做出更新

1多層感知器在有了多層感知器之后為什么還需要提出深度學(xué)習(xí)？?1深度神經(jīng)網(wǎng)絡(luò)強(qiáng)調(diào)了模型結(jié)構(gòu)的深度，通常有5-10多層的隱層節(jié)點(diǎn)明確突出了特征學(xué)習(xí)的重要性，通過(guò)逐層特征變換，將樣本在原空間的特征表示變換到一個(gè)新特征空間，從而使分類或預(yù)測(cè)更加容易。與人工規(guī)則構(gòu)造特征的方法相比，利用大數(shù)據(jù)來(lái)學(xué)習(xí)特征，更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息。好處：可通過(guò)學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)復(fù)雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示。1深度神經(jīng)網(wǎng)絡(luò)

+1+1

Layer

Layer

Layer

神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)輸出層隱層輸入層02PART深度學(xué)習(xí)的具體模型與方法Deeplearning(DL),abranchofmachinelearning(ML)andartificialintelligence(AI)isnowadaysconsideredasacoretechnologyoftoday’sFourthIndustrialRevolution.

2深度學(xué)習(xí)的具體模型與方法自動(dòng)編碼器稀疏自編碼卷積神經(jīng)網(wǎng)絡(luò)限制玻爾茲曼機(jī)010203042深度學(xué)習(xí)的具體模型與方法

+1+1

Layer

Layer

Layer

2深度學(xué)習(xí)的具體模型與方法使神經(jīng)元大部分時(shí)間都是被抑制的限制被稱為稀疏性限制

平均激活度

增加一條限制

2深度學(xué)習(xí)的具體模型與方法

2深度學(xué)習(xí)的具體模型與方法卷積神經(jīng)網(wǎng)絡(luò)卷積層

下采樣層

2深度學(xué)習(xí)的具體模型與方法下采樣層與卷積層之間的連接方式01234567891011121214150XXXXXXXXXX1XXXXXXXXXX2XXXXXXXXXX3XXXXXXXXXX4XXXXXXXXXX5XXXXXXXXXX是否有改進(jìn)的地方？2深度學(xué)習(xí)的具體模型與方法權(quán)值共享每個(gè)神經(jīng)元無(wú)需對(duì)全局圖像做感受，只需感受局部區(qū)域（FeatureMap），在高層會(huì)將這些感受不同局部的神經(jīng)元綜合起來(lái)獲得全局信息。每個(gè)神經(jīng)元參數(shù)設(shè)為相同，即權(quán)值共享，也即每個(gè)神經(jīng)元用同一個(gè)卷積核去卷積圖像。2深度學(xué)習(xí)的具體模型與方法CNN的優(yōu)點(diǎn)避免了顯式的特征抽取，而隱式地從訓(xùn)練數(shù)據(jù)中進(jìn)行學(xué)習(xí)同一特征映射面上的神經(jīng)元權(quán)值相同，從而網(wǎng)絡(luò)可以并行學(xué)習(xí)，降低了網(wǎng)絡(luò)的復(fù)雜性采用時(shí)間或者空間的子采樣結(jié)構(gòu)，可以獲得某種程度的位移、尺度、形變魯棒性輸入信息和網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)能很好的吻合，在語(yǔ)音識(shí)別和圖像處理方面有著獨(dú)特優(yōu)勢(shì)2深度學(xué)習(xí)的具體模型與方法卷積網(wǎng)絡(luò)較一般神經(jīng)網(wǎng)絡(luò)在圖像處理方面有如下優(yōu)點(diǎn)輸入圖像和網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)能很好的吻合A特征提取和模式分類同時(shí)進(jìn)行，并同時(shí)在訓(xùn)練中產(chǎn)生B權(quán)重共享可以減少網(wǎng)絡(luò)的訓(xùn)練參數(shù)，使神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)變得更簡(jiǎn)單，適應(yīng)性更強(qiáng)C2深度學(xué)習(xí)的具體模型與方法深信度網(wǎng)絡(luò)HiddenlayersVisiblelayersDBNstructureRBMDirectedbeliefnetsh1h2h3V2深度學(xué)習(xí)的具體模型與方法受限玻爾茲曼機(jī)定義聯(lián)合組態(tài)（jointconfiguration）能量：

這樣某個(gè)組態(tài)的聯(lián)合概率分布可以通過(guò)Boltzmann分布和這個(gè)組態(tài)的能量來(lái)確定：

PartitionfunctionPotentialfunctionhWVimageVisiblevariablesHiddenvariablesBipartitestructure2深度學(xué)習(xí)的具體模型與方法給定隱層h的基礎(chǔ)上，可視層的概率確定

給定可視層v的基礎(chǔ)上，隱層的概率確定

2深度學(xué)習(xí)的具體模型與方法待求問(wèn)題給定一個(gè)滿足獨(dú)立同分布的樣本集：D={v(1),v(2),…,v(N)}，需要學(xué)習(xí)模型參數(shù)θ={W,a,b}。求解最大似然估計(jì)：我們需要選擇一個(gè)參數(shù)，讓我們當(dāng)前的觀測(cè)樣本的概率最大,對(duì)最大對(duì)數(shù)似然函數(shù)求導(dǎo)，即可得到L最大時(shí)對(duì)應(yīng)的參數(shù)W：

03PART深度學(xué)習(xí)的應(yīng)用與問(wèn)題Deeplearning(DL),abranchofmachinelearning(ML)andartificialintelligence(AI)isnowadaysconsideredasacoretechnologyoftoday’sFourthIndustrialRevolution.

3深度學(xué)習(xí)的應(yīng)用在深度學(xué)習(xí)模型中，對(duì)于相關(guān)任務(wù)的聯(lián)合學(xué)習(xí)，往往會(huì)取得較好的特征表達(dá)；多任務(wù)聯(lián)合學(xué)習(xí)，能夠增強(qiáng)損失函數(shù)的作用效能比如：?jiǎn)为?dú)進(jìn)行人臉檢測(cè)會(huì)比較難（光照、遮擋等因素），但是當(dāng)人臉檢測(cè)與人臉識(shí)別這兩個(gè)相關(guān)的任務(wù)聯(lián)合學(xué)習(xí)時(shí)，人臉檢測(cè)的難度反而降低了3未來(lái)需解決的問(wèn)題如何分辨和利用學(xué)習(xí)獲得的中、高層特征語(yǔ)義知識(shí)？有什么正確的機(jī)理可以去增強(qiáng)一個(gè)給定的深度學(xué)習(xí)架構(gòu)，以改進(jìn)其魯棒性和對(duì)變形及數(shù)據(jù)丟失的不變性？模型方面是否有其他更為有效且有理論依據(jù)的深度模型學(xué)習(xí)算法？是否存在更有效的可并行訓(xùn)練算法？如何對(duì)于一個(gè)給定的深度學(xué)習(xí)架構(gòu)，融合多種感知的信息？對(duì)于一個(gè)特定的框架，多少維的輸入它可以表現(xiàn)得較優(yōu)？對(duì)捕捉短時(shí)或者長(zhǎng)時(shí)間的時(shí)間依賴，哪種架構(gòu)才是有效的？01020304PPT模板網(wǎng)-PPT網(wǎng)-網(wǎng)-免費(fèi)PPT模板下載網(wǎng)-PPT模板網(wǎng)-PPT網(wǎng)-PPT模板下載網(wǎng)-PPT模板免費(fèi)下載網(wǎng)-PPT教程網(wǎng)-PPT素材網(wǎng)-PPT課件深度學(xué)習(xí)的基本理論方法深度學(xué)習(xí)理論培訓(xùn)PPT課件講