深度學習的基本理論方法培訓講座

深度學習的基本理論方法深度學習理論培訓PPT課件講述人：某某某日期：20××.××.××Deeplearning(DL),abranchofmachinelearning(ML)andartificialintelligence(AI)isnowadaysconsideredasacoretechnologyoftoday’sFourthIndustrialRevolution.

深度學習的概述與動機|深度學習的具體模型與方法|深度學習的應用與問題

目錄CONTENTS01深度學習的概述與動機Overviewandmotivationofdeeplearning02深度學習的具體模型與方法Specificmodelsandmethodsofdeeplearning03深度學習的應用與問題Applicationsandproblemsofdeeplearning01PART深度學習的概述與動機Deeplearning(DL),abranchofmachinelearning(ML)andartificialintelligence(AI)isnowadaysconsideredasacoretechnologyoftoday’sFourthIndustrialRevolution.

1基本概念淺層學習淺層學習是機器學習的第一次浪潮人工神經(jīng)網(wǎng)絡（BP算法）SVM、Boosting、最大熵方法（如LR，LogisticRegression）雖被稱作多層感知機，但實際是種只含有一層隱層節(jié)點的淺層模型帶有一層隱層節(jié)點（如SVM、Boosting），或沒有隱層節(jié)點（如LR）的淺層模型局限性：有限樣本和計算單元情況下對復雜函數(shù)的表示能力有限，針對復雜分類問題其泛化能力受限。1基本概念SIFT算法HoG算法Textons算法Spinimage算法RIFT算法GLOH算法1基本概念2006年，加拿大多倫多大學教授、機器學習領域的泰斗GeoffreyHinton在《科學》上發(fā)表論文提出深度學習主要觀點多隱層的人工神經(jīng)網(wǎng)絡具有優(yōu)異的特征學習能力，學習得到的特征對數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視化或分類；深度神經(jīng)網(wǎng)絡在訓練上的難度，可以通過“逐層初始化”（layer-wisepre-training）來有效克服，逐層初始化可通過無監(jiān)督學習實現(xiàn)的。01021基本概念深度學習深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示1981年的諾貝爾醫(yī)學獎獲得者DavidHubel和TorstenWiesel發(fā)現(xiàn)了一種被稱為“方向選擇性細胞的神經(jīng)元細胞，當瞳孔發(fā)現(xiàn)了眼前的物體的邊緣，而且這個邊緣指向某個方向時，這種神經(jīng)元細胞就會活躍1基本概念深度學習的優(yōu)勢能以更加緊湊簡潔的方式來表達比淺層網(wǎng)絡大得多的函數(shù)集合訓練深度學習的困難01數(shù)據(jù)獲取問題：考慮到深度網(wǎng)絡具有強大的表達能力，在不充足的數(shù)據(jù)上進行訓練將會導致過擬合局部極值問題：與梯度下降法有關021深度神經(jīng)網(wǎng)絡的演化神經(jīng)網(wǎng)絡深度神經(jīng)網(wǎng)絡多層感知器1神經(jīng)網(wǎng)絡輸出

激活函數(shù)

+11神經(jīng)網(wǎng)絡

+1+1

Layer

Layer

Layer

1多層感知器

+1+1

Layer

Layer

Layer

+1

Layer網(wǎng)絡中包含一層或多個隱藏在輸入和輸出神經(jīng)節(jié)點之間的層1多層感知器多層感知器的訓練分為以下兩個階段前向階段網(wǎng)絡中突觸的權值是固定的，輸入信號在網(wǎng)絡中一層一層的傳播，直到輸出端反向階段反向傳播算法1反向傳播算法反向傳播算法可表示為以下幾個步驟01進行前饋傳導計算，利用前向傳導公式，得到

直到輸出層

的激活值

02對輸出層（第

層）的計算

03對于

各層的計算04計算最終需要的

05根據(jù)殘差對參數(shù)W和b做出更新

1多層感知器在有了多層感知器之后為什么還需要提出深度學習？?1深度神經(jīng)網(wǎng)絡強調(diào)了模型結(jié)構的深度，通常有5-10多層的隱層節(jié)點明確突出了特征學習的重要性，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預測更加容易。與人工規(guī)則構造特征的方法相比，利用大數(shù)據(jù)來學習特征，更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息。好處：可通過學習一種深層非線性網(wǎng)絡結(jié)構，實現(xiàn)復雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示。1深度神經(jīng)網(wǎng)絡

+1+1

Layer

Layer

Layer

神經(jīng)網(wǎng)絡深度學習輸出層隱層輸入層02PART深度學習的具體模型與方法Deeplearning(DL),abranchofmachinelearning(ML)andartificialintelligence(AI)isnowadaysconsideredasacoretechnologyoftoday’sFourthIndustrialRevolution.

2深度學習的具體模型與方法自動編碼器稀疏自編碼卷積神經(jīng)網(wǎng)絡限制玻爾茲曼機010203042深度學習的具體模型與方法

+1+1

Layer

Layer

Layer

2深度學習的具體模型與方法使神經(jīng)元大部分時間都是被抑制的限制被稱為稀疏性限制

平均激活度

增加一條限制

2深度學習的具體模型與方法

2深度學習的具體模型與方法卷積神經(jīng)網(wǎng)絡卷積層

下采樣層

2深度學習的具體模型與方法下采樣層與卷積層之間的連接方式01234567891011121214150XXXXXXXXXX1XXXXXXXXXX2XXXXXXXXXX3XXXXXXXXXX4XXXXXXXXXX5XXXXXXXXXX是否有改進的地方？2深度學習的具體模型與方法權值共享每個神經(jīng)元無需對全局圖像做感受，只需感受局部區(qū)域（FeatureMap），在高層會將這些感受不同局部的神經(jīng)元綜合起來獲得全局信息。每個神經(jīng)元參數(shù)設為相同，即權值共享，也即每個神經(jīng)元用同一個卷積核去卷積圖像。2深度學習的具體模型與方法CNN的優(yōu)點避免了顯式的特征抽取，而隱式地從訓練數(shù)據(jù)中進行學習同一特征映射面上的神經(jīng)元權值相同，從而網(wǎng)絡可以并行學習，降低了網(wǎng)絡的復雜性采用時間或者空間的子采樣結(jié)構，可以獲得某種程度的位移、尺度、形變魯棒性輸入信息和網(wǎng)絡拓撲結(jié)構能很好的吻合，在語音識別和圖像處理方面有著獨特優(yōu)勢2深度學習的具體模型與方法卷積網(wǎng)絡較一般神經(jīng)網(wǎng)絡在圖像處理方面有如下優(yōu)點輸入圖像和網(wǎng)絡的拓撲結(jié)構能很好的吻合A特征提取和模式分類同時進行，并同時在訓練中產(chǎn)生B權重共享可以減少網(wǎng)絡的訓練參數(shù)，使神經(jīng)網(wǎng)絡結(jié)構變得更簡單，適應性更強C2深度學習的具體模型與方法深信度網(wǎng)絡HiddenlayersVisiblelayersDBNstructureRBMDirectedbeliefnetsh1h2h3V2深度學習的具體模型與方法受限玻爾茲曼機定義聯(lián)合組態(tài)（jointconfiguration）能量：

這樣某個組態(tài)的聯(lián)合概率分布可以通過Boltzmann分布和這個組態(tài)的能量來確定：

PartitionfunctionPotentialfunctionhWVimageVisiblevariablesHiddenvariablesBipartitestructure2深度學習的具體模型與方法給定隱層h的基礎上，可視層的概率確定

給定可視層v的基礎上，隱層的概率確定

2深度學習的具體模型與方法待求問題給定一個滿足獨立同分布的樣本集：D={v(1),v(2),…,v(N)}，需要學習模型參數(shù)θ={W,a,b}。求解最大似然估計：我們需要選擇一個參數(shù)，讓我們當前的觀測樣本的概率最大,對最大對數(shù)似然函數(shù)求導，即可得到L最大時對應的參數(shù)W：

03PART深度學習的應用與問題Deeplearning(DL),abranchofmachinelearning(ML)andartificialintelligence(AI)isnowadaysconsideredasacoretechnologyoftoday’sFourthIndustrialRevolution.

3深度學習的應用在深度學習模型中，對于相關任務的聯(lián)合學習，往往會取得較好的特征表達；多任務聯(lián)合學習，能夠增強損失函數(shù)的作用效能比如：單獨進行人臉檢測會比較難（光照、遮擋等因素），但是當人臉檢測與人臉識別這兩個相關的任務聯(lián)合學習時，人臉檢測的難度反而降低了3未來需解決的問題如何分辨和利用學習獲得的中、高層特征語義知識？有什么正確的機理可以去增強一個給定的深度學習架構，以改進其魯棒性和對變形及數(shù)據(jù)丟失的不變性？模型方面是否有其他更為有效且有理論依據(jù)的深度模型學習算法？是否存在更有效的可并行訓練算法？如何對于一個給定的深度學習架構，融合多種感知的信息？對于一個特定的框架，多少維的輸入它可以表現(xiàn)得較優(yōu)？對捕捉短時或者長時間的時間依賴，哪種架構才是有效的？01020304深度學習的基本理論方法深度學習理論培訓PPT課件講述人：某日期：