深度學(xué)習(xí)的相關(guān)算法研究

1、西安交通大學(xué)西安交通大學(xué) 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院數(shù)學(xué)與統(tǒng)計(jì)學(xué)院張講社張講社 西安交通大學(xué)西安交通大學(xué)統(tǒng)計(jì)系統(tǒng)計(jì)系主要內(nèi)容主要內(nèi)容324151.1 1.1 深度學(xué)習(xí)的背景及意義深度學(xué)習(xí)的背景及意義最多含單個(gè)將原始信號(hào)轉(zhuǎn)換到特定問(wèn)題空間最多含單個(gè)將原始信號(hào)轉(zhuǎn)換到特定問(wèn)題空間特征的簡(jiǎn)單特征的簡(jiǎn)單結(jié)構(gòu)，結(jié)構(gòu)，。淺層學(xué)習(xí)的局限性淺層學(xué)習(xí)的局限性 在有限的樣本和計(jì)算單元的情況下在有限的樣本和計(jì)算單元的情況下對(duì)復(fù)雜函數(shù)的表示能力對(duì)復(fù)雜函數(shù)的表示能力有限有限 缺乏發(fā)現(xiàn)數(shù)據(jù)中復(fù)雜結(jié)構(gòu)的缺乏發(fā)現(xiàn)數(shù)據(jù)中復(fù)雜結(jié)構(gòu)的能力能力 針對(duì)復(fù)雜分類(lèi)問(wèn)題其針對(duì)復(fù)雜分類(lèi)問(wèn)題其泛化能力受到泛化能力受到一定一定限制限制 GoogleGoogle

2、的語(yǔ)音識(shí)別實(shí)驗(yàn)證明，面對(duì)的語(yǔ)音識(shí)別實(shí)驗(yàn)證明，面對(duì)大數(shù)據(jù)大數(shù)據(jù)，淺層結(jié)構(gòu)算法，淺層結(jié)構(gòu)算法經(jīng)常處于嚴(yán)經(jīng)常處于嚴(yán)重的欠擬合狀態(tài)重的欠擬合狀態(tài)。n 機(jī)器學(xué)習(xí)是使計(jì)算機(jī)具有人工智能的根本途徑機(jī)器學(xué)習(xí)是使計(jì)算機(jī)具有人工智能的根本途徑人類(lèi)大腦的信息處理系統(tǒng)人類(lèi)大腦的信息處理系統(tǒng)是一多層是一多層并行系統(tǒng)，它利用逐層的方式對(duì)數(shù)并行系統(tǒng)，它利用逐層的方式對(duì)數(shù)據(jù)進(jìn)行特征提取，從低層到高層的據(jù)進(jìn)行特征提取，從低層到高層的特征表示越來(lái)越抽象。抽象層面越特征表示越來(lái)越抽象。抽象層面越高，越能表現(xiàn)語(yǔ)義或者意圖。高，越能表現(xiàn)語(yǔ)義或者意圖。人類(lèi)的認(rèn)知過(guò)程是以深度的方式呈現(xiàn)的，層次化地人類(lèi)的認(rèn)知過(guò)程是以深度的方式呈現(xiàn)的，層次化

3、地組織思想和概念：首先學(xué)習(xí)簡(jiǎn)單的概念，然后使用組織思想和概念：首先學(xué)習(xí)簡(jiǎn)單的概念，然后使用學(xué)習(xí)到的簡(jiǎn)單概念表示抽象層面更高的概念。學(xué)習(xí)到的簡(jiǎn)單概念表示抽象層面更高的概念。面對(duì)復(fù)雜的感知數(shù)據(jù)，人類(lèi)總能做出合理的判斷面對(duì)復(fù)雜的感知數(shù)據(jù)，人類(lèi)總能做出合理的判斷n 人類(lèi)大腦的結(jié)構(gòu)和信息處理機(jī)制人類(lèi)大腦的結(jié)構(gòu)和信息處理機(jī)制n 人類(lèi)的認(rèn)知過(guò)程人類(lèi)的認(rèn)知過(guò)程1.1 1.1 深度學(xué)習(xí)的背景及意義深度學(xué)習(xí)的背景及意義提取抽象水平提取抽象水平較低的特征較低的特征提取抽象水平提取抽象水平較高的特征較高的特征1.1 1.1 深度學(xué)習(xí)的背景及意義深度學(xué)習(xí)的背景及意義深度學(xué)習(xí)的概念起源于人工神經(jīng)網(wǎng)絡(luò)的研究深度學(xué)習(xí)的概念起

4、源于人工神經(jīng)網(wǎng)絡(luò)的研究基于數(shù)據(jù)處理基于數(shù)據(jù)處理群方法訓(xùn)練群方法訓(xùn)練的網(wǎng)絡(luò)模型的網(wǎng)絡(luò)模型1965年年1979年年卷積神經(jīng)卷積神經(jīng)網(wǎng)絡(luò)模型網(wǎng)絡(luò)模型多層前向多層前向網(wǎng)網(wǎng)1986年年2006年年1.2 1.2 深度學(xué)習(xí)的發(fā)展深度學(xué)習(xí)的發(fā)展u 復(fù)興復(fù)興BPBP方法的局限性方法的局限性* *深度結(jié)構(gòu)深度結(jié)構(gòu)的新發(fā)展的新發(fā)展8l 深度學(xué)習(xí)成熟條件深度學(xué)習(xí)成熟條件1 1數(shù)據(jù)集的增大數(shù)據(jù)集的增大圖 6 數(shù)據(jù)集與年份9l 深度學(xué)習(xí)成熟條件深度學(xué)習(xí)成熟條件2 2神經(jīng)元之間的連接數(shù)增大（本質(zhì)原因神經(jīng)元之間的連接數(shù)增大（本質(zhì)原因是計(jì)算機(jī)硬件技術(shù)的飛速發(fā)展）是計(jì)算機(jī)硬件技術(shù)的飛速發(fā)展）圖 7 神經(jīng)元連接與年份10l 深度

5、學(xué)習(xí)成熟條件深度學(xué)習(xí)成熟條件3 3神經(jīng)元個(gè)數(shù)的增加（本質(zhì)原因是神經(jīng)元個(gè)數(shù)的增加（本質(zhì)原因是計(jì)算機(jī)硬件技術(shù)的飛速發(fā)展）計(jì)算機(jī)硬件技術(shù)的飛速發(fā)展）圖 8 神經(jīng)元個(gè)數(shù)與年份11l 好算法的出現(xiàn)：好算法的出現(xiàn)： 2006 2006年，年，Geoffrey HintonGeoffrey Hinton在在ScienceScience上發(fā)表了一篇名為上發(fā)表了一篇名為Reducing with Reducing with Dimensionality of Data with Neural NetworksDimensionality of Data with Neural Networks的文章，從此，神經(jīng)

6、網(wǎng)絡(luò)的文章，從此，神經(jīng)網(wǎng)絡(luò)（主要是深度學(xué)習(xí)）便有煥發(fā)了新的青春。（主要是深度學(xué)習(xí)）便有煥發(fā)了新的青春。圖 9 Geoffrey Hinton與他的學(xué)生在Science上發(fā)表文章1.2 1.2 深度學(xué)習(xí)的發(fā)展深度學(xué)習(xí)的發(fā)展u 在在學(xué)術(shù)界的研究現(xiàn)狀及應(yīng)用學(xué)術(shù)界的研究現(xiàn)狀及應(yīng)用子模型的選子模型的選取與建立取與建立深度結(jié)構(gòu)深度結(jié)構(gòu)的的整體整體訓(xùn)練訓(xùn)練語(yǔ)音和音頻語(yǔ)音和音頻信號(hào)處理信號(hào)處理圖像識(shí)別圖像識(shí)別和檢索和檢索自然語(yǔ)言處理自然語(yǔ)言處理和信息檢索和信息檢索 1.2 1.2 深度學(xué)習(xí)的發(fā)展深度學(xué)習(xí)的發(fā)展u 在在工業(yè)界工業(yè)界的發(fā)展的發(fā)展l 互聯(lián)網(wǎng)界巨頭進(jìn)入深度學(xué)習(xí)領(lǐng)域互聯(lián)網(wǎng)界巨頭進(jìn)入深度學(xué)習(xí)領(lǐng)域圖 15

7、機(jī)器學(xué)習(xí)界的執(zhí)牛耳者與互聯(lián)網(wǎng)的大鱷的聯(lián)姻18(Hinton et (Hinton et al.2006al.2006, Bengio et al. 2007), Bengio et al. 2007)1.3 1.3 深度信念網(wǎng)深度信念網(wǎng)RBMRBM(Hinton et (Hinton et al.2006al.2006, Bengio et al. 2007), Bengio et al. 2007)1.4 1.4 深度信念網(wǎng)深度信念網(wǎng)RBMRBM(Hinton et (Hinton et al.2006al.2006, Bengio et al. 2007), Bengio et al. 2

8、007)1.4 1.4 深度信念網(wǎng)深度信念網(wǎng)RBMRBM(Hinton et (Hinton et al.2006al.2006, Bengio et al. 2007), Bengio et al. 2007)1.4 1.4 深度信念網(wǎng)深度信念網(wǎng)1.4 1.4 深度信念網(wǎng)深度信念網(wǎng)提出了一種用于提出了一種用于訓(xùn)練多訓(xùn)練多層前向網(wǎng)的新算法層前向網(wǎng)的新算法建立建立了基于率失真理論的了基于率失真理論的深度學(xué)習(xí)模型深度學(xué)習(xí)模型提出了對(duì)提出了對(duì)圖像變換穩(wěn)定的分類(lèi)圖像變換穩(wěn)定的分類(lèi)RBMRBM模型模型提出提出了用于了用于訓(xùn)練訓(xùn)練RBMRBM的等能量并行回火算法的等能量并行回火算法主要主要工作工作22稀疏

9、連接稀疏連接稀疏響應(yīng)稀疏響應(yīng)神經(jīng)元群神經(jīng)元群刺激刺激(Morris et (Morris et al. 2003al. 2003 Barlow, 1972Barlow, 1972 Olshausen et al Olshausen et al. 2004). 2004) ( (連接稀疏連接稀疏) )( (響應(yīng)稀疏響應(yīng)稀疏) )2.1 2.1 稀疏響應(yīng)稀疏響應(yīng)訓(xùn)練方法訓(xùn)練方法稀疏響應(yīng)稀疏響應(yīng)BPBP網(wǎng)的結(jié)構(gòu)網(wǎng)的結(jié)構(gòu)輸入向量輸入向量隱隱 層層輸出向量輸出向量后向傳播后向傳播誤差誤差信號(hào)信號(hào)前向傳播信息，計(jì)前向傳播信息，計(jì)算網(wǎng)絡(luò)的實(shí)際輸出算網(wǎng)絡(luò)的實(shí)際輸出稀疏稀疏響應(yīng)響應(yīng)BPBP網(wǎng)網(wǎng)(SRBP)2.2

10、 2.2 基于稀疏響應(yīng)的多層前向網(wǎng)基于稀疏響應(yīng)的多層前向網(wǎng)xy輸入層輸入層 隱層隱層網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)兩類(lèi)數(shù)據(jù)（紅色，藍(lán)色）兩類(lèi)數(shù)據(jù)（紅色，藍(lán)色）樣本數(shù)：樣本數(shù)：384384雙螺旋數(shù)據(jù)雙螺旋數(shù)據(jù)2.3 2.3 實(shí)驗(yàn)實(shí)驗(yàn)2.3 2.3 實(shí)驗(yàn)實(shí)驗(yàn)訓(xùn)練誤差線(xiàn)訓(xùn)練誤差線(xiàn)隱層神經(jīng)元隱層神經(jīng)元( (第二個(gè)隱第二個(gè)隱層層) )在所有樣本上響應(yīng)在所有樣本上響應(yīng)的直方圖的直方圖BP(Hinton et al. 1986)RoBP(Hirasawa 2009)GaBP(Girosi et al. 1995)LaBP(Williams 1995)EnBP2(Chauvin 1995)EnBP3(Chauvin 199

11、5)EnBP1(Chauvin 1995)SaBP第第二二個(gè)個(gè)隱隱層層在在整整個(gè)個(gè)數(shù)數(shù)據(jù)據(jù)區(qū)區(qū)域域上上的的響響應(yīng)應(yīng)情情況況SRBPBP2.3 2.3 實(shí)驗(yàn)實(shí)驗(yàn)2.3 2.3 實(shí)驗(yàn)實(shí)驗(yàn)Iris datasetHepatitis datasetGlass datasetWine datasetDiabetesUCIUCI數(shù)據(jù)集數(shù)據(jù)集2.3 2.3 實(shí)驗(yàn)實(shí)驗(yàn)2.3 2.3 實(shí)驗(yàn)實(shí)驗(yàn)Iris隱層神經(jīng)元隱層神經(jīng)元在四個(gè)在四個(gè)訓(xùn)練樣本上的響應(yīng)柱狀圖訓(xùn)練樣本上的響應(yīng)柱狀圖HepatitisClassWineDiabetesIrisHepatitisGlassWineDiabetes隱層神經(jīng)元在所有訓(xùn)練樣本上

12、的響應(yīng)直方圖隱層神經(jīng)元在所有訓(xùn)練樣本上的響應(yīng)直方圖2.3 2.3 實(shí)驗(yàn)實(shí)驗(yàn)數(shù)據(jù)集數(shù)據(jù)集BPGaBPLaBpRoBPEnBP1EnBP2EnBP3SRBPIris96.93%96.67%95.60%96.53%96.93%97.07%97.07%97.33%(4.90)(4.71)(7.08)(5.59)(0.24)(0.24)(0.24)(0.22)Hepatitis72.25%75.25%78.00%78.00%81.50%79.75%80.25%84.25%(22.77)(21.35)(15.48)(17.05)(1.61)(1.59)(1.22)(1.33)Glass93.75%93.3

13、7%93.85%93.65%92.88%93.26%93.55%94.01%(5.67)(5.90)(5.88)(5.78)(0.28)(0.24)(0.24)(0.26)Wine97.52%97.63%97.86%98.08%98.08%97.97%98.19%98.19%(3.43)(3.03)(3.18)(2.70)(0.00)(0.10)(0.14)(0.14)Diabetes74.93%75.97%74.43%75.40%76.49%77.17%77.17%77.40%(6.14)(5.32)(7.47)(5.71)(0.26)(0.17)(0.18)(0.17)測(cè)試集分類(lèi)精度，測(cè)試

14、集分類(lèi)精度，5050次實(shí)驗(yàn)的平均結(jié)果次實(shí)驗(yàn)的平均結(jié)果2.3 2.3 實(shí)驗(yàn)實(shí)驗(yàn)2.3 2.3 實(shí)驗(yàn)實(shí)驗(yàn)2.3 2.3 實(shí)驗(yàn)實(shí)驗(yàn)大腦中每個(gè)大腦中每個(gè)神經(jīng)元在響應(yīng)時(shí)都會(huì)比不響應(yīng)時(shí)消耗更多的能量神經(jīng)元在響應(yīng)時(shí)都會(huì)比不響應(yīng)時(shí)消耗更多的能量。我們用新模型中所有隱層神經(jīng)元的響應(yīng)值與我們用新模型中所有隱層神經(jīng)元的響應(yīng)值與BPBP網(wǎng)隱層神經(jīng)元的響應(yīng)值的比值網(wǎng)隱層神經(jīng)元的響應(yīng)值的比值來(lái)判斷在來(lái)判斷在BPBP網(wǎng)中引入稀疏響應(yīng)限制是否節(jié)省網(wǎng)絡(luò)處理數(shù)據(jù)所需要的能量。網(wǎng)中引入稀疏響應(yīng)限制是否節(jié)省網(wǎng)絡(luò)處理數(shù)據(jù)所需要的能量。數(shù)據(jù)集數(shù)據(jù)集Two-spiralIrisHepatitisGlassWineDiabetesGaBP/

15、BP1.00051.00730.83840.97370.99980.9981RoBP/BP1.97821.26672.57480.97530.99310.0999LaBP/BP1.22790.99740.94590.97690.99600.9994EnBP1/BP0.28900.19030.02900.11060.35670.0544EnBP2/BP0.37660.19190.03330.25800.45860.0603EnBP3/BP0.28080.19220.03040.13650.40470.0565SRBP/BP0.22020.14580.02110.06790.24210.02062

16、.3 2.3 實(shí)驗(yàn)實(shí)驗(yàn)2.4 2.4 本章小結(jié)本章小結(jié)基于人類(lèi)神經(jīng)系統(tǒng)中對(duì)于某一個(gè)刺激只有少量神經(jīng)元基于人類(lèi)神經(jīng)系統(tǒng)中對(duì)于某一個(gè)刺激只有少量神經(jīng)元同時(shí)響應(yīng)的機(jī)制，提出用于訓(xùn)練多層前向網(wǎng)的新算法同時(shí)響應(yīng)的機(jī)制，提出用于訓(xùn)練多層前向網(wǎng)的新算法實(shí)驗(yàn)結(jié)果表明實(shí)驗(yàn)結(jié)果表明333.1 3.1 率失真理論率失真理論等價(jià)等價(jià)問(wèn)題問(wèn)題n 編碼率編碼率編碼機(jī)制為確定型時(shí)編碼機(jī)制為確定型時(shí)在在RBMRBM中，隱層神經(jīng)元的響應(yīng)中，隱層神經(jīng)元的響應(yīng)概率概率( (數(shù)據(jù)的表示數(shù)據(jù)的表示) )是確定的是確定的n 失真水平失真水平RBMRBM是概率模型，因此使用輸入數(shù)據(jù)分是概率模型，因此使用輸入數(shù)據(jù)分布與模型分布之間的布與模型

17、分布之間的Kullback-Kullback-LeiblerLeibler散度作為失真函數(shù)散度作為失真函數(shù)在在RBMRBM中中，RD-DBN模型模型(RD-RBM)(RD-RBM)3.2 3.2 基于率失真理論的深度信念網(wǎng)基于率失真理論的深度信念網(wǎng)1000010000張圖，每張像素為張圖，每張像素為12X1212X12網(wǎng)絡(luò)共有兩個(gè)隱層，第一個(gè)隱層有網(wǎng)絡(luò)共有兩個(gè)隱層，第一個(gè)隱層有144144個(gè)神經(jīng)元，第二個(gè)隱層有個(gè)神經(jīng)元，第二個(gè)隱層有5050個(gè)神經(jīng)元個(gè)神經(jīng)元自然自然圖像圖像3.3 3.3 實(shí)驗(yàn)實(shí)驗(yàn)1000010000張圖，每張像素為張圖，每張像素為12X1212X12網(wǎng)絡(luò)共有兩個(gè)隱層，第一個(gè)隱層

18、有網(wǎng)絡(luò)共有兩個(gè)隱層，第一個(gè)隱層有144144個(gè)神經(jīng)元，第二個(gè)隱層有個(gè)神經(jīng)元，第二個(gè)隱層有5050個(gè)神經(jīng)元個(gè)神經(jīng)元DBN學(xué)到的學(xué)到的W1RD-DBN學(xué)到的學(xué)到的W1自然自然圖像圖像3.3 3.3 實(shí)驗(yàn)實(shí)驗(yàn)1000010000張圖，每張像素為張圖，每張像素為12X1212X12網(wǎng)絡(luò)共有兩個(gè)隱層，第一個(gè)隱層有網(wǎng)絡(luò)共有兩個(gè)隱層，第一個(gè)隱層有144144個(gè)神經(jīng)元，第二個(gè)隱層有個(gè)神經(jīng)元，第二個(gè)隱層有5050個(gè)神經(jīng)元個(gè)神經(jīng)元自然自然圖像圖像RD-DBN學(xué)到的學(xué)到的W23.3 3.3 實(shí)驗(yàn)實(shí)驗(yàn)第一個(gè)樣本所引起的隱層第一個(gè)樣本所引起的隱層( (第一個(gè)隱層第一個(gè)隱層) )神經(jīng)元響應(yīng)概率的柱狀圖神經(jīng)元響應(yīng)概率的柱狀

19、圖DBNRD-DBN手寫(xiě)體數(shù)據(jù)，手寫(xiě)體數(shù)據(jù)，1010類(lèi)，每類(lèi)取類(lèi)，每類(lèi)取20002000個(gè)數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù)個(gè)數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù)網(wǎng)絡(luò)共有兩個(gè)網(wǎng)絡(luò)共有兩個(gè)隱層，第一個(gè)隱層，第一個(gè)隱層有隱層有196196個(gè)個(gè)神經(jīng)元，第二神經(jīng)元，第二個(gè)隱層有個(gè)隱層有5050個(gè)個(gè)神經(jīng)元神經(jīng)元手寫(xiě)體數(shù)據(jù)手寫(xiě)體數(shù)據(jù)3.3 3.3 實(shí)驗(yàn)實(shí)驗(yàn)3.3 3.3 實(shí)驗(yàn)實(shí)驗(yàn)3.3 3.3 實(shí)驗(yàn)實(shí)驗(yàn)分類(lèi)誤判率分類(lèi)誤判率( (從每類(lèi)數(shù)據(jù)中隨機(jī)抽取從每類(lèi)數(shù)據(jù)中隨機(jī)抽取100100，500500，10001000個(gè)樣本作為訓(xùn)練數(shù)據(jù)，個(gè)樣本作為訓(xùn)練數(shù)據(jù)，5050次實(shí)驗(yàn)平均結(jié)果次實(shí)驗(yàn)平均結(jié)果) )3.3 3.3 實(shí)驗(yàn)實(shí)驗(yàn)MNISTMNIST數(shù)據(jù)集：

20、水平軸為所選取的神經(jīng)元個(gè)數(shù)（在訓(xùn)練數(shù)據(jù)上響應(yīng)次數(shù)較多），垂直軸為具數(shù)據(jù)集：水平軸為所選取的神經(jīng)元個(gè)數(shù)（在訓(xùn)練數(shù)據(jù)上響應(yīng)次數(shù)較多），垂直軸為具有部分隱層神經(jīng)元的網(wǎng)絡(luò)在訓(xùn)練集（每類(lèi)分別取有部分隱層神經(jīng)元的網(wǎng)絡(luò)在訓(xùn)練集（每類(lèi)分別取100100，500500和和10001000個(gè)樣本作為訓(xùn)練集）和測(cè)試個(gè)樣本作為訓(xùn)練集）和測(cè)試集上的分類(lèi)誤差率（集上的分類(lèi)誤差率（%）。）。3.3 3.3 實(shí)驗(yàn)實(shí)驗(yàn)5 5類(lèi)，每類(lèi)取類(lèi)，每類(lèi)取20002000個(gè)數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)個(gè)數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)1010類(lèi)，每類(lèi)取類(lèi)，每類(lèi)取20002000個(gè)數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)個(gè)數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)CIFARCIFAR數(shù)據(jù)數(shù)據(jù)NORBNORB數(shù)據(jù)數(shù)據(jù)3

21、.3 3.3 實(shí)驗(yàn)實(shí)驗(yàn)3.3 3.3 實(shí)驗(yàn)實(shí)驗(yàn)3.3 3.3 實(shí)驗(yàn)實(shí)驗(yàn)3.3 3.3 實(shí)驗(yàn)實(shí)驗(yàn)NORB分類(lèi)誤判率分類(lèi)誤判率( (從每類(lèi)數(shù)據(jù)中隨機(jī)抽取從每類(lèi)數(shù)據(jù)中隨機(jī)抽取200200，500500個(gè)樣本作為訓(xùn)練數(shù)據(jù)，個(gè)樣本作為訓(xùn)練數(shù)據(jù)，5050次實(shí)驗(yàn)平均結(jié)果次實(shí)驗(yàn)平均結(jié)果) )分類(lèi)誤判率分類(lèi)誤判率( (從每類(lèi)數(shù)據(jù)中隨機(jī)從每類(lèi)數(shù)據(jù)中隨機(jī)抽取抽取10001000個(gè)個(gè)樣本作為訓(xùn)練數(shù)據(jù)，樣本作為訓(xùn)練數(shù)據(jù)，5050次實(shí)驗(yàn)平均結(jié)果次實(shí)驗(yàn)平均結(jié)果) )CIFAR-10基于率失真理論的思想提出了新的深度信念網(wǎng)模型基于率失真理論的思想提出了新的深度信念網(wǎng)模型實(shí)驗(yàn)結(jié)果表明實(shí)驗(yàn)結(jié)果表明3.4 3.4 本章小結(jié)本章小結(jié)

22、5 4Gibbs抽樣抽樣 極大似然的困境極大似然的困境 基于模型的期望難以計(jì)算！基于模型的期望難以計(jì)算！ 無(wú)數(shù)次交替無(wú)數(shù)次交替GibbsGibbs采樣的時(shí)間開(kāi)銷(xiāo)大采樣的時(shí)間開(kāi)銷(xiāo)大！4 4.1 .1 RBMRBM訓(xùn)練的困境訓(xùn)練的困境梯度計(jì)算的難梯度計(jì)算的難點(diǎn)：如何抽取點(diǎn)：如何抽取模型分布的樣模型分布的樣本？本？對(duì)比散度對(duì)比散度(contrastive divergence)持續(xù)對(duì)比散度持續(xù)對(duì)比散度(persistent contrastive divergence)快速持續(xù)對(duì)比散度快速持續(xù)對(duì)比散度(fast persistent contrastive divergence)經(jīng)典的馬爾科夫經(jīng)典的

23、馬爾科夫鏈蒙特卡洛鏈蒙特卡洛(MCMC)方方法法以訓(xùn)練數(shù)據(jù)作為馬爾科夫以訓(xùn)練數(shù)據(jù)作為馬爾科夫鏈的初始狀態(tài)，且只進(jìn)行鏈的初始狀態(tài)，且只進(jìn)行k步步Gibbs采樣采樣馬爾科夫鏈的初始狀態(tài)為上馬爾科夫鏈的初始狀態(tài)為上一步更新參數(shù)時(shí)的最終狀態(tài)一步更新參數(shù)時(shí)的最終狀態(tài)在在CD的負(fù)項(xiàng)中添加的負(fù)項(xiàng)中添加“fast weights” 集集4 4.2 .2 幾種經(jīng)典的訓(xùn)練方法幾種經(jīng)典的訓(xùn)練方法 從從理論理論上講，人們總能通過(guò)上講，人們總能通過(guò)MCMCMCMC采集到符合目標(biāo)分布的采集到符合目標(biāo)分布的樣本樣本 實(shí)際實(shí)際應(yīng)用應(yīng)用中，人們通常不了解中，人們通常不了解多少次多少次轉(zhuǎn)移是足夠轉(zhuǎn)移是足夠的。這個(gè)問(wèn)題很大程的。這

24、個(gè)問(wèn)題很大程度上受到度上受到目標(biāo)分布陡峭目標(biāo)分布陡峭程度的影響。程度的影響。低概率區(qū)域典型的雙峰分布以及典型的雙峰分布以及MCMC可能面臨的問(wèn)題可能面臨的問(wèn)題4 4.2 .2 幾種經(jīng)典的訓(xùn)練方法幾種經(jīng)典的訓(xùn)練方法借助多個(gè)輔助的借助多個(gè)輔助的GibbsGibbs鏈鏈，將，將低溫分布下的狀態(tài)轉(zhuǎn)移到高溫分布低溫分布下的狀態(tài)轉(zhuǎn)移到高溫分布中，實(shí)現(xiàn)中，實(shí)現(xiàn)目標(biāo)分布中不同峰值狀態(tài)的轉(zhuǎn)移，達(dá)到對(duì)整個(gè)分布采樣的目的。目標(biāo)分布中不同峰值狀態(tài)的轉(zhuǎn)移，達(dá)到對(duì)整個(gè)分布采樣的目的。高溫高溫低溫低溫溫度越高，溫度越高，分布越均勻分布越均勻Gibbs抽樣抽樣Gibbs抽樣抽樣局部轉(zhuǎn)移局部轉(zhuǎn)移全局跳轉(zhuǎn)全局跳轉(zhuǎn)4 4.2 .2

25、 幾種經(jīng)典的訓(xùn)練方法幾種經(jīng)典的訓(xùn)練方法相鄰相鄰GibbsGibbs鏈間的狀態(tài)交換概率依賴(lài)于鏈間的狀態(tài)交換概率依賴(lài)于GibbsGibbs鏈的溫度和狀態(tài)的能量鏈的溫度和狀態(tài)的能量4 4.2 .2 幾種經(jīng)典的訓(xùn)練方法幾種經(jīng)典的訓(xùn)練方法在在PTPT中，使用中，使用過(guò)少的過(guò)少的輔助分布輔助分布或者使用或者使用不不合適的輔助分布合適的輔助分布都會(huì)都會(huì)導(dǎo)致相鄰導(dǎo)致相鄰GibbsGibbs鏈的狀鏈的狀態(tài)擁有較大差異的能態(tài)擁有較大差異的能量，從而產(chǎn)生量，從而產(chǎn)生極低的極低的交換概率，不利于交換概率，不利于RBMRBM的訓(xùn)練的訓(xùn)練0容易容易困難困難4 4.3 .3 等能量抽樣等能量抽樣Kou于于2006年提出等能

26、量抽樣年提出等能量抽樣利用溫度和能量截尾的方法構(gòu)造多個(gè)輔助分布利用溫度和能量截尾的方法構(gòu)造多個(gè)輔助分布等等能量抽樣直接用于能量抽樣直接用于RBMRBM訓(xùn)練的難點(diǎn)訓(xùn)練的難點(diǎn)在在RBMRBM中，基于以上輔助分布，可以推導(dǎo)出模型的條件分布為中，基于以上輔助分布，可以推導(dǎo)出模型的條件分布為為了得到較高的狀態(tài)交換概率，我們采用為了得到較高的狀態(tài)交換概率，我們采用等能量跳轉(zhuǎn)等能量跳轉(zhuǎn)5.4 5.4 用用等等能量跳轉(zhuǎn)的并行回火算法訓(xùn)練能量跳轉(zhuǎn)的并行回火算法訓(xùn)練RBMRBMPTEE局部轉(zhuǎn)移局部轉(zhuǎn)移全局跳轉(zhuǎn)全局跳轉(zhuǎn)Gibbs sampling劃分劃分第一個(gè)能第一個(gè)能量集量集第第d個(gè)能個(gè)能量集量集狀態(tài)交換狀態(tài)交換

27、狀態(tài)交換狀態(tài)交換每個(gè)鏈的狀態(tài)轉(zhuǎn)移每個(gè)鏈的狀態(tài)轉(zhuǎn)移過(guò)程不受其它鏈的過(guò)程不受其它鏈的影響影響狀態(tài)被劃分到多個(gè)能狀態(tài)被劃分到多個(gè)能量集中，并在能量集量集中，并在能量集內(nèi)部進(jìn)行狀態(tài)交換內(nèi)部進(jìn)行狀態(tài)交換4 4.4 .4 用用等等能量跳轉(zhuǎn)的并行回火算法訓(xùn)練能量跳轉(zhuǎn)的并行回火算法訓(xùn)練RBMRBM 基于四個(gè)基本模型基于四個(gè)基本模型( (模型模型之間的差異性比較大之間的差異性比較大) )而而產(chǎn)生的數(shù)據(jù)集。對(duì)于每一產(chǎn)生的數(shù)據(jù)集。對(duì)于每一個(gè)基本模型，以個(gè)基本模型，以0.0010.001的的概率轉(zhuǎn)換模型中的像素概率轉(zhuǎn)換模型中的像素(0(0變成變成1 1，1 1變成變成0)0)，從而生，從而生成成25002500張與該基本模型相張與該基本模型相似的圖片。似的圖片。 4 4.5 .