深度學(xué)習(xí)的研究

深度學(xué)習(xí)的研究1、定義和背景:1.1深度學(xué)習(xí)(DL)有各種相近的定義或者高層次描述2006(deeplearning)(學(xué)習(xí))已經(jīng)成為機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)新興領(lǐng)域(Hintonetal.,2006;Bengio,2009).在過去幾年中，深度學(xué)習(xí)技術(shù)的發(fā)展已經(jīng)對(duì)信號(hào)和信息過程領(lǐng)域產(chǎn)生廣泛的影響，并將繼續(xù)影響到機(jī)器學(xué)習(xí)和人工智能的其它關(guān)鍵領(lǐng)域;參見綜述文章(Bengioetal.,2013;Hintonetal.,2012;YuandDeng,2011;Deng,2011;Areletal.,2010).最近，已有一系列的致力于關(guān)于深度學(xué)習(xí)以及應(yīng)用的研討會(huì)和特別會(huì)議。包括:DL許多優(yōu)秀的經(jīng)常更新教程、傳統(tǒng)機(jī)器學(xué)習(xí)和信號(hào)處理技術(shù)探索僅含單層非線性變換的淺層學(xué)習(xí)結(jié)構(gòu)。淺層典型的淺層學(xué)習(xí)結(jié)構(gòu)包括傳統(tǒng)隱馬爾可夫模型(HMM)、條件隨機(jī)場(CRFs)、最大熵模型(MaxEnt)、支持向量機(jī)(SVM)、核回歸及僅含單隱層的多層感知器(MLP)如，SVMDL，ChoandSaul,2009;Dengetal.,2012;Vinyalsetal.,2012)。淺層結(jié)構(gòu)的局限性在于有限的樣本和計(jì)算單元情況下對(duì)復(fù)雜函數(shù)的表示能力有限，針對(duì)復(fù)雜分類問題其泛化能力受到一定制約。神經(jīng)科學(xué)研究表明，人的視覺系統(tǒng)的信息處理是分級(jí)的。人類感知系統(tǒng)這種明確的層次結(jié)構(gòu)極大地降低了視覺系統(tǒng)處理的數(shù)據(jù)量，并保留了物體有用的結(jié)構(gòu)信網(wǎng)絡(luò)研究人員一直致力于多層神經(jīng)網(wǎng)絡(luò)的研究?；蛘叨鄬痈兄魍ǔ１怀蔀樯顚由窠?jīng)網(wǎng)絡(luò)(DNNs)，DNNs見(Bengio,2009;GlorotandBengio,2010).在學(xué)習(xí)中，一個(gè)主要的困難BP學(xué)習(xí)結(jié)構(gòu)。3:1.大量的隱藏的單元,2.好的學(xué)習(xí)算法,3.以及更好的參數(shù)初始化技術(shù)。DNNDNN陷入局部最優(yōu)，DNNDNNsBPBPDNNs。部分原因是由于，當(dāng)訓(xùn)練是單學(xué)習(xí)器和大訓(xùn)練集上進(jìn)行時(shí)，隨機(jī)梯度下降(SGD)算法是最有效的算法(BottouandLeCun,2004)SGDHessianfree2010Krylov(VinyalsandPovey2011)有類似的能力。DNNDNN(Hintonetal.2006;HintonandSalakhutdinov,2006;Bengio,2009;Vincentetal.,2010;Dengetal.,2010;Dahletal.,2010,2012;Seideetal.2011).DNN(pre-training)技術(shù)的提出(Hintonetal.2006;HintonandSalakhutdinov,2006).在上述文章中，引入了一個(gè)被稱作深層信念網(wǎng)(DBN)DBNDBNDBNDBNMLPDNNBPMLPDNNDBNDNNsDBNs(e.g.,Dahletal.,2011;Mohamedetal.,2010,2012).DNNsDBNs(Dahlet2012;Hintonetal.,2012)DBNDNNDBN-DNN(Hintonetal.,2012).DBN預(yù)訓(xùn)練過程不是唯一有效的DNNs初始化方法。另一種效果同樣好的無監(jiān)督方法是通過把每兩層作為一個(gè)去噪自動(dòng)編碼器來逐層預(yù)訓(xùn)練DNNs(Bengio,2009;Vincentetal.,2010).另一種方法是用收縮自動(dòng)編碼器，它對(duì)于輸入變化的敏感度較低(Rifaietal.,2011).而且，Ranzatoetal.(2007)(SESM)，RBMsDBN造模塊。原則上，SESMDNN外，監(jiān)督預(yù)訓(xùn)練(有時(shí)也叫作區(qū)別預(yù)訓(xùn)練)也被證明是有效的(Seideetal.,2011;Yuetal.,2011)。在有標(biāo)簽樣本數(shù)據(jù)充足的時(shí)候表現(xiàn)要優(yōu)于無監(jiān)督預(yù)訓(xùn)練技術(shù)。區(qū)別預(yù)訓(xùn)練的主要思想是從一個(gè)隱層MLP開始，用BP算法訓(xùn)練。然后，每次BPMLP(DNN)區(qū)分與監(jiān)督需要標(biāo)簽。(注:常用的概念深層信念網(wǎng)絡(luò)(Deepbeliefnetwork—DBN):包含多層隨機(jī)隱藏變量的概率生成模型。最上面兩層無向?qū)ΨQ連接。低層之間自上而下有向連接。波爾茲曼機(jī)(Boltzmannmachine—BM):類神經(jīng)元單元對(duì)稱連接成的網(wǎng)絡(luò)，通過類神經(jīng)元打開或者關(guān)閉來做出隨機(jī)決策。深層神經(jīng)網(wǎng)絡(luò)(DNN):一個(gè)帶有多隱藏層的多層感知器，它的權(quán)被完全連接，應(yīng)用一個(gè)半監(jiān)督或一個(gè)監(jiān)督預(yù)訓(xùn)練初始化。深層自動(dòng)編碼器(Deepauto-encoder):一個(gè)輸出就是輸入本身的深層神經(jīng)網(wǎng)絡(luò)。)3.典型的深度學(xué)習(xí)結(jié)構(gòu)深度學(xué)習(xí)涉及相當(dāng)廣泛的機(jī)器學(xué)習(xí)技術(shù)和結(jié)構(gòu)，根據(jù)這些結(jié)構(gòu)和技術(shù)應(yīng)用的方式，可以將其分成如下三類:,)生成性深度結(jié)構(gòu)。該結(jié)構(gòu)描述數(shù)據(jù)的高階相關(guān)特性，或觀測(cè)數(shù)據(jù)和相應(yīng)類別的聯(lián)合概率分布。,)區(qū)分性深度結(jié)構(gòu)。目的是提供對(duì)模式分類的區(qū)分性能力，通常描述數(shù)據(jù)的后驗(yàn)分布。;)混合型結(jié)構(gòu)。它的目標(biāo)是區(qū)分性的，但通常利用了生成型結(jié)構(gòu)的輸出會(huì)更易優(yōu)化1.生成性深度結(jié)構(gòu)在生成性深層結(jié)構(gòu)的不同子類中，最常見的是基于能量的深層模型(e.g.,Ngiametal.,2011;Bengio,2009;LeCunetal.,2007)始形式(HintonandSalakhutdinov,2006;Dengetal.,2010)就屬于一個(gè)典型的性質(zhì)和實(shí)現(xiàn)。例如，轉(zhuǎn)換自動(dòng)編碼器(Hintonetal.,2010)，預(yù)測(cè)性稀疏編碼和它們間的堆疊，去噪自動(dòng)編碼器和它們的疊加版本(Vincentetal.,2010).具KL層堆疊的去噪自動(dòng)編碼器的輸入。另一個(gè)著名的生成模型是深層玻爾茲曼機(jī)(DBM)(SalakhutdinovandHinton,2009,2012;Srivastavaand2012)DBMBMsDBMDBM以用來微調(diào)模型。DBM1，我們就得到受限玻爾茲曼機(jī)(RBMDBM似沒有層之間的連接。RBMRBMs，RBM活作為下一層的訓(xùn)練數(shù)據(jù)，從而有效的學(xué)習(xí)多個(gè)隱藏層。這樣組成了深信度網(wǎng)(DBN)。DBNet.al.,2010)RBMmcRBM，RBMmcRBM，把它用在深層構(gòu)架的高層都是很困難的。另一個(gè)深生成架構(gòu)的是和-積網(wǎng)SPN(PoonandDomingo,2011;GensandDomingo,2012).SPN深層構(gòu)架中的有向無環(huán)圖，數(shù)據(jù)作為葉子，和運(yùn)算和積運(yùn)算作為內(nèi)部節(jié)點(diǎn)?！昂汀惫?jié)點(diǎn)給出混合模型和“積”節(jié)點(diǎn)建立特征層次結(jié)構(gòu)。SPNEMSPN，然后通過學(xué)習(xí)它的權(quán)值來尋SPNSPN這種困難(PoonandDomingo,2011)SPN(GensandDomingo,2012)，在這篇文章提出一個(gè)有效的反向傳播式區(qū)分訓(xùn)練算法克服了這個(gè)困難。Recurrentneuralnetworks(RNNs)是另一類重要的深層生成構(gòu)架，RNNRNNsRNNs“gradientexplosion”問題，導(dǎo)致它極難被訓(xùn)練。Hessian-free優(yōu)化的最新進(jìn)展(Martens,2010)RNNs，在特征水平語言模型任務(wù)中，被用作一個(gè)生RNN力。最近，Bengioetal.(2013)andSutskever(2013)研究了在訓(xùn)練生成式RNNsHessian-free法。Mikolovetal.(2010RNNs區(qū)分性深度結(jié)構(gòu)在信號(hào)和信息過程中許多區(qū)分性技術(shù)都是淺層結(jié)構(gòu)，例如隱馬爾科夫過程(HMMs)，條件隨機(jī)域(CRFs).CRFCRFs(Yuetal.,2010a)CFRs于電話識(shí)別(YuandDeng,2010)，自然語言處理(Yuetal.,2010)和口語識(shí)別(Yuetal.,2010a)CRFsMorgan(2012)給出一個(gè)好的綜述，關(guān)于現(xiàn)存的應(yīng)用于語音識(shí)別的區(qū)分性模MLP他認(rèn)為增加神經(jīng)網(wǎng)絡(luò)每一層的寬度(width)和深度(depth)是重要的。最近(Denget.al,2011;Dengetal.,2012a;Turetal.,2012;Lenaetal.,2012;Vinyalsetal.,2012)發(fā)展了一個(gè)新的學(xué)習(xí)構(gòu)架，有時(shí)稱深度堆疊網(wǎng)絡(luò)(DeepStackingNetworkDSN)，DSN(Hutchinsonetal,2012,2013)和核版本(Dengetal.,2012)。前面說過，遞歸神經(jīng)網(wǎng)絡(luò)(RNNs)已列的區(qū)分性模型。另一個(gè)區(qū)分性深度構(gòu)架是卷積神經(jīng)網(wǎng)絡(luò)(convolutionalneuralnetwork或CNN)，每一個(gè)模塊包含一個(gè)卷積層和一個(gè)池層(poolinglayer)。通常，這些模塊DNNCNN性或等方差，對(duì)于復(fù)雜的模式識(shí)別任務(wù)是不合適的，需要可以處理廣泛的不變性的原則性方法(Hintonetal.,2011).然而,CNN效且常被用于計(jì)算機(jī)視覺和圖像識(shí)別(BengioandLeCun,1995;LeCunetal.,1998;Ciresanetal.,2012;Leetal.,2012;Deanetal.,2012;Krizhevskyetal.,2012).最近，考慮CNN，CNN效的。(Abdel-Hamidetal.,2012;Sainathetal.,2013;Dengetal.,2013)需要指出的是，用于早期語音識(shí)別延時(shí)神經(jīng)網(wǎng)絡(luò)是CNN的一類特殊情形和原型，當(dāng)權(quán)值共享被限制為時(shí)間維度。最近發(fā)現(xiàn)，對(duì)于語音識(shí)別，(Abdel-Hamidetal.,2012;Dengetal.,2013)時(shí)間維度不變性不如頻率CNNCNNs分層時(shí)間記憶模型(HTM,HawkinsandBlakeslee,2004;Hawkinsetal.,2010;George,2008CNN:1.引進(jìn)了時(shí)間維度來“監(jiān)督”信息用于區(qū)分:2，CNN而上的方式;3，用貝葉斯概率形式來融合信息和決策?；旌闲阅Ｐ突旌闲阅Ｐ屯瑫r(shí)包含或利用生成性和區(qū)分性模型部分。現(xiàn)有的混合性模型里，可以輔助區(qū)分性模型，主要有一下兩個(gè)原因。1.參數(shù)估計(jì)問題中，生成性模型可以提供較好的初始點(diǎn)(在深度學(xué)習(xí)里引入，常用術(shù)語“預(yù)訓(xùn)練”，就是這個(gè)原因)。2.從正則化觀點(diǎn)看，生成性模型可以更有效的控制總體模型的復(fù)雜性。研究報(bào)告(Erhanetal.,2010)給出了深刻的分析和實(shí)驗(yàn)數(shù)據(jù)支持以上兩個(gè)DBNDNNDBN(sequence-level而不是通常使用的框架水平(frame-level)cross-entropy)。DNNCRFDNN-CRFDNNHMMDNNHMM相關(guān)的淺層神經(jīng)網(wǎng)絡(luò)序列訓(xùn)練方法(Kingsbury,2009)法(Kingsburyetal.,2012)被提出。HMMRBMRBM(Ranzatoetal.,2011)(MRF)DBN信息和在在深層模型中每一層表示的損失。一個(gè)相關(guān)的工作(Stoyanovetal.,2011).，用經(jīng)驗(yàn)風(fēng)險(xiǎn)區(qū)分準(zhǔn)則來訓(xùn)練深層圖模型?；旌闲陨顚訕?gòu)架的另一個(gè)例子是使用一個(gè)生成模型預(yù)訓(xùn)練深層卷積神經(jīng)網(wǎng)絡(luò)(deepCNNs)(Leeetal.,2009,2010,2011).DNNCNNs最后一個(gè)混合性深層構(gòu)架是基于(Ney,1999;HeandDeng,2011)的思想和工作?？紤]的是一個(gè)區(qū)分任務(wù)(如，語音識(shí)別)產(chǎn)生的輸出(文本)，這個(gè)輸出有作為第二個(gè)區(qū)分任務(wù)(如，機(jī)器翻譯)的輸入。整個(gè)系統(tǒng)，提供了語音翻譯的功能(將一種語言輸入語音翻譯成另一種語言的文本)是一個(gè)兩階段的深層構(gòu)架，它包涵了生成和區(qū)分兩個(gè)部分元素。語音識(shí)別模型(如HMM)和機(jī)器翻譯(如短語映射和非單調(diào)校準(zhǔn))都是生成式的。但是它們的參數(shù)都是用區(qū)分式學(xué)得的。(HeandDeng,2011)中描述的框架，在整個(gè)深層框架中，可以端對(duì)端(end-to-end)地使用統(tǒng)一的學(xué)習(xí)框架執(zhí)行優(yōu)化，這種混合深度學(xué)習(xí)方法不僅可以應(yīng)用于語音翻譯也可以應(yīng)用于語音為中心的其他信息過程任務(wù)，例如語音信息檢索，語音理解，跨語言語言(或文本)理解和檢索，等等(e.g.,Yaminetal.,2008;Turetal.,2012;HeandDeng,20