深度學(xué)習(xí)的基本理論與方法

深度學(xué)習(xí)的基本理論與方法王雪2014年12月24日目錄概述深度學(xué)習(xí)簡介深度學(xué)習(xí)的訓(xùn)練過程深度學(xué)習(xí)的具體模型及方法深度學(xué)習(xí)的應(yīng)用總結(jié)展望參考文獻(xiàn)概述2012年6月，《紐約時(shí)報(bào)》披露了GoogleBrain項(xiàng)目，吸引了公眾的廣泛關(guān)注。這個(gè)項(xiàng)目是由著名的斯坦福大學(xué)機(jī)器學(xué)習(xí)教授AndrewNg和在大規(guī)模計(jì)算機(jī)系統(tǒng)方面的世界頂尖專家JeffDean共同主導(dǎo)，用16000個(gè)CPUCore的并行計(jì)算平臺(tái)訓(xùn)練一種稱為“深層神經(jīng)網(wǎng)絡(luò)”（DNN，DeepNeuralNetworks）的機(jī)器學(xué)習(xí)模型，在語音識(shí)別和圖像識(shí)別等領(lǐng)域獲得了巨大的成功。2012年11月，微軟在中國天津的一次活動(dòng)上公開演示了一個(gè)全自動(dòng)的同聲傳譯系統(tǒng)，講演者用英文演講，后臺(tái)的計(jì)算機(jī)一氣呵成自動(dòng)完成語音識(shí)別、英中機(jī)器翻譯，以及中文語音合成，效果非常流暢。據(jù)報(bào)道，后面支撐的關(guān)鍵技術(shù)也是DNN，或者深度學(xué)習(xí)（DL，DeepLearning）。2013年1月，在百度的年會(huì)上，創(chuàng)始人兼CEO李彥宏高調(diào)宣布要成立百度研究院，其中第一個(gè)重點(diǎn)方向就是深度學(xué)習(xí)，并為此而成立InstituteofDeepLearning（IDL）。這是百度成立十多年以來第一次成立研究院。2013年4月，《麻省理工學(xué)院技術(shù)評(píng)論》雜志將深度學(xué)習(xí)列為2013年十大突破性技術(shù)（BreakthroughTechnology）之首。百度首席科學(xué)家吳恩達(dá)2014年12月19日表示，百度在深度學(xué)習(xí)領(lǐng)域的發(fā)展已經(jīng)超過了谷歌與蘋果，如果這項(xiàng)技術(shù)真具有劃時(shí)代的革命意義，那么百度就此開啟并且引領(lǐng)了語音2.0時(shí)代，也即是人工智能時(shí)代的一個(gè)重要分支，改變搜索，更改變交互。概述深度學(xué)習(xí)：一種基于無監(jiān)督特征學(xué)習(xí)和特征層次結(jié)構(gòu)的學(xué)習(xí)方法可能的的名稱：深度學(xué)習(xí)特征學(xué)習(xí)無監(jiān)督特征學(xué)習(xí)概述良好的特征表達(dá)，對(duì)最終算法的準(zhǔn)確性起了非常關(guān)鍵的作用；識(shí)別系統(tǒng)主要的計(jì)算和測試工作耗時(shí)主要集中在特征提取部分；特征的樣式目前一般都是人工設(shè)計(jì)的，靠人工提取特征；手工選取特征費(fèi)時(shí)費(fèi)力，需要啟發(fā)式專業(yè)知識(shí)，很大程度上靠經(jīng)驗(yàn)和運(yùn)氣；是否能自動(dòng)地學(xué)習(xí)特征？Low-levelsensingPre-processingFeatureextract.FeatureselectionInference:prediction,recognition傳統(tǒng)的模式識(shí)別方法：深度學(xué)習(xí)就是用來解答這個(gè)問題的?。\層學(xué)習(xí)淺層學(xué)習(xí)——人工神經(jīng)網(wǎng)絡(luò)（BP算法）

采用BP算法調(diào)整參數(shù)，即采用迭代算法來訓(xùn)練整個(gè)網(wǎng)絡(luò)。隨機(jī)設(shè)定初值，計(jì)算當(dāng)前網(wǎng)絡(luò)的輸出，然后根據(jù)當(dāng)前輸出和樣本真實(shí)標(biāo)簽之間的差去改變前面各層的參數(shù)，直到收斂，整體是一個(gè)梯度下降法。神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的局限性：1）比較容易過擬合，參數(shù)比較難調(diào)整，而且需要不少技巧；2）訓(xùn)練速度比較慢，在層次比較少（小于等于3）的情況下效果并不比其它方法更優(yōu)；深度學(xué)習(xí)2006年，加拿大多倫多大學(xué)教授、機(jī)器學(xué)習(xí)領(lǐng)域的泰斗GeoffreyHinton在《科學(xué)》上發(fā)表論文提出深度學(xué)習(xí)主要觀點(diǎn)：1）多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征對(duì)數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視化或分類；2）深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過“逐層初始化”（layer-wisepre-training）來有效克服，逐層初始化可通過無監(jiān)督學(xué)習(xí)實(shí)現(xiàn)的。采用逐層訓(xùn)練機(jī)制的原因在于如果采用BP機(jī)制，對(duì)于一個(gè)deepnetwork（7層以上），殘差傳播到最前面的層將變得很小，出現(xiàn)所謂的gradientdiffusion（梯度擴(kuò)散）。深度學(xué)習(xí)本質(zhì)：通過構(gòu)建多隱層的模型和海量訓(xùn)練數(shù)據(jù)（可為無標(biāo)簽數(shù)據(jù)），來學(xué)習(xí)更有用的特征，從而最終提升分類或預(yù)測的準(zhǔn)確性?！吧疃饶Ｐ汀笔鞘侄?，“特征學(xué)習(xí)”是目的。與淺層學(xué)習(xí)區(qū)別：1）強(qiáng)調(diào)了模型結(jié)構(gòu)的深度，通常有5-10多層的隱層節(jié)點(diǎn)；2）明確突出了特征學(xué)習(xí)的重要性，通過逐層特征變換，將樣本在原空間的特征表示變換到一個(gè)新特征空間，從而使分類或預(yù)測更加容易。與人工規(guī)則構(gòu)造特征的方法相比，利用大數(shù)據(jù)來學(xué)習(xí)特征，更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息。深度學(xué)習(xí)好處：可通過學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)復(fù)雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示。深度學(xué)習(xí)訓(xùn)練過程不采用BP算法的原因（1）反饋調(diào)整時(shí)，梯度越來越稀疏，從頂層越往下，誤差校正信號(hào)越來越??；（2）收斂易至局部最小，由于是采用隨機(jī)值初始化，當(dāng)初值是遠(yuǎn)離最優(yōu)區(qū)域時(shí)易導(dǎo)致這一情況；（3）BP算法需要有標(biāo)簽數(shù)據(jù)來訓(xùn)練，但大部分?jǐn)?shù)據(jù)是無標(biāo)簽的；深度學(xué)習(xí)訓(xùn)練過程第一步：采用自下而上的無監(jiān)督學(xué)習(xí)1）逐層構(gòu)建單層神經(jīng)元。2）每層采用wake-sleep算法進(jìn)行調(diào)優(yōu)。每次僅調(diào)整一層，逐層調(diào)整。這個(gè)過程可以看作是一個(gè)featurelearning的過程，是和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)區(qū)別最大的部分。深度學(xué)習(xí)訓(xùn)練過程wake-sleep算法:1）wake階段：認(rèn)知過程，通過下層的輸入特征（Input）和向上的認(rèn)知（Encoder）權(quán)重產(chǎn)生每一層的抽象表示（Code），再通過當(dāng)前的生成（Decoder）權(quán)重產(chǎn)生一個(gè)重建信息（Reconstruction），計(jì)算輸入特征和重建信息殘差，使用梯度下降修改層間的下行生成（Decoder）權(quán)重。也就是“如果現(xiàn)實(shí)跟我想象的不一樣，改變我的生成權(quán)重使得我想象的東西變得與現(xiàn)實(shí)一樣”。2）sleep階段：生成過程，通過上層概念（Code）和向下的生成（Decoder）權(quán)重，生成下層的狀態(tài)，再利用認(rèn)知（Encoder）權(quán)重產(chǎn)生一個(gè)抽象景象。利用初始上層概念和新建抽象景象的殘差，利用梯度下降修改層間向上的認(rèn)知（Encoder）權(quán)重。也就是“如果夢中的景象不是我腦中的相應(yīng)概念，改變我的認(rèn)知權(quán)重使得這種景象在我看來就是這個(gè)概念”。深度學(xué)習(xí)訓(xùn)練過程EncoderDecoderInputImageClasslabel.FeaturesEncoderDecoderFeaturesEncoderDecoder深度學(xué)習(xí)訓(xùn)練過程第二步：自頂向下的監(jiān)督學(xué)習(xí)

這一步是在第一步學(xué)習(xí)獲得各層參數(shù)進(jìn)的基礎(chǔ)上，在最頂?shù)木幋a層添加一個(gè)分類器（例如羅杰斯特回歸、SVM等），而后通過帶標(biāo)簽數(shù)據(jù)的監(jiān)督學(xué)習(xí)，利用梯度下降法去微調(diào)整個(gè)網(wǎng)絡(luò)參數(shù)。深度學(xué)習(xí)的第一步實(shí)質(zhì)上是一個(gè)網(wǎng)絡(luò)參數(shù)初始化過程。區(qū)別于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)初值隨機(jī)初始化，深度學(xué)習(xí)模型是通過無監(jiān)督學(xué)習(xí)輸入數(shù)據(jù)的結(jié)構(gòu)得到的，因而這個(gè)初值更接近全局最優(yōu)，從而能夠取得更好的效果。深度學(xué)習(xí)的具體模型及方法自動(dòng)編碼器（AutoEncoder）

稀疏自動(dòng)編碼器(SparseAutoEncoder)

降噪自動(dòng)編碼器(DenoisingAutoEncoders)深度置信網(wǎng)絡(luò)（DeepBeliefNetworks—DBN）卷積神經(jīng)網(wǎng)絡(luò)（CNNs）深度學(xué)習(xí)的具體模型及方法自動(dòng)編碼器（AutoEncoder）這個(gè)AutoEncoder還不能用來分類數(shù)據(jù)，因?yàn)樗€沒有學(xué)習(xí)如何去連結(jié)一個(gè)輸入和一個(gè)類。它只是學(xué)會(huì)了如何去重構(gòu)或者復(fù)現(xiàn)它的輸入而已。在AutoEncoder的最頂?shù)木幋a層添加一個(gè)分類器（例如羅杰斯特回歸、SVM等），然后通過標(biāo)準(zhǔn)的多層神經(jīng)網(wǎng)絡(luò)的監(jiān)督訓(xùn)練方法（梯度下降法）去訓(xùn)練。我們需要將最后層的特征code輸入到最后的分類器，通過有標(biāo)簽樣本，通過監(jiān)督學(xué)習(xí)進(jìn)行微調(diào)，這也分兩種深度學(xué)習(xí)的具體模型及方法自動(dòng)編碼器（AutoEncoder）只調(diào)整分類器（黑色部分）通過有標(biāo)簽樣本，微調(diào)整個(gè)系統(tǒng)：（如果有足夠多的數(shù)據(jù)，這個(gè)是最好的。end-to-endlearning端對(duì)端學(xué)習(xí)）

在研究中可以發(fā)現(xiàn)，如果在原有的特征中加入這些自動(dòng)學(xué)習(xí)得到的特征可以大大提高精確度，甚至在分類問題中比目前最好的分類算法效果還要好！深度學(xué)習(xí)的具體模型及方法稀疏自動(dòng)編碼器(SparseAutoEncoder)在AutoEncoder的基礎(chǔ)上加上L1的Regularity限制（L1主要是約束每一層中的節(jié)點(diǎn)中大部分都要為0，只有少數(shù)不為0，這就是Sparse名字的來源）在計(jì)算機(jī)視覺中，稀疏性的約束是使得學(xué)習(xí)到的表達(dá)更有意義的一種重要約束；深度學(xué)習(xí)中要優(yōu)化的參數(shù)非常多，如果不加入稀疏性的約束往往會(huì)使得學(xué)習(xí)到的權(quán)重矩陣為單位矩陣，這樣就失去了深度的意義

深度學(xué)習(xí)的具體模型及方法降噪自動(dòng)編碼器(DenoisingAutoEncoders)

在自動(dòng)編碼器的基礎(chǔ)上，對(duì)訓(xùn)練數(shù)據(jù)加入噪聲，自動(dòng)編碼器必須學(xué)習(xí)去去除這種噪聲而獲得真正的沒有被噪聲污染過的輸入。因此，這就迫使編碼器去學(xué)習(xí)輸入信號(hào)的更加魯棒的表達(dá)，這也是它的泛化能力比一般編碼器強(qiáng)的原因。深度學(xué)習(xí)的具體模型及方法限制波爾茲曼機(jī)（RestrictedBoltzmannMachine）玻爾茲曼機(jī)(Boltzmannmachine)本質(zhì)上是一種能量模型。限制條件是在給定可見層或者隱層中的其中一層后，另一層的單元彼此獨(dú)立。定義：假設(shè)有一個(gè)二部圖，同層節(jié)點(diǎn)之間沒有鏈接，一層是可視層，即輸入數(shù)據(jù)層（v)，一層是隱藏層(h)，如果假設(shè)所有的節(jié)點(diǎn)都是隨機(jī)二值（0，1值）變量節(jié)點(diǎn)，同時(shí)假設(shè)全概率分布p(v,h)滿足Boltzmann分布，我們稱這個(gè)模型RestrictedBoltzmannMachine(RBM)。深度學(xué)習(xí)的具體模型及方法限制波爾茲曼機(jī)（RestrictedBoltzmannMachine）輸入v的時(shí)候，通過p(h|v)可以得到隱藏層h，而得到隱藏層h之后，通過p(v|h)又能得到可視層，通過調(diào)整參數(shù)，我們就是要使得從隱藏層得到的可視層v1與原來的可視層v如果一樣，那么得到的隱藏層就是可視層另外一種表達(dá)，因此隱藏層可以作為可視層輸入數(shù)據(jù)的特征用近似極大似然隨機(jī)梯度下降算法訓(xùn)練BM，通常用蒙特卡羅馬爾可夫鏈(Monte-CarloMarkovchain，MCMC)方法來得到模型樣例限制波爾茲曼機(jī)（RBM）是一種深度學(xué)習(xí)模型。深度學(xué)習(xí)的具體模型及方法深度置信網(wǎng)絡(luò)（DeepBeliefNetworks）-DBNDeepBeliefNetworks是在靠近可視層的部分使用貝葉斯信念網(wǎng)絡(luò)（即有向圖模型），而在最遠(yuǎn)離可視層的部分使用RestrictedBoltzmannMachine的模型。深度學(xué)習(xí)的具體模型及方法卷積波爾茲曼機(jī)（ConvolutionalRBM）

CRBM是為識(shí)別二維圖像信息而特殊設(shè)計(jì)的一個(gè)多層感知器。卷積限制玻爾茲曼機(jī)的基本思想是使用卷積的方式使得圖像各個(gè)像素共享一組濾波器

濾波器卷積（權(quán)重矩陣、偏置頂共享）特點(diǎn)：特征提取是不用考慮局部特征位置；減少了要學(xué)習(xí)的參數(shù)數(shù)量最大池采樣：對(duì)圖像進(jìn)行分塊，取每一塊的最大（或平均值），實(shí)現(xiàn)了平移不變性深度學(xué)習(xí)的具體模型及方法卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks）—CNNsCNN的優(yōu)點(diǎn)：1、避免了顯式的特征抽取，而隱式地從訓(xùn)練數(shù)據(jù)中進(jìn)行學(xué)習(xí)；2、同一特征映射面上的神經(jīng)元權(quán)值相同，從而網(wǎng)絡(luò)可以并行學(xué)習(xí)，降低了網(wǎng)絡(luò)的復(fù)雜性；3、采用時(shí)間或者空間的子采樣結(jié)構(gòu)，可以獲得某種程度的位移、尺度、形變魯棒性；3、輸入信息和網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)能很好的吻合，在語音識(shí)別和圖像處理方面有著獨(dú)特優(yōu)勢，成為這兩方面的研究熱點(diǎn)。卷積限制玻爾茲曼機(jī)逐層疊加，就得到卷積神經(jīng)網(wǎng)絡(luò)

深度學(xué)習(xí)的應(yīng)用語音識(shí)別語音識(shí)別系統(tǒng)長期以來，在描述每個(gè)建模單元的統(tǒng)計(jì)概率模型時(shí)，大多采用的是混合高斯模型（GMM）。微軟研究院語音識(shí)別專家鄧立和俞棟從2009年開始和深度學(xué)習(xí)專家GeofferyHinton合作。2011年微軟宣布基于深度神經(jīng)網(wǎng)絡(luò)的識(shí)別系統(tǒng)取得成果并推出產(chǎn)品，徹底改變了語音識(shí)別原有的技術(shù)框架。百度在實(shí)踐中發(fā)現(xiàn)，采用DNN進(jìn)行聲音建模的語音識(shí)別系統(tǒng)相比于傳統(tǒng)的GMM語音識(shí)別系統(tǒng)而言，相對(duì)誤識(shí)別率能降低25%。最終在2012年11月，百度上線了第一款基于DNN的語音搜索系統(tǒng)，成為最早采用DNN技術(shù)進(jìn)行商業(yè)語音服務(wù)的公司之一。Google也采用了深層神經(jīng)網(wǎng)絡(luò)進(jìn)行聲音建模，是最早突破深層神經(jīng)網(wǎng)絡(luò)工業(yè)化應(yīng)用的企業(yè)之一。深度學(xué)習(xí)的應(yīng)用圖像識(shí)別圖像是深度學(xué)習(xí)最早嘗試的應(yīng)用領(lǐng)域。早在1989年，YannLeCun(現(xiàn)紐約大學(xué)教授)和他的同事們就發(fā)表了卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionNeuralNetworks，簡稱CNN）的工作。但是在大規(guī)模的圖像上效果不好所以沒有得到計(jì)算機(jī)視覺領(lǐng)域的足夠重視。直到2012年10月GeoffreyHinton和他的兩個(gè)學(xué)生在著名的ImageNet問題上用更深的CNN取得世界最好結(jié)果，使得圖像識(shí)別大踏步前進(jìn)。在Hinton的模型里，輸入就是圖像的像素，沒有用到任何的人工特征。百度在2012年底將深度學(xué)習(xí)技術(shù)成功應(yīng)用于自然圖像OCR識(shí)別和人臉識(shí)別等問題，并推出相應(yīng)的桌面和移動(dòng)搜索產(chǎn)品，2013年，深度學(xué)習(xí)模型被成功應(yīng)用于一般圖片的識(shí)別和理解。深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在圖像識(shí)別上的應(yīng)用空間金字塔（SpatialPyramids）深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在圖像識(shí)別上的應(yīng)用總結(jié)深度學(xué)習(xí)是關(guān)于自動(dòng)學(xué)習(xí)要建模的數(shù)據(jù)的潛在（隱含）分布的多層（復(fù)雜）表達(dá)的算法。換句話來說，深度學(xué)習(xí)算法自動(dòng)的提取分類需要的低層次或者高層次特征。高層次特征，一是指該特征可以分級(jí)（層次）地依賴其他特征，例如：對(duì)于機(jī)器視覺，深度學(xué)習(xí)算法從原始圖像去學(xué)習(xí)得到它的一個(gè)低層次表達(dá)，例如邊緣檢測器，小波濾波器等，然后在這些低層次表達(dá)的基礎(chǔ)上再建立表達(dá)，例如這些低層次表達(dá)的線性或者非線性組合，然后重復(fù)這個(gè)過程，最后得到一個(gè)高層次的表達(dá)。Deeplearning能夠得到更好地表示數(shù)據(jù)的feature，同時(shí)由于模型的層次、參數(shù)很多，capacity足夠，因此，模型有能力表示大規(guī)模數(shù)據(jù)，所以對(duì)于圖像、語音這種特征不明顯（需要手工設(shè)計(jì)且很多沒有直觀物理含義）的問題，能夠在大規(guī)模訓(xùn)練數(shù)據(jù)上取得更好的效果。此外，從模式識(shí)別特征和分類器的角度，deeplearning框架將feature和分類器結(jié)合到一個(gè)框架中，用數(shù)據(jù)去學(xué)習(xí)feature，在使用中減少了手工設(shè)計(jì)feature的巨大工作量（這是目前工業(yè)界工程師付出努力最多的方面），因此，不僅僅效果可以更好，而且，使用起來也有很多方便之處總結(jié)目前的關(guān)注點(diǎn)還是從機(jī)器學(xué)習(xí)的領(lǐng)域借鑒一些可以在深度學(xué)習(xí)使用的方法，特別是降維領(lǐng)域。稀疏編