深度學習的基本理論與方法-圖文

深度學習的基本理論與方法_圖文.pptx目錄概述動機深度學習簡介深度學習的訓練過程深度學習的具體模型及方法深度學習的性能比較深度學習的應用展望參考文獻相關程序軟件及鏈接概述深度學習：一種基于無監(jiān)督特征學習和特征層次結(jié)構(gòu)的學習方法可能的的名稱：深度學習特征學習無監(jiān)督特征學習動機良好的特征表達，對最終算法的準確性起了非常關鍵的作用；識別系統(tǒng)主要的計算和測試工作耗時主要集中在特征提取部分；特征的樣式目前一般都是人工設計的，靠人工提取特征。Low-levelsensingPre-processingFeatureextract.FeatureselectionInference:prediction,recognition傳統(tǒng)的模式識別方法：動機——為什么要自動學習特征實驗：LP-βMultipleKernelLearningGehlerandNowozin,OnFeatureCombinationforMulticlassObjectClassification,ICCV’09采用39個不同的特征PHOG,SIFT,V1S+,

RegionCov.Etc.在普通特征上MKL表現(xiàn)有限結(jié)論：特征更重要動機——為什么要自動學習特征機器學習中，獲得好的特征是識別成功的關鍵目前存在大量人工設計的特征，不同研究對象特征不同，特征具有多樣性，如：SIFT,HOG,LBP等手工選取特征費時費力，需要啟發(fā)式專業(yè)知識，很大程度上靠經(jīng)驗和運氣是否能自動地學習特征？中層特征中層信號：動機——為什么要自動學習特征“Tokens”fromVisionbyD.Marr:連續(xù)平行連接拐角物體部件:他們對于人工而言是十分困難的，那么如何學習呢？動機——為什么要自動學習特征一般而言，特征越多，給出信息就越多，識別準確性會得到提升；但特征多，計算復雜度增加，探索的空間大，可以用來訓練的數(shù)據(jù)在每個特征上就會稀疏。結(jié)論：不一定特征越多越好！需要有多少個特征，需要學習確定。動機——為什么采用層次網(wǎng)絡結(jié)構(gòu)人腦視覺機理1981年的諾貝爾醫(yī)學獎獲得者DavidHubel和TorstenWiesel發(fā)現(xiàn)了視覺系統(tǒng)的信息處理機制發(fā)現(xiàn)了一種被稱為“方向選擇性細胞的神經(jīng)元細胞，當瞳孔發(fā)現(xiàn)了眼前的物體的邊緣，而且這個邊緣指向某個方向時，這種神經(jīng)元細胞就會活躍動機——為什么采用層次網(wǎng)絡結(jié)構(gòu)人腦視覺機理人的視覺系統(tǒng)的信息處理是分級的高層的特征是低層特征的組合，從低層到高層的特征表示越來越抽象，越來越能表現(xiàn)語義或者意圖抽象層面越高，存在的可能猜測就越少，就越利于分類動機——為什么采用層次網(wǎng)絡結(jié)構(gòu)視覺的層次性屬性學習，類別作為屬性的一種組合映射Lampertetal.CVPR’09類別標簽屬性圖像特征動機——為什么采用層次網(wǎng)絡結(jié)構(gòu)特征表示的粒度具有結(jié)構(gòu)性（或者語義）的高層特征對于分類更有意義動機——為什么采用層次網(wǎng)絡結(jié)構(gòu)初級（淺層）特征表示高層特征或圖像，往往是由一些基本結(jié)構(gòu)（淺層特征）組成的動機——為什么采用層次網(wǎng)絡結(jié)構(gòu)結(jié)構(gòu)性特征表示動機——為什么采用層次網(wǎng)絡結(jié)構(gòu)淺層學習的局限人工神經(jīng)網(wǎng)絡（BP算法）—雖被稱作多層感知機，但實際是種只含有一層隱層節(jié)點的淺層模型SVM、Boosting、最大熵方法（如LR，LogisticRegression）—帶有一層隱層節(jié)點（如SVM、Boosting），或沒有隱層節(jié)點（如LR）的淺層模型局限性：有限樣本和計算單元情況下對復雜函數(shù)的表示能力有限，針對復雜分類問題其泛化能力受限。深度學習2006年，加拿大多倫多大學教授、機器學習領域的泰斗GeoffreyHinton在《科學》上發(fā)表論文提出深度學習主要觀點：1）多隱層的人工神經(jīng)網(wǎng)絡具有優(yōu)異的特征學習能力，學習得到的特征對數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視化或分類；2）深度神經(jīng)網(wǎng)絡在訓練上的難度，可以通過“逐層初始化”（layer-wisepre-training）來有效克服，逐層初始化可通過無監(jiān)督學習實現(xiàn)的。深度學習本質(zhì)：通過構(gòu)建多隱層的模型和海量訓練數(shù)據(jù)（可為無標簽數(shù)據(jù)），來學習更有用的特征，從而最終提升分類或預測的準確性?！吧疃饶Ｐ汀笔鞘侄?，“特征學習”是目的。與淺層學習區(qū)別：1）強調(diào)了模型結(jié)構(gòu)的深度，通常有5-10多層的隱層節(jié)點；2）明確突出了特征學習的重要性，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預測更加容易。與人工規(guī)則構(gòu)造特征的方法相比，利用大數(shù)據(jù)來學習特征，更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息。深度學習好處：可通過學習一種深層非線性網(wǎng)絡結(jié)構(gòu)，實現(xiàn)復雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示。深度學習vs.神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡：深度學習：深度學習vs.神經(jīng)網(wǎng)絡相同點：二者均采用分層結(jié)構(gòu)，系統(tǒng)包括輸入層、隱層（多層）、輸出層組成的多層網(wǎng)絡，只有相鄰層節(jié)點之間有連接，同一層以及跨層節(jié)點之間相互無連接，每一層可以看作是一個logistic回歸模型。不同點：神經(jīng)網(wǎng)絡：采用BP算法調(diào)整參數(shù)，即采用迭代算法來訓練整個網(wǎng)絡。隨機設定初值，計算當前網(wǎng)絡的輸出，然后根據(jù)當前輸出和樣本真實標簽之間的差去改變前面各層的參數(shù)，直到收斂；深度學習：采用逐層訓練機制。采用該機制的原因在于如果采用BP機制，對于一個deepnetwork（7層以上），殘差傳播到最前面的層將變得很小，出現(xiàn)所謂的gradientdiffusion（梯度擴散）。深度學習vs.神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡的局限性：1）比較容易過擬合，參數(shù)比較難調(diào)整，而且需要不少技巧；2）訓練速度比較慢，在層次比較少（小于等于3）的情況下效果并不比其它方法更優(yōu)；深度學習訓練過程不采用BP算法的原因（1）反饋調(diào)整時，梯度越來越稀疏，從頂層越往下，誤差校正信號越來越小；（2）收斂易至局部最小，由于是采用隨機值初始化，當初值是遠離最優(yōu)區(qū)域時易導致這一情況；（3）BP算法需要有標簽數(shù)據(jù)來訓練，但大部分數(shù)據(jù)是無標簽的；深度學習訓練過程第一步：采用自下而上的無監(jiān)督學習1）逐層構(gòu)建單層神經(jīng)元。2）每層采用wake-sleep算法進行調(diào)優(yōu)。每次僅調(diào)整一層，逐層調(diào)整。這個過程可以看作是一個featurelearning的過程，是和傳統(tǒng)神經(jīng)網(wǎng)絡區(qū)別最大的部分。深度學習訓練過程wake-sleep算法:1）wake階段：認知過程，通過下層的輸入特征（Input）和向上的認知（Encoder）權(quán)重產(chǎn)生每一層的抽象表示（Code），再通過當前的生成（Decoder）權(quán)重產(chǎn)生一個重建信息（Reconstruction），計算輸入特征和重建信息殘差，使用梯度下降修改層間的下行生成（Decoder）權(quán)重。也就是“如果現(xiàn)實跟我想象的不一樣，改變我的生成權(quán)重使得我想象的東西變得與現(xiàn)實一樣”。2）sleep階段：生成過程，通過上層概念（Code）和向下的生成（Decoder）權(quán)重，生成下層的狀態(tài)，再利用認知（Encoder）權(quán)重產(chǎn)生一個抽象景象。利用初始上層概念和新建抽象景象的殘差，利用梯度下降修改層間向上的認知（Encoder）權(quán)重。也就是“如果夢中的景象不是我腦中的相應概念，改變我的認知權(quán)重使得這種景象在我看來就是這個概念”。深度學習訓練過程EncoderDecoderInputImageClasslabele.g.FeaturesEncoderDecoderFeaturesEncoderDecoderAutoEncoder:深度學習訓練過程第二步：自頂向下的監(jiān)督學習

這一步是在第一步學習獲得各層參數(shù)進的基礎上，在最頂?shù)木幋a層添加一個分類器（例如羅杰斯特回歸、SVM等），而后通過帶標簽數(shù)據(jù)的監(jiān)督學習，利用梯度下降法去微調(diào)整個網(wǎng)絡參數(shù)。深度學習的第一步實質(zhì)上是一個網(wǎng)絡參數(shù)初始化過程。區(qū)別于傳統(tǒng)神經(jīng)網(wǎng)絡初值隨機初始化，深度學習模型是通過無監(jiān)督學習輸入數(shù)據(jù)的結(jié)構(gòu)得到的，因而這個初值更接近全局最優(yōu)，從而能夠取得更好的效果。深度學習的具體模型及方法自動編碼器（AutoEncoder）稀疏自動編碼器(SparseAutoEncoder)降噪自動編碼器(DenoisingAutoEncoders)深度學習的具體模型及方法EncoderDecoderInput(Image/Features)OutputFeaturese.g.Feed-back/

generative/

top-downpathFeed-forward/

bottom-uppath自動編碼器（AutoEncoder）深度學習的具體模型及方法σ(Wx)σ(WTz)(Binary)Inputx(Binary)Featuresze.g.自動編碼器（AutoEncoder）EncoderfiltersWSigmoidfunctionσ(.)DecoderfiltersWTSigmoidfunctionσ(.)深度學習的具體模型及方法稀疏自動編碼器(SparseAutoEncoder)限制每次得到的表達code盡量稀疏限制每次得到的表達code盡量稀疏深度學習的具體模型及方法稀疏自動編碼器(SparseAutoEncoder)FiltersFeaturesSparseCodingInput

Patch深度學習的具體模型及方法σ(Wx)DzInputPatchxSparseFeaturesze.g.EncoderfiltersWSigmoidfunctionσ(.)DecoderfiltersDL1SparsityTraining稀疏自動編碼器(SparseAutoEncoder)深度學習的具體模型及方法稀疏自動編碼器(SparseAutoEncoder)1）Training階段：給定一系列的樣本圖片[x1,x2,…]，我們需要學習得到一組基[Φ1,Φ2,…]，也就是字典。

可使用K-SVD方法交替迭代調(diào)整a[k]，Φ[k]，直至收斂，從而可以獲得一組可以良好表示這一系列x的字典。深度學習的具體模型及方法稀疏自動編碼器(SparseAutoEncoder)2）Coding階段：給定一個新的圖片x，由上面得到的字典，利用OMP算法求解一個LASSO問題得到稀疏向量a。這個稀疏向量就是這個輸入向量x的一個稀疏表達。深度學習的具體模型及方法稀疏自動編碼器(SparseAutoEncoder)深度學習的具體模型及方法降噪自動編碼器(DenoisingAutoEncoders)在自動編碼器的基礎上，對訓練數(shù)據(jù)加入噪聲，自動編碼器必須學習去去除這種噪聲而獲得真正的沒有被噪聲污染過的輸入。因此，這就迫使編碼器去學習輸入信號的更加魯棒的表達，這也是它的泛化能力比一般編碼器強的原因。深度學習的具體模型及方法Autoencoder(mostDeepLearningmethods)RBMs/DBMs [Lee/Salakhutdinov]Denoisingautoencoders [Ranzato]Predictivesparsedecomposition

[Ranzato]Decoder-onlySparsecoding [Yu]DeconvolutionalNets [Yu]

Encoder-onlyNeuralnets(supervised) [Ranzato]深度學習的具體模型及方法限制波爾茲曼機（RestrictedBoltzmannMachine）定義：假設有一個二部圖，同層節(jié)點之間沒有鏈接，一層是可視層，即輸入數(shù)據(jù)層（v)，一層是隱藏層(h)，如果假設所有的節(jié)點都是隨機二值（0，1值）變量節(jié)點，同時假設全概率分布p(v,h)滿足Boltzmann分布，我們稱這個模型是RestrictedBoltzmannMachine(RBM)。深度學習的具體模型及方法限制波爾茲曼機（RestrictedBoltzmannMachine）限制波爾茲曼機（RBM）是一種深度學習模型。深度學習的具體模型及方法限制波爾茲曼機（RestrictedBoltzmannMachine）定義聯(lián)合組態(tài)（jointconfiguration）能量：這樣某個組態(tài)的聯(lián)合概率分布可以通過Boltzmann分布和這個組態(tài)的能量來確定：深度學習的具體模型及方法限制波爾茲曼機（RestrictedBoltzmannMachine）給定隱層h的基礎上，可視層的概率確定：（可視層節(jié)點之間是條件獨立的）給定可視層v的基礎上，隱層的概率確定：深度學習的具體模型及方法限制波爾茲曼機（RestrictedBoltzmannMachine）

待求問題：給定一個滿足獨立同分布的樣本集：D={v(1),v(2),…,v(N)}，需要學習模型參數(shù)θ={W,a,b}。

求解：

最大似然估計：我們需要選擇一個參數(shù)，讓我們當前的觀測樣本的概率最大對最大對數(shù)似然函數(shù)求導，即可得到L最大時對應的參數(shù)W：若隱藏層層數(shù)增加，可得到DeepBoltzmannMachine(DBM)深度學習的具體模型及方法DeepBoltzmannMachine(DBM)深度學習的具體模型及方法深信度網(wǎng)絡（DeepBeliefNetworks）DeepBeliefNetworks是在靠近可視層的部分使用貝葉斯信念網(wǎng)絡（即有向圖模型），而在最遠離可視層的部分使用RestrictedBoltzmannMachine的模型。深度學習的具體模型及方法深信度網(wǎng)絡（DeepBeliefNetworks）深度學習的具體模型及方法卷積波爾茲曼機（ConvolutionalRBM）

CRBM是為識別二維圖像信息而特殊設計的一個多層感知器。概念示范：輸入圖像通過與m個可訓練的濾波器和可加偏置進行卷積，在C1層產(chǎn)生m個特征映射圖，然后特征映射圖中每組的n個像素再進行求和，加權(quán)值，加偏置，通過一個Sigmoid函數(shù)得到m個S2層的特征映射圖。這些映射圖再進過濾波得到C3層。這個層級結(jié)構(gòu)再和S2一樣產(chǎn)生S4。最終，這些像素值被光柵化，并連接成一個向量輸入到傳統(tǒng)的神經(jīng)網(wǎng)絡，得到輸出。深度學習的具體模型及方法卷積波爾茲曼機（ConvolutionalRBM）權(quán)值共享減少參數(shù)的方法：每個神經(jīng)元無需對全局圖像做感受，只需感受局部區(qū)域（FeatureMap），在高層會將這些感受不同局部的神經(jīng)元綜合起來獲得全局信息。每個神經(jīng)元參數(shù)設為相同，即權(quán)值共享，也即每個神經(jīng)元用同一個卷積核去卷積圖像。深度學習的具體模型及方法卷積波爾茲曼機（ConvolutionalRBM）隱層神經(jīng)元數(shù)量的確定神經(jīng)元數(shù)量與輸入圖像大小、濾波器大小和濾波器的滑動步長有關。例如，輸入圖像是1000x1000像素，濾波器大小是10x10，假設濾波器間沒有重疊，即步長為10，這樣隱層的神經(jīng)元個數(shù)就是(1000x1000)/(10x10)=10000個深度學習的具體模型及方法卷積波爾茲曼機（ConvolutionalRBM）多濾波器情形不同的顏色表示不同種類的濾波器每層隱層神經(jīng)元的個數(shù)按濾波器種類的數(shù)量翻倍每層隱層參數(shù)個數(shù)僅與濾波器大小、濾波器種類的多少有關例如：隱含層的每個神經(jīng)元都連接10x10像素圖像區(qū)域，同時有100種卷積核（濾波器）。則參數(shù)總個數(shù)為：（10x10+1）x100=10100個深度學習的具體模型及方法卷積波爾茲曼機（ConvolutionalRBM）卷積過程：用一個可訓練的濾波器fx去卷積一個輸入的圖像（第一階段是輸入的圖像，后面的階段就是FeatureMap了），然后加一個偏置bx，得到卷積層Cx。子采樣過程：每鄰域n個像素通過池化（pooling）步驟變?yōu)橐粋€像素，然后通過標量Wx+1加權(quán)，再增加偏置bx+1，然后通過一個sigmoid激活函數(shù)，產(chǎn)生一個大概縮小n倍的特征映射圖Sx+1。深度學習的具體模型及方法卷積波爾茲曼機（ConvolutionalRBM）CNN的關鍵技術：局部感受野、權(quán)值共享、時間或空間子采樣CNN的優(yōu)點：1、避免了顯式的特征抽取，而隱式地從訓練數(shù)據(jù)中進行學習；2、同一特征映射面上的神經(jīng)元權(quán)值相同，從而網(wǎng)絡可以并行學習，降低了網(wǎng)絡的復雜性；3、采用時間或者空間的子采樣結(jié)構(gòu)，可以獲得某種程度的位移、尺度、形變魯棒性；3、輸入信息和網(wǎng)絡拓撲結(jié)構(gòu)能很好的吻合，在語音識別和圖像處理方面有著獨特優(yōu)勢。深度學習的具體模型及方法基于CRBM的深度學習框架深度學習性能比較DeepnetsVS.Boosting深度學習性能比較DeepnetsVS.ProbabilisticModels深度學習性能比較隨機文法模型SetofproductionrulesforobjectsZhu&Mumford,StochasticGrammarofImages,F&T2006自動學習人工指定[S.C.Zhuetal.]深度學習性能比較基于文法模型的物體檢測-R.Girshick,P.Felzenszwalb,D.McAllester,NIPS2011-Learnlocalappearance

&shape人工指定自動學習深度學習性能比較部件和結(jié)構(gòu)模型DefinedconnectivitygraphLearnappearance/relativeposition[Felzenszwalb&HuttenlocherCVPR’00][FischlerandR.Elschlager1973]人工指定自動學習深度學習性能比較基于部件與結(jié)構(gòu)的分層模型-Fidleretal.ECCV’10-Fidler&LeonardisCVPR’07人工指定自動學習深度學習性能比較遞歸和與圖模型-LeoZhu,YuanhaoChen,AlanYuille&collaboratorsRecursivecomposition,AND/ORgraphLearn#unitsatlayer人工指定自動學習深度學習性能比較自動編碼模型[Hintonetal.ICANN’11]反卷積網(wǎng)絡模型[Zeileretal.ICCV’11]-Explicitrepresentationofwhat/where人工指定自動學習深度學習性能比較神經(jīng)網(wǎng)絡Dedicated

pooling/LCN

layersNoseparationof

what/whereModality

independent

(e.g.speech,

images)[Leetal.,ICML’12]人工指定自動學習深度學習性能比較波爾茲曼機Homogenous

architectureNoseparationof

what/whereModality

independent

(e.g.speech,images)[Salakhutdinov&HintonAISTATS’09]人工指定自動學習深度學習的應用深度學習在圖像識別上的應用空間金字塔（SpatialPyramids）深度學習的應用深度學習在圖像識別上的應用深度學習的應用深度學習在圖像識別上的應用深度學習的應用深度學習在圖像識別上的應用深度學習的應用深度學習在圖像識別上的應用實驗在Caltech256數(shù)據(jù)集上，利用單特征識別，SparseCRBM性能最優(yōu)深度學習的應用深度學習在音頻識別上的應用ConvolutionalDBNforaudioMaxpoolingnode

DetectionnodesMaxpoolingnode

Detectionnodes深度學習的應用深度學習在音頻識別上的應用ConvolutionalDBNforaudio深度學習的應用深度學習在音頻識別上的應用深度學習的應用深度學習在音頻識別上的應用深度學習的應用深度學習在視頻識別上的應用SPACE-TIMEDEEPBELIEFNETWORKS深度學習的應用深度學習在視頻識別上的應用深度學習的應用深度學習在多模態(tài)學習中的應用深度學習的應用深度學習在多模態(tài)學習中的應用深度學習的應用深度學習在多模態(tài)學習中的應用深度學習的應用深度學習在多模態(tài)學習中的應用深度學習的應用深度學習在多模態(tài)學習中的應用深度學習的應用深度學習在多模態(tài)學習中的應用如果模態(tài)間存在著內(nèi)在的聯(lián)系，即存在sharedRepresentation，那么理論上模型應支持訓練一個模態(tài)，而測試另一個模態(tài)時，仍能獲得好的分類性能。深度學習的應用深度學習在多任務學習中的應用深度學習的應用深度學習在多任務學習中的應用在深度學習模型中，對于相關任務的聯(lián)合學習，往往會取得較好的特征表達；多任務聯(lián)合學習，能夠增強損失函數(shù)的作用效能；比如：單獨進行人臉檢測會比較難（光照、遮擋等因素），但是當人臉檢測與人臉識別這兩個相關的任務聯(lián)合學習時，人臉檢測的難度反而降低了。深度學習的應用基于深度學習的遷移學習應用深度學習的應用基于深度學習的遷移學習應用特征共享深度學習的應用基于深度學習的遷移學習應用深度學習的應用深度學習在大尺度數(shù)據(jù)集上的應用大尺度數(shù)據(jù)集：樣本總數(shù)>100M,類別總數(shù)>10K,特征維度>10K深度學習的應用深度學習在大尺度數(shù)據(jù)集上的應用模型的并行運算化深度學習的應用深度學習在大尺度數(shù)據(jù)集上的應用分布式深度學習模型深度學習的應用深度學習在大尺度數(shù)據(jù)集上的應用分布式深度學習模型深度學習的應用深度學習在大尺度數(shù)據(jù)集上的應用參數(shù)個數(shù)達到1.15billion，若不能并行優(yōu)化參數(shù)，任務無法完成！深度學習的應用深度學習的State-of-the-art展望未來需解決的問題：對于一個特定的框架，多少維的輸入它可以表現(xiàn)得較優(yōu)？對捕捉短時或者長時間的時間依賴，哪種架構(gòu)才是有效的？如何對于一個給定的深度學習架構(gòu)，融合多種感知的信息？如何分辨和利用學習獲得的中、高層特征語義知識？有什么正確的機理可以去增強一個給定的深度學習架構(gòu)，以改進其魯棒性和對變形及數(shù)據(jù)丟失的不變性？模型方面是否有其他更為有效且有理論依據(jù)的深度模型學習算法？是否存在更有效的可并行訓練算法？參考文獻Tutorials&BackgroundMaterial–YoshuaBengio,LearningDeepArchitecturesforAI,FoundationsandTrendsinMachineLearning,2(1),pp.1-127,2009.–LeCun,Chopra,Hadsell,Ranzato,Huang:ATutorialonEnergy-BasedLearning,inBakir,G.andHofman,T.andScholkopf,B.andSmola,A.andTaskar,B.(Eds),PredictingStructuredData,MITPress,2006ConvolutionalNets–LeCun,Bottou,BengioandHaffner:Gradient-BasedLearningAppliedtoDocumentRecognition,ProceedingsoftheIEEE,86(11):2278-2324,November1998–Jarrett,Kavukcuoglu,Ranzato,LeCun:WhatistheBestMulti-StageArchitectureforObjectRecognition?,Proc.InternationalConferenceonComputerVision(ICCV'09),IEEE,2009

–Kavukcuoglu,Sermanet,Boureau,Gregor,Mathieu,LeCun:LearningConvolutionalFeatureHierachiesforVisualRecognition,AdvancesinNeuralInformationProcessingSystems(NIPS2010),23,2010參考文獻UnsupervisedLearning–ICAwithReconstructionCostforEfficientOvercompleteFeatureLearning.Le,Karpenko,Ngiam,Ng.InNIPS2011–Rifai,Vincent,Muller,Glorot,Bengio,ContractingAuto-Encoders:Explicitinvarianceduringfeatureextraction,in:ProceedingsoftheTwenty-eightInternationalConferenceonMachineLearning(ICML'11),2011-Vincent,Larochelle,Lajoie,Bengio,Manzagol,StackedDenoisingAutoencoders:LearningUsefulRepresentationsinaDeepNetworkwithaLocalDenoisingCriterion,JournalofMachineLearningResearch,11:3371--3408,2010.-Gregor,Szlam,LeCun:StructuredSparseCodingviaLateralInhibition,AdvancesinNeuralInformationProcessingSystems(NIPS2011),24,2011-Kavukcuoglu,Ranzato,LeCun."FastInferenceinSparseCodingAlgorithmswithApplicationstoObjectRecognition".ArXiv1010.34672008-Hinton,Krizhevsky,Wang,TransformingAuto-encoders,ICANN,2011Multi-modalLearning–Multimodaldeeplearning,Ngiam,Khosla,Kim,Nam,Lee,Ng.InProceedingsoftheTwenty-EighthInternationalConferenceonMachineLearning,2011.參考文獻LocallyConnectedNets

–Gregor,LeCun“Emergenceofcomplex-likecellsinatemporalproductnetworkwithlocalreceptivefields”Arxiv.2009–Ranzato,Mnih,Hinton“GeneratingmorerealisticimagesusinggatedMRF's”NIPS2010–Le,Ngiam,Chen,Chia,Koh,Ng“Tiledconvolutionalneuralnetworks”NIPS2010DistributedLearning–Le,Ranzato,Monga,Devin,Corrado,Chen,Dean,Ng."BuildingHigh-LevelFeaturesUsingLargeScaleUnsupervisedLearning".InternationalConferenceofMachineLearning(ICML2012),Edinburgh,2012.PapersonSceneParsing–Farabet,Couprie,Najman,LeCun,