深度學(xué)習(xí)簡介

深度學(xué)習(xí)簡介翟巖慧山西大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院目錄背景理論根底深度學(xué)習(xí)式神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)應(yīng)用進(jìn)一步解釋深度學(xué)習(xí)背景背景為了讓機(jī)器自動(dòng)學(xué)習(xí),需要提取特征,而特征提取一般由人工進(jìn)行,并且非常困難特征的有效性對學(xué)習(xí)算法可能有決定性的作用背景要描述右圖中的圖像,需要對圖像像素進(jìn)行分析,提取邊緣特征并分割分析邊緣特征,生成局部形狀特征和人體局部部位特征分析局部部位特征,生成人體部位特征分析部位特征,完成圖像語義識別背景無監(jiān)督特征提取:Hinton,G.E.,Osindero,S.andTeh,Y.,Afastlearningalgorithmfordeepbeliefnets.NeuralComputation18:1527-1554,2006(基于RestrictedBoltzmannMachine(RBM)的DeepBeliefNetworks(DBN),采用逐層學(xué)習(xí)特征的無監(jiān)督特征提取算法)YoshuaBengio,PascalLamblin,DanPopoviciandHugoLarochelle,GreedyLayer-WiseTrainingofDeepNetworks,inJ.Plattetal.(Eds),AdvancesinNeuralInformationProcessingSystems19(NIPS2006),pp.153-160,MITPress,2007(比較了RBM和Auto-encoder)Marc’AurelioRanzato,ChristopherPoultney,SumitChopraandYannLeCun.EfficientLearningofSparseRepresentationswithanEnergy-BasedModel,inJ.Plattetal.(Eds),AdvancesinNeuralInformationProcessingSystems(NIPS2006),MITPress,2007(將稀疏自編碼用于卷積結(jié)構(gòu))背景深度學(xué)習(xí)應(yīng)用:分類回歸維數(shù)約簡紋理建模行動(dòng)建模對象分割信息獲取機(jī)器人自然語言處理協(xié)同過濾背景:深度學(xué)習(xí)深度學(xué)習(xí):可以進(jìn)行自動(dòng)特征提取,并生成具有層次結(jié)構(gòu)特征集合組.深度的意義表達(dá)在特征的層次結(jié)構(gòu)上,目前的學(xué)習(xí)根本上都是淺層學(xué)習(xí),如SVM(2),線性回歸和邏輯回歸(1),深度學(xué)習(xí)的生物根底:大腦的運(yùn)作方式是深度模式.如,視覺系統(tǒng)(5-10)...背景:深度學(xué)習(xí)理論根底理論根底:深度的有效性多層神經(jīng)網(wǎng)絡(luò)中,層次更少的神經(jīng)網(wǎng)絡(luò)近似某一函數(shù)會(huì)比層數(shù)較多的神經(jīng)網(wǎng)絡(luò)需要更多的(指數(shù)階)參數(shù).邏輯門問題:2層邏輯門可以表示任意布爾函數(shù).已經(jīng)證明,某些需要多項(xiàng)式個(gè)邏輯單元的k層電路來表示的函數(shù)需要指數(shù)個(gè)邏輯單元的k-1層電路才能表示.理論根底:深度的有效性解釋結(jié)論的解釋:因子化理論根底:深度的有效性解釋因子化在圖像處理中的解釋:第一層可以學(xué)習(xí)如何將圖像中的像素組合在一起來檢測邊緣第二層可以將邊緣組合起來檢測更長的輪廓或者簡單的“目標(biāo)的部件〞在更深的層次上，可以將這些輪廓進(jìn)一步組合起來以檢測更為復(fù)雜的特征理論根底:深度的有效性解釋深度學(xué)習(xí)式神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)式神經(jīng)網(wǎng)絡(luò)深度網(wǎng)絡(luò)的簡潔性和較強(qiáng)的表達(dá)能力訓(xùn)練深度網(wǎng)絡(luò)有一些困難(主要指BP算法)數(shù)據(jù)獲取問題(需要的樣本過多)局部極值問題(太多的局部極值)梯度彌散問題(BP算法對前面層次的訓(xùn)練效果較差)深度學(xué)習(xí)式神經(jīng)網(wǎng)絡(luò)解決的方法——逐層貪婪算法每次只訓(xùn)練網(wǎng)絡(luò)中的一層：首先訓(xùn)練一個(gè)只含一個(gè)隱藏層的網(wǎng)絡(luò)，然后訓(xùn)練一個(gè)有兩個(gè)隱藏層的網(wǎng)絡(luò)，以此類推。每一層的訓(xùn)練可以是有監(jiān)督的〔例如，將每一步的分類誤差作為目標(biāo)函數(shù)〕，但更通常使用無監(jiān)督方法〔如自動(dòng)編碼器〕。這些各層單獨(dú)訓(xùn)練所得到的權(quán)重被用來初始化最終〔或者說全部〕的深度網(wǎng)絡(luò)的權(quán)重，然后對整個(gè)網(wǎng)絡(luò)進(jìn)行“微調(diào)〞〔即把所有層放在一起來優(yōu)化有標(biāo)簽訓(xùn)練集上的訓(xùn)練誤差〕深度學(xué)習(xí)式神經(jīng)網(wǎng)絡(luò)深度稀疏自編碼〔Deepsparseautoencoders〕深度信念網(wǎng)〔DeepBeliefNetwork(DBN)〕深度稀疏自編碼無標(biāo)簽數(shù)據(jù)

參數(shù)學(xué)習(xí)目標(biāo)限制:隱層維數(shù)(降維)隱層表示稀疏性x4x5x6+1Layer1Layer2x1x2x3x4x5x6x1x2x3+1Layer3a1a2a3深度稀疏自編碼

ReconstructionerrortermL1sparsitytermx4x5x6+1Layer1Layer2x1x2x3+1a1a2a3

深度稀疏自編碼x4x5x6+1x1x2x3+1a1a2a3+1b1b2b3Trainparameterssothat,subjecttobi’sbeingsparse.深度稀疏自編碼x4x5x6+1x1x2x3+1a1a2a3+1b1b2b3Newrepresentationforinput.深度稀疏自編碼x4x5x6+1x1x2x3+1a1a2a3+1b1b2b3+1c1c2c3Newrepresentationforinput.Use[c1,c3,c3]asrepresentationtofeedtolearningalgorithm.深度稀疏自編碼已標(biāo)注訓(xùn)練集兩種表示方式:替代表示級聯(lián)表示深度信念網(wǎng)由RBM〔RestrictedBoltzmannMachine〕棧式組合而成生成模型RBM輸入[x1,x2,x3,x4]隱層[a1,a2,a3]服從玻爾茲曼聯(lián)合分布〔馬爾科夫隨機(jī)場分布〕給定x,極大似然估計(jì):x4x1x2x3a2a3a1RBMRBMGibbs采樣推理：[xiaj]obs：固定x,由P(a|x)采樣得到a.[xiaj]prior：持續(xù)采樣直至收斂得到x和a.約束ai的稀疏性可以提高性能.輸入[x1,x2,x3,x4]隱層[a1,a2,a3]x4x1x2x3a2a3a1深度信念網(wǎng)輸入[x1,x2,x3,x4]第2層[a1,a2,a3]第3層[b1,b2,b3]RBM

DBN第4層[c1,c2,c3]深度學(xué)習(xí)式神經(jīng)網(wǎng)絡(luò)逐層貪婪算法優(yōu)點(diǎn)數(shù)據(jù)獲取(自學(xué)習(xí)方法使用無標(biāo)簽樣本來學(xué)習(xí)特征)更好的局部極值(使用逐層訓(xùn)練好的權(quán)值作為網(wǎng)絡(luò)初值)深度學(xué)習(xí)應(yīng)用ConvolutionalDBNonfaceimagespixelsedgesobjectparts(combinationofedges)objectmodelsNote:Sparsityimportantfortheseresults.ExamplesoflearnedobjectpartsfromobjectcategoriesLearningofobjectpartsFacesCarsElephantsChairsTrainingonmultipleobjectsPlotofH(class|neuronactive)Trainedon4classes(cars,faces,motorbikes,airplanes).Secondlayer:Shared-featuresandobject-specificfeatures.Thirdlayer:Morespecificfeatures.InputimagesSamplesfromfeedforwardInference(control)SamplesfromFullposteriorinferenceHierarchicalprobabilisticinferenceGeneratingposteriorsamplesfromfacesby“fillingin〞experiments(cf.LeeandMumford,2003).Combinebottom-upandtop-downinference.深度學(xué)習(xí)應(yīng)用TIMITPhoneclassificationAccuracyPriorart(Clarksonetal.,1999)79.6%StanfordFeaturelearning80.3%TIMITSpeakeridentificationAccuracyPriorart(Reynolds,1995)99.7%StanfordFeaturelearning100.0%AudioImagesMultimodal(audio/video)CIFARObjectclassificationAccuracyPriorart(YuandZhang,2010)74.5%StanfordFeaturelearning75.5%NORBObjectclassificationAccuracyPriorart(Ranzatoetal.,2009)94.4%StanfordFeaturelearning96.2%AVLettersLipreadingAccuracyPriorart(Zhaoetal.,2009)58.9%StanfordFeaturelearning63.1%VideoUCFactivityclassificationAccuracyPriorart(Kalseretal.,2008)86%StanfordFeaturelearning87%Hollywood2classificationAccuracyPriorart(Laptev,2004)47%StanfordFeaturelearning50%進(jìn)一步解釋深度學(xué)習(xí):稀疏性深度學(xué)習(xí):限制生成特征為〔稀疏〕分布表示.特征的分布表示意味著每一個(gè)特征都包含盡可能多的信息,因此生成的特征之間相對于原樣本不是互斥的.特征的分布表示意味著信息的非局部性和容錯(cuò)性特征的稀疏分布表示表達(dá)在可以使用很少的(稀疏)特征來組合生成