BP神經(jīng)網(wǎng)絡(luò)及深度學(xué)習(xí)研究-綜述

BP神經(jīng)網(wǎng)絡(luò)及深度學(xué)習(xí)研究[8]是機(jī)器學(xué)習(xí)研究中的一個(gè)新的領(lǐng)域，其動(dòng)機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，是神經(jīng)網(wǎng)絡(luò)的發(fā)展。深度學(xué)習(xí)通過(guò)組合低層特征形成更加抽象的高層表示屬性類(lèi)別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。深度學(xué)習(xí)是關(guān)于自動(dòng)學(xué)習(xí)要建模的數(shù)據(jù)的潛在（隱含）分布的多層（復(fù)雜）表達(dá)的算法。換句話來(lái)說(shuō)，深度學(xué)習(xí)算法自動(dòng)的提取分類(lèi)需要的低層次或者高層次特征。高層次特征，一是指該特征可以分級(jí)（層次）地依賴其他特征，例如：對(duì)于機(jī)器視覺(jué)，深度學(xué)習(xí)算法從原始圖像去學(xué)習(xí)得到它的一個(gè)低層次表達(dá)，例如邊緣檢測(cè)器，小波濾波器等，然后在這些低層次表達(dá)的基礎(chǔ)上再建立表達(dá)，例如這些低層次表達(dá)的線性或者非線性組合，然后重復(fù)這個(gè)過(guò)程，最后得到一個(gè)高層次的表達(dá)。DeepLearning訓(xùn)練過(guò)程具體如下：使用自下上升非監(jiān)督學(xué)習(xí)采用無(wú)標(biāo)定數(shù)據(jù)（有標(biāo)定數(shù)據(jù)也可）分層訓(xùn)練各層參數(shù)，這一步可以看作是一個(gè)無(wú)監(jiān)督訓(xùn)練過(guò)程，是和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)區(qū)別最大的部分（這個(gè)過(guò)程可以看作是featurelearning過(guò)程）：具體的，先用無(wú)標(biāo)定數(shù)據(jù)訓(xùn)練第一層，訓(xùn)練時(shí)先學(xué)習(xí)第一層的參數(shù)（這一層可以看作是得到一個(gè)使得輸出和輸入差別最小的三層神經(jīng)網(wǎng)絡(luò)的隱層），由于模型capacity的限制以及稀疏性約束，使得得到的模型能夠?qū)W習(xí)到數(shù)據(jù)本身的結(jié)構(gòu)，從而得到比輸入更具有表示能力的特征；在學(xué)習(xí)得到第n-1層后，將n-1層的輸出作為第n層的輸入，訓(xùn)練第n層，由此分別得到各層的參數(shù)；自頂向下的監(jiān)督學(xué)習(xí)基于第一步得到的各層參數(shù)進(jìn)一步fine-tune整個(gè)多層模型的參數(shù)，這一步是一個(gè)有監(jiān)督訓(xùn)練過(guò)程；第一步類(lèi)似神經(jīng)網(wǎng)絡(luò)的隨機(jī)初始化初值過(guò)程，由于DL的第一步不是隨機(jī)初始化，而是通過(guò)學(xué)習(xí)輸入數(shù)據(jù)的結(jié)構(gòu)得到的，因而這個(gè)初值更接近全局最優(yōu)，從而能夠取得更好的效果；所以DeepLearning效果好很大程度上歸功于第一步的featurelearning過(guò)程Deeplearning存在待解決的問(wèn)題：對(duì)于一個(gè)特定的框架，對(duì)于多少維的輸入它可以表現(xiàn)得較優(yōu)（如果是圖像，可能是上百萬(wàn)維）？對(duì)捕捉短時(shí)或者長(zhǎng)時(shí)間的時(shí)間依賴，哪種架構(gòu)才是有效的？如何對(duì)于一個(gè)給定的深度學(xué)習(xí)架構(gòu)，融合多種感知的信息？有什么正確的機(jī)理可以去增強(qiáng)一個(gè)給定的深度學(xué)習(xí)架構(gòu)，以改進(jìn)其魯棒性和對(duì)扭曲和數(shù)據(jù)丟失的不變性？模型方面是否有其他更為有效且有理論依據(jù)的深度模型學(xué)習(xí)算法？總結(jié)本文主要介紹神經(jīng)網(wǎng)絡(luò)的起源，神經(jīng)元模型與神經(jīng)網(wǎng)絡(luò)模型，根據(jù)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的不同進(jìn)行分類(lèi)，將神經(jīng)網(wǎng)絡(luò)分為前饋神經(jīng)網(wǎng)絡(luò)(FeedForwardNNs，F(xiàn)FNNs)，有反饋網(wǎng)絡(luò)為遞歸神經(jīng)網(wǎng)絡(luò)和(RecurrentNNs，RNNs)。隨后重點(diǎn)研究BP神經(jīng)網(wǎng)絡(luò)，包括BP神經(jīng)網(wǎng)絡(luò)的原理、BP算法分析及改進(jìn)。最后研究神經(jīng)網(wǎng)絡(luò)的一種發(fā)展應(yīng)用即深度學(xué)習(xí)的研究，包括深度學(xué)習(xí)的過(guò)程，優(yōu)勢(shì)，缺陷，未來(lái)的研究方向。參考文獻(xiàn)D.R.Baughman,Y.A.Liu.Neuralnetworksinbioprocessingandchemicalengineering.Academicpress,2014.A.J.Maren,C.T.Harston,R.M.Pap.Handbookofneuralcomputingapplications[M].AcademicPress,2014.A.Karpathy,G.Toderici,S.Shetty,etal.Large-scalevideoclassificationwithconvolutionalneuralnetworks//ComputerVisionandPatternRecognition(CVPR),2014IEEEConferenceon.IEEE,2014:1725-1732.D.E.Rumelhart,G.E.HintonandR.J.Williams·LearningrepresentationsByback-Propagationerrors.Nature.1986.Vol.323.533-536.D.B.Parker.Learning=logic:Castingthecortexofthehumanbraininsilicon.TechnicalReportTr-47,CenterforComputationalResearchinEconomicsandManagementScience.MIT,Cambridge,MA·1985Y.LeCun.Uneprocedured'apprentissagepourreseauaseuilassymetrique.Cognitiva.1985,vol.85.599-604.H.T.Su,N.Bhat,P.A.Minderman,etal.Integratingneuralnetworkswithfirstprinciplesmodelsfordynamicmodeling[C]//DynamicsandControlofChemicalReactors,DistillationColumnsandBatchProcesses(DYCORD+'92):SelectedPapersfromthe3rdIFACSymposium,Maryland,USA,26-29April