《計算機(jī)科學(xué)與技術(shù)前沿講座-》課程論文

華東理工大學(xué)2014—2015學(xué)年第_1_學(xué)期班級：計算機(jī)科學(xué)與技術(shù)3班學(xué)號：Y30140713姓名：謝毅剛開課學(xué)院：信息學(xué)院任課教師：虞慧群成績__________論文題目：大數(shù)據(jù)背景下的深度學(xué)習(xí)算法論文要求：根據(jù)研一上半學(xué)期聽過的講座，介紹深度學(xué)習(xí)的背景、國內(nèi)外發(fā)展的現(xiàn)狀，深度學(xué)習(xí)的模型，以及面臨的問題。最后以論文的形式上交。教師評語：教師簽字：年月日大數(shù)據(jù)背景下的深度學(xué)習(xí)算法摘要隨著大數(shù)據(jù)時代的到來，基于深度學(xué)習(xí)技術(shù)的機(jī)器學(xué)習(xí)方法被用于有效地分析和處理這些數(shù)據(jù)。本文詳細(xì)的介紹了深度學(xué)習(xí)算法（DeepLearning）的由來，國內(nèi)外發(fā)展的現(xiàn)狀，深度學(xué)習(xí)的模型，以及面臨的問題。表明了大數(shù)據(jù)背景下深度學(xué)習(xí)的重要性和以及它的發(fā)展方向。關(guān)鍵字：大數(shù)據(jù)、深度學(xué)習(xí)、DeepLearning背景大數(shù)據(jù)的存儲、計算和分析是大數(shù)據(jù)處理中的關(guān)鍵技術(shù)，大數(shù)據(jù)的價值產(chǎn)生于對大數(shù)據(jù)的有效分析。因此，數(shù)據(jù)分析環(huán)節(jié)是大數(shù)據(jù)處理流程的核心和關(guān)鍵?；ヂ?lián)網(wǎng)是大數(shù)據(jù)的主要來源之一。據(jù)數(shù)據(jù)分析公司Domo在2011年和2014年對每分鐘新增網(wǎng)絡(luò)數(shù)據(jù)的不完全統(tǒng)計，上傳到Y(jié)ouTube的視頻時長從48h上升為72h，在Facebook上分享的信息從684478條上升為2460000條，對Google的搜索請求從200萬次上升為400萬次等。每時每刻互聯(lián)網(wǎng)上都有無數(shù)的網(wǎng)頁和海量的音頻、視頻、圖像等數(shù)據(jù)產(chǎn)生。現(xiàn)今大數(shù)據(jù)已觸及并影響和改變著人們工作和生活的方方面面。從網(wǎng)絡(luò)上的電子商務(wù)交易到對整個國家經(jīng)濟(jì)決策的制定，從醫(yī)生診斷疾病、作出治療方案到公路交通治理，從天氣預(yù)報災(zāi)害預(yù)測到降低犯罪率、提高安全保障等，到處可見大數(shù)據(jù)的身影，但是卻只有極少量的數(shù)據(jù)被分析和有效利用。這些數(shù)據(jù)呈現(xiàn)出非結(jié)構(gòu)化和多源等特點，需要開發(fā)新的更加智能的數(shù)據(jù)挖掘和智能算法技術(shù)，從眾多復(fù)雜的數(shù)據(jù)中發(fā)現(xiàn)規(guī)律和模式，提取出新的知識，輔助人類決策或給出可能的預(yù)測。采用人工智能和機(jī)器學(xué)習(xí)技術(shù)來分析大數(shù)據(jù)，讓機(jī)器代替人工獲得從數(shù)據(jù)中提取知識的能力，具有廣泛的應(yīng)用前景。以互聯(lián)網(wǎng)上的應(yīng)用為例：計算廣告學(xué)、垃圾郵件過濾、推薦系統(tǒng)、時間序列（趨勢分析）等都是大數(shù)據(jù)的用武之地。大數(shù)據(jù)時代背景下，如何對紛繁復(fù)雜的數(shù)據(jù)進(jìn)行有效分析，讓其價值得以體現(xiàn)和合理的利用，是當(dāng)前迫切需要思考和解決的問題。深度學(xué)習(xí)方法正是開啟這扇大門的一把鑰匙ADDINCNKISM.Ref.{B9E5D6BAB75541f0B2DB9C4DD0917639}[1]。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個新的領(lǐng)域，其動機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機(jī)制來解釋數(shù)據(jù)，例如圖像，聲音和文本。同機(jī)器學(xué)習(xí)方法一樣，深度機(jī)器學(xué)習(xí)方法也有監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)之分．不同的學(xué)習(xí)框架下建立的學(xué)習(xí)模型很是不同．例如，卷積神經(jīng)網(wǎng)絡(luò)（Convolutionalneuralnetworks，簡稱CNNs）就是一種深度的監(jiān)督學(xué)習(xí)下的機(jī)器學(xué)習(xí)模型，而深度置信網(wǎng)（DeepBeliefNets，簡稱DBNs）就是一種無監(jiān)督學(xué)習(xí)下的機(jī)器學(xué)習(xí)模型ADDINCNKISM.Ref.{7DBB64910B4B4561A678BD75A168E454}[2]。國內(nèi)外發(fā)展概況深度學(xué)習(xí)起源于對神經(jīng)網(wǎng)絡(luò)的研究，20世紀(jì)60年代，受神經(jīng)科學(xué)對人腦結(jié)構(gòu)研究的啟發(fā)，為了讓機(jī)器也具有類似人一樣的智能，人工神經(jīng)網(wǎng)絡(luò)被提出用于模擬人腦處理數(shù)據(jù)的流程。最著名的學(xué)習(xí)算法稱為感知機(jī)。當(dāng)時人們對人工神經(jīng)網(wǎng)絡(luò)的發(fā)展持樂觀態(tài)度，曾掀起研究的熱潮，認(rèn)為人工智能時代不久即將到來。但隨后人們發(fā)現(xiàn)，兩層結(jié)構(gòu)的感知機(jī)模型不包含隱層單元，輸入是人工預(yù)先選擇好的特征，輸出是預(yù)測的分類結(jié)果，因此只能用于學(xué)習(xí)固定特征的線性函數(shù)，而無法處理非線性分類問題。Minsky等指出了感知機(jī)的這一局限，由于當(dāng)時其他人工智能研究學(xué)派的抵觸等原因，使得對神經(jīng)網(wǎng)絡(luò)的研究遭受到巨大的打擊，陷入低谷。直到20世紀(jì)80年代中期，反向傳播算法（backpropogation，BP）的提出，提供了一條如何學(xué)習(xí)含有多隱層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型的途徑，讓神經(jīng)網(wǎng)絡(luò)研究得以復(fù)蘇。由于增加了隱層單元，多層神經(jīng)網(wǎng)絡(luò)比感知機(jī)具有更靈活且更豐富的表達(dá)力，可以用于建立更復(fù)雜的數(shù)學(xué)模型，但同時也增加了模型學(xué)習(xí)的難度，特別是當(dāng)包含的隱層數(shù)量增加的時候，使用BP算法訓(xùn)練網(wǎng)絡(luò)模型時，常常會陷入局部最小值，而在計算每層節(jié)點梯度時，在網(wǎng)絡(luò)低層方向會出現(xiàn)梯度衰竭的現(xiàn)象。因此，訓(xùn)練含有許多隱層的深度神經(jīng)網(wǎng)絡(luò)一直存在困難，導(dǎo)致神經(jīng)網(wǎng)絡(luò)模型的深度受到限制，制約了其性能。20世紀(jì)90年代開始，機(jī)器學(xué)習(xí)領(lǐng)域中興起了對核機(jī)器和基于概率方法的圖模型的研究。核機(jī)器具有一套完善的數(shù)學(xué)理論基礎(chǔ)，且模型易于訓(xùn)練，并能獲得令人滿意的實際使用效果，因此機(jī)器學(xué)習(xí)研究人員大多轉(zhuǎn)向?qū)ζ涞难芯?，而對神?jīng)網(wǎng)絡(luò)的研究再次擱淺ADDINCNKISM.Ref.{7A5414DAFF8045f0801AEAF063183FA8}[1]。2006年，加拿大多倫多大學(xué)教授，機(jī)器學(xué)習(xí)領(lǐng)域的泰斗Hinton和他的學(xué)生Salajhutdinov在頂尖學(xué)術(shù)刊物《科學(xué)》上發(fā)表了一篇文章，開啟了深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的浪潮。這篇文章有兩個主要的訊息：１）很多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征對數(shù)據(jù)有更本質(zhì)的刻劃，從而有利于可視化或分類；２）深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過“逐層初始化”（layer-wisepre-training）來有效克服，在這篇文章中，逐層初始化是通過無監(jiān)督學(xué)習(xí)實現(xiàn)的。自2006年以來，深度學(xué)習(xí)在學(xué)術(shù)界持續(xù)升溫。斯坦福大學(xué)、紐約大學(xué)、加拿大蒙特利爾大學(xué)等成為研究深度學(xué)習(xí)的重鎮(zhèn)。2010年，美國國防部DARPA計劃首次資助深度學(xué)習(xí)項目ADDINCNKISM.Ref.{08D0655D7F4E4d729EC35A72C7A34A4B}[3]，參與方有斯坦福大學(xué)、紐約大學(xué)和NEC美國研究院。支持深度學(xué)習(xí)的一個重要依據(jù)，就是腦神經(jīng)系統(tǒng)的確具有豐富的層次結(jié)構(gòu)．一個最著名的例子就是Hubel-Wiesell模型，由于揭示了視覺神經(jīng)的機(jī)理而曾獲得諾貝爾醫(yī)學(xué)與生理學(xué)獎ADDINCNKISM.Ref.{D41FE883CCCA41498CCFF225EC53235A}[4]。除了仿生學(xué)的角度，目前深度學(xué)習(xí)的理論研究還基本處于起步階段，但在應(yīng)用領(lǐng)域已經(jīng)顯現(xiàn)巨大能量．2011年以來，微軟研究院和谷歌的語音識別研究人員先后采用ＤＮＮ技術(shù)降低語音識別錯誤率20％～30％，是語音識別領(lǐng)域10多年來最大的突破性進(jìn)展．2012年6月，《紐約時報》披露了谷歌的GoogleBrain項目，吸引了公眾的廣泛關(guān)注。這個項目是由著名的斯坦福大學(xué)的機(jī)器學(xué)習(xí)教授AndrewNg和在大規(guī)模計算機(jī)系統(tǒng)方面的世界頂尖專家Dean共同主導(dǎo)，用16000個CPUCore的并行計算平臺訓(xùn)練一種稱為“深度神經(jīng)網(wǎng)絡(luò)”（deepneuralnetworks，DNN）的機(jī)器學(xué)習(xí)模型，在語音識別和圖像識別等領(lǐng)域獲得了巨大的成功。2012年11月，微軟在中國天津的一次活動上，公開演示了一個全自動的同聲傳譯系統(tǒng)，講演者用英文演講，后臺的計算機(jī)一氣呵成自動完成語音識別、英中機(jī)器翻譯和中文語音合成，效果非常流暢。據(jù)報道，后面支撐的關(guān)鍵技術(shù)也是ＤＮＮ，或者深度學(xué)習(xí)（Deepliearning，DL）。2012年DNN技術(shù)在圖像識別領(lǐng)域取得驚人的效果，在ImageNet評測上將錯誤率從26％降低到15％。在這一年，DNN還被應(yīng)用于制藥公司的DrugeActivity預(yù)測問題，并獲得世界最好成績，這一重要成果被《紐約時報》報道。2013年的1月，在中國最大的互聯(lián)網(wǎng)搜索引擎公司百度的年會上，創(chuàng)始人兼CEO李彥宏高調(diào)宣布要成立百度研究院，其中第一個重點方向的就是深度學(xué)習(xí)，并為此而成立InstituteofDeepLearning（IDL）。這是百度成立10多年以來第一次成立研究。2013年５月開始使用深度學(xué)習(xí)系統(tǒng)服務(wù)于百度搜索廣告系統(tǒng)。這其中最大的挑戰(zhàn)在于當(dāng)前的計算能力還無法接受10^11級別的原始廣告特征作為輸入。作為解決，在百度的DNN系統(tǒng)里，特征數(shù)從10^11數(shù)量級被降到了10^3，從而能被DNN正常的學(xué)習(xí)。2014年7月1日，為打造百度的技術(shù)領(lǐng)先地位，加強(qiáng)對未來技術(shù)的投資和積累，百度研究院正式組建成立，下設(shè)三個實驗室，原深度學(xué)習(xí)研究院（IDL）更名為深度學(xué)習(xí)實驗室ADDINCNKISM.Ref.{0F5BEF8E06FB447d8DDAD149488D0101}[5]。2013年4月，《麻省理工學(xué)院技術(shù)評論》（MITTechnologyReview）雜志將深度學(xué)習(xí)列為2013年十大突破性技術(shù)(BreakThroughTechnology)之首。深度學(xué)習(xí)模型深度學(xué)習(xí)的實質(zhì)，是通過構(gòu)建具有很多隱層的機(jī)器學(xué)習(xí)模型和海量的訓(xùn)練數(shù)據(jù)，來學(xué)習(xí)更有用的特征，從而最終提高分類或預(yù)測的準(zhǔn)確性。因此，“深度模型”是手段，“特征學(xué)習(xí)”是目的。區(qū)別于傳統(tǒng)的淺層學(xué)習(xí)，深度學(xué)習(xí)的不同在于：突出強(qiáng)調(diào)模型結(jié)構(gòu)的深度，通常有5層、6層，甚至10多個隱層；明確特征學(xué)習(xí)的重要性，通過逐層特征變換，將樣本集從原始入空間變換到一個新的特征空間，使分類或預(yù)測更加容易。與人工規(guī)則構(gòu)造特征的方法相比，利用大數(shù)據(jù)來學(xué)習(xí)特征，更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個新的領(lǐng)域，其動機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機(jī)制來解釋數(shù)據(jù)，例如圖像、聲音和文本。深度學(xué)習(xí)是無監(jiān)督學(xué)習(xí)的一種。深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。深度學(xué)習(xí)通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。相同之處，deeplearning采用了與神經(jīng)網(wǎng)絡(luò)類似的分層結(jié)構(gòu)，系統(tǒng)由包括輸入層、隱層（多層）、輸出層組成的多層網(wǎng)絡(luò)，只有相鄰層節(jié)點之間有連接，同一層以及跨層節(jié)點之間相互無連接，每一層可以看作是一個logisticregression模型；這種分層結(jié)構(gòu)比較接近于人類大腦的結(jié)構(gòu)ADDINCNKISM.Ref.{4299886F2D8C40dc81F6220C176DC50B}[6]。為了克服神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的問題，DL采用了與神經(jīng)網(wǎng)絡(luò)很不同的訓(xùn)練機(jī)制。傳統(tǒng)神經(jīng)網(wǎng)絡(luò)采用backpropagation迭代算法來訓(xùn)練整個網(wǎng)絡(luò)；隨機(jī)設(shè)定初值，計算當(dāng)前網(wǎng)絡(luò)的輸出，然后根據(jù)當(dāng)前輸出和label之間的差去改變前面各層的參數(shù)，直到收斂。整體是一個梯度下降算法。DeepLearning整體上是一個layer-wise（逐層）訓(xùn)練機(jī)制。這樣做的原因是，如果采用backpropagation機(jī)制，對于一個deepnetwork（7層以上），殘差傳播到最前面層已經(jīng)變得太小，出現(xiàn)所謂的gradientdiffusion（梯度擴(kuò)散）。Deeplearning訓(xùn)練過程：采用自下上升非監(jiān)督學(xué)習(xí)（就是從底層開始，一層一層的往頂層訓(xùn)練）：采用無標(biāo)定數(shù)據(jù)（有標(biāo)定數(shù)據(jù)也可）分層訓(xùn)練各層參數(shù)。這一步可看作是一個無監(jiān)督訓(xùn)練過程，是和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)區(qū)別最大的部分（這一過程可看作featurelearning過程）：先用無標(biāo)定數(shù)據(jù)訓(xùn)練第一層，訓(xùn)練時先學(xué)習(xí)第一層參數(shù)（這一層可以看作是得到一個使得輸出和輸入差別最小的三層神經(jīng)網(wǎng)絡(luò)的隱層）。由于模型capacity的限制以及稀疏性約束，使得得到的模型能夠?qū)W習(xí)到數(shù)據(jù)本身的結(jié)構(gòu)，從而得到比輸入更具有表示能力的特征；在學(xué)習(xí)得到第n-1層后，將n-1層的輸出作為第n層的輸入，訓(xùn)練第n層，由此分別得到各層的參數(shù)；自頂向下的監(jiān)督學(xué)習(xí)（就是通過帶標(biāo)簽的數(shù)據(jù)去訓(xùn)練，誤差自頂向下傳輸，對網(wǎng)絡(luò)進(jìn)行微調(diào)）。深度學(xué)習(xí)面臨的問題隨著數(shù)據(jù)規(guī)模的不斷增大，需要采用更為復(fù)雜的深度模型去捕獲其中更豐富的信息和包含的模式，因而對計算能力提出了更高的要求。已有的學(xué)習(xí)算法如隨機(jī)梯度下降，其自身是序列化的，如何通過異步更新模式更有效地改進(jìn)為并行計算模式，并充分利用GPU的并行處理能力等問題是提高模型訓(xùn)練效率的關(guān)鍵。此外，在訓(xùn)練深度結(jié)構(gòu)模型時，需要選擇大量的超參數(shù)，如模型的深度、每層包含的隱單元數(shù)、學(xué)習(xí)率等，往往某個超參數(shù)不適合就會造成模型性能的大幅下降，但對于如何選擇這些超參數(shù)，仍沒有一個好的指導(dǎo)方法，這進(jìn)一步增加了訓(xùn)練深度模型的難度。另一方面，當(dāng)前取得的突出進(jìn)展都是基于經(jīng)驗性的，還沒有很好的理論支撐，需要進(jìn)一步的研究和探索，完善理論，使之更好地指導(dǎo)實踐ADDINCNKISM.Ref.{F506057F9874447e930C35B399FC0218}[1]。探索新的特征提取模型是值得深入研究的內(nèi)容。此外有效的可并行訓(xùn)練算法也是值得研究的一個方向。當(dāng)前基于最小批處理的隨機(jī)梯度優(yōu)化算法很難在多計算機(jī)中進(jìn)行并行訓(xùn)練。通常辦法是利用圖形處理單元加速學(xué)習(xí)過程。然而單個機(jī)器GPU對大規(guī)模數(shù)據(jù)識別或相似任務(wù)數(shù)據(jù)集并不適用。在深度學(xué)習(xí)應(yīng)用拓展方面，如何合理充分利用深度學(xué)習(xí)在