深度學習發(fā)展史

深度學習發(fā)展史近幾年深度學習發(fā)展迅猛，更是由于前段時間的AlphaGo而轟動一時，國內(nèi)開始迎來這一技術(shù)的研究熱潮。極驗也算是國內(nèi)研究深度學習比較早的公司，那這么火的深度學習到底是經(jīng)歷了一段怎樣的發(fā)展過程呢？今天小編就來給大家扒一扒深度學習的發(fā)展史。1943年卜神經(jīng)科學家麥卡洛克(卜神經(jīng)科學家麥卡洛克(W.S.McCulloch)和數(shù)學家皮茲(W.Pitts)建立了神經(jīng)網(wǎng)絡和數(shù)學模型，稱為MP模型。所謂M-P模型，其實是按照生物神經(jīng)元的結(jié)構(gòu)和工作原理構(gòu)造出來的一個抽象和簡化了的模型，人工神經(jīng)網(wǎng)絡的大門由此開啟。1949年加拿大著名心理學家唐納德?赫布提出了Hebb學習規(guī)則，這是一

種無監(jiān)督的學習規(guī)則，網(wǎng)絡模型根據(jù)大量的訓練樣本提取相應的統(tǒng)計特征，從而按照樣本的相似程度進行分類，這和我們?nèi)祟愓J知事物很相似。Hebb學習規(guī)則表明了網(wǎng)絡是可以學習的，這啟發(fā)了后面一系列關(guān)于神經(jīng)網(wǎng)絡的研究工作。1958年計算機科學家羅森布拉特(Rosenblatt)提出了兩層神經(jīng)元組成的神經(jīng)網(wǎng)絡，稱之為“感知器”。感知器可以說是最早的人工神經(jīng)網(wǎng)絡，也算是具有學習功能M-P模型，這種學習功能表現(xiàn)為神經(jīng)元連接權(quán)值可以被調(diào)節(jié)。兩層神經(jīng)網(wǎng)絡的提出引起了科學界對于神經(jīng)網(wǎng)絡的研究熱潮，整個1958年~1969年期間，有許多科學家和學者都投入到了兩層神經(jīng)網(wǎng)絡的研究。但是由于當時的計算水平相對落后，兩層的神經(jīng)網(wǎng)絡的計算也顯得很吃力。1969年馬文.明斯基(MarvinMinsky)就證明了感知器的致命弱點，感知器并不能夠解決異或問題，并且指出兩層神經(jīng)網(wǎng)絡的計算相當復雜，解決是幾乎不可能的。馬文.明斯基（MarvinMinsky）在人工智能研究方面的權(quán)威性還是相當高的，他是第一個圖靈獎的獲得者，由于他這樣的悲觀態(tài)度導致了神經(jīng)網(wǎng)絡的研究一下子冷卻下來，進入了10年的冰河時期。1986年Rumelhar和Hinton提出了反向傳播算法（英：Backpropagationalgorithm，簡稱：BP算法）是一種監(jiān)督學習算法，解決了兩層神經(jīng)網(wǎng)絡計算的復雜性。到這里不得不說一下，深度學習之父杰弗里?辛頓（GeoffreyHinton）,在計算條件不發(fā)達以及數(shù)據(jù)水平也不夠的條件下，很多人都放棄了對神經(jīng)網(wǎng)絡的研究，而是想跳過大腦直接從行為上進行人工智能的研究。能夠堅持對神經(jīng)網(wǎng)絡研究的人很少，辛頓就是其中一人。反向傳播算法的提出，引起了人工神經(jīng)領(lǐng)域的研究熱潮。90年代中期機器學習領(lǐng)域內(nèi)，支持向量機算法誕生（SVM算法），這也是一種有監(jiān)督的學習模型，應用于模式識別，分類以及回歸分析等。支持向量機以統(tǒng)計學為基礎，和神經(jīng)網(wǎng)絡有明顯的差異，支持向量機算法的提出再次將大家的研究方向帶離了神經(jīng)網(wǎng)絡。2006年GeofferyHinton一直專注于神經(jīng)網(wǎng)絡研究的領(lǐng)域，他提出了深度學習（多層神經(jīng)網(wǎng)絡），并且?guī)ьI(lǐng)著他的深度學習小組在2012年的ImageNet競賽中一舉奪冠，秒殺了很多當時參賽的大公司。這個時候，深度學習已經(jīng)開始在語音識別，圖像識別以及自動駕駛方面發(fā)力，引起了全世界巨頭公司的關(guān)注GeofferyHinton和第一次將BP算法用在CNN上并成功應用到手寫數(shù)字識別任務上的YannLecun以及開創(chuàng)了神經(jīng)網(wǎng)絡做語言模型先河的Bengio算是目前深度學習中世界頂尖級的三大領(lǐng)軍人物。Hinton在Google工作，YannLecun則去了Facebook,Bengio則一直活躍在學術(shù)界。

GeoffreyHintonYannLecunBengioEHGoogle是2011年開始的大腦計劃，到目前已經(jīng)有很多讓大家驚嘆的成果，包括無人駕駛和AlphaGo。而國內(nèi)的深度學習研究則相對要落后一些，百度在2013年成立了深度學習研究院，開始發(fā)力。EH域，并且現(xiàn)在已經(jīng)將比較成