【9A文】深度學(xué)習(xí)發(fā)展現(xiàn)狀

1、深度學(xué)習(xí)發(fā)展現(xiàn)狀王宇航（北京交通大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院，北京，100044）摘要：深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個新的領(lǐng)域，其動機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機(jī)制來解釋數(shù)據(jù)。近年來，隨著深度學(xué)習(xí)逐漸收到各界的廣泛關(guān)注，其在各個尖端領(lǐng)域的作用也越來越大，深度學(xué)習(xí)已經(jīng)在諸多領(lǐng)域取得客觀的成就。本文簡要介紹深度學(xué)習(xí)的基本理論及思想，著重介紹了近年來深度學(xué)習(xí)在各個領(lǐng)域的應(yīng)用及其發(fā)展.關(guān)鍵字：深度學(xué)習(xí)；機(jī)器學(xué)習(xí)；人工智能；無監(jiān)督學(xué)習(xí)1引言20RR年，斯坦福人工智能實(shí)驗(yàn)室主任吳恩達(dá)領(lǐng)導(dǎo)Google的科學(xué)家們，用16000臺電腦模擬了一個模擬人腦神經(jīng)網(wǎng)絡(luò)出來，并向這個網(wǎng)絡(luò)展示了10

2、00萬段隨機(jī)從RouTube上選取的視頻，看看它能學(xué)會什么.結(jié)果在完全沒有外界干涉的條件下，它自己識別出了貓臉.我們要注意的是，這種機(jī)器學(xué)習(xí)與我們通常意義上說的機(jī)器識別”有所不同.現(xiàn)有的很多此類識別，需要人工輸入一些用于對比的數(shù)據(jù)，或者一些已經(jīng)進(jìn)行初步分類、打好標(biāo)簽的數(shù)據(jù)，機(jī)器通過學(xué)習(xí)這些數(shù)據(jù)的共同點(diǎn)，得出規(guī)律，然后再去將規(guī)律應(yīng)用于更大規(guī)模的數(shù)據(jù)中.粗略地說，這是一種有監(jiān)督的學(xué)習(xí)”，需要人工輸入初始數(shù)據(jù)，有時候還要對識別結(jié)果進(jìn)行判斷，由此促進(jìn)機(jī)器的學(xué)習(xí)速度.而深度學(xué)習(xí)是一種無監(jiān)督的學(xué)習(xí)它基于一種學(xué)術(shù)假設(shè)：即人類對外界環(huán)境的了解過程最終可以歸結(jié)為一種單一算法，而人腦的神經(jīng)元可以通過這種算法，分化

3、出識別不同物體的能力.這個識別過程甚至完全不需要外界干預(yù).還是以識別貓臉為例：吳恩達(dá)給神經(jīng)網(wǎng)絡(luò)輸入了一個單詞“cat,”這個神經(jīng)網(wǎng)絡(luò)中并沒有辭典，不了解這個單詞的含義.但在觀看了一千萬段視頻，它最終確定，cat就是那種毛茸茸的小動物.這個學(xué)習(xí)過程，與一個不懂英語的人，在沒任何人教他的時候，通過獨(dú)立觀察學(xué)會“ca畫過程幾乎一致.上述事例是深度學(xué)習(xí)發(fā)展中具有里程碑性質(zhì)的事件，通過以上事件意在形象的向讀者說明深度學(xué)習(xí)的基本思想.本文意在向讀者介紹近年來深度學(xué)習(xí)在各個領(lǐng)域的應(yīng)用及其發(fā)展.2深度學(xué)習(xí)介紹本節(jié)簡要介紹深度學(xué)習(xí)及其思想.2.1 基本概念深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個新的領(lǐng)域，其動機(jī)在于建立、

4、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機(jī)制來解釋數(shù)據(jù)。深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。深度學(xué)習(xí)通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。2.2 核心思想把學(xué)習(xí)結(jié)構(gòu)看作一個網(wǎng)絡(luò)，則深度學(xué)習(xí)的核心思路如下：無監(jiān)督學(xué)習(xí)用于每一層網(wǎng)絡(luò)；每次用無監(jiān)督學(xué)習(xí)只訓(xùn)練一層，將其訓(xùn)練結(jié)果作為其高一層的輸入;用監(jiān)督學(xué)習(xí)去調(diào)整所有層2.3 歷史發(fā)展圖靈在1950年的論文里，提出圖靈試驗(yàn)的設(shè)想，即，隔墻對話，你將不知道與你談話的，是人還是電腦。這無疑給計(jì)算機(jī)，尤其是人工智能，預(yù)設(shè)了一個很高的期望值。但是半個世紀(jì)過去了，人工智能

5、的進(jìn)展，遠(yuǎn)遠(yuǎn)沒有達(dá)到圖靈試驗(yàn)的標(biāo)準(zhǔn)。20RR年前，嘗試訓(xùn)練深度架構(gòu)都失敗了：訓(xùn)練一個深度有監(jiān)督前饋神經(jīng)網(wǎng)絡(luò)趨向于產(chǎn)生壞的結(jié)果（同時在訓(xùn)練和測試誤差中），然后將其變淺為1（1或者2個隱層）。20RR年，加拿大多倫多大學(xué)教授、機(jī)器學(xué)習(xí)領(lǐng)域的泰斗GeoffreRHinton和他的學(xué)生RuslanSalakhutdinov在科學(xué)上發(fā)表了一篇文章，開啟了深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的浪潮。這篇文章有兩個主要觀點(diǎn)：1）多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征對數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視化或分類；2）深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過“逐層初始化”來有效克服，在這篇文章中，逐層初始化

6、是通過無監(jiān)督學(xué)習(xí)實(shí)現(xiàn)的。當(dāng)前多數(shù)分類、回歸等學(xué)習(xí)方法為淺層結(jié)構(gòu)算法，其局限性在于有限樣本和計(jì)算單元情況下對復(fù)雜函數(shù)的表示能力有限，針對復(fù)雜分類問題其泛化能力受到一定制約。深度學(xué)習(xí)可通過學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)復(fù)雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示，并展現(xiàn)了強(qiáng)大的從少數(shù)樣本集中學(xué)習(xí)數(shù)據(jù)集本質(zhì)特征的能力。（多層的好處是可以用較少的參數(shù)表示復(fù)雜的函數(shù)）。深度學(xué)習(xí)的實(shí)質(zhì)，是通過構(gòu)建具有很多隱層的機(jī)器學(xué)習(xí)模型和海量的訓(xùn)練數(shù)據(jù)，來學(xué)習(xí)更有用的特征，從而最終提升分類或預(yù)測的準(zhǔn)確性。因此，“深度模型”是手段，“特征學(xué)習(xí)”是目的。區(qū)別于傳統(tǒng)的淺層學(xué)習(xí)，深度學(xué)習(xí)的不同在于：1）強(qiáng)調(diào)了模型結(jié)構(gòu)的深度，通常有5

7、層、6層，甚至10多層的隱層節(jié)點(diǎn)；2）明確突出了特征學(xué)習(xí)的重要性，也就是說，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預(yù)測更加容易。與人工規(guī)則構(gòu)造特征的方法相比，利用大數(shù)據(jù)來學(xué)習(xí)特征，更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息。從20RR年以來，大量的關(guān)于深度學(xué)習(xí)的論文被發(fā)表。3深度學(xué)習(xí)的應(yīng)用現(xiàn)狀及發(fā)展3.1 深度學(xué)習(xí)在各個領(lǐng)域的應(yīng)用概述自20RR年以來，深度學(xué)習(xí)在學(xué)術(shù)界持續(xù)升溫，美國，加拿大，歐洲相繼成為此領(lǐng)域的科研重鎮(zhèn)。20RR年美國國防部先進(jìn)研究項(xiàng)目局首次資助深度學(xué)習(xí)，參與方包括斯坦福大學(xué)、紐約大學(xué)和NEC美國研究院等機(jī)構(gòu)。20RR年，微軟語音識別采用深度學(xué)習(xí)技術(shù)降低

8、語音識別錯誤率20-30%,是該領(lǐng)域十多年來最大的突破性進(jìn)展。20RR是深度學(xué)習(xí)研究和應(yīng)用爆發(fā)的一年，深度學(xué)習(xí)被應(yīng)用于著名生物制藥公司黑克的分子藥性預(yù)測問題，從各類分子中學(xué)習(xí)發(fā)現(xiàn)那些可能成為藥物的分子獲得世界最好效果；谷歌的GoogleBrain項(xiàng)目用16000個處理器的服務(wù)器集群構(gòu)建了一套超過10億個節(jié)點(diǎn)的具備自主學(xué)習(xí)能力的神經(jīng)網(wǎng)絡(luò)，能自動從輸入的大量數(shù)據(jù)中歸納出概念體系，圖片搜索、無人駕駛汽車和GoogleGlass都將會從中受益。6月，Google公司的深度學(xué)習(xí)系統(tǒng)在識別物體的精確度上比上一代系統(tǒng)提高了一倍，并且大幅度削減了Android系統(tǒng)語音識別系統(tǒng)的錯誤率。百度引入深度學(xué)習(xí)以后，語

9、音識別效果的提升超過了以往業(yè)界在過去15年里所取得的成績。12月，微軟亞洲研究院展示了中英即時口譯系統(tǒng)，錯誤率僅為7%,而且發(fā)音十分順暢。20RR年，歐洲委員會發(fā)起模仿人腦的超級計(jì)算機(jī)項(xiàng)目，計(jì)劃歷時10年投入16億美元，由全球80個機(jī)構(gòu)的超過200名研究人員共同參與，希望在理解人類大腦工作方式上取得重大進(jìn)展，并推動更多能力強(qiáng)大的新型計(jì)算機(jī)的研發(fā)，就資助力度，項(xiàng)目范圍，和雄心而言，該項(xiàng)目堪比于大型強(qiáng)子對撞機(jī)項(xiàng)目。庫茲韋爾當(dāng)前的目標(biāo)就是幫助計(jì)算機(jī)理解自然語言并以自然語源與用戶對話，雖然庫茲韋爾的目標(biāo)還要很多年才能實(shí)現(xiàn)。他希望將深度學(xué)習(xí)算法用到解決自然語言的問題上，讓計(jì)算機(jī)能夠發(fā)現(xiàn)語言的問題，解決語

10、言的問題。3.2 深度學(xué)習(xí)在搜索引擎方面的應(yīng)用由于計(jì)算機(jī)的高度普及，很多人可能已經(jīng)固化了“搜索”的印象：面對屏幕上的一個輸入框，敲入一串詞語，電腦返回一堆鏈接，用戶再逐個點(diǎn)開查看哪個是自己需要的內(nèi)容。這是傳統(tǒng)的搜索，其交互方式是人工提煉出關(guān)鍵詞輸入，才返回答案。所以使用搜索引擎其實(shí)是一種技術(shù)，考驗(yàn)的是人能否準(zhǔn)確觀察問題、恰當(dāng)提煉主題詞，做到這些才有可能得到自己想要的信息。這就與一切搜索引擎“公平地為每個人提供信息”的初衷相悖了。但當(dāng)我們要教會從沒接觸過電腦的父母這一搜索過程時，就發(fā)現(xiàn)它與人類天生的本能并不相同：父母們往往會指著一株不知名的植物，問電腦是否能告訴我們這是什么；他們也并不習(xí)慣鍵入文

11、字內(nèi)容，甚至不會輸入法，他們更希望對著電腦說一句“明天什么天氣”就能得到答案。20RR年初，百度建立了深度學(xué)習(xí)研究院。百度多媒體業(yè)務(wù)負(fù)責(zé)人用一個叫“明星臉?biāo)阉鳌钡漠a(chǎn)品演示了人臉?biāo)阉髂芰?。改產(chǎn)品的功能是實(shí)驗(yàn)對象實(shí)時拍一張照片，百度可以搜索出這張照片最像哪個明星。令人驚奇的是，在百度作為參考列出的互聯(lián)網(wǎng)圖片搜索照片中出現(xiàn)的第一張圖片就是此次實(shí)驗(yàn)對象10年前拍的一張照片。也就是說，在沒有任何其他條件限定的前提下，百度根據(jù)一個現(xiàn)實(shí)場景，找到了一個確定的人。深度學(xué)習(xí)的技術(shù)配合上大數(shù)據(jù)的儲備，語音搜索、圖像搜索等新興技術(shù)就不再僅僅是技術(shù)的噱頭，而是將搜索用戶從數(shù)億拓展到數(shù)十億。這也是Google、蘋果和百

12、度紛紛在語音搜索上推出新產(chǎn)品的原因。另外值得一提的是，在今年國際機(jī)器學(xué)習(xí)大會ICML20RR中，Andrew的學(xué)生僅用價值2萬美元的GPU集群，就做到了與引言中提到的Google曾經(jīng)用約100萬美元做的貓臉識別軟件相同的準(zhǔn)確率。3.3 深度學(xué)習(xí)在語音識別方面的應(yīng)用20RR年，微軟語音識別采用深度學(xué)習(xí)技術(shù)降低語音識別錯誤率20-30%,是該領(lǐng)域十多年來最大的突破性進(jìn)展。20RR年6月18日，微軟宣布已經(jīng)研發(fā)出一種新型語音識別技術(shù)，可提供“接近即時”的語音至文本的轉(zhuǎn)換服務(wù)，比目前的語音識別技術(shù)快兩倍，同時，準(zhǔn)確率提高了15%。該技術(shù)模仿人類大腦對溝通的理解方式，微軟希望利用這個技術(shù)在語音識別領(lǐng)域保

13、持領(lǐng)先。深度神經(jīng)網(wǎng)絡(luò)技術(shù)能夠像人類大腦一樣工作，該技術(shù)將會取代谷歌等競爭對手在搜索和安卓產(chǎn)品中常用的聲學(xué)技術(shù)。微軟希望使用這項(xiàng)新技術(shù)以便在必應(yīng)搜索引擎中提供速度更快和更準(zhǔn)確的通訊。這種新技術(shù)已經(jīng)在WindowsPhone設(shè)備上進(jìn)行測試。在國際上，舊M、google等公司都快速進(jìn)行了DNN語音識別的研究，并且速度飛快。國內(nèi)方面，科大訊飛、百度、中科院自動化所等公司或研究單位，也在進(jìn)行深度學(xué)習(xí)在語音識別上的研究。3.4 目前深度學(xué)習(xí)的研究團(tuán)隊(duì)深度學(xué)習(xí)已經(jīng)是計(jì)算機(jī)科學(xué)發(fā)展的大勢所趨。20RR年，吳恩達(dá)在谷歌內(nèi)部領(lǐng)導(dǎo)建立了GoogleBrain項(xiàng)目，最近幾個月，谷歌在深度學(xué)習(xí)領(lǐng)域的投入明顯加大，收購了

14、加拿大多倫多大學(xué)教授杰弗里？辛頓創(chuàng)建的人工智能機(jī)構(gòu)。中國搜索巨頭百度也建立了深度學(xué)習(xí)實(shí)驗(yàn)室，誓要在深度學(xué)習(xí)領(lǐng)域投入大量資源。與此同時，日本的工程師開始構(gòu)建控制機(jī)器人的人工神經(jīng)網(wǎng)絡(luò)，南非神經(jīng)科學(xué)家亨利？馬克曼正與來自歐盟和以色列的科學(xué)家們合作，希望能利用數(shù)千次實(shí)驗(yàn)得到的數(shù)據(jù)在一臺超級計(jì)算機(jī)中模擬出人腦。3.5 深度學(xué)習(xí)目前主要瓶頸研究的困難仍在于我們無法完全掌握人類大腦的工作原理，但科學(xué)家目前在這方面進(jìn)展飛速。中國的科學(xué)家正在研究一個新的大腦圖譜，他們將之命名為“腦網(wǎng)絡(luò)穹頂”項(xiàng)目。在美國，隨著奧巴馬政府宣布將支持籌建一項(xiàng)跨學(xué)科的科研項(xiàng)目“基于神經(jīng)科學(xué)技術(shù)創(chuàng)新的人腦研究”，許多類似的項(xiàng)目正雨后春筍

15、般得涌現(xiàn)，“大神經(jīng)網(wǎng)絡(luò)時代”已經(jīng)到來。BRAIN項(xiàng)目的目標(biāo)之一，是為繪制大腦復(fù)雜回路圖開出所需的新技術(shù)，種種跡象表明，BRAIN的工作重心就是人工智能。美國國防部研究部門稱，希望BRAIN項(xiàng)目能夠“催生新的信息處理架構(gòu)或者計(jì)算方法”。如果我們能夠搞清楚人類大腦成千上萬的神經(jīng)元如何互相連結(jié)以及中樞神經(jīng)系統(tǒng)存儲和處理信息的原理，那么像吳恩達(dá)這樣的工程師對于“人工大腦”的設(shè)想就能夠更加清晰，對于人腦的研究成果和數(shù)據(jù)將能購幫助深度學(xué)習(xí)算法的研究，也能加速諸如計(jì)算機(jī)“視覺”、語言分析，以及蘋果和谷歌等公司為智能手機(jī)提供的語音識別等技術(shù)的發(fā)展。引用加州大學(xué)伯克利分校計(jì)算神經(jīng)科學(xué)家布魯諾？奧爾斯豪森的一句話

16、一一我們要學(xué)習(xí)生物生存使用的技巧，問題的關(guān)鍵在于生物將秘密隱藏得太深了，我們還沒有掌握這些秘密所需要的工具。4總結(jié)由深度學(xué)習(xí)引爆的科技革命，將會催生出多個領(lǐng)域的變革和跨越式發(fā)展。首先，深度學(xué)習(xí)作為核心信息技術(shù)，將本質(zhì)上提升各類信息服務(wù)的質(zhì)量，大幅提升自然語言、圖片、聲音識別和語言翻譯等方面的準(zhǔn)確率，可以預(yù)見未來的信息服務(wù)尤其是互聯(lián)網(wǎng)信息服務(wù)的競爭，將聚焦于深度學(xué)習(xí)引發(fā)的數(shù)據(jù)智能，能否應(yīng)用好深度學(xué)習(xí)將會對信息企業(yè)乃至國家的信息安全產(chǎn)生深遠(yuǎn)影響。另外，由深度學(xué)習(xí)帶來的各項(xiàng)突破，包括計(jì)算機(jī)視覺發(fā)展推動了下一代智能汽車的不斷完善，以及應(yīng)用于蛋白質(zhì)分析等生物和醫(yī)藥領(lǐng)域并取得重要成果，都預(yù)示著深度學(xué)習(xí)不僅

17、成為新一代信息科學(xué)研究的主流方法，更逐漸演變?yōu)橐豁?xiàng)核心通用技術(shù)和基礎(chǔ)技術(shù)，對于物聯(lián)網(wǎng)、智能設(shè)備、自動駕駛汽車、生物制藥、金融和經(jīng)濟(jì)調(diào)控等多領(lǐng)域具有非常直接的現(xiàn)實(shí)意義，將有可能引爆新的經(jīng)濟(jì)增長點(diǎn)，引導(dǎo)產(chǎn)業(yè)和經(jīng)濟(jì)社會的發(fā)展方向。尤其需要注意的是，美國國防部、歐洲委員會都將深度學(xué)習(xí)列為前沿和革命技術(shù)加以資助，我們完全可以判斷深度學(xué)習(xí)的應(yīng)用絕不會局限于科技和經(jīng)濟(jì)，相信其對社會管理、軍事等更多領(lǐng)域都將產(chǎn)生深遠(yuǎn)影響。5參考文獻(xiàn)1孫志軍，薛磊，許陽明，王正.深度學(xué)習(xí)研究綜述J.計(jì)算機(jī)應(yīng)用研究ApplicationResearchofComputer,20RR年8月，第29卷(第8期):2806-2810.2

18、345678 th9 BENGIOR,DELALLEAUO.OntheeRpressivepowerofdeeparchitecturesC/Procofthe14InternationalConferenceonDiscoverRScience.Berlin:Springer-Verlag,20RR:1.10 BENGIOR.LearningdeeparchitecturesforAIJ.FoundationsandTrendsinMachLearning,20RR,2(1):1-127.11 BENGIOR,LAMBLINP,POPOVICID,etal.GreedRlaRerwisetr

19、ainingofdeepnetworksCProcofthe12AnnualConferenceonNeuralInformationProcessingSRstem.20RR:153-160.12 LECUNR,BOTTOUL,BENGIOR,etal.Gradient-basedlearningappliedtodocumentrecognitionJ.ProceedingsoftheIEEE,1998,86(11):2278-2324.13 VINCENTP,LAROCHELLEH,BENGIORetal.ERtractingandcomposingrobustfeatureswithdenoisingautoencodersC/Procofthe25InternationalConferenceonMachineLearning.NewRork:ACMPress,20RR:1096-1103.14 VINCENTP,LAROCHELLEH,LAJOIEI,etal.Stackeddenoisingautoencoders:learningusefulrepresen