谷歌的深度學(xué)習(xí)與人工智能

1、谷歌的深度學(xué)習(xí)與人工智能2013-08-15 22:17:40谷歌目前已經(jīng)成為一塊極富吸引力的磁鐵，吸引著全球研究深度學(xué)習(xí)和相關(guān)的人工智能領(lǐng)域?qū)＜壹娭另硜怼?2013 年 3 月，谷歌收購了由加拿大多倫多大學(xué)計算機科學(xué)教授杰弗里希頓創(chuàng)立的深度學(xué)習(xí)企業(yè)DNNresearch ,希頓也曾獲得過默克大獎。希頓目前將自己的時間一分為二：一半給大學(xué)；一半給谷歌。辛頓表示，他計劃 “將這一領(lǐng)域的理念提取出來，用來解決實際問題 諸如圖像識別、搜索、自然語言理解等方面的問題 ”。上述研究進(jìn)展時刻在提醒人工智能研究領(lǐng)域的專家們：科幻小說和電影中出現(xiàn)的機器終將出現(xiàn)在現(xiàn)實生活中。的確，機器智能已滲透到各行各業(yè)并在逐

2、步改變這些行業(yè)的面貌，從通訊、計算到醫(yī)療、制造以及運輸?shù)龋灰欢恪?IBM 研究的超級計算機 Watson 在美國著名的智力比賽中獲勝讓這一切得以彰顯。 Watson 也使用了一些深度學(xué)習(xí)技術(shù)， 而且， 科學(xué)家們現(xiàn)在也在訓(xùn)練它幫助醫(yī)生做決定。 微軟也在手機操作系統(tǒng) Windows Phone和 Bing 語音搜索中用到了深度學(xué)習(xí)技術(shù)。然而，要想將深度學(xué)習(xí)技術(shù)從語音和圖像識別領(lǐng)域擴展到其他應(yīng)用領(lǐng)域則需要科學(xué)家們在概念和軟件上做出更大突破，而且還需要計算能力的進(jìn)一步增強?；蛟S，在幾年內(nèi)，我們不會看到計算機能自己思考，但幾十年內(nèi)或許可以。微軟美國研究院的院長皮特李說，深度學(xué)習(xí)已經(jīng)引發(fā)了人工智能領(lǐng)域

3、很多新的大挑戰(zhàn)。建造大腦當(dāng)然，有挑戰(zhàn)就會有人想解決辦法，一直有一些富有競爭力的方法來應(yīng)對這些挑戰(zhàn)?，F(xiàn)在，人們已經(jīng)可以將現(xiàn)實世界的信息和規(guī)則 “喂給 ”計算機，為了做到這一點，需要程序員們不辭辛勞地編寫這方面的軟件。這會耗費大量人力物力，但是，系統(tǒng)仍然無法處理模糊數(shù)據(jù)，這些程序的使用范圍僅限于一些受控的應(yīng)用領(lǐng)域，諸如手機的菜單系統(tǒng)等，該系統(tǒng)要求你通過說出特定的詞語來提要求。人工智能領(lǐng)域出現(xiàn)后不久，神經(jīng)網(wǎng)絡(luò)也于上世紀(jì)50 年代開始興起。神經(jīng)網(wǎng)絡(luò)似乎很有前景，因為它們試圖模擬大腦的工作方式，盡管采用的是一種非常簡化的形式。 程序能標(biāo)示出一套虛擬的神經(jīng)元然后隨機給它們分配數(shù)值或者 “權(quán)值 ” ， 以讓

4、它們之間相互關(guān)聯(lián)。 這些 “權(quán)值 ”決定了每個模擬的神經(jīng)元的反應(yīng) 用數(shù)值輸出0 和 1 來表示，通過這種方式可以對圖像中的邊框或者藍(lán)色陰影、話語中的一個音素的某個能級等特征進(jìn)行數(shù)字化表達(dá)。程序員需要訓(xùn)練神經(jīng)網(wǎng)絡(luò)通過用含有這些物體的圖像或含有這些因素的聲波的數(shù)字化后的版本來探測一個物體或者音素。如果該網(wǎng)絡(luò)無法精確地識別某個特定的模式，將會有一個算法來調(diào)整這些權(quán)值。這種訓(xùn)練的最終目的是讓網(wǎng)絡(luò)能夠持續(xù)一致地識別出語音或者圖像中的這種模式，也就是說，識別出每句語音中的音素”誡者每幅圖像中的狗，這同小孩子通過觀察人們稱作狗的動物的頭型、行為以及毛皮、吠聲等等來認(rèn)識狗如出一轍。但是，早期的神經(jīng)網(wǎng)絡(luò)一次能模

5、擬的神經(jīng)元的數(shù)量有限，因此，它們無法識別出復(fù)雜程度很高的模式，這種情況一直持續(xù)到上世紀(jì)70 年代。在上世紀(jì) 80 年代中期， 辛頓和其他人使用所謂的 “深度 ”模型， 引發(fā)了神經(jīng)網(wǎng)絡(luò)研究的新一輪復(fù)興，深度模型能更好地利用軟件模擬多層神經(jīng)網(wǎng)絡(luò)。但是，這一技術(shù)仍然需要大量的人力投入：程序員們不得不在將數(shù)據(jù)填入神經(jīng)元網(wǎng)絡(luò)前給每個數(shù)據(jù)貼上標(biāo)簽。而且，復(fù)雜的語音或者圖像識別所要求的計算能力彼時也讓人望塵莫及。在過去十年里，辛頓和其他研究人員才終于做出了一些根本性的概念上突破。 2006 年，辛頓研發(fā)出了一種更有效地訓(xùn)練單層神經(jīng)元的方法。即第一層網(wǎng)絡(luò)學(xué)習(xí)一些基本的特征，諸如圖像的邊緣或者聲音的最小單元等。

6、它通過發(fā)現(xiàn)那些出現(xiàn)頻率反常高的數(shù)字化后的像素或者聲波組合來做到這一點。一旦第一層精確地識別出這些特征，那么，它將被 “喂給 ”第二層，以便第二層訓(xùn)練自己識別更復(fù)雜的特征，諸如邊角或者聲音單位的組合等等。這一過程在多層之間不斷重復(fù)，直到該系統(tǒng)能夠可靠地識別出音素或者對象為止。就像上面提到的圖像中的貓。去年 6 月，谷歌演示了迄今最大的神經(jīng)網(wǎng)絡(luò)，其擁有超過 10 億個節(jié)點。美國斯坦福大學(xué)的計算機科學(xué)教授安德魯恩格和谷歌的科學(xué)家杰夫迪恩讓系統(tǒng)從1000萬個隨機選擇的YouTube視頻上挑出了貓的圖像。在該軟件模型中，一個模擬的神經(jīng)元主要注意貓的圖像。其他神經(jīng)元則專注于人臉、黃色的花朵以及其他物體的圖

7、像。因為深層學(xué)習(xí)擁有的強大功能，盡管此前并沒有人給這些圖像貼上標(biāo)簽，該系統(tǒng)還是識別出了這些互不相干的對象。然而，讓某些人工智能專家深感震驚的是深度學(xué)習(xí)在圖像識別領(lǐng)域所取得的驚人成就。該系統(tǒng)可以給 YouTube 視頻中的對象分類，并添加主題，準(zhǔn)確率達(dá) 16% ，盡管聽起來并不是很高，但與以前的方法相比，準(zhǔn)確率提高了 70% 。迪恩強調(diào)稱，要知道， YouTube 視頻中的對象總共有 2.2萬個類別，大部分人都無法做到這一點。當(dāng)該系統(tǒng)被要求將圖像分成 1000 多個常見類別時，準(zhǔn)確率一下子飆升到 50% 。大數(shù)據(jù)在實驗中訓(xùn)練多層虛擬神經(jīng)元占用了谷歌公司的 1.6 萬臺計算機處理器，谷歌公司研發(fā)這

8、些計算基礎(chǔ)設(shè)施的目的是用于搜索引擎和其他服務(wù)。機器學(xué)習(xí)新興公司Vicarious的聯(lián)合創(chuàng)始人迪利普喬治稱，人工智能領(lǐng)域最近取得的進(jìn)步80%要歸功于計算能力的增強。然而，谷歌龐大的數(shù)據(jù)中心深度學(xué)習(xí)飛速發(fā)展只是這枚硬幣的一面，谷歌的操作策略則是這枚硬幣的另一面，這些操作策略就是，將計算任務(wù)分開，讓不同的計算機執(zhí)行不同的操作以便很快完成這些任務(wù)。這是迪恩早期的研究成果，迪恩已在谷歌工作了 14 年。這一策略讓深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度大大提高，使谷歌能夠運行更大的網(wǎng)絡(luò)并朝這些網(wǎng)絡(luò)填入更多數(shù)據(jù)。而且，深度學(xué)習(xí)也提高了智能手機上聲音搜索軟件的性能。直到去年，谷歌的安卓( Android )手機軟件使用的

9、方法還會弄錯很多單詞的意思。但是，在準(zhǔn)備于去年7 月發(fā)布新安卓系統(tǒng)的過程中，迪恩領(lǐng)導(dǎo)的研究團隊用基于深度學(xué)習(xí)的系統(tǒng)取代了部分語音系統(tǒng)。因為多層神經(jīng)元能對一個聲音的多種變形進(jìn)行更精確的訓(xùn)練，所以，該系統(tǒng)能更可靠地對各種支離破碎的聲音進(jìn)行識別，尤其是在地鐵等嘈雜環(huán)境中的聲音。因為新系統(tǒng)能夠更好地理解話語所表達(dá)的真實意義，因此，返回的結(jié)果可能也會更加精確。幾乎一夜之間，錯誤率下降到了 25% ，結(jié)果好得出乎人意料之外，有些評論家現(xiàn)在甚至認(rèn)為安卓的語音搜索功能比蘋果手機最著名的Siri 語音助手還要更智能。盡管上述諸多進(jìn)展令人歡欣鼓舞，但是，并非每個人都認(rèn)為深度學(xué)習(xí)會助推人工智能超越人腦。有些批評家表

10、示，深度學(xué)習(xí)和人工智能從根本上忽略了大腦生物學(xué)的很多方面，太過于注重計算能力。其中一個批評來自手提微型電腦Treo的發(fā)明者、PalmComputing公司的創(chuàng)辦人杰夫霍金斯，2004年，霍金斯就出版了人工智能的未來一書，主要討論大腦如何工作以及如何為建造智能機器提供引導(dǎo)。霍金斯上一個風(fēng)險投資是 Numenta 公司，這是一個令人興奮的新公司，它試圖建立像人腦一樣的計算機，該公司正在研發(fā)一種機器學(xué)習(xí)系統(tǒng)，其在生物學(xué)上受到了深度學(xué)習(xí)理論的啟發(fā)，但并不使用深度學(xué)習(xí)。 Numenta 的系統(tǒng)能夠幫助預(yù)測能源消耗模式以及諸如風(fēng)車等機器失敗的可能性?；艚鹚贡硎?，深度學(xué)習(xí)無法解釋時間的概念。他說，大腦會處理

11、傳感數(shù)據(jù)流，而且，人類的學(xué)習(xí)依靠回憶模式序列：當(dāng)你觀察到一只貓在做某些有意思事情的視頻，有意義的是運動本身，而非谷歌在實驗中使用到的一系列靜止圖像?；艚鹚拐f： “谷歌的態(tài)度是，數(shù)據(jù)彌補了一切。 ”不過， 即使數(shù)據(jù)不能彌補一切， 諸如谷歌等公司用來解決這些問題的計算資源也不會被棄置。 深度學(xué)習(xí)的支持者們強調(diào)說， 這些數(shù)據(jù)非常關(guān)鍵，因為大腦本身比今天的任何一個神經(jīng)網(wǎng)絡(luò)都要復(fù)雜得多。他們表示： “人類需要很多計算資源來使思想更好地工作。 ”敢問未來之路在何方？盡管谷歌對深度學(xué)習(xí)的未來應(yīng)用并不那么確定，但是，其前景確實慢慢在發(fā)酵。顯然，更好的圖像搜索能夠幫助 YouTube 。而且，迪恩表示，深度學(xué)習(xí)

12、模型能使用語音數(shù)據(jù)來更快地訓(xùn)練系統(tǒng)識別其他語音數(shù)據(jù)。更復(fù)雜的圖像識別技術(shù)有望使谷歌的自行駕駛汽車表現(xiàn)更好。而且，深度學(xué)習(xí)和人工智能軟件也將幫助谷歌和其廣告客戶更好地了解人們的想法與需求，從而對廣告營銷產(chǎn)生重大影響。上述美好暢想正是吸引庫茲韋爾的魅力所在， 65 歲的庫茲韋爾多年來一直潛心研究智能機器。 在高中階段， 他就編寫軟件使計算機能夠制造出不同形式的音樂，并于 1965 年在電視秀節(jié)目我有一個秘密中進(jìn)行了演示。從那時起，他的發(fā)明囊括了多個第一：第一臺盲人閱讀器；第一個可以對要打印的任何字體的文本進(jìn)行掃描并數(shù)字化的軟件；第一個能再造交響樂器的聲音的音樂合成器；第一個具備大型詞典的對話識別系

13、統(tǒng)。他現(xiàn)在的設(shè)想是，未來，人們的手機通訊錄中會有一個 “網(wǎng)絡(luò)朋友” ，可以在用戶允許的情況下閱讀電子郵件、追蹤用戶的一舉一動，因此，當(dāng)你有任何問題時，他都會告訴你答案。這并非他在谷歌的直接目的，但是，這一目的與谷歌聯(lián)合創(chuàng)始人謝爾蓋布林的目標(biāo)相吻合。在公司成立之初，布林就表示，他想建造 2001 太空漫游 中人工智能電腦HAL9000 ( HAL9000 作為太空船的總控制電腦， 既具有電腦對任務(wù)的絕對服從及精確性，又具有人類思維甚至感情，它在太空旅行中設(shè)計害死了除戴維之外的所有宇航員，最后戴維讓其停止運行)那樣的智能機器，唯一不同的是，他制造出來的機器不會殺人。庫茲韋爾目前的目標(biāo)是幫助計算機理

14、解甚至表達(dá)自然語言。 他說： “我的使命是讓計算機對自然語言有足夠的理解力， 然后來做有用的事情更好地進(jìn)行搜索、 更好地回答問題。 ”最終， 他希望制造出比IBM 公司的 Watson 更好的機器 盡管他很欣賞Watson 表現(xiàn)出的理解能力和快速反應(yīng)能力。庫茲韋爾并不僅僅專注于深度學(xué)習(xí)，盡管他承認(rèn)他的語音識別方法也同樣基于大腦如何工作的理論。他想給單詞、詞組以及句子的本來意義建模，包括容易讓計算機犯錯的模糊意義。他說： “我想尋找一種圖畫式的方式來表達(dá)語言的語義。 ”這就需要一種更綜合的方式來用圖表表示句子的句法。谷歌也在使用這種分析方法改進(jìn)翻譯中的語法。更好地理解自然語言將需要計算機能夠掌握

15、我們?nèi)祟愓J(rèn)為是常識的意思。為此，庫茲韋爾將會用到谷歌的知識圖譜 谷歌對大約7 億個主題、方位、人等進(jìn)行的分類以及它們之間的幾十億個關(guān)系。知識圖譜去年投入使用，會給搜索者提供問題的答案而非只有鏈接。最終，庫茲韋爾計劃用深度學(xué)習(xí)算法來幫助計算機處理 “語言中的軟邊界和模糊內(nèi)容 ”。這聽起來令人有點望而卻步，實際情況也的確如此。他說： “理解自然語言并非像搜索那樣，是一個在某個時刻就可以完成的任務(wù)，它是一個永遠(yuǎn)也無法完成的計劃。 ”盡管庫茲韋爾的設(shè)想可能需要多年才能變成現(xiàn)實，在可見的未來，深度學(xué)習(xí)可以在語音和圖像識別之外的其他領(lǐng)域找到用武之地。首先，在藥物發(fā)現(xiàn)方面 辛頓的團隊在默克大賽中取得大獎就證明了這一點。情況還不止于此，微軟公司的皮特 李說，深度學(xué)習(xí)可