人工智能通識(shí)教程 第2版 課件 第6章 深度學(xué)習(xí)

第2版人工智能通識(shí)教程第6章周蘇教授QQ：81505050深度學(xué)習(xí)導(dǎo)讀案例：人類(lèi)與動(dòng)物智商的差別人的基因組與動(dòng)物的基因組差距并不大，例如人與自己的靈長(zhǎng)類(lèi)近親倭黑猩猩有99.6%的基因一模一樣，而與黑猩猩的基因也有98.73%的相似性。盡管基因差異不大，但是人的智商卻遠(yuǎn)遠(yuǎn)高于自己的靈長(zhǎng)類(lèi)近親。排除人類(lèi)社會(huì)生活這個(gè)重要因素之外，人類(lèi)智商高的純粹生物學(xué)原因主要在于大腦的差異。01動(dòng)物的中樞神經(jīng)系統(tǒng)02了解人工神經(jīng)網(wǎng)絡(luò)03深度學(xué)習(xí)的定義04卷積神經(jīng)網(wǎng)絡(luò)目錄/CONTENTS05遷移學(xué)習(xí)06深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的分支，是一種以人工神經(jīng)網(wǎng)絡(luò)為架構(gòu)，對(duì)數(shù)據(jù)進(jìn)行表征學(xué)習(xí)的算法。已有多種深度學(xué)習(xí)框架，如深度神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、深度置信網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)，被應(yīng)用在計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、自然語(yǔ)言處理與生物信息學(xué)等領(lǐng)域并獲得了極好的效果，推動(dòng)人工智能進(jìn)入工業(yè)化大生產(chǎn)階段，具有很強(qiáng)的通用性，同時(shí)具備標(biāo)準(zhǔn)化、自動(dòng)化和模塊化基本特征。第6章深度學(xué)習(xí)PART01動(dòng)物的中樞神經(jīng)系統(tǒng)每當(dāng)開(kāi)始一項(xiàng)新的研究時(shí)，應(yīng)該先了解是否已經(jīng)存在現(xiàn)成可借鑒的解決方案。例如，假設(shè)是在1902年萊特兄弟成功進(jìn)行飛行實(shí)驗(yàn)的前一年，你突發(fā)奇想要設(shè)計(jì)一個(gè)人造飛行器，那么，你首先應(yīng)該注意到，在自然界中飛行的“機(jī)器”實(shí)際上是存在的（鳥(niǎo)），由此得到啟發(fā)，你的飛機(jī)設(shè)計(jì)方案中可能要有兩個(gè)大翼。同樣，如果你想設(shè)計(jì)人工智能系統(tǒng)，那就要學(xué)習(xí)并分析這個(gè)星球上最自然的智能系統(tǒng)之一，即人腦神經(jīng)系統(tǒng)。6.1動(dòng)物的中樞神經(jīng)系統(tǒng)動(dòng)物中樞神經(jīng)系統(tǒng)由被稱(chēng)為神經(jīng)細(xì)胞或神經(jīng)元的細(xì)胞組成，和所有細(xì)胞一樣，它們具有含DNA（脫氧核糖核酸）的細(xì)胞核及含其他物質(zhì)的細(xì)胞膜，細(xì)胞可以通過(guò)DNA復(fù)制的過(guò)程簡(jiǎn)單地復(fù)制遺傳信息。它們比其他的大多數(shù)細(xì)胞的體積要大得多，這些神經(jīng)細(xì)胞能夠?qū)哪_趾接收到的感覺(jué)印象再由脊柱底部傳至全身。例如，長(zhǎng)頸鹿頸部的神經(jīng)元能夠伸展至其身體的每個(gè)角落。6.1.1神經(jīng)系統(tǒng)的結(jié)構(gòu)神經(jīng)細(xì)胞一般由三部分組成：細(xì)胞體、樹(shù)突和軸突。每個(gè)神經(jīng)元都由一個(gè)包含神經(jīng)核的細(xì)胞體組成。許多從細(xì)胞體中分支出來(lái)的纖維狀被稱(chēng)為樹(shù)突，這些較短的分支細(xì)絲接收來(lái)自其他神經(jīng)細(xì)胞的信號(hào)。其中單一長(zhǎng)條形分支的長(zhǎng)纖維稱(chēng)為軸突。軸突伸展的距離很長(zhǎng)，一般要長(zhǎng)到1厘米（是細(xì)胞體直徑的100倍），但也可以達(dá)到1米。一個(gè)細(xì)胞的軸突另一個(gè)細(xì)胞的樹(shù)突之間的連接部位被稱(chēng)為突觸。一個(gè)神經(jīng)元在突觸的連接處與其他10～100000個(gè)神經(jīng)元建立連接。圖6-5生物神經(jīng)元的基本構(gòu)造6.1.1神經(jīng)系統(tǒng)的結(jié)構(gòu)神經(jīng)細(xì)胞可被刺激激活，并沿軸突傳導(dǎo)沖動(dòng)。神經(jīng)沖動(dòng)要么存在要么不存在，無(wú)信號(hào)強(qiáng)弱之分。其他神經(jīng)元的信號(hào)決定了神經(jīng)元發(fā)送自身信號(hào)的可能性。這些來(lái)自其他細(xì)胞的信號(hào)可能提高或降低信號(hào)發(fā)送的概率，也能夠改變其他信號(hào)的作用效果。有一部分神經(jīng)元，除非接收到其他信號(hào)，否則自身不會(huì)發(fā)送信號(hào)；也有一部分神經(jīng)元會(huì)不斷重復(fù)發(fā)送信號(hào)，直到有其他信號(hào)進(jìn)行干擾。一些信號(hào)的發(fā)送頻率取決于它們接收到的信號(hào)。6.1.1神經(jīng)系統(tǒng)的結(jié)構(gòu)信號(hào)通過(guò)復(fù)雜的電化學(xué)反應(yīng)從一個(gè)神經(jīng)元傳遞到其他神經(jīng)元。這些信號(hào)可以在短期內(nèi)控制大腦活動(dòng)，還可以長(zhǎng)期改變神經(jīng)元的連通性。這些機(jī)制被認(rèn)為是大腦學(xué)習(xí)的基礎(chǔ)。大多數(shù)信息都在大腦皮質(zhì)（大腦的外層）中處理的?；镜慕M織單元似乎是直徑約0.5毫米的柱狀組織，包含約20000個(gè)神經(jīng)元，并延伸到整個(gè)皮質(zhì)（人類(lèi)皮質(zhì)深度約4毫米）。6.1.1神經(jīng)系統(tǒng)的結(jié)構(gòu)人腦是一種適應(yīng)性系統(tǒng)，必須對(duì)變幻莫測(cè)的事物做出反應(yīng)，而學(xué)習(xí)是通過(guò)修改神經(jīng)元之間連接的強(qiáng)度來(lái)進(jìn)行的。現(xiàn)在，生物學(xué)家和神經(jīng)學(xué)家已經(jīng)了解了在生物中個(gè)體神經(jīng)元是如何相互交流的。動(dòng)物神經(jīng)系統(tǒng)由數(shù)以千萬(wàn)計(jì)的互連細(xì)胞組成，而人腦由100億~1000億個(gè)神經(jīng)元組成。然而，并行的神經(jīng)元集合如何形成功能單元仍然是一個(gè)謎。6.1.2神經(jīng)系統(tǒng)學(xué)習(xí)機(jī)制電信號(hào)通過(guò)樹(shù)突流入細(xì)胞體。細(xì)胞體（或神經(jīng)元胞體）是“數(shù)據(jù)處理”的地方。當(dāng)存在足夠的應(yīng)激反應(yīng)時(shí)，神經(jīng)元就被激發(fā)了。換句話(huà)說(shuō)，它發(fā)送一個(gè)微弱的電信號(hào)（以毫瓦為單位）到被稱(chēng)為軸突的電纜狀突出。神經(jīng)元通常只有單一的軸突，但會(huì)有許多樹(shù)突。足夠的應(yīng)激反應(yīng)指的是超過(guò)預(yù)定的閾值。電信號(hào)流經(jīng)軸突，直接到達(dá)神經(jīng)斷端。細(xì)胞之間的軸突-樹(shù)突（軸突-神經(jīng)元胞體或軸突-軸突）接觸稱(chēng)為神經(jīng)元的突觸。兩個(gè)神經(jīng)元之間實(shí)際上有一個(gè)小的間隔（幾乎觸及），這個(gè)間隙充滿(mǎn)了導(dǎo)電流體，允許神經(jīng)元間電信號(hào)的流動(dòng)。腦激素（或攝入的藥物，如咖啡因）影響了當(dāng)前的電導(dǎo)率。6.1.2神經(jīng)系統(tǒng)學(xué)習(xí)機(jī)制PART02了解人工神經(jīng)網(wǎng)絡(luò)人腦神經(jīng)元彼此高度相連。一些神經(jīng)元與另一些或另外幾十個(gè)相鄰的神經(jīng)元通信，然后，其他神經(jīng)元與數(shù)千個(gè)神經(jīng)元共享信息。在過(guò)去數(shù)十年里，研究人員就是從這種自然典范中汲取靈感，設(shè)計(jì)人工神經(jīng)網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)（ANN）是指以人腦和神經(jīng)系統(tǒng)為模型的機(jī)器學(xué)習(xí)算法。如今，人工神經(jīng)網(wǎng)絡(luò)從股票市場(chǎng)預(yù)測(cè)到汽車(chē)的自主控制，在模式識(shí)別、經(jīng)濟(jì)預(yù)測(cè)和許多其他應(yīng)用領(lǐng)域都有突出的應(yīng)用表現(xiàn)。6.2了解人工神經(jīng)網(wǎng)絡(luò)與人腦神經(jīng)系統(tǒng)類(lèi)似，人工神經(jīng)網(wǎng)絡(luò)通過(guò)改變權(quán)重以呈現(xiàn)出相同的適應(yīng)性。在監(jiān)督學(xué)習(xí)的ANN范式中，學(xué)習(xí)規(guī)則承擔(dān)了這個(gè)任務(wù)，監(jiān)督學(xué)習(xí)通過(guò)比較網(wǎng)絡(luò)的表現(xiàn)與所希望的響應(yīng)，相應(yīng)地修改系統(tǒng)的權(quán)重。ANN主要有3種學(xué)習(xí)規(guī)則，即感知器學(xué)習(xí)、增量和反向傳播。反向傳播規(guī)則具有處理多層網(wǎng)絡(luò)所需的能力，并且在許多應(yīng)用中取得了廣泛的成功。熟悉各種網(wǎng)絡(luò)架構(gòu)和學(xué)習(xí)規(guī)則還不足以保證模型的成功，還需要知道如何編碼數(shù)據(jù)、網(wǎng)絡(luò)培訓(xùn)應(yīng)持續(xù)多長(zhǎng)時(shí)間，以及如果網(wǎng)絡(luò)無(wú)法收斂，應(yīng)如何處理這種情況。6.2.1人工神經(jīng)網(wǎng)絡(luò)的研究20世紀(jì)70年代，人工網(wǎng)絡(luò)研究進(jìn)入了停滯期。資金不足導(dǎo)致這個(gè)領(lǐng)域少有新成果產(chǎn)生。諾貝爾物理學(xué)獎(jiǎng)獲得者約翰·霍普菲爾德在這個(gè)學(xué)科的研究重新激起了人們對(duì)這一學(xué)科的熱情。6.2.1人工神經(jīng)網(wǎng)絡(luò)的研究在了解（并模擬）動(dòng)物神經(jīng)系統(tǒng)的行為的基礎(chǔ)上，美國(guó)的麥卡洛克和皮茨開(kāi)發(fā)了人工神經(jīng)元的第一個(gè)模型。對(duì)應(yīng)于生物神經(jīng)網(wǎng)絡(luò)的生物學(xué)模型，人工神經(jīng)元采用了4個(gè)要素：（1）細(xì)胞體，對(duì)應(yīng)于神經(jīng)元的細(xì)胞體。（2）輸出通道，對(duì)應(yīng)于神經(jīng)元的軸突。（3）輸入通道，對(duì)應(yīng)于神經(jīng)元的樹(shù)突。（4）權(quán)重，對(duì)應(yīng)于神經(jīng)元的突觸。6.2.1人工神經(jīng)網(wǎng)絡(luò)的研究其中，權(quán)重（實(shí)值）扮演了突觸的角色，反映生物突觸的導(dǎo)電水平，用于調(diào)節(jié)一個(gè)神經(jīng)元對(duì)另一個(gè)神經(jīng)元的影響程度，控制著輸入對(duì)單元的影響。人工神經(jīng)元模仿了神經(jīng)元的結(jié)構(gòu)。未經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型很像新生兒：它們被創(chuàng)造出來(lái)的時(shí)候?qū)κ澜缫粺o(wú)所知，只有通過(guò)接觸這個(gè)世界，也就是后天的知識(shí)，才會(huì)慢慢提高它們的認(rèn)知程度。算法通過(guò)數(shù)據(jù)體驗(yàn)世界——人們?cè)噲D通過(guò)在相關(guān)數(shù)據(jù)集上訓(xùn)練神經(jīng)網(wǎng)絡(luò)，來(lái)提高其認(rèn)知程度。衡量進(jìn)度的方法是通過(guò)監(jiān)測(cè)網(wǎng)絡(luò)產(chǎn)生的誤差。6.2.1人工神經(jīng)網(wǎng)絡(luò)的研究實(shí)際神經(jīng)元運(yùn)作時(shí)要積累電勢(shì)能，當(dāng)能量超過(guò)特定值時(shí)，突觸前神經(jīng)元會(huì)經(jīng)軸突放電，繼而刺激突觸后神經(jīng)元。人類(lèi)有著數(shù)以?xún)|計(jì)相互連接的神經(jīng)元，其放電模式無(wú)比復(fù)雜。哪怕是最先進(jìn)的神經(jīng)網(wǎng)絡(luò)也難以比擬人腦的能力，因此，神經(jīng)網(wǎng)絡(luò)在短時(shí)間內(nèi)應(yīng)該還無(wú)法模擬人腦的功能。6.2.1人工神經(jīng)網(wǎng)絡(luò)的研究人工神經(jīng)網(wǎng)絡(luò)是一種仿生神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和功能的數(shù)學(xué)模型或計(jì)算模型，用于對(duì)函數(shù)進(jìn)行估計(jì)或近似計(jì)算。大多數(shù)情況下，人工神經(jīng)網(wǎng)絡(luò)能在外界信息的基礎(chǔ)上改變內(nèi)部結(jié)構(gòu)。6.2.2典型的人工神經(jīng)網(wǎng)絡(luò)作為一種非線(xiàn)性統(tǒng)計(jì)性數(shù)據(jù)建模工具，典型的神經(jīng)網(wǎng)絡(luò)具有以下3個(gè)部分：（1）結(jié)構(gòu)：指定網(wǎng)絡(luò)中的變量及其拓?fù)潢P(guān)系。例如，神經(jīng)網(wǎng)絡(luò)中的變量可以是神經(jīng)元連接的權(quán)重和神經(jīng)元的激勵(lì)值。（2）激勵(lì)函數(shù)：大部分神經(jīng)網(wǎng)絡(luò)模型具有一個(gè)短時(shí)間尺度的動(dòng)力學(xué)規(guī)則，來(lái)定義神經(jīng)元如何根據(jù)其他神經(jīng)元的活動(dòng)改變自己的激勵(lì)值。一般激勵(lì)函數(shù)依賴(lài)于網(wǎng)絡(luò)中的權(quán)重（即該網(wǎng)絡(luò)的參數(shù)）。（3）學(xué)習(xí)規(guī)則：指定人工神經(jīng)網(wǎng)絡(luò)中的權(quán)重如何隨時(shí)間推進(jìn)而調(diào)整。這一般被看做是一種長(zhǎng)時(shí)間尺度的動(dòng)力學(xué)規(guī)則。通常，學(xué)習(xí)規(guī)則依賴(lài)于神經(jīng)元的激勵(lì)值，它也可能依賴(lài)于監(jiān)督者提供的目標(biāo)值和當(dāng)前權(quán)重的值。6.2.2典型的人工神經(jīng)網(wǎng)絡(luò)人腦平均包含1000億個(gè)神經(jīng)元，每個(gè)神經(jīng)元又平均與7000個(gè)其他神經(jīng)元相連，我們可以想象能夠匹配人腦的計(jì)算機(jī)有多龐大。每個(gè)突觸需要一個(gè)基本操作，這樣的操作每秒大約需要進(jìn)行1000次，精確之后也就是每秒1017次。目前的一般家用電腦有四個(gè)處理器（四核），在寫(xiě)入時(shí)每個(gè)處理器的速度約為每秒109次操作。我們可以通過(guò)廉價(jià)硬件來(lái)實(shí)現(xiàn)每秒1011次操作，但至少需要100萬(wàn)個(gè)這樣的處理器才能夠匹配人腦。計(jì)算機(jī)性能每18個(gè)月就能強(qiáng)化一倍，這意味著每十年它們的速度就可以提高100倍。在接下來(lái)的30年里，計(jì)算機(jī)的計(jì)算能力有望與人腦相匹敵。6.2.3類(lèi)腦計(jì)算機(jī)擁有速度更快的計(jì)算機(jī)也無(wú)法立即創(chuàng)建起人工智能，因?yàn)槲覀冞€需要了解如何編程。如果大腦由神經(jīng)元組成并且是智能的，或許我們可以模擬神經(jīng)元進(jìn)行編程，畢竟這已經(jīng)被證明是可行的了。6.2.3類(lèi)腦計(jì)算機(jī)人工神經(jīng)元比人類(lèi)神經(jīng)元簡(jiǎn)單，它們接收數(shù)以千計(jì)的輸入，并對(duì)其進(jìn)行疊加，如果總數(shù)超過(guò)閾值則被激活。每一次輸入都被設(shè)置一個(gè)可配置的權(quán)重，人類(lèi)可以決定任何一次輸入對(duì)總數(shù)的作用效果，如果權(quán)重為負(fù)值，則神經(jīng)元的激活將被抑制。這些人工神經(jīng)元可以用于構(gòu)建計(jì)算機(jī)程序，但它們比目前使用的語(yǔ)言更復(fù)雜。不過(guò)，我們可以類(lèi)比大腦將它們大量集合成群，并且改變所有輸入的權(quán)重，然后根據(jù)需求管理整個(gè)系統(tǒng)，而不必弄清其工作原理。6.2.3類(lèi)腦計(jì)算機(jī)將這些神經(jīng)元排列在至少三層結(jié)構(gòu)中，一些情況下將多達(dá)30層，每一層都含有眾多神經(jīng)元，可能多達(dá)幾千個(gè)。因此，一個(gè)完整的神經(jīng)網(wǎng)絡(luò)可能含有10萬(wàn)個(gè)或更多的個(gè)體神經(jīng)元，每個(gè)神經(jīng)元接收來(lái)自前一層其他神經(jīng)元的輸入，并將信號(hào)發(fā)送給后一層的所有神經(jīng)元，我們向第一層注入信號(hào)并解釋最后一層發(fā)出的信號(hào)，以此來(lái)進(jìn)行操作。

圖6-6三層結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)6.2.3類(lèi)腦計(jì)算機(jī)PART03深度學(xué)習(xí)的定義深度學(xué)習(xí)起源于早期用計(jì)算電路模擬大腦神經(jīng)元網(wǎng)絡(luò)的工作，是機(jī)器學(xué)習(xí)中一系列技術(shù)的組合。深度學(xué)習(xí)假設(shè)具有復(fù)雜代數(shù)電路的形式，其“深度”的含義是指電路通常被設(shè)計(jì)成多層，這意味著從輸入到輸出的計(jì)算路徑包含較多計(jì)算步驟，且其中的連接強(qiáng)度是可調(diào)整的，因此，通過(guò)深度學(xué)習(xí)方法訓(xùn)練的網(wǎng)絡(luò)通常被稱(chēng)為神經(jīng)網(wǎng)絡(luò)，盡管它與真實(shí)的神經(jīng)細(xì)胞和結(jié)構(gòu)之間的相似性?xún)H僅停留于表面。6.3深度學(xué)習(xí)的定義深度學(xué)習(xí)學(xué)習(xí)樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次，它在使用復(fù)雜機(jī)器學(xué)習(xí)算法的學(xué)習(xí)過(guò)程中所獲得的信息，對(duì)諸如文字、圖像識(shí)別和語(yǔ)音識(shí)別等數(shù)據(jù)的解釋有很大幫助，所取得的效果遠(yuǎn)遠(yuǎn)超過(guò)先前的相關(guān)技術(shù)，其最終目標(biāo)是讓機(jī)器能夠像人一樣具有分析學(xué)習(xí)能力。6.3深度學(xué)習(xí)的定義與傳統(tǒng)機(jī)器學(xué)習(xí)所述的一些方法相比，深度學(xué)習(xí)尤其是在處理圖像等高維數(shù)據(jù)時(shí)具有明顯的優(yōu)勢(shì)。舉例來(lái)說(shuō)，雖然線(xiàn)性回歸和邏輯斯諦回歸等方法可以處理大量的輸入變量，但每個(gè)樣本從輸入到輸出的計(jì)算路徑都非常短——只是乘以某個(gè)權(quán)重后加到總輸出中。此外，不同的輸入變量各自獨(dú)立地影響輸出而不相互影響（圖6-7（a））。這大大限制了這些模型的表達(dá)能力。它們只能表示輸入空間中的線(xiàn)性函數(shù)與邊界，而真實(shí)世界中的大多數(shù)概念要比這復(fù)雜得多。6.3.1深度學(xué)習(xí)的優(yōu)勢(shì)

圖6-7學(xué)習(xí)的計(jì)算路徑（a）淺層模型，例如線(xiàn)性回歸，其輸入到輸出之間的計(jì)算路徑很短。（b）決策列表網(wǎng)絡(luò)中可能存在某些具有長(zhǎng)計(jì)算路徑的輸入，但大多數(shù)計(jì)算路徑都較短。（c）深度學(xué)習(xí)網(wǎng)絡(luò)具有更長(zhǎng)的計(jì)算路徑，且每個(gè)變量都能與所有其他變量相互作用。6.3.1深度學(xué)習(xí)的優(yōu)勢(shì)另外，決策列表和決策樹(shù)能夠?qū)崿F(xiàn)較長(zhǎng)的計(jì)算路徑，這些路徑可能依賴(lài)于較多的輸入變量，但只是對(duì)很小的一部分輸入向量而言（圖6-7（b））。如果一個(gè)決策樹(shù)對(duì)一定部分的可能輸入有很長(zhǎng)的計(jì)算路徑，那么它的輸入變量的數(shù)量必將是指數(shù)級(jí)的。深度學(xué)習(xí)的基本思想是訓(xùn)練電路，使其計(jì)算路徑可以很長(zhǎng)，進(jìn)而使得所有輸入變量之間以復(fù)雜的方式相互作用（圖6-7（c））。事實(shí)證明，這些電路模型具有足夠的表達(dá)能力，它們?cè)谠S多重要類(lèi)型的學(xué)習(xí)問(wèn)題中都能夠擬合復(fù)雜的真實(shí)數(shù)據(jù)。6.3.1深度學(xué)習(xí)的優(yōu)勢(shì)從研究角度看，深度學(xué)習(xí)是基于多層人工神經(jīng)網(wǎng)絡(luò)，海量數(shù)據(jù)為輸入，發(fā)現(xiàn)規(guī)則自學(xué)習(xí)的方法。深度學(xué)習(xí)所基于的多層神經(jīng)網(wǎng)絡(luò)并非新鮮事物，甚至在80年代還被認(rèn)為沒(méi)有前途。但近年來(lái)，科學(xué)家們對(duì)多層神經(jīng)網(wǎng)絡(luò)的算法不斷優(yōu)化，使它出現(xiàn)了突破性的進(jìn)展。如今人工智能技術(shù)正發(fā)展成為一種能夠改變世界的力量，其中尤以深度學(xué)習(xí)所取得的進(jìn)步最為顯著，深度學(xué)習(xí)所帶來(lái)的重大技術(shù)革命，甚至有可能顛覆過(guò)去長(zhǎng)期以來(lái)人們對(duì)互聯(lián)網(wǎng)技術(shù)的認(rèn)知，實(shí)現(xiàn)技術(shù)體驗(yàn)的跨越式發(fā)展。6.3.1深度學(xué)習(xí)的優(yōu)勢(shì)以往很多算法是線(xiàn)性的，而現(xiàn)實(shí)世界大多數(shù)事情的特征是復(fù)雜非線(xiàn)性的。比如貓的圖像中，就包含了顏色、形態(tài)、五官、光線(xiàn)等各種信息。深度學(xué)習(xí)的關(guān)鍵就是通過(guò)多層非線(xiàn)性映射將這些因素成功分開(kāi)。與淺層相比，多層神經(jīng)網(wǎng)絡(luò)簡(jiǎn)單地說(shuō)，就是可以減少參數(shù)。因?yàn)樗貜?fù)利用中間層的計(jì)算單元。以認(rèn)貓為例，它學(xué)習(xí)貓的分層特征：最底層從原始像素開(kāi)始，刻畫(huà)局部的邊緣和紋；中層把各種邊緣進(jìn)行組合，描述不同類(lèi)型的貓的器官；最高層描述的是整個(gè)貓的全局特征。6.3.2深度學(xué)習(xí)的意義深度學(xué)習(xí)需要具備超強(qiáng)的計(jì)算能力，同時(shí)還不斷有海量數(shù)據(jù)的輸入。特別是在信息表示和特征設(shè)計(jì)方面，過(guò)去大量依賴(lài)人工，嚴(yán)重影響有效性和通用性。深度學(xué)習(xí)則徹底顛覆了“人造特征”的范式，開(kāi)啟了數(shù)據(jù)驅(qū)動(dòng)的“表示學(xué)習(xí)”范式——由數(shù)據(jù)自提取特征，計(jì)算機(jī)自己發(fā)現(xiàn)規(guī)則，進(jìn)行自學(xué)習(xí)?？梢赃@樣理解：過(guò)去，人們對(duì)經(jīng)驗(yàn)的利用靠人類(lèi)自己完成。而深度學(xué)習(xí)中，經(jīng)驗(yàn)以數(shù)據(jù)形式存在。因此，深度學(xué)習(xí)就是關(guān)于從數(shù)據(jù)中產(chǎn)生模型的算法，即深度學(xué)習(xí)算法。6.3.2深度學(xué)習(xí)的意義那么大數(shù)據(jù)以及各種算法與深度學(xué)習(xí)有什么區(qū)別呢？過(guò)去的算法模式，數(shù)學(xué)上叫線(xiàn)性，x和y的關(guān)系是對(duì)應(yīng)的，它是一種函數(shù)體現(xiàn)的映射。但這種算法在海量數(shù)據(jù)面前遇到了瓶頸。國(guó)際上著名的ImageNet圖像分類(lèi)大賽，用傳統(tǒng)算法，識(shí)別錯(cuò)誤率一直降不下去，采用深度學(xué)習(xí)后，錯(cuò)誤率大幅降低。在2010年，獲勝的系統(tǒng)只能正確標(biāo)記72%的圖片；到了2012年，多倫多大學(xué)的杰夫·辛頓利用深度學(xué)習(xí)的新技術(shù)，帶領(lǐng)團(tuán)隊(duì)實(shí)現(xiàn)了85%的準(zhǔn)確率；2015年的ImageNet競(jìng)賽上，一個(gè)深度學(xué)習(xí)系統(tǒng)以96%的準(zhǔn)確率第一次超過(guò)了人類(lèi)（人類(lèi)平均有95%的準(zhǔn)確率）。6.3.2深度學(xué)習(xí)的意義計(jì)算機(jī)認(rèn)圖的能力已經(jīng)超過(guò)人，尤其在圖像和語(yǔ)音等復(fù)雜應(yīng)用方面，深度學(xué)習(xí)技術(shù)取得了優(yōu)越的性能。深度學(xué)習(xí)是一種以人工神經(jīng)網(wǎng)絡(luò)為架構(gòu)，對(duì)數(shù)據(jù)進(jìn)行表征學(xué)習(xí)的算法，即可以這樣定義：“深度學(xué)習(xí)是一種特殊的機(jī)器學(xué)習(xí)，通過(guò)學(xué)習(xí)將現(xiàn)實(shí)使用嵌套的概念層次來(lái)表示并實(shí)現(xiàn)巨大的功能和靈活性，其中每個(gè)概念都定義為與簡(jiǎn)單概念相關(guān)聯(lián)，而更為抽象的表示則以較不抽象的方式來(lái)計(jì)算。”6.3.2深度學(xué)習(xí)的意義已經(jīng)有多種深度學(xué)習(xí)框架，如深度神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、深度置信網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)，被應(yīng)用在計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、自然語(yǔ)言處理、音頻識(shí)別與生物信息學(xué)等領(lǐng)域并獲取了極好的效果。另外，“深度學(xué)習(xí)”也成為神經(jīng)網(wǎng)絡(luò)的品牌重塑。通過(guò)多層處理，逐漸將初始的“低層”特征表示轉(zhuǎn)化為“高層”特征表示后，用“簡(jiǎn)單模型”即可完成復(fù)雜的分類(lèi)等學(xué)習(xí)任務(wù)。由此，可將深度學(xué)習(xí)理解為進(jìn)行“特征學(xué)習(xí)”或“表示學(xué)習(xí)”。6.3.2深度學(xué)習(xí)的意義以往在機(jī)器學(xué)習(xí)用于現(xiàn)實(shí)任務(wù)時(shí)，描述樣本的特征通常需由人類(lèi)專(zhuān)家來(lái)設(shè)計(jì)，這成為“特征工程”。眾所周知，特征的好壞對(duì)泛化性能有至關(guān)重要的影響，人類(lèi)專(zhuān)家設(shè)計(jì)出好特征也并非易事；特征學(xué)習(xí)（表征學(xué)習(xí)）則通過(guò)機(jī)器學(xué)習(xí)技術(shù)自身來(lái)產(chǎn)生好特征，這使機(jī)器學(xué)習(xí)向“全自動(dòng)數(shù)據(jù)分析”又前進(jìn)了一步。人工智能研究方向之一是以“專(zhuān)家系統(tǒng)”為代表，用大量“If-Then”規(guī)則定義，自上而下的思路。ANN標(biāo)志著另一種自下而上的思路，試圖模仿大腦神經(jīng)元之間傳遞、處理信息的模式。6.3.2深度學(xué)習(xí)的意義支持圖像識(shí)別技術(shù)驕人成績(jī)的通常是深度神經(jīng)網(wǎng)絡(luò)，借助于特征可視化這個(gè)強(qiáng)大工具，能幫我們理解神經(jīng)網(wǎng)絡(luò)究竟是怎樣認(rèn)識(shí)圖像的。圖6-8神經(jīng)網(wǎng)絡(luò)的可視化6.3.3神經(jīng)網(wǎng)絡(luò)理解圖片現(xiàn)在，計(jì)算機(jī)視覺(jué)模型中每一層所檢測(cè)的東西都可以可視化。經(jīng)過(guò)在一層層神經(jīng)網(wǎng)絡(luò)中的傳遞，會(huì)逐漸對(duì)圖片進(jìn)行抽象：先探測(cè)邊緣，然后用這些邊緣來(lái)檢測(cè)紋理，再用紋理檢測(cè)模式，用模式檢測(cè)物體的部分……6.3.3神經(jīng)網(wǎng)絡(luò)理解圖片圖6-9是ImageNet（一個(gè)用于視覺(jué)對(duì)象識(shí)別軟件研究的大型可視化數(shù)據(jù)庫(kù)項(xiàng)目）訓(xùn)練的GoogLeNet的特征可視化圖，我們可以從中看出它的每一層是如何對(duì)圖片進(jìn)行抽象的。

圖6-9訓(xùn)練用的特征可視化圖6.3.3神經(jīng)網(wǎng)絡(luò)理解圖片在神經(jīng)網(wǎng)絡(luò)處理圖像的過(guò)程中，單個(gè)神經(jīng)元不能理解任何東西，它們需要協(xié)作。所以，我們也需要理解它們彼此之間如何交互。通過(guò)在神經(jīng)元之間插值，使神經(jīng)元之間彼此交互。圖6-10就展示了兩個(gè)神經(jīng)元是如何共同表示圖像的。圖6-10兩個(gè)神經(jīng)元共同表示圖像6.3.3神經(jīng)網(wǎng)絡(luò)理解圖片在進(jìn)行特征可視化時(shí)，得到的結(jié)果通常會(huì)布滿(mǎn)噪點(diǎn)和無(wú)意義的高頻圖案。要更好地理解神經(jīng)網(wǎng)絡(luò)模型是如何工作的，就要避開(kāi)這些高頻圖案。這時(shí)所用的方法是進(jìn)行預(yù)先規(guī)則化，或者說(shuō)約束、預(yù)處理。當(dāng)然，了解神經(jīng)網(wǎng)絡(luò)內(nèi)部的工作原理，也是增強(qiáng)人工智能可解釋性的一種途徑，而特征可視化正是其中一個(gè)很有潛力的研究方向。神經(jīng)網(wǎng)絡(luò)已經(jīng)得到了廣泛應(yīng)用，解決了控制、搜索、優(yōu)化、函數(shù)近似、模式關(guān)聯(lián)、聚類(lèi)、分類(lèi)和預(yù)測(cè)等領(lǐng)域的問(wèn)題。6.3.3神經(jīng)網(wǎng)絡(luò)理解圖片例如，將人工神經(jīng)網(wǎng)絡(luò)應(yīng)用在控制領(lǐng)域中，給設(shè)備輸入數(shù)據(jù)，產(chǎn)生所需的輸出。在雷克薩斯豪華系列汽車(chē)的尾部配備了后備攝像機(jī)，聲納設(shè)備和人工神經(jīng)網(wǎng)絡(luò)，可以自動(dòng)并行停車(chē)。實(shí)際上，這是一個(gè)所謂反向問(wèn)題的例子，汽車(chē)采用的路線(xiàn)是己知的，所計(jì)算的是需要的力以及所涉及方向盤(pán)的位移。反向控制的一個(gè)較早的示例是卡車(chē)倒車(chē)，正向識(shí)別的一個(gè)示例是機(jī)器人手臂控制（所需的力己知，必須識(shí)別動(dòng)作）。在任何智能系統(tǒng)中，搜索都是一個(gè)關(guān)鍵部分，可以將人工神經(jīng)網(wǎng)絡(luò)應(yīng)用于搜索。6.3.3神經(jīng)網(wǎng)絡(luò)理解圖片神經(jīng)網(wǎng)絡(luò)的主要缺點(diǎn)是其不透明性，換句話(huà)說(shuō)它們不能解釋結(jié)果。有個(gè)研究領(lǐng)域是將ANN與模糊邏輯結(jié)合起來(lái)生成神經(jīng)模糊網(wǎng)絡(luò)，這個(gè)網(wǎng)絡(luò)具有ANN的學(xué)習(xí)能力，同時(shí)也具有模糊邏輯的解釋能力。6.3.3神經(jīng)網(wǎng)絡(luò)理解圖片起初，神經(jīng)網(wǎng)絡(luò)產(chǎn)生的結(jié)果是雜亂無(wú)章的，因?yàn)槲覀冞€沒(méi)有給予其具體操作的指令。因此，我們?yōu)槠涮峁┐罅繑?shù)據(jù)，并十分清楚神經(jīng)網(wǎng)絡(luò)應(yīng)該給出怎樣的反饋。如果要思考的問(wèn)題是觀(guān)察戰(zhàn)場(chǎng)的照片，判斷其中是否存在坦克，我們可以拿幾千張或有或沒(méi)有坦克的照片，將其輸入網(wǎng)絡(luò)的第一層，然后，調(diào)整所有神經(jīng)元的全部輸入權(quán)重，使最后一層的輸出更接近正確答案。其中涉及復(fù)雜的數(shù)學(xué)運(yùn)算，但可以通過(guò)自動(dòng)化程序解決，接著，不斷重復(fù)這一過(guò)程，成百上千次地展示每一張訓(xùn)練圖像。慢慢地，犯錯(cuò)的概率將逐漸降低，直到每次都能做出正確應(yīng)答為止。6.3.4訓(xùn)練神經(jīng)網(wǎng)絡(luò)一旦訓(xùn)練完成，我們就可以開(kāi)始提供新的圖片。如果我們選擇的訓(xùn)練數(shù)據(jù)足夠嚴(yán)謹(jǐn)，訓(xùn)練周期足夠長(zhǎng)，網(wǎng)絡(luò)就能準(zhǔn)確回答圖中是否有坦克的存在。訓(xùn)練神經(jīng)網(wǎng)絡(luò)的主要問(wèn)題在于我們不知道它們究竟是如何得出結(jié)論的，因而無(wú)法確定它們是否真的在尋找我們想要它們尋找的答案。如果有坦克的照片都是在晴天拍攝的，而所有沒(méi)有坦克的照片都是在雨天拍攝的，那么神經(jīng)網(wǎng)絡(luò)可能只是在判斷我們是否需要雨傘而已。6.3.4訓(xùn)練神經(jīng)網(wǎng)絡(luò)因?yàn)樯窠?jīng)網(wǎng)絡(luò)不需要我們告訴它們?nèi)绾潍@取答案，所以即使我們不知道它們?cè)鯓尤プ鲆龅氖虑椋€是可以照常使用它們。識(shí)別圖片中的物體只是一個(gè)例子，其他用途可能還包括預(yù)測(cè)股市走向等。只要擁有大量?jī)?yōu)質(zhì)的訓(xùn)練數(shù)據(jù)，就可以對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行編程來(lái)完成這項(xiàng)工作。6.3.4訓(xùn)練神經(jīng)網(wǎng)絡(luò)盡管人工神經(jīng)元只是真正神經(jīng)細(xì)胞的簡(jiǎn)化模型，但有趣的是神經(jīng)網(wǎng)絡(luò)的運(yùn)作方式卻與大腦相同。掃描顯示大腦的某些區(qū)域?qū)ι?、下、左、右移?dòng)的光暗邊緣十分敏感。谷歌公司訓(xùn)練神經(jīng)網(wǎng)絡(luò)來(lái)識(shí)別物體，向用戶(hù)提供可愛(ài)的貓咪圖片。這些神經(jīng)網(wǎng)絡(luò)大約有30層，谷歌表示第一層正是通過(guò)物體的不同邊緣來(lái)分析圖像，程序員并沒(méi)有進(jìn)行過(guò)這方面的編程，這種行為是在網(wǎng)絡(luò)綜合訓(xùn)練中自主出現(xiàn)的。6.3.4訓(xùn)練神經(jīng)網(wǎng)絡(luò)我們通過(guò)幾個(gè)例子，來(lái)了解深度學(xué)習(xí)的方法。示例1：識(shí)別正方形。先從一個(gè)簡(jiǎn)單例子開(kāi)始，從概念層面上解釋究竟發(fā)生了什么事情。我們來(lái)試試看如何從多個(gè)形狀中識(shí)別正方形。

圖6-11簡(jiǎn)單例子6.3.5深度學(xué)習(xí)的方法第一件事是檢查圖中是否有四條線(xiàn)（簡(jiǎn)單的概念）。如果找到這樣的四條線(xiàn)，進(jìn)一步檢查它們是相連的、閉合的和相互垂直的，并且它們是否相等（嵌套的概念層次結(jié)構(gòu)）。這樣就完成了一個(gè)復(fù)雜的任務(wù)（識(shí)別一個(gè)正方形），并以簡(jiǎn)單、不太抽象的任務(wù)來(lái)完成它。深度學(xué)習(xí)本質(zhì)上在大規(guī)模執(zhí)行類(lèi)似的邏輯。6.3.5深度學(xué)習(xí)的方法示例2：識(shí)別貓。我們通常能用很多屬性描述一個(gè)事物。其中有些屬性可能很關(guān)鍵，很有用，另一些屬性可能沒(méi)什么用。我們就將屬性被稱(chēng)為特征。特征辨識(shí)是一個(gè)數(shù)據(jù)處理的過(guò)程。6.3.5深度學(xué)習(xí)的方法傳統(tǒng)算法認(rèn)貓，是標(biāo)注各種特征去認(rèn)：大眼睛，有胡子，有花紋。但這種特征寫(xiě)著寫(xiě)著，可能分不出是貓還是老虎了，狗和貓也分不出來(lái)。這種方法叫——人制定規(guī)則，機(jī)器學(xué)習(xí)這種規(guī)則。深度學(xué)習(xí)的方法是，直接給你百萬(wàn)張圖片，說(shuō)這里有貓，再給你百萬(wàn)張圖，說(shuō)這里沒(méi)貓，然后來(lái)訓(xùn)練深度網(wǎng)絡(luò)，通過(guò)深度學(xué)習(xí)自己去學(xué)貓的特征，計(jì)算機(jī)就知道了，誰(shuí)是貓。圖6-12從視頻里面尋找貓的圖片是深度學(xué)習(xí)接觸性能的首次展現(xiàn)6.3.5深度學(xué)習(xí)的方法示例3：訓(xùn)練機(jī)械手學(xué)習(xí)抓取動(dòng)作。訓(xùn)練機(jī)械手學(xué)習(xí)抓取動(dòng)作，傳統(tǒng)方法肯定是針對(duì)機(jī)械手寫(xiě)好函數(shù)，移動(dòng)到xyz標(biāo)注的空間點(diǎn)，利用程序?qū)崿F(xiàn)一次抓取。而谷歌用機(jī)器人訓(xùn)練一個(gè)深度神經(jīng)網(wǎng)絡(luò)，幫助機(jī)器人根據(jù)攝像頭輸入和電機(jī)命令，預(yù)測(cè)抓取的結(jié)果。簡(jiǎn)單地說(shuō)，就是訓(xùn)練機(jī)器人的手眼協(xié)調(diào)。機(jī)器人會(huì)觀(guān)測(cè)自己的機(jī)械臂，實(shí)時(shí)糾正抓取運(yùn)動(dòng)。所有行為都從學(xué)習(xí)中自然浮現(xiàn)。

圖6-13谷歌訓(xùn)練機(jī)械手6.3.5深度學(xué)習(xí)的方法為了加快學(xué)習(xí)進(jìn)程，谷歌公司用14個(gè)機(jī)械手同時(shí)工作，在將近3000小時(shí)的訓(xùn)練，相當(dāng)于80萬(wàn)次抓取嘗試后，開(kāi)始看到智能反應(yīng)行為的出現(xiàn)。資料顯示，沒(méi)有訓(xùn)練的機(jī)械手，前30次抓取失敗率為34%，而訓(xùn)練后，失敗率降低到18%。這就是一個(gè)自我學(xué)習(xí)的過(guò)程。6.3.5深度學(xué)習(xí)的方法示例4：訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)寫(xiě)文章。斯坦福大學(xué)的計(jì)算機(jī)博士安德烈·卡帕蒂曾用托爾斯泰的小說(shuō)《戰(zhàn)爭(zhēng)與和平》來(lái)訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)。每訓(xùn)練100個(gè)回合，就叫它寫(xiě)文章。在100次訓(xùn)練后，它就知道要加空格，但仍然有時(shí)是在“胡言亂語(yǔ)”（亂碼）。500個(gè)回合后，能正確拼寫(xiě)一些短單詞。1200個(gè)回合后，有標(biāo)點(diǎn)符號(hào)和長(zhǎng)單詞。2000個(gè)回合后，已經(jīng)可以正確拼寫(xiě)更復(fù)雜的語(yǔ)句。6.3.5深度學(xué)習(xí)的方法整個(gè)演化過(guò)程是個(gè)什么情況呢？以前我們寫(xiě)文章，只要告訴主謂賓，就是規(guī)則。而這個(gè)過(guò)程，完全沒(méi)人告訴機(jī)器語(yǔ)法規(guī)則。甚至，連標(biāo)點(diǎn)和字母區(qū)別都不用告訴它。不告訴機(jī)器任何程序。只是不停地用原始數(shù)據(jù)進(jìn)行訓(xùn)練，一層一層訓(xùn)練，最后輸出結(jié)果——就是一個(gè)個(gè)看得懂的語(yǔ)句。一切看起來(lái)都很有趣。人工智能與深度學(xué)習(xí)的美妙之處，也正在于此。6.3.5深度學(xué)習(xí)的方法示例5：圖像深度信息采集。市面上的無(wú)人機(jī)可以實(shí)現(xiàn)對(duì)人的跟蹤。它的方法是什么呢？一個(gè)人，在圖像系統(tǒng)里是一堆色塊的組合。通過(guò)人工方式進(jìn)行特征選擇，比如顏色特征，梯度特征。以顏色特征為例：比如你穿著綠色衣服，突然走進(jìn)草叢，就可能跟丟?；蛘咚摿思路?，幾個(gè)人很相近，也容易跟丟。此時(shí)，若想在這個(gè)基礎(chǔ)上繼續(xù)優(yōu)化，將顏色特征進(jìn)行某些調(diào)整是非常困難的，而且調(diào)整后，還會(huì)存在對(duì)過(guò)去某些狀況不適用的問(wèn)題。這樣的算法需要不停迭代，迭代又會(huì)影響前面的效果。6.3.5深度學(xué)習(xí)的方法硅谷有個(gè)團(tuán)隊(duì)利用深度學(xué)習(xí)，把所有人腦袋做出來(lái)，只區(qū)分好前景和背景。區(qū)分之后，背景全部用數(shù)學(xué)方式隨意填充，再不斷生產(chǎn)大量背景數(shù)據(jù)，進(jìn)行自學(xué)習(xí)。只要把前景學(xué)習(xí)出來(lái)就行。很多傳統(tǒng)方法是采用雙目視覺(jué)，用計(jì)算機(jī)去做局部匹配，再根據(jù)雙目測(cè)出的兩個(gè)匹配的差距，去推算空間另一個(gè)點(diǎn)和它的三角位置，從而判斷離你多遠(yuǎn)?？上攵?，深度學(xué)習(xí)的出現(xiàn)，使得很多公司辛苦積累的軟件算法直接作廢了?！八惴ㄗ鳛楹诵母?jìng)爭(zhēng)力”正在轉(zhuǎn)變?yōu)椤皟|數(shù)據(jù)作為核心競(jìng)爭(zhēng)力”，我們必須進(jìn)入新的起跑線(xiàn)。6.3.5深度學(xué)習(xí)的方法示例6：做胃鏡檢查。胃不舒服做檢查，常常會(huì)需要做胃鏡，甚至要分開(kāi)做腸、胃鏡檢查，而且通常小腸還看不見(jiàn)。有一家公司出了一種膠囊攝像頭。將攝像頭吃進(jìn)去后，在人體消化道內(nèi)每5秒拍一幅圖，連續(xù)攝像，此后再排出膠囊。這樣，所有關(guān)于腸道和胃部的問(wèn)題，全部完整記錄。但光是等醫(yī)生把這些圖看完就需要五個(gè)小時(shí)。原本的機(jī)器主動(dòng)檢測(cè)漏檢率高，還需要醫(yī)生復(fù)查。

圖6-14膠囊攝像頭做胃鏡檢查6.3.5深度學(xué)習(xí)的方法后來(lái)采用深度學(xué)習(xí)。采集8000多例圖片數(shù)據(jù)灌進(jìn)去，用機(jī)器不斷學(xué)，不僅提高診斷精確率，減少了醫(yī)生的漏診以及對(duì)好醫(yī)生的經(jīng)驗(yàn)依賴(lài)，只需要靠機(jī)器自己去學(xué)習(xí)規(guī)則。深度學(xué)習(xí)算法，可以幫助醫(yī)生作出決策。資深學(xué)者本吉奧有一段話(huà)講得特別好，引用如下：“科學(xué)不是一場(chǎng)戰(zhàn)斗，而是一場(chǎng)建立在彼此想法上的合作?？茖W(xué)是一種愛(ài)，而不是戰(zhàn)爭(zhēng)，熱愛(ài)周?chē)澜绲拿利悾瑹釔?ài)分享和共同創(chuàng)造美好的事物。從情感上說(shuō)，這使得科學(xué)成為一項(xiàng)令人非常賞心悅目的活動(dòng)！”6.3.5深度學(xué)習(xí)的方法結(jié)合機(jī)器學(xué)習(xí)近年來(lái)的迅速發(fā)展來(lái)看本吉奧的這段話(huà)，就可以感受到其中的深刻含義。未來(lái)哪種機(jī)器學(xué)習(xí)算法會(huì)成為熱點(diǎn)呢？資深專(zhuān)家吳恩達(dá)曾表示，“在繼深度學(xué)習(xí)之后，遷移學(xué)習(xí)將引領(lǐng)下一波機(jī)器學(xué)習(xí)技術(shù)”。6.3.5深度學(xué)習(xí)的方法PART04卷積神經(jīng)網(wǎng)絡(luò)在數(shù)學(xué)泛函分析中，卷積是通過(guò)兩個(gè)函數(shù)f和g生成第三個(gè)函數(shù)的一種數(shù)學(xué)運(yùn)算，其本質(zhì)是一種特殊的表征函數(shù)f與g經(jīng)過(guò)翻轉(zhuǎn)和平移的重疊部分函數(shù)值乘積對(duì)重疊長(zhǎng)度的積分變換。如果將參加卷積的一個(gè)函數(shù)看作區(qū)間的指示函數(shù)，卷積還可以被看作是“滑動(dòng)平均”的推廣。6.4卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)是一種用來(lái)分析視覺(jué)圖像的強(qiáng)大的深度學(xué)習(xí)模型，它是包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，類(lèi)似于人工神經(jīng)網(wǎng)絡(luò)的多層感知器，也是深度學(xué)習(xí)的代表算法之一。卷積神經(jīng)網(wǎng)絡(luò)的創(chuàng)始人是著名的計(jì)算機(jī)科學(xué)家楊立昆，他是第一個(gè)通過(guò)卷積神經(jīng)網(wǎng)絡(luò)在MNIST數(shù)據(jù)集（美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院收集整理的大型手寫(xiě)數(shù)字?jǐn)?shù)據(jù)庫(kù)，其中包含60,000個(gè)示例的訓(xùn)練集以及10,000個(gè)示例的測(cè)試集）上解決手寫(xiě)數(shù)字問(wèn)題的人。6.4卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)的出現(xiàn)是受到了生物處理過(guò)程的啟發(fā)，因?yàn)樯窠?jīng)元之間的連接模式類(lèi)似于動(dòng)物的視覺(jué)皮層組織。個(gè)體皮層神經(jīng)元僅在被稱(chēng)為感受野的視野受限區(qū)域中對(duì)刺激作出反應(yīng)，不同神經(jīng)元的感受野部分重疊，使得它們能夠覆蓋整個(gè)視野。我們?cè)谡務(wù)撊魏晤?lèi)型的神經(jīng)網(wǎng)絡(luò)時(shí)，都不可能不提及一點(diǎn)神經(jīng)科學(xué)以及人體（特別是大腦）及其功能的相關(guān)知識(shí)，這些知識(shí)成為創(chuàng)建深度學(xué)習(xí)模型的主要靈感來(lái)源。

圖6-15人的視覺(jué)組織6.4.1為什么選擇卷積顧名思義，前饋網(wǎng)絡(luò)是只在一個(gè)方向上有連接的網(wǎng)絡(luò)，也就是說(shuō)，它是一個(gè)有向無(wú)環(huán)圖且有指定的輸入和輸出節(jié)點(diǎn)。每個(gè)節(jié)點(diǎn)計(jì)算一個(gè)輸入函數(shù)，并將結(jié)果傳遞給網(wǎng)絡(luò)中的后續(xù)節(jié)點(diǎn)。信息從輸入節(jié)點(diǎn)流向輸出節(jié)點(diǎn)從而通過(guò)網(wǎng)絡(luò)，且沒(méi)有環(huán)路。另外，循環(huán)網(wǎng)絡(luò)將其中間輸出或最終輸出反饋到自己的輸入中。這意味著網(wǎng)絡(luò)中的信號(hào)值將形成一個(gè)具有內(nèi)部狀態(tài)或記憶的動(dòng)態(tài)系統(tǒng)。6.4.1為什么選擇卷積卷積神經(jīng)網(wǎng)絡(luò)的架構(gòu)與常規(guī)人工神經(jīng)網(wǎng)絡(luò)架構(gòu)非常相似，特別是在網(wǎng)絡(luò)的最后一層，即全連接。此外，還注意到卷積神經(jīng)網(wǎng)絡(luò)能夠接受多個(gè)特征圖作為輸入，而不是向量。卷積神經(jīng)網(wǎng)絡(luò)具有表征學(xué)習(xí)能力，能夠按其階層結(jié)構(gòu)對(duì)輸入信息進(jìn)行平移不變分類(lèi)，因此也被稱(chēng)為“平移不變?nèi)斯ど窠?jīng)網(wǎng)絡(luò)。

圖6-16卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)6.4.1為什么選擇卷積卷積神經(jīng)網(wǎng)絡(luò)的經(jīng)典用例是執(zhí)行圖像分類(lèi)，例如查看寵物的圖像并確定它是貓還是狗。這是一項(xiàng)看似簡(jiǎn)單的任務(wù)，那為什么不使用普通的神經(jīng)網(wǎng)絡(luò)，不從一開(kāi)始就展開(kāi)輸入圖像矩陣呢？6.4.1為什么選擇卷積用全連接神經(jīng)網(wǎng)絡(luò)處理大尺寸圖像，具有三個(gè)明顯的缺點(diǎn)：（1）首先將圖像展開(kāi)為向量會(huì)丟失空間信息。（2）其次，需要訓(xùn)練的參數(shù)過(guò)多會(huì)導(dǎo)致效率低下，訓(xùn)練困難，難以以最快方式解決計(jì)算成本高昂的任務(wù)。（3）同時(shí)，大量的參數(shù)很快會(huì)導(dǎo)致網(wǎng)絡(luò)過(guò)擬合。而卷積神經(jīng)網(wǎng)絡(luò)參數(shù)少，可以避免出現(xiàn)過(guò)擬合現(xiàn)象。6.4.1為什么選擇卷積例如，用于處理計(jì)算機(jī)視覺(jué)問(wèn)題的圖像通常是224×224或更大。想象一下，構(gòu)建一個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)處理224×224彩色圖像：包括圖像中的3個(gè)彩色通道（RGB），得到224×224×3=150,528個(gè)輸入特征。在這樣的網(wǎng)絡(luò)中，一個(gè)典型的隱含層可能有1024個(gè)節(jié)點(diǎn)，因此必須為第一層單獨(dú)訓(xùn)練150,528x1024=1.5+億個(gè)權(quán)重。這樣的網(wǎng)絡(luò)巨大，幾乎不可能訓(xùn)練。其實(shí)，圖像的好處之一是，其像素在相鄰的上下文中最有用，圖像中的物體是由小的局部特征組成的，比如眼睛的圓形虹膜或一張紙的方角。一個(gè)隱藏層中的每個(gè)節(jié)點(diǎn)都要查看每個(gè)像素，這會(huì)很浪費(fèi)時(shí)間。6.4.1為什么選擇卷積此外，位置可能會(huì)改變。如果你訓(xùn)練一個(gè)網(wǎng)絡(luò)來(lái)檢測(cè)狗，你希望能夠檢測(cè)狗，而不管它出現(xiàn)在圖像的什么地方。想象一下，訓(xùn)練一個(gè)網(wǎng)絡(luò)，它能很好地處理特定的狗的圖像，然后給它喂食的是同一圖像的一個(gè)稍微移動(dòng)的版本，狗就不會(huì)激活相同的神經(jīng)元，網(wǎng)絡(luò)反應(yīng)會(huì)完全不同。6.4.1為什么選擇卷積與常規(guī)神經(jīng)網(wǎng)絡(luò)不同，卷積神經(jīng)網(wǎng)絡(luò)的各層中的神經(jīng)元是3維排列的：寬度、高度和深度。其中的寬度和高度是很好理解的，因?yàn)楸旧砭矸e就是一個(gè)二維模板，但是在卷積神經(jīng)網(wǎng)絡(luò)中的深度指的是激活數(shù)據(jù)體的第三個(gè)維度，而不是整個(gè)網(wǎng)絡(luò)的深度，整個(gè)網(wǎng)絡(luò)的深度指的是網(wǎng)絡(luò)的層數(shù)。舉個(gè)例子來(lái)理解什么是寬度，高度和深度，假如使用圖6-17中的圖像是作為卷積神經(jīng)網(wǎng)絡(luò)的輸入，該輸入數(shù)據(jù)體的維度是32×32×3（寬度、高度和深度），層中的神經(jīng)元將只與前一層中的一小塊區(qū)域連接，而不是采取全連接方式。6.4.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖6-17全連接神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)的對(duì)比6.4.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)于用來(lái)分類(lèi)圖中圖像的卷積網(wǎng)絡(luò)，其最后的輸出層的維度是1×1×10，因?yàn)樵诰矸e神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的最后部分將會(huì)把全尺寸的圖像壓縮為包含分類(lèi)評(píng)分的一個(gè)向量，向量是在深度方向排列的。6.4.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖6-17中左側(cè)是一個(gè)3層的神經(jīng)網(wǎng)絡(luò)，右側(cè)是一個(gè)神經(jīng)元在3個(gè)維度（寬、高和深度）排列的卷積神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)的每一層都將3D的輸入數(shù)據(jù)變化為神經(jīng)元3D的激活數(shù)據(jù)并輸出。在圖6-17右側(cè)，左邊輸入層代表輸入圖像，它的寬度和高度就是圖像的寬度和高度，它的深度是3（代表紅、綠、藍(lán)3種顏色通道），第2部分是經(jīng)過(guò)卷積和池化之后的激活值（也可以看做是神經(jīng)元），后面是接著的卷積池化層。6.4.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)池化層（圖6-18）所做的就是減小輸入的大小。它的核心目標(biāo)之一是提供空間方差，這意味著你或機(jī)器將能夠?qū)?duì)象識(shí)別出來(lái)，即使它的外觀(guān)以某種方式發(fā)生改變。池化層通常由一個(gè)簡(jiǎn)單的操作完成，比如最大、最小或平均。目前有兩種廣泛使用的池化操作——平均池化和最大池化，其中最大池化使用更多，其效果一般要優(yōu)于平均池化。池化層減小特征空間維度但不會(huì)減小深度。當(dāng)使用最大池化層時(shí)，采用輸入?yún)^(qū)域的最大數(shù)量，而當(dāng)使用平均池化時(shí)，采用輸入?yún)^(qū)域的平均值。6.4.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖6-18卷積神經(jīng)網(wǎng)絡(luò)的處理過(guò)程6.4.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)PART05遷移學(xué)習(xí)一方面，越來(lái)越多的機(jī)器學(xué)習(xí)應(yīng)用場(chǎng)景在出現(xiàn)，而另一方面，表現(xiàn)比較好的監(jiān)督學(xué)習(xí)需要大量的標(biāo)注數(shù)據(jù)，這是一項(xiàng)枯燥無(wú)味且花費(fèi)巨大的任務(wù)，所以遷移學(xué)習(xí)受到越來(lái)越多的關(guān)注。傳統(tǒng)機(jī)器學(xué)習(xí)（主要指監(jiān)督學(xué)習(xí)）通?；谕植技僭O(shè)，同時(shí)需要大量標(biāo)注數(shù)據(jù)。然而，實(shí)際使用過(guò)程中不同數(shù)據(jù)集可能存在一些問(wèn)題，比如：·數(shù)據(jù)分布差異·標(biāo)注數(shù)據(jù)過(guò)期，也就是好不容易標(biāo)定的數(shù)據(jù)要被丟棄，有些應(yīng)用中數(shù)據(jù)是分布隨著時(shí)間推移會(huì)有變化。6.5遷移學(xué)習(xí)如何充分利用之前標(biāo)注好的數(shù)據(jù)（廢物利用），同時(shí)又保證在新的任務(wù)上的模型精度？基于這樣的需求，就有了對(duì)遷移學(xué)習(xí)的研究，即：將某個(gè)領(lǐng)域或任務(wù)上學(xué)習(xí)到的知識(shí)或模式應(yīng)用到不同但相關(guān)的領(lǐng)域或問(wèn)題中，或者說(shuō)從相關(guān)領(lǐng)域中遷移標(biāo)注數(shù)據(jù)或者知識(shí)結(jié)構(gòu)、完成或改進(jìn)目標(biāo)領(lǐng)域或任務(wù)的學(xué)習(xí)效果。

圖6-19遷移學(xué)習(xí)的考慮6.5遷移學(xué)習(xí)人在實(shí)際生活中有很多遷移學(xué)習(xí)，比如學(xué)會(huì)騎自行車(chē)，就比較容易學(xué)摩托車(chē)，學(xué)會(huì)了C語(yǔ)言，在學(xué)一些其它編程語(yǔ)言會(huì)簡(jiǎn)單很多。那么機(jī)器是否能夠像人類(lèi)一樣舉一反三呢？6.5遷移學(xué)習(xí)在一個(gè)商品評(píng)論情感分析的例子中，包含兩個(gè)不同的產(chǎn)品領(lǐng)域：圖書(shū)領(lǐng)域和家具領(lǐng)域。在圖書(shū)領(lǐng)域，通常用“寬闊”“品質(zhì)創(chuàng)作”等詞匯來(lái)表達(dá)正面情感，而在家具領(lǐng)域中卻由“鋒利”“輕巧”等詞匯來(lái)表達(dá)正面情感。可見(jiàn)此任務(wù)中，不同領(lǐng)域的不同情感詞多數(shù)不發(fā)生重疊、存在領(lǐng)域獨(dú)享詞、且詞匯在不同領(lǐng)域出現(xiàn)的頻率顯著不同，因此會(huì)導(dǎo)致領(lǐng)域間的概率分布失配問(wèn)題。6.5遷移學(xué)習(xí)遷移學(xué)習(xí)的關(guān)鍵點(diǎn)是：（1）研究可以用哪些知識(shí)在不同的領(lǐng)域或者任務(wù)中進(jìn)行遷移學(xué)習(xí)，即不同領(lǐng)域之間有哪些共有知識(shí)可以遷移——遷移什么。（2）研究在找到了遷移對(duì)象之后，針對(duì)具體問(wèn)題所采用哪種遷移學(xué)習(xí)的特定算法，即如何設(shè)計(jì)出合適的算法來(lái)提取和遷移共有知識(shí)——如何遷移。（3）研究什么情況下適合遷移，遷移技巧是否適合具體應(yīng)用，其中涉及到負(fù)遷移的問(wèn)題——何時(shí)遷移。6.5遷移學(xué)習(xí)當(dāng)領(lǐng)域間的概率分布差異很大時(shí)，上述假設(shè)通常難以成立，這會(huì)導(dǎo)致嚴(yán)重的負(fù)遷移問(wèn)題。負(fù)遷移是舊知識(shí)對(duì)新知識(shí)學(xué)習(xí)的阻礙作用，比如學(xué)習(xí)了三輪車(chē)之后對(duì)騎自行車(chē)的影響，和學(xué)習(xí)漢語(yǔ)拼音對(duì)學(xué)英文字母的影響。需要研究如何利用正遷移，避免負(fù)遷移。6.5遷移學(xué)習(xí)基于實(shí)例的遷移學(xué)習(xí)研究的是如何從源領(lǐng)域中挑選出對(duì)目標(biāo)領(lǐng)域的訓(xùn)練有用的實(shí)例，比如對(duì)源領(lǐng)域的有標(biāo)記數(shù)據(jù)實(shí)例，進(jìn)行有效的權(quán)重分配，讓源域?qū)嵗植冀咏繕?biāo)域的實(shí)例分布，從而在目標(biāo)領(lǐng)域中建立一個(gè)分類(lèi)精度較高的、可靠地學(xué)習(xí)模型。因?yàn)檫w移學(xué)習(xí)中源領(lǐng)域與目標(biāo)領(lǐng)域的數(shù)據(jù)分布是不一致，所以源領(lǐng)域中所有有標(biāo)記的數(shù)據(jù)實(shí)例不一定都對(duì)目標(biāo)領(lǐng)域有用。6.5.1基于實(shí)例的遷移（1）特征選擇。基于特征選擇的遷移學(xué)習(xí)算法，關(guān)注的是如何找出源領(lǐng)域與目標(biāo)領(lǐng)域之間共同的特征表示，然后利用這些特征進(jìn)行知識(shí)遷移。（2）