很好的人工智能與深度學(xué)習(xí)講義課件

人工智能&深度學(xué)習(xí)人工智能&深度學(xué)習(xí)主題背景——人機大戰(zhàn)人工智能及簡史機器學(xué)習(xí)&深度學(xué)習(xí)開源深度學(xué)習(xí)框架人工智能展望主題背景——人機大戰(zhàn)人機大戰(zhàn)——AlphaGo與李世乭對戰(zhàn)2016年3月9日至15日在韓國首爾進行的韓國圍棋九段棋手李世乭與人工智能圍棋程序“阿爾法狗”（AlphaGo）之間的五番棋比賽。比賽采用中國圍棋規(guī)則，最終結(jié)果是人工智能阿爾法圍棋以總比分4比1戰(zhàn)勝人類代表李世乭圍棋是人類有史以來發(fā)明的最復(fù)雜的游戲圍棋的著數(shù)變化超過10170(<3361)，比宇宙中的原子還要多變化絕不止這些，考慮到打劫，提子撲空、雙活等復(fù)雜因素，實際上是無解的，所以說千古無同局蒙特卡洛樹：根據(jù)估值網(wǎng)絡(luò)和走棋網(wǎng)絡(luò)對落子后的局勢評判結(jié)果尋找最佳落子點走棋網(wǎng)絡(luò)：給定當(dāng)前棋盤，預(yù)測下一步應(yīng)該在哪落子

監(jiān)督學(xué)習(xí)的策略網(wǎng)絡(luò)

通過13層全連接網(wǎng)絡(luò)(50萬參數(shù)？)，反復(fù)訓(xùn)練圍棋棋盤布局，調(diào)整參數(shù)，以最佳概率預(yù)測落子選擇(MovePicker)，如何下棋子估值網(wǎng)絡(luò)：給定當(dāng)前棋盤，判斷黑棋贏的概率蒙特卡洛樹估值網(wǎng)絡(luò)走棋網(wǎng)絡(luò)人機大戰(zhàn)——AlphaGo與李世乭對戰(zhàn)2016年3月9人工智能在其他領(lǐng)域?qū)θ祟惖奶魬?zhàn)深藍(lán)vs卡斯帕羅夫（國際象棋）浪潮天梭vs五位象棋特級大師深藍(lán)的同門師弟﹁沃森﹂vs兩位人類答題冠軍阿爾法圍棋vs樊麾職業(yè)圍棋二段，歐洲冠軍人工智能在其他領(lǐng)域?qū)θ祟惖奶魬?zhàn)深藍(lán)vs卡斯帕羅夫浪潮天梭人工智能在其他領(lǐng)域?qū)θ祟惖奶魬?zhàn)圖像識別(微軟)自然語言處理Teragram(美國)語言識別工業(yè)機器人日本(FANUC)專家系統(tǒng)PROSPECTOR系統(tǒng)（用于地質(zhì)學(xué)）MYCIN系統(tǒng)（可以對血液傳染病的診斷治療方案提供咨詢意見）人工智能在其他領(lǐng)域?qū)θ祟惖奶魬?zhàn)圖像識別(微軟)自然語言處理語主題背景——人機大戰(zhàn)人工智能及簡史機器學(xué)習(xí)&深度學(xué)習(xí)開源深度學(xué)習(xí)框架人工智能展望主題背景——人機大戰(zhàn)關(guān)于人工智能的定義人類智能與人工智能人類是一種智能體我們，作為一個智能體，為什么能夠思考?大腦這么一小堆東西怎么能夠感知、理解、預(yù)測和應(yīng)對一個遠(yuǎn)比自身龐大和復(fù)雜的世界？人工智能(AI)走得更遠(yuǎn)：不僅試圖理解智能體，而且要建造智能體——制造出像人類一樣完成某些智能任務(wù)的系統(tǒng)(軟件)人類智能人工智能語言智能自然語言處理：讓機器人能夠說話，能夠表達邏輯判斷

機器證明和符號運算：數(shù)學(xué)證明、解題，我國吳文俊證明了初等幾何主要定理的證明可以機械化神經(jīng)控制

神經(jīng)網(wǎng)絡(luò)：研究模擬人的神經(jīng)控制視覺空間智能

博弈：我們下的人機象棋就屬于博弈領(lǐng)域自然觀察能力模式識別：實現(xiàn)人的識別能力多種智能組合(強)人工智能關(guān)于人工智能的定義人類智能與人工智能人類是一種智能體人類智能關(guān)于人工智能的定義對AI的4種不同定義像人一樣思考的系統(tǒng)理性地思考的系統(tǒng)要使計算機能思考……有頭腦的機器(Haugeland,1985)[使之自動化]與人類的思維相關(guān)的活動,諸如決策、問題求解、學(xué)習(xí)等活動(Bellman,1978)通過對計算模型的使用來進行心智能力的研究(Charniak&McDemontt,1985)對使得知覺、推理和行動成為可能的計算的研究(Winston,1992)像人一樣行動的系統(tǒng)理性地行動的系統(tǒng)創(chuàng)造機器來執(zhí)行人需要智能才能完成的功能(Kurzweil,1990)研究如何讓計算機能夠做到那些目前人比計算機做得更好的事情(Rich&Knight,1991)計算智能是對設(shè)計智能化智能體的研究(Pooleetal.,1998)AI關(guān)心的是人工制品中的智能行為(Nilsson,1998)類人思考或類人行為：直接模擬／追隨人理性思考或理性行為：間接模擬／概括人思考過程類人思考理性思考理性行為人類智能智能行為類人行為思維過程思維模型按照模型建立思維系統(tǒng)智能行為行為建模按照模型建立行為系統(tǒng)模擬思維過程模擬行為功能關(guān)于人工智能的定義對AI的4種不同定義像人一樣思考的系統(tǒng)理性類人行為：圖靈測試(Turingtest)圖靈建議(1950)：不是問“機器能否思考”，而是問“機器能否通過關(guān)于行為的智能測試”人工智能之父1950年，圖靈發(fā)表了題為《計算機能思考嗎？》圖靈實驗的本質(zhì)就是讓人在不看外型的情況下不能區(qū)別是機器的行為還是人的行為時，這個機器就是智慧的Alan

Mathison

Turing（1912–1954）類人行為：圖靈測試(Turingtest)圖靈建議(19圖靈測試測試過程：讓一個程序與一個人進行5分鐘對話，然后人猜測交談對象是程序還是人？如果在30%測試中程序成功地欺騙了詢問人，則通過了測試圖靈期待最遲2000年出現(xiàn)這樣的程序在2014圖靈測試競賽上，俄羅斯人維西羅夫開發(fā)的超級計算機尤金?古斯特曼讓測試者相信，它的回答中有33%是人類回答的因此主辦方雷丁大學(xué)宣布，已有65年歷史的圖靈測試首次獲得通過偽裝成為13歲男孩圖靈測試測試過程：在2014圖靈測試競賽上，俄羅斯人維西羅夫人工智能簡史人工智能經(jīng)歷了三個階段：推理期（50~70年代）其出發(fā)點是，數(shù)學(xué)家真聰明。讓計算機具有邏輯推理能力：為什么僅有邏輯推理能力不能實現(xiàn)人工智能？困難在哪里？知識期（70年代中期始）其出發(fā)點是，知識就是力量。讓計算機具有知識：由人把知識總結(jié)出來，再教給計算機——這是相當(dāng)困難的學(xué)習(xí)期（90年代至今）其出發(fā)點是，讓系統(tǒng)自己學(xué)同時，也催生了人工智能的三大派別：符號主義：主要內(nèi)容是關(guān)于符號計算、演算和邏輯推理，用演算和推理的辦法來證明。比如說像機器證明就是符號主義連接主義：目前非常流行的神經(jīng)網(wǎng)絡(luò)、神經(jīng)元網(wǎng)絡(luò)、深度學(xué)習(xí)，這些都是連接主義行為主義：行為主義其實是從控制論衍生出來的，目前提及較少，但不能忽略2020年又是冰河期？人工智能簡史人工智能經(jīng)歷了三個階段：2020年又是冰河期？主題背景——人機大戰(zhàn)人工智能及簡史機器學(xué)習(xí)&深度學(xué)習(xí)開源深度學(xué)習(xí)框架人工智能展望主題背景——人機大戰(zhàn)機器學(xué)習(xí)vs深度學(xué)習(xí)輸入x輸出yf(x)機器學(xué)習(xí)就是根據(jù)大量輸入數(shù)據(jù)訓(xùn)練出函數(shù)f(x)

也就是一系列參數(shù)（Wi,bi）的值(i表示第i層)使用時根據(jù)輸入數(shù)據(jù)及函數(shù)模型，計算輸出y淺層學(xué)習(xí)1~2層隱層節(jié)點模型表達能力有限訓(xùn)練難度低深度學(xué)習(xí)5~10層(甚至更多)隱層節(jié)點模型表達能力強大訓(xùn)練難度高vs監(jiān)督學(xué)習(xí)有標(biāo)簽數(shù)據(jù)數(shù)據(jù)資源有限常用于分類/識別無監(jiān)督學(xué)習(xí)無標(biāo)簽數(shù)據(jù)數(shù)據(jù)資源豐富常用于聚類vs機器學(xué)習(xí)學(xué)的是什么算法算力數(shù)據(jù)人工智能三要素Facebook利用一個9層深度卷積神經(jīng)網(wǎng)絡(luò)，在400萬規(guī)模的人臉庫上訓(xùn)練了一個深度人臉表示模型，431080(1.64MB)個參數(shù)，準(zhǔn)確率97.25%，僅稍低于人的識別率(97.5%)機器學(xué)習(xí)最大挑戰(zhàn)之一是特征提取，程序員需要告訴算法它應(yīng)該尋找什么類型的東西，這樣才能做出決策。特征提取給程序員帶來了巨大負(fù)擔(dān)，尤其在復(fù)雜的問題中；算法的有效性在很大程度上取決于程序員的技能。深度學(xué)習(xí)模型能夠解決這個問題，因為它們能夠?qū)W會自己專注于正確的特性，幾乎不需要程序員的指導(dǎo)。機器學(xué)習(xí)vs深度學(xué)習(xí)輸入x輸出yf(x)機器學(xué)習(xí)就是根據(jù)為什么采用層次網(wǎng)絡(luò)結(jié)構(gòu)1981年的諾貝爾醫(yī)學(xué)獎獲得者DavidHubel和TorstenWiesel發(fā)現(xiàn)了一種被稱為“方向選擇性細(xì)胞”的神經(jīng)元細(xì)胞，當(dāng)瞳孔發(fā)現(xiàn)了眼前的物體的邊緣，而且這個邊緣指向某個方向時，這種神經(jīng)元細(xì)胞就會活躍人的視覺系統(tǒng)的信息處理是分級的高層的特征是低層特征的組合，從低層到高層的特征表示越來越抽象，越來越能表現(xiàn)語義或者意圖抽象層面越高，存在的可能猜測就越少，就越利于分類為什么采用層次網(wǎng)絡(luò)結(jié)構(gòu)1981年的諾貝爾醫(yī)學(xué)獎獲得者Davi神經(jīng)網(wǎng)絡(luò)在機器學(xué)習(xí)與認(rèn)知識別領(lǐng)域中，人工神經(jīng)網(wǎng)絡(luò)（ANN）是一類模擬生物神經(jīng)網(wǎng)絡(luò)（中樞神經(jīng)網(wǎng)絡(luò)，特別是大腦）的模型，用來預(yù)測（決策問題）或估計基于大量未知數(shù)據(jù)的函數(shù)模型。人工神經(jīng)網(wǎng)絡(luò)一般呈現(xiàn)為相互關(guān)聯(lián)的“神經(jīng)元”相互交換信息的系統(tǒng)。在神經(jīng)元的連接中包含可根據(jù)經(jīng)驗調(diào)整的權(quán)重，使得神經(jīng)網(wǎng)絡(luò)可以自適應(yīng)輸入，并且擁有學(xué)習(xí)能力作為機器學(xué)習(xí)方法的一種，神經(jīng)網(wǎng)絡(luò)算法可以用來處理一系列傳統(tǒng)方法無法處理或處理難度較大的問題，包括計算機視覺、語音識別方面等神經(jīng)網(wǎng)絡(luò)的基本單元是神經(jīng)元。通過對所有輸入的加權(quán)求和與非線性映射得到該神經(jīng)元的輸出（激活值）神經(jīng)網(wǎng)絡(luò)按照拓?fù)浣Y(jié)構(gòu)，屬于以神經(jīng)元為節(jié)點，以及節(jié)點間有向連接為邊的一種圖，大體分為層狀與網(wǎng)狀兩大類神經(jīng)元模型激活函數(shù)常用激活函數(shù)：閾值函數(shù)雙向閾值函數(shù)

S型函數(shù)雙曲正切函數(shù)高斯函數(shù)神經(jīng)網(wǎng)絡(luò)在機器學(xué)習(xí)與認(rèn)知識別領(lǐng)域中，人工神經(jīng)網(wǎng)絡(luò)（ANN）是BP（BackPropagation）網(wǎng)絡(luò)前饋網(wǎng)絡(luò)的逐層計算：輸入值從輸入層單元通過連接權(quán)重加權(quán)激活逐層向前傳播，經(jīng)過隱層最后到達輸出層得到輸出。在信號的向前傳遞過程中，網(wǎng)絡(luò)的權(quán)值是固定不變的，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)反向傳播算法：網(wǎng)絡(luò)的實際輸出與期望輸出之間的差值即為誤差信號。誤差信號由輸出端開始逐層向后傳播，這是誤差信號的反向傳播。在誤差信號反向傳播的過程中，網(wǎng)絡(luò)的權(quán)值由誤差反饋進行調(diào)節(jié)，通過權(quán)值的不斷修正使網(wǎng)絡(luò)的實際輸出更加接近期望輸出前饋網(wǎng)絡(luò)結(jié)構(gòu)輸入層隱含層隱含層輸出層BP（BackPropagation）網(wǎng)絡(luò)前饋網(wǎng)絡(luò)的逐層計BP算法流程主要問題：易陷入局部極小而得不到全局最優(yōu)訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低，收斂速度慢對于隱層和隱節(jié)點的個數(shù)選擇，至今還沒有一個具體的定論，缺乏理論指導(dǎo)訓(xùn)練時，學(xué)習(xí)新樣本有遺忘舊樣本的趨勢常用改進方法：添加動量項采用改進的梯度下降法MBP（MatrixBP矩陣反向傳播）

MFBP（MomentumFactorBP動量因子反向傳播）回歸問題常用均方差：mse=[∑in(yi-y'i)2]÷n分類問題常用交叉熵：cross_entropy=[-∑in∑jy'ij×ln(yij)]÷nBP算法流程主要問題：回歸問題常用均方差：mse=[∑深度學(xué)習(xí)深度學(xué)習(xí)的基礎(chǔ)架構(gòu)來自于前饋神經(jīng)網(wǎng)絡(luò)與BP算法，構(gòu)造多層節(jié)點通過最小化代價函數(shù)的方法來提高分類精度。對于傳統(tǒng)的ANN網(wǎng)絡(luò)而言，由于多層網(wǎng)絡(luò)訓(xùn)練的困難，實際使用的多數(shù)是只含有一層隱層節(jié)點的淺層模型。然而，不同于淺層的神經(jīng)網(wǎng)絡(luò)算法，深度學(xué)習(xí)更側(cè)重于如何通過增加網(wǎng)絡(luò)的深度，減小每層擬合的參數(shù)來提取出數(shù)據(jù)（尤其是語音與圖像數(shù)據(jù)）的高層特征信息，從而達到更高的測試性能與分類精度。深度學(xué)習(xí)通過建立類似于人腦的分層模型結(jié)構(gòu)，對輸入數(shù)據(jù)逐級提取從底層到高層的特征，從而能很好地建立從底層信號到高層語義的映射關(guān)系傳統(tǒng)的機器學(xué)習(xí)方法，在訓(xùn)練數(shù)據(jù)量到達一定規(guī)模后，算法的學(xué)習(xí)能力就飽和了，而深度學(xué)習(xí)見不到底深度學(xué)習(xí)深度學(xué)習(xí)的基礎(chǔ)架構(gòu)來自于前饋神經(jīng)網(wǎng)絡(luò)與BP算法，構(gòu)造深度學(xué)習(xí)的模型與方法自動

編碼器卷積神經(jīng)網(wǎng)絡(luò)受限玻爾茲曼機循環(huán)神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的模型與方法自動

編碼器卷積神經(jīng)網(wǎng)絡(luò)受限玻爾茲曼機循自動編碼器單層自動編碼器網(wǎng)絡(luò)（AutoEncoder）實質(zhì)上是一個三層的反向傳播神經(jīng)網(wǎng)絡(luò)它逐層采用無監(jiān)督學(xué)習(xí)的方式，不使用標(biāo)簽調(diào)整權(quán)值，將輸入映射到隱藏層上，再經(jīng)過反變換映射到輸出上，實現(xiàn)輸入輸出的近似等價自動編碼/稀疏自編碼在自編碼網(wǎng)絡(luò)中嘗試學(xué)習(xí)函數(shù)： hw,b(x)≈x

給隱藏神經(jīng)元加上稀疏性限制使神經(jīng)元大部分時間都是被抑制的限制稱為稀疏性限制自動編碼器單層自動編碼器網(wǎng)絡(luò)（AutoEncoder）實質(zhì)上自動編碼器原始圖像隱含層特征Randomlypickoneofthe10imagesfrommat-file,thenrandomlysamplean8×8imagepatchfromtheselectedimage,andconverttheimagepatchintoa64-dimensionalvectortogetatrainingexample可以看到，AE在圖像處理的特征提取中可以作為邊緣檢測器學(xué)習(xí)到圖像邊緣信息圖像實驗自動編碼器原始圖像隱含層特征Randomlypickon卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetwork）卷積神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)的一種，已成為當(dāng)前語音分析和圖像識別領(lǐng)域的研究熱點。它的權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使之更類似于生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量。該優(yōu)點在網(wǎng)絡(luò)的輸入是多維圖像時表現(xiàn)的更為明顯，可以使圖像直接作為網(wǎng)絡(luò)的輸入，避免了傳統(tǒng)識別算法中復(fù)雜的特征提取和數(shù)據(jù)重建過程。卷積網(wǎng)絡(luò)是為識別二維形狀而特殊設(shè)計的一個多層感知器，這種網(wǎng)絡(luò)結(jié)構(gòu)對平移、比例縮放、傾斜或者其他形式的變形具有高度不變性卷積網(wǎng)絡(luò)的核心思想是將：局部感受野、權(quán)值共享以及降采樣這三種結(jié)構(gòu)思想結(jié)合起來獲得了某種程度的位移、尺度、形變不變性，以達到圖像降維的特征學(xué)習(xí)與分類卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralN卷積神經(jīng)網(wǎng)絡(luò)稀疏連接卷積神經(jīng)網(wǎng)絡(luò)采用上下層節(jié)點間局部連接的方式構(gòu)建網(wǎng)絡(luò)，也就是說每個隱含層的節(jié)點只與一部分連續(xù)的輸入點連接，這樣模擬了人大腦皮層中視覺皮層不同位置只對局部區(qū)域有響應(yīng)這一現(xiàn)象。局部連接網(wǎng)絡(luò)在神經(jīng)網(wǎng)絡(luò)中是采用卷積的方法來實現(xiàn)。對于自然圖像來說，因為它們具有本身固有的特性，即圖像中某個部分的統(tǒng)計特征和其它部位的相似，因此我們學(xué)習(xí)到的某個部位的特征也同樣適用于其它部位。這就在稀疏網(wǎng)絡(luò)處理圖像在神經(jīng)網(wǎng)絡(luò)中應(yīng)用的理論基礎(chǔ)卷積神經(jīng)網(wǎng)絡(luò)稀疏連接卷積神經(jīng)網(wǎng)絡(luò)權(quán)重共享在卷積神經(jīng)網(wǎng)絡(luò)中，卷積層的每一個卷積過濾器重復(fù)作用于整個感受野中，對輸入圖像進行卷積，卷積結(jié)果構(gòu)成了輸入圖像的特征圖，提取出圖像的局部特征。每一個卷積過濾器共享相同的參數(shù)，包括相同的權(quán)重矩陣和偏置項圖像特性同一平面層的神經(jīng)元權(quán)值相同，有相同程度的位移、旋轉(zhuǎn)不變性。每個特征提取后都緊跟著一個用來求局部平均與二次提取的亞取樣層。這種特有的兩次特征提取結(jié)構(gòu)使得網(wǎng)絡(luò)對輸入樣本有較高的畸變?nèi)萑棠芰?。也就是說，卷積神經(jīng)網(wǎng)絡(luò)通過局部感受野、共享權(quán)值和亞取樣來保證圖像對位移、縮放、扭曲的魯棒性1

0

10

1

01

0

1卷積核用一個Filter（卷積核）得到一個activationmap當(dāng)用6個Filter時，將會得到6個分開的activationmaps卷積核=卷積過濾器=卷積模板？卷積神經(jīng)網(wǎng)絡(luò)權(quán)重共享圖像特性101用一個Filt卷積神經(jīng)網(wǎng)絡(luò)池采樣在通過卷積獲得了特征(features)之后，下一步我們希望利用這些特征去做分類。理論上講，人們可以用所有提取得到的特征去訓(xùn)練分類器，例如softmax分類器，但這樣做面臨計算量的挑戰(zhàn)。例如：對于一個96X96像素的圖像，假設(shè)我們已經(jīng)學(xué)習(xí)得到了400個定義在8X8輸入上的特征，每一個特征和圖像卷積都會得到一個(96?8+1)*(96?8+1)

=

7921維的卷積特征，由于有400個特征，所以每個樣例(example)都會得到一個7921*400=3,168,400維的卷積特征向量。學(xué)習(xí)一個擁有超過3百萬特征輸入的分類器十分不便，并且容易出現(xiàn)過擬合(over-fitting)為了描述大的圖像，一個很自然的想法就是對不同位置的特征進行聚合統(tǒng)計，例如，人們可以計算圖像一個區(qū)域上的某個特定特征的平均值(或最大值)。這些概要統(tǒng)計特征不僅具有低得多的維度(相比使用所有提取得到的特征)，同時還會改善結(jié)果(不容易過擬合)。這種聚合的操作就叫做池化(pooling)，有時也稱為平均池化或者最大池化(取決于計算池化的方法)卷積神經(jīng)網(wǎng)絡(luò)池采樣為了描述大的圖像，一個很自然的想法就是對不卷積神經(jīng)網(wǎng)絡(luò)LeNet-5：(卷積層池化層?)+全連接層+LeNet-5是YannLeCun（楊立昆）在1994年設(shè)計的用于手寫數(shù)字識別的卷積神經(jīng)網(wǎng)絡(luò)，是早期卷積神經(jīng)網(wǎng)絡(luò)中最有代表性的實驗系統(tǒng)之一卷積層采用5x5大小的卷積核，且卷積核每次滑動一個像素下采樣層采用2x2的輸入域，且輸入域不重疊，即每次滑動2個像素6個5*5*1卷積核16個5*5*6卷積核out_size=(in_size–filter_size+1)÷step卷積神經(jīng)網(wǎng)絡(luò)LeNet-5：(卷積層池化層?)+全連接受限玻爾茲曼機（RestrictedBoltzmannMachine）RBM只有兩層神經(jīng)元，有m個可視節(jié)點和n個隱藏節(jié)點，其中每個可視節(jié)點只和n個隱藏節(jié)點相關(guān)，和其他可視節(jié)點是獨立的，就是這個可視節(jié)點的狀態(tài)只受n個隱藏節(jié)點的影響，對于每個隱藏節(jié)點也是，只受m個可視節(jié)點的影響，這個特點使得RBM的訓(xùn)練變得容易。注意這兩層間的對稱(雙向)連接。RBM網(wǎng)絡(luò)有幾個參數(shù)，一個是可視層與隱藏層之間的權(quán)重矩陣，一個是可視節(jié)點的偏移量b，一個是隱藏節(jié)點的偏移量c，這幾個參數(shù)決定了RBM網(wǎng)絡(luò)將一個m維的樣本編碼成一個什么樣的n維的樣本受限玻爾茲曼機定義：假設(shè)一個二層圖，同層節(jié)點之間沒有鏈接，一層是可視層，即輸入數(shù)據(jù)層(v)，一層是隱藏層(h)，如果假設(shè)所有的節(jié)點都是隨機二值(0,1)變量節(jié)點，同時假設(shè)全概率分布p(v,h)滿足Boltzmann分布，我們稱這個模型是RestrictedBoltzmannMachine(RBM)受限玻爾茲曼機（RestrictedBoltzmannMDBMvsDBNDeepBoltzmannMachine(DBM)深度置信網(wǎng)絡(luò)(DeepBeliefNetworks,DBN)兩者都是概率圖模型，都是由RBMs堆疊起來的，主要的不同是來自他們的連接方式DBN靠近可視層使用貝葉斯信念網(wǎng)絡(luò)（有向圖模型），遠(yuǎn)離可視層使用RBMDBM連接所有的層是無向的，每一層都是RBMDBMvsDBNDeepBoltzmannMachiRNN對每一時刻的輸入結(jié)合當(dāng)前狀態(tài)給出一個輸出LSTM區(qū)別于RNN的地方，主要就是它在算法中加入了一個判斷信息有用與否的“處理器”，這個處理器作用的結(jié)構(gòu)被稱為cell。一個cell中被放置了三扇門，分別叫做輸入門、遺忘門和輸出門。一個信息進入LSTM的網(wǎng)絡(luò)當(dāng)中，可以根據(jù)規(guī)則來判斷是否有用。只有符合算法認(rèn)證的信息才會留下，不符的信息則通過遺忘門被遺忘。循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork）傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型中，每層的結(jié)點之間是無連接的。但這種神經(jīng)網(wǎng)絡(luò)對很多問題卻無能無力，例如：要預(yù)測句子的下一個單詞是什么，一般需要用到前面的單詞，因為一個句子中前后單詞并不是獨立的循環(huán)神經(jīng)網(wǎng)絡(luò)是一種對序列數(shù)據(jù)建模的神經(jīng)網(wǎng)絡(luò)，即一個序列當(dāng)前的輸出與前面的輸出也有關(guān)長短時記憶網(wǎng)絡(luò)LSTM（LongShortTermMemory）是一種特殊的RNN類型，適合于處理和預(yù)測時間序列中間隔和延遲相對較長的重要事件LSTM的內(nèi)部處理器和三扇門RNN對每一時刻的輸入結(jié)合當(dāng)前狀態(tài)給出一個輸出LSTM區(qū)別于長短時記憶網(wǎng)絡(luò)（LSTM）的三扇門忘記門作用對象：細(xì)胞狀態(tài)作用：將細(xì)胞狀態(tài)中的信息選擇性的遺忘以語言模型基于已經(jīng)看到的詞預(yù)測下一個詞為例，細(xì)胞狀態(tài)可能包含當(dāng)前主語的類別，因此正確的代詞可以被選擇出來。當(dāng)我們看到新的主語，我們希望忘記舊的主語。

例如：他今天有事，所以我……當(dāng)處理到“我”的時候選擇性的忘記前面的“他”，或者說減小這個詞對后面詞的作用。輸入門作用對象：細(xì)胞狀態(tài)作用：將新的信息選擇性的記錄到細(xì)胞狀態(tài)中在語言模型的例子中，我們希望增加新的主語的類別到細(xì)胞狀態(tài)中，來替代舊的需要忘記的主語。

例如：他今天有事，所以我……當(dāng)處理到“我”這個詞的時候，就會把主語“我”更新到細(xì)胞中去。輸出門作用對象：隱層ht作用：控制輸出信息

在語言模型的例子中，因為他就看到了一個代詞，可能需要輸出與一個動詞相關(guān)的信息。例如，可能輸出是否代詞是單數(shù)還是負(fù)數(shù)，這樣如果是動詞的話，我們也知道動詞需要進行的詞形變化。

例如：上面的例子，當(dāng)處理到“我”這個詞的時候，可以預(yù)測下一個詞，是動詞的可能性較大，而且是第一人稱。循環(huán)神經(jīng)網(wǎng)絡(luò)的變種：雙向循環(huán)神經(jīng)網(wǎng)絡(luò)、深層循環(huán)神經(jīng)網(wǎng)絡(luò)長短時記憶網(wǎng)絡(luò)（LSTM）的三扇門忘記門作用對象：細(xì)胞狀態(tài)作深度學(xué)習(xí)評價理論上無法證明它為何有效，但是在實際問題上它的確有效；沒有形成系統(tǒng)的理論各個DL模型為什么好用？原理本質(zhì)是什么？各個模型都適用于什么場合？針對特定數(shù)據(jù)，特定問題，如何組合搭建模型，各個參數(shù)怎么選？如何根據(jù)特定模型，特定數(shù)據(jù)來訓(xùn)練模型？優(yōu)點：①在計算機視覺和語音識別方面結(jié)果確實超過傳統(tǒng)方法一大截；②具有較好的transferlearning性質(zhì)，一個模型訓(xùn)練好了拿到另一個問題上做一些簡單的refinement就可以用了；③只要層數(shù)夠，一個較好的FeatureSet是可以被學(xué)出來的缺點：①訓(xùn)練耗時，模型正確性驗證復(fù)雜且麻煩；②某些深度網(wǎng)絡(luò)不僅訓(xùn)練而且線上部署也需要GPU支持；③模型難以詮釋，找出來的Feature對人而言并不直觀深度學(xué)習(xí)評價理論上無法證明它為何有效，但是在實際問題上它的確深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在圖像識別上的應(yīng)用空間金字塔(SpatialPyramids)深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在圖像識別上的應(yīng)用空間金字塔(Spat深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在多模態(tài)學(xué)習(xí)中的應(yīng)用如果模態(tài)間存在著內(nèi)在的聯(lián)系，即存在sharedRepresentation，那么理論上模型應(yīng)支持訓(xùn)練一個模態(tài)，而測試另一個模態(tài)時，仍能獲得好的分類性能深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在多模態(tài)學(xué)習(xí)中的應(yīng)用如果模態(tài)間存在著內(nèi)深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在多任務(wù)學(xué)習(xí)中的應(yīng)用在深度學(xué)習(xí)模型中，對于相關(guān)任務(wù)的聯(lián)合學(xué)習(xí)，往往會取得較好的特征表達多任務(wù)聯(lián)合學(xué)習(xí)，能夠增強損失函數(shù)的作用效能比如：單獨進行人臉檢測會比較難（光照、遮擋等因素），但是當(dāng)人臉檢測與人臉識別這兩個相關(guān)的任務(wù)聯(lián)合學(xué)習(xí)時，人臉檢測的難度反而降低了深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在多任務(wù)學(xué)習(xí)中的應(yīng)用主題背景——人機大戰(zhàn)人工智能及簡史機器學(xué)習(xí)&深度學(xué)習(xí)開源深度學(xué)習(xí)框架人工智能展望主題背景——人機大戰(zhàn)開源深度學(xué)習(xí)框架Caffe(ConvolutionalArchitectureforFastFeatureEmbedding)源自加州伯克利分校的Caffe被廣泛應(yīng)用，包括Pinterest這樣的web大戶。與TensorFlow一樣，Caffe也是由C++開發(fā)，Caffe也是Google2015年發(fā)布的DeepDream項目（可以識別喵星人的人工智能神經(jīng)網(wǎng)絡(luò)）的基礎(chǔ)Theano2008年誕生于蒙特利爾理工學(xué)院，Theano派生出了大量深度學(xué)習(xí)Python軟件包，最著名的包括Blocks和KerasTorchTorch誕生已經(jīng)有十年之久，但是真正起勢得益于去年Facebook開源了大量Torch的深度學(xué)習(xí)模塊和擴展。Torch另外一個特殊之處是采用了不怎么流行的編程語言Lua（該語言曾被用來開發(fā)視頻游戲）Brainstorm來自瑞士人工智能實驗室IDSIA的一個非常發(fā)展前景很不錯的深度學(xué)習(xí)軟件包，Brainstorm能夠處理上百層的超級深度神經(jīng)網(wǎng)絡(luò)——所謂的公路網(wǎng)絡(luò)HighwayNetworks其它框架：SciKit-learn、MXNet、Chainer、Neon等

開源深度學(xué)習(xí)框架Caffe(ConvolutionalAr開源深度學(xué)習(xí)框架DeepLearning4j創(chuàng)業(yè)公司Skymind于2014年6月發(fā)布的一個面向生產(chǎn)環(huán)境和商業(yè)應(yīng)用的高成熟度深度學(xué)習(xí)開源庫，是“forJava”的深度學(xué)習(xí)框架，可與Hadoop和Spark集成，即插即用，方便開發(fā)者在APP中快速集成深度學(xué)習(xí)功能，可用于：人臉/圖像識別、語音搜索、語音轉(zhuǎn)文字(Speechtotext)、垃圾信息過濾(異常偵測)、電商欺詐偵測。埃森哲、雪弗蘭、博斯咨詢和IBM等明星企業(yè)都在使用Marvin普林斯頓大學(xué)視覺工作組新推出的框架。該團隊還提供了一個文件用于將Caffe模型轉(zhuǎn)化成語Marvin兼容的模式ConvNetJS斯坦福大學(xué)博士生AndrejKarpathy開發(fā)瀏覽器插件，基于JavaScript可以在游覽器中訓(xùn)練神經(jīng)網(wǎng)絡(luò)TensorFlow谷歌基于DistBelief進行研發(fā)的第二代人工智能學(xué)習(xí)系統(tǒng)，其命名來源于本身的運行原理。Tensor（張量）意味著N維數(shù)組，F(xiàn)low（流）意味著基于數(shù)據(jù)流圖的計算，TensorFlow為張量從流圖的一端流動到另一端計算過程。TensorFlow可用于語音識別、圖像識別等多項機器學(xué)習(xí)和深度學(xué)習(xí)領(lǐng)域，它可在小到一部智能手機、大到數(shù)千臺數(shù)據(jù)中心服務(wù)器的各種設(shè)備上運行開源深度學(xué)習(xí)框架DeepLearning4jConvNetJTensorFlow簡介數(shù)據(jù)流圖（DataFlowGraph）TensorFlow的特征高度的靈活性真正的可移植性科研和產(chǎn)品聯(lián)系在一起自動求微分多語言支持性能最優(yōu)化TensorFlow簡介數(shù)據(jù)流圖（DataFlowGrTensorFlow示例—入門importinput_dataimporttensorflowastfmnist=input_data.read_data_sets('MNIST_data',one_hot=True)sess=tf.InteractiveSession()x=tf.placeholder("float",shape=[None,784])y_=tf.placeholder("float",shape=[None,10])W=tf.Variable(tf.zeros([784,10]))b=tf.Variable(tf.zeros([10]))sess.run(tf.global_variables_initializer())y=tf.nn.softmax(tf.matmul(x,W)+b)cross_entropy=-tf.reduce_sum(y_*tf.log(y))train_step=tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)foriinrange(1000):batch=mnist.train.next_batch(50)train_step.run(feed_dict={x:batch[0],y_:batch[1]})correct_prediction=tf.equal(tf.argmax(y,1),tf.argmax(y_,1))accuracy=tf.reduce_mean(tf.cast(correct_prediction,"float"))print(accuracy.eval(feed_dict={x:mnist.test.images,y_:mnist.test.labels}))MNIST是一個入門級的計算機視覺數(shù)據(jù)集，它包含各種手寫數(shù)字圖片，它也包含每一張圖片對應(yīng)的標(biāo)簽，告訴我們這個是數(shù)字幾在此示例中，我們將訓(xùn)練一個機器學(xué)習(xí)模型用于預(yù)測圖片里面的數(shù)字/tfdoc/tutorials/mnist_beginners.html準(zhǔn)確率91%TensorFlow示例—入門importinputTensorFlow示例—進階importinput_dataimporttensorflowastfdefweight_variable(shape):initial=tf.truncated_normal(shape,stddev=0.1)returntf.Variable(initial)defbias_variable(shape):initial=tf.constant(0.1,shape=shape)returntf.Variable(initial)defconv2d(x,W):returntf.nn.conv2d(x,W,strides=[1,1,1,1],padding='VALID')defmax_pool_2x2(x):returntf.nn.max_pool(x,ksize=[1,2,2,1],strides=[1,2,2,1],padding='SAME')mnist=input_data.read_data_sets('MNIST_data',one_hot=True)sess=tf.InteractiveSession()x=tf.placeholder("float",shape=[None,784])y_=tf.placeholder("float",shape=[None,10])x_image=tf.reshape(x,[-1,28,28,1])W_conv1=weight_variable([5,5,1,32])b_conv1=bias_variable([32])h_conv1=tf.nn.relu(conv2d(x_image,W_conv1)+b_conv1)h_pool1=max_pool_2x2(h_conv1)W_conv2=weight_variable([5,5,32,64])b_conv2=bias_variable([64])h_conv2=tf.nn.relu(conv2d(h_pool1,W_conv2)+b_conv2)h_pool2=max_pool_2x2(h_conv2)W_fc1=weight_variable([4*4*64,512])b_fc1=bias_variable([512])h_pool2_flat=tf.reshape(h_pool2,[-1,4*4*64])h_fc1=tf.nn.relu(tf.matmul(h_pool2_flat,W_fc1)+b_fc1)keep_prob=tf.placeholder("float")h_fc1_drop=tf.nn.dropout(h_fc1,keep_prob)W_fc2=weight_variable([512,10])b_fc2=bias_variable([10])y_conv=tf.nn.softmax(tf.matmul(h_fc1_drop,W_fc2)+b_fc2)cross_entropy=-tf.reduce_sum(y_*tf.log(y_conv))train_step=tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)correct_prediction=tf.equal(tf.argmax(y_conv,1),tf.argmax(y_,1))accuracy=tf.reduce_mean(tf.cast(correct_prediction,"float"))sess.run(tf.global_variables_initializer())foriinrange(20000):batch=mnist.train.next_batch(50)ifi%100==0:train_accuracy=accuracy.eval(feed_dict={x:batch[0],y_:batch[1],keep_prob:1.0})print("step%d,trainingaccuracy%g"%(i,train_accuracy))train_step.run(feed_dict={x:batch[0],y_:batch[1],keep_prob:0.5})print("testaccuracy%g"%accuracy.eval(feed_dict={x:mnist.test.images,y_:mnist.test.labels,keep_prob:1.0}))構(gòu)建一個多層卷積網(wǎng)絡(luò)卷積用1步長(stridesize)；池化用簡單傳統(tǒng)的2×2大小做maxpooling第一層：一個卷積接一個maxpooling

卷積在每個5x5的patch中算出32個特征。卷積的權(quán)重張量形狀是[5,5,1,32]，前兩個維度是patch大小，接著是輸入通道數(shù)目，最后是輸出通道數(shù)目。而對于每一個輸出通道都有一個對應(yīng)的偏置量第二層：每個5x5的patch會得到64個特征密集連接層：現(xiàn)在圖片尺寸減小到4x4，加入一個有512個神經(jīng)元的全連接層，用于處理整個圖片。把池化層輸出的張量reshape成一些向量，乘上權(quán)重矩陣，加上偏置，然后對其使用ReLU。為了減少過擬合，在輸出層之前加入dropout輸出層：最后添加一個softmax層/tfdoc/tutorials/mnist_pros.html準(zhǔn)確率99.4%TensorFlow示例—進階importinput主題背景——人機大戰(zhàn)人工智能及簡史機器學(xué)習(xí)&深度學(xué)習(xí)開源深度學(xué)習(xí)框架人工智能展望主題背景——人機大戰(zhàn)AI的未來弱人工智能擅長于單個方面的人工智能強人工智能人類級別的人工智能，現(xiàn)在還做不到超人工智能在幾乎所有領(lǐng)域都比最聰明的人類大腦都聰明很多，包括科學(xué)創(chuàng)新、通識和社交技能AI的未來弱人工智能很好的人工智能與深度學(xué)習(xí)講義課件人工智能&深度學(xué)習(xí)人工智能&深度學(xué)習(xí)主題背景——人機大戰(zhàn)人工智能及簡史機器學(xué)習(xí)&深度學(xué)習(xí)開源深度學(xué)習(xí)框架人工智能展望主題背景——人機大戰(zhàn)人機大戰(zhàn)——AlphaGo與李世乭對戰(zhàn)2016年3月9日至15日在韓國首爾進行的韓國圍棋九段棋手李世乭與人工智能圍棋程序“阿爾法狗”（AlphaGo）之間的五番棋比賽。比賽采用中國圍棋規(guī)則，最終結(jié)果是人工智能阿爾法圍棋以總比分4比1戰(zhàn)勝人類代表李世乭圍棋是人類有史以來發(fā)明的最復(fù)雜的游戲圍棋的著數(shù)變化超過10170(<3361)，比宇宙中的原子還要多變化絕不止這些，考慮到打劫，提子撲空、雙活等復(fù)雜因素，實際上是無解的，所以說千古無同局蒙特卡洛樹：根據(jù)估值網(wǎng)絡(luò)和走棋網(wǎng)絡(luò)對落子后的局勢評判結(jié)果尋找最佳落子點走棋網(wǎng)絡(luò)：給定當(dāng)前棋盤，預(yù)測下一步應(yīng)該在哪落子

監(jiān)督學(xué)習(xí)的策略網(wǎng)絡(luò)

通過13層全連接網(wǎng)絡(luò)(50萬參數(shù)？)，反復(fù)訓(xùn)練圍棋棋盤布局，調(diào)整參數(shù)，以最佳概率預(yù)測落子選擇(MovePicker)，如何下棋子估值網(wǎng)絡(luò)：給定當(dāng)前棋盤，判斷黑棋贏的概率蒙特卡洛樹估值網(wǎng)絡(luò)走棋網(wǎng)絡(luò)人機大戰(zhàn)——AlphaGo與李世乭對戰(zhàn)2016年3月9人工智能在其他領(lǐng)域?qū)θ祟惖奶魬?zhàn)深藍(lán)vs卡斯帕羅夫（國際象棋）浪潮天梭vs五位象棋特級大師深藍(lán)的同門師弟﹁沃森﹂vs兩位人類答題冠軍阿爾法圍棋vs樊麾職業(yè)圍棋二段，歐洲冠軍人工智能在其他領(lǐng)域?qū)θ祟惖奶魬?zhàn)深藍(lán)vs卡斯帕羅夫浪潮天梭人工智能在其他領(lǐng)域?qū)θ祟惖奶魬?zhàn)圖像識別(微軟)自然語言處理Teragram(美國)語言識別工業(yè)機器人日本(FANUC)專家系統(tǒng)PROSPECTOR系統(tǒng)（用于地質(zhì)學(xué)）MYCIN系統(tǒng)（可以對血液傳染病的診斷治療方案提供咨詢意見）人工智能在其他領(lǐng)域?qū)θ祟惖奶魬?zhàn)圖像識別(微軟)自然語言處理語主題背景——人機大戰(zhàn)人工智能及簡史機器學(xué)習(xí)&深度學(xué)習(xí)開源深度學(xué)習(xí)框架人工智能展望主題背景——人機大戰(zhàn)關(guān)于人工智能的定義人類智能與人工智能人類是一種智能體我們，作為一個智能體，為什么能夠思考?大腦這么一小堆東西怎么能夠感知、理解、預(yù)測和應(yīng)對一個遠(yuǎn)比自身龐大和復(fù)雜的世界？人工智能(AI)走得更遠(yuǎn)：不僅試圖理解智能體，而且要建造智能體——制造出像人類一樣完成某些智能任務(wù)的系統(tǒng)(軟件)人類智能人工智能語言智能自然語言處理：讓機器人能夠說話，能夠表達邏輯判斷

機器證明和符號運算：數(shù)學(xué)證明、解題，我國吳文俊證明了初等幾何主要定理的證明可以機械化神經(jīng)控制

神經(jīng)網(wǎng)絡(luò)：研究模擬人的神經(jīng)控制視覺空間智能

博弈：我們下的人機象棋就屬于博弈領(lǐng)域自然觀察能力模式識別：實現(xiàn)人的識別能力多種智能組合(強)人工智能關(guān)于人工智能的定義人類智能與人工智能人類是一種智能體人類智能關(guān)于人工智能的定義對AI的4種不同定義像人一樣思考的系統(tǒng)理性地思考的系統(tǒng)要使計算機能思考……有頭腦的機器(Haugeland,1985)[使之自動化]與人類的思維相關(guān)的活動,諸如決策、問題求解、學(xué)習(xí)等活動(Bellman,1978)通過對計算模型的使用來進行心智能力的研究(Charniak&McDemontt,1985)對使得知覺、推理和行動成為可能的計算的研究(Winston,1992)像人一樣行動的系統(tǒng)理性地行動的系統(tǒng)創(chuàng)造機器來執(zhí)行人需要智能才能完成的功能(Kurzweil,1990)研究如何讓計算機能夠做到那些目前人比計算機做得更好的事情(Rich&Knight,1991)計算智能是對設(shè)計智能化智能體的研究(Pooleetal.,1998)AI關(guān)心的是人工制品中的智能行為(Nilsson,1998)類人思考或類人行為：直接模擬／追隨人理性思考或理性行為：間接模擬／概括人思考過程類人思考理性思考理性行為人類智能智能行為類人行為思維過程思維模型按照模型建立思維系統(tǒng)智能行為行為建模按照模型建立行為系統(tǒng)模擬思維過程模擬行為功能關(guān)于人工智能的定義對AI的4種不同定義像人一樣思考的系統(tǒng)理性類人行為：圖靈測試(Turingtest)圖靈建議(1950)：不是問“機器能否思考”，而是問“機器能否通過關(guān)于行為的智能測試”人工智能之父1950年，圖靈發(fā)表了題為《計算機能思考嗎？》圖靈實驗的本質(zhì)就是讓人在不看外型的情況下不能區(qū)別是機器的行為還是人的行為時，這個機器就是智慧的Alan

Mathison

Turing（1912–1954）類人行為：圖靈測試(Turingtest)圖靈建議(19圖靈測試測試過程：讓一個程序與一個人進行5分鐘對話，然后人猜測交談對象是程序還是人？如果在30%測試中程序成功地欺騙了詢問人，則通過了測試圖靈期待最遲2000年出現(xiàn)這樣的程序在2014圖靈測試競賽上，俄羅斯人維西羅夫開發(fā)的超級計算機尤金?古斯特曼讓測試者相信，它的回答中有33%是人類回答的因此主辦方雷丁大學(xué)宣布，已有65年歷史的圖靈測試首次獲得通過偽裝成為13歲男孩圖靈測試測試過程：在2014圖靈測試競賽上，俄羅斯人維西羅夫人工智能簡史人工智能經(jīng)歷了三個階段：推理期（50~70年代）其出發(fā)點是，數(shù)學(xué)家真聰明。讓計算機具有邏輯推理能力：為什么僅有邏輯推理能力不能實現(xiàn)人工智能？困難在哪里？知識期（70年代中期始）其出發(fā)點是，知識就是力量。讓計算機具有知識：由人把知識總結(jié)出來，再教給計算機——這是相當(dāng)困難的學(xué)習(xí)期（90年代至今）其出發(fā)點是，讓系統(tǒng)自己學(xué)同時，也催生了人工智能的三大派別：符號主義：主要內(nèi)容是關(guān)于符號計算、演算和邏輯推理，用演算和推理的辦法來證明。比如說像機器證明就是符號主義連接主義：目前非常流行的神經(jīng)網(wǎng)絡(luò)、神經(jīng)元網(wǎng)絡(luò)、深度學(xué)習(xí)，這些都是連接主義行為主義：行為主義其實是從控制論衍生出來的，目前提及較少，但不能忽略2020年又是冰河期？人工智能簡史人工智能經(jīng)歷了三個階段：2020年又是冰河期？主題背景——人機大戰(zhàn)人工智能及簡史機器學(xué)習(xí)&深度學(xué)習(xí)開源深度學(xué)習(xí)框架人工智能展望主題背景——人機大戰(zhàn)機器學(xué)習(xí)vs深度學(xué)習(xí)輸入x輸出yf(x)機器學(xué)習(xí)就是根據(jù)大量輸入數(shù)據(jù)訓(xùn)練出函數(shù)f(x)

也就是一系列參數(shù)（Wi,bi）的值(i表示第i層)使用時根據(jù)輸入數(shù)據(jù)及函數(shù)模型，計算輸出y淺層學(xué)習(xí)1~2層隱層節(jié)點模型表達能力有限訓(xùn)練難度低深度學(xué)習(xí)5~10層(甚至更多)隱層節(jié)點模型表達能力強大訓(xùn)練難度高vs監(jiān)督學(xué)習(xí)有標(biāo)簽數(shù)據(jù)數(shù)據(jù)資源有限常用于分類/識別無監(jiān)督學(xué)習(xí)無標(biāo)簽數(shù)據(jù)數(shù)據(jù)資源豐富常用于聚類vs機器學(xué)習(xí)學(xué)的是什么算法算力數(shù)據(jù)人工智能三要素Facebook利用一個9層深度卷積神經(jīng)網(wǎng)絡(luò)，在400萬規(guī)模的人臉庫上訓(xùn)練了一個深度人臉表示模型，431080(1.64MB)個參數(shù)，準(zhǔn)確率97.25%，僅稍低于人的識別率(97.5%)機器學(xué)習(xí)最大挑戰(zhàn)之一是特征提取，程序員需要告訴算法它應(yīng)該尋找什么類型的東西，這樣才能做出決策。特征提取給程序員帶來了巨大負(fù)擔(dān)，尤其在復(fù)雜的問題中；算法的有效性在很大程度上取決于程序員的技能。深度學(xué)習(xí)模型能夠解決這個問題，因為它們能夠?qū)W會自己專注于正確的特性，幾乎不需要程序員的指導(dǎo)。機器學(xué)習(xí)vs深度學(xué)習(xí)輸入x輸出yf(x)機器學(xué)習(xí)就是根據(jù)為什么采用層次網(wǎng)絡(luò)結(jié)構(gòu)1981年的諾貝爾醫(yī)學(xué)獎獲得者DavidHubel和TorstenWiesel發(fā)現(xiàn)了一種被稱為“方向選擇性細(xì)胞”的神經(jīng)元細(xì)胞，當(dāng)瞳孔發(fā)現(xiàn)了眼前的物體的邊緣，而且這個邊緣指向某個方向時，這種神經(jīng)元細(xì)胞就會活躍人的視覺系統(tǒng)的信息處理是分級的高層的特征是低層特征的組合，從低層到高層的特征表示越來越抽象，越來越能表現(xiàn)語義或者意圖抽象層面越高，存在的可能猜測就越少，就越利于分類為什么采用層次網(wǎng)絡(luò)結(jié)構(gòu)1981年的諾貝爾醫(yī)學(xué)獎獲得者Davi神經(jīng)網(wǎng)絡(luò)在機器學(xué)習(xí)與認(rèn)知識別領(lǐng)域中，人工神經(jīng)網(wǎng)絡(luò)（ANN）是一類模擬生物神經(jīng)網(wǎng)絡(luò)（中樞神經(jīng)網(wǎng)絡(luò)，特別是大腦）的模型，用來預(yù)測（決策問題）或估計基于大量未知數(shù)據(jù)的函數(shù)模型。人工神經(jīng)網(wǎng)絡(luò)一般呈現(xiàn)為相互關(guān)聯(lián)的“神經(jīng)元”相互交換信息的系統(tǒng)。在神經(jīng)元的連接中包含可根據(jù)經(jīng)驗調(diào)整的權(quán)重，使得神經(jīng)網(wǎng)絡(luò)可以自適應(yīng)輸入，并且擁有學(xué)習(xí)能力作為機器學(xué)習(xí)方法的一種，神經(jīng)網(wǎng)絡(luò)算法可以用來處理一系列傳統(tǒng)方法無法處理或處理難度較大的問題，包括計算機視覺、語音識別方面等神經(jīng)網(wǎng)絡(luò)的基本單元是神經(jīng)元。通過對所有輸入的加權(quán)求和與非線性映射得到該神經(jīng)元的輸出（激活值）神經(jīng)網(wǎng)絡(luò)按照拓?fù)浣Y(jié)構(gòu)，屬于以神經(jīng)元為節(jié)點，以及節(jié)點間有向連接為邊的一種圖，大體分為層狀與網(wǎng)狀兩大類神經(jīng)元模型激活函數(shù)常用激活函數(shù)：閾值函數(shù)雙向閾值函數(shù)

S型函數(shù)雙曲正切函數(shù)高斯函數(shù)神經(jīng)網(wǎng)絡(luò)在機器學(xué)習(xí)與認(rèn)知識別領(lǐng)域中，人工神經(jīng)網(wǎng)絡(luò)（ANN）是BP（BackPropagation）網(wǎng)絡(luò)前饋網(wǎng)絡(luò)的逐層計算：輸入值從輸入層單元通過連接權(quán)重加權(quán)激活逐層向前傳播，經(jīng)過隱層最后到達輸出層得到輸出。在信號的向前傳遞過程中，網(wǎng)絡(luò)的權(quán)值是固定不變的，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)反向傳播算法：網(wǎng)絡(luò)的實際輸出與期望輸出之間的差值即為誤差信號。誤差信號由輸出端開始逐層向后傳播，這是誤差信號的反向傳播。在誤差信號反向傳播的過程中，網(wǎng)絡(luò)的權(quán)值由誤差反饋進行調(diào)節(jié)，通過權(quán)值的不斷修正使網(wǎng)絡(luò)的實際輸出更加接近期望輸出前饋網(wǎng)絡(luò)結(jié)構(gòu)輸入層隱含層隱含層輸出層BP（BackPropagation）網(wǎng)絡(luò)前饋網(wǎng)絡(luò)的逐層計BP算法流程主要問題：易陷入局部極小而得不到全局最優(yōu)訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低，收斂速度慢對于隱層和隱節(jié)點的個數(shù)選擇，至今還沒有一個具體的定論，缺乏理論指導(dǎo)訓(xùn)練時，學(xué)習(xí)新樣本有遺忘舊樣本的趨勢常用改進方法：添加動量項采用改進的梯度下降法MBP（MatrixBP矩陣反向傳播）

MFBP（MomentumFactorBP動量因子反向傳播）回歸問題常用均方差：mse=[∑in(yi-y'i)2]÷n分類問題常用交叉熵：cross_entropy=[-∑in∑jy'ij×ln(yij)]÷nBP算法流程主要問題：回歸問題常用均方差：mse=[∑深度學(xué)習(xí)深度學(xué)習(xí)的基礎(chǔ)架構(gòu)來自于前饋神經(jīng)網(wǎng)絡(luò)與BP算法，構(gòu)造多層節(jié)點通過最小化代價函數(shù)的方法來提高分類精度。對于傳統(tǒng)的ANN網(wǎng)絡(luò)而言，由于多層網(wǎng)絡(luò)訓(xùn)練的困難，實際使用的多數(shù)是只含有一層隱層節(jié)點的淺層模型。然而，不同于淺層的神經(jīng)網(wǎng)絡(luò)算法，深度學(xué)習(xí)更側(cè)重于如何通過增加網(wǎng)絡(luò)的深度，減小每層擬合的參數(shù)來提取出數(shù)據(jù)（尤其是語音與圖像數(shù)據(jù)）的高層特征信息，從而達到更高的測試性能與分類精度。深度學(xué)習(xí)通過建立類似于人腦的分層模型結(jié)構(gòu)，對輸入數(shù)據(jù)逐級提取從底層到高層的特征，從而能很好地建立從底層信號到高層語義的映射關(guān)系傳統(tǒng)的機器學(xué)習(xí)方法，在訓(xùn)練數(shù)據(jù)量到達一定規(guī)模后，算法的學(xué)習(xí)能力就飽和了，而深度學(xué)習(xí)見不到底深度學(xué)習(xí)深度學(xué)習(xí)的基礎(chǔ)架構(gòu)來自于前饋神經(jīng)網(wǎng)絡(luò)與BP算法，構(gòu)造深度學(xué)習(xí)的模型與方法自動

編碼器卷積神經(jīng)網(wǎng)絡(luò)受限玻爾茲曼機循環(huán)神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的模型與方法自動

編碼器卷積神經(jīng)網(wǎng)絡(luò)受限玻爾茲曼機循自動編碼器單層自動編碼器網(wǎng)絡(luò)（AutoEncoder）實質(zhì)上是一個三層的反向傳播神經(jīng)網(wǎng)絡(luò)它逐層采用無監(jiān)督學(xué)習(xí)的方式，不使用標(biāo)簽調(diào)整權(quán)值，將輸入映射到隱藏層上，再經(jīng)過反變換映射到輸出上，實現(xiàn)輸入輸出的近似等價自動編碼/稀疏自編碼在自編碼網(wǎng)絡(luò)中嘗試學(xué)習(xí)函數(shù)： hw,b(x)≈x

給隱藏神經(jīng)元加上稀疏性限制使神經(jīng)元大部分時間都是被抑制的限制稱為稀疏性限制自動編碼器單層自動編碼器網(wǎng)絡(luò)（AutoEncoder）實質(zhì)上自動編碼器原始圖像隱含層特征Randomlypickoneofthe10imagesfrommat-file,thenrandomlysamplean8×8imagepatchfromtheselectedimage,andconverttheimagepatchintoa64-dimensionalvectortogetatrainingexample可以看到，AE在圖像處理的特征提取中可以作為邊緣檢測器學(xué)習(xí)到圖像邊緣信息圖像實驗自動編碼器原始圖像隱含層特征Randomlypickon卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetwork）卷積神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)的一種，已成為當(dāng)前語音分析和圖像識別領(lǐng)域的研究熱點。它的權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使之更類似于生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量。該優(yōu)點在網(wǎng)絡(luò)的輸入是多維圖像時表現(xiàn)的更為明顯，可以使圖像直接作為網(wǎng)絡(luò)的輸入，避免了傳統(tǒng)識別算法中復(fù)雜的特征提取和數(shù)據(jù)重建過程。卷積網(wǎng)絡(luò)是為識別二維形狀而特殊設(shè)計的一個多層感知器，這種網(wǎng)絡(luò)結(jié)構(gòu)對平移、比例縮放、傾斜或者其他形式的變形具有高度不變性卷積網(wǎng)絡(luò)的核心思想是將：局部感受野、權(quán)值共享以及降采樣這三種結(jié)構(gòu)思想結(jié)合起來獲得了某種程度的位移、尺度、形變不變性，以達到圖像降維的特征學(xué)習(xí)與分類卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralN卷積神經(jīng)網(wǎng)絡(luò)稀疏連接卷積神經(jīng)網(wǎng)絡(luò)采用上下層節(jié)點間局部連接的方式構(gòu)建網(wǎng)絡(luò)，也就是說每個隱含層的節(jié)點只與一部分連續(xù)的輸入點連接，這樣模擬了人大腦皮層中視覺皮層不同位置只對局部區(qū)域有響應(yīng)這一現(xiàn)象。局部連接網(wǎng)絡(luò)在神經(jīng)網(wǎng)絡(luò)中是采用卷積的方法來實現(xiàn)。對于自然圖像來說，因為它們具有本身固有的特性，即圖像中某個部分的統(tǒng)計特征和其它部位的相似，因此我們學(xué)習(xí)到的某個部位的特征也同樣適用于其它部位。這就在稀疏網(wǎng)絡(luò)處理圖像在神經(jīng)網(wǎng)絡(luò)中應(yīng)用的理論基礎(chǔ)卷積神經(jīng)網(wǎng)絡(luò)稀疏連接卷積神經(jīng)網(wǎng)絡(luò)權(quán)重共享在卷積神經(jīng)網(wǎng)絡(luò)中，卷積層的每一個卷積過濾器重復(fù)作用于整個感受野中，對輸入圖像進行卷積，卷積結(jié)果構(gòu)成了輸入圖像的特征圖，提取出圖像的局部特征。每一個卷積過濾器共享相同的參數(shù)，包括相同的權(quán)重矩陣和偏置項圖像特性同一平面層的神經(jīng)元權(quán)值相同，有相同程度的位移、旋轉(zhuǎn)不變性。每個特征提取后都緊跟著一個用來求局部平均與二次提取的亞取樣層。這種特有的兩次特征提取結(jié)構(gòu)使得網(wǎng)絡(luò)對輸入樣本有較高的畸變?nèi)萑棠芰?。也就是說，卷積神經(jīng)網(wǎng)絡(luò)通過局部感受野、共享權(quán)值和亞取樣來保證圖像對位移、縮放、扭曲的魯棒性1

0

10

1

01

0

1卷積核用一個Filter（卷積核）得到一個activationmap當(dāng)用6個Filter時，將會得到6個分開的activationmaps卷積核=卷積過濾器=卷積模板？卷積神經(jīng)網(wǎng)絡(luò)權(quán)重共享圖像特性101用一個Filt卷積神經(jīng)網(wǎng)絡(luò)池采樣在通過卷積獲得了特征(features)之后，下一步我們希望利用這些特征去做分類。理論上講，人們可以用所有提取得到的特征去訓(xùn)練分類器，例如softmax分類器，但這樣做面臨計算量的挑戰(zhàn)。例如：對于一個96X96像素的圖像，假設(shè)我們已經(jīng)學(xué)習(xí)得到了400個定義在8X8輸入上的特征，每一個特征和圖像卷積都會得到一個(96?8+1)*(96?8+1)

=

7921維的卷積特征，由于有400個特征，所以每個樣例(example)都會得到一個7921*400=3,168,400維的卷積特征向量。學(xué)習(xí)一個擁有超過3百萬特征輸入的分類器十分不便，并且容易出現(xiàn)過擬合(over-fitting)為了描述大的圖像，一個很自然的想法就是對不同位置的特征進行聚合統(tǒng)計，例如，人們可以計算圖像一個區(qū)域上的某個特定特征的平均值(或最大值)。這些概要統(tǒng)計特征不僅具有低得多的維度(相比使用所有提取得到的特征)，同時還會改善結(jié)果(不容易過擬合)。這種聚合的操作就叫做池化(pooling)，有時也稱為平均池化或者最大池化(取決于計算池化的方法)卷積神經(jīng)網(wǎng)絡(luò)池采樣為了描述大的圖像，一個很自然的想法就是對不卷積神經(jīng)網(wǎng)絡(luò)LeNet-5：(卷積層池化層?)+全連接層+LeNet-5是YannLeCun（楊立昆）在1994年設(shè)計的用于手寫數(shù)字識別的卷積神經(jīng)網(wǎng)絡(luò)，是早期卷積神經(jīng)網(wǎng)絡(luò)中最有代表性的實驗系統(tǒng)之一卷積層采用5x5大小的卷積核，且卷積核每次滑動一個像素下采樣層采用2x2的輸入域，且輸入域不重疊，即每次滑動2個像素6個5*5*1卷積核16個5*5*6卷積核out_size=(in_size–filter_size+1)÷step卷積神經(jīng)網(wǎng)絡(luò)LeNet-5：(卷積層池化層?)+全連接受限玻爾茲曼機（RestrictedBoltzmannMachine）RBM只有兩層神經(jīng)元，有m個可視節(jié)點和n個隱藏節(jié)點，其中每個可視節(jié)點只和n個隱藏節(jié)點相關(guān)，和其他可視節(jié)點是獨立的，就是這個可視節(jié)點的狀態(tài)只受n個隱藏節(jié)點的影響，對于每個隱藏節(jié)點也是，只受m個可視節(jié)點的影響，這個特點使得RBM的訓(xùn)練變得容易。注意這兩層間的對稱(雙向)連接。RBM網(wǎng)絡(luò)有幾個參數(shù)，一個是可視層與隱藏層之間的權(quán)重矩陣，一個是可視節(jié)點的偏移量b，一個是隱藏節(jié)點的偏移量c，這幾個參數(shù)決定了RBM網(wǎng)絡(luò)將一個m維的樣本編碼成一個什么樣的n維的樣本受限玻爾茲曼機定義：假設(shè)一個二層圖，同層節(jié)點之間沒有鏈接，一層是可視層，即輸入數(shù)據(jù)層(v)，一層是隱藏層(h)，如果假設(shè)所有的節(jié)點都是隨機二值(0,1)變量節(jié)點，同時假設(shè)全概率分布p(v,h)滿足Boltzmann分布，我們稱這個模型是RestrictedBoltzmannMachine(RBM)受限玻爾茲曼機（RestrictedBoltzmannMDBMvsDBNDeepBoltzmannMachine(DBM)深度置信網(wǎng)絡(luò)(DeepBeliefNetworks,DBN)兩者都是概率圖模型，都是由RBMs堆疊起來的，主要的不同是來自他們的連接方式DBN靠近可視層使用貝葉斯信念網(wǎng)絡(luò)（有向圖模型），遠(yuǎn)離可視層使用RBMDBM連接所有的層是無向的，每一層都是RBMDBMvsDBNDeepBoltzmannMachiRNN對每一時刻的輸入結(jié)合當(dāng)前狀態(tài)給出一個輸出LSTM區(qū)別于RNN的地方，主要就是它在算法中加入了一個判斷信息有用與否的“處理器”，這個處理器作用的結(jié)構(gòu)被稱為cell。一個cell中被放置了三扇門，分別叫做輸入門、遺忘門和輸出門。一個信息進入LSTM的網(wǎng)絡(luò)當(dāng)中，可以根據(jù)規(guī)則來判斷是否有用。只有符合算法認(rèn)證的信息才會留下，不符的信息則通過遺忘門被遺忘。循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork）傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型中，每層的結(jié)點之間是無連接的。但這種神經(jīng)網(wǎng)絡(luò)對很多問題卻無能無力，例如：要預(yù)測句子的下一個單詞是什么，一般需要用到前面的單詞，因為一個句子中前后單詞并不是獨立的循環(huán)神經(jīng)網(wǎng)絡(luò)是一種對序列數(shù)據(jù)建模的神經(jīng)網(wǎng)絡(luò)，即一個序列當(dāng)前的輸出與前面的輸出也有關(guān)長短時記憶網(wǎng)絡(luò)LSTM（LongShortTermMemory）是一種特殊的RNN類型，適合于處理和預(yù)測時間序列中間隔和延遲相對較長的重要事件LSTM的內(nèi)部處理器和三扇門RNN對每一時刻的輸入結(jié)合當(dāng)前狀態(tài)給出一個輸出LSTM區(qū)別于長短時記憶網(wǎng)絡(luò)（LSTM）的三扇門忘記門作用對象：細(xì)胞狀態(tài)作用：將細(xì)胞狀態(tài)中的信息選擇性的遺忘以語言模型基于已經(jīng)看到的詞預(yù)測下一個詞為例，細(xì)胞狀態(tài)可能包含當(dāng)前主語的類別，因此正確的代詞可以被選擇出來。當(dāng)我們看到新的主語，我們希望忘記舊的主語。

例如：他今天有事，所以我……當(dāng)處理到“我”的時候選擇性的忘記前面的“他”，或者說減小這個詞對后面詞的作用。輸入門作用對象：細(xì)胞狀態(tài)作用：將新的信息選擇性的記錄到細(xì)胞狀態(tài)中在語言模型的例子中，我們希望增加新的主語的類別到細(xì)胞狀態(tài)中，來替代舊的需要忘記的主語。

例如：他今天有事，所以我……當(dāng)處理到“我”這個詞的時候，就會把主語“我”更新到細(xì)胞中去。輸出門作用對象：隱層ht作用：控制輸出信息

在語言模型的例子中，因為他就看到了一個代詞，可能需要輸出與一個動詞相關(guān)的信息。例如，可能輸出是否代詞是單數(shù)還是負(fù)數(shù)，這樣如果是動詞的話，我們也知道動詞需要進行的詞形變化。

例如：上面的例子，當(dāng)處理到“我”這個詞的時候，可以預(yù)測下一個詞，是動詞的可能性較大，而且是第一人稱。循環(huán)神經(jīng)網(wǎng)絡(luò)的變種：雙向循環(huán)神經(jīng)網(wǎng)絡(luò)、深層循環(huán)神經(jīng)網(wǎng)絡(luò)長短時記憶網(wǎng)絡(luò)（LSTM）的三扇門忘記門作用對象：細(xì)胞狀態(tài)作深度學(xué)習(xí)評價理論上無法證明它為何有效，但是在實際問題上它的確有效；沒有形成系統(tǒng)的理論各個DL模型為什么好用？原理本質(zhì)是什么？各個模型都適用于什么場合？針對特定數(shù)據(jù)，特定問題，如何組合搭建模型，各個參數(shù)怎么選？如何根據(jù)特定模型，特定數(shù)據(jù)來訓(xùn)練模型？優(yōu)點：①在計算機視覺和語音識別方面結(jié)果確實超過傳統(tǒng)方法一大截；②具有較好的transferlearning性質(zhì)，一個模型訓(xùn)練好了拿到另一個問題上做一些簡單的refinement就可以用了；③只要層數(shù)夠，一個較好的FeatureSet是可以被學(xué)出來的缺點：①訓(xùn)練耗時，模型正確性驗證復(fù)雜且麻煩；②某些深度網(wǎng)絡(luò)不僅訓(xùn)練而且線上部署也需要GPU支持；③模型難以詮釋，找出來的Feature對人而言并不直觀深度學(xué)習(xí)評價理論上無法證明它為何有效，但是在實際問題上它的確深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在圖像識別上的應(yīng)用空間金字塔(SpatialPyramids)深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在圖像識別上的應(yīng)用空間金字塔(Spat深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在多模態(tài)學(xué)習(xí)中的應(yīng)用如果模態(tài)間存在著內(nèi)在的聯(lián)系，即存在sharedRepresentation，那么理論上模型應(yīng)支持訓(xùn)練一個模態(tài)，而測試另一個模態(tài)時，仍能獲得好的分類性能深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在多模態(tài)學(xué)習(xí)中的應(yīng)用如果模態(tài)間存在著內(nèi)深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在多任務(wù)學(xué)習(xí)中的應(yīng)用在深度學(xué)習(xí)模型中，對于相關(guān)任務(wù)的聯(lián)合學(xué)習(xí)，往往會取得較好的特征表達多任務(wù)聯(lián)合學(xué)習(xí)，能夠增強損失函數(shù)的作用效能比如：單獨進行人臉檢測會比較難（光照、遮擋等因素），但是當(dāng)人臉檢測與人臉識別這兩個相關(guān)的任務(wù)聯(lián)合學(xué)習(xí)時，人臉檢測的難度反而降低了深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在多任務(wù)學(xué)習(xí)中的應(yīng)用主題背景——人機大戰(zhàn)人工智能及簡史機器學(xué)習(xí)&深度學(xué)習(xí)開源深度學(xué)習(xí)框架人工智能展望主題背景——人機大戰(zhàn)開源深度學(xué)習(xí)框架Caffe(ConvolutionalArchitectureforFastFeatureEmbedding)源自加州伯克利分校的Caffe被廣泛應(yīng)用，包括Pinterest這樣的web大戶。與TensorFlow一樣，Caffe也是由C++開發(fā)，Caffe也是Google2015年發(fā)布的DeepDream項目（可以識別喵星人的人工智能神經(jīng)網(wǎng)絡(luò)）的基礎(chǔ)Theano2008年誕生于蒙特利爾理工學(xué)院，Theano派生出了大量深度學(xué)習(xí)Python軟件包，最著名的包括Blocks和KerasTorchTorch誕生已經(jīng)有十年之久，但是真正起勢得益于去年Facebook開源了大量Torch的深度學(xué)習(xí)模塊和擴展。Torch另外一個特殊之處是采用了不怎么流行的編程語言Lua（該語言曾被用來開發(fā)視頻游戲）Brainstorm來自瑞士人工智能實驗室IDSIA的一個非常發(fā)展前景很不錯的深度學(xué)習(xí)軟件包，Brainstorm能夠處理上百層的超級深度神經(jīng)網(wǎng)絡(luò)——所謂的公路網(wǎng)絡(luò)HighwayNetworks其它框架：SciKit-learn、MXNet、Chainer、Neon等

開源深度學(xué)習(xí)框架Caffe(ConvolutionalAr開源深度學(xué)習(xí)框架DeepLearning4j創(chuàng)業(yè)公司Skymind于2014年6月發(fā)布的一個面向生產(chǎn)環(huán)境和商業(yè)應(yīng)用的高成熟度深度學(xué)習(xí)開源庫，是“forJava”的深度學(xué)習(xí)框架，可與Hadoop和Spark集成，即插即用，方便開發(fā)者在APP中快速集成深度學(xué)習(xí)功能，可用于：人臉/圖像識別、語音搜索、語音轉(zhuǎn)文字(Speechtotext)、垃圾信息過濾(異常偵測)、電商欺詐偵測。埃森哲、雪弗蘭、博斯咨詢和IBM等明星企業(yè)都在使用Marvin普林斯頓大學(xué)視覺工作組新推出的框架。該團隊還提供了一個文件用于將Caffe模型轉(zhuǎn)化成語Marvin兼容的模式ConvNetJS斯坦福大學(xué)博士生AndrejKarpathy開發(fā)瀏覽器插件，基于JavaScript可以在游覽器中訓(xùn)練神經(jīng)網(wǎng)絡(luò)TensorFlow谷歌基于DistBelief進行研發(fā)的第二代人工智能學(xué)習(xí)系統(tǒng)，其命名來源于本身的運行原理。Tensor（張量）意味著N維數(shù)組，F(xiàn)low（流）意味著基于數(shù)據(jù)流圖的計算，TensorFlow為張量從流圖的一端流動到另一端計算過程。TensorFlow可用于語音識別、圖像識別等多項機器學(xué)習(xí)和深度學(xué)習(xí)領(lǐng)域，它可在小到一部智能手機、大到數(shù)千臺數(shù)據(jù)中心服務(wù)器的各種設(shè)備上運行開源深度學(xué)習(xí)框架DeepLearning4jConvNetJTensorFlow簡介數(shù)據(jù)流圖（DataFlowGraph）TensorFlow的特征高度的靈活性真正的可移植性科研和產(chǎn)品聯(lián)系在一起自動求微分多語言支持性能最優(yōu)化TensorFlow簡介數(shù)據(jù)流圖（DataFlowGrTensorFlow示例—入門importinput_dataimporttensorflowastfmnist=input_data.read_data_sets('MNIST_data',one_hot=True)sess=tf.InteractiveSession()x=tf.placeholder("float",shape=[None,784])y_=tf.placeholder("float",shape=[None,10])W=tf.Variable(tf.zeros([784,10]))b=tf.Variable(tf.zeros([10]))sess.run(tf.global_variables_initializer())y=tf.nn.softmax(tf.matmul(x,W)+b)cross_entropy=-tf.reduce_sum(y_*tf.log(y))train_step=tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)foriinrange(1000)