人工神經(jīng)網(wǎng)絡(luò)深學(xué)習(xí)

人工神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)目前一頁\總數(shù)五十三頁\編于十二點(diǎn)第七講深度學(xué)習(xí)主講內(nèi)容§7.1研究背景§7.2從BP網(wǎng)絡(luò)看深度學(xué)習(xí)§7.3

幾種典型的深度學(xué)習(xí)模型§7.4開源深度學(xué)習(xí)框架§7.5深度學(xué)習(xí)的未來目前二頁\總數(shù)五十三頁\編于十二點(diǎn)§7.1研究背景約翰·麥卡錫（1927-2011）LISP之父—不走尋常路的常識邏輯學(xué)家1956年，約翰.麥卡錫召集了一次會議來討論人工智能未來的發(fā)展方向，開啟了AI的發(fā)展2016年人工智能（AI）奠基60周年21世紀(jì)初，“深度學(xué)習(xí)”的出現(xiàn)，AI研究獲得了長足的進(jìn)步?jīng)]有大數(shù)據(jù)，沒有“大計(jì)算”，就沒有人工智能的今天！目前三頁\總數(shù)五十三頁\編于十二點(diǎn)MarvinMinsky—人工智能之父和框架理論的創(chuàng)立者1927-2016MITAILab創(chuàng)始人之一1970年獲得圖靈獎(jiǎng)美國工程院和美國科學(xué)院院士在近60年的人工智能歷史中，馬文-明斯基一直是一位閃耀著耀眼光彩的杰出的人工智能權(quán)威，是當(dāng)之無愧的人工智能之父。（李德毅院士）明斯基在1950年進(jìn)入普林斯頓大學(xué)攻讀數(shù)學(xué)系的博士研究生學(xué)位，比我晚一年。我們很快意識到，我們兩人都對人工智能很感興趣。事實(shí)上，當(dāng)時(shí)明斯基已經(jīng)對如何實(shí)現(xiàn)人工智能頗有想法了，這一點(diǎn)在之后他設(shè)計(jì)和建造的世界上第一個(gè)神經(jīng)網(wǎng)絡(luò)模擬器Snare上得到了證實(shí)。

（JohnMcCarthy人工智能先驅(qū)，LISP語言之父，圖靈獎(jiǎng)獲得者）1969：Perceptron（感知器）神經(jīng)網(wǎng)絡(luò)的局限性（深度學(xué)習(xí)的前身）§7.1研究背景目前四頁\總數(shù)五十三頁\編于十二點(diǎn)2016年,阿爾法狗（AlphaGo）4:1大勝圍棋9段李世石高手，AI重大歷史時(shí)刻“監(jiān)督學(xué)習(xí)的策略網(wǎng)絡(luò)（PolicyNetwork）”

通過13層全連接網(wǎng)絡(luò)，反復(fù)訓(xùn)練圍棋棋盤布局，調(diào)整參數(shù)，以最佳概率預(yù)測落子選擇（MovePicker），如何下棋子“價(jià)值網(wǎng)絡(luò)（ValueNetwork）”給定棋子位置，預(yù)測每一個(gè)棋手贏棋的可能，就是計(jì)算局面§7.1研究背景主要設(shè)計(jì)者位于倫敦Google旗下DeepMind公司大衛(wèi)·席爾瓦（DavidSilver）劍橋大學(xué)計(jì)算機(jī)科學(xué)學(xué)士，碩士，加拿大阿爾伯塔大學(xué)計(jì)算機(jī)科學(xué)博士黃士杰（AjaHuang），臺灣交通大學(xué)計(jì)算機(jī)科學(xué)學(xué)士，臺灣師范大學(xué)計(jì)算機(jī)科學(xué)碩士和博士，加拿大阿爾伯塔大學(xué)計(jì)算機(jī)科學(xué)博士后目前五頁\總數(shù)五十三頁\編于十二點(diǎn)§7.1研究背景GeoffreyE.Hinton加拿大多倫多大學(xué)教授專注于神經(jīng)網(wǎng)絡(luò)幾十年，1985年，提出Boltzmann機(jī)1986年，提出受限Boltzmann機(jī)、BP算法2006年，提出神經(jīng)網(wǎng)絡(luò)進(jìn)行降維開啟了深度學(xué)習(xí)時(shí)代，并在隨后的ImageNet圖片識別的比賽，取得了非常有說服力的結(jié)果（74%->85%），震撼了學(xué)術(shù)界◆Hinton,G.andSalakhutdinov,R.(2006).Reducingthedimensionalityofdatawithneuralnetworks.Science,313(5786):504–507.◆Hinton,G.E.(2002).Trainingproductsofexpertsbyminimizingcontrastivedivergence.NeuralComp.,14(8):1771–1800◆Hinton,G.E.,Dayan,P.,Frey,B.J.,andNeal,R.M.(1995).Thewake-sleepalgorithmforunsupervisedneuralnetworks.Science,268:1158–1160◆Hinton,G.E.andSejnowski,T.E.(1986).LearningandrelearninginBoltzmannmachines.InParallelDistributedProcessing,volume1,pages282–317.MITPress◆Rumelhart,Hinton,Williams,LearningRepresentationsbyBack-propagatingerrors,Nature,1986,323(6088):533-536目前六頁\總數(shù)五十三頁\編于十二點(diǎn)AndrewNg斯坦福大學(xué)教授2012年6月,《紐約時(shí)報(bào)》披露了GoogleBrain項(xiàng)目大規(guī)模計(jì)算機(jī)系統(tǒng)方面的世界頂尖專家JeffDean用16000個(gè)CPUCore的并行計(jì)算平臺訓(xùn)練一種稱為“深度神經(jīng)網(wǎng)絡(luò)”（DNN，DeepNeuralNetworks）的機(jī)器學(xué)習(xí)模型（內(nèi)部共有10億個(gè)節(jié)點(diǎn))在語音識別和圖像識別等領(lǐng)域獲得了巨大的成功§7.1研究背景目前七頁\總數(shù)五十三頁\編于十二點(diǎn)2012年11月，微軟公開演示全自動同聲傳譯系統(tǒng)深度學(xué)習(xí),講演者用英文演講，后臺的計(jì)算機(jī)一氣呵成自動完成語音識別、英中機(jī)器翻譯和中文語音合成，效果非常流暢§7.1研究背景目前八頁\總數(shù)五十三頁\編于十二點(diǎn)2013年1月，百度創(chuàng)始人兼CEO李彥宏高調(diào)宣布成立“深度學(xué)習(xí)研究所”（IDL，InstitueofDeepLearning§7.1研究背景目前九頁\總數(shù)五十三頁\編于十二點(diǎn)機(jī)器學(xué)習(xí)解決目標(biāo)識別與分類問題的思路三個(gè)主要組成部分中間的特征提取部分將很大程度上決定最終的效果，如何提取特征？“巧婦難為無米之炊”§7.1研究背景目前十頁\總數(shù)五十三頁\編于十二點(diǎn)SIFTHOGDoG+Gabor§7.1研究背景Sift被認(rèn)為是局部圖像特征描述子研究領(lǐng)域一項(xiàng)里程碑式的工作，對尺度、旋轉(zhuǎn)以及一定視角和光照變化等圖像變化都具有不變性，還SIFT具有很強(qiáng)的可區(qū)分性特征抽取非常費(fèi)力，需要領(lǐng)域知識啟發(fā)式提取最大的問題？--人工設(shè)計(jì)BOW……目前十一頁\總數(shù)五十三頁\編于十二點(diǎn)§7.1研究背景待檢測圖像行人模型圖像金字塔適應(yīng)目標(biāo)尺度變化局部濾波器變形動態(tài)規(guī)劃求解可變形部件模型行人檢測目前十二頁\總數(shù)五十三頁\編于十二點(diǎn)

1981年的諾貝爾醫(yī)學(xué)獎(jiǎng)，頒發(fā)給了DavidHubel和TorstenWiesel(JohnHopkinsUniversity)，以及RogerSperry。前兩位的主要貢獻(xiàn)，是“發(fā)現(xiàn)了視覺系統(tǒng)的信息處理”：可視皮層是分級的：這個(gè)發(fā)現(xiàn)激發(fā)了人們對于神經(jīng)系統(tǒng)的進(jìn)一步思考→神經(jīng)-中樞-大腦的工作過程，”或許”是一個(gè)不斷迭代、不斷抽象的過程§7.1研究背景人腦視覺系統(tǒng)如何提取特征？目前十三頁\總數(shù)五十三頁\編于十二點(diǎn)關(guān)鍵在于抽象和迭代，從原始信號開始進(jìn)行低級抽象，逐漸向高級抽象迭代從低層到高層的特征表示越來越抽象，生物視覺特征分層抽象的過程，就是一個(gè)計(jì)算機(jī)建模過程§7.1研究背景人腦視覺系統(tǒng)如何提取特征？目前十四頁\總數(shù)五十三頁\編于十二點(diǎn)§7.1研究背景目前十五頁\總數(shù)五十三頁\編于十二點(diǎn)§7.1研究背景HMAXNeocognitronVisNet目前十六頁\總數(shù)五十三頁\編于十二點(diǎn)§7.1研究背景從層次增加看深度學(xué)習(xí)發(fā)展簡史2020年又是冰河期？目前十七頁\總數(shù)五十三頁\編于十二點(diǎn)§7.1研究背景目前十八頁\總數(shù)五十三頁\編于十二點(diǎn)?淺層機(jī)器學(xué)習(xí)模型(第二次浪潮)--1-2層隱層的BP網(wǎng)絡(luò)（20世紀(jì)80年代末期）--SVM、Boosting等，模型的結(jié)構(gòu)可視為帶一層隱層節(jié)點(diǎn)或沒有隱層節(jié)點(diǎn)（20世紀(jì)90年代）NeuralNetwork問題--比較容易過擬合，參數(shù)比較難tune，而且需要不少技巧--訓(xùn)練速度比較慢，--有限樣本和計(jì)算單元情況下對復(fù)雜函數(shù)的表示能力有限--梯度越來越稀疏：從輸出層越往輸入層，誤差校正信號越來越小--收斂到局部極小值近20多年，主要SVM和boosting算法§7.1研究背景目前十九頁\總數(shù)五十三頁\編于十二點(diǎn)?深度機(jī)器學(xué)習(xí)模型(第三次浪潮)

GeoffreyHinton（加拿大多倫多大學(xué)教授、機(jī)器學(xué)習(xí)領(lǐng)域的泰斗）及其學(xué)生2006年在科學(xué)雜志發(fā)表”DeepLearning”文章，開啟了深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的浪潮。

--多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力--通過無監(jiān)督學(xué)習(xí)的“逐層初始化”（layer-wisepre-training）來有效克服深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度--深度學(xué)習(xí)可通過學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)復(fù)雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示，并展現(xiàn)了強(qiáng)大的從少數(shù)樣本集中學(xué)習(xí)數(shù)據(jù)集本質(zhì)特征的能力。--強(qiáng)調(diào)了模型結(jié)構(gòu)的深度，通常有5層、6層，甚至10多層的隱層節(jié)點(diǎn)--深度學(xué)習(xí)就是特征學(xué)習(xí)，通過逐層特征變換，將樣本在原空間的特征表示變換到一個(gè)新特征空間，從而使分類或預(yù)測更加容易“深度學(xué)習(xí)”通過多層次抽象來實(shí)現(xiàn)特征的表達(dá)§7.1研究背景目前二十頁\總數(shù)五十三頁\編于十二點(diǎn)DeepLearning—以多層次神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)發(fā)展起來的一種新的機(jī)器學(xué)習(xí)方法，被認(rèn)為是AI的新的前沿Theoretical:“…well-knowndepth-breadthtradeoffincircuitsdesign[Hastad1987].Thissuggestsmanyfunctionscanbemuchmoreefficientlyrepresentedwithdeeperarchitectures…”[Bengio&LeCun2007]Biological:Visualcortexishierarchical(HubelandWiesel).§7.1研究背景目前二十一頁\總數(shù)五十三頁\編于十二點(diǎn)§7.2從BP網(wǎng)絡(luò)看深度學(xué)習(xí)7.2.1BP網(wǎng)絡(luò)——僅適合淺層網(wǎng)絡(luò)梯度下降算法——梯度逐層反向計(jì)算，直到梯度接近零為止目前二十二頁\總數(shù)五十三頁\編于十二點(diǎn)§7.2從BP網(wǎng)絡(luò)看深度學(xué)習(xí)為什么BP網(wǎng)絡(luò)只適合淺層網(wǎng)絡(luò)？訓(xùn)練速度慢問題易于過擬合問題

在學(xué)習(xí)訓(xùn)練中,網(wǎng)絡(luò)對學(xué)習(xí)樣本達(dá)到非常高的逼近精度,但對測試樣本逼近誤差隨網(wǎng)絡(luò)訓(xùn)練次數(shù)而呈現(xiàn)先下降,后反而上升的奇異現(xiàn)象全局優(yōu)化問題

BP網(wǎng)絡(luò)深度較深時(shí)，會涉及到求解一個(gè)高階非凸優(yōu)化問題，容易陷入很壞的局部極小梯度彌散問題

BP網(wǎng)絡(luò)深度較深時(shí)，梯度隨著深度向前而顯著下降，誤差反傳到更前面的隱含層時(shí)已非常小，使得前幾層不能有效進(jìn)行調(diào)節(jié)，訓(xùn)練速度很慢目前二十三頁\總數(shù)五十三頁\編于十二點(diǎn)§7.2從BP網(wǎng)絡(luò)看深度學(xué)習(xí)7.2.2深度學(xué)習(xí)的基本思想

加拿大多倫多大學(xué)的GeofferyHinton教授2006年首次提出了“深度信念網(wǎng)絡(luò)”的概念。與傳統(tǒng)的訓(xùn)練方式不同，為大幅度減少了訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的時(shí)間，采用兩個(gè)技術(shù)█“

預(yù)訓(xùn)練”（pre-training）：無監(jiān)督學(xué)習(xí)→參數(shù)初始值逐層貪婪訓(xùn)練，就是先訓(xùn)練網(wǎng)絡(luò)第1個(gè)隱含層，再訓(xùn)練第2個(gè)…，最后

將訓(xùn)練好的網(wǎng)絡(luò)參數(shù)作為整個(gè)網(wǎng)絡(luò)參數(shù)的初值（預(yù)訓(xùn)練，找到神經(jīng)網(wǎng)

絡(luò)中一個(gè)接近最優(yōu)解的權(quán)值）█“

微調(diào)

”(fine-tuning)：監(jiān)督學(xué)習(xí)

進(jìn)一步優(yōu)化訓(xùn)練整個(gè)網(wǎng)絡(luò)，對神經(jīng)網(wǎng)絡(luò)參數(shù)（權(quán)值）改變很小目前二十四頁\總數(shù)五十三頁\編于十二點(diǎn)§7.2從BP網(wǎng)絡(luò)看深度學(xué)習(xí)7.2.2深度學(xué)習(xí)的基本思想█層數(shù)保持不變，神經(jīng)網(wǎng)絡(luò)的參數(shù)數(shù)量增加，從而帶來了更好的表示（represention）能力█增加更多層次，更深入的特征表示，以及更強(qiáng)的函數(shù)模擬能力隨著網(wǎng)絡(luò)的層數(shù)增加，每一層對于前一層次的抽象表示更深入。即每一層神經(jīng)元學(xué)習(xí)到的是前一層神經(jīng)元值的更抽象的表示第1隱含層學(xué)習(xí)到的特征--“邊緣”第2隱含層學(xué)習(xí)到的特征--由“邊緣”組成的“形狀”第3隱含層學(xué)習(xí)到的特征--由“形狀”組成的“圖案”。。。。。最后隱含層學(xué)習(xí)到的特征--由“圖案”組成的“目標(biāo)”神經(jīng)網(wǎng)絡(luò)本質(zhì)模擬特征與目標(biāo)之間函數(shù)映射關(guān)系。層數(shù)多，參數(shù)多，模擬映射函數(shù)更復(fù)雜、更多容量目前二十五頁\總數(shù)五十三頁\編于十二點(diǎn)Deeplearning與NeuralNetwork深度學(xué)習(xí)是模擬人腦進(jìn)行分析學(xué)習(xí)，稱UnsupervisedFeatureLearning--源于人工神經(jīng)網(wǎng)絡(luò)，含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)--用深度網(wǎng)絡(luò)結(jié)構(gòu)來抽象和迭代組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。深度網(wǎng)絡(luò)訓(xùn)練的主要思想是用非標(biāo)簽數(shù)據(jù)進(jìn)行逐層貪婪訓(xùn)練和用有

標(biāo)記數(shù)據(jù)來進(jìn)行整個(gè)網(wǎng)絡(luò)的微調(diào)相同之處--采用分層結(jié)構(gòu)：輸入層、隱層（多層）、輸出層--連接方式：相鄰層節(jié)點(diǎn)之間有連接，同一層以及跨層節(jié)點(diǎn)之間相互無連接不同之處--訓(xùn)練機(jī)制不同：ANN采用后向傳播機(jī)制,DLlayer-wise的訓(xùn)練機(jī)制--層數(shù)多，BP殘差傳播到最前面的層已經(jīng)變得太?。ㄌ荻葦U(kuò)散）§7.2從BP網(wǎng)絡(luò)看深度學(xué)習(xí)目前二十六頁\總數(shù)五十三頁\編于十二點(diǎn)深度學(xué)習(xí)流行的激勵(lì)函數(shù)§7.2從BP網(wǎng)絡(luò)看深度學(xué)習(xí)傳統(tǒng)激勵(lì)函數(shù)

Sigmoid系非線性的Sigmoid函數(shù)對中央?yún)^(qū)域的信號增益較大，對兩側(cè)區(qū)域的信號增益小，特征空間映射效果好從神經(jīng)科學(xué)看，中央?yún)^(qū)域類似神經(jīng)元興奮態(tài)，兩側(cè)區(qū)域類似神經(jīng)元抑制態(tài)問題：（1）sigmoid函數(shù)在實(shí)際梯度下降中，容易飽和和終止梯度傳遞（2）同時(shí)近乎有一半的神經(jīng)元被激活目前二十七頁\總數(shù)五十三頁\編于十二點(diǎn)§7.2從BP網(wǎng)絡(luò)看深度學(xué)習(xí)類似生物神經(jīng)元激勵(lì)函數(shù)與Sigmoid系的不同：（1）單側(cè)抑制（紅框里前端全沒激活）（2）相對寬闊的興奮邊界（3）稀疏激活性神經(jīng)科學(xué)家Dayan、Abott2001年模擬腦神經(jīng)元接受信號更精確的激勵(lì)模型█Softplus(x)=log(1+ex)具有（1）與（2）特性█ReLU（修正線性單元：RectifiedLinearUnit)：f(x)=max(0,x)具有三個(gè)特性可極大提升隨機(jī)梯度下降的收斂速度梯度計(jì)算非常簡單應(yīng)用很多神經(jīng)元的生物特性具有生物特性的激勵(lì)函數(shù)目前二十八頁\總數(shù)五十三頁\編于十二點(diǎn)假定神經(jīng)網(wǎng)絡(luò)的輸出O等于輸入I，即輸入I經(jīng)過這個(gè)系統(tǒng)變化之后沒有任何的信息損失，保持了不變，這意味著輸入I經(jīng)過每一層都沒有任何的信息損失,訓(xùn)練調(diào)整網(wǎng)絡(luò)參數(shù)（連接權(quán)）

每層的輸出就是輸入的另外一種表示特征system輸出O輸入Ii=o自動編碼器(AutoEncoder)§7.3

幾種典型的深度學(xué)習(xí)模型目前二十九頁\總數(shù)五十三頁\編于十二點(diǎn)§7.4

幾種典型的深度學(xué)習(xí)模型有標(biāo)簽數(shù)據(jù)的特征學(xué)習(xí)無標(biāo)簽數(shù)據(jù)的無監(jiān)督特征學(xué)習(xí)編碼器產(chǎn)生特征標(biāo)簽/無標(biāo)簽編碼目前三十頁\總數(shù)五十三頁\編于十二點(diǎn)無標(biāo)簽數(shù)據(jù)的無監(jiān)督特征學(xué)習(xí)編碼器產(chǎn)生特征增加分類器§7.3

幾種典型的深度學(xué)習(xí)模型目前三十一頁\總數(shù)五十三頁\編于十二點(diǎn)稀疏自動編碼器§7.3

幾種典型的深度學(xué)習(xí)模型目前三十二頁\總數(shù)五十三頁\編于十二點(diǎn)§7.4

幾種典型的深度學(xué)習(xí)模型自動編碼器(AutoEncoder)目前三十三頁\總數(shù)五十三頁\編于十二點(diǎn)深度信任網(wǎng)絡(luò)DBN受限可視層各節(jié)點(diǎn)間無連接隱含層各節(jié)點(diǎn)間無連接可視層作為向量輸入隱含層作為特征檢測器可為二值節(jié)點(diǎn)（可取0或1）或?qū)崝?shù)節(jié)點(diǎn)（0～1）可視層、隱含層的節(jié)點(diǎn)數(shù)量不定§7.3

幾種典型的深度學(xué)習(xí)模型RestrictedBoltzmanMachine(RBM)目前三十四頁\總數(shù)五十三頁\編于十二點(diǎn)RBM的能量對特定的(v,h)，其能量函數(shù)定義為對每種可能的p(v,h)分布滿足Boltzmann分布§7.3

幾種典型的深度學(xué)習(xí)模型目前三十五頁\總數(shù)五十三頁\編于十二點(diǎn)RBM的狀態(tài)更新/重采樣給定可視層每個(gè)節(jié)點(diǎn)v，隱含層的每個(gè)節(jié)點(diǎn)hj依下式確定的概率取1（條件獨(dú)立）同樣，給定隱含層每個(gè)節(jié)點(diǎn)h，可依下式確定的概率獲得可視層各結(jié)點(diǎn)的的無偏估計(jì)樣本（條件獨(dú)立）§7.3

幾種典型的深度學(xué)習(xí)模型目前三十六頁\總數(shù)五十三頁\編于十二點(diǎn)§7.3

幾種典型的深度學(xué)習(xí)模型將多個(gè)RBM層疊在一起前一層RBM的隱含層作為后一層RBM可視層的輸入深度信任網(wǎng)絡(luò)DBN的構(gòu)成概率生成模型多個(gè)受限玻爾茲曼機(jī)RBM層組成目前三十七頁\總數(shù)五十三頁\編于十二點(diǎn)§7.3幾種典型的深度學(xué)習(xí)模型深度信任網(wǎng)絡(luò)DBN的訓(xùn)練對比散度CD算法ContrastiveDivergence(Hinton,2002)預(yù)訓(xùn)練獲得生成模型的連接權(quán)（訓(xùn)練RBM可視層節(jié)點(diǎn)和隱節(jié)點(diǎn)間的權(quán)值）利用GibbsSampling已知v重采樣h已知h重采樣v定義上述操作為一輪，可多輪依據(jù)下式修正連接權(quán)wij目前三十八頁\總數(shù)五十三頁\編于十二點(diǎn)DBN每層RBM內(nèi)--隱含層對可見層進(jìn)行特征提取層與層之間每層對前一層提取出的特征進(jìn)行再提取第3層第2層第1層§7.4

幾種典型的深度學(xué)習(xí)模型目前三十九頁\總數(shù)五十三頁\編于十二點(diǎn)YannLeCunIn1995,YannLeCunandYoshuaBengiointroducedtheconceptofconvolutionalneuralnetworks.YoshuaBengio深度卷積網(wǎng)絡(luò)§7.3

幾種典型的深度學(xué)習(xí)模型在貝爾實(shí)驗(yàn)室的研究--提高手寫識別濾波——池化目前四十頁\總數(shù)五十三頁\編于十二點(diǎn)§7.3

幾種典型的深度學(xué)習(xí)模型輸入圖像通過多個(gè)可訓(xùn)練的濾波器組進(jìn)行非線性卷積，卷積后在每一層產(chǎn)生特征映射圖，再特征映射圖中每組池化（亞采樣），最終得到輸出值目前四十一頁\總數(shù)五十三頁\編于十二點(diǎn)§7.3

幾種典型的深度學(xué)習(xí)模型層間局部連接—稀疏連接方式深度卷積網(wǎng)絡(luò)多層感知器(MLP)的變種卷積神經(jīng)網(wǎng)絡(luò)中，層間的神經(jīng)元不是全連接，利用層間局部空間相關(guān)性，通過局部連接方式，上層的神經(jīng)元只與和它相近的下層神經(jīng)元相連，以大大降低神經(jīng)網(wǎng)絡(luò)的參數(shù)規(guī)模目前四十二頁\總數(shù)五十三頁\編于十二點(diǎn)§7.3

幾種典型的深度學(xué)習(xí)模型每個(gè)卷積濾波器共享相同的參數(shù)。卷積神經(jīng)網(wǎng)絡(luò)中，卷積層的每個(gè)卷積濾波器重復(fù)作用于整個(gè)感受野中，對輸入圖像進(jìn)行卷積，卷積結(jié)果構(gòu)成輸入圖像的特征圖，提取出圖像的局部特征神經(jīng)元共享權(quán)值一個(gè)特征映射面上的神經(jīng)元共享權(quán)值，大大降低學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)模型參數(shù)數(shù)量特征映射結(jié)構(gòu)采用sigmoid函數(shù)作為卷積網(wǎng)絡(luò)的激活函數(shù)共享權(quán)值目前四十三頁\總數(shù)五十三頁\編于十二點(diǎn)§7.3

幾種典型的深度學(xué)習(xí)模型最大池化采樣—非線性降采樣方法最大池采樣方法對卷積特征進(jìn)行降維，具有平移不變性Softmax回歸—有監(jiān)督學(xué)習(xí)算法，解決多分類問題訓(xùn)練樣本集由m個(gè)帶標(biāo)簽樣本構(gòu)成：最小化代價(jià)函數(shù)目前四十四頁\總數(shù)五十三頁\編于十二點(diǎn)§7.3

幾種典型的深度學(xué)習(xí)模型深度卷積網(wǎng)絡(luò)訓(xùn)練與BP網(wǎng)絡(luò)的向前傳播和反向調(diào)整權(quán)矩陣類似的一種多層的監(jiān)督學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，隱含層的卷積層和池化采樣層是實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)特征提取功能的核心卷積神經(jīng)網(wǎng)絡(luò)的低隱含層是由卷積層和最大池化采樣層交替組成，高層是全連接層對應(yīng)傳統(tǒng)多層感知器的隱含層和邏輯回歸分類器目前四十五頁\總數(shù)五十三頁\編于十二點(diǎn)§7.3

幾種典型的深度學(xué)習(xí)模型目前四十六頁\總數(shù)五十三頁\編于十二點(diǎn)§7.4開源深度學(xué)習(xí)框架

◆Caffe源自加州伯克利分校的Caffe被廣泛應(yīng)用，包括Pinterest這樣的web大戶。與TensorFlow一樣，Caffe也是由C++開發(fā)，Caffe也是Google今年早些時(shí)候發(fā)布的DeepDream項(xiàng)目（可以識別喵星人的人工智能神經(jīng)網(wǎng)絡(luò)）的基礎(chǔ)。

◆Theano2008年誕生于蒙特利爾理工學(xué)院，Theano派生出了大量深度學(xué)習(xí)Python軟件包，最著名的包括Blocks和Keras。目前四十七頁\總數(shù)五十三頁\編于十二點(diǎn)§7.4開源深度學(xué)習(xí)框架

◆TorchTorch誕生已經(jīng)有十年之久，但是真正起勢得益于去年Facebook開源了大量Torch的深度學(xué)習(xí)模塊和擴(kuò)展。Torch另外一個(gè)特殊之處是采用了不怎么流行的編程語言Lua（該語言曾被用來開發(fā)視頻游戲）。

◆Brainstorm來自瑞士人工智能實(shí)驗(yàn)室IDSIA的一個(gè)非常發(fā)展前景很不錯(cuò)的深度學(xué)習(xí)軟件包，Brainstorm能夠處理上百層的超級深度神經(jīng)網(wǎng)絡(luò)——所謂的公路網(wǎng)絡(luò)HighwayNetworks。目前四十八頁\總數(shù)五十三頁\編于十二點(diǎn)§7.4開源深度學(xué)習(xí)框架

◆DeepLearning4j創(chuàng)業(yè)公司Skymind于2014年6月發(fā)布的一個(gè)面向生產(chǎn)環(huán)境和商業(yè)應(yīng)用的高成熟度深度學(xué)習(xí)開源庫，是”forJava”的深度學(xué)習(xí)框架，可與Hadoop和Spark集成，即插即用，方便開發(fā)者在APP中快速集成深度學(xué)習(xí)功能，可用于：人臉/圖像識別；語音搜索；語音轉(zhuǎn)文字（Speechtotext）;垃圾信息過濾（異常偵測）；電商欺詐偵測。埃森哲、雪弗蘭、博斯咨詢和IBM等明星企業(yè)都在使用。

◆Marvin是普林斯頓大學(xué)視覺工作組新推出的C++框架。該團(tuán)隊(duì)還提供了一個(gè)文件用于將Caffe模型轉(zhuǎn)化成語Marvin兼容的模式。。目前四十九頁\總數(shù)五十三頁\編于十二點(diǎn)§7.4開源深度學(xué)習(xí)框架

◆ConvNetJS斯坦福大學(xué)博士生AndrejKarpathy開發(fā)瀏覽器插件，基于JavaScript可以在游覽器中訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

◆。。。目前五十頁\總數(shù)五十三頁\編于十二點(diǎn)20世紀(jì)90年代人類腦計(jì)劃（HumanBrainProject,

HBP)繼人類基因計(jì)劃后，又一國際性科研大計(jì)劃2013年1月歐盟啟動“人類大腦計(jì)劃”(HumanBrainProject)巨型計(jì)算機(jī)模擬整個(gè)人類大腦（10億歐元）2013年4月美國“大腦活動圖譜計(jì)劃”(BrainActivityMapProject，或稱BrainInitiative)研究大腦活動中的所有神經(jīng)元，探索神經(jīng)元、神經(jīng)回路與大腦功能間的關(guān)系（38億美元）2014年科技部腦科學(xué)信息化重大專項(xiàng)“類人腦工程”2014年諾貝爾獎(jiǎng)生理學(xué)醫(yī)學(xué)獎(jiǎng)大腦的定位系統(tǒng)--“位置細(xì)胞”與“網(wǎng)格細(xì)胞”發(fā)現(xiàn)§7.5

深度學(xué)習(xí)的未來隨著神經(jīng)網(wǎng)絡(luò)研究的不斷變遷，其連接及其計(jì)算與生物神經(jīng)元的連接模型其實(shí)漸行漸遠(yuǎn)？！！目前五十一頁\總數(shù)五十三頁\編于十二點(diǎn)開啟計(jì)算機(jī)“高智商”新時(shí)代

IBM成功構(gòu)建模擬人腦功能的認(rèn)知計(jì)算機(jī)芯片

（2011-8-18）

通過模擬大腦結(jié)構(gòu)，首次成功構(gòu)