計算智能與深度學(xué)習(xí) 課件 2神經(jīng)網(wǎng)絡(luò)－1神經(jīng)元與網(wǎng)絡(luò)結(jié)構(gòu)

內(nèi)容安排:一、生物神經(jīng)元二、人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)三、神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用

神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識

1一、生物神經(jīng)元生物神經(jīng)元突觸信息處理信息傳遞功能與特點21.1生物神經(jīng)元神經(jīng)元是大腦處理信息的基本單元人腦大約由1011個神經(jīng)元組成，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡(luò)神經(jīng)元以細胞體為主體，由許多向周圍延伸的不規(guī)則樹枝狀纖維構(gòu)成的神經(jīng)細胞，其形狀很像一棵枯樹的枝干主要由細胞體（cellbody,orsoma）、樹突（dendrite）、軸突（axon）和突觸(Synapse，又稱神經(jīng)鍵)組成

3

生物神經(jīng)元示意圖

4樹突為神經(jīng)元的輸入通道，其功能是將自其他神經(jīng)元所接收的動作電位傳送至細胞本體。其他神經(jīng)元的動作電位借由位于樹突分支上的多個突觸傳送至樹突上。樹突在整合自這些突觸所接收到的信號、以及決定此神經(jīng)元將產(chǎn)生的動作電位強度上，扮演了重要的角色.軸突它是從神經(jīng)元的細胞本體發(fā)出的長突起。軸突為神經(jīng)元的輸出通道，其功能是將動作電位自細胞本體傳遞出去至突觸。突觸（英文：synapse）是神經(jīng)元之間，或神經(jīng)元與肌細胞之間通信的特異性接頭。51.2突觸的信息處理生物神經(jīng)元傳遞信息的過程為多輸入、單輸出神經(jīng)元各組成部分的功能來看，信息的處理與傳遞主要發(fā)生在突觸附近當神經(jīng)元細胞體通過軸突傳到突觸前膜的脈沖幅度達到一定強度，即超過其閾值電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞的化學(xué)物質(zhì)突觸有兩種類型，興奮性突觸和抑制性突觸。前者產(chǎn)生正突觸后電位，后者產(chǎn)生負突觸后電位61.3信息傳遞功能與特點具有時空整合能力不可逆性，脈沖只從突觸前傳到突觸后，不逆向傳遞神經(jīng)纖維傳導(dǎo)的速度，即脈沖沿神經(jīng)纖維傳遞的速度，在1—150m／s之間信息傳遞時延和不應(yīng)期，一般為0.3～lms可塑性，突觸傳遞信息的強度是可變的，即具有學(xué)習(xí)功能存在學(xué)習(xí)、遺忘或疲勞（飽和）效應(yīng)對應(yīng)突觸傳遞作用增強、減弱和飽和7二、人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)元模型常見響應(yīng)函數(shù)人工神經(jīng)網(wǎng)絡(luò)典型結(jié)構(gòu)82.1人工神經(jīng)網(wǎng)絡(luò)

直觀理解神經(jīng)網(wǎng)絡(luò)是一個并行和分布式的信息處理網(wǎng)絡(luò)結(jié)構(gòu)它一般由大量神經(jīng)元組成每個神經(jīng)元只有一個輸出，可以連接到很多其他的神經(jīng)元每個神經(jīng)元輸入有多個連接通道，每個連接通道對應(yīng)于一個連接權(quán)系數(shù)

9通用模型求和操作響應(yīng)函數(shù)2.2人工神經(jīng)元模型

102.2人工神經(jīng)元模型

響應(yīng)函數(shù)的基本作用控制輸入對輸出的激活作用對輸入、輸出進行函數(shù)轉(zhuǎn)換將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出11

2.3常見神經(jīng)元響應(yīng)函數(shù)(d)非線性單元：(a)閾值單元(b)線性單元(c)Sigmoid函數(shù)（非對稱sigmoid)β=1時，122.3常見神經(jīng)元響應(yīng)函數(shù)10-1s13神經(jīng)元的模型確定之后，一個神經(jīng)網(wǎng)絡(luò)的特性及能力主要取決于網(wǎng)絡(luò)的拓撲結(jié)構(gòu)及學(xué)習(xí)方法人工神經(jīng)網(wǎng)絡(luò)連接的幾種基本形式前向網(wǎng)絡(luò)(a)從輸出到輸入有反饋的前向網(wǎng)絡(luò)(b)用來存儲某種模式序列層內(nèi)互連前向網(wǎng)絡(luò)(c)限制層內(nèi)同時動作的神經(jīng)元；分組功能相互結(jié)合型網(wǎng)絡(luò)(d)2.4人工神經(jīng)網(wǎng)絡(luò)典型結(jié)構(gòu)14神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)

15權(quán)值確定Hebb學(xué)習(xí)規(guī)則誤差校正（糾錯）學(xué)習(xí)規(guī)則相近（無教師）學(xué)習(xí)規(guī)則三、神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法16人工神經(jīng)網(wǎng)絡(luò)連接權(quán)的確定通常有兩種方法根據(jù)具體要求，直接計算，如Hopfield網(wǎng)絡(luò)作優(yōu)化計算通過學(xué)習(xí)得到的。大多數(shù)人工神經(jīng)網(wǎng)絡(luò)都采用這種方法學(xué)習(xí)方法是人工神經(jīng)網(wǎng)絡(luò)研究中的核心問題3.1權(quán)值確定17Donall

Hebb根據(jù)生理學(xué)中條件反射機理，于1949年提出的神經(jīng)元連接強度變化的規(guī)則如果兩個神經(jīng)元同時興奮(即同時被激活)，則它們之間的突觸連接加強a為學(xué)習(xí)速率，Vi,Vj為神經(jīng)元i和j的輸出Hebb學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的基本規(guī)則，幾乎所有神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則都可以看作Hebb學(xué)習(xí)規(guī)則的變形3.2Hebb學(xué)習(xí)規(guī)則18用已知樣本作為教師對網(wǎng)絡(luò)進行學(xué)習(xí)學(xué)習(xí)規(guī)則可由二次誤差函數(shù)的梯度法導(dǎo)出誤差校正學(xué)習(xí)規(guī)則實際上是一種梯度方法不能保證得到全局最優(yōu)解要求大量訓(xùn)練樣本，收斂速度慢對樣本的表示次序變化比較敏感3.3誤差校正規(guī)則教師值實際輸出值193.3無教師學(xué)習(xí)規(guī)則這類學(xué)習(xí)不在于尋找一個特殊映射的表示，而是將事件空間分類為輸入活動區(qū)域，并有選擇地對這些區(qū)域響應(yīng)，從而調(diào)整參數(shù)一反映觀察事件的分部輸入可以是連續(xù)值,對噪聲有較強的抗干擾能力對較少輸入樣本，結(jié)果可能要依賴于輸入序列在ART、