神經(jīng)網(wǎng)絡(luò)控制1-模型

Part2ArtificialNeuralNetwork

第二部分人工神經(jīng)網(wǎng)絡(luò)之一－－神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2023/9/221一、神經(jīng)網(wǎng)絡(luò)概論神經(jīng)網(wǎng)絡(luò)種類生物神經(jīng)網(wǎng)絡(luò)（BiologicalNeuralNetworks）人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks)2023/9/2221.1生物神經(jīng)元網(wǎng)絡(luò)1.1.1生物神經(jīng)元1.1.2人腦神經(jīng)網(wǎng)絡(luò)2023/9/2231.1.1生物神經(jīng)元。

人的大腦由1012個神經(jīng)元構(gòu)成，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡(luò)神經(jīng)元組成：細(xì)胞體為主體神經(jīng)元功能：刺激、興奮、傳導(dǎo)、效應(yīng)形狀圖神經(jīng)元類型原則突觸傳遞信息特點2023/9/224形狀圖2023/9/2252023/9/226類型單極——無脊椎動物雙極——視網(wǎng)膜神經(jīng)元neuron多極——脊椎、錐體、小腦蒲根2023/9/227原則神經(jīng)元間信息傳遞的理論基礎(chǔ)原則1動態(tài)極化原則（即信號沿確定方向流動）樹突軸突突觸其他神經(jīng)元原則2

連接的專一性原則神經(jīng)元之間元細(xì)胞質(zhì)的連續(xù)神經(jīng)元不構(gòu)成隨機(jī)網(wǎng)絡(luò)每一神經(jīng)元與一些神經(jīng)元形成特殊的精確的聯(lián)系

2023/9/228突觸傳遞信息特點1時延性: （0.3~1ms）2綜合性： 時間與空間的累加3類型： 興奮與抑制4脈沖與電位轉(zhuǎn)換:（D/A功能）5速度： 1~150m/s6不應(yīng)期（死區(qū)）： 3~5ms7不可逆性（單向）8可塑性: 強(qiáng)度可變,有學(xué)習(xí)功能脈沖

2023/9/2291.1.2人腦神經(jīng)網(wǎng)絡(luò)腦神經(jīng)系統(tǒng)主要組成部分大腦皮層由許多功能區(qū)組成（運(yùn)動、聽覺、視覺等）神經(jīng)元群

其區(qū)域性結(jié)構(gòu)：遺傳

其功能：后天對環(huán)境的適應(yīng)于學(xué)習(xí)得來（自組織特性Self-Organization）

子功能模塊的并行關(guān)系a)連接形式

b)大腦處理信息的特點C)生物學(xué)研究成果

2023/9/2210連接形式輻射式：一到多聚合式：多到一鏈鎖式：空間上加強(qiáng)與擴(kuò)大作用環(huán)式：反饋作用（可正可負(fù)）2023/9/2211輻射式：一到多2023/9/2212聚合式：多到一2023/9/2213鏈鎖式：空間上加強(qiáng)與擴(kuò)大作用2023/9/2214環(huán)式：反饋作用（可正可負(fù))2023/9/2215大腦處理信息的特點分布存儲與冗余性：記憶在大量元中，每個元存在許多信息的部分內(nèi)容，信息在神經(jīng)網(wǎng)絡(luò)中的記憶反映在神經(jīng)元間的突觸連接強(qiáng)度上(weights）;并行處理：NN既是處理器又是存儲器（并行處理不同于并行機(jī)）;信息處理與存儲合一：每個元兼有二者功能;可塑性與自組織性：可塑性是學(xué)習(xí)記憶的基礎(chǔ);魯棒性：高連接度導(dǎo)致一定的誤差和噪聲不會使網(wǎng)絡(luò)性能惡化。是智能演化的重要因素。2023/9/22161.2人工神經(jīng)網(wǎng)絡(luò)研究大腦的目的：

a）揭示功能造福人類

b）構(gòu)造ANN用于工程及其他領(lǐng)域（生物神經(jīng)網(wǎng)絡(luò)的模型化：ANN）BNN modeling ANNANN非BNN模型，而是對結(jié)構(gòu)及功能大大簡化后保留主要特性的某種抽象與模型。2023/9/2217神經(jīng)網(wǎng)絡(luò)直觀理解神經(jīng)網(wǎng)絡(luò)是一個并行和分布式的信息處理網(wǎng)絡(luò)結(jié)構(gòu)，它一般由許多個神經(jīng)元組成，每個神經(jīng)元只有一個輸出，它可以連接到很多其他的神經(jīng)元，每個神經(jīng)元輸入有多個連接通道，每個連接通道對應(yīng)于一個連接權(quán)系數(shù)。2023/9/22181.2.1人工神經(jīng)元模型

BNN信息傳遞過程為MISO系統(tǒng), 信號為脈沖，當(dāng)脈沖到達(dá)突觸前膜時，前膜釋放化學(xué)物質(zhì)，結(jié)果在突觸后產(chǎn)生突觸后電位，其大小與脈沖密度有關(guān)（時間總合效應(yīng)）。各通道都對電位產(chǎn)生影響（空間總合效應(yīng)）。

2023/9/2219

單個神經(jīng)元特性

神經(jīng)元的膜電位與時間關(guān)系如下spike2023/9/2220BNN脈沖，ANN模擬電壓ANN等效模擬電壓近似BNN脈沖密度，僅有空間累加無時間累加（可認(rèn)為時間累加已隱含于等效模擬電壓之中）ANN中未考慮時延、不應(yīng)期及疲勞等可建立更為精確的模型，但一般NN研究無此必要（方法論）2023/9/2221神經(jīng)元模型（1）神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的基本處理單元，它一般是一個多輸入/單輸出的非線性元件。神經(jīng)元輸出除受輸入信號的影響之外，同時也受到神經(jīng)元內(nèi)部其他因素的影響，所以在人工神經(jīng)元的建模中，常常還加有一個額外輸入信號，稱為偏差（bias），有時也稱為閾值或門限值。2023/9/2222神經(jīng)元模型（2）。2023/9/2223神經(jīng)元模型數(shù)學(xué)描述2023/9/2224抽象可得數(shù)學(xué)表達(dá)式：

數(shù)值（weights)b

閾值（threshold）

作用函數(shù)（activatedtransferfunction）

2023/9/2225作用函數(shù)的基本作用1、控制輸入對輸出的激活作用；2、對輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換；3、將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出。

2023/9/2226

幾種常用的作用函數(shù)1、閥值型（硬限制型)

2、線性型3、S型函數(shù)（Sigmoid）4、輻射基函數(shù)2023/9/22271、閥值型（硬限制型）

2023/9/22282023/9/22292、線性型

a)全線性

2023/9/2230b)正線性2023/9/2231S型函數(shù)（Sigmoid）

a)對數(shù)正切

y=1/(e-n+1)2023/9/2232b)雙曲正切y=tanh(n)2023/9/22334.輻射基函數(shù)

a)高斯函數(shù)2023/9/2234b)三角波函數(shù)2023/9/2235人工神經(jīng)網(wǎng)絡(luò)的構(gòu)成基本模型連接的幾種基本形式前向網(wǎng)絡(luò)（feed-forwardNetworks）回歸網(wǎng)絡(luò)（recurrentNetworks）互聯(lián)網(wǎng)絡(luò)（全互連與局部互連）也可是以上幾種形式的組合2023/9/2236神經(jīng)網(wǎng)絡(luò)基本模型

2023/9/2237前向網(wǎng)絡(luò)結(jié)構(gòu)圖2023/9/2238前向網(wǎng)絡(luò)特點

1.神經(jīng)元分層排列，可又多層2.層間無連接3.方向由入到出感知網(wǎng)絡(luò)（perceptron即為此）應(yīng)用最為廣泛

2023/9/2239回歸網(wǎng)絡(luò)全反饋結(jié)構(gòu)圖2023/9/2240InnerRNN結(jié)構(gòu)圖2023/9/2241回歸網(wǎng)絡(luò)特點Output與Input相連（全反饋）特點：1.內(nèi)部前向2.輸出反饋到輸入例：Fukushima網(wǎng)絡(luò)Innerrecurrent

特點：層間元互相連接2023/9/2242互聯(lián)網(wǎng)絡(luò)結(jié)構(gòu)圖2023/9/2243互聯(lián)網(wǎng)絡(luò)特點每個元都與其它元相連

例：HopfieldBoltzmann機(jī)2023/9/22441.2.3人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)

ANN研究中的核心問題

Howtodeterminetheweights(加權(quán)系數(shù))學(xué)習(xí)規(guī)則簡介

2023/9/2245關(guān)于學(xué)習(xí)問題學(xué)習(xí)：實例學(xué)習(xí)舉一反三的能力機(jī)器學(xué)習(xí):從數(shù)據(jù)中歸納出規(guī)律,進(jìn)行預(yù)測或者對其性質(zhì)作出判斷神經(jīng)網(wǎng)絡(luò)—啟發(fā)式學(xué)習(xí)支持向量機(jī)---統(tǒng)計學(xué)習(xí)理論2023/9/2246學(xué)習(xí)規(guī)則1）直接設(shè)計計算

e.g.Hopfield作優(yōu)化計算2）學(xué)習(xí)得到,即通過訓(xùn)練(training)2023/9/2247常用學(xué)習(xí)規(guī)則a)Hebb學(xué)習(xí)

D.Hebb1949年提出：兩元同時興奮，則突觸連接加強(qiáng)b)δ學(xué)習(xí)規(guī)則誤差校正規(guī)則梯度方法（BP即為其中一種）

2023/9/2248c)相近學(xué)習(xí)規(guī)則使

ARTSOFM自組織競爭用此規(guī)則2023/9/2249ANN與BNN比較

數(shù)學(xué)觀點

ANN與BNN的比較2023/9/2250數(shù)學(xué)觀點

ANN使一個以處理單元（PE：processelement）為節(jié)點，用加權(quán)有向弧連接而成的有向圖。（1）每個節(jié)點有一個狀態(tài)變量;（2）節(jié)點i到節(jié)點j有一個連接權(quán)值;（3）每個節(jié)點有一個閾值；（4）每個節(jié)點定義一個變換函數(shù)。PE是對