第4章 人工神經(jīng)網(wǎng)絡基礎課件

第四章人工神經(jīng)網(wǎng)絡基礎引言1生物神經(jīng)元2人工神經(jīng)元3人工神經(jīng)網(wǎng)絡的模型分類41第4章人工神經(jīng)網(wǎng)絡基礎第4.1節(jié)引言4.1.1人工神經(jīng)網(wǎng)絡發(fā)展簡史4.1.2人工神經(jīng)網(wǎng)絡的特性4.1.3人工神經(jīng)網(wǎng)絡研究的基本內(nèi)容2第4章人工神經(jīng)網(wǎng)絡基礎第4.1節(jié)引言4.1.1人工神經(jīng)網(wǎng)絡發(fā)展簡史4.1.2人工神經(jīng)網(wǎng)絡的特性4.1.3人工神經(jīng)網(wǎng)絡研究的基本內(nèi)容3第4章人工神經(jīng)網(wǎng)絡基礎4.1人工神經(jīng)網(wǎng)絡發(fā)展簡史1943年1943-1969初創(chuàng)期

心理學家McCulloch和數(shù)學家Pitts提出形式神經(jīng)元數(shù)學模型（MP模型），揭開神經(jīng)科學理論的新時代。Hebb提出改變神經(jīng)元連接強度的Hebb規(guī)則。

Rosenblatt提出感知器概念，由閾值型神經(jīng)元組成，試圖模擬人的感知、學習能力。

Minsky與Papert發(fā)表《Perceptrons》。1944年1957年1969年4第4章人工神經(jīng)網(wǎng)絡基礎4.1.1人工神經(jīng)網(wǎng)絡發(fā)展簡史1982年1970-1986過渡期Hopfield提出了HNN模型，引入“計算能量函數(shù)”概念，給出網(wǎng)絡穩(wěn)定性判據(jù)。Boltzmann機提出，設計、研制電子電路，為工程實現(xiàn)指明方向。

Rumelhart等PDP（并行分布式處理）研究小組提出了多層前向傳播網(wǎng)絡的BP算法，開辟了NN的應用新途徑。1985年1986年5第4章人工神經(jīng)網(wǎng)絡基礎4.1.1人工神經(jīng)網(wǎng)絡發(fā)展簡史1987年1987-現(xiàn)在發(fā)展期美國圣地亞哥第一屆世界神經(jīng)網(wǎng)絡會議。美國國防部高等研究工程局:發(fā)展NN及應用研究的8年計劃。NN的國際會議增多。IEEETrans.onNN創(chuàng)刊。

NN的模型有幾百個?；A理論、模型與算法的研究。

1989年，廣東第一屆神經(jīng)網(wǎng)絡-信號處理會議。

1990年開始，神經(jīng)網(wǎng)絡學術會議，年會。90年代后國內(nèi)情況6第4章人工神經(jīng)網(wǎng)絡基礎第4.1節(jié)引言4.1.1人工神經(jīng)網(wǎng)絡發(fā)展簡史4.1.2人工神經(jīng)網(wǎng)絡的特性4.1.3人工神經(jīng)網(wǎng)絡研究的基本內(nèi)容7第4章人工神經(jīng)網(wǎng)絡基礎4.1.2人工神經(jīng)網(wǎng)絡的特性非線性映射近似任意非線性映射，適用于非線性辨識與控制。通過訓練具有歸納數(shù)據(jù)的能力，更適用于非模型描述的控制。

可在線運行和信息融合，適用于復雜、大規(guī)模和多變量系統(tǒng)的控制。

硬件實現(xiàn)，神經(jīng)網(wǎng)絡成為具有快速和大規(guī)模處理能力的實現(xiàn)網(wǎng)絡?？蓪W習適應與集成硬件實現(xiàn)具有高度的并行結構和并行實現(xiàn)能力，適用于在線控制。并行性8第4章人工神經(jīng)網(wǎng)絡基礎第4.1節(jié)引言4.1.1人工神經(jīng)網(wǎng)絡發(fā)展簡史4.1.2人工神經(jīng)網(wǎng)絡的特性4.1.3人工神經(jīng)網(wǎng)絡研究的基本內(nèi)容9第4章人工神經(jīng)網(wǎng)絡基礎4.1.3人工神經(jīng)網(wǎng)絡研究的基本內(nèi)容理論研究應用研究實現(xiàn)研究單神經(jīng)元數(shù)學模型神經(jīng)網(wǎng)絡拓撲結構神經(jīng)網(wǎng)絡學習算法神經(jīng)網(wǎng)絡泛化能力神經(jīng)網(wǎng)絡動力學圖像處理與識別語音信號處理與識別

數(shù)據(jù)的存儲與記憶

組合優(yōu)化

復雜系統(tǒng)控制硬件實現(xiàn)電路NN模型的通用硬件系統(tǒng)（神經(jīng)網(wǎng)絡計算機）Matlab神經(jīng)網(wǎng)絡工具箱10第4章人工神經(jīng)網(wǎng)絡基礎4.2.1生物神經(jīng)元的結構4.2.2生物神經(jīng)元的信息處理機制第4.2節(jié)生物神經(jīng)元11第4章人工神經(jīng)網(wǎng)絡基礎來自其它細胞軸突的神經(jīng)末稍軸突樹突細胞膜神經(jīng)末稍來自其它細胞軸突的神經(jīng)末稍軸突樹突突觸細胞膜神經(jīng)末稍細胞體細胞核細胞體細胞核細胞質細胞膜樹突：胞體上短而多分支的突起，相當于神經(jīng)元的輸入端，接收傳入的神經(jīng)沖動。軸突（神經(jīng)纖維）：胞體上最長枝的突起，端部有很多神經(jīng)末梢，傳出神經(jīng)沖動。細胞膜電位：神經(jīng)細胞在受到電的、化學的、機械的刺激后能產(chǎn)生興奮，此時細胞膜內(nèi)外有電位差，稱為膜電位，其電位膜內(nèi)為正，膜外為負。4.2.1生物神經(jīng)元的結構12第4章人工神經(jīng)網(wǎng)絡基礎來自其它細胞軸突的神經(jīng)末稍軸突樹突細胞膜神經(jīng)末稍來自其它細胞軸突的神經(jīng)末稍軸突樹突突觸細胞膜神經(jīng)末稍細胞體細胞核突觸：是神經(jīng)元之間的連接接口。一個神經(jīng)元，通過其軸突的神經(jīng)末梢，經(jīng)突觸與另一個神經(jīng)元的樹突連接，以實現(xiàn)信息的傳遞。由于突觸的信息傳遞特性是可變的，隨著神經(jīng)沖動傳遞方式的變化，傳遞作用強弱不同，形成了神經(jīng)元之間連接的柔性，稱為結構的可塑性。4.2.1生物神經(jīng)元的結構13第4章人工神經(jīng)網(wǎng)絡基礎來自其它細胞軸突的神經(jīng)末稍軸突樹突細胞膜神經(jīng)末稍來自其它細胞軸突的神經(jīng)末稍軸突樹突突觸細胞膜神經(jīng)末稍細胞體細胞核興奮與抑制：若傳入神經(jīng)元的沖動經(jīng)整合后使細胞膜電位升高，超過動作電位的閾值時即為興奮狀態(tài)，產(chǎn)生神經(jīng)沖動，由軸突經(jīng)神經(jīng)末梢傳出；若傳入神經(jīng)元的沖動經(jīng)整合后使細胞膜電位降低，低于閾值時即為抑制狀態(tài)，不產(chǎn)生神經(jīng)沖動。學習與遺忘：由于神經(jīng)元結構的可塑性，突觸的傳遞作用可增強與減弱，因此神經(jīng)元具有學習與遺忘的功能。4.2.1生物神經(jīng)元的結構14第4章人工神經(jīng)網(wǎng)絡基礎4.2.2生物神經(jīng)元的信息處理機制神經(jīng)元形式化結構

神經(jīng)元具有的特征1.時空整合空間整合時間整合時空整合輸入信號的影響會短時間地持續(xù)，和后到達的輸入信號的影響同時起作用，也就是說，神經(jīng)元對于不同時間通過同一突觸的輸入信號具有時間整合的功能。15第4章人工神經(jīng)網(wǎng)絡基礎神經(jīng)元具有的特征2.閾值特性神經(jīng)元輸入和輸出是非線性的關系3.不應期無輸出信號。上升為無窮大。4.疲勞閾值慢慢增加時，神經(jīng)元很難興奮5.突觸的可塑性突觸的結合強度會隨著輸入信號和輸出信號發(fā)生變化，使得神經(jīng)細胞具有學習和記憶的能力6.輸出信號的種類離散的（脈沖信號）；連續(xù)信號4.2.2生物神經(jīng)元的信息處理機制16第4章人工神經(jīng)網(wǎng)絡基礎第4.3節(jié)人工神經(jīng)元4.3.1人工神經(jīng)元的數(shù)學模型4.3.2人工神經(jīng)元的激勵函數(shù)17第4章人工神經(jīng)網(wǎng)絡基礎出發(fā)點：模擬生物神經(jīng)元的結構和功能，從數(shù)學角度抽象出來一個基本單元。神經(jīng)元模型：是生物神經(jīng)元的抽象和模擬；是人工神經(jīng)網(wǎng)絡的最基本組成部分；是一多輸入單輸出的非線性處理單元。神經(jīng)網(wǎng)絡直觀理解：神經(jīng)網(wǎng)絡是一個并行和分布式的信息處理網(wǎng)絡結構，它一般由許多個神經(jīng)元組成，每個神經(jīng)元只有一個輸出，它可以連接到很多其它的神經(jīng)元，每個神經(jīng)元輸入有多個連接通道，每個連接通道對應于一個連接權系數(shù)。引言18第4章人工神經(jīng)網(wǎng)絡基礎

結構數(shù)學描述輸入：狀態(tài)：輸出：通常有：則：:閾值；:輸入信號，可理解為其它神經(jīng)元的輸出；:從ui到xj的連接權值（注意其下標與方向）；:外部輸入信號；:神經(jīng)元的輸出4.3.1人工神經(jīng)元的數(shù)學模型19第4章人工神經(jīng)網(wǎng)絡基礎０１f閾值型分段線性型4.3.2人工神經(jīng)元的激勵函數(shù)20第4章人工神經(jīng)網(wǎng)絡基礎Tan函數(shù)型T：比例因子，調(diào)整函數(shù)的上升坡度。T越大，f上升越慢；T越小，f上升越快，很快飽和。Sigmoid函數(shù)型4.3.2人工神經(jīng)元的激勵函數(shù)21第4章人工神經(jīng)網(wǎng)絡基礎控制輸入對輸出的激活作用；對輸入、輸出進行函數(shù)轉換；將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出。激勵函數(shù)的作用：4.3.2人工神經(jīng)元的激勵函數(shù)22第4章人工神經(jīng)網(wǎng)絡基礎第4.4節(jié)人工神經(jīng)元網(wǎng)絡的模型分類4.4.1根據(jù)組織和抽象層次分類4.4.2根據(jù)連接方式和信息流向分類23第4章人工神經(jīng)網(wǎng)絡基礎神經(jīng)元層次模型：僅研究單一神經(jīng)元的動態(tài)和自適應特性，探索神經(jīng)元對輸入信息的處理和存儲能力。組合式模型：由多個不同神經(jīng)元組成，功能比單一神經(jīng)元強大。網(wǎng)絡層次模型：由多個相同神經(jīng)元組成的網(wǎng)絡結構，網(wǎng)絡的整體性能為研究重點。神經(jīng)系統(tǒng)層次模型（多種網(wǎng)絡）：由多個不同性質的神經(jīng)網(wǎng)絡構成，以模擬生物神經(jīng)系統(tǒng)更復雜，更抽象的特性。4.4.1根據(jù)組織和抽象層次分類24第4章人工神經(jīng)網(wǎng)絡基礎前向網(wǎng)絡特點神經(jīng)元分層排列，組成輸入層、隱含層（可以有若干層）和輸出層；每一層的神經(jīng)元只接收前一層神經(jīng)元的輸入；各神經(jīng)元之間不存在反饋，信號在各層中順序傳播。典型網(wǎng)絡BP網(wǎng)絡，感知器4.4.2根據(jù)連接方式和信息流向分類25第4章人工神經(jīng)網(wǎng)絡基礎特點僅在輸出層到輸入層存在反饋，即每一個輸入節(jié)點都有可能接受來自外部的輸入和來自輸出神經(jīng)元的反饋，故可用來存儲某種模式序列。應用神經(jīng)認知機，動態(tài)時間序列過程的神經(jīng)網(wǎng)絡建模反饋網(wǎng)絡4.4.2根據(jù)連接方式和信息流向分類26第4章人工神經(jīng)網(wǎng)絡基礎特點網(wǎng)狀結構；任兩個神經(jīng)元之間都有可能存在連接（反饋）。典型網(wǎng)絡Hopfield網(wǎng)絡，Boltzmann機網(wǎng)絡注：在無反饋的前向網(wǎng)絡中，信號一旦通過某個神經(jīng)元，過程就結束了。而在相互結合網(wǎng)絡中，信號在神經(jīng)元之間反復往返傳遞，網(wǎng)絡處在一種不斷改變狀態(tài)的動態(tài)之中。相互結合型網(wǎng)絡（全互連）4.4.2根據(jù)連接方式和信息流向分類27第4章人工神經(jīng)網(wǎng)絡基礎特點前兩者的混合；同層內(nèi)神經(jīng)元相互連接；可以實現(xiàn)同一層內(nèi)神經(jīng)元之間的橫向抑制或興奮機制。這樣可以限制每層內(nèi)能同時動作的神經(jīng)元數(shù)，或者把每層內(nèi)的神經(jīng)元分為若干組，讓每組作為一個整體來動作。典型網(wǎng)絡回歸神經(jīng)網(wǎng)絡（RNN）混合型網(wǎng)絡（層內(nèi)互連）4.4.2根據(jù)連接方式和信息流向分類28第4章人工神經(jīng)網(wǎng)絡基礎連接權的確定方法：（1）根據(jù)具體要求，直接計算出來，如Hopfield網(wǎng)絡作優(yōu)化計算時就屬于這種情況。（2）通過學習得到的，大多數(shù)人工神經(jīng)網(wǎng)絡都用這種方法。學習實質：針對一組給定輸入Xp(p=1,2,…,

N)，通過學習使網(wǎng)絡動態(tài)改變權值，從而使其產(chǎn)生相應的期望輸出Yd的過程。學習算法分類：有導師學習、無導師學習、強化學習

第4.5節(jié)人工神經(jīng)網(wǎng)絡的學習29第4章人工神經(jīng)網(wǎng)絡基礎偏差e注：在訓練過程中，存在一個期望的網(wǎng)絡輸出。它是基于誤差來調(diào)整網(wǎng)絡權值的。應用：感知器網(wǎng)絡;多層前向傳播網(wǎng)絡;Ｂoltzmann機網(wǎng)絡。有導師學習學習算法30第4章人工神經(jīng)網(wǎng)絡基礎注：網(wǎng)絡不存在一個期望的輸出，通過建立一個間接評價函數(shù)，對網(wǎng)絡的某種行為趨向作出評價，改變神經(jīng)網(wǎng)絡數(shù)值。應用：ART網(wǎng)絡；Kohonen自組織網(wǎng)絡。無導師學習學習算法31第4章人工神經(jīng)網(wǎng)絡基礎強化學習把學習看做試探性評價（獎或懲）過程。學習機選擇一種動作作用于環(huán)境之后，使環(huán)境的狀態(tài)改變，并產(chǎn)生強化信號（獎或懲）反饋至學習機。學習機依據(jù)強化信號與環(huán)境當前的狀態(tài)，再選擇下一動作作用于環(huán)境，選擇的原則是使受到獎勵的可能性最大?？梢姡瑥娀盘柺黔h(huán)境對學習機學習結果的一個評價。再勵學習學習算法32第4章人工神經(jīng)網(wǎng)絡基礎相關學習：僅根據(jù)連接間的激活水平改變權系數(shù)。Hebb學習規(guī)則：糾錯學習：根據(jù)輸出節(jié)點的外部反饋改變權系數(shù)。學習規(guī)則：無導師學習：學習表現(xiàn)為自動實現(xiàn)輸入空間的檢測和分類。關鍵不在于實際節(jié)點的輸出怎樣與外部的期望輸出相一致，而在于調(diào)整參數(shù)以反映所觀察事件的分布。學習規(guī)則33第