數(shù)學(xué)建模神經(jīng)網(wǎng)絡(luò)算法課件

數(shù)學(xué)建模神經(jīng)網(wǎng)絡(luò)算法數(shù)學(xué)建模神經(jīng)網(wǎng)絡(luò)算法學(xué)習(xí)目標拓寬視野感受神經(jīng)網(wǎng)絡(luò)算法的應(yīng)用背景能夠用神經(jīng)網(wǎng)絡(luò)算法解決一些簡單問題不探究詳細的理論基礎(chǔ)學(xué)習(xí)目標拓寬視野內(nèi)容安排人工神經(jīng)網(wǎng)絡(luò)簡介人工神經(jīng)網(wǎng)絡(luò)的基本功能人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)M-P模型前饋神經(jīng)網(wǎng)絡(luò)單層感知器多層感知器BP算法BP網(wǎng)絡(luò)應(yīng)用案例（MATLAB計算）內(nèi)容安排人工神經(jīng)網(wǎng)絡(luò)簡介1.人工神經(jīng)網(wǎng)絡(luò)簡介

生物神經(jīng)網(wǎng)絡(luò)人類的大腦大約有1.4×1011個神經(jīng)細胞，亦稱為神經(jīng)元。每個神經(jīng)元有數(shù)以千計的通道同其它神經(jīng)元廣泛相互連接，形成復(fù)雜的生物神經(jīng)網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)以數(shù)學(xué)和物理方法以及信息處理的角度對人腦神經(jīng)網(wǎng)絡(luò)進行抽象，并建立某種簡化模型，就稱為人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork，縮寫ANN）。對人類大腦系統(tǒng)的一階特性的一種描述。（生理角度的模擬）1.人工神經(jīng)網(wǎng)絡(luò)簡介生物神經(jīng)網(wǎng)絡(luò)基本原理存在一些輸入和相應(yīng)的輸出，而對如何由輸入得到輸出的機理并不清楚把輸入與輸出之間的未知過程看成是一個“網(wǎng)絡(luò)”，通過不斷地給這個網(wǎng)絡(luò)輸入和相應(yīng)的輸出來“訓(xùn)練”這個網(wǎng)絡(luò)，網(wǎng)絡(luò)根據(jù)輸入和輸出不斷地調(diào)節(jié)自己的各節(jié)點之間的權(quán)值來滿足輸入和輸出。當訓(xùn)練結(jié)束后，給定一個輸入，網(wǎng)絡(luò)便會根據(jù)已調(diào)節(jié)好的權(quán)值計算出相應(yīng)的輸出?；驹韲栏穸x——ANN最典型的定義由Simpson在1987年提出人工神經(jīng)網(wǎng)絡(luò)是一個非線性的有向圖，圖中含有可以通過改變權(quán)大小來存放模式的加權(quán)邊，并且可以從不完整的或未知的輸入找到模式。ANN算法根據(jù)人的認識過程而開發(fā)出的一種算法嚴格定義——ANN2.人工神經(jīng)網(wǎng)絡(luò)的基本功能（1）聯(lián)想記憶功能由于神經(jīng)網(wǎng)絡(luò)具有分布存儲信息和并行計算的性能，因此它具有對外界刺激信息和輸入模式進行聯(lián)想記憶的能力。聯(lián)想記憶有兩種基本形式自聯(lián)想記憶異聯(lián)想記憶2.人工神經(jīng)網(wǎng)絡(luò)的基本功能（1）聯(lián)想記憶功能自聯(lián)想記憶網(wǎng)絡(luò)中預(yù)先存儲（記憶)多種模式信息當輸入某個已存儲模式的部分信息或帶有噪聲干擾的信息時，網(wǎng)絡(luò)能通過動態(tài)聯(lián)想過程回憶起該模式的全部信息異聯(lián)想記憶網(wǎng)絡(luò)中預(yù)先存儲了多個模式對每一對模式均由兩部分組成，當輸入某個模式對的一部分時，即使輸入信息是殘缺的或迭加了噪聲的，網(wǎng)絡(luò)也能回憶起與其對應(yīng)的另一部分自聯(lián)想記憶不完整模式的自聯(lián)想神經(jīng)網(wǎng)絡(luò)通過預(yù)先存儲信息和學(xué)習(xí)機制進行自適應(yīng)訓(xùn)練，可以從不完整的信息和噪聲干擾中恢復(fù)原始的完整信息這一能力使其在圖象復(fù)原、圖像和語音處理、模式識別、分類等方面具有巨大的潛在應(yīng)用價值不完整模式的自聯(lián)想2.人工神經(jīng)網(wǎng)絡(luò)的基本功能（續(xù)）（2）非線性映射功能2.人工神經(jīng)網(wǎng)絡(luò)的基本功能（續(xù)）（2）非線性映射功能非線性映射功能在客觀世界中，許多系統(tǒng)的輸入與輸出之間存在復(fù)雜的非線性關(guān)系，對于這類系統(tǒng)，往往很難用傳統(tǒng)的數(shù)理方法建立其數(shù)學(xué)模型。設(shè)計合理的神經(jīng)網(wǎng)絡(luò)，通過對系統(tǒng)輸入輸出樣本對進行自動學(xué)習(xí)，能夠以任意精度逼近任意復(fù)雜的非線性映射。神經(jīng)網(wǎng)絡(luò)的這一優(yōu)良性能使其可以作為多維非線性函數(shù)的通用數(shù)學(xué)模型。該模型的表達是非解析的，輸入輸出數(shù)據(jù)之間的映射規(guī)則由神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)階段自動抽取并分布式存儲在網(wǎng)絡(luò)的所有連接中。具有非線性映射功能的神經(jīng)網(wǎng)絡(luò)應(yīng)用十分廣闊，幾乎涉及所有領(lǐng)域。非線性映射功能2.人工神經(jīng)網(wǎng)絡(luò)的基本功能（續(xù)）（3）分類與識別功能2.人工神經(jīng)網(wǎng)絡(luò)的基本功能（續(xù)）（3）分類與識別功能分類與識別功能神經(jīng)網(wǎng)絡(luò)對外界輸入樣本具有很強的識別與分類能力。對輸入樣本的分類實際上是在樣本空間找出符合分類要求的分割區(qū)域，每個區(qū)域內(nèi)的樣本屬于一類。傳統(tǒng)分類方法只適合解決同類相聚，異類分離的的識別與分類問題。但客觀世界中許多事物（例如，不同的圖象、聲音、文字等等）在樣本空間上的區(qū)域分割曲面是十分復(fù)雜的，相近的樣本可能屬于不同的類，而遠離的樣本可能同屬一類。神經(jīng)網(wǎng)絡(luò)可以很好地解決對非線性曲面的逼近，因此比傳統(tǒng)的分類器具有更好的分類與識別能力。分類與識別功能2.人工神經(jīng)網(wǎng)絡(luò)的基本功能（續(xù)）（4）優(yōu)化計算功能2.人工神經(jīng)網(wǎng)絡(luò)的基本功能（續(xù)）（4）優(yōu)化計算功能優(yōu)化計算功能優(yōu)化計算是指在已知的約束條件下，尋找一組參數(shù)組合，使由該組合確定的目標函數(shù)達到最小值。某些類型的神經(jīng)網(wǎng)絡(luò)可以把待求解問題的可變參數(shù)設(shè)計為網(wǎng)絡(luò)的狀態(tài)，將目標函數(shù)設(shè)計為網(wǎng)絡(luò)的能量函數(shù)。神經(jīng)網(wǎng)絡(luò)經(jīng)過動態(tài)演變過程達到穩(wěn)定狀態(tài)時對應(yīng)的能量函數(shù)最小，從而其穩(wěn)定狀態(tài)就是問題的最優(yōu)解。這種優(yōu)化計算不需要對目標函數(shù)求導(dǎo)，其結(jié)果是網(wǎng)絡(luò)自動給出的。優(yōu)化計算功能2.人工神經(jīng)網(wǎng)絡(luò)的基本功能（續(xù)）（5）知識處理功能2.人工神經(jīng)網(wǎng)絡(luò)的基本功能（續(xù)）（5）知識處理功能知識處理功能知識是人們從客觀世界的大量信息以及自身的實踐中總結(jié)歸納出來的經(jīng)驗、規(guī)則和判據(jù)。神經(jīng)網(wǎng)絡(luò)獲得知識的途徑與人類似，也是從對象的輸入輸出信息中抽取規(guī)律而獲得關(guān)于對象的知識，并將知識分布在網(wǎng)絡(luò)的連接中予以存儲。神經(jīng)網(wǎng)絡(luò)的知識抽取能力使其能夠在沒有任何先驗知識的情況下自動從輸入數(shù)據(jù)中提取特征，發(fā)現(xiàn)規(guī)律，并通過自組織過程將自身構(gòu)建成適合于表達所發(fā)現(xiàn)的規(guī)律。另一方面，人的先驗知識可以大大提高神經(jīng)網(wǎng)絡(luò)的知識處理能力，兩者相結(jié)合會使神經(jīng)網(wǎng)絡(luò)智能得到進一步提升。知識處理功能神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程經(jīng)過了4個階段。（1）啟蒙期（1890-1969年）1890年，W.James發(fā)表專著《心理學(xué)》，討論了腦的結(jié)構(gòu)和功能。1943年，心理學(xué)家W.S.McCulloch和數(shù)學(xué)家W.Pitts提出了描述腦神經(jīng)細胞動作的數(shù)學(xué)模型，即M-P模型（第一個神經(jīng)網(wǎng)絡(luò)模型）。1949年，心理學(xué)家Hebb實現(xiàn)了對腦細胞之間相互影響的數(shù)學(xué)描述，從心理學(xué)的角度提出了至今仍對神經(jīng)網(wǎng)絡(luò)理論有著重要影響的Hebb學(xué)習(xí)法則。1958年，E.Rosenblatt提出了描述信息在人腦中貯存和記憶的數(shù)學(xué)模型，即著名的感知機模型（Perceptron）。1962年，Widrow和Hoff提出了自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)，即Adaline網(wǎng)絡(luò)，并提出了網(wǎng)絡(luò)學(xué)習(xí)新知識的方法，即Widrow和Hoff學(xué)習(xí)規(guī)則（即δ學(xué)習(xí)規(guī)則），并用電路進行了硬件設(shè)計。3.神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程經(jīng)過了4個階段。3.神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史3.神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史（續(xù)）（2）低潮期（1969-1982）受當時神經(jīng)網(wǎng)絡(luò)理論研究水平的限制，以及馮·諾依曼式計算機發(fā)展的沖擊等因素的影響，神經(jīng)網(wǎng)絡(luò)的研究陷入低谷。在美、日等國有少數(shù)學(xué)者繼續(xù)著神經(jīng)網(wǎng)絡(luò)模型和學(xué)習(xí)算法的研究，提出了許多有意義的理論和方法。例如，1969年，S.Groisberg和A.Carpentet提出了至今為止最復(fù)雜的ART網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以對任意復(fù)雜的二維模式進行自組織、自穩(wěn)定和大規(guī)模并行處理。1972年，Kohonen提出了自組織映射的SOM模型。3.神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史（續(xù)）（2）低潮期（1969-13.神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史（續(xù)）（3）復(fù)興期（1982-1986）1982年，物理學(xué)家Hoppield提出了Hoppield神經(jīng)網(wǎng)絡(luò)模型，該模型通過引入能量函數(shù)，實現(xiàn)了問題優(yōu)化求解，1984年他用此模型成功地解決了旅行商路徑優(yōu)化問題(TSP)。在1986年，在Rumelhart和McCelland等出版《ParallelDistributedProcessing》一書，提出了一種著名的多層神經(jīng)網(wǎng)絡(luò)模型，即BP網(wǎng)絡(luò)。該網(wǎng)絡(luò)是迄今為止應(yīng)用最普遍的神經(jīng)網(wǎng)絡(luò)。3.神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史（續(xù)）（3）復(fù)興期（1982-13.神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史（續(xù)）（4）新連接機制時期（1986-現(xiàn)在）神經(jīng)網(wǎng)絡(luò)從理論走向應(yīng)用領(lǐng)域，出現(xiàn)了神經(jīng)網(wǎng)絡(luò)芯片和神經(jīng)計算機。神經(jīng)網(wǎng)絡(luò)主要應(yīng)用領(lǐng)域有模式識別與圖象處理（語音、指紋、故障檢測和圖象壓縮等）控制與優(yōu)化預(yù)測與管理（市場預(yù)測、風險分析）等3.神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史（續(xù)）（4）新連接機制時期（1

神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究結(jié)果表明，神經(jīng)元(Neuron)是腦組織的基本單元，是人腦信息處理系統(tǒng)的最小單元。4.人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ) 神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究結(jié)果表明，神經(jīng)元(Neuron神經(jīng)元及其聯(lián)接；神經(jīng)元之間的聯(lián)接強度決定信號傳遞的強弱；神經(jīng)元之間的聯(lián)接強度是可以隨訓(xùn)練改變的；信號可以是起刺激作用的，也可以是起抑制作用的；一個神經(jīng)元接受的信號的累積效果決定該神經(jīng)元的狀態(tài)；每個神經(jīng)元可以有一個“閾值”神經(jīng)元及其聯(lián)接；4.1生物神經(jīng)元的信息處理機理（1）信息的產(chǎn)生

神經(jīng)元間信息的產(chǎn)生、傳遞和處理是一種電化學(xué)活動。

神經(jīng)元狀態(tài)靜息興奮抑制

膜電位極化去極化超極化4.1生物神經(jīng)元的信息處理機理（1）信息的產(chǎn)生神經(jīng)元間信數(shù)學(xué)建模神經(jīng)網(wǎng)絡(luò)算法課件4.1生物神經(jīng)元的信息處理機理（續(xù)）（2）信息的傳遞與接收4.1生物神經(jīng)元的信息處理機理（續(xù)）（2）信息的傳遞與接收4.1生物神經(jīng)元的信息處理機理（續(xù)）（3）信息的整合空間整合同一時刻產(chǎn)生的刺激所引起的膜電位變化，大致等于各單獨刺激引起的膜電位變化的代數(shù)和時間整合各輸入脈沖抵達神經(jīng)元的時間先后不一樣。總的突觸后膜電位為一段時間內(nèi)的累積4.1生物神經(jīng)元的信息處理機理（續(xù)）（3）信息的整合空間整4.2神經(jīng)元的人工模型

神經(jīng)元及其突觸是神經(jīng)網(wǎng)絡(luò)的基本器件。因此，模擬生物神經(jīng)網(wǎng)絡(luò)應(yīng)首先模擬生物神經(jīng)元人工神經(jīng)元(節(jié)點),從三個方面進行模擬:節(jié)點本身的信息處理能力(數(shù)學(xué)模型)節(jié)點與節(jié)點之間連接(拓撲結(jié)構(gòu))相互連接的強度(通過學(xué)習(xí)來調(diào)整)決定人工神經(jīng)網(wǎng)絡(luò)整體性能的三大要素4.2神經(jīng)元的人工模型神經(jīng)元及其突觸是神經(jīng)網(wǎng)絡(luò)的基

神經(jīng)元的建模(1)每個神經(jīng)元都是一個多輸入單輸出的信息處理單元；(2)神經(jīng)元輸入分興奮性輸入和抑制性輸入兩種類型；(6)神經(jīng)元本身是非時變的，即其突觸時延和突觸強度均為常數(shù)。(3)神經(jīng)元具有空間整合特性和閾值特性；(4)神經(jīng)元輸入與輸出間有固定的時滯,主要取決于突觸延擱；(5)忽略時間整合作用；模型的六點假設(shè)：神經(jīng)元的建模(1)每個神經(jīng)元都是一個多輸入單輸出的信息處假設(shè)1：多輸入單輸出正如生物神經(jīng)元有許多激勵輸入一樣，人工神經(jīng)元也應(yīng)該有許多的輸入信號圖中，每個輸入的大小用確定數(shù)值xi表示，它們同時輸入神經(jīng)元j，神經(jīng)元的單輸出用oj表示。假設(shè)1：多輸入單輸出假設(shè)2：輸入類型——興奮性和抑制性生物神經(jīng)元具有不同的突觸性質(zhì)和突觸強度，其對輸入的影響是使有些輸入在神經(jīng)元產(chǎn)生脈沖輸出過程中所起的作用比另外一些輸入更為重要。圖中，對神經(jīng)元的每一個輸入都有一個加權(quán)系數(shù)wij，稱為權(quán)重值，其正負模擬了生物神經(jīng)元中突觸的興奮和抑制，其大小則代表了突觸的不同連接強度。假設(shè)2：輸入類型——興奮性和抑制性假設(shè)3：空間整合特性和閾值特性作為ANN的基本處理單元，必須對全部輸入信號進行整合，以確定各類輸入的作用總效果圖中，表示組合輸入信號的“總和值”，相應(yīng)于生物神經(jīng)元的膜電位。神經(jīng)元激活與否取決于某一閾值電平，即只有當其輸入總和超過閾值時,神經(jīng)元才被激活而發(fā)放脈沖,否則神經(jīng)元不會產(chǎn)生輸出信號。假設(shè)3：空間整合特性和閾值特性作為ANN的基本處理單元，必須神經(jīng)元的輸出圖中，人工神經(jīng)元的輸出也同生物神經(jīng)元一樣僅有一個如，用oj表示神經(jīng)元輸出，則輸出與輸入之間的對應(yīng)關(guān)系可用圖中的某種非線性函數(shù)來表示。神經(jīng)元的輸出圖中，人工神經(jīng)元的輸出也同生物神經(jīng)元一樣僅有一個神經(jīng)元模型示意圖神經(jīng)元模型示意圖4.2.1人工神經(jīng)元的數(shù)學(xué)模型人工神經(jīng)元模擬生物神經(jīng)元的一階特性，具有生物神經(jīng)元的六大特征一個人工神經(jīng)元一般有多個輸入和一個輸出一個人工神經(jīng)元有一個轉(zhuǎn)移函數(shù)（激發(fā)函數(shù)），不同的轉(zhuǎn)移函數(shù)對應(yīng)了不同的網(wǎng)絡(luò)，也決定了網(wǎng)絡(luò)的用途4.2.1人工神經(jīng)元的數(shù)學(xué)模型人工神經(jīng)元模擬生物神經(jīng)元的一4.2.1人工神經(jīng)元的數(shù)學(xué)模型τij——輸入輸出間的突觸時延；

Tj——神經(jīng)元j的閾值；

wij——神經(jīng)元i到j(luò)的突觸連接系數(shù)或稱權(quán)重值；

f()——神經(jīng)元轉(zhuǎn)移函數(shù)。(4.1)4.2.1人工神經(jīng)元的數(shù)學(xué)模型τij——輸入輸出間的突觸為簡單起見，將4.1上式中的突觸時延取為單位時間，則式(4.1)可寫為4.2式。上式描述的神經(jīng)元數(shù)學(xué)模型全面表達了神經(jīng)元模型的6點假定。其中輸入xi的下標i=1,2,…,n，輸出oj的下標j體現(xiàn)了神經(jīng)元模型假定(1)中的“多輸入單輸出”。權(quán)重值wij的正負體現(xiàn)了假定(2)中“突觸的興奮與抑制”。Tj代表假定(3)中神經(jīng)元的“閾值”；“輸入總和”常稱為神經(jīng)元在t時刻的凈輸入，用下面的式子表示：(4.2)為簡單起見，將4.1上式中的突觸時延取為單位時間，則式(4.(4.3)

net’j=WjTX

Wj=(w1w2…wn)TX=(x1x2…xn)T

令x0=-1，w0=Tj

則有-Tj=x0w0(4.4)4.2.1人工神經(jīng)元的數(shù)學(xué)模型（續(xù)）(4.3)net’j=WjTXWj=(w1w2…w4.2.1

人工神經(jīng)元的數(shù)學(xué)模型（續(xù)）net’j(t)體現(xiàn)了神經(jīng)元j的空間整合特性而未考慮時間整合，當net’j-Tj>0時，神經(jīng)元才能被激活。oj(t+1)與xI(t之間的單位時差代表所有神經(jīng)元具有相同的、恒定的工作節(jié)律，對應(yīng)于假定(4)中的“突觸延擱”；wij與時間無關(guān)體現(xiàn)了假定(6)中神經(jīng)元的“非時變”。為簡便起見，在后面用到式(2.3)時，常將其中的(t)省略。式(2.3)還可表示為權(quán)重向量Wj和輸入向量X的點積WTX。其中Wj和X均為列向量，定義為Wj=(w1w2…wn）T，X=(x1x2…xn)T如果令x0=-1，w0=Tj，則有-Tj=x0w0，因此凈輸入與閾值之差可表達為:4.2.1人工神經(jīng)元的數(shù)學(xué)模型（續(xù)）net’j(t)體現(xiàn)(4.5)oj=f(netj)=f(WjTX)(4.6)4.2.1人工神經(jīng)元的數(shù)學(xué)模型（續(xù)）綜合以上各式，神經(jīng)元模型可簡化為：(4.5)oj=f(netj)=f(人工神經(jīng)元的轉(zhuǎn)移函數(shù)神經(jīng)元各種不同數(shù)學(xué)模型的主要區(qū)別在于采用了不同的轉(zhuǎn)移函數(shù)，從而使神經(jīng)元具有不同的信息處理特性。神經(jīng)元的信息處理特性是決定人工神經(jīng)網(wǎng)絡(luò)整體性能的三大要素之一，反映了神經(jīng)元輸出與其激活狀態(tài)之間的關(guān)系，最常用的轉(zhuǎn)移函數(shù)有4種形式。人工神經(jīng)元的轉(zhuǎn)移函數(shù)神經(jīng)元各種不同數(shù)學(xué)模型的主要區(qū)別在于采用(1)閾值型轉(zhuǎn)移函數(shù) 1x≥0 f(x)=(4.7)

0x＜0 人工神經(jīng)元的轉(zhuǎn)移函數(shù)單位階躍函數(shù)，也稱為硬限幅函數(shù)(1)閾值型轉(zhuǎn)移函數(shù) 1x≥0 人工神經(jīng)元的轉(zhuǎn)移(2)非線性轉(zhuǎn)移函數(shù)人工神經(jīng)元的轉(zhuǎn)移函數(shù)(2)非線性轉(zhuǎn)移函數(shù)人工神經(jīng)元的轉(zhuǎn)移函數(shù)非線性轉(zhuǎn)移函數(shù)為實數(shù)域R到[0.1]閉集的非減連續(xù)函數(shù)，代表了狀態(tài)連續(xù)型神經(jīng)元模型。非線性轉(zhuǎn)移函數(shù)稱為sigmoid，簡稱S型函數(shù)。特點是函數(shù)本身及其導(dǎo)數(shù)都是連續(xù)的，因而在處理上十分方便。

S型函數(shù)函數(shù)又分為單極性和雙極性兩種。非線性轉(zhuǎn)移函數(shù)為實數(shù)域R到[0.1]閉集的非減連續(xù)函數(shù)，代表(3)分段線性轉(zhuǎn)移函數(shù) 0x≤0 f(x)= cx0＜

x≤xc(4.9) 1xc＜

x 人工神經(jīng)元的轉(zhuǎn)移函數(shù)神經(jīng)元的輸入與輸出在一定區(qū)間內(nèi)滿足線性關(guān)系，模擬了實際系統(tǒng)中的飽和特性也稱為偽線性函數(shù)(3)分段線性轉(zhuǎn)移函數(shù) 0x≤0 人工神(4)概率型轉(zhuǎn)移函數(shù)溫度參數(shù)人工神經(jīng)元的轉(zhuǎn)移函數(shù)采用概率型轉(zhuǎn)移函數(shù)的神經(jīng)元模型其輸入與輸出之間的關(guān)系是不確定的，需用一個隨機函數(shù)來描述輸出狀態(tài)為1或為0的概率。上式中，T稱為溫度參數(shù)。由于采用該轉(zhuǎn)移函數(shù)的神經(jīng)元輸出狀態(tài)分布與熱力學(xué)中的玻爾茲曼（Boltzmann）分布類似，因此這種神經(jīng)元模型也稱為熱力學(xué)模型。(4)概率型轉(zhuǎn)移函數(shù)溫度參數(shù)人工神經(jīng)元的轉(zhuǎn)移函數(shù)采用概率型轉(zhuǎn)4.2.2神經(jīng)網(wǎng)絡(luò)模型分多層，層數(shù)根據(jù)實際需求設(shè)定：輸入層、隱含層、輸出層層數(shù)越多越準確，計算時間越長人工神經(jīng)元——圖中的每個節(jié)點4.2.2神經(jīng)網(wǎng)絡(luò)模型分多層，層數(shù)根據(jù)實際需求設(shè)定：輸入層人工神經(jīng)網(wǎng)絡(luò)模型分類按網(wǎng)絡(luò)連接的拓撲結(jié)構(gòu)分類層次型結(jié)構(gòu)互連型網(wǎng)絡(luò)結(jié)構(gòu)按網(wǎng)絡(luò)內(nèi)部的信息流向分類前饋型網(wǎng)絡(luò)反饋型網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)模型分類按網(wǎng)絡(luò)連接的拓撲結(jié)構(gòu)分類（一）網(wǎng)絡(luò)拓撲結(jié)構(gòu)類型

層次型結(jié)構(gòu)將神經(jīng)元按功能分成若干層，如輸入層、中間層（隱層）和輸出層，各層順序相連?；ミB型網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)中任意兩個節(jié)點之間都可能存在連接路徑.（一）網(wǎng)絡(luò)拓撲結(jié)構(gòu)類型層次型結(jié)構(gòu)層次型網(wǎng)絡(luò)模型層次型結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)將神經(jīng)元按功能分成若干層，如輸入層、中間層（也稱為隱層）和輸出層，各層順序相連。輸入層各神經(jīng)元負責接收來自外界的輸入信息，并傳遞給中間各隱層神經(jīng)元；隱層是神經(jīng)網(wǎng)絡(luò)的內(nèi)部信息處理層，負責信息變換，根據(jù)信息變換能力的需要，隱層可為設(shè)計一層或多層；最后一個隱層傳遞到輸出層各神經(jīng)元的信息經(jīng)進一步處理后即完成一次信息處理，由輸出層向外界輸出信息處理結(jié)果。層次型網(wǎng)絡(luò)結(jié)構(gòu)有3種典型的結(jié)合方式。層次型網(wǎng)絡(luò)模型層次型結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)將神經(jīng)元按功能分成若干層，層次型模型(1)單純型層次網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)元分層排列，各層神經(jīng)元接收前一層輸入并輸出到下一層；層內(nèi)神經(jīng)元自身以及神經(jīng)元之間不存在連接通路。層次型模型(1)單純型層次網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)元分層排列，各層神經(jīng)元層次型模型（2）輸出層到輸入層有連接輸入層神經(jīng)元既可接收輸入，也具有信息處理功能層次型模型（2）輸出層到輸入層有連接輸入層神經(jīng)元既可接收輸入層次型模型（3）層內(nèi)有連接層次型結(jié)構(gòu)同一層內(nèi)神經(jīng)元有互連；特點是在同一層內(nèi)引入神經(jīng)元間的側(cè)向作用，使得能同時激活的神經(jīng)元個數(shù)可控，以實現(xiàn)各層神經(jīng)元的自組織。層次型模型（3）層內(nèi)有連接層次型結(jié)構(gòu)同一層內(nèi)神經(jīng)元有互連；互聯(lián)型網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)中任意兩個節(jié)點之間都可能存在連接路徑，因此可以根據(jù)網(wǎng)絡(luò)中節(jié)點的互連程度將互連型網(wǎng)絡(luò)結(jié)構(gòu)細分為三種情況：(1)全互連型：網(wǎng)絡(luò)中的每個節(jié)點均與所有其它節(jié)點連接互聯(lián)型網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)中任意兩個節(jié)點之間都可能存在連接路徑，因互聯(lián)型網(wǎng)絡(luò)結(jié)構(gòu)（2）局部互連型網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)中的每個節(jié)點只與其鄰近的節(jié)點有連接（3）稀疏連接型：網(wǎng)絡(luò)中的節(jié)點只與少數(shù)相距較遠的節(jié)點相連

互聯(lián)型網(wǎng)絡(luò)結(jié)構(gòu)（2）局部互連型網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)中的每個節(jié)點只與其說明：神經(jīng)網(wǎng)絡(luò)的分層結(jié)構(gòu)與激發(fā)函數(shù)一起決定了神經(jīng)網(wǎng)絡(luò)的不同還可分為單級網(wǎng)多級網(wǎng)反饋網(wǎng)循環(huán)網(wǎng)等說明：神經(jīng)網(wǎng)絡(luò)的分層結(jié)構(gòu)與激發(fā)函數(shù)一起決定了神經(jīng)網(wǎng)絡(luò)的不同簡單單級網(wǎng)……x1x2…xno1o2omwnmw11w1mw2mwn1輸出層輸入層 簡單單級網(wǎng)……x1x2…xno1o2omwnmw11w1mw簡單單級網(wǎng)W=（wij）輸出層的第j個神經(jīng)元的網(wǎng)絡(luò)輸入記為netj：

netj=x1w1j+x2w2j+…+xnwnj

其中,1≤j≤m。取NET=（net1，net2，…，netm）NET=XWO=F（NET）簡單單級網(wǎng)W=（wij）單級橫向反饋網(wǎng)輸出層x1o1w11w1mx2o2w2m………xnomwn1輸入層 V單級橫向反饋網(wǎng)輸出層x1o1w11w1mx2o2w2m………單級橫向反饋網(wǎng)

反饋權(quán)值矩陣：V=（vij）神經(jīng)元的網(wǎng)絡(luò)輸入：NET=XW+OV網(wǎng)絡(luò)輸出：O=F（NET）反饋網(wǎng)中可以引入時間參數(shù)神經(jīng)元的狀態(tài)在主時鐘的控制下同步變化NET（t+1）=X（t）W+O（t）V O(t+1)=F(NET(t+1))O（0）=0單級橫向反饋網(wǎng)反饋權(quán)值矩陣：V=（vij）多級網(wǎng)輸出層隱藏層輸入層o1o2om…x1x2xn………………多級網(wǎng)輸出層隱藏層輸入層o1o2om…x1x2xn……………層次劃分

信號只被允許從較低層流向較高層。層號確定層的高低：層號較小者，層次較低，層號較大者，層次較高。輸入層：被記作第0層。該層負責接收來自網(wǎng)絡(luò)外部的信息輸出層隱藏層輸入層o1o2om…x1x2xn………………多級網(wǎng)層次劃分輸出層隱藏層輸入層o1o2om…x1x2xn………第j層：第j-1層的直接后繼層（j>0），它直接接受第j-1層的輸出。輸出層：它是網(wǎng)絡(luò)的最后一層，具有該網(wǎng)絡(luò)的最大層號，負責輸出網(wǎng)絡(luò)的計算結(jié)果。隱藏層：除輸入層和輸出層以外的其它各層叫隱藏層。隱藏層不直接接受外界的信號，也不直接向外界發(fā)送信號輸出層隱藏層輸入層o1o2om…x1x2xn………………多級網(wǎng)第j層：第j-1層的直接后繼層（j>0），它直接接受第j-1約定:輸出層的層號為該網(wǎng)絡(luò)的層數(shù)：n層網(wǎng)絡(luò)，或n級網(wǎng)絡(luò)。第j-1層到第j層的聯(lián)接矩陣為第j層聯(lián)接矩陣，輸出層對應(yīng)的矩陣叫輸出層聯(lián)接矩陣。今后，在需要的時候，一般我們用W（j）表示第j層矩陣。輸出層隱藏層輸入層o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)多級網(wǎng)約定:輸出層隱藏層輸入層o1o2om…x1x2xn…………多級網(wǎng)——h層網(wǎng)絡(luò)輸出層隱藏層輸入層o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)多級網(wǎng)——h層網(wǎng)絡(luò)輸出層隱藏層輸入層o1o2om…x1x2x多級網(wǎng)非線性激活函數(shù)F(X)=kX+C每層的網(wǎng)絡(luò)輸出舉例F1(XW(1))F3(F2(F1(XW(1))W(2))W(3))多級網(wǎng)非線性激活函數(shù)循環(huán)網(wǎng)x1o1輸出層隱藏層輸入層x2o2omxn…………………循環(huán)網(wǎng)x1o1輸出層隱藏層輸入層x2o2omxn………………循環(huán)網(wǎng)

將輸出信號反饋到輸入端輸入的原始信號被逐步地“加強”、被“修復(fù)”符合大腦的短期記憶特征看到的東西不是一下子就從腦海里消失的網(wǎng)絡(luò)的穩(wěn)定性反饋信號會引起網(wǎng)絡(luò)輸出的不斷變化我們希望這種變化逐漸減小，并且最后能消失當變化最后消失時，網(wǎng)絡(luò)達到了平衡狀態(tài)。如果這種變化不能消失，則稱該網(wǎng)絡(luò)是不穩(wěn)定的。循環(huán)網(wǎng)將輸出信號反饋到輸入端（二）網(wǎng)絡(luò)信息流向類型前饋型網(wǎng)絡(luò)前饋:網(wǎng)絡(luò)信息處理的方向是從輸入層到各隱層再到輸出層逐層進行反饋型網(wǎng)絡(luò)在反饋網(wǎng)絡(luò)中所有節(jié)點都具有信息處理功能，而且每個節(jié)點既可以從外界接收輸入，同時又可以向外界輸出。（二）網(wǎng)絡(luò)信息流向類型前饋型網(wǎng)絡(luò)（二）網(wǎng)絡(luò)信息流向類型（1）前饋型網(wǎng)絡(luò)前饋是因網(wǎng)絡(luò)信息處理的方向是從輸入層到各隱層再到輸出層逐層進行而得名（二）網(wǎng)絡(luò)信息流向類型（1）前饋型網(wǎng)絡(luò)前饋是因網(wǎng)絡(luò)信息處理的單純前饋型（上圖）從信息處理能力看，網(wǎng)絡(luò)中的節(jié)點可分為兩種一種是輸入節(jié)點，只負責從外界引入信息后向前傳遞給第一隱層；另一種是具有處理能力的節(jié)點，包括各隱層和輸出層節(jié)點。前饋網(wǎng)絡(luò)中一層的輸出是下一層的輸入，信息的處理具有逐層傳遞進行的方向性，一般不存在反饋環(huán)路。因此這類網(wǎng)絡(luò)很容易串聯(lián)起來建立多層前饋網(wǎng)絡(luò)。單純前饋型（上圖）多層前饋網(wǎng)絡(luò)可用一個有向無環(huán)路的圖表示輸入層常記為網(wǎng)絡(luò)的第一層，第一個隱層記為網(wǎng)絡(luò)的第二層，其余類推。所以，當提到具有單層計算神經(jīng)元的網(wǎng)絡(luò)時，指的應(yīng)是一個兩層前饋網(wǎng)絡(luò)（輸入層和輸出層）當提到具有單隱層的網(wǎng)絡(luò)時，指的應(yīng)是一個三層前饋網(wǎng)絡(luò)多層前饋網(wǎng)絡(luò)可用一個有向無環(huán)路的圖表示（二）網(wǎng)絡(luò)信息流向類型（2）反饋型網(wǎng)絡(luò)在反饋網(wǎng)絡(luò)中所有節(jié)點都具有信息處理功能，而且每個節(jié)點既可以從外界接收輸入，同時又可以向外界輸出。（二）網(wǎng)絡(luò)信息流向類型（2）反饋型網(wǎng)絡(luò)在反饋網(wǎng)絡(luò)中所有節(jié)點都單純反饋型網(wǎng)絡(luò)單層全互連結(jié)構(gòu)網(wǎng)絡(luò)：是一種典型的反饋型網(wǎng)絡(luò)，可以用上圖所示的完全的無向圖表示。注意上面介紹的分類方法、結(jié)構(gòu)形式和信息流向只是對目前常見的網(wǎng)絡(luò)結(jié)構(gòu)的概括和抽象。實際應(yīng)用的神經(jīng)網(wǎng)絡(luò)可能同時兼有其中一種或幾種形式。例如，從連接形式看，層次網(wǎng)絡(luò)中可能出現(xiàn)局部的互連；從信息流向看，前饋網(wǎng)絡(luò)中可能出現(xiàn)局部反饋。單純反饋型網(wǎng)絡(luò)4.2.3

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)

神經(jīng)網(wǎng)絡(luò)能夠通過對樣本的學(xué)習(xí)訓(xùn)練，不斷改變網(wǎng)絡(luò)的連接權(quán)值以及拓撲結(jié)構(gòu)，以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。這一過程稱為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)或訓(xùn)練，其本質(zhì)是可變權(quán)值的動態(tài)調(diào)整。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式是決定神經(jīng)網(wǎng)絡(luò)信息處理性能的第三大要素（神經(jīng)網(wǎng)絡(luò)研究的重點）。改變權(quán)值的規(guī)則稱為學(xué)習(xí)規(guī)則或?qū)W習(xí)算法（亦稱訓(xùn)練規(guī)則或訓(xùn)練算法）。在單個處理單元層次，無論采用哪種學(xué)習(xí)規(guī)則進行調(diào)整，其算法都十分簡單。但當大量處理單元集體進行權(quán)值調(diào)整時，網(wǎng)絡(luò)就呈現(xiàn)出“智能”特性，其中有意義的信息就分布地存儲在調(diào)節(jié)后的權(quán)值矩陣中。4.2.3神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)能夠通過對樣本的學(xué)習(xí)訓(xùn)練，4.2.3神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)：分類有導(dǎo)師學(xué)習(xí)(有監(jiān)督學(xué)習(xí))這種學(xué)習(xí)模式采用的是糾錯規(guī)則。在學(xué)習(xí)訓(xùn)練過程中需要不斷給網(wǎng)絡(luò)成對提供一個輸入模式和一個期望網(wǎng)絡(luò)正確輸出的模式，稱為“教師信號”。將神經(jīng)網(wǎng)絡(luò)的實際輸出同期望輸出進行比較，當網(wǎng)絡(luò)的輸出與期望的教師信號不符時，根據(jù)差錯的方向和大小按一定的規(guī)則調(diào)整權(quán)值。當網(wǎng)絡(luò)對于各種給定的輸入均能產(chǎn)生所期望的輸出時，即認為網(wǎng)絡(luò)已經(jīng)在導(dǎo)師的訓(xùn)練下“學(xué)會”了訓(xùn)練數(shù)據(jù)集中包含的知識和規(guī)則，可以用來進行工作了。4.2.3神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)：分類有導(dǎo)師學(xué)習(xí)(有監(jiān)督學(xué)習(xí))無導(dǎo)師學(xué)習(xí)(無監(jiān)督學(xué)習(xí))學(xué)習(xí)過程中，需要不斷給網(wǎng)絡(luò)提供動態(tài)輸入信息，網(wǎng)絡(luò)能根據(jù)特有的內(nèi)部結(jié)構(gòu)和學(xué)習(xí)規(guī)則，在輸入信息流中發(fā)現(xiàn)任何可能存在的模式和規(guī)律，同時能根據(jù)網(wǎng)絡(luò)的功能和輸入信息調(diào)整權(quán)值，這個過程稱為網(wǎng)絡(luò)的自組織其結(jié)果是使網(wǎng)絡(luò)能對屬于同一類的模式進行自動分類。在這種學(xué)習(xí)模式中，網(wǎng)絡(luò)的權(quán)值調(diào)整不取決于外來教師信號的影響，可以認為網(wǎng)絡(luò)的學(xué)習(xí)評價標準隱含于網(wǎng)絡(luò)的內(nèi)部。無導(dǎo)師學(xué)習(xí)(無監(jiān)督學(xué)習(xí))死記式學(xué)習(xí)是指網(wǎng)絡(luò)事先設(shè)計成能記憶特別的例子，以后當給定有關(guān)該例子的輸入信息時，例子便被回憶起來。死記式學(xué)習(xí)中網(wǎng)絡(luò)的權(quán)值一旦設(shè)計好了就不再變動，因此其學(xué)習(xí)是一次性的，而不是一個訓(xùn)練過程。死記式學(xué)習(xí)學(xué)習(xí)的過程（權(quán)值調(diào)整的一般情況）學(xué)習(xí)的過程（權(quán)值調(diào)整的一般情況）4.2.3

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)4.2.3神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)5.M-P模型M-P（McCulloch—Pitts）模型，也稱為處理單元（PE）

x2w2

∑fo=f（net）xnwn…net=XWx1w1輸入：X=（x1，x2，…，xn）聯(lián)接權(quán)：W=（w1，w2，…，wn）T網(wǎng)絡(luò)輸入：net=∑xiwi=XW

輸出：o=f（net）5.M-P模型M-P（McCulloch—Pitts）模型6.前饋神經(jīng)網(wǎng)絡(luò)1958年，美國心理學(xué)家FrankRosenblatt提出一種具有單層計算單元的神經(jīng)網(wǎng)絡(luò)，稱為Perceptron，即感知器。感知器是模擬人的視覺接受環(huán)境信息，并由神經(jīng)沖動進行信息傳遞的層次型神經(jīng)網(wǎng)絡(luò)。感知器研究中首次提出了自組織、自學(xué)習(xí)的思想，而且對所能解決的問題存在著收斂算法，并能從數(shù)學(xué)上嚴格證明，因而對神經(jīng)網(wǎng)絡(luò)研究起了重要推動作用。6.前饋神經(jīng)網(wǎng)絡(luò)1958年，美國心理學(xué)家FrankRos6.1單層感知器單層感知器的結(jié)構(gòu)與功能都非常簡單，以至于在解決實際問題時很少采用，但由于它在神經(jīng)網(wǎng)絡(luò)研究中具有重要意義，是研究其它網(wǎng)絡(luò)的基礎(chǔ)，而且較易學(xué)習(xí)和理解，適合于作為學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的起點。單層感知器是指只有一層處理單元的感知器，如果包括輸入層在內(nèi)，應(yīng)為兩層。圖中輸入層也稱為感知層，有n個神經(jīng)元節(jié)點，這些節(jié)點只負責引入外部信息，自身無信息處理能力，每個節(jié)點接收一個輸入信號，n個輸入信號構(gòu)成輸入列向量X。輸出層也稱為處理層，有m個神經(jīng)元節(jié)點，每個節(jié)點均具有信息處理能力，m個節(jié)點向外部輸出處理信息，構(gòu)成輸出列向量O。兩層之間的連接權(quán)值用權(quán)值列向量Wj表示，m個權(quán)向量構(gòu)成單層感知器的權(quán)值矩陣W。6.1單層感知器單層感知器的結(jié)構(gòu)與功能都非常簡單，以至于在感知器模型單層感知器

最早也是最簡單的一種神經(jīng)網(wǎng)絡(luò)，它的神經(jīng)元激發(fā)函數(shù)為階躍函數(shù)，主要用于分類感知器神經(jīng)元感知器模型單層感知器最早也是最簡單的一種神經(jīng)網(wǎng)絡(luò)，它的神經(jīng)j=1,2,…,m

感知器模型j=1,2,…,m感知器模型凈輸入：輸出：感知器模型

令x0=-1，w0=Tj

則有-Tj=x0w0凈輸入：輸出：感知器模型令x0=-1，w0=(1)設(shè)輸入向量X=(x1,x2)T輸出：則由方程wijx1+w2jx2-Tj=0

確定了二維平面上的一條分界線ojx1-1x2感知器的功能(1)設(shè)輸入向量X=(x1,x2)T輸出：則由方程（1）輸入是二維w1jx1+w2jx2–Tj=0 w1jx1=Tj-w2jx2 x1=(Tj-w2jx2)/w1j

=-(w2j/w1j)x2+Tj/w1j=a

x2+c

（1）輸入是二維w1jx1+w2jx2–Tj=0感知器的功能（二維）感知器的功能（二維）感知器的功能線上方的樣本用*表示，它們使netj>0，從而使輸出為1；線下方的樣本用o表示，它們使netj<0，從而使輸出為-1。由感知器權(quán)值和閾值確定的直線方程規(guī)定了分界線在樣本空間的位置，從而也確定了如何將輸入樣本分為兩類。假如分界線的初始位置不能將*類樣本同o類樣本正確分開，改變權(quán)值和閾值，分界線也會隨之改變，因此總可以將其調(diào)整到正確分類的位置。感知器的功能線上方的樣本用*表示，它們使netj>0，從而使(2)設(shè)輸入向量X=(x1,x2,x3)T輸出：則由方程wijx1+w2jx2+w3j

–Tj=0確定了三維空間上的一個分界平面x2ojx1x3-1感知器的功能(2)設(shè)輸入向量X=(x1,x2,x3)T輸出：則由方程（2）輸入是三維wijx1+w2jx2+w3j

x3–Tj=0

x1=a

x2+b

x3+c

（2）輸入是三維wijx1+w2jx2+w3jx3感知器的功能線上方的樣本用*表示，它們使netj>0，從而使輸出為1；線下方的樣本用o表示，它們使netj<0，從而使輸出為-1。顯然，由感知器權(quán)值和閾值確定的直線方程規(guī)定了分界平面在樣本空間的位置，從而也確定了如何將輸入樣本分為兩類。假如分界平面的初始位置不能將*類樣本同o類樣本正確分開，改變權(quán)值和閾值，分界平面也會隨之改變，因此總可以將其調(diào)整到正確分類的位置。感知器的功能線上方的樣本用*表示，它們使netj>0，從而使(3)設(shè)輸入向量X=(x1，x2,…，xn)T則由方程wijx1+w2jx2+…+wnj

–Tj=0確定了n維空間上的一個分界平面(超平面），該平面可以將輸入樣本分為兩類輸出：wijx1+w2jx2+…+wnj

–Tj=0感知器的功能(3)設(shè)輸入向量X=(x1，x2,…，xn)T則由方程一個最簡單的單計算節(jié)點感知器具有分類功能。其分類原理是將分類知識存儲于感知器的權(quán)向量（包含了閾值）中，由權(quán)向量確定的分類判決界面將輸入模式分為兩類。感知器的功能一個最簡單的單計算節(jié)點感知器具有分類功能。感知器的功能例一用感知器實現(xiàn)邏輯“與”功能x1 x2 y0 0 00 1 01 0 01 1

1邏輯“與”真值表從真值表中可以看出，4個樣本的輸出有兩種情況，一種使輸出為0，另一種使輸出為1，因此屬于分類問題。例一用感知器實現(xiàn)邏輯“與”功能x1 x2 y邏輯“與”真例一用感知器實現(xiàn)邏輯“與”功能感知器結(jié)構(gòu)和訓(xùn)練結(jié)果wix1+w2x2-T=0

0.5x1+0.5x2-0.75=0用單計算節(jié)點感知器實現(xiàn)，用感知器學(xué)習(xí)規(guī)則進行訓(xùn)練，得到的連接權(quán)值如右圖例一用感知器實現(xiàn)邏輯“與”功能感知器結(jié)構(gòu)和訓(xùn)練結(jié)果wix例二用感知器實現(xiàn)邏輯“或”功能x1 x2 y0 0 00 1 11 0 11 1 1邏輯“或”真值表例二用感知器實現(xiàn)邏輯“或”功能x1 x2 y邏輯“或”真例二用感知器實現(xiàn)邏輯“或”功能感知器結(jié)構(gòu)wix1+w2x2-T=0

x1+x2-0.5=0例二用感知器實現(xiàn)邏輯“或”功能感知器結(jié)構(gòu)wix1+w2x思考并回答分界線的方程是什么？感知器的模型如何表示？圖示？數(shù)學(xué)表達式？思考并回答分界線的方程是什么？問題：能否用感知器實現(xiàn)“異或”功能？“異或”的真值表x1 x2 y 0 0 0 0 1 1 1 0 1 1 1 0感知器的局限性4個樣本也分為兩類，但任何直線也不可能把兩類樣本分開；如果兩類樣本可以用直線、平面或超平面分開，稱為線性可分，否則為線性不可分；由感知器分類的幾何意義可知，由于凈輸入為零確定的分類判決方程是線性方程，因而它只能解決線性可分問題而不可能解決線性不可分問題。由此可知，單計算層感知器的局限性是僅對線性可分問題具有分類能力。問題：能否用感知器實現(xiàn)“異或”功能？“異或”的真值表x1 x感知器的學(xué)習(xí)關(guān)鍵問題就是求感知器的學(xué)習(xí)關(guān)鍵問題就是求感知器的學(xué)習(xí)算法Perceptron(感知器)學(xué)習(xí)規(guī)則式中，當實際輸出與期望值相同時，權(quán)值不需要調(diào)整。感知器學(xué)習(xí)規(guī)則代表一種有導(dǎo)師學(xué)習(xí)。感知器的學(xué)習(xí)算法Perceptron(感知器)學(xué)習(xí)規(guī)則式中，感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟：(1)對各權(quán)值w0j(0),w1j(0),…,wnj(0)，j=1,2,…,m

（m為計算層的節(jié)點數(shù)）賦予較小的非零隨機數(shù)；(2)輸入樣本對{Xp,dp}，其中Xp=(-1,x1p,x2p,…,xnp)，

dp為期望的輸出向量（教師信號），上標p代表樣本對的模式序號，設(shè)樣本集中的樣本總數(shù)為P，則p=1,2,…,P；感知器的學(xué)習(xí)算法感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟：(1)對各權(quán)值w0j(0),w1感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟：(3)計算各節(jié)點的實際輸出ojp(t)=sgn[WjT(t)Xp],j=1,2,...,m；(4)調(diào)整各節(jié)點對應(yīng)的權(quán)值，Wj(t+1)=Wj(t)+η[djp-ojp(t)]Xp,

j=1,2,…,m,

其中η為學(xué)習(xí)率，用于控制調(diào)整速度，太大會影響訓(xùn)練的穩(wěn)定性，太小則使訓(xùn)練的收斂速度變慢，一般取0＜η≤1；(5)返回到步驟(2)輸入下一對樣本，周而復(fù)始直到對所有樣本，感知器的實際輸出與期望輸出相等。感知器的學(xué)習(xí)算法感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟：(3)計算各節(jié)點的實際輸出ojp(感知器的學(xué)習(xí)規(guī)則的訓(xùn)練步驟（1）權(quán)值初始化（2）輸入樣本對（3）計算輸出（4）根據(jù)感知器學(xué)習(xí)規(guī)則調(diào)整權(quán)值（5）返回到步驟(2)輸入下一對樣本，周而復(fù)始直到對所有樣本，感知器的實際輸出與期望輸出相等。感知器的學(xué)習(xí)規(guī)則的訓(xùn)練步驟（1）權(quán)值初始化例三單計算節(jié)點感知器，3個輸入。給定3對訓(xùn)練樣本對如下：X1=(-1，1，-2，0)T

d1=1 X2=(-1，0，1.5，-0.5)T

d2=1X3=(-1，-1，1，0.5)T

d3=1

設(shè)初始權(quán)向量W(0)=(0.5,1,-1,0)T，η=0.1。注意：輸入向量中第一個分量x0恒等于-1，權(quán)向量中第一個分量為閾值試根據(jù)以上學(xué)習(xí)規(guī)則訓(xùn)練該感知器。感知器的學(xué)習(xí)算法例三單計算節(jié)點感知器，3個輸入。給定3對訓(xùn)練樣本對如下解：第一步輸入X1，得

WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T=2.5

o1(0)=sgn(2.5)=1

W(1)=W(0)+η[d1-o1(0)]X1=(0.5,1,-1,0)T+0.1(-1-1)(-1,1,-2,0)T=(0.7,0.8,-0.6,0)T感知器的學(xué)習(xí)算法解：第一步輸入X1，得W(1)=W(0)+η[d1-o第二步輸入X2，得

WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T=-1.6

o2(1)=sgn(-1.6)=-1

W(2)=W(1)+η[d2-o2(1)]X2=(0.7,0.8,-0.6,0)T+0.1[-1-(-1)](-1,0,1.5,-0.5)T=(0.7,0.8,-0.6,0)T由于d2=o2(1)，所以W(2)=W(1)。感知器的學(xué)習(xí)算法第二步輸入X2，得W(2)=W(1)+η[d2-o2(第三步輸入X3，得

WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T=-2.1

O3(2)=sgn(-2.1=-1W(3)=W(2)+η[d3-o3(2)]X3=(0.7,0.8,-0.6,0)T+0.1[1-(-1)](-1,-1,1,0.5)T=(0.5,0.6,-0.4,0.1)T第四步返回到第一步，繼續(xù)訓(xùn)練直到dp-op=0，p=1,2,3。感知器的學(xué)習(xí)算法第三步輸入X3，得W(3)=W(2)+η[d3-o3(單層感知器的局限性問題：能否用感知器解決如下問題？單層感知器的局限性問題：能否用感知器解決如下問題？單層感知器的局限性無法解決“異或”問題只能解決線性可分問題“異或”的真值表x1 x2 y 0 0 0 0 1 1 1 0 1

1 1 0單層感知器的局限性無法解決“異或”問題“異或”的真值表x1 6.2多層感知器：提出單計算層感知器具有局限性：只能解決線性可分問題，而大量的分類問題是線性不可分的。解決的有效辦法在輸入層與輸出層之間引入隱層作為輸入模式的“內(nèi)部表示”，將單計算層感知器變成多（計算）層感知器。采用非線性連續(xù)函數(shù)作為轉(zhuǎn)移函數(shù)，使區(qū)域邊界線的基本線素由直線變成曲線，從而使整個邊界線變成連續(xù)光滑的曲線。6.2多層感知器：提出單計算層感知器具有局限性：雙層感知器“異或”問題分類例四用兩計算層感知器解決“異或”問題。“異或”的真值表x1x2 y1y2o

00 11001 10 110 01 111 110多層感知器具有單隱層的感知器，其中隱層的兩個節(jié)點相當于兩個獨立的符號單元（單計算節(jié)點感知器）兩個符號單元可分別在x1、x2平面上確定兩條分界直線S1和S2，從而構(gòu)成上圖所示的開放式凸域雙層感知器“異或”問題分類例四用兩計算層感知器解決“異或通過適當調(diào)整兩條直線的位置，可使兩類線性不可分樣本分別位于該開放式凸域內(nèi)部和外部。對隱節(jié)點1來說，直線S1下面的樣本使其輸出為y1=1，而直線上面的樣本使其輸出為y1=0；對隱節(jié)點2來說，直線S2上面的樣本使其輸出為y2=1，而直線下面的樣本使其輸出為y2=0。通過適當調(diào)整兩條直線的位置，可使兩類線性不可分樣本分別位于該當輸入樣本為o類時，其位置處于開放式凸域內(nèi)部，即同時處在直線S1下方和直線S2上方。根據(jù)以上分析，應(yīng)有y1=1，y2=1。當輸入樣本為*類時，其位置處于開放式凸域外部，即或者同時處在兩直線S1、S2上方，使y1=0，y2=1；或者同時處在兩直線S1、S2下方，使y1=1，y2=0。輸出層節(jié)點以隱層兩節(jié)點的輸出y1、y2作為輸入，其結(jié)構(gòu)也相當于一個符號單元。如果經(jīng)過訓(xùn)練，使其具有邏輯“與非”功能，則異或問題即可得到解決。根據(jù)“與非”邏輯，當隱節(jié)點輸出為y1=1，y2=1時，該節(jié)點輸出為o=0；當隱節(jié)點輸出為y1=1，y2=0時，或y1=0，y2=1時，該節(jié)點輸出為o=1。當輸入樣本為o類時，其位置處于開放式凸域內(nèi)部，即同時處在直線

對于一般形式的單隱層感知器，當輸入樣本為二維向量時，隱層中的每個節(jié)點確定了二維平面上的一條分界直線。多條直線經(jīng)輸出節(jié)點組合后會構(gòu)成各種形狀的凸域（所謂凸域是指其邊界上任意兩點之連線均在域內(nèi)）。通過訓(xùn)練調(diào)整凸域的形狀，可將兩類線性不可分樣本分為域內(nèi)和域外。輸出層節(jié)點負責將域內(nèi)外的兩類樣本進行分類。單隱層節(jié)點數(shù)量增加可以使多邊形凸域的邊數(shù)增加，從而在輸出層構(gòu)建出任意形狀的凸域。如果在此基礎(chǔ)上再增加第二個隱層，則該層的每個節(jié)點確定一個凸域，各種凸域經(jīng)輸出層節(jié)點組合后成為任意形狀。對于一般形式的單隱層感知器，當輸入樣本為二維向量時，隱層中如圖，由凸域組合成任意形狀后，意味著雙隱層的分類能力比單隱層大大提高。分類問題越復(fù)雜，不同類別樣本在樣本空間的布局越趨于犬牙交錯，因而隱層需要的神經(jīng)元節(jié)點數(shù)也越多。Kolmogorov理論指出：雙隱層感知器足以解決任何復(fù)雜的分類問題。該結(jié)論已經(jīng)過嚴格的數(shù)學(xué)證明。如圖，由凸域組合成任意形狀后，意味著雙隱層的分類能力比單隱層具有不同隱層數(shù)的感知器的分類能力對比具有不同隱層數(shù)的感知器的分類能力對比說明

為便于直觀描述感知器分類能力，在上述分析中，將轉(zhuǎn)移函數(shù)限定為符號函數(shù)或單位階躍函數(shù)。實際上，提高感知器分類能力的另一個途徑是，采用非線性連續(xù)函數(shù)作為神經(jīng)元節(jié)點的轉(zhuǎn)移函數(shù)。這樣做的好處是能使區(qū)域邊界線的基本線素由直線變成曲線，從而使整個邊界線變成連續(xù)光滑的曲線說明為便于直觀描述感知器分類能力，在上述分析中，將轉(zhuǎn)移函數(shù)連續(xù)多輸出感知器訓(xùn)練算法1.用適當?shù)男坞S機數(shù)初始化權(quán)矩陣W；2.初置精度控制參數(shù)ε，學(xué)習(xí)率α，精度控制變量d=ε+1；3．Whiled≥εdo3.1d=0；

3.2for每個樣本（X，Y）do 3.2.1輸入X；//(x1，x2，…，xn) 3.2.2求O=F（XW）；

3.2.3修改權(quán)矩陣W：

fori=1ton，j=1tomdo wij=wij+α(yj-oj)xi；//yj與oj之間的差別對wij的影響

3.2.4累積誤差

forj=1tomdo d=d+(yj-oj)2連續(xù)多輸出感知器訓(xùn)練算法1.用適當?shù)男坞S機數(shù)初始化權(quán)矩陣7.BP算法提高網(wǎng)絡(luò)性能（如分類能力）的有效途徑包含隱層的多層前饋網(wǎng)絡(luò)長期以來沒有提出解決權(quán)值調(diào)整問題的有效算法。非線性連續(xù)轉(zhuǎn)移函數(shù)BP(ErrorBackProragation，BP)算法1986年，Rumelhart和McCelland領(lǐng)導(dǎo)的科學(xué)家小組《ParallelDistributedProcessing》一書應(yīng)用對象：多層前饋網(wǎng)絡(luò)具有非線性連續(xù)轉(zhuǎn)移函數(shù)7.BP算法提高網(wǎng)絡(luò)性能（如分類能力）的有效途徑（1）基于BP算法的多層前饋網(wǎng)絡(luò)模型誤差反傳（BP）算法（1）基于BP算法的多層前饋網(wǎng)絡(luò)模型誤差反傳（BP）算法模型的數(shù)學(xué)表達輸入向量：

X=(x1,x2,…,xi,…,xn)T隱層輸出向量：

Y=(y1,y2,…,yj,…,ym)T輸出層輸出向量：

O=(o1,o2,…,ok,…,ol)T期望輸出向量：d=(d1,d2,…,dk,…,dl)T輸入層到隱層之間的權(quán)值矩陣：V=(V1,V2,…,Vj,…,Vm)隱層到輸出層之間的權(quán)值矩陣：W=(W1,W2,…,Wk,…,Wl)各個變量之間如何建立聯(lián)系，來描述整個網(wǎng)絡(luò)？模型的數(shù)學(xué)表達輸出層：k=1,2,…,l(3.4.1)k=1,2,…,l(3.4.2)隱層：j=1,2,…,m(3.4.3)j=1,2,…,m

(3.4.4)基于BP算法的多層前饋網(wǎng)絡(luò)模型輸出層：k=1,2,…,l(3.4.1)k=1,2雙極性Sigmoid函數(shù)：單極性Sigmoid函數(shù)：基于BP算法的多層前饋網(wǎng)絡(luò)模型雙極性Sigmoid函數(shù)：單極性Sigmoid函數(shù)：基于BP一、網(wǎng)絡(luò)誤差與權(quán)值調(diào)整輸出誤差E定義：將以上誤差定義式展開至隱層：BP學(xué)習(xí)算法一、網(wǎng)絡(luò)誤差與權(quán)值調(diào)整輸出誤差E定義：將以上誤差定義式展開至一、網(wǎng)絡(luò)誤差與權(quán)值調(diào)整（續(xù)）進一步展開至輸入層：3.4.2BP學(xué)習(xí)算法由上式可以看出，網(wǎng)絡(luò)輸入誤差是各層權(quán)值wjk、vij的函數(shù)，因此調(diào)整權(quán)值可改變誤差E。一、網(wǎng)絡(luò)誤差與權(quán)值調(diào)整（續(xù)）進一步展開至輸入層：3.4.2j=0,1,2,…,m;k=1,2,…,li=0,1,2,…,n;j=1,2,…,m式中負號表示梯度下降，常數(shù)η∈(0,1)表示比例系數(shù)，在訓(xùn)練中反映學(xué)習(xí)速率。在全部推導(dǎo)過程中，對輸出層有j=0,1,2,…,m;k=1,2,…,l對隱層有i=0,1,2,…,n;j=1,2,…,m3.4.2BP學(xué)習(xí)算法調(diào)整權(quán)值的原則顯然是使誤差不斷地減小，因此應(yīng)使權(quán)值的調(diào)整量與誤差的梯度下降成正比j=0,1,2,…,m;k=1,2,…,li=0,1,2二、BP算法推導(dǎo)對于輸出層，有對隱層，有對輸出層和隱層各定義一個誤差信號，令

3.4.2BP學(xué)習(xí)算法二、BP算法推導(dǎo)對于輸出層，有對隱層，有對輸出層和隱層各定義綜上，可將權(quán)值調(diào)整式改寫為同理，隱層的權(quán)值調(diào)整式可改寫為可以看出，只要計算出誤差信號o和y，權(quán)值調(diào)整量的計算推導(dǎo)即可完成。下面繼續(xù)推導(dǎo)如何求誤差信號o和y

。綜上，可將權(quán)值調(diào)整式改寫為同理，隱層的權(quán)值調(diào)整式可改寫為可以對于輸出層，o可展開為對于隱層，y可展開為下面求網(wǎng)絡(luò)誤差對各層輸出的偏導(dǎo)。對于輸出層，o可展開為對于隱層，y可展開為下面求網(wǎng)絡(luò)對于輸出層，利用式對于隱層，利用式可得：可得：對于輸出層，利用式對于隱層，利用式可得：可得：將以上結(jié)果代入，并應(yīng)用式得到：將以上結(jié)果代入，并應(yīng)用式得到：將上述結(jié)果代入，得到三層前饋網(wǎng)的BP學(xué)習(xí)算法權(quán)值調(diào)整計算公式為：可以看出，BP學(xué)習(xí)算法中，各層權(quán)值調(diào)整公式形式上都是一樣的，均由3個因素決定，即：學(xué)習(xí)率η、本層輸出的誤差信號δ、本層輸入信號Y(或X)輸出層誤差信號與網(wǎng)絡(luò)的期望輸出和實際輸出之差有關(guān)，直接反映了輸出誤差各隱層的誤差信號與前面各層的誤差信號都有關(guān)，是從輸出層開始逐層反傳過來的。將上述結(jié)果代入，得到三層前饋網(wǎng)的BP學(xué)習(xí)算法權(quán)值調(diào)整計算公式數(shù)學(xué)建模神經(jīng)網(wǎng)絡(luò)算法課件BP網(wǎng)絡(luò)（BackpropagationNetwork

）拓撲結(jié)構(gòu)x1o1輸出層隱藏層輸入層x2o2omxn…………………增加隱藏層數(shù)和隱藏層神經(jīng)元個數(shù)不一定總能提高網(wǎng)絡(luò)精度和表達能力，所以，BP網(wǎng)一般都選用二級網(wǎng)絡(luò)BP網(wǎng)絡(luò)（BackpropagationNetworkBP網(wǎng)絡(luò)神經(jīng)元神經(jīng)元的網(wǎng)絡(luò)輸入：

neti=x1w1i+x2w2i+…+xnwni神經(jīng)元的輸出：BP網(wǎng)絡(luò)神經(jīng)元BP網(wǎng)絡(luò)的應(yīng)用BP網(wǎng)絡(luò)的用途十分廣泛，可用于以下方面：函數(shù)逼近：用輸入矢量和相應(yīng)的輸出矢量訓(xùn)練一個網(wǎng)絡(luò)逼近一個函數(shù)模式識別：用一個特定的輸出矢量將它與輸入矢量聯(lián)系起來分類：把輸入矢量以所定義的合適方式進行分類數(shù)據(jù)壓縮：減少輸出矢量維數(shù)以便于傳輸或存儲

BP網(wǎng)絡(luò)的應(yīng)用BP網(wǎng)絡(luò)的用途十分廣泛，可用于以下方面：BP算法的基本思想學(xué)習(xí)的類型：有導(dǎo)師學(xué)習(xí)核心思想：將輸出誤差以某種形式通過隱層向輸入層逐層反傳學(xué)習(xí)的過程：信號的正向傳播誤差的反向傳播將誤差分攤給各層的所有單元——各層單元的誤差信號修正各單元權(quán)值BP算法的基本思想學(xué)習(xí)的類型：有導(dǎo)師學(xué)習(xí)將誤差分攤給各層的所BP算法的學(xué)習(xí)過程正向傳播：輸入樣本——輸入層——各隱層——輸出層判斷是否轉(zhuǎn)入反向傳播階段：若輸出層的實際輸出與期望的輸出（教師信號）不符誤差反傳誤差以某種形式在各層表示——修正各層單元的權(quán)值網(wǎng)絡(luò)輸出的誤差減少到可接受的程度進行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止BP算法的學(xué)習(xí)過程正向傳播：訓(xùn)練過程

樣本：(輸入向量，理想輸出向量)權(quán)初始化1、向前傳播階段：（1）從樣本集中取一個樣本(Xp，Yp)，將Xp輸入網(wǎng)絡(luò)；（2）計算相應(yīng)的實際輸出Op：

Op=Fl(…(F2(F1(XpW(1))W(2))…)W(L))訓(xùn)練過程樣本：(輸入向量，理想輸出向量)訓(xùn)練過程

2、向后傳播階段——誤差傳播階段：（1）計算實際輸出Op與相應(yīng)的理想輸出Yp的差（2）按極小化誤差的方式調(diào)整權(quán)矩陣（3）網(wǎng)絡(luò)關(guān)于第p個樣本的誤差測度：（4）網(wǎng)絡(luò)關(guān)于整個樣本集的誤差測度：訓(xùn)練過程2、向后傳播階段——誤差傳播階段：（4）網(wǎng)絡(luò)關(guān)于誤差傳播

1、輸出層權(quán)的調(diào)整wpq=wpq+?wpq?wpq=αδqop =αfn′(netq)(yq-oq)op

=αoq(1-oq)(yq-oq)op

wpqANpANq第L-1層第L層?wpq誤差傳播1、輸出層權(quán)的調(diào)整wpq=wpq+?wpqwpq誤差傳播2、隱藏層權(quán)的調(diào)整ANpANqANhvhp δpk-1δ1kwp1wpqδqkwpmδmk第k-2層第k層第k-1層……誤差傳播2、隱藏層權(quán)的調(diào)整ANpANqANhvhp δpk-誤差傳播δpk-1的值和δ1k，δ2k，…，δmk

有關(guān)不妨認為δpk-1通過權(quán)wp1對δ1k做出貢獻，通過權(quán)wp2對δ2k做出貢獻，……，通過權(quán)wpm對δmk做出貢獻。δpk-1=fk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)vhp=vhp+?vhp

?vhp=αδpk-1ohk-2

=αfk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2=αopk-1(1-opk-1)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-22、隱藏層權(quán)的調(diào)整誤差傳播δpk-1的值和δ1k，δ2k，…，δmk有關(guān)2、基本BP算法

樣本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}

基本思想：逐一地根據(jù)樣本集中的樣本(Xk,Yk)計算出實際輸出Ok和誤差測度E1，對W(1)

，W(2)

，…，W(L)各做一次調(diào)整，重復(fù)這個循環(huán)，直到∑Ep<ε。用輸出層的誤差調(diào)整輸出層權(quán)矩陣，并用此誤差估計輸出層的直接前導(dǎo)層的誤差，再用輸出層前導(dǎo)層誤差估計更前一層的誤差。如此獲得所有其它各層的誤差估計，并用這些估計實現(xiàn)對權(quán)矩陣的修改。形成將輸出端表現(xiàn)出的誤差沿著與輸入信號相反的方向逐級向輸入端傳遞的過程

基本BP算法基本BP算法

1fork=1toLdo 1.1初始化W(k)；2初始化精度控制參數(shù)ε；3E=ε+1;4whileE>εdo 4.1E=0; 4.2對S中的每一個樣本（Xp,Yp）：

4.2.1計算出Xp對應(yīng)的實際輸出Op；

4.2.2計算出Ep；

4.2.3E=E+Ep；

4.2.4根據(jù)相應(yīng)式子調(diào)整W(L)；

4.2.5k=L-1；

4.2.6whilek≠0do 4.2.6.1根據(jù)相應(yīng)式子調(diào)整W(k)；

4.2.6.2k=k-14.3E=E/2.0基本BP算法1fork=1toLdo4.2.6BP算法的程序?qū)崿F(xiàn)(1)初始化；

(4)計算各層誤差信號；

(5)調(diào)整各層權(quán)值；

(6)檢查是否對所有樣本完成一次輪訓(xùn)；

(7)檢查網(wǎng)絡(luò)總誤差是否達到精度要求。

(2)輸入訓(xùn)練樣本對XXp、ddp，計算各層輸出；(3)計算網(wǎng)絡(luò)輸出誤差；BP算法的程序?qū)崿F(xiàn)(1)初始化；(4)計算各層誤差信號；BP算法的程序?qū)崿F(xiàn)然后根據(jù)總誤差計算各層的誤差信號并調(diào)整權(quán)值。另一種方法是在所有樣本輸入之后，計算網(wǎng)絡(luò)的總誤差：BP算法的程序?qū)崿F(xiàn)然后根據(jù)總誤差計算各層的誤差信號并調(diào)整權(quán)值多層前饋網(wǎng)的主要能力(1)非線性映射能力

多層前饋網(wǎng)能學(xué)習(xí)和存貯大量輸入-輸出模式映射關(guān)系，而無需事先了解描述這種映射關(guān)系的數(shù)學(xué)方程。只要能提供足夠多的樣本模式對供BP網(wǎng)絡(luò)進行學(xué)習(xí)訓(xùn)練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。多層前饋網(wǎng)的主要能力(1)非線性映射能力多層前饋網(wǎng)能學(xué)習(xí)和多層前饋網(wǎng)的主要能力(2)泛化能力

當向網(wǎng)絡(luò)輸入訓(xùn)練時未曾見過的非樣本數(shù)據(jù)時，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種能力稱為多層前饋網(wǎng)的泛化能力。(3)容錯能力輸入樣本中帶有較大的誤差甚至個別錯誤對網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小。多層前饋網(wǎng)的主要能力(2)泛化能力當向網(wǎng)絡(luò)輸入訓(xùn)練時未曾見誤差曲面與BP算法的局限性誤差函數(shù)的可調(diào)整參數(shù)的個數(shù)nw等于各層權(quán)值數(shù)加上閾值數(shù)，即：誤差E是nw+1維空間中一個形狀極為復(fù)雜的曲面該曲面上的每個點的“高度”對應(yīng)于一個誤差值，每個點的坐標向量對應(yīng)著nw個權(quán)值，因此稱這樣的空間為誤差的權(quán)空間。誤差曲面與BP算法的局限性誤差函數(shù)的可調(diào)整參數(shù)的個數(shù)nw等于誤差曲面的分布——BP算法的局限性曲面的分布特點——算法的局限性(1)存在平坦區(qū)域——誤差下降緩慢，影響收斂速度(2)存在多個極小點——易陷入局部最小點

誤差曲面的分布——BP算法的局限性曲面分布特點1：存在平坦區(qū)域平坦：誤差的梯度變化?。ń咏诹悖┣娣植继攸c1：存在平坦區(qū)域平坦：誤差的梯度變化小（接近于零存在平坦區(qū)域的原因分析

接近于零的情況分析造成平坦區(qū)的原因：各節(jié)點的凈輸入過大對應(yīng)著誤差的某個谷點

平坦區(qū)

存在平坦區(qū)域的原因分析接近于零的情況分析對應(yīng)著誤差的某個曲面分布特點2：存在多個極小點誤差梯度為零多數(shù)極小點都是局部極小，即使是全局極小往往也不是唯一的。單權(quán)值雙權(quán)值曲面分布特點2：存在多個極小點誤差梯度為零單權(quán)值雙權(quán)值曲面分布特點2：存在多個極小點BP算法以誤差梯度下降為權(quán)值調(diào)整原則誤差曲面的這一特點使之無法辨別極小點的性質(zhì)導(dǎo)致的結(jié)果：因而訓(xùn)練經(jīng)常陷入某個局部極小點而不能自拔，從而使訓(xùn)練無法收斂于給定誤差。曲面分布特點2：存在多個極小點BP算法標準BP算法的改進誤差曲面的形狀——固有的算法的作用是什么？調(diào)整權(quán)值，找到最優(yōu)點那么如何更好地調(diào)整權(quán)值？利用算法使得權(quán)值在更新的過程中，‘走’合適的路徑，比如跳出平坦區(qū)來提高收斂速度，跳出局部最小點等等如何操作？需要在進入平坦區(qū)或局部最小點時進行一些判斷，通過改變某些參數(shù)來使得權(quán)值的調(diào)整更為合理。標準BP算法的改進誤差曲面的形狀——固有的標準的BP算法內(nèi)在的缺陷：易形成局部極小而得不到全局最優(yōu)；訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低，收斂速度慢；隱節(jié)點的選取缺乏理論指導(dǎo)；訓(xùn)練時學(xué)習(xí)新樣本有遺忘舊樣本的趨勢。

針對上述問題，國內(nèi)外已提出不少有效的改進算法， 下面僅介紹其中3種較常用的方法。標準的BP算法內(nèi)在的缺陷：易形成局部極小而得不到全局最優(yōu)；標準BP算法的改進改進1：增加動量項改進2：自適應(yīng)調(diào)節(jié)學(xué)習(xí)率改進3：引入陡度因子標準BP算法的改進改進1：增加動量項改進1：增加動量項提出的原因：標準BP算法只按t時刻誤差的梯度降方向調(diào)整，而沒有考慮t時刻以前的梯度方向從而常使訓(xùn)練過程發(fā)生振蕩，收斂緩慢。方法：α為動量系數(shù)，一般有α∈(0，1)改進1：增加動量項提出的原因：α為動量系數(shù)，一般有α∈(0改進1：增加動量項實質(zhì)：從前一次權(quán)值調(diào)整量中取出一部分迭加到本次權(quán)值調(diào)整量中作用：動量項反映了以前積累的調(diào)整經(jīng)驗，對于t時刻的調(diào)整起阻尼作用。當誤差曲面出現(xiàn)驟然起伏時，可減小振蕩趨勢，提高訓(xùn)練速度。改進1：增加動量項實質(zhì)：改進2：自適應(yīng)調(diào)節(jié)學(xué)習(xí)率提出的原因：標準BP算法中，學(xué)習(xí)率η也稱為步長，確定一個從始至終都合適的最佳學(xué)習(xí)率很難。平坦區(qū)域內(nèi)，η太小會使訓(xùn)練次數(shù)增加；在誤差變化劇烈的區(qū)域，η太大會因調(diào)整量過大而跨過較窄的“坑凹”處，使訓(xùn)練出現(xiàn)振蕩，反而使迭代次數(shù)增加。改進2：自適應(yīng)調(diào)節(jié)學(xué)習(xí)率提出的原因：改進2：自適應(yīng)調(diào)節(jié)學(xué)習(xí)率基本思想：自適應(yīng)改變學(xué)習(xí)率，使其根據(jù)環(huán)境變化增大或減小。基本方法：設(shè)一初始學(xué)習(xí)率，若經(jīng)過一批次權(quán)值調(diào)整后使總誤差↑，則本次調(diào)整無效，且=β(β<1)；

若經(jīng)過一批次權(quán)值調(diào)整后使總誤差↓，則本次調(diào)整有效，且=θ(θ>1)。改進2：自適應(yīng)調(diào)節(jié)學(xué)習(xí)率基本思想：改進3：引入陡度因子提出的原因：誤差曲面上存在著平坦區(qū)域。權(quán)值調(diào)整進入平坦區(qū)的原因是神經(jīng)元輸出進入了轉(zhuǎn)移函數(shù)的飽和區(qū)?；舅枷耄喝绻谡{(diào)整進入平坦區(qū)后，設(shè)法壓縮神經(jīng)元的凈輸入，使其輸出退出轉(zhuǎn)移函數(shù)的不飽和區(qū)，就可以改變誤差函數(shù)的形狀，從而使調(diào)整脫離平坦區(qū)。改進3：引入陡度因子提出的原因：改進3：引入陡度因子基本方法：在原轉(zhuǎn)移函數(shù)中引入一個陡度因子λ當發(fā)現(xiàn)ΔE接近零而d-o仍較大時，可判斷已進入平坦區(qū)，此時令λ>1；當退出平坦區(qū)后，再令λ=1。