神經(jīng)網(wǎng)絡(luò)基本原理課件完整版

1

由于神經(jīng)網(wǎng)絡(luò)是多學(xué)科交叉的產(chǎn)物，各個相關(guān)的學(xué)科領(lǐng)域?qū)ι窠?jīng)網(wǎng)絡(luò)都有各自的看法，因此，關(guān)于神經(jīng)網(wǎng)絡(luò)的定義，在科學(xué)界存在許多不同的見解。目前使用得較廣泛的是T.Koholen（芬蘭赫爾辛基技術(shù)大學(xué)）的定義，即"神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的簡單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實世界物體所作出的交互反應(yīng)。"

1 由于神經(jīng)網(wǎng)絡(luò)是多學(xué)科交叉的產(chǎn)物，各個相2

人腦的基本組成是腦神經(jīng)細胞，大量腦神經(jīng)細胞相互聯(lián)接組成人的大腦神經(jīng)網(wǎng)絡(luò)，完成各種大腦功能。而人工神經(jīng)網(wǎng)絡(luò)則是由大量的人工神經(jīng)細胞（神經(jīng)元）經(jīng)廣泛互連形成的人工網(wǎng)絡(luò)，以此模擬人類神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能。

了解人腦神經(jīng)網(wǎng)絡(luò)的組成和原理，有助于對人工神經(jīng)網(wǎng)絡(luò)的理解。2 人腦的基本組成是腦神經(jīng)細胞，大量腦神經(jīng)細胞相互聯(lián)接3人工神經(jīng)網(wǎng)絡(luò)概述人體神經(jīng)結(jié)構(gòu)與特征雖然神經(jīng)元的形態(tài)各不相同，但是都由細胞體和突起兩大部分組成，而突起又分樹突和軸突。3人工神經(jīng)網(wǎng)絡(luò)概述人體神經(jīng)結(jié)構(gòu)與特征雖然神經(jīng)元的形態(tài)各不相同4軸突是由細胞體向外延伸出的所有纖維中最長的一條分枝，用來向外傳遞神經(jīng)元產(chǎn)生的輸出信號。每個神經(jīng)元只發(fā)出一條軸突，短的僅幾個微米，其最大長度可達1m以上。4軸突是由細胞體向外延伸出的所有纖維中最長的一條分枝，用來向5突觸，在軸突的末端形成了許多很細的分枝，這些分枝叫神經(jīng)末梢。每一條神經(jīng)末梢可以與其他神經(jīng)元形成功能性接觸，該接觸部位稱為突觸。每個神經(jīng)元大約有103～105個突觸，換句話說，每個神經(jīng)元大約與103～105個其它神經(jīng)元有連接，正是因為這些突觸才使得全部大腦神經(jīng)元形成一個復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)。所謂功能性接觸，突觸的信息傳遞特性可變，因此細胞之間的連接強度可變，這是一種柔性連接，也稱為神經(jīng)元結(jié)構(gòu)的可塑性，這正是神經(jīng)元之間傳遞信息的奧秘之一。5突觸，在軸突的末端形成了許多很細的分枝，這些分枝叫神經(jīng)末梢6樹突是指由細胞體向外延伸的除軸突以外的其他所有分支。不同的神經(jīng)元其樹突的數(shù)量也不同，長度較短，但數(shù)量很多，它是神經(jīng)元的輸入端，用于接受從其他神經(jīng)元的突觸傳來的信號。細胞體是神經(jīng)元的主體，胞體和樹突表面是接受的其他神經(jīng)元傳來的信號的主要部位。6樹突是指由細胞體向外延伸的除軸突以外的其他所有分支。不同的7 神經(jīng)元中的細胞體相當于一個初等處理器，它對來自其他各個神經(jīng)元的信號進行總體求和，并產(chǎn)生一個神經(jīng)輸出信號。由于細胞膜將細胞體內(nèi)外分開，因此，在細胞體的內(nèi)外具有不同的電位，通常是內(nèi)部電位比外部電位低。細胞膜內(nèi)外的電位之差被稱為膜電位。在無信號輸入時的膜電位稱為靜止膜電位。當一個神經(jīng)元的所有輸入總效應(yīng)達到某個閾值電位時，該細胞變?yōu)榛钚约毎せ睿?，其膜電位將自發(fā)地急劇升高產(chǎn)生一個電脈沖。這個電脈沖又會從細胞體出發(fā)沿軸突到達神經(jīng)末梢，并經(jīng)與其他神經(jīng)元連接的突觸，將這一電脈沖傳給相應(yīng)的神經(jīng)元。7 神經(jīng)元中的細胞體相當于一個初等處理器，它對來自其M-P模型是大多數(shù)神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。神經(jīng)網(wǎng)絡(luò)訓(xùn)練的實質(zhì)是通過對樣本集的輸入/輸出模式反復(fù)作用于網(wǎng)絡(luò)，網(wǎng)絡(luò)按照一定的學(xué)習(xí)算法自動調(diào)節(jié)神經(jīng)元之間的連接強度（閾值）或拓撲結(jié)構(gòu)，當網(wǎng)絡(luò)的實際輸出滿足期望要求，或者趨于穩(wěn)定時，則認為學(xué)習(xí)圓滿結(jié)束。人腦的基本組成是腦神經(jīng)細胞，大量腦神經(jīng)細胞相互聯(lián)接組成人的大腦神經(jīng)網(wǎng)絡(luò)，完成各種大腦功能。BP網(wǎng)絡(luò)除了在多層網(wǎng)絡(luò)上與單層感知器不同外，其主要差別也表現(xiàn)在激活函數(shù)上。較有代表性的多層網(wǎng)絡(luò)模型有：前向網(wǎng)絡(luò)模型、多層側(cè)抑制神經(jīng)網(wǎng)絡(luò)模型和帶有反饋的多層神經(jīng)網(wǎng)絡(luò)模型等。一般而言,ANN與經(jīng)典計算方法相比并非優(yōu)越,只有當常規(guī)方法解決不了或效果不佳時ANN方法才能顯示出其優(yōu)越性。xi(t)、xj(t)分別表示t時刻神經(jīng)元i（輸入）和神經(jīng)元j（輸出）的狀態(tài)。輸入樣本中帶有較大的誤差甚至個別錯誤對網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小。學(xué)習(xí)和記憶同樣也應(yīng)該是人工神經(jīng)網(wǎng)絡(luò)的一個重要特征。t時刻權(quán)值的調(diào)整量與t時刻的輸入量和學(xué)習(xí)信號r的乘積成正比。人工神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)

建立人工神經(jīng)網(wǎng)絡(luò)的一個重要步驟是構(gòu)造人工神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)，即確定人工神經(jīng)元之間的互連結(jié)構(gòu)。每一條神經(jīng)末梢可以與其他神經(jīng)元形成功能性接觸，該接觸部位稱為突觸。不同的神經(jīng)元其樹突的數(shù)量也不同，長度較短，但數(shù)量很多，它是神經(jīng)元的輸入端，用于接受從其他神經(jīng)元的突觸傳來的信號。xi(t)、xj(t)分別表示t時刻神經(jīng)元i（輸入）和神經(jīng)元j（輸出）的狀態(tài)。人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)是對人類神經(jīng)系統(tǒng)的一種模擬。dj(t)-yj(t)表示時刻t神經(jīng)元j的輸出誤差。ωij(t+1)表示對時刻t的權(quán)值修正一次后的新的權(quán)值；兩種功能相互結(jié)合，使生物神經(jīng)元對由突觸傳入的神經(jīng)沖動具有時空整合的功能。人工神經(jīng)元及人工神經(jīng)網(wǎng)絡(luò)8生物神經(jīng)元的功能與特征 根據(jù)神經(jīng)生理學(xué)的研究，生物神經(jīng)元具有如下重要功能與特性。（1）時空整合功能

神經(jīng)元對不同時間通過同一突觸傳入的神經(jīng)沖動，具有時間整合功能。對于同一時間通過不同突觸傳入的神經(jīng)沖動，具有空間整合功能。兩種功能相互結(jié)合，使生物神經(jīng)元對由突觸傳入的神經(jīng)沖動具有時空整合的功能。

（2）興奮與抑制狀態(tài)

神經(jīng)元具有興奮和抑制兩種常規(guī)的工作狀態(tài)。當傳入沖動的時空整合結(jié)果使細胞膜電位升高，超過動作電位的閾值時，細胞進入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動。相反，當傳入沖動的時空整合結(jié)果使細胞膜電位低于動作電位閾值時，細胞進入抑制狀態(tài)，無神經(jīng)沖動輸出。

M-P模型是大多數(shù)神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。8生物神經(jīng)元的功能與特9 （3）脈沖與電位轉(zhuǎn)換

突觸界面具有脈沖/電位信號轉(zhuǎn)化功能。沿神經(jīng)纖維傳遞的信號為離散的電脈沖信號，而細胞膜電位的變化為連續(xù)的電位信號。這種在突觸接口處進行的“數(shù)/?！鞭D(zhuǎn)換，是通過神經(jīng)介質(zhì)以量子化學(xué)方式實現(xiàn)的如下過程：電脈沖→神經(jīng)化學(xué)物質(zhì)→膜電位 （4）神經(jīng)纖維傳導(dǎo)速率

神經(jīng)沖動沿神經(jīng)纖維傳導(dǎo)的速度在1m/s～150m/s之間。其速度差異與纖維的粗細、髓鞘(包繞在神經(jīng)元的軸突外部的物質(zhì)，起絕緣作用)的有無有關(guān)。一般來說，有髓鞘的纖維，其傳導(dǎo)速度在100m／s以上，無髓鞘的纖維，其傳導(dǎo)速度可低至每秒數(shù)米。9 （3）脈沖與電位轉(zhuǎn)換

突觸界面具有脈沖/電10人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)與特征

（1）記憶和存儲功能

人腦神經(jīng)系統(tǒng)的記憶和處理功能是有機地結(jié)合在一起的。神經(jīng)元既有存儲功能，又有處理功能，它在進行回憶時不僅不需要先找到存儲地址再調(diào)出所存內(nèi)容，而且還可以由一部分內(nèi)容恢復(fù)全部內(nèi)容。尤其是當一部分神經(jīng)元受到損壞（例如腦部受傷等）時，它只會丟失損壞最嚴重部分的那些信息，而不會丟失全部存儲信息。10人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)與特征

%創(chuàng)建一個BP神經(jīng)網(wǎng)絡(luò)，每一個輸入向量的取值范圍為[0,1],隱含層有5個神經(jīng)%元，輸出層有一個神經(jīng)元，隱含層的激活函數(shù)為tansig，輸出層的激活函數(shù)為%logsig，訓(xùn)練函數(shù)為梯度下降函數(shù).xi(t)、xj(t)分別表示t時刻神經(jīng)元i（輸入）和神經(jīng)元j（輸出）的狀態(tài)。如果神經(jīng)網(wǎng)絡(luò)中某一神經(jīng)元同另一直接與它連接的神經(jīng)元同時處于興奮狀態(tài)，那么這兩個神經(jīng)元之間的連接強度將得到加強。人工神經(jīng)網(wǎng)絡(luò)的互連結(jié)構(gòu)及其學(xué)習(xí)機理感知器模型及其學(xué)習(xí)（自學(xué)習(xí)模型）BP網(wǎng)絡(luò)的激活函數(shù)必須是處處可微的，因此它不能采用二值型的閥值函數(shù){0，1}或符號函數(shù){－1，1}當一個神經(jīng)元的所有輸入總效應(yīng)達到某個閾值電位時，該細胞變?yōu)榛钚约毎せ睿淠る娢粚⒆园l(fā)地急劇升高產(chǎn)生一個電脈沖。功能對數(shù)Sigmoid激活函數(shù)trainFcn：訓(xùn)練算法。功能對數(shù)Sigmoid激活函數(shù)它是可導(dǎo)函數(shù)，適用于BP訓(xùn)練的神經(jīng)元。細胞體是神經(jīng)元的主體，胞體和樹突表面是接受的其他神經(jīng)元傳來的信號的主要部位。因此，它的輸出要由當前的輸入和先前的輸出兩者來決定，這有點類似于人類短期記憶的性質(zhì)。它是可導(dǎo)函數(shù)，適用于BP訓(xùn)練的神經(jīng)元。當給定網(wǎng)絡(luò)一組輸入模式時，B-P網(wǎng)絡(luò)將依次對這組輸入模式中的每個輸入模式按如下方式進行學(xué)習(xí)：把輸入模式從輸入層傳到隱含層單元，經(jīng)隱含層單元逐層處理后，產(chǎn)生一個輸出模式傳至輸出層，這一過程稱為正向傳播。%創(chuàng)建一個BP神經(jīng)網(wǎng)絡(luò)，每一個輸入向量的取值范圍為[0,1],隱含層有5個神經(jīng)%元，輸出層有一個神經(jīng)元，隱含層的激活函數(shù)為tansig，輸出層的激活函數(shù)為%logsig，訓(xùn)練函數(shù)為梯度下降函數(shù).δ（Delta）學(xué)習(xí)規(guī)則善于將不同領(lǐng)域的知識結(jié)合起來靈活運用，善于概括、類比和推理。例如，一個人能很快認出多年不見、面貌變化較大的老朋友。如果輸出為“0”(即結(jié)果錯誤)，則把網(wǎng)絡(luò)連接權(quán)值朝著減小綜合輸入加權(quán)值的方向調(diào)整，其目的在于使網(wǎng)絡(luò)下次再遇到“A”模式輸入時，減小犯同樣錯誤的可能性。人腦的基本組成是腦神經(jīng)細胞，大量腦神經(jīng)細胞相互聯(lián)接組成人的大腦神經(jīng)網(wǎng)絡(luò)，完成各種大腦功能?；趯θ祟惿锵到y(tǒng)的這一認識，人們也試圖通過對人工神經(jīng)元的廣泛互連來模擬生物神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能。11人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)與特征

（2）高度并行性

人腦大約有1011～1012個神經(jīng)元，每個神經(jīng)元又有103～105個突觸，即每個神經(jīng)元都可以和其他103～105個神經(jīng)元相連，這就提供了非常巨大的存儲容量和并行度。例如，人可以非常迅速地識別出一幅十分復(fù)雜的圖像。

%創(chuàng)建一個BP神經(jīng)網(wǎng)絡(luò)，每一個輸入向量的取值范圍為[0,112

（3）分布式功能

人們通過對腦損壞病人所做的神經(jīng)心理學(xué)研究，沒有發(fā)現(xiàn)大腦中的哪一部分可以決定其余所有各部分的活動，也沒有發(fā)現(xiàn)在大腦中存在有用于驅(qū)動和管理整個智能處理過程的任何中央控制部分。人類大腦的各個部分是協(xié)同工作、相互影響的，并沒有哪一部分神經(jīng)元能對智能活動的整個過程負有特別重要的責(zé)任。可見，在大腦中，不僅知識的存儲是分散的，而且其控制和決策也是分散的。因此，大腦是一種分布式系統(tǒng)。12 （3）分布式功能

人們通過對腦損壞病人13

（4）容錯功能

容錯性是指根據(jù)不完全的、有錯誤的信息仍能做出正確、完整結(jié)論的能力。大腦的容錯性是非常強的。例如，我們往往能夠僅由某個人的一雙眼睛、一個背影、一個動作或一句話的音調(diào)，就能辨認出來這個人是誰。13

14

（5）聯(lián)想功能

人腦不僅具有很強的容錯功能，還有聯(lián)想功能。善于將不同領(lǐng)域的知識結(jié)合起來靈活運用，善于概括、類比和推理。例如，一個人能很快認出多年不見、面貌變化較大的老朋友。

（6）自組織和自學(xué)習(xí)功能

人腦能夠通過內(nèi)部自組織、自學(xué)習(xí)能力不斷適應(yīng)外界環(huán)境，從而可以有效地處理各種模擬的、模糊的或隨機的問題。14 （5）聯(lián)想功能

人腦不僅具有很強的容錯15人工神經(jīng)元及人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)元的結(jié)構(gòu)

如同生物學(xué)上的基本神經(jīng)元，人工的神經(jīng)網(wǎng)絡(luò)也有基本的神經(jīng)元。人工神經(jīng)元是對生物神經(jīng)元的抽象與模擬。所謂抽象是從數(shù)學(xué)角度而言的，所謂模擬是從其結(jié)構(gòu)和功能角度而言的。

從人腦神經(jīng)元的特性和功能可以知道，神經(jīng)元是一個多輸入單輸出的信息處理單元，其模型如下圖所示：神經(jīng)元模型θx1x2xnyω1ω2ωn15人工神經(jīng)元及人工神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)元的結(jié)構(gòu)

16人工神經(jīng)元及人工神經(jīng)網(wǎng)絡(luò)神經(jīng)元模型θx1x2xnyω1ω2ωn16人工神經(jīng)元及人工神經(jīng)網(wǎng)絡(luò)神經(jīng)元模型θx1x2xnyω1ω17人工神經(jīng)元及人工神經(jīng)網(wǎng)絡(luò)M-P模型

M-P模型屬于一種閾值元件模型，它是由美國心理學(xué)家McCulloch和數(shù)學(xué)家Pitts提出的最早（1943）神經(jīng)元模型之一。M-P模型是大多數(shù)神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。17人工神經(jīng)元及人工神經(jīng)網(wǎng)絡(luò)M-P模型18

在如圖所示的模型中，x1，x2，…，xn表示某一神經(jīng)元的n個輸入；ωi表示第i個輸入的連接強度，稱為連接權(quán)值；θ為神經(jīng)元的閾值；y為神經(jīng)元的輸出?？梢钥闯?，人工神經(jīng)元是一個具有多輸入，單輸出的非線性器件。

神經(jīng)元模型的輸入是∑ωi

xi

(i=1,2,……,n)

輸出是

y=f(σ)=f(∑ωi

xi

–

θ)

其中f稱之為神經(jīng)元功能函數(shù)（作用函數(shù)，轉(zhuǎn)移函數(shù)，傳遞函數(shù)，激活函數(shù)）。注：可以令x0=-1，w0=θ，這樣將閾值作為權(quán)值來看待。神經(jīng)元模型θx1x2xnyω1ω2ωn18 在如圖所示的模型中，x1，x2，…，x19常用的人工神經(jīng)元模型

功能函數(shù)f是表示神經(jīng)元輸入與輸出之間關(guān)系的函數(shù)，根據(jù)功能函數(shù)的不同，可以得到不同的神經(jīng)元模型。常用的神經(jīng)元模型有以下幾種。 （1）閾值型（Threshold）

這種模型的神經(jīng)元沒有內(nèi)部狀態(tài)，作用函數(shù)f是一個階躍函數(shù)，它表示激活值σ和其輸出f(σ)之間的關(guān)系，如圖5-3所示。σ

f(σ)10圖

5-3閾值型神經(jīng)元的輸入／輸出特性

19常用的人工神經(jīng)元模型

功能函數(shù)f是表示神20 閾值型神經(jīng)元是一種最簡單的人工神經(jīng)元。這種二值型神經(jīng)元，其輸出狀態(tài)取值1或0，分別代表神經(jīng)元的興奮和抑制狀態(tài)。任一時刻，神經(jīng)元的狀態(tài)由功能函數(shù)f來決定。 當激活值σ＞0時，即神經(jīng)元輸入的加權(quán)總和超過給定的閾值時，該神經(jīng)元被激活，進入興奮狀態(tài)，其狀態(tài)f(σ)為1； 否則，當σ＜0時，即神經(jīng)元輸入的加權(quán)總和不超過給定的閾值時，該神經(jīng)元不被激活，其狀態(tài)f(σ)為0。20 閾值型神經(jīng)元是一種最簡單的人工神經(jīng)元。這種21

（2）分段線性強飽和型（LinearSaturation）這種模型又稱為偽線性，其輸入／輸出之間在一定范圍內(nèi)滿足線性關(guān)系，一直延續(xù)到輸出為最大值1為止。但當達到最大值后，輸出就不再增大。如圖5-4所示。圖

5-4分段線性飽和型神經(jīng)元的輸入／輸出特性

f(σ)σ0121 （2）分段線性強飽和型（LinearSaturati感知器中的神經(jīng)網(wǎng)絡(luò)是線性閾值單元。（4）神經(jīng)纖維傳導(dǎo)速率

神經(jīng)沖動沿神經(jīng)纖維傳導(dǎo)的速度在1m/s～150m/s之間。同一層內(nèi)有相互連接的多層前向網(wǎng)絡(luò)，它允許網(wǎng)絡(luò)中同一層上的神經(jīng)元之間相互連接，如圖5-9所示。一般而言,ANN與經(jīng)典計算方法相比并非優(yōu)越,只有當常規(guī)方法解決不了或效果不佳時ANN方法才能顯示出其優(yōu)越性。當給定網(wǎng)絡(luò)一組輸入模式時，B-P網(wǎng)絡(luò)將依次對這組輸入模式中的每個輸入模式按如下方式進行學(xué)習(xí)：把輸入模式從輸入層傳到隱含層單元，經(jīng)隱含層單元逐層處理后，產(chǎn)生一個輸出模式傳至輸出層，這一過程稱為正向傳播。BP網(wǎng)絡(luò)應(yīng)用于藥品預(yù)測對比圖2）允許同一層次間的神經(jīng)元互連，則稱為帶側(cè)抑制的連接（或橫向反饋）。ωij(t+1)表示對時刻t的權(quán)值修正一次后的新的權(quán)值；4)按網(wǎng)絡(luò)的性能可分為連續(xù)型網(wǎng)絡(luò)與離散型網(wǎng)絡(luò)，或分為確定性網(wǎng)絡(luò)與隨機型網(wǎng)絡(luò)；較有代表性的多層網(wǎng)絡(luò)模型有：前向網(wǎng)絡(luò)模型、多層側(cè)抑制神經(jīng)網(wǎng)絡(luò)模型和帶有反饋的多層神經(jīng)網(wǎng)絡(luò)模型等。t時刻權(quán)值的調(diào)整量與t時刻的輸入量和學(xué)習(xí)信號r的乘積成正比。善于將不同領(lǐng)域的知識結(jié)合起來靈活運用，善于概括、類比和推理。然而，由于階躍函數(shù)不可微，因此，實際上更多使用的是與之相仿的Sigmoid函數(shù)。功能對數(shù)Sigmoid激活函數(shù)人工神經(jīng)網(wǎng)絡(luò)的互連結(jié)構(gòu)及其學(xué)習(xí)機理BTF表示網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默認為‘trainlm’；一般有輸入層、隱層（中間層）和輸出層?，F(xiàn)構(gòu)建一個如下的三層BP神經(jīng)網(wǎng)絡(luò)對藥品的銷售進行預(yù)測：輸入層有三個結(jié)點,隱含層結(jié)點數(shù)為5，隱含層的激活函數(shù)為tansig；可見，在大腦中，不僅知識的存儲是分散的，而且其控制和決策也是分散的。有一種觀點認為，人類的學(xué)習(xí)過程實際上是一種經(jīng)過訓(xùn)練而使個體在行為上產(chǎn)生較為持久改變的過程。xi(t)、xj(t)分別表示t時刻神經(jīng)元i（輸入）和神經(jīng)元j（輸出）的狀態(tài)。其它可看matlab幫助:help->contents->NeuralNetworkToobox->NetworkObjectReference;22 （3）S型（Sigmoid）

這是一種連續(xù)的神經(jīng)元模型，其輸出函數(shù)也是一個有最大輸出值的非線性函數(shù)，其輸出值是在某個范圍內(nèi)連續(xù)取值的，輸入輸出特性常用S型函數(shù)表示。它反映的是神經(jīng)元的飽和特性，如圖5-5所示。σf(σ)圖5-5S型神經(jīng)元的輸入／輸出特性10感知器中的神經(jīng)網(wǎng)絡(luò)是線性閾值單元。22 （3）S型（Sigm23

（4）子閾累積型（SubthresholdSummation）

這種類型的作用函數(shù)也是一個非線性函數(shù)，當產(chǎn)生的激活值超過T值時，該神經(jīng)元被激活產(chǎn)生一個反響。在線性范圍內(nèi)，系統(tǒng)的反響是線性的，如圖5－6所示。σf(σ)T01圖5-6子閾累積型神經(jīng)元的輸入／輸出特性23 （4）子閾累積型（SubthresholdSumma24

從生理學(xué)角度看，階躍函數(shù)（閾值型）最符合人腦神經(jīng)元的特點，事實上，人腦神經(jīng)元正是通過電位的高低兩種狀態(tài)來反映該神經(jīng)元的興奮與抑制。然而，由于階躍函數(shù)不可微，因此，實際上更多使用的是與之相仿的Sigmoid函數(shù)。24 從生理學(xué)角度看，階躍函數(shù)（閾值型）最25人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)是對人類神經(jīng)系統(tǒng)的一種模擬。盡管人類神經(jīng)系統(tǒng)規(guī)模宏大、結(jié)構(gòu)復(fù)雜、功能神奇，但其最基本的處理單元卻只有神經(jīng)元。人工神經(jīng)系統(tǒng)的功能實際上是通過大量神經(jīng)元的廣泛互連，以規(guī)模宏偉的并行運算來實現(xiàn)的。

基于對人類生物系統(tǒng)的這一認識，人們也試圖通過對人工神經(jīng)元的廣泛互連來模擬生物神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能。25人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)是對人類神經(jīng)系統(tǒng)26人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)元之間通過互連形成的網(wǎng)絡(luò)稱為人工神經(jīng)網(wǎng)絡(luò)。在人工神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元之間互連的方式稱為連接模式或連接模型。它不僅決定了神經(jīng)元網(wǎng)絡(luò)的互連結(jié)構(gòu)，同時也決定了神經(jīng)網(wǎng)絡(luò)的信號處理方式。26人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)元之間通過互連形成的27人工神經(jīng)網(wǎng)絡(luò)的分類

目前，已有的人工神經(jīng)網(wǎng)絡(luò)模型至少有幾十種，其分類方法也有多種。例如: 1)按網(wǎng)絡(luò)拓撲結(jié)構(gòu)可分為層次型結(jié)構(gòu)和互連型結(jié)構(gòu)

2)按信息流向可分為前饋型網(wǎng)絡(luò)與有反饋型網(wǎng)絡(luò)；

3)按網(wǎng)絡(luò)的學(xué)習(xí)方法可分為有教師的學(xué)習(xí)網(wǎng)絡(luò)和無教師的學(xué)習(xí)網(wǎng)絡(luò)；

4)按網(wǎng)絡(luò)的性能可分為連續(xù)型網(wǎng)絡(luò)與離散型網(wǎng)絡(luò)，或分為確定性網(wǎng)絡(luò)與隨機型網(wǎng)絡(luò)；27人工神經(jīng)網(wǎng)絡(luò)的分類

目前，已有的人工神經(jīng)網(wǎng)絡(luò)模型至少有幾28神經(jīng)元的模型確定之后，一個神經(jīng)網(wǎng)絡(luò)的特性及能力主要取決于網(wǎng)絡(luò)的拓撲結(jié)構(gòu)及學(xué)習(xí)方法28神經(jīng)元的模型確定之后，一個神經(jīng)網(wǎng)絡(luò)的特性及能力主要取決于29人工神經(jīng)網(wǎng)絡(luò)的互連結(jié)構(gòu)及其學(xué)習(xí)機理人工神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)

建立人工神經(jīng)網(wǎng)絡(luò)的一個重要步驟是構(gòu)造人工神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)，即確定人工神經(jīng)元之間的互連結(jié)構(gòu)。根據(jù)神經(jīng)元之間連接的拓撲結(jié)構(gòu)，可將神經(jīng)網(wǎng)絡(luò)的互連結(jié)構(gòu)分為層次型網(wǎng)絡(luò)和互連型網(wǎng)絡(luò)兩大類。層次型網(wǎng)絡(luò)結(jié)構(gòu)又可根據(jù)層數(shù)的多少分為單層、兩層及多層網(wǎng)絡(luò)結(jié)構(gòu)。29人工神經(jīng)網(wǎng)絡(luò)的互連結(jié)構(gòu)及其學(xué)習(xí)機理人工神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)30人工神經(jīng)網(wǎng)絡(luò)的互連結(jié)構(gòu)及其學(xué)習(xí)機理簡單單級網(wǎng)……x1x2…xno1o2onwnmw11w1mw2mwn1輸出層輸入層 30人工神經(jīng)網(wǎng)絡(luò)的互連結(jié)構(gòu)及其學(xué)習(xí)機理簡單單級網(wǎng)……x1x231單層網(wǎng)絡(luò)結(jié)構(gòu)有時也稱兩層網(wǎng)絡(luò)結(jié)構(gòu)

單層或兩層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)是早期神經(jīng)網(wǎng)絡(luò)模型的互連模式，這種互連模式是最簡單的層次結(jié)構(gòu)。1）不允許屬于同一層次間的神經(jīng)元互連。2）允許同一層次間的神經(jīng)元互連，則稱為帶側(cè)抑制的連接（或橫向反饋）。此外，在有些雙層神經(jīng)網(wǎng)絡(luò)中，還允許不同層之間有反饋連接。輸出層x1o1w11w1mx2o2w2m………xnomwn1輸入層 V31單層網(wǎng)絡(luò)結(jié)構(gòu)有時也稱兩層網(wǎng)絡(luò)結(jié)構(gòu)

單層或兩層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)32多層網(wǎng)絡(luò)結(jié)構(gòu)

通常把三層和三層以上的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)稱為多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。所有神經(jīng)元按功能分為若干層。一般有輸入層、隱層（中間層）和輸出層。輸出層隱藏層輸入層o1o2om…x1x2xn………………32多層網(wǎng)絡(luò)結(jié)構(gòu)

通常把三層和三層以上的神經(jīng)33多層網(wǎng)絡(luò)結(jié)構(gòu)

1）輸入層節(jié)點上的神經(jīng)元接受外部環(huán)境的輸入模式，并由它傳遞給相連隱層上的各個神經(jīng)元。

2）隱層是神經(jīng)元網(wǎng)絡(luò)的內(nèi)部處理層，這些神經(jīng)元再在網(wǎng)絡(luò)內(nèi)部構(gòu)成中間層，由于它們不直接與外部輸入、輸出打交道，故稱隱層。人工神經(jīng)網(wǎng)絡(luò)所具有的模式變換能力主要體現(xiàn)在隱層的神經(jīng)元上。

3）輸出層用于產(chǎn)生神經(jīng)網(wǎng)絡(luò)的輸出模式。

較有代表性的多層網(wǎng)絡(luò)模型有：前向網(wǎng)絡(luò)模型、多層側(cè)抑制神經(jīng)網(wǎng)絡(luò)模型和帶有反饋的多層神經(jīng)網(wǎng)絡(luò)模型等。

33多層網(wǎng)絡(luò)結(jié)構(gòu)

所謂功能性接觸，突觸的信息傳遞特性可變，因此細胞之間的連接強度可變，這是一種柔性連接，也稱為神經(jīng)元結(jié)構(gòu)的可塑性，這正是神經(jīng)元之間傳遞信息的奧秘之一。BP模型不僅有輸人層節(jié)點、輸出層節(jié)點，而且有一層或多層隱含節(jié)點。PF表示性能數(shù)，默認為‘mse’。通過采用監(jiān)督學(xué)習(xí)來逐步增強模式劃分的能力，達到所謂學(xué)習(xí)的目的。當激活值σ＞0時，即神經(jīng)元輸入的加權(quán)總和超過給定的閾值時，該神經(jīng)元被激活，進入興奮狀態(tài)，其狀態(tài)f(σ)為1；δ（Delta）學(xué)習(xí)規(guī)則Hebb型學(xué)習(xí)

Hebb學(xué)習(xí)方式可用如下公式表示：

ωij(t+1)=ωij(t)+η[xi(t)xj(t)]

其中，ωij（t＋1）表示對時刻t的權(quán)值修正一次后的新的權(quán)值；誤差修正學(xué)習(xí)規(guī)則（也稱感知器學(xué)習(xí)規(guī)則）

誤差修正學(xué)習(xí)（Error－CorrectionLearning）是一種有導(dǎo)師的學(xué)習(xí)過程，其基本思想是利用神經(jīng)網(wǎng)絡(luò)的期望輸出與實際之間的偏差作為連接權(quán)值調(diào)整的參考，并最終減少這種偏差。輸入樣本中帶有較大的誤差甚至個別錯誤對網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小。感知器模型

感知器是一種具有分層結(jié)構(gòu)的前向網(wǎng)絡(luò)模型，它可分為單層、兩層及多層結(jié)構(gòu)。人工神經(jīng)網(wǎng)絡(luò)所具有的模式變換能力主要體現(xiàn)在隱層的神經(jīng)元上。dj(t)為時刻t神經(jīng)元j的希望輸出，yj(t)為與i直接連接的另一神經(jīng)元j在時刻t的實際輸出；（3）脈沖與電位轉(zhuǎn)換

突觸界面具有脈沖/電位信號轉(zhuǎn)化功能。δ學(xué)習(xí)規(guī)則很容易從輸出值與希望值的最小平方誤差導(dǎo)出來。不同的神經(jīng)元其樹突的數(shù)量也不同，長度較短，但數(shù)量很多，它是神經(jīng)元的輸入端，用于接受從其他神經(jīng)元的突觸傳來的信號。功能建立一個前向BP網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)在分類與預(yù)測中的應(yīng)用人工神經(jīng)網(wǎng)絡(luò)以其具有自學(xué)習(xí)、自組織、較好的容錯性和優(yōu)良的非線性逼近能力，受到眾多領(lǐng)域?qū)W者的關(guān)注。{TFlTF2…TFN1}表示網(wǎng)絡(luò)隱含層和輸出層的傳輸函數(shù)，默認為‘tansig’；（2）提供訓(xùn)練樣本，即從訓(xùn)練樣本集合中選出一個訓(xùn)練樣本，將其輸入和期望輸出送入網(wǎng)絡(luò)。（3）分布式功能

人們通過對腦損壞病人所做的神經(jīng)心理學(xué)研究，沒有發(fā)現(xiàn)大腦中的哪一部分可以決定其余所有各部分的活動，也沒有發(fā)現(xiàn)在大腦中存在有用于驅(qū)動和管理整個智能處理過程的任何中央控制部分。這種能力稱為泛化能力。34多層前向神經(jīng)網(wǎng)絡(luò)

多層前向神經(jīng)網(wǎng)絡(luò)模型如圖5-8所示。輸入模式：由輸入層進入網(wǎng)絡(luò)，經(jīng)中間各層的順序變換，最后由輸出層產(chǎn)生一個輸出模式，便完成一次網(wǎng)絡(luò)更新。

前向網(wǎng)絡(luò)的連接模式不具有側(cè)抑制和反饋的連接方式?！瓐D5-8多層前向神經(jīng)網(wǎng)絡(luò)模型所謂功能性接觸，突觸的信息傳遞特性可變，因此細胞之間的連接強35多層側(cè)抑制神經(jīng)網(wǎng) 同一層內(nèi)有相互連接的多層前向網(wǎng)絡(luò)，它允許網(wǎng)絡(luò)中同一層上的神經(jīng)元之間相互連接，如圖5-9所示。這種連接方式將形成同一層的神經(jīng)元彼此之間的牽制作用，可實現(xiàn)同一層上神經(jīng)元之間的橫向抑制或興奮的機制。這樣可以用來限制同一層內(nèi)能同時激活神經(jīng)元的個數(shù)，或者把每一層內(nèi)的神經(jīng)元分成若干組，讓每組作為一個整體來動作。………………………圖5-9多層側(cè)抑制神經(jīng)網(wǎng)絡(luò)35多層側(cè)抑制神經(jīng)網(wǎng)………圖5-9多36帶有反饋的多層神經(jīng)網(wǎng)絡(luò)

這是一種允許輸出層-隱層，隱層中各層之間，隱層-輸入層之間具有反饋連接的方式，反饋的結(jié)果將構(gòu)成封閉環(huán)路。x1o1輸出層隱藏層輸入層x2o2omxn…………………36帶有反饋的多層神經(jīng)網(wǎng)絡(luò)

這是一種允許輸出層37帶有反饋的多層神經(jīng)網(wǎng)絡(luò) 這種神經(jīng)網(wǎng)絡(luò)和前向多層神經(jīng)網(wǎng)絡(luò)不同。多層前向神經(jīng)網(wǎng)絡(luò)屬于非循環(huán)連接模式，它的每個神經(jīng)元的輸入都沒有包含該神經(jīng)元先前的輸出，因此可以說是沒有“短期記憶”的。但帶反饋的多層神經(jīng)網(wǎng)絡(luò)則不同，它的每個神經(jīng)元的輸入都有可能包含有該神經(jīng)元先前的輸出反饋信息。因此，它的輸出要由當前的輸入和先前的輸出兩者來決定，這有點類似于人類短期記憶的性質(zhì)。37帶有反饋的多層神經(jīng)網(wǎng)絡(luò)38人工神經(jīng)網(wǎng)絡(luò)的運行一般分為學(xué)習(xí)和工作兩個階段。38人工神經(jīng)網(wǎng)絡(luò)的運行一般分為學(xué)習(xí)和工作兩個階段。39人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)

人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點是它的學(xué)習(xí)能力。

人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)和記憶的心理學(xué)基礎(chǔ)

學(xué)習(xí)和記憶是人類智能的一個重要特征。有一種觀點認為，人類的學(xué)習(xí)過程實際上是一種經(jīng)過訓(xùn)練而使個體在行為上產(chǎn)生較為持久改變的過程。按照這種觀點，學(xué)習(xí)離不開訓(xùn)練。

39人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)40人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)

學(xué)習(xí)和記憶同樣也應(yīng)該是人工神經(jīng)網(wǎng)絡(luò)的一個重要特征。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是它的訓(xùn)練過程。人工神經(jīng)網(wǎng)絡(luò)的功能特性由其連接的拓撲結(jié)構(gòu)和突觸連接強度（即連接權(quán)值）來確定。神經(jīng)網(wǎng)絡(luò)訓(xùn)練的實質(zhì)是通過對樣本集的輸入/輸出模式反復(fù)作用于網(wǎng)絡(luò)，網(wǎng)絡(luò)按照一定的學(xué)習(xí)算法自動調(diào)節(jié)神經(jīng)元之間的連接強度（閾值）或拓撲結(jié)構(gòu)，當網(wǎng)絡(luò)的實際輸出滿足期望要求，或者趨于穩(wěn)定時，則認為學(xué)習(xí)圓滿結(jié)束。40人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)如果神經(jīng)網(wǎng)絡(luò)中某一神經(jīng)元同另一直接與它連接的神經(jīng)元同時處于興奮狀態(tài)，那么這兩個神經(jīng)元之間的連接強度將得到加強。根據(jù)神經(jīng)元之間連接的拓撲結(jié)構(gòu)，可將神經(jīng)網(wǎng)絡(luò)的互連結(jié)構(gòu)分為層次型網(wǎng)絡(luò)和互連型網(wǎng)絡(luò)兩大類。人工神經(jīng)網(wǎng)絡(luò)的功能特性由其連接的拓撲結(jié)構(gòu)和突觸連接強度（即連接權(quán)值）來確定。M-P模型是大多數(shù)神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。一般而言,ANN與經(jīng)典計算方法相比并非優(yōu)越,只有當常規(guī)方法解決不了或效果不佳時ANN方法才能顯示出其優(yōu)越性。%以每三個月的銷售量經(jīng)歸一化處理后作為輸入其速度差異與纖維的粗細、髓鞘(包繞在神經(jīng)元的軸突外部的物質(zhì)，起絕緣作用)的有無有關(guān)。否則，返回第（2）步，提供下一個訓(xùn)練模式；BP網(wǎng)絡(luò)經(jīng)常使用的是S型的對數(shù)或正切激活函數(shù)和線性函數(shù)當輸入信息的加權(quán)和大于或等于閾值時，輸出為1，否則輸出為0或-1。其它可看matlab幫助:help->contents->NeuralNetworkToobox->NetworkObjectReference;人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)元之間通過互連形成的網(wǎng)絡(luò)稱為人工神經(jīng)網(wǎng)絡(luò)。最初的感知器只有一個神經(jīng)元，實際上仍然是M-P模型的結(jié)構(gòu)，但是它與M-P模型的區(qū)別在于神經(jīng)元之間連接權(quán)的變化。Hebb型學(xué)習(xí)

Hebb型學(xué)習(xí)（HebbianLearning）的出發(fā)點是Hebb學(xué)習(xí)規(guī)則（5）聯(lián)想功能

人腦不僅具有很強的容錯功能，還有聯(lián)想功能。人工神經(jīng)網(wǎng)絡(luò)的互連結(jié)構(gòu)及其學(xué)習(xí)機理此外，在有些雙層神經(jīng)網(wǎng)絡(luò)中，還允許不同層之間有反饋連接。格式a=tansig(n)當一個神經(jīng)元的所有輸入總效應(yīng)達到某個閾值電位時，該細胞變?yōu)榛钚约毎せ睿淠る娢粚⒆园l(fā)地急劇升高產(chǎn)生一個電脈沖。（1）閾值型（Threshold）

這種模型的神經(jīng)元沒有內(nèi)部狀態(tài)，作用函數(shù)f是一個階躍函數(shù)，它表示激活值σ和其輸出f(σ)之間的關(guān)系，如圖5-3所示。這種能力稱為泛化能力。通過采用監(jiān)督學(xué)習(xí)來逐步增強模式劃分的能力，達到所謂學(xué)習(xí)的目的。41現(xiàn)以人工神經(jīng)網(wǎng)絡(luò)對手寫“A”、“B”兩個字母的識別為例進行說明，規(guī)定當“A”輸入網(wǎng)絡(luò)時，應(yīng)該輸出“1”，而當輸入為“B”時，輸出為“0”。網(wǎng)絡(luò)學(xué)習(xí)的準則應(yīng)該是：如果網(wǎng)絡(luò)作出錯誤的的判決，則通過網(wǎng)絡(luò)的學(xué)習(xí)，應(yīng)使得網(wǎng)絡(luò)減少下次犯同樣錯誤的可能性。首先，給網(wǎng)絡(luò)的各連接權(quán)值賦予(0，1)區(qū)間內(nèi)的隨機值，將“A”所對應(yīng)的圖象模式輸入給網(wǎng)絡(luò)，網(wǎng)絡(luò)將輸入模式加權(quán)求和、與門限比較、再進行非線性運算，得到網(wǎng)絡(luò)的輸出。在此情況下，網(wǎng)絡(luò)輸出為“1”和“0”的概率各為50%，也就是說是完全隨機的。這時如果輸出為“1”(結(jié)果正確)，則使連接權(quán)值增大，以便使網(wǎng)絡(luò)再次遇到“A”模式輸入時，仍然能作出正確的判斷。如果輸出為“0”(即結(jié)果錯誤)，則把網(wǎng)絡(luò)連接權(quán)值朝著減小綜合輸入加權(quán)值的方向調(diào)整，其目的在于使網(wǎng)絡(luò)下次再遇到“A”模式輸入時，減小犯同樣錯誤的可能性。如此操作調(diào)整，當給網(wǎng)絡(luò)輪番輸入若干個手寫字母“A”、“B”后，經(jīng)過網(wǎng)絡(luò)按以上學(xué)習(xí)方法進行若干次學(xué)習(xí)后，網(wǎng)絡(luò)判斷的正確率將大大提高。這說明網(wǎng)絡(luò)對這兩個模式的學(xué)習(xí)已經(jīng)獲得了成功，它已將這兩個模式分布地記憶在網(wǎng)絡(luò)的各個連接權(quán)值上。當網(wǎng)絡(luò)再次遇到其中任何一個模式時，能夠作出迅速、準確的判斷和識別。一般說來，網(wǎng)絡(luò)中所含的神經(jīng)元個數(shù)越多，則它能記憶、識別的模式也就越多。如果神經(jīng)網(wǎng)絡(luò)中某一神經(jīng)元同另一直接與它連接的神經(jīng)元同時處于興42人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法

學(xué)習(xí)算法是人工神經(jīng)網(wǎng)絡(luò)研究中的核心問題

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法有很多，大體可分為有導(dǎo)師學(xué)習(xí)（SupervisedLearning）、和無導(dǎo)師學(xué)習(xí)（UnsupervisedLearning）兩大類，另外還有一類死記式學(xué)習(xí)。42人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法

43有導(dǎo)師學(xué)習(xí)一般需要事先收集樣本數(shù)據(jù)。將數(shù)據(jù)分為訓(xùn)練集和檢驗集兩部分，以保證所訓(xùn)練出的神經(jīng)網(wǎng)絡(luò)同時具有擬合精度和泛化能力。43有導(dǎo)師學(xué)習(xí)一般需要事先收集樣本數(shù)據(jù)。將數(shù)4444454546神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則

日本著名神經(jīng)網(wǎng)絡(luò)學(xué)者Amari于1990年提出一種神經(jīng)網(wǎng)絡(luò)權(quán)值訓(xùn)練的通用學(xué)習(xí)規(guī)則。η是一正的常量，其值決定了學(xué)習(xí)的速率，也稱為學(xué)習(xí)率或?qū)W習(xí)因子；

t時刻權(quán)值的調(diào)整量與t時刻的輸入量和學(xué)習(xí)信號r的乘積成正比。46神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則

日本著名神經(jīng)網(wǎng)絡(luò)學(xué)者A47Hebb型學(xué)習(xí)

Hebb型學(xué)習(xí)（HebbianLearning）的出發(fā)點是Hebb學(xué)習(xí)規(guī)則如果神經(jīng)網(wǎng)絡(luò)中某一神經(jīng)元同另一直接與它連接的神經(jīng)元同時處于興奮狀態(tài)，那么這兩個神經(jīng)元之間的連接強度將得到加強。47Hebb型學(xué)習(xí)

Hebb型學(xué)習(xí)（HebbianLear48Hebb型學(xué)習(xí)

Hebb學(xué)習(xí)方式可用如下公式表示：

ωij(t+1)=ωij(t)+η[xi(t)xj(t)]

其中，ωij（t＋1）表示對時刻t的權(quán)值修正一次后的新的權(quán)值；xi(t)、xj(t)分別表示t時刻神經(jīng)元i（輸入）和神經(jīng)元j（輸出）的狀態(tài)。上式表明，權(quán)值的調(diào)整量與輸入輸出的乘積成正比。此時的學(xué)習(xí)信號即輸出信號。這是一種純前饋、無導(dǎo)師學(xué)習(xí)。該規(guī)則至今仍在各種神經(jīng)網(wǎng)絡(luò)模型中起著重要作用。

48Hebb型學(xué)習(xí)

Hebb學(xué)習(xí)方式可用如下公式表示：

49誤差修正學(xué)習(xí)規(guī)則（也稱感知器學(xué)習(xí)規(guī)則）

誤差修正學(xué)習(xí)（Error－CorrectionLearning）是一種有導(dǎo)師的學(xué)習(xí)過程，其基本思想是利用神經(jīng)網(wǎng)絡(luò)的期望輸出與實際之間的偏差作為連接權(quán)值調(diào)整的參考，并最終減少這種偏差。

最基本的誤差修正規(guī)則規(guī)定：連接權(quán)值的變化與神經(jīng)元希望輸出和實際輸出之差成正比。

49誤差修正學(xué)習(xí)規(guī)則（也稱感知器學(xué)習(xí)規(guī)則）

誤差修正50誤差修正學(xué)習(xí)規(guī)則（也稱感知器學(xué)習(xí)規(guī)則）

該規(guī)則的連接權(quán)的計算公式為：

ωij(t+1)=ωij(t)+η[dj(t)-yj(t)]xi(t)

其中，ωij(t)表示時刻t的權(quán)值；ωij(t+1)表示對時刻t的權(quán)值修正一次后的新的權(quán)值；dj(t)為時刻t神經(jīng)元j的希望輸出，yj(t)為與i直接連接的另一神經(jīng)元j在時刻t的實際輸出；dj(t)-yj(t)表示時刻t神經(jīng)元j的輸出誤差。

50誤差修正學(xué)習(xí)規(guī)則（也稱感知器學(xué)習(xí)規(guī)則）

51δ（Delta）學(xué)習(xí)規(guī)則

δ學(xué)習(xí)規(guī)則很容易從輸出值與希望值的最小平方誤差導(dǎo)出來。51δ（Delta）學(xué)習(xí)規(guī)則

δ學(xué)習(xí)規(guī)則很容52感知器模型及其學(xué)習(xí)（自學(xué)習(xí)模型）

感知器是美國心理學(xué)家羅森勃拉特于1958年為研究大腦的存儲、學(xué)習(xí)和認知過程而提出的一類具有自學(xué)習(xí)能力的神經(jīng)網(wǎng)絡(luò)模型。最初的感知器只有一個神經(jīng)元，實際上仍然是M-P模型的結(jié)構(gòu)，但是它與M-P模型的區(qū)別在于神經(jīng)元之間連接權(quán)的變化。通過采用監(jiān)督學(xué)習(xí)來逐步增強模式劃分的能力，達到所謂學(xué)習(xí)的目的。感知器研究中首次提出了自組織、自學(xué)習(xí)的概念，對神經(jīng)網(wǎng)絡(luò)的研究起到重要的推動作用，是研究其他網(wǎng)絡(luò)的基礎(chǔ)。

52感知器模型及其學(xué)習(xí)（自學(xué)習(xí)模型） 感知PR為網(wǎng)絡(luò)輸入取向量取值范圍的矩陣；（3）分布式功能

人們通過對腦損壞病人所做的神經(jīng)心理學(xué)研究，沒有發(fā)現(xiàn)大腦中的哪一部分可以決定其余所有各部分的活動，也沒有發(fā)現(xiàn)在大腦中存在有用于驅(qū)動和管理整個智能處理過程的任何中央控制部分。BP網(wǎng)絡(luò)經(jīng)常使用的是S型的對數(shù)或正切激活函數(shù)和線性函數(shù)說明雙曲正切Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-∞，+∞)映射到(-1，1)。這種模型又稱為偽線性，其輸入／輸出之間在一定范圍內(nèi)滿足線性關(guān)系，一直延續(xù)到輸出為最大值1為止。神經(jīng)元之間的連接權(quán)ωi是可變的，這種可變性就保證了感知器具有學(xué)習(xí)的能力。神經(jīng)元中的細胞體相當于一個初等處理器，它對來自其他各個神經(jīng)元的信號進行總體求和，并產(chǎn)生一個神經(jīng)輸出信號?？梢钥闯?，人工神經(jīng)元是一個具有多輸入，單輸出的非線性器件。BTF表示網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默認為‘trainlm’；t時刻權(quán)值的調(diào)整量與t時刻的輸入量和學(xué)習(xí)信號r的乘積成正比。按照這種觀點，學(xué)習(xí)離不開訓(xùn)練。例下表為某藥品的銷售情況，這說明網(wǎng)絡(luò)對這兩個模式的學(xué)習(xí)已經(jīng)獲得了成功，它已將這兩個模式分布地記憶在網(wǎng)絡(luò)的各個連接權(quán)值上。人腦的基本組成是腦神經(jīng)細胞，大量腦神經(jīng)細胞相互聯(lián)接組成人的大腦神經(jīng)網(wǎng)絡(luò)，完成各種大腦功能。大腦的容錯性是非常強的。當給定網(wǎng)絡(luò)一組輸入模式時，B-P網(wǎng)絡(luò)將依次對這組輸入模式中的每個輸入模式按如下方式進行學(xué)習(xí)：把輸入模式從輸入層傳到隱含層單元，經(jīng)隱含層單元逐層處理后，產(chǎn)生一個輸出模式傳至輸出層，這一過程稱為正向傳播。神經(jīng)網(wǎng)絡(luò)訓(xùn)練的實質(zhì)是通過對樣本集的輸入/輸出模式反復(fù)作用于網(wǎng)絡(luò)，網(wǎng)絡(luò)按照一定的學(xué)習(xí)算法自動調(diào)節(jié)神經(jīng)元之間的連接強度（閾值）或拓撲結(jié)構(gòu)，當網(wǎng)絡(luò)的實際輸出滿足期望要求，或者趨于穩(wěn)定時，則認為學(xué)習(xí)圓滿結(jié)束。如果神經(jīng)網(wǎng)絡(luò)中某一神經(jīng)元同另一直接與它連接的神經(jīng)元同時處于興奮狀態(tài)，那么這兩個神經(jīng)元之間的連接強度將得到加強。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法有很多，大體可分為有導(dǎo)師學(xué)習(xí)（SupervisedLearning）、和無導(dǎo)師學(xué)習(xí)（UnsupervisedLearning）兩大類，另外還有一類死記式學(xué)習(xí)。（3）ANN研究帶有濃厚的策略和經(jīng)驗色彩。數(shù)據(jù)融合的能力：神經(jīng)網(wǎng)絡(luò)可以同時處理定量信息和定性信息，因此它可以利用傳統(tǒng)的工程技術(shù)（數(shù)值運算）和人工智能技術(shù)（符號處理）。兩種功能相互結(jié)合，使生物神經(jīng)元對由突觸傳入的神經(jīng)沖動具有時空整合的功能。53感知器模型及其學(xué)習(xí)（自學(xué)習(xí)模型）

感知器模型

感知器是一種具有分層結(jié)構(gòu)的前向網(wǎng)絡(luò)模型，它可分為單層、兩層及多層結(jié)構(gòu)。 感知器中的神經(jīng)網(wǎng)絡(luò)是線性閾值單元。當輸入信息的加權(quán)和大于或等于閾值時，輸出為1，否則輸出為0或-1。神經(jīng)元之間的連接權(quán)ωi是可變的，這種可變性就保證了感知器具有學(xué)習(xí)的能力。PR為網(wǎng)絡(luò)輸入取向量取值范圍的矩陣；53感知器模型及其學(xué)習(xí)（54B-P網(wǎng)絡(luò)及其學(xué)習(xí)誤差反向傳播（ErrorBackPropagation）：美國加州大學(xué)的魯梅爾哈特（Rumelhart）和麥克萊蘭(Meclelland)等學(xué)者繼續(xù)深入研究了感知器模型，他們抓住信息處理中的并行性和分布性這兩個本質(zhì)概念，1985年提出了一個神經(jīng)網(wǎng)絡(luò)反向傳播模型，簡稱為B-P模型，這個模型既實現(xiàn)了明斯基（Minsky）所提出的多層網(wǎng)絡(luò)的設(shè)想，又突破了感知器的一些局限性。54B-P網(wǎng)絡(luò)及其學(xué)習(xí)誤差反向傳播（ErrorBackP55B-P網(wǎng)絡(luò)及其學(xué)習(xí)

BP模型利用輸出后的誤差來估計輸出層的直接前導(dǎo)層的誤差，再利用這個誤差估計更前一層的誤差。如此下去，獲得所有其他各層的誤差估計。形成將輸出表現(xiàn)出來的誤差沿著與輸入信號傳送相反的方向逐級向網(wǎng)絡(luò)的輸入端傳遞的過程，因此稱為后向傳播（B-P）算法。55B-P網(wǎng)絡(luò)及其學(xué)習(xí)56B-P網(wǎng)絡(luò)及其學(xué)習(xí)BP模型不僅有輸人層節(jié)點、輸出層節(jié)點，而且有一層或多層隱含節(jié)點。層與層之間多采用全互連方式，但同一層的節(jié)點之間不存在相互連接?！?6B-P網(wǎng)絡(luò)及其學(xué)習(xí)………57B-P網(wǎng)絡(luò)的學(xué)習(xí)過程是由正向傳播和誤差反向傳播組成的。當給定網(wǎng)絡(luò)一組輸入模式時，B-P網(wǎng)絡(luò)將依次對這組輸入模式中的每個輸入模式按如下方式進行學(xué)習(xí)：把輸入模式從輸入層傳到隱含層單元，經(jīng)隱含層單元逐層處理后，產(chǎn)生一個輸出模式傳至輸出層，這一過程稱為正向傳播。57B-P網(wǎng)絡(luò)的學(xué)習(xí)過程是由正向傳播和誤差反向傳播組成的。58如果經(jīng)正向傳播在輸出層沒有得到所期望的輸出模式，則轉(zhuǎn)為誤差反向傳播過程，即把誤差信號沿原連接路徑返回，并通過修改各層神經(jīng)元的連接權(quán)值，使誤差信號為最小。重復(fù)正向傳播和反向傳播過程，直至得到所期望的輸出模式為止。58如果經(jīng)正向傳播在輸出層沒有得到所期望的輸出模式，則轉(zhuǎn)為誤59BP網(wǎng)絡(luò)除了在多層網(wǎng)絡(luò)上與單層感知器不同外，其主要差別也表現(xiàn)在激活函數(shù)上。BP網(wǎng)絡(luò)的激活函數(shù)必須是處處可微的，因此它不能采用二值型的閥值函數(shù){0，1}或符號函數(shù){－1，1}BP網(wǎng)絡(luò)經(jīng)常使用的是S型的對數(shù)或正切激活函數(shù)和線性函數(shù)59BP網(wǎng)絡(luò)除了在多層網(wǎng)絡(luò)上與單層感知器不同外，其主要差別也60B-P網(wǎng)絡(luò)的學(xué)習(xí)算法： （1）初始化網(wǎng)絡(luò)及學(xué)習(xí)參數(shù)，即將隱含層和輸出層各節(jié)點的連接權(quán)值、神經(jīng)元閾值賦予[－1，1]區(qū)間的一個隨機數(shù)。

（2）提供訓(xùn)練樣本，即從訓(xùn)練樣本集合中選出一個訓(xùn)練樣本，將其輸入和期望輸出送入網(wǎng)絡(luò)。

（3）正向傳播過程，即對給定的輸入，從第一隱含層開始，計算網(wǎng)絡(luò)的輸出，并把得到的輸出與期望輸出比較，若有誤差，則執(zhí)行第（4）步；否則，返回第（2）步，提供下一個訓(xùn)練模式；

（4）反向傳播過程，即從輸出層反向計算到第一隱含層，逐層修正各單元的連接權(quán)值。

（5）返回第（2）步，對訓(xùn)練樣本集中的每一個訓(xùn)練樣本重復(fù)第（2）到第（3）步，直到訓(xùn)練樣本集中的每一個樣本都滿足期望輸出為止。60B-P網(wǎng)絡(luò)的學(xué)習(xí)算法：61函數(shù)名功能newff()生成一個前饋BP網(wǎng)絡(luò)tansig()雙曲正切S型(Tan-Sigmoid)傳輸函數(shù)logsig()對數(shù)S型(Log-Sigmoid)傳輸函數(shù)traingd()梯度下降BP訓(xùn)練函數(shù)MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能61函數(shù)名功能newff()生成一個前饋BP網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則

日本著名神經(jīng)網(wǎng)絡(luò)學(xué)者Amari于1990年提出一種神經(jīng)網(wǎng)絡(luò)權(quán)值訓(xùn)練的通用學(xué)習(xí)規(guī)則。人腦的基本組成是腦神經(jīng)細胞，大量腦神經(jīng)細胞相互聯(lián)接組成人的大腦神經(jīng)網(wǎng)絡(luò)，完成各種大腦功能。(1)MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能net=newff([01;01;01],[5,1],{'tansig','logsig'},'traingd');善于將不同領(lǐng)域的知識結(jié)合起來靈活運用，善于概括、類比和推理。了解人腦神經(jīng)網(wǎng)絡(luò)的組成和原理，有助于對人工神經(jīng)網(wǎng)絡(luò)的理解。人工神經(jīng)網(wǎng)絡(luò)的互連結(jié)構(gòu)及其學(xué)習(xí)機理雖然神經(jīng)元的形態(tài)各不相同，但是都由細胞體和突起兩大部分組成，而突起又分樹突和軸突?；趯θ祟惿锵到y(tǒng)的這一認識，人們也試圖通過對人工神經(jīng)元的廣泛互連來模擬生物神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能。帶有反饋的多層神經(jīng)網(wǎng)絡(luò)如果神經(jīng)網(wǎng)絡(luò)中某一神經(jīng)元同另一直接與它連接的神經(jīng)元同時處于興奮狀態(tài)，那么這兩個神經(jīng)元之間的連接強度將得到加強。人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)和記憶的心理學(xué)基礎(chǔ)

學(xué)習(xí)和記憶是人類智能的一個重要特征。TFN1}，BTF，BLF，PF)這樣可以用來限制同一層內(nèi)能同時激活神經(jīng)元的個數(shù)，或者把每一層內(nèi)的神經(jīng)元分成若干組，讓每組作為一個整體來動作。沿神經(jīng)纖維傳遞的信號為離散的電脈沖信號，而細胞膜電位的變化為連續(xù)的電位信號。這是一種純前饋、無導(dǎo)師學(xué)習(xí)。Hebb型學(xué)習(xí)

Hebb學(xué)習(xí)方式可用如下公式表示：

ωij(t+1)=ωij(t)+η[xi(t)xj(t)]

其中，ωij（t＋1）表示對時刻t的權(quán)值修正一次后的新的權(quán)值；BP神經(jīng)網(wǎng)絡(luò)在分類與預(yù)測中的應(yīng)用在此情況下，網(wǎng)絡(luò)輸出為“1”和“0”的概率各為50%，也就是說是完全隨機的。（6）自組織和自學(xué)習(xí)功能

人腦能夠通過內(nèi)部自組織、自學(xué)習(xí)能力不斷適應(yīng)外界環(huán)境，從而可以有效地處理各種模擬的、模糊的或隨機的問題。這時如果輸出為“1”(結(jié)果正確)，則使連接權(quán)值增大，以便使網(wǎng)絡(luò)再次遇到“A”模式輸入時，仍然能作出正確的判斷。說明net為創(chuàng)建的新BP神經(jīng)網(wǎng)絡(luò)；62MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能newff()功能建立一個前向BP網(wǎng)絡(luò)格式

net=newff(PR，[S1S2...SN1]，{TF1TF2...TFN1}，BTF，BLF，PF)說明

net為創(chuàng)建的新BP神經(jīng)網(wǎng)絡(luò)；PR為網(wǎng)絡(luò)輸入取向量取值范圍的矩陣；[S1S2…SNl]表示網(wǎng)絡(luò)隱含層和輸出層神經(jīng)元的個數(shù)；{TFlTF2…TFN1}表示網(wǎng)絡(luò)隱含層和輸出層的傳輸函數(shù)，默認為‘tansig’；BTF表示網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默認為‘trainlm’；BLF表示網(wǎng)絡(luò)的權(quán)值學(xué)習(xí)函數(shù)，默認為‘learngdm’；PF表示性能數(shù)，默認為‘mse’。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則

日本著名神經(jīng)網(wǎng)絡(luò)學(xué)者Ama63MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能tansig()功能正切sigmoid激活函數(shù)格式

a=tansig(n)說明雙曲正切Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-∞，+∞)映射到(-1，1)。它是可導(dǎo)函數(shù)，適用于BP訓(xùn)練的神經(jīng)元。logsig()功能對數(shù)Sigmoid激活函數(shù)格式

a=logsig(N)說明對數(shù)Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-∞，+∞)映射到(0，1)。它是可導(dǎo)函數(shù)，適用于BP訓(xùn)練的神經(jīng)元。63MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能64：最大訓(xùn)練步數(shù)。不過當誤差準則滿足時，即使沒達到此步數(shù)也停止訓(xùn)練。缺省為100。：網(wǎng)絡(luò)誤差準則，當誤差小于此準則時停止訓(xùn)練，缺省為0。net.trainFcn：訓(xùn)練算法。缺省為’trainlm’，即Levenberg-Marquardt算法。還可使用‘traingdx’，即帶動量的梯度下降算法；’traincgf’，即共軛梯度法。其它可看matlab幫助:help->contents->NeuralNetworkToobox->NetworkObjectReference;help(net.trainFcn)(1)MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能64：最大訓(xùn)練步數(shù)。不過當誤差準則滿足時，即使沒達到此步數(shù)也656566

例下表為某藥品的銷售情況，月份123456銷量205623952930229816341600月份789101112銷量187314781900150020461556現(xiàn)構(gòu)建一個如下的三層BP神經(jīng)網(wǎng)絡(luò)對藥品的銷售進行預(yù)測：輸入層有三個結(jié)點,隱含層結(jié)點數(shù)為5，隱含層的激活函數(shù)為tansig；輸出層結(jié)點數(shù)為1個,輸出層的激活函數(shù)為logsig,并利用此網(wǎng)絡(luò)對藥品的銷售量進行預(yù)測,預(yù)測方法采用滾動預(yù)測方式,即用前三個月的銷售量來預(yù)測第四個月的銷售量,如用1、2、3月的銷售量為輸入預(yù)測第4個月的銷售量,用2、3、4月的銷售量為輸入預(yù)測第5個月的銷售量.如此反復(fù)直至滿足預(yù)測精度要求為止。BP神經(jīng)網(wǎng)絡(luò)在分類與預(yù)測中的應(yīng)用66例下表為某藥品的銷售情況，月份123467BP神經(jīng)網(wǎng)絡(luò)在分類與預(yù)測中的應(yīng)用%以每三個月的銷售量經(jīng)歸一化處理后作為輸入P=[0.5152 0.8173 1.0000;0.8173 1.0000 0.7308;1.0000 0.7308 0.1390;0.7308 0.1390 0.1087;0.1390 0.1087 0.3520;0.1087 0.3520 0.1065;]';%以第四個月的銷售量歸一化處理后作為目標向量T=[0.73080.13900.10870.35200.10650.3761];%創(chuàng)建一個BP神經(jīng)網(wǎng)絡(luò)，每一個輸入向量的取值范圍為[0,1],隱含層有5個神經(jīng)%元，輸出層有一個神經(jīng)元，隱含層的激活函數(shù)為tansig，輸出層的激活函數(shù)為%logsig，訓(xùn)練函數(shù)為梯度下降函數(shù).net=newff([01;01;01],[5,1],{'tansig','logsig'},'traingd');%設(shè)置學(xué)習(xí)速率為0.1LP.lr=0.1;net=train(net,P,T);67BP神經(jīng)網(wǎng)絡(luò)在分類與預(yù)測中的應(yīng)用%以每三個月的銷售量經(jīng)歸68BP網(wǎng)絡(luò)應(yīng)用于藥品預(yù)測對比圖由對比圖可以看出預(yù)測效果與實際存在一定誤差，此誤差可以通過增加運行步數(shù)和提高預(yù)設(shè)誤差精度進一步縮小。BP神經(jīng)網(wǎng)絡(luò)在分類與預(yù)測中的應(yīng)用68BP網(wǎng)絡(luò)應(yīng)用于藥品預(yù)測對比圖BP神經(jīng)網(wǎng)絡(luò)在分類與預(yù)測中的69BP神經(jīng)網(wǎng)絡(luò)在分類與預(yù)測中的應(yīng)用徽章的分類69BP神經(jīng)網(wǎng)絡(luò)在分類與預(yù)測中的應(yīng)用徽章的分類70BP網(wǎng)絡(luò)建模特點：非線性映照能力：神經(jīng)網(wǎng)絡(luò)能以任意精度逼近任何非線性連續(xù)函數(shù)。在建模過程中的許多問題正是具有高度的非線性。并行分布處理方式：在神經(jīng)網(wǎng)絡(luò)中信息是分布儲存和并行處理的，這使它具有很強的容錯性和很快的處理速度。自學(xué)習(xí)和自適應(yīng)能力：神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時，能從輸入、輸出的數(shù)據(jù)中提取出規(guī)律性的知識，記憶于網(wǎng)絡(luò)的權(quán)值中，并具有泛化能力，即將這組權(quán)值應(yīng)用于一般情形的能力。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)也可以在線進行。數(shù)據(jù)融合的能力：神經(jīng)網(wǎng)絡(luò)可以同時處理定量信息和定性信息，因此它可以利用傳統(tǒng)的工程技術(shù)（數(shù)值運算）和人工智能技術(shù)（符號處理）。多變量系統(tǒng)：神經(jīng)網(wǎng)絡(luò)的輸入和輸出變量的數(shù)目是任意的，對單變量系統(tǒng)與多變量系統(tǒng)提供了一種通用的描述方式，不必考慮各子系統(tǒng)間的解耦問題。70BP網(wǎng)絡(luò)建模特點：71BP神經(jīng)算法的特點非線性映射能力能學(xué)習(xí)和存貯大量輸入-輸出模式映射關(guān)系，而無需事先了解描述這種映射關(guān)系的數(shù)學(xué)方程。只要能提供足夠多的樣本模式對供網(wǎng)絡(luò)進行學(xué)習(xí)訓(xùn)練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。泛化能力當向網(wǎng)絡(luò)輸入訓(xùn)練時未曾見過的非樣本數(shù)據(jù)時，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種能力稱為泛化能力。容錯能力輸入樣本中帶有較大的誤差甚至個別錯誤對網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小。71BP神經(jīng)算法的特點非線性映射能力MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能一般而言,ANN與經(jīng)典計算方法相比并非優(yōu)越,只有當常規(guī)方法解決不了或效果不佳時ANN方法才能顯示出其優(yōu)越性。感知器研究中首次提出了自組織、自學(xué)習(xí)的概念，對神經(jīng)網(wǎng)絡(luò)的研究起到重要的推動作用，是研究其他網(wǎng)絡(luò)的基礎(chǔ)。人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用實例功能對數(shù)Sigmoid激活函數(shù)帶有反饋的多層神經(jīng)網(wǎng)絡(luò)

這是一種允許輸出層-隱層，隱層中各層之間，隱層-輸入層之間具有反饋連接的方式，反饋的結(jié)果將構(gòu)成封閉環(huán)路。這種能力稱為泛化能力。（3）分布式功能

人們通過對腦損壞病人所做的神經(jīng)心理學(xué)研究，沒有發(fā)現(xiàn)大腦中的哪一部分可以決定其余所有各部分的活動，也沒有發(fā)現(xiàn)在大腦中存在有用于驅(qū)動和管理整個智能處理過程的任何中央控制部分。人工神經(jīng)網(wǎng)絡(luò)以其具有自學(xué)習(xí)、自組織、較好的容錯性和優(yōu)良的非線性逼近能力，受到眾多領(lǐng)域?qū)W者的關(guān)注。人腦的基本組成是腦神經(jīng)細胞，大量腦神經(jīng)細胞相互聯(lián)接組成人的大腦神經(jīng)網(wǎng)絡(luò)，完成各種大腦功能。ωi表示第i個輸入的連接強度，稱為連接權(quán)值；TFN1}，BTF，BLF，PF)BP神經(jīng)網(wǎng)絡(luò)在分類與預(yù)測中的應(yīng)用（5）聯(lián)想功能

人腦不僅具有很強的容錯功能，還有聯(lián)想功能。細胞體是神經(jīng)元的主體，胞體和樹突表面是接受的其他神經(jīng)元傳來的信號的主要部位。%以每三個月的銷售量經(jīng)歸一化處理后作為輸入ωij(t+1)表示對時刻t的權(quán)值修正一次后的新的權(quán)值；BP網(wǎng)絡(luò)除了在多層網(wǎng)絡(luò)上與單層感知器不同外，其主要差別也表現(xiàn)在激活函數(shù)上。人工神經(jīng)網(wǎng)絡(luò)的互連結(jié)構(gòu)及其學(xué)習(xí)機理兩種功能相互結(jié)合，使生物神經(jīng)元對由突觸傳入的神經(jīng)沖動具有時空整合的功能。一般來說，有髓鞘的纖維，其傳導(dǎo)速度在100m／s以上，無髓鞘的纖維，其傳導(dǎo)速度可低至每秒數(shù)米。常用的人工神經(jīng)元模型

功能函數(shù)f是表示神經(jīng)元輸入與輸出之間關(guān)系的函數(shù)，根據(jù)功能函數(shù)的不同，可以得到不同的神經(jīng)元模型。72神經(jīng)網(wǎng)絡(luò)的應(yīng)用人工神經(jīng)網(wǎng)絡(luò)以其具有自學(xué)習(xí)、自組織、較好的容錯性和優(yōu)良的非線性逼近能力，受到眾多領(lǐng)域?qū)W者的關(guān)注。在實際應(yīng)用中，80%～90%的人工神經(jīng)網(wǎng)絡(luò)模型是采用誤差反傳算法或其變化形式的網(wǎng)絡(luò)模型（簡稱BP網(wǎng)絡(luò)），目前主要應(yīng)用于函數(shù)逼近、模式識別、分類和數(shù)據(jù)壓縮或數(shù)據(jù)挖掘。MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能72神經(jīng)網(wǎng)絡(luò)的73人工神經(jīng)網(wǎng)絡(luò)研究的局限性（1）ANN研究受到腦科學(xué)研究成果的限制。（2）ANN缺少一個完整、成熟的理論體系。（3）ANN研究帶有濃厚的策略和經(jīng)驗色彩。（4）ANN與傳統(tǒng)技術(shù)的接口不成熟。

73人工神經(jīng)網(wǎng)絡(luò)研究的局限性（1）ANN研究受到腦科學(xué)研究成74一般而言,ANN與經(jīng)典計算方法相比并非優(yōu)越,只有當常規(guī)方法解決不了或效果不佳時ANN方法才能顯示出其優(yōu)越性。尤其對問題的機理不甚了解或不能用數(shù)學(xué)模型表示的系統(tǒng),如故障診斷、特征提取和預(yù)測等問題，ANN往往是最有力的工具。另一方面,ANN對處理大量原始數(shù)據(jù)而不能用規(guī)則或公式描述的問題,表現(xiàn)出極大的靈活性和自適應(yīng)性。黑箱74一般而言,ANN與經(jīng)典計算方法相比并非優(yōu)75人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用實例實訓(xùn)題：預(yù)測公路運量75人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用實例實訓(xùn)題：預(yù)測公路運量76

（5）聯(lián)想功能

人腦不僅具有很強的容錯功能，還有聯(lián)想功能。善于將不同領(lǐng)域的知識結(jié)合起來靈活運用，善于概括、類比和推理。例如，一個人能很快認出多年不見、面貌變化較大的老朋友。

（6）自組織和自學(xué)習(xí)功能

人腦能夠通過內(nèi)部自組織、自學(xué)習(xí)能力不斷適應(yīng)外界環(huán)境，從而可以有效地處理各種模擬的、模糊的或隨機的問題。76 （5）聯(lián)想功能

人腦不僅具有很強的容錯77人工神經(jīng)網(wǎng)絡(luò)的互連結(jié)構(gòu)及其學(xué)習(xí)機理簡單單級網(wǎng)……x1x2…xno1o2onwnmw11w1mw2mwn1輸出層輸入層 77人工神經(jīng)網(wǎng)絡(luò)的互連結(jié)構(gòu)及其學(xué)習(xí)機理簡單單級網(wǎng)……x1x278帶有反饋的多層神經(jīng)網(wǎng)絡(luò)

這是一種允許輸出層-隱層，隱層中各層之間，隱層-輸入層之間具有反饋連接的方式，反饋的結(jié)果將構(gòu)成封閉環(huán)路。x1o1輸出層隱藏層輸入層x2o2omxn…………………78帶有反饋的多層神經(jīng)網(wǎng)絡(luò)

這是一種允許輸出層79帶有反饋的多層神經(jīng)網(wǎng)絡(luò) 這種神經(jīng)網(wǎng)絡(luò)和前向多層神經(jīng)網(wǎng)絡(luò)不同。多層前向神經(jīng)網(wǎng)絡(luò)屬于非循環(huán)連接模式，它的每個神經(jīng)元的輸入都沒有包含該神經(jīng)元先前的輸出，因此可以說是沒有“短期記憶”的。但帶反饋的多層神經(jīng)網(wǎng)絡(luò)則不同，它的每個神經(jīng)元的輸入都有可能包含有該神經(jīng)元先前的輸出反饋信息。因此，它的輸出要由當前的輸入和先前的輸出兩者來決定，這有點類似于人類短期記憶的性質(zhì)。79帶有反饋的多層神經(jīng)網(wǎng)絡(luò)80人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法

學(xué)習(xí)算法是人工神經(jīng)網(wǎng)絡(luò)研究中的核心問題

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法有很多，大體可分為有導(dǎo)師學(xué)習(xí)（SupervisedLearning）、和無導(dǎo)師學(xué)習(xí)（UnsupervisedLearning）兩大類，另外還有一類死記式學(xué)習(xí)。80人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法

81Hebb型學(xué)習(xí)

Hebb學(xué)習(xí)方式可用如下公式表示：

ωij(t+1)=ωij(t)+η[xi(t)xj(t)]

其中，ωij（t＋1）表示對時刻t的權(quán)值修正一次后的新的權(quán)值；xi(t)、xj(t)分別表示t時刻神經(jīng)元i（輸入）和神經(jīng)元j（輸出）的狀態(tài)。上式表明，權(quán)值的調(diào)整量與輸入輸出的乘積成正比。此時的學(xué)習(xí)信號即輸出信號。這是一種純前饋、無導(dǎo)師學(xué)習(xí)。該規(guī)則至今仍在各種神經(jīng)網(wǎng)絡(luò)模型中起著重要作用。

81Hebb型學(xué)習(xí)

Hebb學(xué)習(xí)方式可用如下公式表示：

82MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能tansig()功能正切sigmoid激活函數(shù)格式

a=tansig(n)說明雙曲正切Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-∞，+∞)映射到(-1，1)。它是可導(dǎo)函數(shù)，適用于BP訓(xùn)練的神經(jīng)元。logsig()功能對數(shù)Sigmoid激活函數(shù)格式

a=logsig(N)說明對數(shù)Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-∞，+∞)映射到(0，1)。它是可導(dǎo)函數(shù)，適用于BP訓(xùn)練的神經(jīng)元。82MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能這種模型又稱為偽線性，其輸入／輸出之間在一定范圍內(nèi)滿足線性關(guān)系，一直延續(xù)到輸出為最大值1為止。它是可導(dǎo)函數(shù)，適用于BP訓(xùn)練的神經(jīng)元。一般而言,ANN與經(jīng)典計算方法相比并非優(yōu)越,只有當常規(guī)方法解決不了或效果不佳時ANN方法才能顯示出其優(yōu)越性。（6）自組織和自學(xué)習(xí)功能

人腦能夠通過內(nèi)部自組織、自學(xué)習(xí)能力不斷適應(yīng)外界環(huán)境，從而可以有效地處理各種模擬的、模糊的或隨機的問題。4)按網(wǎng)絡(luò)的性能可分為連續(xù)型網(wǎng)絡(luò)與離散型網(wǎng)絡(luò)，或分為確定性網(wǎng)絡(luò)與隨機型網(wǎng)絡(luò)；BP神經(jīng)網(wǎng)絡(luò)在分類與預(yù)測中的應(yīng)用說明net為創(chuàng)建的新BP神經(jīng)網(wǎng)絡(luò)；感知器模型及其學(xué)習(xí)（自學(xué)習(xí)模型）但當達到最大值后，輸出就不再增大。4)按網(wǎng)絡(luò)的性能可分為連續(xù)型網(wǎng)絡(luò)與離散型網(wǎng)絡(luò)，或分為確定性網(wǎng)絡(luò)與隨機型網(wǎng)絡(luò)；Hebb型學(xué)習(xí)

Hebb學(xué)習(xí)方式可用如下公式表示：

ωij(t+1)=ωij(t)+η[xi(t)xj(t)]

其中，ωij（t＋1）表示對時刻t的權(quán)值修正一次后的新的權(quán)值；(1)MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能TFN1}，BTF，BLF，PF)在此情況下，網(wǎng)絡(luò)輸出為“1”和“0”的概率各為50%，也就是說是完全隨機的。層與層之間多采用全互連方式，但同一層的節(jié)點之間不存在相互連接。MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能（3）脈沖與電位轉(zhuǎn)換

突觸界面具有脈沖/電位信號轉(zhuǎn)化功能。人工神經(jīng)網(wǎng)絡(luò)以其具有自學(xué)習(xí)、自組織、較好的容錯性和優(yōu)良的非線性逼近能力，受到眾多領(lǐng)域?qū)W者的關(guān)注。BP神經(jīng)網(wǎng)絡(luò)在分類與預(yù)測中的應(yīng)用不過當誤差準則滿足時，即使沒達到此步數(shù)也停止訓(xùn)練。較有代表性的多層網(wǎng)絡(luò)模型有：前向網(wǎng)絡(luò)模型、多層側(cè)抑制神經(jīng)網(wǎng)絡(luò)模型和帶有反饋的多層神經(jīng)網(wǎng)絡(luò)模型等。感知器模型

感知器是一種具有分層結(jié)構(gòu)的前向網(wǎng)絡(luò)模型，它可分為單層、兩層及多層結(jié)構(gòu)。83：最大訓(xùn)練步數(shù)。不過當誤差準則滿足時，即使沒達到此步數(shù)也停止訓(xùn)練。缺省為100。：網(wǎng)絡(luò)誤差準則，當誤差小于此準則時停止訓(xùn)練，缺省為0。net.trainFcn：訓(xùn)練算法。缺省為’trainlm’，即Levenberg-Marquardt算法。還可使用‘traingdx’，即帶動量的梯度下降算法；’traincgf’，即共軛梯度法。其它可看matlab幫助:help->contents->NeuralNetworkToobox->NetworkObjectReference;help(net.trainFcn)(1)MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能這種模型又稱為偽線性，其輸入／輸出之間在一定范圍內(nèi)滿足線性關(guān)84

由于神經(jīng)網(wǎng)絡(luò)是多學(xué)科交叉的產(chǎn)物，各個相關(guān)的學(xué)科領(lǐng)域?qū)ι窠?jīng)網(wǎng)絡(luò)都有各自的看法，因此，關(guān)于神經(jīng)網(wǎng)絡(luò)的定義，在科學(xué)界存在許多不同的見解。目前使用得較廣泛的是T.Koholen（芬蘭赫爾辛基技術(shù)大學(xué)）的定義，即"神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的簡單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實世界物體所作出的交互反應(yīng)。"

1 由于神經(jīng)網(wǎng)絡(luò)是多學(xué)科交叉的產(chǎn)物，各個相85

人腦的基本組成是腦神經(jīng)細胞，大量腦神經(jīng)細胞相互聯(lián)接組成人的大腦神經(jīng)網(wǎng)絡(luò)，完成各種大腦功能。而人工神經(jīng)網(wǎng)絡(luò)則是由大量的人工神經(jīng)細胞（神經(jīng)元）經(jīng)廣泛互連形成的人工網(wǎng)絡(luò)，以此模擬人類神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能。

了解人腦神經(jīng)網(wǎng)絡(luò)的組成和原理，有助于對人工神經(jīng)網(wǎng)絡(luò)的理解。2 人腦的基本組成是腦神經(jīng)細胞，大量腦神經(jīng)細胞相互聯(lián)接86人工神經(jīng)網(wǎng)絡(luò)概述人體神經(jīng)結(jié)構(gòu)與特征雖然神經(jīng)元的形態(tài)各不相同，但是都由細胞體和突起兩大部分組成，而突起又分樹突和軸突。3人工神經(jīng)網(wǎng)絡(luò)概述人體神經(jīng)結(jié)構(gòu)與特征雖然神經(jīng)元的形態(tài)各不相同87軸突是由細胞體向外延伸出的所有纖維中最長的一條分枝，用來向外傳遞神經(jīng)元產(chǎn)生的輸出信號。每個神經(jīng)元只發(fā)出一條軸突，短的僅幾個微米，其最大長度可達1m以上。4軸突是由細胞體向外延伸出的所有纖維中最長的一條分枝，用來向88突觸，在軸突的末端形成了許多很細的分枝，這些分枝叫神經(jīng)末梢。每一條神經(jīng)末梢可以與其他神經(jīng)元形成功能性接觸，該接觸部位稱為突觸。每個神經(jīng)元大約有103～105個突觸，換句話說，每個神經(jīng)元大約與103～105個其它神經(jīng)元有連接，正是因為這些突觸才使得全部大腦神經(jīng)元形成一個復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)。所謂功能性接觸，突觸的信息傳遞特性可變，因此細胞之間的連接強度可變，這是一種柔性連接，也稱為神經(jīng)元結(jié)構(gòu)的可塑性，這正是神經(jīng)元之間傳遞信息的奧秘之一。5突觸，在軸突的末端形成了許多很細的分枝，這些分枝叫神經(jīng)末梢89樹突是指由細胞體向外延伸的除軸突以外的其他所有分支。不同的神經(jīng)元其樹突的數(shù)量也不同，長度較短，但數(shù)量很多，它是神經(jīng)元的輸入端，用于接受從其他神經(jīng)元的突觸傳來的信號。細胞體是神經(jīng)元的主體，胞體和樹突表面是接受的其他神經(jīng)元傳來的信號的主要部位。6樹突是指由細胞體向外延伸的除軸突以外的其他所有分支。不同的90 神經(jīng)元中的細胞體相當于一個初等處理器，它對來自其他各個神經(jīng)元的信號進行總體求和，并產(chǎn)生一個神經(jīng)輸出信號。由于細胞膜將細胞體內(nèi)外分開，因此，在細胞體的內(nèi)外具有不同的電位，通常是內(nèi)部電位比外部電位低。細胞膜內(nèi)外的電位之差被稱為膜電位。在無信號輸入時的膜電位稱為靜止膜電位。當一個神經(jīng)元的所有輸入總效應(yīng)達到某個閾值電位時，該細胞變?yōu)榛钚约毎せ睿淠る娢粚⒆园l(fā)地急劇升高產(chǎn)生一個電脈沖。這個電脈沖又會從細胞體出發(fā)沿軸突到達神經(jīng)末梢，并經(jīng)與其他神經(jīng)元連接的突觸，將這一電脈沖傳給相應(yīng)的神經(jīng)元。7 神經(jīng)元中的細胞體相當于一個初等處理器，它對