神經元感知器和網絡

（2）自適應性和自組織性。神經元之間的連接具有多樣性，各神經元之間的連接強度具有可塑性，網絡可以通過學習與訓練進行自組織，以適應不同信息處理的要求。（3）并行處理性。網絡各單元可同時進行類似的處理，整個網絡的信息處理方式是大規(guī)模并行的，可以大大加快對信息處理的速度。（4）分布存儲和容錯性。信息在神經網絡內的存儲按內容分布于許多神經元中，而且每個神經元存儲多種信息的部分內容。網絡的每部分對信息的存儲具有等勢作用，部分的信息丟失仍可以使完整的信息得到恢復，因而使網絡具有容錯性和聯想記憶功能。（5）便于集成實現和計算模擬。神經網絡在結構上是相同神經元的大規(guī)模組合，特別適合于用大規(guī)模集成電路實現。

當前第1頁\共有54頁\編于星期四\5點1§3-1

神經網絡的基本概念一.生物神經元模型

神經元模型

腦神經元由細胞體、樹突和軸突構成。細胞體是神經元的中心，它一般又由細胞核、細胞膜等組成。樹突是神經元的主要接受器，它主要用來接受信息。軸突的作用主要是傳導信息，它將信息從軸突起點傳到軸突末梢。1、組成

軸突末梢與另一個神經元的樹突或胞體構成一種突觸的機構。通過突觸實現神經元之間的信息傳遞。當前第2頁\共有54頁\編于星期四\5點2具有兩種常規(guī)工作狀態(tài)：興奮與抑制。當傳入的神經沖動使細胞膜電位升高超過閾值時，細胞進入興奮狀態(tài)，產生神經沖動并由軸突輸出；當傳入的神經沖動使膜電位下降低于閾值時，細胞進入抑制狀態(tài)，沒有神經沖動輸出。

2.生物神經元工作狀態(tài)當前第3頁\共有54頁\編于星期四\5點3二.人工神經元模型

人工神經網絡是利用物理器件來模擬生物神經網絡的某些結構和功能。

1.人工神經元的輸入輸出變換關系為:

其中:

稱為閾值稱為連接權系數稱為輸出變換函數。當前第4頁\共有54頁\編于星期四\5點42.常用的輸入輸出變換函數

神經元模型的輸出函數，它是一個非動態(tài)的非線性函數，用以模擬神經細胞的興奮、抑制以及閾值等非線性特性。

這些非線性函數具有兩個顯著的特征，一是它的突變性，二是它的飽和性，這正是為了模擬神經細胞興奮過程中所產生的神經沖動以及疲勞等特性。當前第5頁\共有54頁\編于星期四\5點5某兩輸入、單輸出的單節(jié)點感知器的連接權值樣本，為一類（感知器輸出為1），為另一類（感知器輸出為-1），，樣本試求閥值T。（T為絕對值最小的整數，轉移函數采用符號函數）課堂練習當前第6頁\共有54頁\編于星期四\5點6解：單節(jié)點兩輸入感知器的輸出為：根據題意：時：

得

時：

得

時：

得

為將樣本按要求分兩類，，根據題意選當前第7頁\共有54頁\編于星期四\5點73.1.2人工神經元網絡

人工神經網絡是一個并行和分布式的信息處理網絡結構，該網絡結構一般由許多個神經元組成，每個神經元有一個單一的輸出，它可以連接到很多其它的神經元，其輸入有多個連接通路，每個連接通路對應一個連接權系數。

1.對于每個結點有一個狀態(tài)變量

一.人工神經元網絡的組成原理

2.結點

i

到結點j有一個連接權系數

3.對于每個結點有一個閾值

4.對于每個結點定義一個變換函數嚴格說來，神經網絡是一個具有如下性質的有向圖。其中：當前第8頁\共有54頁\編于星期四\5點8二.典型的神經網絡結構：

根據神經元之間連接的拓撲結構上的不同，可將神經網絡結構分為兩大類：層狀結構和網絡結構。層狀結構的神經網絡是由若干層組成，每層中有一定數量的神經元，相鄰層中神經元單向聯接，一般同層內的神經元不能聯接。1、前向網絡（前饋網絡）下面介紹幾種常見的網絡結構:2、反饋網絡

當前第9頁\共有54頁\編于星期四\5點9

即網狀結構，在這種神經網絡結構中，任何兩個神經元之間都可能雙向聯接。

4.混合型網絡

在前向網絡基礎上，在同層、部分神經元之間也可雙向聯接。3.相互結合型網絡當前第10頁\共有54頁\編于星期四\5點10§3-2監(jiān)督學習及前饋神經網絡

具有分層的結構。最前面一層是輸入層，中間是隱層，最后一層是輸出層。其信息從輸入層依次向上傳遞，直至輸出層。這樣的結構稱為前饋網絡。

3.2.1感知器網絡

感知器(perceptron)是最簡單的前饋網絡，也是早期仿生學的研究成果，主要功能是用于對不同的輸入模式進行分類。當前第11頁\共有54頁\編于星期四\5點11一、單層感知器網絡

也就是按照不同特征的分類結果。

是具有單層神經元、采用線性閾值函數的前饋網絡。通過對權值的訓練，可使感知器對一組線性可分的輸入模式（矢量）進行有效的分類。

是輸入特征向量，

圖中

是

到

的連接權，

(j=1,

2,

…,m)

是輸出量。1.單層感知器的基本結構當前第12頁\共有54頁\編于星期四\5點122.單層感知器的輸入輸出變換關系

由于按不同特征的分類是互相獨立的，因而可以取出其中的一個神經元來討論。其輸入到輸出的變換關系為：

該感知器的輸出將輸入模式分成了兩類。它們分屬于n維空間的兩個不同的部分。若有P個輸入樣本(p=1,2,…,P)。當前第13頁\共有54頁\編于星期四\5點13*以二維空間為例

分界線的方程為:

*值得注意的是：只有那些線性可分模式類才能用感知器來加以區(qū)分。

線性不可分問題：典型的例子是異或關系。當前第14頁\共有54頁\編于星期四\5點14

對于輸入矢量x，輸出矢量y，目標矢量d，根據以下輸出矢量可能出現的情況進行調整：3.感知器網絡的學習規(guī)則

當前第15頁\共有54頁\編于星期四\5點15

采用有教師的學習方法進行訓練：

1)確定輸入矢量x，目標矢量d，各矢量的維數、神經元數和樣本數目：n，m，P；

2)參數初始化：

a)輸入[x]np，[d]mp；

b)設置(-1,1)隨機非零權矢量[w]mn

；

c)給出最大循環(huán)次數max_epoch；

3)計算神經網絡的實際輸出：4.感知器網絡的學習算法

當前第16頁\共有54頁\編于星期四\5點16

4)檢查輸出y與目標d是否相同，若是，或已達到最大循環(huán)次數，訓練結束，否則繼續(xù)；

6)轉到3)。權矢量的修正量與輸入模式xk成正比。若的取值太大，算法可能出現振蕩。取值太小，收斂速度會很慢。

單層感知器的局限性：只能解決簡單的分類問題，也就是只有在輸入矢量是線性可分時，單層感知器才對輸入模式進行有效的分類有效。線性不可分問題只能用多層感知器來解決。當前第17頁\共有54頁\編于星期四\5點17二、多層感知器網絡

1.多層感知器的基本結構如下圖多層感知器網絡：其中：第0層為輸入層，有個神經元，中間層為隱層。

第Q

層為輸出層，有個神經元，這時每一層相當于一個單層感知器網絡。當前第18頁\共有54頁\編于星期四\5點182、多層感知器的輸入輸出變換關系

對于第q

層，它形成一個維的超平面，它對于該層的輸入模式進行線性分類。

由于多層的組合，最終可實現對輸入模式的較復雜的分類。當前第19頁\共有54頁\編于星期四\5點193.2.2.BP網絡

反向傳播(Back-Propagation)網絡，簡稱BP網絡，是采用廣義d學習規(guī)則，對非線性可微分函數進行權值訓練的多層（三層或三層以上）前饋網絡。

前、后層之間各神經元實現全聯接；每層各神經元之間無聯接。x1x2xnwij輸入層輸出層隱含層jik+-wki信息流誤差反向傳播(學習算法)MqL

BP網絡主要用于函數逼近、模式識別、分類、數據壓縮。

一.BP網絡的基本結構及原理當前第20頁\共有54頁\編于星期四\5點20x1x2xnwij輸入層輸出層隱含層jik+-wki信息流誤差反向傳播(學習算法)MqL

設輸入層j有M個節(jié)點，節(jié)點的輸出等于其輸入。隱含層i有q個節(jié)點，激活函數為f1，wij是j層和i層節(jié)點之間的聯接權值。輸出層k有L個節(jié)點，激活函數為f2，wki是i層和k層節(jié)點之間的聯接權值。隱含層和輸出層節(jié)點的輸入是前一層節(jié)點的輸出的加權和。

當前第21頁\共有54頁\編于星期四\5點21

屬于d算法。基本思想是最小二乘算法：對于P個輸入學習樣本[x1,x2,…xP]，已知對應的輸出樣本為[d1,d2,…,dP]。學習的目的是用網絡的實際輸出[y1,y2,…,yP]與目標矢量[d1,d2,…,dP]之間的誤差來修正其權值，使網絡輸出層的誤差平方和達到最小。二.BP網絡的基本學習規(guī)則

學習過程由正向遞推計算實現函數映射和反向傳播計算訓練權值兩步來完成。當前第22頁\共有54頁\編于星期四\5點22三.

BP網絡的輸入輸出變換關系

在BP網絡中，神經元的變換函數通常采用S型函數，因此輸出量是0到1之間的連續(xù)量，它可實現從輸入到輸出的任意的非線性映射。

具有偏置和調節(jié)的Sigmoid激發(fā)函數S型激活函數連續(xù)可微。算法上可嚴格利用梯度法進行推算，權值修正的解析式明確。1.BP網絡中神經元的激活函數當前第23頁\共有54頁\編于星期四\5點232.BP網絡的前饋計算（BP網絡輸入到輸出的映射計算）即根據神經元所確定的輸入輸出變換函數，由輸入層向輸出層執(zhí)行遞推計算。一旦權值滿足訓練要求，前饋計算結束，能使BP網絡實現期望的輸入輸出變換關系。BP網絡的前饋遞推算式：當前第24頁\共有54頁\編于星期四\5點24四.

BP網絡權值的訓練及學習功能的實現1.訓練樣本

BP網絡屬于監(jiān)督學習網絡，BP網絡是通過在教師信號（樣本）的監(jiān)督下對連接權值進行適當的訓練從而實現學習功能的。

（1）訓練樣本--理想輸入輸出對的集合，樣本來自客觀對象，信息集中包含著系統內在的輸入輸出特性。（2）樣本特性--理想的樣本應具有真實性和完整性。設有實際應用中的P

組樣本，其中第p組樣本對形式如下：輸入樣本：輸出樣本：當前第25頁\共有54頁\編于星期四\5點252.定義誤差函數

連接權值的訓練過程，就是BP網絡擬合未知函數得優(yōu)化計算過程。為了保證擬合精度，取如下算式作為擬合誤差函數：總誤差函數：一次樣本誤差函數：其中：是期望輸出值與網絡實際輸出之間的差值。當前第26頁\共有54頁\編于星期四\5點263.權值的訓練及反向傳播計算過程x1x2xnwij輸入層輸出層隱含層jik+-wki信息流誤差反向傳播(學習算法)MqL

調整連接權值，以便使誤差函數E最小，優(yōu)化計算常采用一階梯度來實現。該方法的關鍵是計算優(yōu)化目標函數（即誤差函數）E對尋優(yōu)參數（即連接權值）的一階倒數。即：

調整連接權值按照反向傳播的原則，從輸出層開始向前逐一推算。當前第27頁\共有54頁\編于星期四\5點27（1）首先計算第Q層（即輸出層）其中：(Ⅰ)當前第28頁\共有54頁\編于星期四\5點28（2）再計算第Q-1層（即次輸出層）其中：(Ⅱ)見上頁(Ⅰ)式：當前第29頁\共有54頁\編于星期四\5點29（3）第q層的反向遞推計算根據（Ⅰ）,（Ⅱ）兩式可獲得反向遞推算式：這里的q層是指由Q-1向前遞推的任意網絡層次（其中：q=Q-2，Q-3，…,1)首先計算←←←←當前第30頁\共有54頁\編于星期四\5點30在每一層的反向遞推計算需要說明的是：中都出現導數項。該項的計算，與所取的激活函數直接相關。比如：取變換函數為S型函數，那么其導數項可計算如下：由于：所以：當前第31頁\共有54頁\編于星期四\5點31最后可歸納出BP網絡的學習算法如下：

第q層：輸出層：當前第32頁\共有54頁\編于星期四\5點32五.BP網絡的特點和優(yōu)點、局限性及其改進特點：（1）是一種多層網絡，包括輸入層、隱含層和輸出層；（2）層與層之間采用全互連方式，同一層神經元之間不連接；（3）權值通過δ學習算法進行調節(jié)；（4）神經元激發(fā)函數為S函數；（5）學習算法由正向傳播和反向傳播組成；（6）層與層的連接是單向的，信息的傳播是雙向的。當前第33頁\共有54頁\編于星期四\5點33優(yōu)點：（1）隱層的作用是使問題的可調參數增加，使解更加準確。只要有足夠多的隱層和隱層節(jié)點，BP網絡可以逼近任意的非線性映射關系。（2）由所取的作用函數知，BP網絡的學習算法屬于全局逼近算法，具有較強的泛化能力。

泛化能力—用較少的樣本進行訓練，使網絡能對未經訓練的輸入也能給出合適的輸出。從函數擬合的觀點，這表明BP網絡具有插值計算的能力。沒有泛化能力的神經網絡無任何使用價值。

當前第34頁\共有54頁\編于星期四\5點34（3）BP網絡輸入、輸出之間的關聯信息分布地存儲在網絡的連接權中，個別神經元的損壞只對輸入輸出關系有較小的影響，因而BP網絡具有較好的容錯性。當前第35頁\共有54頁\編于星期四\5點35局限性：⑴目標函數存在多個極值點，按梯度下降法進行學習，很容易陷入局部極小值；⑵學習算法的收斂速度慢，且收斂速度與初始權的選擇有關，難以適應實時控制的要求；⑶難以確定隱層及其節(jié)點的數目。目前，確定具體的網絡結構尚無好方法，仍根據經驗試湊。⑷訓練時學習新樣本有遺忘舊樣本的趨勢。針對上述問題，提出3種較常用的改進算法。當前第36頁\共有54頁\編于星期四\5點361、引入動量項增加動量項從前一次權值調整量中取出一部分疊加到本次權值調整量中。動量項反映以前積累的調整經驗，對t時刻調整起阻尼作用。減小學習過程的振蕩趨勢，是目前應用較廣泛的一種改進算法。

其中，，為k時刻的負梯度。

為學習率，

>0。

為動量項因子，。根據經驗數據動量項因子取0.95比較適合。引入前：引入后：當前第37頁\共有54頁\編于星期四\5點372、自適應調節(jié)學習率

設一初始學習率，若經過一批次權值調整后使總誤差↑，則本次調整無效，且降低；若經過一批次權值調整后使總誤差↓，則本次調整有效，且增大

。標準BP算法問題：學習率為一常數，很難確定一個從始到終都合適的最佳學習率。如誤差曲面平坦區(qū)太小會使訓練次數增加；而誤差變化劇烈的區(qū)域太大會使訓練出現振蕩。解決方法如下：當前第38頁\共有54頁\編于星期四\5點383、引入陡度因子標準BP算法問題：

誤差曲面存在平坦區(qū)，其原因是神經元輸出進入了轉移函數的飽和區(qū)。

解決思路：

壓縮神經元凈輸入，使其輸出退出飽和區(qū)。當前第39頁\共有54頁\編于星期四\5點39

實現這一思路的具體作法是，在原轉移函數中引入一個陡度因子λ

當發(fā)現ΔE接近零而目標與實際輸出仍較大時，可判斷已進入平坦區(qū)，此時令λ>1；退出平坦區(qū)后，再令λ=1。λ>1：轉移函數曲線敏感區(qū)變長；λ=1：轉移函數恢復原狀。當前第40頁\共有54頁\編于星期四\5點404、誤差函數的改進

當前第41頁\共有54頁\編于星期四\5點41(1)產生數據樣本集(2)確定網絡的類型和結構(3)訓練和測試

3.2.3神經網絡的訓練當前第42頁\共有54頁\編于星期四\5點42(1)產生數據樣本集

這里包括原始數據的收集、數據分析、變量選擇以及數據的預處理。

首先要在大量的原始測量數據中確定出最主要的輸入模式。這就需要對原始數據進行統計分析，檢驗它們之間的相關性。找出其中最主要的量作為輸入。

當前第43頁\共有54頁\編于星期四\5點43

在確定了最重要的輸入量后，需進行尺度變換和預處理。尺度變換常常將它們變換到

[-1,1]或[0,1]的范圍。在進行尺度變換前必須先檢查是否存在異常點（或稱野點），這些點必須剔除。對于一個復雜問題應該選擇多少數據，這也是一個很關鍵的問題。系統的輸入輸出關系就包含在這些數據樣本中。所以一般說來，取的數據越多，學習和訓練的結果便越能正確反映輸入輸出關系。當前第44頁\共有54頁\編于星期四\5點44

但是選太多的數據將增加收集、分析數據以及網絡訓練的所付的代價。選太少的數據則可能得不到正確的結果。事實上數據的多少取決于許多因素，如網絡的大小、網絡測試的需要以及輸入輸出的分布等。其中網絡大小最關鍵。通常較大的網絡需要較多的訓練數據。一個經驗規(guī)則是：訓練模式應是連接權總數的5至10倍。當前第45頁\共有54頁\編于星期四\5點45

在神經網絡訓練完成后，需要有另外的測試數據來對網絡加以檢驗，測試數據應是獨立的數據集合。

最簡單的方法是：將收集到的可用數據隨機地分成兩部分，譬如說其中三分之二用于網絡的訓練，另外三分之一用于將來的測試，隨機選取的目的是為了盡量減小這兩部分數據的相關性。

影響數據大小的另一個因素是輸入模式和輸出結果的分布，對數據預先加以分類可以減少所需的數據量。相反，數據稀薄不勻甚至互相覆蓋則勢必要增加數據量。當前第46頁\共有54頁\編于星期四\5點46(2)確定網絡的類型和結構

在訓練神經網絡之前，首先要確定所選的網絡類型。若主要用于模式分類，尤其是線性可分的情況，則可采用較為簡單的感知器網絡；若主要用于函數估計，則可應用BP網絡。實際上，神經網絡的類型很多，需根據問題的性質和任務的要求來合適地選擇網絡類型。一般是從已有的網絡類型中選用一種比較簡單而又能滿足要求的網絡。

當前第47頁\共有54頁\編于星期四\5點47

在網絡的類型確定后，剩下的問題是選擇網絡的結構和參數。以BP網絡為例，需選擇網絡的層數、每層的節(jié)點數、初始權值、閾值、學習算法、節(jié)點變換函數及參數、學習率及動量項因子等參數。這里有些項的選擇有一些指導原則，但更多的是靠經驗和試湊。

當前第48頁\共有54頁\編于星期四\5點48

具體選擇有如下兩種方法：

a.先設置較少節(jié)點，對網絡進行訓練，并測試網絡的逼近誤差，然后逐漸增加節(jié)點數，直到測試的誤差不再有明顯減小為止。

對于具體問題若確定了輸入和輸出變量后，網絡輸入