BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例

1、BP神經(jīng)網(wǎng)絡(luò)詳解和實(shí)例引引 言言v利用機(jī)器模仿人類的智能是長期以來人們認(rèn)識(shí)自然、利用機(jī)器模仿人類的智能是長期以來人們認(rèn)識(shí)自然、改造自然和認(rèn)識(shí)自身的理想。改造自然和認(rèn)識(shí)自身的理想。v 研究研究ANN目的：目的：v（1）探索和模擬人的感覺、思維和行為的規(guī)）探索和模擬人的感覺、思維和行為的規(guī) 律，設(shè)律，設(shè)計(jì)計(jì) 具有人類智能的計(jì)算機(jī)系統(tǒng)。具有人類智能的計(jì)算機(jī)系統(tǒng)。v（2）探討人腦的智能活動(dòng)，用物化了的智能來）探討人腦的智能活動(dòng)，用物化了的智能來 考察和考察和研研 究人腦智能的物質(zhì)過程及其規(guī)律。究人腦智能的物質(zhì)過程及其規(guī)律。 ANN的研究?jī)?nèi)容的研究?jī)?nèi)容（1）理論研究：）理論研究：ANN模型及其學(xué)習(xí)算法，

2、試圖從數(shù)學(xué)上描模型及其學(xué)習(xí)算法，試圖從數(shù)學(xué)上描述述ANN的動(dòng)力學(xué)過程，建立相應(yīng)的的動(dòng)力學(xué)過程，建立相應(yīng)的ANN模型，在該模型的模型，在該模型的基礎(chǔ)上，對(duì)于給定的學(xué)習(xí)樣本，找出一種能以較快的速度和基礎(chǔ)上，對(duì)于給定的學(xué)習(xí)樣本，找出一種能以較快的速度和較高的精度調(diào)整神經(jīng)元間互連權(quán)值，使系統(tǒng)達(dá)到穩(wěn)定狀態(tài)，較高的精度調(diào)整神經(jīng)元間互連權(quán)值，使系統(tǒng)達(dá)到穩(wěn)定狀態(tài)，滿足學(xué)習(xí)要求的算法。滿足學(xué)習(xí)要求的算法。（2）實(shí)現(xiàn)技術(shù)的研究：探討利用電子、光學(xué)、生物等）實(shí)現(xiàn)技術(shù)的研究：探討利用電子、光學(xué)、生物等 技技術(shù)實(shí)現(xiàn)神經(jīng)計(jì)算機(jī)的途徑。術(shù)實(shí)現(xiàn)神經(jīng)計(jì)算機(jī)的途徑。（3）應(yīng)用的研究：探討如何應(yīng)用）應(yīng)用的研究：探討如何應(yīng)用ANN解

3、決實(shí)際問題，如解決實(shí)際問題，如模式識(shí)別、故障檢測(cè)、智能機(jī)器人等。模式識(shí)別、故障檢測(cè)、智能機(jī)器人等。 研究研究ANN方法方法（1）生理結(jié)構(gòu)的模擬：生理結(jié)構(gòu)的模擬： 用仿生學(xué)觀點(diǎn)，探索人腦的生理結(jié)構(gòu)，把對(duì)人腦用仿生學(xué)觀點(diǎn)，探索人腦的生理結(jié)構(gòu)，把對(duì)人腦的微觀結(jié)構(gòu)及其智能行為的研究結(jié)合起來即人工神經(jīng)的微觀結(jié)構(gòu)及其智能行為的研究結(jié)合起來即人工神經(jīng)網(wǎng)絡(luò)（網(wǎng)絡(luò)（Artificial Neural Netwroks，簡(jiǎn)稱，簡(jiǎn)稱ANN）方法。方法。（2）宏觀功能的模擬：）宏觀功能的模擬： 從人的思維活動(dòng)和智能行為的心理學(xué)特性出發(fā)，從人的思維活動(dòng)和智能行為的心理學(xué)特性出發(fā)，利用計(jì)算機(jī)系統(tǒng)來對(duì)人腦智能進(jìn)行宏觀功能的

4、模擬，利用計(jì)算機(jī)系統(tǒng)來對(duì)人腦智能進(jìn)行宏觀功能的模擬，即符號(hào)處理方法。即符號(hào)處理方法。ANNANN研究的目的和意義研究的目的和意義(1)(1)通過揭示物理平面與認(rèn)知平面之間的映射，了解它們相互通過揭示物理平面與認(rèn)知平面之間的映射，了解它們相互聯(lián)系和相互作用的機(jī)理，從而揭示思維的本質(zhì)，探索智能聯(lián)系和相互作用的機(jī)理，從而揭示思維的本質(zhì)，探索智能的本源。的本源。(2)(2)爭(zhēng)取構(gòu)造出盡可能與人腦具有相似功能的計(jì)算機(jī)，爭(zhēng)取構(gòu)造出盡可能與人腦具有相似功能的計(jì)算機(jī)，即即ANNANN計(jì)算機(jī)。計(jì)算機(jī)。(3)研究仿照腦神經(jīng)系統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)，將在模式識(shí)研究仿照腦神經(jīng)系統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)，將在模式識(shí)別、組合優(yōu)化和決策

5、判斷等方面取得傳統(tǒng)計(jì)算機(jī)所別、組合優(yōu)化和決策判斷等方面取得傳統(tǒng)計(jì)算機(jī)所難以達(dá)到的效果。難以達(dá)到的效果。 神經(jīng)網(wǎng)絡(luò)研究的發(fā)展神經(jīng)網(wǎng)絡(luò)研究的發(fā)展(1)(1)第一次熱潮第一次熱潮(40-60(40-60年代未年代未) ) 1943 1943年年, ,美國心理學(xué)家美國心理學(xué)家W.McCullochW.McCulloch和數(shù)學(xué)家和數(shù)學(xué)家W.PittsW.Pitts在提出在提出了一個(gè)簡(jiǎn)單的神經(jīng)元模型，即了一個(gè)簡(jiǎn)單的神經(jīng)元模型，即MPMP模型。模型。19581958年，年，F(xiàn).RosenblattF.Rosenblatt等研制出了感知機(jī)等研制出了感知機(jī)(Perceptron(Perceptron）。）。(2

6、)低潮低潮(70- -80年代初年代初) ):(3)第二次熱潮第二次熱潮 1982年，美國物理學(xué)家年，美國物理學(xué)家提出提出Hopfield模型，它是一個(gè)互聯(lián)模型，它是一個(gè)互聯(lián)的非線性動(dòng)力學(xué)網(wǎng)絡(luò)的非線性動(dòng)力學(xué)網(wǎng)絡(luò). .他解決問題的方法是一種反復(fù)運(yùn)算的動(dòng)他解決問題的方法是一種反復(fù)運(yùn)算的動(dòng)態(tài)過程態(tài)過程, ,這是符號(hào)邏輯處理方法所不具備的性質(zhì)這是符號(hào)邏輯處理方法所不具備的性質(zhì). . 1987年首年首屆國際屆國際A ANN大會(huì)在圣地亞哥召開，國際大會(huì)在圣地亞哥召開，國際A ANN聯(lián)合會(huì)成立，創(chuàng)辦了多聯(lián)合會(huì)成立，創(chuàng)辦了多種種A ANN國際刊物。國際刊物。1990年年12月，北京召開首屆學(xué)術(shù)會(huì)議。月，北京召

7、開首屆學(xué)術(shù)會(huì)議。人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)研究的局限性研究的局限性（1 1）ANNANN研究受到腦科學(xué)研究成果的限制。研究受到腦科學(xué)研究成果的限制。 （2 2）ANNANN缺少一個(gè)完整、成熟的理論體系。缺少一個(gè)完整、成熟的理論體系。（3 3）ANNANN研究帶有濃厚的策略和經(jīng)驗(yàn)色彩。研究帶有濃厚的策略和經(jīng)驗(yàn)色彩。（4）ANN與傳統(tǒng)技術(shù)的接口不成熟。與傳統(tǒng)技術(shù)的接口不成熟。 人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)概述 v什么是什么是人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)？vT.Koholen的定義：的定義：“人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)是由是由 具有適具有適應(yīng)性的簡(jiǎn)單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它應(yīng)性的簡(jiǎn)單單元組成的廣泛并

8、行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對(duì)真實(shí)世界物體所的組織能夠模擬生物神經(jīng)系統(tǒng)對(duì)真實(shí)世界物體所作出的交互反應(yīng)。作出的交互反應(yīng)。” 二、神經(jīng)元與神經(jīng)網(wǎng)絡(luò)二、神經(jīng)元與神經(jīng)網(wǎng)絡(luò)v大腦可視作為1000多億神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)v 圖3 神經(jīng)元的解剖圖v神經(jīng)元的信息傳遞和處理是一種電化學(xué)活動(dòng)樹突由于電化學(xué)作用接受外界的刺激；通過胞體內(nèi)的活動(dòng)體現(xiàn)為軸突電位，當(dāng)軸突電位達(dá)到一定的值則形成神經(jīng)脈沖或動(dòng)作電位；再通過軸突末梢傳遞給其它的神經(jīng)元從控制論的觀點(diǎn)來看；這一過程可以看作一個(gè)多輸入單輸出非線性系統(tǒng)的動(dòng)態(tài)過程神經(jīng)網(wǎng)絡(luò)研究的兩個(gè)方面v 從生理上、解剖學(xué)上進(jìn)行研究v 從工程技術(shù)上、算法上進(jìn)行研究腦神經(jīng)信息活

9、動(dòng)的特征腦神經(jīng)信息活動(dòng)的特征(1)(1)巨量并行性。巨量并行性。(2)(2)信息處理和存儲(chǔ)單元結(jié)合在一起。信息處理和存儲(chǔ)單元結(jié)合在一起。(3)自組織自學(xué)習(xí)功能。自組織自學(xué)習(xí)功能。 神經(jīng)網(wǎng)絡(luò)基本模型神經(jīng)網(wǎng)絡(luò)基本模型v神經(jīng)元的數(shù)學(xué)模型 圖4神經(jīng)元的數(shù)學(xué)模型 v其中x（x1，xm）T 輸入向量，y為輸出，wi是權(quán)系數(shù)；輸入與輸出具有如下關(guān)系：miiixwfy1)(v 為閾值，f（X）是激發(fā)函數(shù)；它可以是線性函數(shù)，也可以是非線性函數(shù) 例如，若記 取激發(fā)函數(shù)為符號(hào)函數(shù) miiixwz1.0,0,0, 1)sgn(xxx則 S型激發(fā)函數(shù)： miiimiiixwxwzfy11,0, 1)(,11)(xexf

10、; 1)(0 xf或或 v注：若將閾值看作是一個(gè)權(quán)系數(shù)，-1是一個(gè)固定的輸入，另有m-1個(gè)正常的輸入，則（1）式也可表示為： ,)(xxxxeeeexf. 1)(1xfmiiixwfy1)( （1） v參數(shù)識(shí)別：假設(shè)函數(shù)形式已知，則可以從已有的輸入輸出數(shù)據(jù)確定出權(quán)系數(shù)及閾值。 2 2、神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型、神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型 v眾多神經(jīng)元之間組合形成神經(jīng)網(wǎng)絡(luò)，例如下圖的含有中間層（隱層）的B-P網(wǎng)絡(luò) 基本基本BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)b1bia1c1cqcjahbpanWp1WiqWpjW1qW1jWijV11W11WpqWi1Vh1VhiV1iVn1VniV1pVhpVnpkjckqck

11、hakna1ka輸出層輸出層LC隱含層隱含層LB輸入層輸入層LAWVklc ANN類型與功能 一般而言, ANN與經(jīng)典計(jì)算方法相比并非優(yōu)越, 只有當(dāng)常規(guī)方法解決不了或效果不佳時(shí)ANN方法才能顯示出其優(yōu)越性。尤其對(duì)問題的機(jī)理不甚了解或不能用數(shù)學(xué)模型表示的系統(tǒng),如故障診斷、特征提取和預(yù)測(cè)等問題,ANN往往是最有利的工具。另一方面, ANN對(duì)處理大量原始數(shù)據(jù)而不能用規(guī)則或公式描述的問題, 表現(xiàn)出極大的靈活性和自適應(yīng)性。人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)（Artificial Neuron Nets=ANN） 例 v1981年生物學(xué)家格若根（W Grogan）和維什（WWirth）發(fā)現(xiàn)了兩類蚊子(或飛蠓midg

12、es)他們測(cè)量了這兩類蚊子每個(gè)個(gè)體的翼長和觸角長，數(shù)據(jù)如下：v翼長 觸角長 類別v 1.64 1.38 Afv 1.82 1.38 Afv 1.90 1.38 Afv 1.70 1.40 Afv 1.82 1.48 Afv 1.82 1.54 Afv 2.08 1.56 Afv翼長 觸角長 類別v1.78 1.14 Apfv1.96 1.18 Apfv1.86 1.20 Apfv1.72 1.24 Afv2.00 1.26 Apfv2.00 1.28 Apfv1.96 1.30 Apfv1.74 1.36 Afv問：如果抓到三只新的蚊子，它們的觸角長和翼長分別為(l.24,1.80); (l.

13、28，1.84)；（1.40，2.04）問它們應(yīng)分別屬于哪一個(gè)種類？ 解法一： v 把翼長作縱坐標(biāo)，觸角長作橫坐標(biāo)；那么每個(gè)蚊子的翼長和觸角決定了坐標(biāo)平面的一個(gè)點(diǎn).其中 6個(gè)蚊子屬于 APf類；用黑點(diǎn)“”表示；9個(gè)蚊子屬 Af類；用小圓圈“?！北硎緑 得到的結(jié)果見圖1 v圖1飛蠓的觸角長和翼長 v思路：作一直線將兩類飛蠓分開 v 例如；取A（1.44，2.10）和 B(1.10，1.16)，過A B兩點(diǎn)作一條直線： v y 1.47x - 0.017v 其中X表示觸角長；y表示翼長 v 分類規(guī)則：設(shè)一個(gè)蚊子的數(shù)據(jù)為（x, y）v 如果y1.47x - 0.017，則判斷蚊子屬Apf類；v 如果

14、y1.47x - 0.017；則判斷蚊子屬Af類 v分類結(jié)果：(1.24，1.80)，(1.28，1.84)屬于Af類；(1.40，2.04）屬于 Apf類圖2 分類直線圖 缺陷：根據(jù)什么原則確定分類直線？ v 若取A=(1.46,2.10), B=(1.1,1.6)不變，則分類直線變?yōu)?y=1.39x+0.071分類結(jié)果變?yōu)椋?(1.24,1.80)， (1.40,2.04) 屬于Apf類； (1.28,1.84)屬于Af類 v 哪一分類直線才是正確的呢？ v 因此如何來確定這個(gè)判別直線是一個(gè)值得研究的問題一般地講，應(yīng)該充分利用已知的數(shù)據(jù)信息來確定判別直線v再如，如下的情形已經(jīng)不能用分類直線

15、的辦法： v 新思路：將問題看作一個(gè)系統(tǒng)，飛蠓的數(shù)據(jù)作為輸入，飛蠓的類型作為輸出，研究輸入與輸出的關(guān)系。基本基本BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)b1bia1c1cqcjahbpanWp1WiqWpjW1qW1jWijV11W11WpqWi1Vh1VhiV1iVn1VniV1pVhpVnpkjckqckhakna1ka輸出層輸出層LC隱含層隱含層LB輸入層輸入層LAWVklc四、反向傳播算法（四、反向傳播算法（B-PB-P算法）算法） Back propagation algorithm 1簡(jiǎn)單網(wǎng)絡(luò)的簡(jiǎn)單網(wǎng)絡(luò)的B-P算法算法 算法的目的：根據(jù)實(shí)際的輸入與輸出數(shù)據(jù)，計(jì)算模型的參數(shù)（權(quán)系數(shù)）圖6 簡(jiǎn)

16、單網(wǎng)絡(luò)v假設(shè)有P個(gè)訓(xùn)練樣本，即有P個(gè)輸入輸出對(duì)v（Ip, Tp）,p=1,P, 其中 輸入向量為 : TpmppiiI),.,(1目標(biāo)輸出向量為（實(shí)際上的）: TpnppttT),.,(1網(wǎng)絡(luò)輸出向量為 （理論上的） TpnppooO),.,(1nipipiot12)(min（p=1,P） （2） 記wij為從輸入向量的第j (j=1,m) 個(gè)分量到輸出向量的第i (i=1,n)個(gè)分量的權(quán)重。通常理論值與實(shí)際值有一誤差，網(wǎng)絡(luò)學(xué)習(xí)則是指不斷地把與比較，并根據(jù)極小原則修改參數(shù)wij，使誤差平方和達(dá)最?。河泇Delta學(xué)習(xí)規(guī)則: pipipiotPppjpipjPppipiijiiotw11)(（4

17、） ijijijwww （3） ijw表示遞推一次的修改量，則有稱為學(xué)習(xí)的速率 ipm= -1 , wim= (第i個(gè)神經(jīng)元的閾值) （5）注：由（1） 式，第i個(gè)神經(jīng)元的輸出可表示為mjpjijpiiwfo1)(特別當(dāng)f是線性函數(shù)時(shí) biwaomjpjijpi1)(（6）圖7 多層前饋網(wǎng)絡(luò) 2多層前饋網(wǎng)絡(luò) （l）輸入層不計(jì)在層數(shù)之內(nèi)，它有N0個(gè)神經(jīng)元設(shè)網(wǎng)絡(luò) 共有L層；輸出層為第L層；第 k層有Nk個(gè)神經(jīng)元假設(shè)：假設(shè)： (2) 設(shè))( iuk表示第k層第i神經(jīng)元所接收的信息 wk(i,j) 表示從第k-1層第j個(gè)元到第k層第i個(gè)元的權(quán)重， )(iak表第k層第i個(gè)元的輸出 （3）設(shè)層與層間的神

18、經(jīng)元都有信息交換（否則，可設(shè)它們之間的權(quán)重為零）；但同一層的神經(jīng)元之間無信息傳輸 (4) 設(shè)信息傳輸?shù)姆较蚴菑妮斎雽拥捷敵鰧臃较?；因此稱為前向網(wǎng)絡(luò)沒有反向傳播信息 （5） 表示輸入的第j個(gè)分量 )(0ja假設(shè)：假設(shè)： 在上述假定下網(wǎng)絡(luò)的輸入輸出關(guān)系可以表示為：,1),()(),()(),()(.,1),()(),()(),()(,1),()(),()(),()(1101112221212211111011LLLNjLLLLNjNjNiiufiaijajiwiuNiiufiaijajiwiuNiiufiaijajiwiuL（7） v 其中表示第k層第i個(gè)元的閾值. 定理2 對(duì)于具有多個(gè)隱層的前饋

19、神經(jīng)網(wǎng)絡(luò)；設(shè)激發(fā)函數(shù)為S 函數(shù)；且指標(biāo)函數(shù)取 PppEE1（8 8）LNipLppiaitE12)()()()(21（9）則每個(gè)訓(xùn)練循環(huán)中按梯度下降時(shí)；其權(quán)重迭代公式為),(),(),()(1)()1()(jajiwjiwplplplpl,.,1Ll （ 10 ）表示第-1層第個(gè)元對(duì)第層第個(gè)元輸入的第次迭代時(shí)的權(quán)重 ),()(jiwpl其中其中 )()()()()()()()(iufiaitipLpLppL（11）（12）11)1(1)(1)()(),()()()(lNjplplplplijwjiufi. 11LlBP算法 Step1 v 選定學(xué)習(xí)的數(shù)據(jù),p=1,P, 隨機(jī)確定初始權(quán)矩陣W（0

20、）Step2 v 用（10）式反向修正,直到用完所有學(xué)習(xí)數(shù)據(jù).v 用學(xué)習(xí)數(shù)據(jù)計(jì)算網(wǎng)絡(luò)輸出Step3 ),(),(),()(1)()1()(jajiwjiwplplplpl,.,1Ll 五應(yīng)用之例：蚊子的分類五應(yīng)用之例：蚊子的分類 v 已知的兩類蚊子的數(shù)據(jù)如表1： v翼長 觸角長 類別v1.78 1.14 Apfv1.96 1.18 Apfv1.86 1.20 Apfv1.72 1.24 Afv2.00 1.26 Apfv2.00 1.28 Apfv1.96 1.30 Apfv1.74 1.36 Af目標(biāo)值目標(biāo)值0.90.1 v翼長 觸角長 類別v 1.64

21、1.38 Afv 1.82 1.38 Afv 1.90 1.38 Afv 1.70 1.40 Afv 1.82 1.48 Afv 1.82 1.54 Afv 2.08 1.56 Af目標(biāo)t0.1 v輸入數(shù)據(jù)有15個(gè)，即 , p=1,15; j=1, 2; 對(duì)應(yīng)15個(gè)輸出。v建模：（輸入層，中間層，輸出層，每層的元素應(yīng)取多少個(gè)？）v建立神經(jīng)網(wǎng)絡(luò)v規(guī)定目標(biāo)為： 當(dāng)t(1)=0.9 時(shí)表示屬于Apf類，t(2)=0.1表示屬于Af類。v設(shè)兩個(gè)權(quán)重系數(shù)矩陣為：)3 ,2()2,2()1 ,2()3 , 1 ()2, 1 ()1 , 1 (1111111wwwwwwW

22、)3 , 1()2, 1()1 , 1(2222wwwW)() 3 ,(jjwii為閾值 其中分析如下： 為第一層的輸出，同時(shí)作為第二層的輸入。)2()2()2 , 2() 1 () 1 , 2()2() 1 ()2()2 , 1 () 1 () 1 , 1 () 1 (101011101011awawuawawu)1 () 1 (11ufa)2()2(11ufa其中， 為閾值， 為激勵(lì)函數(shù)if1)3(0a若令 （作為一固定輸入） （閾值作為固定輸入神經(jīng)元相應(yīng)的權(quán)系數(shù)） jjw)3,(12,1j3101010101131010101011)(), 2()3()3 , 2()2()2 , 2()

23、1 ()1 , 2()2()(), 1 ()3()3 , 1 ()2()2 , 1 ()1 ()1 , 1 ()1 (jjjajwawawawujajwawawawu則有： xexf11)(取激勵(lì)函數(shù)為)()(11iufia= )(exp(111iu2 , 1i則同樣，取 , 1) 3(1a) 3 , 1 (2w)1 (exp(11) 1 ()(), 1 () 1 (2231122uajajwuj（1）隨機(jī)給出兩個(gè)權(quán)矩陣的初值；例如用MATLAB軟件時(shí)可以用以下語句： 令p=0具體算法如下：具體算法如下： )0(1W=rand(2,3); )0(2W=rand(1,3); (2) 根據(jù)輸入數(shù)據(jù)

24、利用公式算出網(wǎng)絡(luò)的輸出 3101010101131010101011)(), 2() 3() 3 , 2()2()2 , 2() 1 () 1 , 2()2()(), 1 () 3() 3 , 1 ()2()2 , 1 () 1 () 1 , 1 () 1 (jjjajwawawawujajwawawawu)()(11iufia)(exp(111iu=2, 1i, 1) 3(1a)1 (exp(11) 1 ()(), 1 () 1 (2231122uajajwuj取取（3）計(jì)算 xexf11)(因?yàn)?所以 2)1 ()(xxeexf)1 ()1 () 1 () 1 (222ufat2222)1

25、 (exp(1/()1 (exp()1 () 1 (uuat（4）取 （或其他正數(shù)，可調(diào)整大?。?1 . 0)()1(1ip(5) 計(jì)算 和 :),()1(1jiWp)()1(1ip222)1(2)1(2)1 (exp(1/()1 (exp(), 1 () 1 (uuiWpp)()(),(),() 1(0) 1(1)(1) 1(1jaijiWjiWppppj=1,2,3, i=1,2,3, 計(jì)算 j=1,2,3 ), 1 ()1(2jWP )() 1 (), 1 (), 1 () 1(1) 1(2)(2) 1(2jajWjWppppj=1,2,3v(6) p=p+1，轉(zhuǎn)（2） v注：僅計(jì)算一圈

26、（p=1，2，15）是不夠的，直到當(dāng)各權(quán)重變化很小時(shí)停止，本例中，共計(jì)算了147圈，迭代了2205次。v 最后結(jié)果是：2764. 02875. 05787. 05765. 05976. 75921. 51W9829. 34838. 04075. 82Wv即網(wǎng)絡(luò)模型的解為： 2764. 0)2(2875. 0) 1 (5787. 0)2(5765. 0)2(5976. 7) 1 (5921. 5) 1 (001001aauaau)()(11iufia)(exp(111iu2 , 1i=)1 (exp(11) 1 (9829. 3)2(4838. 0) 1 (4075. 8) 1 (22112ua

27、aauBP網(wǎng)絡(luò)建模特點(diǎn)：非線性映照能力：神經(jīng)網(wǎng)絡(luò)能以任意精度逼近任何非線性連續(xù)函數(shù)。在建模過程中的許多問題正是具有高度的非線性。并行分布處理方式：在神經(jīng)網(wǎng)絡(luò)中信息是分布儲(chǔ)存和并行處理的，這使它具有很強(qiáng)的容錯(cuò)性和很快的處理速度。自學(xué)習(xí)和自適應(yīng)能力：神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)，能從輸入、輸出的數(shù)據(jù)中提取出規(guī)律性的知識(shí)，記憶于網(wǎng)絡(luò)的權(quán)值中，并具有泛化能力，即將這組權(quán)值應(yīng)用于一般情形的能力。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)也可以在線進(jìn)行。數(shù)據(jù)融合的能力：神經(jīng)網(wǎng)絡(luò)可以同時(shí)處理定量信息和定性信息，因此它可以利用傳統(tǒng)的工程技術(shù)（數(shù)值運(yùn)算）和人工智能技術(shù)（符號(hào)處理）。多變量系統(tǒng)：神經(jīng)網(wǎng)絡(luò)的輸入和輸出變量的數(shù)目是任意的，對(duì)單變量系統(tǒng)與多變

28、量系統(tǒng)提供了一種通用的描述方式，不必考慮各子系統(tǒng)間的解耦問題。神經(jīng)網(wǎng)絡(luò)的應(yīng)用神經(jīng)網(wǎng)絡(luò)的應(yīng)用 人工神經(jīng)網(wǎng)絡(luò)以其具有自學(xué)習(xí)、自組織、較好的容錯(cuò)性和優(yōu)良的非線性逼近能力，受到眾多領(lǐng)域?qū)W者的關(guān)注。在實(shí)際應(yīng)用中，80%90%的人工神經(jīng)網(wǎng)絡(luò)模型是采用誤差反傳算法或其變化形式的網(wǎng)絡(luò)模型（簡(jiǎn)稱BP網(wǎng)絡(luò)），目前主要應(yīng)用于函數(shù)逼近、模式識(shí)別、分類和數(shù)據(jù)壓縮或數(shù)據(jù)挖掘。 基本基本BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)klcb1bia1c1cqcjahbpanWp1WiqWpjW1qW1jWijV11W11WpqWi1Vh1VhiV1iVn1VniV1pVhpVnpkjckqckhakna1ka輸出層輸出層LC隱含層隱含層

29、LB輸入層輸入層LAWVklcklc1.樣本數(shù)據(jù)樣本數(shù)據(jù)1.1 收集和整理分組收集和整理分組 采用BP神經(jīng)網(wǎng)絡(luò)方法建模的首要和前提條件是有足夠多典型性好和精度高的樣本。而且，為監(jiān)控訓(xùn)練（學(xué)習(xí)）過程使之不發(fā)生“過擬合”和評(píng)價(jià)建立的網(wǎng)絡(luò)模型的性能和泛化能力，必須將收集到的數(shù)據(jù)隨機(jī)分成訓(xùn)練樣本、檢驗(yàn)樣本（10%以上）和測(cè)試樣本（10%以上）3部分。此外，數(shù)據(jù)分組時(shí)還應(yīng)盡可能考慮樣本模式間的平衡。1.2 輸入輸入/輸出變量的確定及其數(shù)據(jù)的預(yù)處理輸出變量的確定及其數(shù)據(jù)的預(yù)處理 一般地，BP網(wǎng)絡(luò)的輸入變量即為待分析系統(tǒng)的內(nèi)生變量（影響因子或自變量）數(shù)，一般根據(jù)專業(yè)知識(shí)確定。若輸入變量較多，一般可通過主成份

30、分析方法壓減輸入變量，也可根據(jù)剔除某一變量引起的系統(tǒng)誤差與原系統(tǒng)誤差的比值的大小來壓減輸入變量。輸出變量即為系統(tǒng)待分析的外生變量（系統(tǒng)性能指標(biāo)或因變量），可以是一個(gè)，也可以是多個(gè)。一般將一個(gè)具有多個(gè)輸出的網(wǎng)絡(luò)模型轉(zhuǎn)化為多個(gè)具有一個(gè)輸出的網(wǎng)絡(luò)模型效果會(huì)更好，訓(xùn)練也更方便。 由于BP神經(jīng)網(wǎng)絡(luò)的隱層一般采用Sigmoid轉(zhuǎn)換函數(shù)，為提高訓(xùn)練速度和靈敏性以及有效避開Sigmoid函數(shù)的飽和區(qū)，一般要求輸入數(shù)據(jù)的值在01之間。因此，要對(duì)輸入數(shù)據(jù)進(jìn)行預(yù)處理。一般要求對(duì)不同變量分別進(jìn)行預(yù)處理，也可以對(duì)類似性質(zhì)的變量進(jìn)行統(tǒng)一的預(yù)處理。如果輸出層節(jié)點(diǎn)也采用Sigmoid轉(zhuǎn)換函數(shù)，輸出變量也必須作相應(yīng)的預(yù)處理，否

31、則，輸出變量也可以不做預(yù)處理。 預(yù)處理的方法有多種多樣，各文獻(xiàn)采用的公式也不盡相同。但必須注意的是，預(yù)處理的數(shù)據(jù)訓(xùn)練完成后，網(wǎng)絡(luò)輸出的結(jié)果要進(jìn)行反變換才能得到實(shí)際值。再者，為保證建立的模型具有一定的外推能力，最好使數(shù)據(jù)預(yù)處理后的值在0.20.8之間。2.神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的確定神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的確定2.1 隱層數(shù)隱層數(shù) 一般認(rèn)為，增加隱層數(shù)可以降低網(wǎng)絡(luò)誤差（也有文獻(xiàn)認(rèn)為不一定能有效降低），提高精度，但也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)的訓(xùn)練時(shí)間和出現(xiàn)“過擬合”的傾向。Hornik等早已證明：若輸入層和輸出層采用線性轉(zhuǎn)換函數(shù)，隱層采用Sigmoid轉(zhuǎn)換函數(shù)，則含一個(gè)隱層的MLP網(wǎng)絡(luò)能夠以任意精度逼近任

32、何有理函數(shù)。顯然，這是一個(gè)存在性結(jié)論。在設(shè)計(jì)BP網(wǎng)絡(luò)時(shí)可參考這一點(diǎn)，應(yīng)優(yōu)先考慮3層BP網(wǎng)絡(luò)（即有1個(gè)隱層）。一般地，靠增加隱層節(jié)點(diǎn)數(shù)來獲得較低的誤差，其訓(xùn)練效果要比增加隱層數(shù)更容易實(shí)現(xiàn)。對(duì)于沒有隱層的神經(jīng)網(wǎng)絡(luò)模型，實(shí)際上就是一個(gè)線性或非線性（取決于輸出層采用線性或非線性轉(zhuǎn)換函數(shù)型式）回歸模型。因此，一般認(rèn)為，應(yīng)將不含隱層的網(wǎng)絡(luò)模型歸入回歸分析中，技術(shù)已很成熟，沒有必要在神經(jīng)網(wǎng)絡(luò)理論中再討論之。2.2 隱層節(jié)點(diǎn)數(shù)隱層節(jié)點(diǎn)數(shù) 在BP 網(wǎng)絡(luò)中，隱層節(jié)點(diǎn)數(shù)的選擇非常重要，它不僅對(duì)建立的神經(jīng)網(wǎng)絡(luò)模型的性能影響很大，而且是訓(xùn)練時(shí)出現(xiàn)“過擬合”的直接原因，但是目前理論上還沒有一種科學(xué)的和普遍的確定方法。 目

33、前多數(shù)文獻(xiàn)中提出的確定隱層節(jié)點(diǎn)數(shù)的計(jì)算公式都是針對(duì)訓(xùn)練樣本任意多的情況，而且多數(shù)是針對(duì)最不利的情況，一般工程實(shí)踐中很難滿足，不宜采用。事實(shí)上，各種計(jì)算公式得到的隱層節(jié)點(diǎn)數(shù)有時(shí)相差幾倍甚至上百倍。為盡可能避免訓(xùn)練時(shí)出現(xiàn)“過擬合”現(xiàn)象，保證足夠高的網(wǎng)絡(luò)性能和泛化能力，確定隱層節(jié)點(diǎn)數(shù)的最基本原則是：在滿足精度要求的前提下取盡可能緊湊的結(jié)構(gòu)，即取盡可能少的隱層節(jié)點(diǎn)數(shù)。研究表明，隱層節(jié)點(diǎn)數(shù)不僅與輸入/輸出層的節(jié)點(diǎn)數(shù)有關(guān)，更與需解決的問題的復(fù)雜程度和轉(zhuǎn)換函數(shù)的型式以及樣本數(shù)據(jù)的特性等因素有關(guān)。 在確定隱層節(jié)點(diǎn)數(shù)時(shí)必須滿足下列條件：隱層節(jié)點(diǎn)數(shù)必須小于N-1（其中N為訓(xùn)練樣本數(shù)），否則，網(wǎng)絡(luò)模型的系統(tǒng)誤差與訓(xùn)

34、練樣本的特性無關(guān)而趨于零，即建立的網(wǎng)絡(luò)模型沒有泛化能力，也沒有任何實(shí)用價(jià)值。同理可推得：輸入層的節(jié)點(diǎn)數(shù)（變量數(shù)）必須小于N-1。(2) 訓(xùn)練樣本數(shù)必須多于網(wǎng)絡(luò)模型的連接權(quán)數(shù)，一般為210倍，否則，樣本必須分成幾部分并采用“輪流訓(xùn)練”的方法才可能得到可靠的神經(jīng)網(wǎng)絡(luò)模型。 總之，若隱層節(jié)點(diǎn)數(shù)太少，網(wǎng)絡(luò)可能根本不能訓(xùn)練或網(wǎng)絡(luò)性能很差；若隱層節(jié)點(diǎn)數(shù)太多，雖然可使網(wǎng)絡(luò)的系統(tǒng)誤差減小，但一方面使網(wǎng)絡(luò)訓(xùn)練時(shí)間延長，另一方面，訓(xùn)練容易陷入局部極小點(diǎn)而得不到最優(yōu)點(diǎn)，也是訓(xùn)練時(shí)出現(xiàn)“過擬合”的內(nèi)在原因。因此，合理隱層節(jié)點(diǎn)數(shù)應(yīng)在綜合考慮網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜程度和誤差大小的情況下用節(jié)點(diǎn)刪除法和擴(kuò)張法確定。3.神經(jīng)網(wǎng)絡(luò)的訓(xùn)練神

35、經(jīng)網(wǎng)絡(luò)的訓(xùn)練3.1 訓(xùn)練訓(xùn)練 BP網(wǎng)絡(luò)的訓(xùn)練就是通過應(yīng)用誤差反傳原理不斷調(diào)整網(wǎng)絡(luò)權(quán)值使網(wǎng)絡(luò)模型輸出值與已知的訓(xùn)練樣本輸出值之間的誤差平方和達(dá)到最小或小于某一期望值。雖然理論上早已經(jīng)證明：具有1個(gè)隱層（采用Sigmoid轉(zhuǎn)換函數(shù)）的BP網(wǎng)絡(luò)可實(shí)現(xiàn)對(duì)任意函數(shù)的任意逼近。但遺憾的是，迄今為止還沒有構(gòu)造性結(jié)論，即在給定有限個(gè)（訓(xùn)練）樣本的情況下，如何設(shè)計(jì)一個(gè)合理的BP網(wǎng)絡(luò)模型并通過向所給的有限個(gè)樣本的學(xué)習(xí)（訓(xùn)練）來滿意地逼近樣本所蘊(yùn)含的規(guī)律（函數(shù)關(guān)系，不僅僅是使訓(xùn)練樣本的誤差達(dá)到很小）的問題，目前在很大程度上還需要依靠經(jīng)驗(yàn)知識(shí)和設(shè)計(jì)者的經(jīng)驗(yàn)。因此，通過訓(xùn)練樣本的學(xué)習(xí)（訓(xùn)練）建立合理的BP神經(jīng)網(wǎng)絡(luò)模型的

36、過程，在國外被稱為“藝術(shù)創(chuàng)造的過程”，是一個(gè)復(fù)雜而又十分煩瑣和困難的過程。 由于BP網(wǎng)絡(luò)采用誤差反傳算法，其實(shí)質(zhì)是一個(gè)無約束的非線性最優(yōu)化計(jì)算過程，在網(wǎng)絡(luò)結(jié)構(gòu)較大時(shí)不僅計(jì)算時(shí)間長，而且很容易限入局部極小點(diǎn)而得不到最優(yōu)結(jié)果。目前雖已有改進(jìn)BP法、遺傳算法（GA）和模擬退火算法等多種優(yōu)化方法用于BP網(wǎng)絡(luò)的訓(xùn)練(這些方法從原理上講可通過調(diào)整某些參數(shù)求得全局極小點(diǎn))，但在應(yīng)用中，這些參數(shù)的調(diào)整往往因問題不同而異，較難求得全局極小點(diǎn)。這些方法中應(yīng)用最廣的是增加了沖量（動(dòng)量）項(xiàng)的改進(jìn)BP算法。 3.2 學(xué)習(xí)率和沖量系數(shù)學(xué)習(xí)率和沖量系數(shù) 學(xué)習(xí)率影響系統(tǒng)學(xué)習(xí)過程的穩(wěn)定性。大的學(xué)習(xí)率可能使網(wǎng)絡(luò)權(quán)值每一次的修正量

37、過大，甚至?xí)?dǎo)致權(quán)值在修正過程中超出某個(gè)誤差的極小值呈不規(guī)則跳躍而不收斂；但過小的學(xué)習(xí)率導(dǎo)致學(xué)習(xí)時(shí)間過長，不過能保證收斂于某個(gè)極小值。所以，一般傾向選取較小的學(xué)習(xí)率以保證學(xué)習(xí)過程的收斂性（穩(wěn)定性），通常在0.010.8之間。 增加沖量項(xiàng)的目的是為了避免網(wǎng)絡(luò)訓(xùn)練陷于較淺的局部極小點(diǎn)。理論上其值大小應(yīng)與權(quán)值修正量的大小有關(guān)，但實(shí)際應(yīng)用中一般取常量。通常在01之間，而且一般比學(xué)習(xí)率要大。 4 網(wǎng)絡(luò)的初始連接權(quán)值網(wǎng)絡(luò)的初始連接權(quán)值 BP算法決定了誤差函數(shù)一般存在（很）多個(gè)局部極小點(diǎn)，不同的網(wǎng)絡(luò)初始權(quán)值直接決定了BP算法收斂于哪個(gè)局部極小點(diǎn)或是全局極小點(diǎn)。因此，要求計(jì)算程序（建議采用標(biāo)準(zhǔn)通用軟件，如St

38、atsoft公司出品的Statistica Neural Networks軟件和Matlab 軟件）必須能夠自由改變網(wǎng)絡(luò)初始連接權(quán)值。由于Sigmoid轉(zhuǎn)換函數(shù)的特性，一般要求初始權(quán)值分布在-0.50.5之間比較有效。5.網(wǎng)絡(luò)模型的性能和泛化能力網(wǎng)絡(luò)模型的性能和泛化能力 訓(xùn)練神經(jīng)網(wǎng)絡(luò)的首要和根本任務(wù)是確保訓(xùn)練好的網(wǎng)絡(luò)模型對(duì)非訓(xùn)練樣本具有好的泛化能力（推廣性），即有效逼近樣本蘊(yùn)含的內(nèi)在規(guī)律，而不是看網(wǎng)絡(luò)模型對(duì)訓(xùn)練樣本的擬合能力。從存在性結(jié)論可知，即使每個(gè)訓(xùn)練樣本的誤差都很?。梢詾榱悖?，并不意味著建立的模型已逼近訓(xùn)練樣本所蘊(yùn)含的規(guī)律。因此，僅給出訓(xùn)練樣本誤差（通常是指均方根誤差RSME或均方誤差

39、、AAE或MAPE等）的大小而不給出非訓(xùn)練樣本誤差的大小是沒有任何意義的。 要分析建立的網(wǎng)絡(luò)模型對(duì)樣本所蘊(yùn)含的規(guī)律的逼近情況（能力），即泛化能力，應(yīng)該也必須用非訓(xùn)練樣本（本文稱為檢驗(yàn)樣本和測(cè)試樣本）誤差的大小來表示和評(píng)價(jià)，這也是之所以必須將總樣本分成訓(xùn)練樣本和非訓(xùn)練樣本而絕不能將全部樣本用于網(wǎng)絡(luò)訓(xùn)練的主要原因之一。判斷建立的模型是否已有效逼近樣本所蘊(yùn)含的規(guī)律,最直接和客觀的指標(biāo)是從總樣本中隨機(jī)抽取的非訓(xùn)練樣本（檢驗(yàn)樣本和測(cè)試樣本）誤差是否和訓(xùn)練樣本的誤差一樣小或稍大。非訓(xùn)練樣本誤差很接近訓(xùn)練樣本誤差或比其小，一般可認(rèn)為建立的網(wǎng)絡(luò)模型已有效逼近訓(xùn)練樣本所蘊(yùn)含的規(guī)律，否則，若相差很多（如幾倍、幾十

40、倍甚至上千倍）就說明建立的網(wǎng)絡(luò)模型并沒有有效逼近訓(xùn)練樣本所蘊(yùn)含的規(guī)律，而只是在這些訓(xùn)練樣本點(diǎn)上逼近而已，而建立的網(wǎng)絡(luò)模型是對(duì)訓(xùn)練樣本所蘊(yùn)含規(guī)律的錯(cuò)誤反映。 因?yàn)橛?xùn)練樣本的誤差可以達(dá)到很小，因此，用因?yàn)橛?xùn)練樣本的誤差可以達(dá)到很小，因此，用從總樣本中隨機(jī)抽取的一部分測(cè)試樣本的誤差表示網(wǎng)從總樣本中隨機(jī)抽取的一部分測(cè)試樣本的誤差表示網(wǎng)絡(luò)模型計(jì)算和預(yù)測(cè)所具有的精度（網(wǎng)絡(luò)性能）是合理絡(luò)模型計(jì)算和預(yù)測(cè)所具有的精度（網(wǎng)絡(luò)性能）是合理的和可靠的。的和可靠的。 值得注意的是，判斷網(wǎng)絡(luò)模型泛化能力的好壞值得注意的是，判斷網(wǎng)絡(luò)模型泛化能力的好壞，主要不是看測(cè)試樣本誤差大小的本身，而是要看，主要不是看測(cè)試樣本誤差大小的

41、本身，而是要看測(cè)試樣本的誤差是否接近于訓(xùn)練樣本和檢驗(yàn)樣本的測(cè)試樣本的誤差是否接近于訓(xùn)練樣本和檢驗(yàn)樣本的誤差。誤差。6.合理網(wǎng)絡(luò)模型的確定合理網(wǎng)絡(luò)模型的確定 對(duì)同一結(jié)構(gòu)的網(wǎng)絡(luò)，由于BP算法存在（很）多個(gè)局部極小點(diǎn)，因此，必須通過多次（通常是幾十次）改變網(wǎng)絡(luò)初始連接權(quán)值求得相應(yīng)的極小點(diǎn)，才能通過比較這些極小點(diǎn)的網(wǎng)絡(luò)誤差的大小，確定全局極小點(diǎn)，從而得到該網(wǎng)絡(luò)結(jié)構(gòu)的最佳網(wǎng)絡(luò)連接權(quán)值。必須注意的是，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程本質(zhì)上是求非線性函數(shù)的極小點(diǎn)問題，因此，在全局極小點(diǎn)鄰域內(nèi)（即使網(wǎng)絡(luò)誤差相同），各個(gè)網(wǎng)絡(luò)連接權(quán)值也可能有較大的差異，這有時(shí)也會(huì)使各個(gè)輸入變量的重要性發(fā)生變化，但這與具有多個(gè)零極小點(diǎn)（一般稱為

42、多模式現(xiàn)象）（如訓(xùn)練樣本數(shù)少于連接權(quán)數(shù)時(shí)）的情況是截然不同的。此外，在不滿足隱層節(jié)點(diǎn)數(shù)條件時(shí)，總也可以求得訓(xùn)練樣本誤差很小或?yàn)榱愕臉O小點(diǎn)，但此時(shí)檢驗(yàn)樣本和測(cè)試樣本的誤差可能要大得多；若改變網(wǎng)絡(luò)連接權(quán)初始值，檢驗(yàn)樣本和測(cè)試樣本的網(wǎng)絡(luò)計(jì)算結(jié)果會(huì)產(chǎn)生很大變化，即多模式現(xiàn)象。 對(duì)于不同的網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)模型的誤差或性能和泛化能力也不一樣。因此，還必須比較不同網(wǎng)絡(luò)結(jié)構(gòu)的模型的優(yōu)劣。一般地，隨著網(wǎng)絡(luò)結(jié)構(gòu)的變大，誤差變小。通常，在網(wǎng)絡(luò)結(jié)構(gòu)擴(kuò)大（隱層節(jié)點(diǎn)數(shù)增加）的過程中，網(wǎng)絡(luò)誤差會(huì)出現(xiàn)迅速減小然后趨于穩(wěn)定的一個(gè)階段，因此，合理隱層節(jié)點(diǎn)數(shù)應(yīng)取誤差迅速減小后基本穩(wěn)定時(shí)的隱層節(jié)點(diǎn)數(shù)。 總之，合理網(wǎng)絡(luò)模型是必須在具有合

43、理隱層節(jié)點(diǎn)數(shù)、訓(xùn)練時(shí)沒有發(fā)生“過擬合”現(xiàn)象、求得全局極小點(diǎn)和同時(shí)考慮網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜程度和誤差大小的綜合結(jié)果。設(shè)計(jì)合理BP網(wǎng)絡(luò)模型的過程是一個(gè)不斷調(diào)整參數(shù)的過程，也是一個(gè)不斷對(duì)比結(jié)果的過程，比較復(fù)雜且有時(shí)還帶有經(jīng)驗(yàn)性。這個(gè)過程并不是有些作者想象的（實(shí)際也是這么做的）那樣，隨便套用一個(gè)公式確定隱層節(jié)點(diǎn)數(shù)，經(jīng)過一次訓(xùn)練就能得到合理的網(wǎng)絡(luò)模型（這樣建立的模型極有可能是訓(xùn)練樣本的錯(cuò)誤反映，沒有任何實(shí)用價(jià)值）。 雖然神經(jīng)網(wǎng)絡(luò)的類型很多，建立神經(jīng)網(wǎng)絡(luò)模型時(shí)，根據(jù)研究對(duì)象的特點(diǎn)，可以考慮不同的神經(jīng)網(wǎng)絡(luò)模型。 前饋型BP網(wǎng)絡(luò)即誤差逆?zhèn)鞑ド窠?jīng)網(wǎng)絡(luò)是最常用、最流行的神經(jīng)網(wǎng)絡(luò)。BP網(wǎng)絡(luò)的輸入和輸出關(guān)系可以看成是一種映射

44、關(guān)系，即每一組輸入對(duì)應(yīng)一組輸出。由于網(wǎng)絡(luò)中神經(jīng)元作用函數(shù)的非線性，網(wǎng)絡(luò)實(shí)現(xiàn)是復(fù)雜的非線性映射。關(guān)于這類網(wǎng)絡(luò)對(duì)非線性的逼近能力，Hornikl等分別利用不同的方法證明了如下一個(gè)事實(shí)：僅含有一個(gè)隱層的前向網(wǎng)絡(luò)能以任意精度逼近定義在Rn的一個(gè)緊集上的任意非線性函數(shù)。誤差反向算法是最著名的多層前向網(wǎng)絡(luò)訓(xùn)練算法，盡管存在收斂速度慢、局部極值等缺點(diǎn)，但可通過各種改進(jìn)措施來提高它的收斂速度、克服局部極值現(xiàn)象，而且具有簡(jiǎn)單、易行、計(jì)算量小、并行性強(qiáng)等特點(diǎn)，目前仍是多層前向網(wǎng)絡(luò)的首選算法。神經(jīng)網(wǎng)絡(luò)模型參數(shù)的確定： 由于傳統(tǒng)的誤差反傳BP算法較為成熟，且應(yīng)用廣泛，因此努力提高該方法的學(xué)習(xí)速度具有較高的實(shí)用價(jià)值。B

45、P算法中有幾個(gè)常用的參數(shù)，包括學(xué)習(xí)率，動(dòng)量因子，形狀因子及收斂誤差界值E等。這些參數(shù)對(duì)訓(xùn)練速度的影響最為關(guān)鍵。 MATLAB神經(jīng)網(wǎng)絡(luò)工具箱的應(yīng)用 在網(wǎng)絡(luò)訓(xùn)練過程中使用的是Matlab 7.0 for Windows軟件，對(duì)于BP神經(jīng)元網(wǎng)絡(luò)的訓(xùn)練可以使用Neural Networks Toolbox for Matlab。美國的Mathwork公司推出的MATLAB軟件包既是一種非常實(shí)用有效的科研編程軟件環(huán)境，又是一種進(jìn)行科學(xué)和工程計(jì)算的交互式程序。MATLAB本身帶有神經(jīng)網(wǎng)絡(luò)工具箱，可以大大方便權(quán)值訓(xùn)練，減少訓(xùn)練程序工作量，有效的提高工作效率. 隱層的數(shù)目: 理論上雖然證明了這類網(wǎng)絡(luò)的逼近能力

46、，對(duì)于網(wǎng)絡(luò)結(jié)構(gòu)的要求，并沒有給出明確的說明。因而在應(yīng)用中神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)確定常常有人為的主觀性和藝術(shù)性，缺乏一個(gè)指導(dǎo)原則。而網(wǎng)絡(luò)訓(xùn)練與結(jié)構(gòu)緊密相關(guān)，太大的網(wǎng)絡(luò)結(jié)構(gòu)在訓(xùn)練時(shí)效率不高，而且還會(huì)由于過擬合(overfitting)造成網(wǎng)絡(luò)的性能脆弱，泛化能力(generalization ability)下降；太小的網(wǎng)絡(luò)可能就根本不收斂。當(dāng)選取隱層數(shù)為1時(shí)，BP網(wǎng)絡(luò)不收斂，而當(dāng)選取隱層數(shù)為2時(shí)，BP網(wǎng)絡(luò)訓(xùn)練較好?？紤]到本研究的特點(diǎn)，結(jié)合不同隱層網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練結(jié)果，本文選擇了隱層數(shù)L=2的網(wǎng)絡(luò)結(jié)構(gòu)模型。2375 Epochs隱層數(shù)為1節(jié)點(diǎn)數(shù)6 不同隱層數(shù)訓(xùn)練誤差曲線隱層數(shù)為2 節(jié)點(diǎn)數(shù)126 例: B

47、P神經(jīng)網(wǎng)絡(luò)水（處理）系統(tǒng)的模擬與預(yù)測(cè)等方面獲得了廣泛的應(yīng)用 。光催化臭氧氧化處理自來水工藝神經(jīng)網(wǎng)絡(luò)模型 樣本實(shí)驗(yàn)號(hào)臭氧濃度(mg/L)入口UV254UV254去除率(%)11.160.11650.221.350.10459.531.720.07858.841.860.10766.251.970.13665.562.150.08264.572.230.12573.682.480.07676.492.790.12278.5102.850.09279.2113.070.08181.4123.450.06890.3133.590.07793.1143.800.10898.2153.930.12897.

48、3164.140.06398.1174.460.13597.3184.550.07098.8194.840.12696.9205.030.08798.6檢驗(yàn)樣本實(shí)驗(yàn)號(hào)臭氧濃度(mg/L)入口UV254UV254去除率(%)11.420.086?22.510.071?33.210.107?44.290.096?55.240.65?隱層神經(jīng)元數(shù)的選擇 隱層神經(jīng)元數(shù)的選擇是一個(gè)十分復(fù)雜的問題。因?yàn)闆]有很好的解析式表示，可以說隱層神經(jīng)元數(shù)與問題的要求、輸入層與輸出層神經(jīng)元的數(shù)量、訓(xùn)練樣本的數(shù)量等都有直接關(guān)系。事實(shí)上隱層神經(jīng)元太少不可能將網(wǎng)絡(luò)訓(xùn)練出來，但太多又使學(xué)習(xí)時(shí)間過長，使網(wǎng)絡(luò)不“不強(qiáng)壯”，泛化能力

49、下降，即不能識(shí)別以前沒有直接接收到的樣本，容錯(cuò)性差。 當(dāng)隱層數(shù)為2010和84時(shí)的訓(xùn)練結(jié)果: 隱層數(shù)為2節(jié)點(diǎn)數(shù)84 隱層數(shù)為2節(jié)點(diǎn)數(shù)2010 圖6-2 相同隱層數(shù)不同節(jié)點(diǎn)數(shù)訓(xùn)練誤差曲線 神經(jīng)網(wǎng)絡(luò)模型的各層節(jié)點(diǎn)數(shù)分別為：輸入層2個(gè)；第一隱層12個(gè)；第二隱層6個(gè)；輸出層1個(gè)。 綜合以上研究?jī)?nèi)容，建立光催化臭氧氧化處理自來水工藝神經(jīng)網(wǎng)絡(luò)模型如圖6-3所示。輸入層輸出層隱層圖6-3 BP網(wǎng)絡(luò)模型臭氧濃度入口UV254UV254去除率1學(xué)習(xí)率和動(dòng)量因子 BP算法本質(zhì)上是優(yōu)化計(jì)算中的梯度下降法，利用誤差對(duì)于權(quán)、閥值的一階導(dǎo)數(shù)信息來指導(dǎo)下一步的權(quán)值調(diào)整方向，以求最終得到誤差最小。為了保證算法的收斂性，學(xué)習(xí)率

50、必須小于某一上限，一般取01而且越接近極小值，由于梯度變化值逐漸趨于零，算法的收斂就越來越慢。在網(wǎng)絡(luò)參數(shù)中，學(xué)習(xí)率和動(dòng)量因子是很重要的，它們的取值直接影響到網(wǎng)絡(luò)的性能，主要是收斂速度。為提高學(xué)習(xí)速度，應(yīng)采用大的。但太大卻可能導(dǎo)致在穩(wěn)定點(diǎn)附近振蕩，乃至不收斂。針對(duì)具體的網(wǎng)絡(luò)結(jié)構(gòu)模型和學(xué)習(xí)樣本，都存在一個(gè)最佳的學(xué)習(xí)率門和動(dòng)量因子，它們的取值范圍一般01之間，視實(shí)際情況而定。在上述范圍內(nèi)通過對(duì)不同的和的取值進(jìn)行了考察，確定本文神經(jīng)網(wǎng)絡(luò)模型的參數(shù)為：0.7，0.9。2初始權(quán)值的選擇 在前饋多層神經(jīng)網(wǎng)絡(luò)的BP算法中，初始權(quán)、閾值一般是在一個(gè)固定范圍內(nèi)按均勻分布隨機(jī)產(chǎn)生的。一般文獻(xiàn)認(rèn)為初始權(quán)值范圍為-11

51、之間，初始權(quán)值的選擇對(duì)于局部極小點(diǎn)的防止和網(wǎng)絡(luò)收斂速度的提高均有一定程度的影響，如果初始權(quán)值范圍選擇不當(dāng)，學(xué)習(xí)過程一開始就可能進(jìn)入“假飽和”現(xiàn)象，甚至進(jìn)入局部極小點(diǎn)，網(wǎng)絡(luò)根本不收斂。初始權(quán)、閾值的選擇因具體的網(wǎng)絡(luò)結(jié)構(gòu)模式和訓(xùn)練樣本不同而有所差別，一般應(yīng)視實(shí)際情況而定。本文考察了不同初始權(quán)、閾值的賦值范圍對(duì)網(wǎng)絡(luò)收斂速度的影響，確定本文神經(jīng)網(wǎng)絡(luò)模型的初始權(quán)和閾值的隨機(jī)賦值范圍為0.5+0.5。3收斂誤差界值Emin 在網(wǎng)絡(luò)訓(xùn)練過程中應(yīng)根據(jù)實(shí)際情況預(yù)先確定誤差界值。誤差界值的選擇完全根據(jù)網(wǎng)絡(luò)模型的收斂速度大小和具體樣本的學(xué)習(xí)精度來確定。當(dāng)Emin 值選擇較小時(shí)，學(xué)習(xí)效果好，但收斂速度慢，訓(xùn)練次數(shù)增加。如果Emin值取得較大時(shí)則相反。本文神經(jīng)網(wǎng)絡(luò)的誤差界值Em