神經(jīng)網(wǎng)絡(luò)+數(shù)學(xué)建模模型及算法簡介

神經(jīng)網(wǎng)絡(luò)算法

簡介一、引例

1981年生物學(xué)家格若根（W．Grogan）和維什（W．Wirth）發(fā)現(xiàn)了兩類蚊子(或飛蠓midges)．他們測量了這兩類蚊子每個個體的翼長和觸角長，數(shù)據(jù)如下：翼長觸角長類別

1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af翼長觸角長類別1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af問：若抓到三只新的蚊子，它們的觸角長和翼長分別為(1.24,1.80);

(1.28，1.84)；（1.40，2.04）．問它們應(yīng)分別屬于哪一個種類？

把翼長作縱坐標(biāo)，觸角長作橫坐標(biāo)；那么每個蚊子的翼長和觸角決定了坐標(biāo)平面的一個點(diǎn).其中6個蚊子屬于APf類；用黑點(diǎn)“·”表示；9個蚊子屬Af類；用小圓圈“?！北硎荆玫降慕Y(jié)果見圖1圖1飛蠓的觸角長和翼長一、引例

1989年美國大學(xué)生數(shù)學(xué)建模問題思路：例如；取A＝（1.44，2.10）和B＝(1.10，1.16)，過AB兩點(diǎn)作一條直線：

y＝1.47x-0.017其中x表示觸角長；y表示翼長．

分類規(guī)則：設(shè)一個蚊子的數(shù)據(jù)為（x,y）

如果y≥1.47x-0.017，則判斷蚊子屬Apf類；

如果y＜1.47x-0.017；則判斷蚊子屬Af類．

一、引例

作一直線將兩類飛蠓分開分類結(jié)果：(1.24，1.80)，(1.28，1.84)屬于Af類；(1.40，2.04）屬于Apf類．圖2分類直線圖

一、引例

?缺陷：根據(jù)什么原則確定分類直線？

若取A=(1.46,2.10),B=(1.1,1.6)不變，則分類直線變?yōu)閥=1.39x+0.071分類結(jié)果變?yōu)椋?1.24,1.80)，(1.40,2.04)屬于Apf類；(1.28,1.84)屬于Af類

哪一分類直線才是正確的呢？

一、引例

A＝（1.44，2.10）再如，如下的情形能不能用分類直線的辦法呢？

新思路：將問題看作一個系統(tǒng)，飛蠓的數(shù)據(jù)作為輸入，飛蠓的類型作為輸出，研究輸入與輸出的關(guān)系。一、引例

方法：馬氏距離判別法、Bayes判別法等人工神經(jīng)網(wǎng)絡(luò)模型前言所謂人工神經(jīng)網(wǎng)絡(luò)就是基于模仿生物大腦的結(jié)構(gòu)和功能而構(gòu)成的一種信息處理系統(tǒng)。粗略地講，大腦是由大量神經(jīng)細(xì)胞或神經(jīng)元組成的。每個神經(jīng)元可看作是一個小的處理單元，這些神經(jīng)元按某種方式連接起來，形成大腦內(nèi)部的生理神經(jīng)元網(wǎng)絡(luò)。這種神經(jīng)元網(wǎng)絡(luò)中各神經(jīng)元之間聯(lián)結(jié)的強(qiáng)弱，按外部的激勵信號做自適應(yīng)變化，而每個神經(jīng)元又隨著所接收到的多個接收信號的綜合大小而呈現(xiàn)興奮或抑制狀態(tài)。生物神經(jīng)網(wǎng)基本工作機(jī)制：一個神經(jīng)元有兩種狀態(tài)——興奮和抑制平時處于抑制狀態(tài)的神經(jīng)元，當(dāng)接收到其它神經(jīng)元經(jīng)由突觸傳來的沖擊信號時，多個輸入在神經(jīng)元中以代數(shù)和的方式疊加。進(jìn)入突觸的信號會被加權(quán)，起興奮作用的信號為正，起抑制作用的信號為負(fù)。如果疊加總量超過某個閾值，神經(jīng)元就會被激發(fā)進(jìn)入興奮狀態(tài)，發(fā)出輸出脈沖，并由軸突的突觸傳遞給其它神經(jīng)元。人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)信息輸入信息傳播與處理信息傳播與處理（整合）信息傳播與處理結(jié)果：興奮與抑制信息輸出神經(jīng)網(wǎng)絡(luò)的基本思想人工神經(jīng)元的基本構(gòu)成：人工神經(jīng)元－信息處理單元人工神經(jīng)元－信息處理單元信息輸入人工神經(jīng)元－信息處理單元信息傳播與處理：加權(quán)求和人工神經(jīng)元－信息處理單元信息傳播人工神經(jīng)元－信息處理單元信息傳播與處理人工神經(jīng)元－信息處理單元信息輸出神經(jīng)元的傳遞函數(shù)f（X）是激發(fā)函數(shù)；它可以是線性函數(shù)，也可以是非線性函數(shù)．例如，若取激發(fā)函數(shù)為符號函數(shù)

神經(jīng)元的傳遞函數(shù)S型傳遞函數(shù)注：一個神經(jīng)元含有與輸入向量維數(shù)相同個數(shù)的權(quán)系數(shù)，若將閾值看作是一個權(quán)系數(shù)，-1是一個固定的輸入，另有n-1個正常的輸入，則式也可表示為：

‘

參數(shù)識別：假設(shè)函數(shù)形式已知，則可以從已有的輸入輸出數(shù)據(jù)確定出權(quán)系數(shù)及閾值。

ojx1-1x2簡單原理人工神經(jīng)網(wǎng)絡(luò)是根據(jù)人的認(rèn)識過程而開發(fā)出的一種算法。假如我們現(xiàn)在只有一些輸入和相應(yīng)的輸出，而對如何由輸入得到輸出的機(jī)理并不清楚，那么我們可以把輸入與輸出之間的未知過程看成是一個“網(wǎng)絡(luò)”，通過不斷地給這個網(wǎng)絡(luò)輸入和相應(yīng)的輸出來“訓(xùn)練”這個網(wǎng)絡(luò)，網(wǎng)絡(luò)根據(jù)輸入和輸出不斷地調(diào)節(jié)自己的各節(jié)點(diǎn)之間的權(quán)值來滿足輸入和輸出。這樣，當(dāng)訓(xùn)練結(jié)束后，我們給定一個輸入，網(wǎng)絡(luò)便會根據(jù)自己已調(diào)節(jié)好的權(quán)值計算出一個輸出。這就是神經(jīng)網(wǎng)絡(luò)的簡單原理。神經(jīng)網(wǎng)絡(luò)的作用網(wǎng)絡(luò)說話人們把一本教科書用網(wǎng)絡(luò)把它讀出來（當(dāng)然需要通過光電，電聲的信號轉(zhuǎn)換）；開始網(wǎng)絡(luò)說的話像嬰兒學(xué)語那樣發(fā)出“巴、巴、巴”的聲響；但經(jīng)過B－P算法長時間的訓(xùn)練竟能正確讀出英語課本中90％的詞匯．從此用神經(jīng)網(wǎng)絡(luò)來識別語言和圖象形成一個新的熱潮。人工神經(jīng)網(wǎng)絡(luò)基本特點(diǎn)

（1）可處理非線性

（2）并行結(jié)構(gòu)．對神經(jīng)網(wǎng)絡(luò)中的每一個神經(jīng)元來說；其運(yùn)算都是同樣的．這樣的結(jié)構(gòu)最便于計算機(jī)并行處理．

（3）具有學(xué)習(xí)和記憶能力．一個神經(jīng)網(wǎng)絡(luò)可以通過訓(xùn)練學(xué)習(xí)判別事物；學(xué)習(xí)某一種規(guī)律或規(guī)則．（4）對數(shù)據(jù)的可容性大．在神經(jīng)網(wǎng)絡(luò)中可以同時使用量化數(shù)據(jù)和質(zhì)量數(shù)據(jù)（如好、中、差、及格、不及格等）．（5）神經(jīng)網(wǎng)絡(luò)可以用大規(guī)模集成電路來實現(xiàn)．如美國用256個神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)組成硬件用于識別手寫體的郵政編碼．人工神經(jīng)網(wǎng)絡(luò)的分類按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類：層次型結(jié)構(gòu)：將神經(jīng)元按功能分成若干層，如輸入層、中間層（隱層）和輸出層，各層順序相連單純型層次型結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)的分類按網(wǎng)絡(luò)內(nèi)部的信息流向分類：前饋型網(wǎng)絡(luò)：網(wǎng)絡(luò)信息處理的方向是從輸入層到各隱層再到輸出層逐層進(jìn)行前饋型網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則

關(guān)鍵在于如何決定每一神經(jīng)元的權(quán)值。

常用的學(xué)習(xí)規(guī)則有以下幾種：Hebb規(guī)則Delta規(guī)則(最小均方差規(guī)則

)反向傳播學(xué)習(xí)方法Kohonen學(xué)習(xí)規(guī)則(用于無指導(dǎo)訓(xùn)練網(wǎng)絡(luò))Grosberg學(xué)習(xí)方法神經(jīng)網(wǎng)絡(luò)常用模型共70多種，具有代表性的有：（1）感知器（Perceptron）

（2）多層前饋（BP）網(wǎng)絡(luò)

（3）Hopfield網(wǎng)絡(luò)(優(yōu)化)（4）Boltzmann機(jī)（在BP中加入噪聲）（5）雙向聯(lián)想記憶網(wǎng)絡(luò)（快速存儲）……人工神經(jīng)網(wǎng)絡(luò)的工作原理人工神經(jīng)網(wǎng)絡(luò)的工作原理到底是怎樣的，我們可以從一個最簡單的網(wǎng)絡(luò)來剖析，一定程度上打開這個黑匣子。1958年，美國心理學(xué)家FrankRosenblatt提出一種具有單層計算單元的神經(jīng)網(wǎng)絡(luò)，稱為Perceptron，即感知器。感知器是模擬人的視覺接受環(huán)境信息，并由神經(jīng)沖動進(jìn)行信息傳遞的層次型神經(jīng)網(wǎng)絡(luò)。單層感知器的結(jié)構(gòu)與功能都非常簡單，以至于在解決實際問題時很少采用，但由于它在神經(jīng)網(wǎng)絡(luò)研究中具有重要意義，是研究其它網(wǎng)絡(luò)的基礎(chǔ)，常作為學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的起點(diǎn)。人工神經(jīng)網(wǎng)絡(luò)的工作原理感知器模型(單層前向神經(jīng)網(wǎng)絡(luò)）j=1,2,…,m

輸出類別指示輸入樣本人工神經(jīng)網(wǎng)絡(luò)的工作原理感知器模型凈輸入：輸出為：Tj為閥值，sgn為符號函數(shù)人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型具體的：設(shè)輸入向量X=(x1,x2)T輸出：則由方程w1jx1+w2jx2-Tj=0確定了二維平面上的一條分界線ojx1-1x2人工神經(jīng)網(wǎng)絡(luò)的工作原理感知器模型具體的：則由方程w1jx1+w2jx2-Tj=0確定了二維平面上的一條分界線(Why?)w1jx1+w2jx2–Tj

=0w1jx1=Tj

-w2jx2x1=(Tj

-w2jx2)/w1j

=-(w2j/w1j)x2+Tj

/w1j=a

x2+c人工神經(jīng)網(wǎng)絡(luò)的工作原理感知器模型具體的：這樣的話，我們就可以得到

思路：例如；取A＝（1.44，2.10）和B＝(1.10，1.16)，過AB兩點(diǎn)作一條直線：

y＝1.47x-0.017其中x表示觸角長；y表示翼長．

分類規(guī)則：設(shè)一個蚊子的數(shù)據(jù)為（x,y）

如果y≥1.47x-0.017，則判斷蚊子屬Apf類；

如果y＜1.47x-0.017；則判斷蚊子屬Af類．

一、引例

作一直線將兩類飛蠓分開人工神經(jīng)網(wǎng)絡(luò)的工作原理感知器模型一個最簡單的單計算節(jié)點(diǎn)感知器具有分類功能。其分類原理是將分類知識存儲于感知器的權(quán)向量（包含了閾值）中，由權(quán)向量確定的分類判決界面將輸入模式分為兩類。ojx1-1x2單層感知器的局限性是：僅對線性可分問題具有分類能力。神經(jīng)網(wǎng)絡(luò)研究的發(fā)展(1)第一次熱潮(40-60年代未)1943年,美國心理學(xué)家W.McCulloch和數(shù)學(xué)家W.Pitt在提出了一個簡單的神經(jīng)元模型，即MP模型。1958年，F(xiàn).Rosenblatt等研制出了感知機(jī)(Perceptron）。(2)低潮(70-80年代初):(3)第二次熱潮1982年，美國物理學(xué)家J.J.Hopfield提出Hopfield模型，它是一個互聯(lián)的非線性動力學(xué)網(wǎng)絡(luò),他解決問題的方法是一種反復(fù)運(yùn)算的動態(tài)過程,這是符號邏輯處理方法所不具備的性質(zhì).1987年首屆國際ANN大會在圣地亞哥召開，國際ANN聯(lián)合會成立，創(chuàng)辦了多種ANN國際刊物。經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法BP算法BP(ErrorBackProragation，BP)誤差反向傳播算法它是有指導(dǎo)訓(xùn)練的前饋多層網(wǎng)絡(luò)訓(xùn)練算法，是靠調(diào)節(jié)各層的加權(quán)，使網(wǎng)絡(luò)學(xué)會由輸入輸出對組成的訓(xùn)練組執(zhí)行優(yōu)化的方法是梯度下降法BP算法是使用非常廣泛的一種算法，最常用的轉(zhuǎn)移函數(shù)是Sigmoid函數(shù)梯度法考慮無約束問題，其中函數(shù)f(x)一階連續(xù)可導(dǎo)，梯度指對各個自變量的偏導(dǎo)數(shù)依次排列所成的向量。梯度法就是在點(diǎn)x處以f(x)的負(fù)梯度方向進(jìn)行搜索的一種優(yōu)化方法，其迭代公式，其中，是從出發(fā)的搜索方向，取最速下降方向經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法BP算法BP網(wǎng)絡(luò)模型輸入層隱層輸出層網(wǎng)絡(luò)學(xué)習(xí)的目的是要使網(wǎng)絡(luò)產(chǎn)生盡可能逼近理想的反應(yīng)。網(wǎng)絡(luò)受訓(xùn)練時，不斷將網(wǎng)絡(luò)的輸出數(shù)據(jù)與理想數(shù)據(jù)相比較，并按學(xué)習(xí)規(guī)格改變權(quán)重，直到網(wǎng)絡(luò)的輸出數(shù)據(jù)對所有訓(xùn)練數(shù)據(jù)與理想輸出數(shù)據(jù)之差在要求的誤差范圍之內(nèi)。BP神經(jīng)網(wǎng)絡(luò)模型

簡單網(wǎng)絡(luò)經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法BP算法學(xué)習(xí)的過程：正向傳播：輸入樣本－－－輸入層－－－各隱層－－－輸出層判斷是否轉(zhuǎn)入反向傳播階段：若輸出層的實際輸出與期望的輸出（教師信號）不符誤差反傳誤差以某種形式在各層表示－－修正各層單元的權(quán)值網(wǎng)絡(luò)輸出的誤差減少到可接受的程度進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止假設(shè)有P個訓(xùn)練樣本，即有P個輸入輸出對（Ip,Tp）,p=1,…,P,其中輸入向量為目標(biāo)輸出向量為（理論上的）

網(wǎng)絡(luò)輸出向量為

（實際上的）

簡單網(wǎng)絡(luò)的B-P算法（p=1,…,P）

（2）

通常理論與實際有誤差，網(wǎng)絡(luò)學(xué)習(xí)則是指不斷比較，并根據(jù)極小原則修改參數(shù)wij，使誤差平方和達(dá)最?。河汥elta學(xué)習(xí)規(guī)則:

（4）

（3）

表示遞推一次的修改量，則有稱為學(xué)習(xí)的速率一般取值為0.1~0.3

簡單網(wǎng)絡(luò)的B-P算法記wij為從輸入向量的第j(j=1,…,m)個分量到輸出向量的第i(i=1,…,n)個分量的權(quán)重。ipm=-1,wim=(第i個神經(jīng)元的閾值)（5）注：由（1）式，第i個神經(jīng)元的輸出可表示為特別當(dāng)f是線性函數(shù)時

（6）簡單網(wǎng)絡(luò)的B-P算法訓(xùn)練用的性能指標(biāo)為最小求E的最小值，只需考慮EP達(dá)到最小的遞推算法求E的最小值的梯度下降法就是Delta學(xué)習(xí)規(guī)則。多層前饋網(wǎng)絡(luò)

（l）輸入層不計在層數(shù)之內(nèi)，它有N0個神經(jīng)元．設(shè)網(wǎng)絡(luò)共有L層；輸出層為第L層；第k層有Nk個神經(jīng)元．假設(shè)：(2)

設(shè)表示第k層第i神經(jīng)元所接收的信息

wk(i,j)表示從第k-1層第j個元到第k層第i個元的權(quán)重，

表第k層第i個元的輸出

有些文獻(xiàn)將輸入層作為一層（3）設(shè)層與層間的神經(jīng)元都有信息交換（否則，可設(shè)它們之間的權(quán)重為零）；但同一層的神經(jīng)元之間無信息傳輸．(4)設(shè)信息傳輸?shù)姆较蚴菑妮斎雽拥捷敵鰧臃较?；因此稱為前向網(wǎng)絡(luò)．沒有反向傳播信息．（5）表示輸入的第j個分量．假設(shè)：在上述假定下網(wǎng)絡(luò)的輸入輸出關(guān)系可以表示為：（7）

其中θk(i)表示第k層第i個元的閾值.，f為S函數(shù)定理

對于具有多個隱層的前饋神經(jīng)網(wǎng)絡(luò)；設(shè)激發(fā)函數(shù)為S函數(shù)；且指標(biāo)函數(shù)取

則每個訓(xùn)練循環(huán)中按梯度下降時；其權(quán)重迭代公式為其中證明思路與簡單模型相同。不同的是這里具有隱層2層前饋神經(jīng)網(wǎng)絡(luò)單個神經(jīng)元節(jié)點(diǎn)反向一層傳播反向二層傳播某一隱層節(jié)點(diǎn)受所有輸出層節(jié)點(diǎn)影響B(tài)-P算法的學(xué)習(xí)過程如下：（1）選擇一組訓(xùn)練樣例，每一個樣例由輸入信息和期望的輸出結(jié)果兩部分組成。（2）從訓(xùn)練樣例集中取一樣例，把輸入信息輸入到網(wǎng)絡(luò)中。（3）分別計算經(jīng)神經(jīng)元處理后的各層節(jié)點(diǎn)的輸出。（4）計算網(wǎng)絡(luò)的實際輸出和期望輸出的誤差。反向傳播模型及其學(xué)習(xí)算法（5）從輸出層反向計算到第一個隱層，并按照某種能使誤差向減小方向發(fā)展的原則，調(diào)整網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)值。（6）對訓(xùn)練樣例集中的每一個樣例重復(fù)3—5的步驟，直到對整個訓(xùn)練樣例集的誤差達(dá)到要求時為止。在以上的學(xué)習(xí)過程中，第（5）步是最重要的，如何確定一種調(diào)整連接權(quán)值的原則，使誤差沿著減小的方向發(fā)展，是B-P學(xué)習(xí)算法必須解決的問題。反向傳播模型及其學(xué)習(xí)算法應(yīng)用

已知的兩類蚊子的數(shù)據(jù)如表1：

翼長觸角長類別1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af目標(biāo)值0.90.90.90.10.90.90.90.1

翼長觸角長類別1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af目標(biāo)t0.10.10.10.10.10.10.1

BP采用S函數(shù)，輸出不宜設(shè)為1或0，可設(shè)為0.9或0.1。輸入數(shù)據(jù)有15個建模：兩層神經(jīng)網(wǎng)絡(luò)建立神經(jīng)網(wǎng)絡(luò)規(guī)定目標(biāo)為：當(dāng)t(1)=0.9時表示屬于Apf類，t(2)=0.1表示屬于Af類。設(shè)兩個權(quán)重系數(shù)矩陣為：為閾值

其中分析如下：

為第一層的輸出，同時作為第二層的輸入。其中，為閾值，為傳遞函數(shù)若令

（作為一固定輸入）（閾值作為固定輸入神經(jīng)元相應(yīng)的權(quán)系數(shù)）

則有：取傳遞函數(shù)為=則同樣，取

（1）隨機(jī)給出兩個權(quán)矩陣的初值；例如用MATLAB軟件時可以用以下語句：

令p=0具體算法如下：=rand(2,3);=rand(1,3);(2)根據(jù)輸入數(shù)據(jù)利用公式算出網(wǎng)絡(luò)的輸出

=取（3）計算因為所以

L=2計算

(5)計算

和

j=1,2,3,i=1,2,3,j=1,2,3（4）取

（或其他正數(shù)，可調(diào)整大?。?/p>

(6)p=p+1，轉(zhuǎn)（2）

注：僅計算一圈（p=1，2，…，15）是不夠的，直到當(dāng)各權(quán)重變化很小時停止，本例中，共計算了147圈，迭代了2205次。最后結(jié)果是：如何分類？規(guī)定目標(biāo)為：當(dāng)t(1)=0.9時表示屬于叉類，t(2)=0.1表示屬于圓點(diǎn)類。22對訓(xùn)練樣本（1）隨機(jī)給出兩個權(quán)矩陣的初值；例如用MATLAB軟件時可以用以下語句：

令p=0具體算法如下：=rand(2,3);=rand(1,3);(2)根據(jù)輸入數(shù)據(jù)利用公式算出網(wǎng)絡(luò)的輸出

=?。?）計算因為所以

L=2計算

(5)計算

和

j=1,2,3,i=1,2,3,j=1,2,3（4）取

（或其他正數(shù)，可調(diào)整大?。?/p>

直到當(dāng)各權(quán)重變化很小時停止，本例中，共計算了200圈，迭代了4400次。最后結(jié)果是：數(shù)學(xué)建模中有很多題目都可以用神經(jīng)網(wǎng)絡(luò)加