工程應用數(shù)學課件

智能算法

（IntelligentAlgorithm）智能算法

（IntelligentAlgorithm）2主要內(nèi)容人工神經(jīng)網(wǎng)絡（ArtificialNeuralNetwork，ANN）模擬退火（SimulatedAnnealing，SA）遺傳算法（GeneticAlgorithm，GA）2主要內(nèi)容人工神經(jīng)網(wǎng)絡（ArtificialNeural3人工神經(jīng)網(wǎng)絡參考文獻陳念貽，欽佩，陳瑞亮，陸文聰，模式識別方法在化學化工中的應用，科學出版社，北京，2000。從爽，面向MATLAB工具箱的神經(jīng)網(wǎng)絡理論與應用，中國科學技術出版社，合肥，1998。焦李成，神經(jīng)網(wǎng)絡計算，西安電子科技大學出版社，西安，1993。王永驥，涂健，神經(jīng)元網(wǎng)絡控制，機械工業(yè)出版社，北京，1998。Bishop,C.(1995).NeuralNetworksforPatternRecognition.Oxford:UniversityPress.Carling,A.(1992).IntroducingNeuralNetworks.Wilmslow,UK:SigmaPress.Fausett,L.(1994).FundamentalsofNeuralNetworks.NewYork:PrenticeHallHaykin,S.(1994).NeuralNetworks:AComprehensiveFoundation.NewYork:MacmillanPublishing.Patterson,D.(1996).ArtificialNeuralNetworks.Singapore:PrenticeHall.3人工神經(jīng)網(wǎng)絡參考文獻陳念貽，欽佩，陳瑞亮，陸文聰，模式識別4生物神經(jīng)元及神經(jīng)網(wǎng)絡神經(jīng)元對信息的接受和傳遞都是通過突觸來進行的。單個神經(jīng)元可以從別的細胞接受多個輸入。由于輸入分布于不同的部位，對神經(jīng)元影響的比例(權重)是不相同的。另外，各突觸輸入抵達神經(jīng)元的先后時間也不一祥。因此，一個神經(jīng)元接受的信息，在時間和空間上常呈現(xiàn)出一種復雜多變的形式，需要神經(jīng)元對它們進行積累和整合加工，從而決定其輸出的時機和強度。正是神經(jīng)元這種整合作用，才使得億萬個神經(jīng)元在神經(jīng)系統(tǒng)中有條不紊、夜以繼日地處理各種復雜的信息，執(zhí)行著生物中樞神經(jīng)系統(tǒng)的各種信息處理功能。多個神經(jīng)元以突觸聯(lián)接形成了一個神經(jīng)網(wǎng)絡。4生物神經(jīng)元及神經(jīng)網(wǎng)絡神經(jīng)元對信息的接受和傳遞都是通過突觸來5一、人工神經(jīng)網(wǎng)絡什么是人工神經(jīng)網(wǎng)絡？它就是在對大腦的生理研究的基礎上，用模擬生物神經(jīng)元的某些基本功能元件（即人工神經(jīng)元），按各種不同的聯(lián)結方式組織起來的一個網(wǎng)絡。其目的在于模擬大腦的某些機理與機制，實現(xiàn)某個方面的功能，可以用在模仿視覺、模式識別、函數(shù)逼近、模式識別、分類和數(shù)據(jù)壓縮等領域，是近年來人工智能計算的一個重要學科分支。人工神經(jīng)網(wǎng)絡有多種形式，其中反向傳播人工神經(jīng)網(wǎng)絡(Back-PropagationArtificialNetwork,簡稱BP網(wǎng)絡)是一種廣泛使用的神經(jīng)網(wǎng)絡模型，它充分體現(xiàn)了人工神經(jīng)網(wǎng)絡的特點。BP網(wǎng)絡是一種對非線性可微分函數(shù)進行權值訓練的多層網(wǎng)絡，在人工神經(jīng)網(wǎng)絡的實際應用中，80％～90％的人工神經(jīng)網(wǎng)絡模型是采用BP網(wǎng)絡或它的變化形式。5一、人工神經(jīng)網(wǎng)絡什么是人工神經(jīng)網(wǎng)絡？它就是在對大腦的生理研61.1BP神經(jīng)網(wǎng)絡神經(jīng)元的結構神經(jīng)元是人工神經(jīng)網(wǎng)絡的基本處理單元，它一般為多輸入/單輸出的非線性元件。神經(jīng)元輸出除受輸入信號的影響外，還受神經(jīng)元內(nèi)部其它因素的制約，因此在人工神經(jīng)元的建模中，常常加一額外輸入信號，稱為偏差(bais)，并取值為1。

輸入分量權值分量

神經(jīng)元的輸出偏差權值

激活函數(shù)輸入分量通過與它相乘的權值分量相連，求和后與偏差權值共同構成激活函數(shù)的輸入

。61.1BP神經(jīng)網(wǎng)絡神經(jīng)元的結構

輸入分量權值分量神經(jīng)元7偏差神經(jīng)元的輸出為：

偏差b被簡單地加在上，作為激活函數(shù)的一個輸入分量。偏差的重要作用，它使得激活函數(shù)的圖形可以左右移動，這樣可增加網(wǎng)絡解決問題的能力。

7偏差神經(jīng)元的輸出為：偏差b被簡單地加在上，作為激活函數(shù)的8激活函數(shù)激活函數(shù)具有模擬生物神經(jīng)元的非線性特性。Sigmoid函數(shù)：雙曲正切tanh函數(shù)：Sigmoid函數(shù)和雙曲正切tanh函數(shù)都是單調(diào)上升函數(shù)，其極值分別為0、1和－1、＋1，且都是可微的。8激活函數(shù)激活函數(shù)具有模擬生物神經(jīng)元的非線性特性。Sigmo9激活函數(shù)的一階導數(shù)在BP神經(jīng)網(wǎng)絡訓練算法中，要用到激活函數(shù)的一階導數(shù)。Sigmoid函數(shù)的導數(shù)：雙曲正切tanh函數(shù)的導數(shù)：由此可以看出，由于激活函數(shù)的特點，用神經(jīng)網(wǎng)絡計算時，需對輸入和輸出的值進行調(diào)整。激活函數(shù)是采用Sigmoid函數(shù)時，輸入和輸出的值應在{0,1}之間；激活函數(shù)是雙曲正切tanh函數(shù)時，輸入和輸出的值范圍則在{－1,1}之間。9激活函數(shù)的一階導數(shù)在BP神經(jīng)網(wǎng)絡訓練算法中，要用到激活函數(shù)101.2BP網(wǎng)絡的模型結構BP網(wǎng)絡是一種在輸入層和輸出層之間具有一層或多層隱層的網(wǎng)絡模型，而其典型的結構為有一隱層、包含輸入層和輸出層的三層網(wǎng)絡模型。典型BP網(wǎng)絡的結構示意圖如下：網(wǎng)絡的輸入模式向量為P，有r個輸入神經(jīng)元，對應輸入模式向量的每個元素。

隱層內(nèi)有s1個神經(jīng)元，對應隱層輸出是a1。網(wǎng)絡的輸出為a2，有s2個神經(jīng)元，而目標輸出為T。

三層BP神經(jīng)網(wǎng)絡不同層神經(jīng)元之間實現(xiàn)權重連接，而每層內(nèi)各個神經(jīng)元之間不連接。101.2BP網(wǎng)絡的模型結構BP網(wǎng)絡是一種在輸入層和輸出11BP網(wǎng)絡的四個計算過程輸入模式由輸入層經(jīng)隱含層向輸出層的“模式正向傳播”過程；（神經(jīng)元的激活值從輸入層經(jīng)隱含層向輸出層傳播，在輸出層各神經(jīng)元獲得網(wǎng)絡響應。）網(wǎng)絡實際輸出與希望輸出的誤差信號由輸出層經(jīng)隱含層向輸入層逐層修正連接權和閡值的“誤差反向傳播”過程；由“模式正向傳播”過程與“誤差反向傳播”過程的反復交替進行的網(wǎng)絡學習訓練過程；網(wǎng)絡全局誤差趨向極小的學習收斂過程。（網(wǎng)絡對輸入模式響應的正確率也不斷增加。）11BP網(wǎng)絡的四個計算過程輸入模式由輸入層經(jīng)隱含層向輸出層的12BP網(wǎng)絡的計算過程的簡單描述（1）模式正向傳播過程隱含層中第j個神經(jīng)元的輸出為：輸出層中第k個神經(jīng)元的輸出為：誤差反向傳播過程定義誤差函數(shù)為：

神經(jīng)網(wǎng)絡學習的過程就是通過調(diào)整權值，使誤差E最小，此時可利用最速下降法求權值及誤差的反向傳播。12BP網(wǎng)絡的計算過程的簡單描述（1）模式正向傳播過程隱含13BP網(wǎng)絡的計算過程的簡單描述（2）隱含層中第j個神經(jīng)元的輸出的權值變化為：對第i個輸入到隱含層中第j個神經(jīng)元輸出的權值變化為：修正后的新權重調(diào)整為：

η稱為學習系數(shù)，值在{0,1}之間。

13BP網(wǎng)絡的計算過程的簡單描述（2）隱含層中第j個神經(jīng)元的14加快BP網(wǎng)絡訓練速度的方法

BP網(wǎng)絡得到了廣泛的應用，但也存在自身的不足與限制，主要表現(xiàn)在網(wǎng)絡訓練需較長時間和網(wǎng)絡有可能達到局部最小。據(jù)此，BP網(wǎng)絡有各種改進方法，以加快訓練速度，避免陷入局部極小。主要的改進方法有：增加動量項，以平滑權的變化，一種常用形式是：α為動量因子，值在{0,1}之間，n為迭代次數(shù)。

采用二階學習算法。前面的基于函數(shù)梯度的算法屬于一階算法，缺點就是在極值點附近收斂速度慢。采用二階算法，如牛頓法、共軛梯度法等，將有較快的收斂速度。模擬退火法。14加快BP網(wǎng)絡訓練速度的方法BP網(wǎng)絡得到了廣泛的應用，但151.4BP神經(jīng)網(wǎng)絡計算（1）網(wǎng)絡的層數(shù)：在運用BP神經(jīng)網(wǎng)絡時，最多采用的是具有一層或兩層隱層的網(wǎng)絡。

具有偏差和至少一個S型隱層的網(wǎng)絡，可以近似任何函數(shù)，這已成為設計BP神經(jīng)網(wǎng)絡的原則。

網(wǎng)絡計算精度的提高，可以通過采用一個隱層，而增加隱層神經(jīng)元數(shù)的方法來獲得，這也就是通常用一隱層、包含輸入層和輸出層的三層BP網(wǎng)絡模型的原因。神經(jīng)元數(shù)：輸入和輸出的神經(jīng)元數(shù)可以根據(jù)需要求解的問題和數(shù)據(jù)所表示的方式來確定。問題確定后，輸入層與輸出層的神經(jīng)元數(shù)也就隨之定了。隱層神經(jīng)元數(shù)的選擇有較廣的范圍：當隱層神經(jīng)元數(shù)較少時，誤差下降到一定程度后會變化很?。划旊[層神經(jīng)元數(shù)過多時，不僅網(wǎng)絡訓練時間長，還會出現(xiàn)過擬合問題，降低神經(jīng)網(wǎng)絡的預測功能。通常隱層神經(jīng)元數(shù)的選擇原則是：在能解決問題的前提下，再加上1到2個神經(jīng)元以加快誤差的下降速度即可。151.4BP神經(jīng)網(wǎng)絡計算（1）網(wǎng)絡的層數(shù)：16BP神經(jīng)網(wǎng)絡計算（2）初始權值的選取權重初始值的選取，對網(wǎng)絡訓練學習是否達到局部最小，是否能夠收斂以及訓練時間的長短有很大的關系。如果初始權值太大，使得加和后的值落在激活函數(shù)的飽和區(qū)，從而導致激活函數(shù)的導數(shù)非常小，在計算權值修正時，調(diào)整值接近零，網(wǎng)絡的學習訓練幾乎處在停止狀態(tài)。所以一般總是希望經(jīng)過初始權值計算后每個神經(jīng)元的輸出值都接近零，這樣可以保證每個神經(jīng)元的權值都能在激活函數(shù)變化最大之處進行調(diào)節(jié)。一般來說，初始權值取{-1,1}之間的隨機數(shù)是較好的選擇。

16BP神經(jīng)網(wǎng)絡計算（2）初始權值的選取17BP神經(jīng)網(wǎng)絡計算（3）學習速率學習速率決定每一次循環(huán)訓練中所產(chǎn)生的權值變化量。大的學習速率可能導致系統(tǒng)的不穩(wěn)定；但小的學習速率導致較長的訓練時間，可能收斂很慢，不過能保證網(wǎng)絡的誤差值不跳出誤差表面的低谷而最終趨于最小誤差值。所以在一般情況下，傾向于選取較小的學習速率以保證系統(tǒng)的穩(wěn)定性。學習速率的選取范圍在0.01~0.8之間。在一個神經(jīng)網(wǎng)絡的計算過程中，使網(wǎng)絡經(jīng)過幾個不同的學習速率的訓練，通過觀察每一次訓練后的誤差平方和的下降速率來判斷所選定的學習速率是否合適。如果誤差平方和下降很快，則說明學習速率合適若誤差平方和出現(xiàn)振蕩現(xiàn)象，則說明學習速率過大。對于每一個具體網(wǎng)絡都存在一個合適的學習速率。但對于較復雜網(wǎng)絡，在誤差曲面的不同部位可能需要不同的學習速率。為了減少尋找學習速率的訓練次數(shù)以及訓練時間，比較合適的方法是采用變化的學習速率，使網(wǎng)絡的訓練在不同的階段自動設置不同學習速率的大小。17BP神經(jīng)網(wǎng)絡計算（3）學習速率18BP神經(jīng)網(wǎng)絡計算程序BATCHNET簡介BATCHNET是一個BP神經(jīng)網(wǎng)絡計算的DOS程序，程序由batchnet.exe和weights.exe兩個可執(zhí)行文件構成。batchnet為網(wǎng)絡訓練和預測程序，激活函數(shù)為Sigmoid函數(shù)，輸入輸出樣本值范圍為{0,1}。weights程序產(chǎn)生初始權值。批處理程序demo.batbatchnet-e10–d1.0e-5demo.run

說明：-e10—

表示網(wǎng)絡每迭代10步后顯示誤差；–d1.0e-5—

表示網(wǎng)絡訓練誤差；demo.run—

求解問題的網(wǎng)絡參數(shù)文件，由batchnet調(diào)用，文件名可改，但擴展名run不能變。

18BP神經(jīng)網(wǎng)絡計算程序BATCHNET簡介BATCHNET19BP神經(jīng)網(wǎng)絡計算程序BATCHNET簡介網(wǎng)絡參數(shù)文件demo.run的格式4train.outtrain.errtrain.patweights.wtstrain.wts10010009420.150.075test.outtest.errtest.pattrain.wtstest.wts16619420.150.075train.outtrain.errtrain.pattrain.wtstrain.wts10010009420.150.075test.outtest.errtest.pattrain.wtstest.wts16619420.150.075NumfOutfErrfPatfWtsfWtsonPatsnIternInpnHidnOutetaalphaNum—運行次數(shù)，本例為4；

fOut—網(wǎng)絡計算結果輸出文件，輸出；fErr—網(wǎng)絡計算誤差文件，輸出；fPat—訓練學習樣本文件，輸入；fWts—問題的初始權值文件，輸入，由程序weights產(chǎn)生；fWtso—訓練后的權值文件，輸出；nPats—訓練樣本數(shù)，本例為100；nIter—訓練迭代次數(shù)，本例為1000；nInp—輸入層神經(jīng)元數(shù)目，本例為9；nHid—隱層神經(jīng)元數(shù)目，本例為4；nOut—輸出層神經(jīng)元數(shù)目，本例為2；eta—學習速率，本例為0.15；alpha—動量因子，本例為0.075。

表示用BP神經(jīng)網(wǎng)絡先對100對輸入輸出樣本進行學習訓練1000次，預測166個樣本一次，然后繼續(xù)學習訓練1000次后再進行一次預測。Batchnet如只計算一次，則不對連接權重進行更新。

19BP神經(jīng)網(wǎng)絡計算程序BATCHNET簡介網(wǎng)絡參數(shù)文件de20BP神經(jīng)網(wǎng)絡計算程序BATCHNET簡介程序weights的運行:weightsint_numnInpnHidnOutran_wts

說明：int_num—

任一6位整數(shù)；nInp—

輸入層神經(jīng)元數(shù)目；nHid—

隱層神經(jīng)元數(shù)目；nOut—

輸出層神經(jīng)元數(shù)目，這3個參數(shù)同run程序中的相一致；ran_wts—

初始權值取值范圍，實數(shù)1.表示取值范圍在{-1,1}之間。Weights1234569421.020BP神經(jīng)網(wǎng)絡計算程序BATCHNET簡介程序weight21BP神經(jīng)網(wǎng)絡計算程序BATCHNET簡介訓練樣本文件fPat的格式：說明：In_pat—

樣本的輸入；Out_pat—

對應的樣本輸出；Id—

對應的樣本標號；

In_patOut_patId0.3636360.1916670.70.750.6666670.5312250.08983330.05042190.6844341012345670.3272730.1875010.7333330.750.80.5310380.08194420.05042190.801057101234567

21BP神經(jīng)網(wǎng)絡計算程序BATCHNET簡介訓練樣本文件fP22STATISTICANeuralNetworks(SNN)簡介通過輸入數(shù)值變量(自變量)可以用神經(jīng)網(wǎng)絡來計算輸出變量(應變量)，輸出變量的類型可以是數(shù)值型的，也可以是非數(shù)值型的。在SNN中，求解問題可通過兩種基本方式來進行：智能問題求解器(IntelligentProblemSolver)或程序的菜單。智能問題求解器引導使用者建立求解問題的神經(jīng)網(wǎng)絡。在智能問題求解器中，有基本型和高級型兩種模式可供選擇?；拘椭?，使用者只能控制設計神經(jīng)網(wǎng)絡中的幾個關鍵點，包括問題類型(樣本相互獨立的標準型和變量預測值依賴先前值的時間序列)、輸出和輸入變量、求解器篩選優(yōu)化網(wǎng)絡的計算時間控制、在網(wǎng)絡設置中需保存的網(wǎng)絡情況以及需顯示的結果與統(tǒng)計，其余的網(wǎng)絡設計及計算由求解器自動完成?；拘凸ι窠?jīng)網(wǎng)絡計算了解不多者使用。高級型中，使用者能控制設計神經(jīng)網(wǎng)絡的各方面，包括網(wǎng)絡訓練、校驗、測試時所用數(shù)據(jù)的分割、置信度的類型選擇、選擇需產(chǎn)生網(wǎng)絡的類型及復雜程度等，供對神經(jīng)網(wǎng)絡計算較熟悉者使用。22STATISTICANeuralNetworks(23SNN中的神經(jīng)網(wǎng)絡方法多層網(wǎng)絡(MultilayerPerceptrons)；徑向基函數(shù)網(wǎng)絡(RadialBasisFunctionNetworks)；概率神經(jīng)網(wǎng)絡(ProbabilisticNeuralNetworks)；通用回歸神經(jīng)網(wǎng)絡(GeneralizedRegressionNeuralNetworks)；線性網(wǎng)絡(LinearNetworks)；Kohonen網(wǎng)絡(KohonenNetworks)；神經(jīng)網(wǎng)絡的時間序列預測(TimeSeriesPrediction)。23SNN中的神經(jīng)網(wǎng)絡方法多層網(wǎng)絡(Multilayer24SNN菜單命令匯總24SNN菜單命令匯總25SNN處理數(shù)據(jù)需要注意的兩個問題數(shù)據(jù)的前處理與后處理在處理實際問題的數(shù)據(jù)時，數(shù)據(jù)要進行勻整處理，這樣的處理包括計算前和計算后的處理。神經(jīng)網(wǎng)絡計算用的數(shù)據(jù)類型應該是數(shù)值型的，當有些問題的變量是多態(tài)的情況，如對與錯等，這些變量在用神經(jīng)網(wǎng)絡處理時，也需將其數(shù)值化。在SNN中有Pre/postprocessing，可處理這些數(shù)據(jù)的變換問題，有時還可以用Options菜單中的STATISTICATransfer，使數(shù)據(jù)直接在STATISTICA中處理。過擬合問題在用多項式擬合數(shù)據(jù)時，就會出現(xiàn)過擬合的情況。一個低階多項式可能做不到很好地擬合所有的數(shù)據(jù)點，而一個高階的則可能做到，但實際上沒有反映問題的性質(zhì)。25SNN處理數(shù)據(jù)需要注意的兩個問題數(shù)據(jù)的前處理與后處理26SNN處理過擬合的方法神經(jīng)網(wǎng)絡計算有同樣的問題，隱層神經(jīng)元數(shù)太少，不能很好地描述問題，神經(jīng)元數(shù)過多，會出現(xiàn)過擬合，因較大的神經(jīng)網(wǎng)絡總能使誤差減小。解決過擬合的辦法之一是用交替有效法(Cross-verification)。一些訓練用樣本不參加神經(jīng)網(wǎng)絡的學習訓練，而是獨立地在訓練學習過程中用來校驗。當校驗誤差出現(xiàn)同訓練學習誤差不一樣的情況，即不是隨著訓練學習的進行，訓練誤差不斷減小，反而停止下降，開始升高，表明網(wǎng)絡有過擬合數(shù)據(jù)的情況，這時應減少隱層神經(jīng)元數(shù)。在SNN中智能問題求解器具有自動選擇隱層神經(jīng)元數(shù)的功能。26SNN處理過擬合的方法神經(jīng)網(wǎng)絡計算有同樣的問題，隱層神經(jīng)27SNN的求解過程在神經(jīng)網(wǎng)絡的研究和計算中，常能見到異或問題的求解與討論。這里以異或問題的求解為例介紹SNN的求解過程，并對SNN智能問題求解器中的各項選擇作一說明。FIRSTSECONDXOR000101011110異或問題兩個輸入變量為二進制的數(shù)，其可能的取值及期望輸出如右表所示：異或問題看起來簡單，但具有復雜的特征，它不是線性可分的，即不可能有一直線使同類在線的一邊，如右圖所示：27SNN的求解過程在神經(jīng)網(wǎng)絡的研究和計算中，常能見到異或問28SNN中的智能問題求解器使用步驟Step1：建立上述的數(shù)據(jù)文件輸入變量類型（Input

orOutput）樣本分組（Training、Verification、Testing

）28SNN中的智能問題求解器使用步驟Step1：建立上述的29Step2：選擇求解問題方式問題類型（BasicorAdvanced），選擇“Advanced”。29Step2：選擇求解問題方式問題類型（Basicor30SNN中的智能問題求解器使用步驟Step3：選擇問題類型（ProblemType），選擇“Standard

”。30SNN中的智能問題求解器使用步驟Step3：選擇問題類31SNN中的智能問題求解器使用步驟Step4：選擇輸出變量（OutputVariableSelection

），選擇XOR變量作為輸出變量。31SNN中的智能問題求解器使用步驟Step4：選擇輸出變32SNN中的智能問題求解器使用步驟Step5：選擇輸入變量（InputVariableSelection

），選擇變量FIRST,SECOND作為輸入變量。并關閉選項“Searchforaneffectivesubset…

”。32SNN中的智能問題求解器使用步驟Step5：選擇輸入變33SNN中的智能問題求解器使用步驟Step6：樣本分組（Divisionofcases

）?？刂朴柧殻═raining）、檢驗（Verification）和測試（Testing）樣本的大小。采用自定義分組樣本33SNN中的智能問題求解器使用步驟Step6：樣本分組（34SNN中的智能問題求解器使用步驟Step7：選擇網(wǎng)絡類型（TypeofNetwork

）。為比較網(wǎng)絡，幾種網(wǎng)絡都選，即線性、徑向基函數(shù)(RBF)、通用回歸神經(jīng)網(wǎng)絡(GRNN)、三層和四層MLP。34SNN中的智能問題求解器使用步驟Step7：選擇網(wǎng)絡類35SNN中的智能問題求解器使用步驟Step8：控制網(wǎng)絡隱層數(shù)目（HiddenUnits

）。選擇“Determinenetworkcomplexityautomatically”自動確定網(wǎng)絡復雜性，忽略數(shù)值選定。35SNN中的智能問題求解器使用步驟Step8：控制網(wǎng)絡隱36SNN中的智能問題求解器使用步驟Step9：網(wǎng)絡設計過程（DurationofDesignProcess

）。選擇完全“Thorough”項。36SNN中的智能問題求解器使用步驟Step9：網(wǎng)絡設計過37SNN中的智能問題求解器使用步驟Step10：希望保存最佳網(wǎng)絡和在網(wǎng)絡確定過程中增加網(wǎng)絡大?。⊿avingNetworks

）。選擇

“Keepnetworks…”和“Increase…”項。37SNN中的智能問題求解器使用步驟Step10：希望保存38SNN中的智能問題求解器使用步驟Step11：結果顯示

（ResultsShown

）。選擇列表樣本結果“Datasheet…”和統(tǒng)計結果匯總“Overall…”。SNN計算完成后，給出多種結果。38SNN中的智能問題求解器使用步驟Step11：結果顯示39SNN的求解異或問題的結果DataSetEditor給出了訓練樣本。

RunDataSet是訓練結果，有目標值、計算值和誤差。RegressionStatistics是最優(yōu)網(wǎng)絡計算的統(tǒng)計結果。

NetworkSetEditor則是智能問題求解器所用的各種網(wǎng)絡的計算結果。NetworkIllustration則是最優(yōu)網(wǎng)絡的圖示。

39SNN的求解異或問題的結果DataSetEditor40SNN的求解異或問題的結果計算結果表明了多層網(wǎng)絡的隱層神經(jīng)元數(shù)為5時，計算的誤差已達10-5，可以用來描述異或問題。是否還有描述異或問題更好的網(wǎng)絡結構呢？隱層數(shù)為4的RBF網(wǎng)絡，計算異或問題的誤差達到10-15，比隱層神經(jīng)元數(shù)為5的多層網(wǎng)絡的計算誤差要小10個數(shù)量級，完全描述了異或問題。40SNN的求解異或問題的結果計算結果表明了多層網(wǎng)絡的隱層神411.4關于ANN的進一步說明選用合適的學習訓練網(wǎng)絡樣本、優(yōu)化網(wǎng)絡結構、采用適當?shù)膶W習訓練方法就能得到包含學習訓練樣本范圍的輸入與輸出關系。如果用于學習訓練的樣本不能充分反映體系的特性，用ANN也不能很好的描述與預測體系，所以有“垃圾進，垃圾出；金子進，金子出”之說。確定性模型的參數(shù)回歸與ANN之類的非確定性模型的不同特點。411.4關于ANN的進一步說明選用合適的學習訓練網(wǎng)絡樣本42確定性模型與非確定性模型的比較確定性模型的參數(shù)回歸的特點：自變量與因變量之間有明確的函數(shù)關系，具有未知數(shù)值的參數(shù)，需要通過自變量與因變量的數(shù)據(jù)組樣本來回歸估計，而且參數(shù)個數(shù)通常較少，具有明確的物理意義。ANN之類的非確定性模型的特點：無須針對問題提出明確的自變量與因變量之間的函數(shù)關系，而函數(shù)關系用含有眾多自由參數(shù)的模型回歸擬合，但自由參數(shù)無明確的物理意義。因此，確定性模型回歸的主要目標是得到模型的參數(shù)值。而非確定性模型計算的主要目標是得到輸入與輸出的關系。42確定性模型與非確定性模型的比較確定性模型的參數(shù)回歸的特點43二、模擬退火法（SimulatedAnnealing）人工神經(jīng)網(wǎng)絡方法是用某種目標函數(shù)的全局極小作為算法搜索和網(wǎng)絡所要達到的目標。在學習或運行過程中，網(wǎng)絡的誤差總是按其梯度下降的方向變化。當梯度趨于零時，網(wǎng)絡的學習或運行就停止了，所以這種算法往往會陷入局部最小而達不到全局最小。導致網(wǎng)絡陷入局部最小的主要原因是網(wǎng)絡誤差按單方向減少，沒有上升的過程。如果將誤差的減少過程由“總是按梯度下降的方向變化”改為“大部分情況下按梯度下降的方向變化”，而有時按梯度上升的方向變化，這樣就有可能跳出局部最小而達到全局最小(下圖給出了梯度下降法(a)和SA方法(b)搜索途徑)。模擬退火算法的基本思想

43二、模擬退火法（SimulatedAnnealing）44模擬退火法的起源SA算法是受金屬冷卻過程的啟發(fā)，最早由Metropolis于1953年提出來的。它具有靈活有效，能對問題進行全局優(yōu)化。金屬中原子的能量與溫度有關。原子能量高的時候，有能力擺脫其原來的能量狀態(tài)而最后達到一個更加穩(wěn)定的狀態(tài)——全局極小能量狀態(tài)。金屬固體進行退火處理時，通常先將它加熱熔化，然后逐漸降低溫度。在凝固點附近，若溫度下降的速度足夠慢，則固體物質(zhì)會形成能量最低的穩(wěn)定狀態(tài)。其中的金屬粒子都經(jīng)歷能量由高到低、暫時由低到高、最終趨向低能態(tài)的過程。在金屬的退火過程中，能量的狀態(tài)分布：P(E)∝P(E)——系統(tǒng)處于具有能量E的狀態(tài)的概率；k——Boltzmann常數(shù)；T——系統(tǒng)的絕對溫度(Kelvin)

44模擬退火法的起源SA算法是受金屬冷卻過程的啟發(fā)，最早由M45模擬退火優(yōu)化法SA算法將優(yōu)化問題與統(tǒng)計物理學中的熱平衡問題進行類比，即將統(tǒng)計物理學處理金屬固體冷卻的熱平衡方法用于優(yōu)化問題。

目標函數(shù)——能量函數(shù)優(yōu)化參數(shù)的狀態(tài)空間——物質(zhì)的微觀狀態(tài)人工溫度T——一個初值較大的控制參數(shù)依據(jù)網(wǎng)絡的能量來決定控制參數(shù)的調(diào)整量（稱為步長）。當T較大時，目標函數(shù)值由低向高變化的可能性較大；而T減小，這種可能性也隨之減小。與金屬的退火過程（Annealing）非常相似。當控制參數(shù)T下降到一定程度時，目標函數(shù)將收斂于最小值。模擬退火優(yōu)化算法的基本思想45模擬退火優(yōu)化法SA算法將優(yōu)化問題與統(tǒng)計物理學中的熱平衡問46模擬退火優(yōu)化法計算機模擬某一溫度T下物質(zhì)體系熱平衡狀態(tài)的方法：Step1：隨機選擇一個初始微觀狀態(tài)i作為當前狀態(tài)，其相應的能量為Ei。Step2：從狀態(tài)i作隨機擾動，產(chǎn)生一新的狀態(tài)j，其相應的能量為Ej，計算能量增量△E=Ei

–Ej。Step3：如果△E≤0，則接受狀態(tài)j作為當前狀態(tài)，即j→i；若△E＞0

，計算基于Boltzmann分布函數(shù)的比值：其中:Boltzmann分布函數(shù)

k為Boltzmann常數(shù)取(0,1)之間的一個隨機數(shù)p，若r＞p，則接受狀態(tài)j作為當前狀態(tài)，即j→i

；否則，保持原來的狀態(tài)i。46模擬退火優(yōu)化法計算機模擬某一溫度T下物質(zhì)體系熱平衡狀態(tài)的47模擬退火優(yōu)化法從Boltzmann分布函數(shù)的比值(即8.3.15式)可看出，溫度高時大，相應kT也較大，接受與當前狀態(tài)能差較大的新狀態(tài)的概率大；降低溫度，r較小，只能接受能差較小的新狀態(tài)。因此不斷降低溫度，體系最終能達到能量最低熱平衡狀態(tài)。

Step4：重復第二、三步，在大量的能量狀態(tài)變化后，系統(tǒng)處于能量較低的平衡態(tài)。降低溫度T再重復上述過程，體系又處在能量更低的平衡態(tài)。47模擬退火優(yōu)化法從Boltzmann分布函數(shù)的比值(即8.48SA基本算法的步驟與框圖首先進行初始化，任意給定初始態(tài)X0，取參數(shù)初值T0，計算優(yōu)化目標函數(shù)E0，然后按下進行：（1）隨機產(chǎn)生擾動態(tài)Xi，計算△E=Ei

–E0

;（2）若△E＜0

，轉到(4)。否則在(0,1)之間的一個隨機數(shù)p;（3）若exp(△E/T)＜p

，轉(5);（4）用Xi代替X0，E0

+△E代替E0；（5）以某種方式取Ti

＜T0，如Ti=αT0；（6）SA計算過程是否結束，是就停止，否則就轉到(1)。48SA基本算法的步驟與框圖首先進行初始化，任意給定初始態(tài)X49SA算法的控制SA算法能否達到目標函數(shù)的最小值，主要取決于控制參數(shù)的初值是否足夠高和其下降得是否慢，因此注意有關控制參數(shù)的選取問題。對于參數(shù)初值T0，常用的處理方法之一是在均勻地隨機抽樣X0后，取的E0方差作為T0。對于降溫策略Ti=αT0，0＜α＜1，常取α∈[0.85,0.96]。SA算法的使用可以參考教材P257（FORTRAN程序）用SA擬合丙烷－絲光沸石體系在303K時的吸附平衡數(shù)據(jù)和模型。

49SA算法的控制SA算法能否達到目標函數(shù)的最小值，主要取決50三、遺傳算法(GeneticAlgorithm)遺傳算法是一種模擬自然選擇和遺傳的隨機搜索算法。它最初由Holland在1975年提出的，研究自然系統(tǒng)的適應過程和設計具有自適應性能的軟件。遺傳算法的基本形式是用染色體來表示參數(shù)空間的編碼，用適應度函數(shù)來評價染色體群體的優(yōu)劣，通過遺傳操作產(chǎn)生新的染色體，并用概率來控制遺傳操作。遺傳算法是一種非線性方法，它具有簡潔、靈活、高效和全局優(yōu)化的特性，在過程控制、系統(tǒng)診斷、非線性擬合與優(yōu)化、人工智能等工程和研究領域都得到了廣泛的應用。50三、遺傳算法(GeneticAlgorithm)遺傳51遺傳算法基礎遺傳算法是一種迭代算法，它在每一次迭代時都擁有一組解(父代染色體群體)，這組解答最初是隨機生成的。在每次迭代時，首先保持解，然后染色體群體經(jīng)過遺傳操作(選擇、雜交、變異等)，生成新的組解(子代染色體群體)。每個解都由一個目標函數(shù)來評價，而且這一過程不斷重復，直至達到某種形式上的收斂。新的一組解不但可以有選擇地保留一些先前迭代中目標函數(shù)值高的解，而且可以包括一些經(jīng)由其它解結合而得的新的解，其子代的數(shù)值可以與其父代的情況有相當大的差別。51遺傳算法基礎遺傳算法是一種迭代算法，它在每一次迭代時都擁52符號串表示和遺傳操作的設計遺傳算法的術語借鑒于自然遺傳學,遺傳物質(zhì)的主要載體是染色體。在遺傳算法中，染色體(個體)由一串數(shù)據(jù)或數(shù)組構成，用來作為問題解的代碼。染色體由決定其特性的基因構成，而基因又可以有稱為等位基因的不同取值。目標函數(shù)稱為適應度函數(shù)，而一組染色體稱為群體。遺傳算法的一次迭代稱為一代。遺傳算法成功的關鍵在于符號串表示和遺傳操作的設計。52符號串表示和遺傳操作的設計遺傳算法的術語借鑒于自然遺傳學53染色體解空間中的每一點都對應一個用由基因表示的染色體。

例如：要確定適應度函數(shù)f(x,y)的最大值，搜尋空間變量x和y為整數(shù)，其變化范圍是0-15。這樣對應于搜尋空間任何點可由兩基因的染色體來表示：

點（2,6）用二進制數(shù)有如下的染色體：xy26→0010011053染色體解空間中的每一點都對應一個用由基因表示的染色體。54交叉在兩父代的染色體的隨機長度位置上，用交叉概率進行后部交換，產(chǎn)生兩子代，如下所示：上面的交叉操作稱為單點交叉。一般地可以進行多點交叉，如下所示：54交叉在兩父代的染色體的隨機長度位置上，用交叉概率進行后部55變異與交叉不同，變異涉及到一染色體個體的一個或多個基因位的翻轉，產(chǎn)生新的基因組合，以通過交叉來獲得子代染色體。下面的任一方法都可以用來進行變異操作：隨機選擇的基因位數(shù)值可以被隨機產(chǎn)生的數(shù)值替代，這種替代對二進制和非二進制染色體都適用；在二進制染色體中，可以對隨機選擇的基因位進行觸發(fā)，即1→0或0→1?？梢砸愿怕蔖m隨機選擇個體進行變異操作。變異操作的主要優(yōu)點是使染色體群體中出現(xiàn)各種基因，這樣遺傳算法有在參數(shù)解空間找出各種可能的解，避免解的丟失。55變異與交叉不同，變異涉及到一染色體個體的一個或多個基因位56有效性檢驗對于不同的優(yōu)化問題，有時需要增加檢驗，確保新子代的染色體表示的是參數(shù)解空間中的有效點。如考慮由四個基因組成的染色體，每個基因有三個可能的二進制值A=01，B=10，C=11。二進制染色體表示組合BACA是：1001110110011100如對最后的基因位進行變異操作，產(chǎn)生了如下所示的無效染色體，因基因值00沒有定義。同樣，交叉也可能產(chǎn)生有缺陷的染色體操作?？朔@些問題的方法是采用結構操作，交叉或變異操作針對基因，而不是針對基因位。這樣，交叉操作點總能與基因邊界相一致，變異操作對整個基因組隨機選擇新值，確保產(chǎn)生有效染色體。如此做的缺點是染色體群體的差異性會受到影響。

56有效性檢驗對于不同的優(yōu)化問題，有時需要增加檢驗，確保新子57基本的遺傳算法框圖初始染色體群體隨機產(chǎn)生；用適應度函數(shù)來評價染色體個體；根據(jù)適應度產(chǎn)生繁殖的染色體個體，適應度好的染色體個體其被選擇來繁殖的可能性大；通過染色體對的交叉和變異操作，產(chǎn)生各自的子代繁殖染色體。57基本的遺傳算法框圖初始染色體群體隨機產(chǎn)生；58基本的遺傳算法在遺傳算法中，是依據(jù)適應度來選擇個體進行繁殖的，最適合的染色體繁殖的可能性也最大。選擇不僅決定由那些個體來繁殖，而且還要確定繁殖子代的數(shù)目。因此選擇的方法對遺傳算法的有效性有著重要的作用。GA算法的使用可以參考教材P262（FORTRAN程序）GeneticAlgorithmandDirectSearchToolboxinMATLABv2006a58基本的遺傳算法在遺傳算法中，是依據(jù)適應度來選擇個體進行繁59GeneticAlgorithmToolboxinMATLABCallingtheFunctiongaattheCommandLine[xfval]=ga(@fitnessfun,nvars,options)@fitnessfunisahandletothefitnessfunction.nvarsisthenumberofindependentvariablesforthefitnessfunction.optionsisastructurecontainingoptionsforthegeneticalgorithm.Ifyoudonotpassinthisargument,gausesitsdefaultoptions.Step

x—Pointatwhichthefinalvalueisattainedfval—FinalvalueofthefitnessfunctionUsingtheGeneticAlgorithmToolgatool59GeneticAlgorithmToolboxin60GAToolGUIofMATLAB目標函數(shù)變量數(shù)約束條件圖形顯示執(zhí)行計算計算結果計算選項60GAToolGUIofMATLAB目標函數(shù)變量數(shù)約61Ex1:UnconstrainedMinimizationUsingGAFunction：Thefunctionhastwolocalminima：oneatx=0,wherethefunctionvalueis-1,theotheratx=21,wherethefunctionvalueis-1-1/e.Sincethelattervalueissmaller,theglobalminimumoccursatx=21.61Ex1:UnconstrainedMinimizat62Resultoflocalminimumfunctiony=two_min(x)ifx<=20y=-exp(-(x/20).^2);elsey=-exp(-1)+(x-20)*(x-22);end62Resultoflocalminimumfunct63

Howtoexplorepointsneartheglobalminimum

Onewaytomakethegeneticalgorithmexploreawiderrangeofpoints—thatis,toincreasethediversityofthepopulations—istoincreasetheInitialrange.63Howtoexplorepointsnear64Rangeofindividualsineachgenerationamuchwiderrangeofindividuals.Bythesecondgenerationthereareindividualsgreaterthan21,andbygeneration12,thealgorithmfindsabestindividualthatisapproximatelyequalto21.allindividualsarebetween-2and2.5.WhilethisrangeislargerthanthedefaultInitialrangeof[0;1],duetomutation,itisnotlargeenoughtoexplorepointsneartheglobalminimumatx=21.

64Rangeofindividualsineach65Ex2:ConstrainedMinimizationUsingGA

minimizeasimplefitnessfunctionoftwovariablesx1andx2minf(x)=100*(x1^2-x2)^2+(1-x1)^2;x

thefollowingtwononlinearconstraintsandboundsaresatisfiedx1*x2+x1-x2+1.5<=0,(nonlinearconstraint)10-x1*x2<=0,(nonlinearconstraint)0<=x1<=1,and(bound)0<=x2<=13(bound)65Ex2:ConstrainedMinimizatio66Defineofobjectivefunctionandconstrainsfunction[c,ceq]=simple_constraint(x)c=[1.5+x(1)*x(2)+x(1)-x(2);-x(1)*x(2)+10];ceq=[];functiony=simple_fitness(x)y=100*(x(1)^2-x(2))^2+(1-x(1))^2;0<=x1<=10<=x2<=1366Defineofobjectivefunction67ResultofEx267ResultofEx268M-fileGeneratedbyGAToolfunction[X,FVAL,REASON,OUTPUT,POPULATION,SCORES]=cm_ga%%FitnessfunctionfitnessFunction=@simple_fitness;%%NumberofVariablesnvars=2;%LinearinequalityconstraintsAineq=[];Bineq=[];%LinearequalityconstraintsAeq=[];Beq=[];%BoundsLB=[00];UB=[113];%NonlinearconstraintsnonlconFunction=@simple_constraint;%Startwithdefaultoptionsoptions=gaoptimset;%%Modifysomeparametersoptions=gaoptimset(options,'PopulationSize',100);options=gaoptimset(options,'MutationFcn',{@mutationgaussian11});options=gaoptimset(options,'Display','off');%%RunGA[X,FVAL,REASON,OUTPUT,POPULATION,SCORES]=ga(fitnessFunction,nvars,Aineq,Bineq,Aeq,Beq,LB,UB,nonlconFunction,options);68M-fileGeneratedbyGAToolfu69M-filebyuserfunction[c,ceq]=simple_constraint(x)c=[1.5+x(1)*x(2)+x(1)-x(2);-x(1)*x(2)+10];ceq=[];functiony=simple_fitness(x)y=100*(x(1)^2-x(2))^2+(1-x(1))^2;ObjectiveFunction=@simple_fitness;nvars=2;%NumberofvariablesLB=[00];%LowerboundUB=[113];%UpperboundConstraintFunction=@simple_constraint;[x,fval]=ga(ObjectiveFunction,nvars,[],[],[],[],LB,UB,...ConstraintFunction)x=0.812212.3122fval=1.3578e+00469M-filebyuserfunction[c,c70ConventionalstructureofaGAappliedtotheexperomentaldesign70Conventionalstructureofa71ApplicationofGAinCatalysisJoséM.Serra,AntonioChica,AvelinoCorma,AppliedCatalysisA:General239(2003)35–4271ApplicationofGAinCatalys72ApplicationofGAinCatalysis72ApplicationofGAinCatalys73ApplicationofGAinCatalysis73ApplicationofGAinCatalys74ApplicationofGAinCatalysis74ApplicationofGAinCatalys75序號遺傳學概念遺傳算法概念數(shù)學概念1個體要處理的基本對象、結構也就是可行解2群體個體的集合被選定的一組可行解3染色體個體的表現(xiàn)形式可行解的編碼4基因染色體中的元素編碼中的元素5基因位某一基因在染色體中的位置元素在編碼中的位置6適應值個體對于環(huán)境的適應程度，或在環(huán)境壓力下的生存能力可行解所對應的適應函數(shù)值7種群被選定的一組染色體或個體根據(jù)入選概率定出的一組可行解8選擇從群體中選擇優(yōu)勝的個體，淘汰劣質(zhì)個體的操作保留或復制適應值大的可行解，去掉小的可行解9交叉一組染色體上對應基因段的交換根據(jù)交叉原則產(chǎn)生的一組新解10交叉概率染色體對應基因段交換的概率（可能性大?。╅]區(qū)間[0,1]上的一個值，一般為0.65~0.9011變異染色體水平上基因變化編碼的某些元素被改變12變異概率染色體上基因變化的概率（可能性大?。╅_區(qū)間(0,1)內(nèi)的一個值,一般為0.001~0.0113進化、適者生存?zhèn)€體進行優(yōu)勝劣汰的進化，一代又一代地優(yōu)化目標函數(shù)取到最大值，最優(yōu)的可行解75序號遺傳學概念遺傳算法概念數(shù)學概念1個體要處理的基本對象智能算法

（IntelligentAlgorithm）智能算法

（IntelligentAlgorithm）77主要內(nèi)容人工神經(jīng)網(wǎng)絡（ArtificialNeuralNetwork，ANN）模擬退火（SimulatedAnnealing，SA）遺傳算法（GeneticAlgorithm，GA）2主要內(nèi)容人工神經(jīng)網(wǎng)絡（ArtificialNeural78人工神經(jīng)網(wǎng)絡參考文獻陳念貽，欽佩，陳瑞亮，陸文聰，模式識別方法在化學化工中的應用，科學出版社，北京，2000。從爽，面向MATLAB工具箱的神經(jīng)網(wǎng)絡理論與應用，中國科學技術出版社，合肥，1998。焦李成，神經(jīng)網(wǎng)絡計算，西安電子科技大學出版社，西安，1993。王永驥，涂健，神經(jīng)元網(wǎng)絡控制，機械工業(yè)出版社，北京，1998。Bishop,C.(1995).NeuralNetworksforPatternRecognition.Oxford:UniversityPress.Carling,A.(1992).IntroducingNeuralNetworks.Wilmslow,UK:SigmaPress.Fausett,L.(1994).FundamentalsofNeuralNetworks.NewYork:PrenticeHallHaykin,S.(1994).NeuralNetworks:AComprehensiveFoundation.NewYork:MacmillanPublishing.Patterson,D.(1996).ArtificialNeuralNetworks.Singapore:PrenticeHall.3人工神經(jīng)網(wǎng)絡參考文獻陳念貽，欽佩，陳瑞亮，陸文聰，模式識別79生物神經(jīng)元及神經(jīng)網(wǎng)絡神經(jīng)元對信息的接受和傳遞都是通過突觸來進行的。單個神經(jīng)元可以從別的細胞接受多個輸入。由于輸入分布于不同的部位，對神經(jīng)元影響的比例(權重)是不相同的。另外，各突觸輸入抵達神經(jīng)元的先后時間也不一祥。因此，一個神經(jīng)元接受的信息，在時間和空間上常呈現(xiàn)出一種復雜多變的形式，需要神經(jīng)元對它們進行積累和整合加工，從而決定其輸出的時機和強度。正是神經(jīng)元這種整合作用，才使得億萬個神經(jīng)元在神經(jīng)系統(tǒng)中有條不紊、夜以繼日地處理各種復雜的信息，執(zhí)行著生物中樞神經(jīng)系統(tǒng)的各種信息處理功能。多個神經(jīng)元以突觸聯(lián)接形成了一個神經(jīng)網(wǎng)絡。4生物神經(jīng)元及神經(jīng)網(wǎng)絡神經(jīng)元對信息的接受和傳遞都是通過突觸來80一、人工神經(jīng)網(wǎng)絡什么是人工神經(jīng)網(wǎng)絡？它就是在對大腦的生理研究的基礎上，用模擬生物神經(jīng)元的某些基本功能元件（即人工神經(jīng)元），按各種不同的聯(lián)結方式組織起來的一個網(wǎng)絡。其目的在于模擬大腦的某些機理與機制，實現(xiàn)某個方面的功能，可以用在模仿視覺、模式識別、函數(shù)逼近、模式識別、分類和數(shù)據(jù)壓縮等領域，是近年來人工智能計算的一個重要學科分支。人工神經(jīng)網(wǎng)絡有多種形式，其中反向傳播人工神經(jīng)網(wǎng)絡(Back-PropagationArtificialNetwork,簡稱BP網(wǎng)絡)是一種廣泛使用的神經(jīng)網(wǎng)絡模型，它充分體現(xiàn)了人工神經(jīng)網(wǎng)絡的特點。BP網(wǎng)絡是一種對非線性可微分函數(shù)進行權值訓練的多層網(wǎng)絡，在人工神經(jīng)網(wǎng)絡的實際應用中，80％～90％的人工神經(jīng)網(wǎng)絡模型是采用BP網(wǎng)絡或它的變化形式。5一、人工神經(jīng)網(wǎng)絡什么是人工神經(jīng)網(wǎng)絡？它就是在對大腦的生理研811.1BP神經(jīng)網(wǎng)絡神經(jīng)元的結構神經(jīng)元是人工神經(jīng)網(wǎng)絡的基本處理單元，它一般為多輸入/單輸出的非線性元件。神經(jīng)元輸出除受輸入信號的影響外，還受神經(jīng)元內(nèi)部其它因素的制約，因此在人工神經(jīng)元的建模中，常常加一額外輸入信號，稱為偏差(bais)，并取值為1。

輸入分量權值分量

神經(jīng)元的輸出偏差權值

激活函數(shù)輸入分量通過與它相乘的權值分量相連，求和后與偏差權值共同構成激活函數(shù)的輸入

。61.1BP神經(jīng)網(wǎng)絡神經(jīng)元的結構

輸入分量權值分量神經(jīng)元82偏差神經(jīng)元的輸出為：

偏差b被簡單地加在上，作為激活函數(shù)的一個輸入分量。偏差的重要作用，它使得激活函數(shù)的圖形可以左右移動，這樣可增加網(wǎng)絡解決問題的能力。

7偏差神經(jīng)元的輸出為：偏差b被簡單地加在上，作為激活函數(shù)的83激活函數(shù)激活函數(shù)具有模擬生物神經(jīng)元的非線性特性。Sigmoid函數(shù)：雙曲正切tanh函數(shù)：Sigmoid函數(shù)和雙曲正切tanh函數(shù)都是單調(diào)上升函數(shù)，其極值分別為0、1和－1、＋1，且都是可微的。8激活函數(shù)激活函數(shù)具有模擬生物神經(jīng)元的非線性特性。Sigmo84激活函數(shù)的一階導數(shù)在BP神經(jīng)網(wǎng)絡訓練算法中，要用到激活函數(shù)的一階導數(shù)。Sigmoid函數(shù)的導數(shù)：雙曲正切tanh函數(shù)的導數(shù)：由此可以看出，由于激活函數(shù)的特點，用神經(jīng)網(wǎng)絡計算時，需對輸入和輸出的值進行調(diào)整。激活函數(shù)是采用Sigmoid函數(shù)時，輸入和輸出的值應在{0,1}之間；激活函數(shù)是雙曲正切tanh函數(shù)時，輸入和輸出的值范圍則在{－1,1}之間。9激活函數(shù)的一階導數(shù)在BP神經(jīng)網(wǎng)絡訓練算法中，要用到激活函數(shù)851.2BP網(wǎng)絡的模型結構BP網(wǎng)絡是一種在輸入層和輸出層之間具有一層或多層隱層的網(wǎng)絡模型，而其典型的結構為有一隱層、包含輸入層和輸出層的三層網(wǎng)絡模型。典型BP網(wǎng)絡的結構示意圖如下：網(wǎng)絡的輸入模式向量為P，有r個輸入神經(jīng)元，對應輸入模式向量的每個元素。

隱層內(nèi)有s1個神經(jīng)元，對應隱層輸出是a1。網(wǎng)絡的輸出為a2，有s2個神經(jīng)元，而目標輸出為T。

三層BP神經(jīng)網(wǎng)絡不同層神經(jīng)元之間實現(xiàn)權重連接，而每層內(nèi)各個神經(jīng)元之間不連接。101.2BP網(wǎng)絡的模型結構BP網(wǎng)絡是一種在輸入層和輸出86BP網(wǎng)絡的四個計算過程輸入模式由輸入層經(jīng)隱含層向輸出層的“模式正向傳播”過程；（神經(jīng)元的激活值從輸入層經(jīng)隱含層向輸出層傳播，在輸出層各神經(jīng)元獲得網(wǎng)絡響應。）網(wǎng)絡實際輸出與希望輸出的誤差信號由輸出層經(jīng)隱含層向輸入層逐層修正連接權和閡值的“誤差反向傳播”過程；由“模式正向傳播”過程與“誤差反向傳播”過程的反復交替進行的網(wǎng)絡學習訓練過程；網(wǎng)絡全局誤差趨向極小的學習收斂過程。（網(wǎng)絡對輸入模式響應的正確率也不斷增加。）11BP網(wǎng)絡的四個計算過程輸入模式由輸入層經(jīng)隱含層向輸出層的87BP網(wǎng)絡的計算過程的簡單描述（1）模式正向傳播過程隱含層中第j個神經(jīng)元的輸出為：輸出層中第k個神經(jīng)元的輸出為：誤差反向傳播過程定義誤差函數(shù)為：

神經(jīng)網(wǎng)絡學習的過程就是通過調(diào)整權值，使誤差E最小，此時可利用最速下降法求權值及誤差的反向傳播。12BP網(wǎng)絡的計算過程的簡單描述（1）模式正向傳播過程隱含88BP網(wǎng)絡的計算過程的簡單描述（2）隱含層中第j個神經(jīng)元的輸出的權值變化為：對第i個輸入到隱含層中第j個神經(jīng)元輸出的權值變化為：修正后的新權重調(diào)整為：

η稱為學習系數(shù)，值在{0,1}之間。

13BP網(wǎng)絡的計算過程的簡單描述（2）隱含層中第j個神經(jīng)元的89加快BP網(wǎng)絡訓練速度的方法

BP網(wǎng)絡得到了廣泛的應用，但也存在自身的不足與限制，主要表現(xiàn)在網(wǎng)絡訓練需較長時間和網(wǎng)絡有可能達到局部最小。據(jù)此，BP網(wǎng)絡有各種改進方法，以加快訓練速度，避免陷入局部極小。主要的改進方法有：增加動量項，以平滑權的變化，一種常用形式是：α為動量因子，值在{0,1}之間，n為迭代次數(shù)。

采用二階學習算法。前面的基于函數(shù)梯度的算法屬于一階算法，缺點就是在極值點附近收斂速度慢。采用二階算法，如牛頓法、共軛梯度法等，將有較快的收斂速度。模擬退火法。14加快BP網(wǎng)絡訓練速度的方法BP網(wǎng)絡得到了廣泛的應用，但901.4BP神經(jīng)網(wǎng)絡計算（1）網(wǎng)絡的層數(shù)：在運用BP神經(jīng)網(wǎng)絡時，最多采用的是具有一層或兩層隱層的網(wǎng)絡。

具有偏差和至少一個S型隱層的網(wǎng)絡，可以近似任何函數(shù)，這已成為設計BP神經(jīng)網(wǎng)絡的原則。

網(wǎng)絡計算精度的提高，可以通過采用一個隱層，而增加隱層神經(jīng)元數(shù)的方法來獲得，這也就是通常用一隱層、包含輸入層和輸出層的三層BP網(wǎng)絡模型的原因。神經(jīng)元數(shù)：輸入和輸出的神經(jīng)元數(shù)可以根據(jù)需要求解的問題和數(shù)據(jù)所表示的方式來確定。問題確定后，輸入層與輸出層的神經(jīng)元數(shù)也就隨之定了。隱層神經(jīng)元數(shù)的選擇有較廣的范圍：當隱層神經(jīng)元數(shù)較少時，誤差下降到一定程度后會變化很小；當隱層神經(jīng)元數(shù)過多時，不僅網(wǎng)絡訓練時間長，還會出現(xiàn)過擬合問題，降低神經(jīng)網(wǎng)絡的預測功能。通常隱層神經(jīng)元數(shù)的選擇原則是：在能解決問題的前提下，再加上1到2個神經(jīng)元以加快誤差的下降速度即可。151.4BP神經(jīng)網(wǎng)絡計算（1）網(wǎng)絡的層數(shù)：91BP神經(jīng)網(wǎng)絡計算（2）初始權值的選取權重初始值的選取，對網(wǎng)絡訓練學習是否達到局部最小，是否能夠收斂以及訓練時間的長短有很大的關系。如果初始權值太大，使得加和后的值落在激活函數(shù)的飽和區(qū)，從而導致激活函數(shù)的導數(shù)非常小，在計算權值修正時，調(diào)整值接近零，網(wǎng)絡的學習訓練幾乎處在停止狀態(tài)。所以一般總是希望經(jīng)過初始權值計算后每個神經(jīng)元的輸出值都接近零，這樣可以保證每個神經(jīng)元的權值都能在激活函數(shù)變化最大之處進行調(diào)節(jié)。一般來說，初始權值取{-1,1}之間的隨機數(shù)是較好的選擇。

16BP神經(jīng)網(wǎng)絡計算（2）初始權值的選取92BP神經(jīng)網(wǎng)絡計算（3）學習速率學習速率決定每一次循環(huán)訓練中所產(chǎn)生的權值變化量。大的學習速率可能導致系統(tǒng)的不穩(wěn)定；但小的學習速率導致較長的訓練時間，可能收斂很慢，不過能保證網(wǎng)絡的誤差值不跳出誤差表面的低谷而最終趨于最小誤差值。所以在一般情況下，傾向于選取較小的學習速率以保證系統(tǒng)的穩(wěn)定性。學習速率的選取范圍在0.01~0.8之間。在一個神經(jīng)網(wǎng)絡的計算過程中，使網(wǎng)絡經(jīng)過幾個不同的學習速率的訓練，通過觀察每一次訓練后的誤差平方和的下降速率來判斷所選定的學習速率是否合適。如果誤差平方和下降很快，則說明學習速率合適若誤差平方和出現(xiàn)振蕩現(xiàn)象，則說明學習速率過大。對于每一個具體網(wǎng)絡都存在一個合適的學習速率。但對于較復雜網(wǎng)絡，在誤差曲面的不同部位可能需要不同的學習速率。為了減少尋找學習速率的訓練次數(shù)以及訓練時間，比較合適的方法是采用變化的學習速率，使網(wǎng)絡的訓練在不同的階段自動設置不同學習速率的大小。17BP神經(jīng)網(wǎng)絡計算（3）學習速率93BP神經(jīng)網(wǎng)絡計算程序BATCHNET簡介BATCHNET是一個BP神經(jīng)網(wǎng)絡計算的DOS程序，程序由batchnet.exe和weights.exe兩個可執(zhí)行文件構成。batchnet為網(wǎng)絡訓練和預測程序，激活函數(shù)為Sigmoid函數(shù)，輸入輸出樣本值范圍為{0,1}。weights程序產(chǎn)生初始權值。批處理程序demo.batbatchnet-e10–d1.0e-5demo.run

說明：-e10—

表示網(wǎng)絡每迭代10步后顯示誤差；–d1.0e-5—

表示網(wǎng)絡訓練誤差；demo.run—

求解問題的網(wǎng)絡參數(shù)文件，由batchnet調(diào)用，文件名可改，但擴展名run不能變。

18BP神經(jīng)網(wǎng)絡計算程序BATCHNET簡介BATCHNET94BP神經(jīng)網(wǎng)絡計算程序BATCHNET簡介網(wǎng)絡參數(shù)文件demo.run的格式4train.outtrain.errtrain.patweights.wtstrain.wts10010009420.150.075test.outtest.errtest.pattrain.wtstest.wts16619420.150.075train.outtrain.errtrain.pattrain.wtstrain.wts10010009420.150.075test.outtest.errtest.pattrain.wtstest.wts16619420.150.075NumfOutfErrfPatfWtsfWtsonPatsnIternInpnHidnOutetaalphaNum—運行次數(shù)，本例為4；

fOut—網(wǎng)絡計算結果輸出文件，輸出；fErr—網(wǎng)絡計算誤差文件，輸出；fPat—訓練學習樣本文件，輸入；fWts—問題的初始權值文件，輸入，由程序weights產(chǎn)生；fWtso—訓練后的權值文件，輸出；nPats—訓練樣本數(shù)，本例為100；nIter—訓練迭代次數(shù)，本例為1000；nInp—輸入層神經(jīng)元數(shù)目，本例為9；nHid—隱層神經(jīng)元數(shù)目，本例為4；nOut—輸出層神經(jīng)元數(shù)目，本例為2；eta—學習速率，本例為0.15；alpha—動量因子，本例為0.075。

表示用BP神經(jīng)網(wǎng)絡先對100對輸入輸出樣本進行學習訓練1000次，預測166個樣本一次，然后繼續(xù)學習訓練1000次后再進行一次預測。Batchnet如只計算一次，則不對連接權重進行更新。

19BP神經(jīng)網(wǎng)絡計算程序BATCHNET簡介網(wǎng)絡參數(shù)文件de95BP神經(jīng)網(wǎng)絡計算程序BATCHNET簡介程序weights的運行:weightsint_numnInpnHidnOutran_wts

說明：int_num—

任一6位整數(shù)；nInp—

輸入層神經(jīng)元數(shù)目；nHid—

隱層神經(jīng)元數(shù)目；nOut—

輸出層神經(jīng)元數(shù)目，這3個參數(shù)同run程序中的相一致；ran_wts—

初始權值取值范圍，實數(shù)1.表示取值范圍在{-1,1}之間。Weights1234569421.020BP神經(jīng)網(wǎng)絡計算程序BATCHNET簡介程序weight96BP神經(jīng)網(wǎng)絡計算程序BATCHNET簡介訓練樣本文件fPat的格式：說明：In_pat—

樣本的輸入；Out_pat—

對應的樣本輸出；Id—

對應的樣本標號；

In_patOut_patId0.3636360.1916670.70.750.6666670.5312250.08983330.05042190.6844341012345670.3272730.1875010.7333330.750.80.5310380.08194420.05042190.801057101234567

21BP神經(jīng)網(wǎng)絡計算程序BATCHNET簡介訓練樣本文件fP97STATISTICANeuralNetworks(SNN)簡介通過輸入數(shù)值變量(自變量)可以用神經(jīng)網(wǎng)絡來計算輸出變量(應變量)，輸出變量的類型可以是數(shù)值型的，也可以是非數(shù)值型的。在SNN中，求解問題可通過兩種基本方式來進行：智能問題求解器(IntelligentProblemSolver)或程序的菜單。智能問題求解器引導使用者建立求解問題的神經(jīng)網(wǎng)絡。在智能問題求解器中，有基本型和高級型兩種模式可供選擇。基本型中，使用者只能控制設計神經(jīng)網(wǎng)絡中的幾個關鍵點，包括問題類型(樣本相互獨立的標準型和變量預測值依賴先前值的時間序列)、輸出和輸入變量、求解器篩選優(yōu)化網(wǎng)絡的計算時間控制、在網(wǎng)絡設置中需保存的網(wǎng)絡情況以及需顯示的結果與統(tǒng)計，其余的網(wǎng)絡設計及計算由求解器自動完成?；拘凸ι窠?jīng)網(wǎng)絡計算了解不多者使用。高級型中，使用者能控制設計神經(jīng)網(wǎng)絡的各方面，包括網(wǎng)絡訓練、校驗、測試時所用數(shù)據(jù)的分割、置信度的類型選擇、選擇需產(chǎn)生網(wǎng)絡的類型及復雜程度等，供對神經(jīng)網(wǎng)絡計算較熟悉者使用。22STATISTICANeuralNetworks(98SNN中的神經(jīng)網(wǎng)絡