人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座

智能算法

（IntelligentAlgorithm）人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第1頁(yè)主要內(nèi)容人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork，ANN）模擬退火（SimulatedAnnealing，SA）遺傳算法（GeneticAlgorithm，GA）2人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第2頁(yè)人工神經(jīng)網(wǎng)絡(luò)參考文件陳念貽，欽佩，陳瑞亮，陸文聰，模式識(shí)別方法在化學(xué)化工中應(yīng)用，科學(xué)出版社，北京，。從爽，面向MATLAB工具箱神經(jīng)網(wǎng)絡(luò)理論與應(yīng)用，中國(guó)科學(xué)技術(shù)出版社，合肥，1998。焦李成，神經(jīng)網(wǎng)絡(luò)計(jì)算，西安電子科技大學(xué)出版社，西安，1993。王永驥，涂健，神經(jīng)元網(wǎng)絡(luò)控制，機(jī)械工業(yè)出版社，北京，1998。Bishop,C.(1995).NeuralNetworksforPatternRecognition.Oxford:UniversityPress.Carling,A.(1992).IntroducingNeuralNetworks.Wilmslow,UK:SigmaPress.Fausett,L.(1994).FundamentalsofNeuralNetworks.NewYork:PrenticeHallHaykin,S.(1994).NeuralNetworks:AComprehensiveFoundation.NewYork:MacmillanPublishing.Patterson,D.(1996).ArtificialNeuralNetworks.Singapore:PrenticeHall.3人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第3頁(yè)生物神經(jīng)元及神經(jīng)網(wǎng)絡(luò)神經(jīng)元對(duì)信息接收和傳遞都是經(jīng)過突觸來進(jìn)行。單個(gè)神經(jīng)元能夠從別細(xì)胞接收多個(gè)輸入。因?yàn)檩斎敕植加诓灰粯硬课?，?duì)神經(jīng)元影響百分比(權(quán)重)是不相同。另外，各突觸輸入抵達(dá)神經(jīng)元先后時(shí)間也不一祥。所以，一個(gè)神經(jīng)元接收信息，在時(shí)間和空間上常展現(xiàn)出一個(gè)復(fù)雜多變形式，需要神經(jīng)元對(duì)它們進(jìn)行積累和整合加工，從而決定其輸出時(shí)機(jī)和強(qiáng)度。正是神經(jīng)元這種整合作用，才使得億萬(wàn)個(gè)神經(jīng)元在神經(jīng)系統(tǒng)中有條不紊、夜以繼日地處理各種復(fù)雜信息，執(zhí)行著生物中樞神經(jīng)系統(tǒng)各種信息處理功效。多個(gè)神經(jīng)元以突觸聯(lián)接形成了一個(gè)神經(jīng)網(wǎng)絡(luò)。4人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第4頁(yè)一、人工神經(jīng)網(wǎng)絡(luò)什么是人工神經(jīng)網(wǎng)絡(luò)？它就是在對(duì)大腦生理研究基礎(chǔ)上，用模擬生物神經(jīng)元一些基本功效元件（即人工神經(jīng)元），按各種不一樣聯(lián)結(jié)方式組織起來一個(gè)網(wǎng)絡(luò)。其目標(biāo)在于模擬大腦一些機(jī)理與機(jī)制，實(shí)現(xiàn)某個(gè)方面功效，能夠用在模仿視覺、模式識(shí)別、函數(shù)迫近、模式識(shí)別、分類和數(shù)據(jù)壓縮等領(lǐng)域，是近年來人工智能計(jì)算一個(gè)主要學(xué)科分支。人工神經(jīng)網(wǎng)絡(luò)有各種形式，其中反向傳輸人工神經(jīng)網(wǎng)絡(luò)(Back-PropagationArtificialNetwork,簡(jiǎn)稱BP網(wǎng)絡(luò))是一個(gè)廣泛使用神經(jīng)網(wǎng)絡(luò)模型，它充分表達(dá)了人工神經(jīng)網(wǎng)絡(luò)特點(diǎn)。BP網(wǎng)絡(luò)是一個(gè)對(duì)非線性可微分函數(shù)進(jìn)行權(quán)值訓(xùn)練多層網(wǎng)絡(luò)，在人工神經(jīng)網(wǎng)絡(luò)實(shí)際應(yīng)用中，80％～90％人工神經(jīng)網(wǎng)絡(luò)模型是采取BP網(wǎng)絡(luò)或它改變形式。5人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第5頁(yè)1.1BP神經(jīng)網(wǎng)絡(luò)神經(jīng)元結(jié)構(gòu)神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)基本處理單元，它普通為多輸入/單輸出非線性元件。神經(jīng)元輸出除受輸入信號(hào)影響外，還受神經(jīng)元內(nèi)部其它原因制約，所以在人工神經(jīng)元建模中，經(jīng)常加一額外輸入信號(hào)，稱為偏差(bais)，并取值為1。

輸入分量權(quán)值分量

神經(jīng)元輸出偏差權(quán)值

激活函數(shù)輸入分量經(jīng)過與它相乘權(quán)值分量相連，求和后與偏差權(quán)值共同組成激活函數(shù)輸入

。6人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第6頁(yè)偏差神經(jīng)元輸出為：

偏差b被簡(jiǎn)單地加在上，作為激活函數(shù)一個(gè)輸入分量。偏差主要作用，它使得激活函數(shù)圖形能夠左右移動(dòng)，這么可增加網(wǎng)絡(luò)處理問題能力。

7人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第7頁(yè)激活函數(shù)激活函數(shù)含有模擬生物神經(jīng)元非線性特征。Sigmoid函數(shù)：雙曲正切tanh函數(shù)：Sigmoid函數(shù)和雙曲正切tanh函數(shù)都是單調(diào)上升函數(shù)，其極值分別為0、1和－1、＋1，且都是可微。8人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第8頁(yè)激活函數(shù)一階導(dǎo)數(shù)在BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法中，要用到激活函數(shù)一階導(dǎo)數(shù)。Sigmoid函數(shù)導(dǎo)數(shù)：雙曲正切tanh函數(shù)導(dǎo)數(shù)：由此能夠看出，因?yàn)榧せ詈瘮?shù)特點(diǎn)，用神經(jīng)網(wǎng)絡(luò)計(jì)算時(shí)，需對(duì)輸入和輸出值進(jìn)行調(diào)整。激活函數(shù)是采取Sigmoid函數(shù)時(shí)，輸入和輸出值應(yīng)在{0,1}之間；激活函數(shù)是雙曲正切tanh函數(shù)時(shí)，輸入和輸出值范圍則在{－1,1}之間。9人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第9頁(yè)1.2BP網(wǎng)絡(luò)模型結(jié)構(gòu)BP網(wǎng)絡(luò)是一個(gè)在輸入層和輸出層之間含有一層或多層隱層網(wǎng)絡(luò)模型，而其經(jīng)典結(jié)構(gòu)為有一隱層、包含輸入層和輸出層三層網(wǎng)絡(luò)模型。經(jīng)典BP網(wǎng)絡(luò)結(jié)構(gòu)示意圖以下：網(wǎng)絡(luò)輸入模式向量為P，有r個(gè)輸入神經(jīng)元，對(duì)應(yīng)輸入模式向量每個(gè)元素。

隱層內(nèi)有s1個(gè)神經(jīng)元，對(duì)應(yīng)隱層輸出是a1。網(wǎng)絡(luò)輸出為a2，有s2個(gè)神經(jīng)元，而目標(biāo)輸出為T。

三層BP神經(jīng)網(wǎng)絡(luò)不一樣層神經(jīng)元之間實(shí)現(xiàn)權(quán)重連接，而每層內(nèi)各個(gè)神經(jīng)元之間不連接。10人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第10頁(yè)BP網(wǎng)絡(luò)四個(gè)計(jì)算過程輸入模式由輸入層經(jīng)隱含層向輸出層“模式正向傳輸”過程；（神經(jīng)元激活值從輸入層經(jīng)隱含層向輸出層傳輸，在輸出層各神經(jīng)元取得網(wǎng)絡(luò)響應(yīng)。）網(wǎng)絡(luò)實(shí)際輸出與希望輸出誤差信號(hào)由輸出層經(jīng)隱含層向輸入層逐層修正連接權(quán)和閡值“誤差反向傳輸”過程；由“模式正向傳輸”過程與“誤差反向傳輸”過程重復(fù)交替進(jìn)行網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練過程；網(wǎng)絡(luò)全局誤差趨向極小學(xué)習(xí)收斂過程。（網(wǎng)絡(luò)對(duì)輸入模式響應(yīng)正確率也不停增加。）11人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第11頁(yè)BP網(wǎng)絡(luò)計(jì)算過程簡(jiǎn)單描述（1）模式正向傳輸過程隱含層中第j個(gè)神經(jīng)元輸出為：輸出層中第k個(gè)神經(jīng)元輸出為：誤差反向傳輸過程定義誤差函數(shù)為：

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程就是經(jīng)過調(diào)整權(quán)值，使誤差E最小，此時(shí)可利用最速下降法求權(quán)值及誤差反向傳輸。12人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第12頁(yè)BP網(wǎng)絡(luò)計(jì)算過程簡(jiǎn)單描述（2）隱含層中第j個(gè)神經(jīng)元輸出權(quán)值改變?yōu)椋簩?duì)第i個(gè)輸入到隱含層中第j個(gè)神經(jīng)元輸出權(quán)值改變?yōu)椋盒拚笮聶?quán)重調(diào)整為：

η稱為學(xué)習(xí)系數(shù)，值在{0,1}之間。

13人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第13頁(yè)加緊BP網(wǎng)絡(luò)訓(xùn)練速度方法BP網(wǎng)絡(luò)得到了廣泛應(yīng)用，但也存在本身不足與限制，主要表現(xiàn)在網(wǎng)絡(luò)訓(xùn)練需較長(zhǎng)時(shí)間和網(wǎng)絡(luò)有可能到達(dá)局部最小。據(jù)此，BP網(wǎng)絡(luò)有各種改進(jìn)方法，以加緊訓(xùn)練速度，防止陷入局部極小。主要改進(jìn)方法有：增加動(dòng)量項(xiàng)，以平滑權(quán)改變，一個(gè)慣用形式是：α為動(dòng)量因子，值在{0,1}之間，n為迭代次數(shù)。

采取二階學(xué)習(xí)算法。前面基于函數(shù)梯度算法屬于一階算法，缺點(diǎn)就是在極值點(diǎn)附近收斂速度慢。采取二階算法，如牛頓法、共軛梯度法等，將有較快收斂速度。模擬退火法。14人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第14頁(yè)1.4BP神經(jīng)網(wǎng)絡(luò)計(jì)算（1）網(wǎng)絡(luò)層數(shù)：在利用BP神經(jīng)網(wǎng)絡(luò)時(shí)，最多采取是含有一層或兩層隱層網(wǎng)絡(luò)。

含有偏差和最少一個(gè)S型隱層網(wǎng)絡(luò)，能夠近似任何函數(shù)，這已成為設(shè)計(jì)BP神經(jīng)網(wǎng)絡(luò)標(biāo)準(zhǔn)。

網(wǎng)絡(luò)計(jì)算精度提升，能夠經(jīng)過采取一個(gè)隱層，而增加隱層神經(jīng)元數(shù)方法來取得，這也就是通慣用一隱層、包含輸入層和輸出層三層BP網(wǎng)絡(luò)模型原因。神經(jīng)元數(shù)：輸入和輸出神經(jīng)元數(shù)能夠依據(jù)需要求解問題和數(shù)據(jù)所表示方式來確定。問題確定后，輸入層與輸出層神經(jīng)元數(shù)也就隨之定了。隱層神經(jīng)元數(shù)選擇有較廣范圍：當(dāng)隱層神經(jīng)元數(shù)較少時(shí)，誤差下降到一定程度后會(huì)改變很??；當(dāng)隱層神經(jīng)元數(shù)過多時(shí)，不但網(wǎng)絡(luò)訓(xùn)練時(shí)間長(zhǎng)，還會(huì)出現(xiàn)過擬合問題，降低神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)功效。通常隱層神經(jīng)元數(shù)選擇標(biāo)準(zhǔn)是：在能處理問題前提下，再加上1到2個(gè)神經(jīng)元以加緊誤差下降速度即可。15人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第15頁(yè)BP神經(jīng)網(wǎng)絡(luò)計(jì)算（2）初始權(quán)值選取權(quán)重初始值選取，對(duì)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)是否到達(dá)局部最小，是否能夠收斂以及訓(xùn)練時(shí)間長(zhǎng)短有很大關(guān)系。假如初始權(quán)值太大，使得加和后值落在激活函數(shù)飽和區(qū)，從而造成激活函數(shù)導(dǎo)數(shù)非常小，在計(jì)算權(quán)值修正時(shí)，調(diào)整值靠近零，網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練幾乎處于停頓狀態(tài)。所以普通總是希望經(jīng)過初始權(quán)值計(jì)算后每個(gè)神經(jīng)元輸出值都靠近零，這么能夠確保每個(gè)神經(jīng)元權(quán)值都能在激活函數(shù)改變最大之處進(jìn)行調(diào)整。普通來說，初始權(quán)值取{-1,1}之間隨機(jī)數(shù)是很好選擇。

16人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第16頁(yè)BP神經(jīng)網(wǎng)絡(luò)計(jì)算（3）學(xué)習(xí)速率學(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生權(quán)值改變量。大學(xué)習(xí)速率可能造成系統(tǒng)不穩(wěn)定；但小學(xué)習(xí)速率造成較長(zhǎng)訓(xùn)練時(shí)間，可能收斂很慢，不過能確保網(wǎng)絡(luò)誤差值不跳出誤差表面低谷而最終趨于最小誤差值。所以在普通情況下，傾向于選取較小學(xué)習(xí)速率以確保系統(tǒng)穩(wěn)定性。學(xué)習(xí)速率選取范圍在0.01~0.8之間。在一個(gè)神經(jīng)網(wǎng)絡(luò)計(jì)算過程中，使網(wǎng)絡(luò)經(jīng)過幾個(gè)不一樣學(xué)習(xí)速率訓(xùn)練，經(jīng)過觀察每一次訓(xùn)練后誤差平方和下降速率來判斷所選定學(xué)習(xí)速率是否適當(dāng)。假如誤差平方和下降很快，則說明學(xué)習(xí)速率適當(dāng)若誤差平方和出現(xiàn)振蕩現(xiàn)象，則說明學(xué)習(xí)速率過大。對(duì)于每一個(gè)詳細(xì)網(wǎng)絡(luò)都存在一個(gè)適當(dāng)學(xué)習(xí)速率。但對(duì)于較復(fù)雜網(wǎng)絡(luò)，在誤差曲面不一樣部位可能需要不一樣學(xué)習(xí)速率。為了降低尋找學(xué)習(xí)速率訓(xùn)練次數(shù)以及訓(xùn)練時(shí)間，比較適當(dāng)方法是采取改變學(xué)習(xí)速率，使網(wǎng)絡(luò)訓(xùn)練在不一樣階段自動(dòng)設(shè)置不一樣學(xué)習(xí)速率大小。17人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第17頁(yè)BP神經(jīng)網(wǎng)絡(luò)計(jì)算程序BATCHNET介紹BATCHNET是一個(gè)BP神經(jīng)網(wǎng)絡(luò)計(jì)算DOS程序，程序由batchnet.exe和weights.exe兩個(gè)可執(zhí)行文件組成。batchnet為網(wǎng)絡(luò)訓(xùn)練和預(yù)測(cè)程序，激活函數(shù)為Sigmoid函數(shù)，輸入輸出樣本值范圍為{0,1}。weights程序產(chǎn)生初始權(quán)值。批處理程序demo.batbatchnet-e10–d1.0e-5demo.run

說明：-e10—表示網(wǎng)絡(luò)每迭代10步后顯示誤差；–d1.0e-5—表示網(wǎng)絡(luò)訓(xùn)練誤差；demo.run—求解問題網(wǎng)絡(luò)參數(shù)文件，由batchnet調(diào)用，文件名可改，但擴(kuò)展名run不能變。

18人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第18頁(yè)BP神經(jīng)網(wǎng)絡(luò)計(jì)算程序BATCHNET介紹網(wǎng)絡(luò)參數(shù)文件demo.run格式4train.outtrain.errtrain.patweights.wtstrain.wts10010009420.150.075test.outtest.errtest.pattrain.wtstest.wts16619420.150.075train.outtrain.errtrain.pattrain.wtstrain.wts10010009420.150.075test.outtest.errtest.pattrain.wtstest.wts16619420.150.075NumfOutfErrfPatfWtsfWtsonPatsnIternInpnHidnOutetaalphaNum—運(yùn)行次數(shù)，本例為4；

fOut—網(wǎng)絡(luò)計(jì)算結(jié)果輸出文件，輸出；fErr—網(wǎng)絡(luò)計(jì)算誤差文件，輸出；fPat—訓(xùn)練學(xué)習(xí)樣本文件，輸入；fWts—問題初始權(quán)值文件，輸入，由程序weights產(chǎn)生；fWtso—訓(xùn)練后權(quán)值文件，輸出；nPats—訓(xùn)練樣本數(shù)，本例為100；nIter—訓(xùn)練迭代次數(shù)，本例為1000；nInp—輸入層神經(jīng)元數(shù)目，本例為9；nHid—隱層神經(jīng)元數(shù)目，本例為4；nOut—輸出層神經(jīng)元數(shù)目，本例為2；eta—學(xué)習(xí)速率，本例為0.15；alpha—?jiǎng)恿恳蜃?，本例?.075。

表示用BP神經(jīng)網(wǎng)絡(luò)先對(duì)100對(duì)輸入輸出樣本進(jìn)行學(xué)習(xí)訓(xùn)練1000次，預(yù)測(cè)166個(gè)樣本一次，然后繼續(xù)學(xué)習(xí)訓(xùn)練1000次后再進(jìn)行一次預(yù)測(cè)。Batchnet如只計(jì)算一次，則不對(duì)連接權(quán)重進(jìn)行更新。

19人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第19頁(yè)BP神經(jīng)網(wǎng)絡(luò)計(jì)算程序BATCHNET介紹程序weights運(yùn)行:weightsint_numnInpnHidnOutran_wts

說明：int_num—任一6位整數(shù)；nInp—輸入層神經(jīng)元數(shù)目；nHid—隱層神經(jīng)元數(shù)目；nOut—輸出層神經(jīng)元數(shù)目，這3個(gè)參數(shù)同run程序中相一致；ran_wts—初始權(quán)值取值范圍，實(shí)數(shù)1.表示取值范圍在{-1,1}之間。Weights1234569421.020人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第20頁(yè)BP神經(jīng)網(wǎng)絡(luò)計(jì)算程序BATCHNET介紹訓(xùn)練樣本文件fPat格式：說明：In_pat—樣本輸入；Out_pat—對(duì)應(yīng)樣本輸出；Id—對(duì)應(yīng)樣本標(biāo)號(hào)；

In_patOut_patId0.3636360.1916670.70.750.6666670.5312250.08983330.05042190.6844341012345670.3272730.1875010.7333330.750.80.5310380.08194420.05042190.801057101234567

21人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第21頁(yè)STATISTICANeuralNetworks(SNN)介紹經(jīng)過輸入數(shù)值變量(自變量)能夠用神經(jīng)網(wǎng)絡(luò)來計(jì)算輸出變量(應(yīng)變量)，輸出變量類型能夠是數(shù)值型，也能夠是非數(shù)值型。在SNN中，求解問題可經(jīng)過兩種基本方式來進(jìn)行：智能問題求解器(IntelligentProblemSolver)或程序菜單。智能問題求解器引導(dǎo)使用者建立求解問題神經(jīng)網(wǎng)絡(luò)。在智能問題求解器中，有基本型和高級(jí)型兩種模式可供選擇。基本型中，使用者只能控制設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)中幾個(gè)關(guān)鍵點(diǎn)，包含問題類型(樣本相互獨(dú)立標(biāo)準(zhǔn)型和變量預(yù)測(cè)值依賴先前值時(shí)間序列)、輸出和輸入變量、求解器篩選優(yōu)化網(wǎng)絡(luò)計(jì)算時(shí)間控制、在網(wǎng)絡(luò)設(shè)置中需保留網(wǎng)絡(luò)情況以及需顯示結(jié)果與統(tǒng)計(jì)，其余網(wǎng)絡(luò)設(shè)計(jì)及計(jì)算由求解器自動(dòng)完成。基本型供對(duì)神經(jīng)網(wǎng)絡(luò)計(jì)算了解不多者使用。高級(jí)型中，使用者能控制設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)各方面，包含網(wǎng)絡(luò)訓(xùn)練、校驗(yàn)、測(cè)試時(shí)所用數(shù)據(jù)分割、置信度類型選擇、選擇需產(chǎn)生網(wǎng)絡(luò)類型及復(fù)雜程度等，供對(duì)神經(jīng)網(wǎng)絡(luò)計(jì)算較熟悉者使用。22人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第22頁(yè)SNN中神經(jīng)網(wǎng)絡(luò)方法多層網(wǎng)絡(luò)(MultilayerPerceptrons)；徑向基函數(shù)網(wǎng)絡(luò)(RadialBasisFunctionNetworks)；概率神經(jīng)網(wǎng)絡(luò)(ProbabilisticNeuralNetworks)；通用回歸神經(jīng)網(wǎng)絡(luò)(GeneralizedRegressionNeuralNetworks)；線性網(wǎng)絡(luò)(LinearNetworks)；Kohonen網(wǎng)絡(luò)(KohonenNetworks)；神經(jīng)網(wǎng)絡(luò)時(shí)間序列預(yù)測(cè)(TimeSeriesPrediction)。23人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第23頁(yè)SNN菜單命令匯總24人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第24頁(yè)SNN處理數(shù)據(jù)需要注意兩個(gè)問題數(shù)據(jù)前處理與后處理在處理實(shí)際問題數(shù)據(jù)時(shí)，數(shù)據(jù)要進(jìn)行勻整處理，這么處理包含計(jì)算前和計(jì)算后處理。神經(jīng)網(wǎng)絡(luò)計(jì)算用數(shù)據(jù)類型應(yīng)該是數(shù)值型，當(dāng)有些問題變量是多態(tài)情況，如對(duì)與錯(cuò)等，這些變量在用神經(jīng)網(wǎng)絡(luò)處理時(shí)，也需將其數(shù)值化。在SNN中有Pre/postprocessing，可處理這些數(shù)據(jù)變換問題，有時(shí)還能夠用Options菜單中STATISTICATransfer，使數(shù)據(jù)直接在STATISTICA中處理。過擬合問題在用多項(xiàng)式擬合數(shù)據(jù)時(shí)，就會(huì)出現(xiàn)過擬合情況。一個(gè)低階多項(xiàng)式可能做不到很好地?cái)M合全部數(shù)據(jù)點(diǎn)，而一個(gè)高階則可能做到，但實(shí)際上沒有反應(yīng)問題性質(zhì)。25人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第25頁(yè)SNN處理過擬合方法神經(jīng)網(wǎng)絡(luò)計(jì)算有一樣問題，隱層神經(jīng)元數(shù)太少，不能很好地描述問題，神經(jīng)元數(shù)過多，會(huì)出現(xiàn)過擬合，因較大神經(jīng)網(wǎng)絡(luò)總能使誤差減小。處理過擬合方法之一是用交替有效法(Cross-verification)。一些訓(xùn)練用樣本不參加神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練，而是獨(dú)立地在訓(xùn)練學(xué)習(xí)過程中用來校驗(yàn)。當(dāng)校驗(yàn)誤差出現(xiàn)同訓(xùn)練學(xué)習(xí)誤差不一樣情況，即不是伴隨訓(xùn)練學(xué)習(xí)進(jìn)行，訓(xùn)練誤差不停減小，反而停頓下降，開始升高，表明網(wǎng)絡(luò)有過擬合數(shù)據(jù)情況，這時(shí)應(yīng)降低隱層神經(jīng)元數(shù)。在SNN中智能問題求解器含有自動(dòng)選擇隱層神經(jīng)元數(shù)功效。26人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第26頁(yè)SNN求解過程在神經(jīng)網(wǎng)絡(luò)研究和計(jì)算中，常能見到異或問題求解與討論。這里以異或問題求解為例介紹SNN求解過程，并對(duì)SNN智能問題求解器中各項(xiàng)選擇作一說明。FIRSTSECONDXOR000101011110異或問題兩個(gè)輸入變量為二進(jìn)制數(shù)，其可能取值及期望輸出如右表所表示：異或問題看起來簡(jiǎn)單，但含有復(fù)雜特征，它不是線性可分，即不可能有一直線使同類在線一邊，如右圖所表示：27人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第27頁(yè)SNN中智能問題求解器使用步驟Step1：建立上述數(shù)據(jù)文件輸入變量類型（Input

orOutput）樣本分組（Training、Verification、Testing

）28人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第28頁(yè)Step2：選擇求解問題方式問題類型（BasicorAdvanced），選擇“Advanced”。29人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第29頁(yè)SNN中智能問題求解器使用步驟Step3：選擇問題類型（ProblemType），選擇“Standard

”。30人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第30頁(yè)SNN中智能問題求解器使用步驟Step4：選擇輸出變量（OutputVariableSelection

），選擇XOR變量作為輸出變量。31人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第31頁(yè)SNN中智能問題求解器使用步驟Step5：選擇輸入變量（InputVariableSelection

），選擇變量FIRST,SECOND作為輸入變量。并關(guān)閉選項(xiàng)“Searchforaneffectivesubset…

”。32人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第32頁(yè)SNN中智能問題求解器使用步驟Step6：樣本分組（Divisionofcases

）?？刂朴?xùn)練（Training）、檢驗(yàn)（Verification）和測(cè)試（Testing）樣本大小。采取自定義分組樣本33人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第33頁(yè)SNN中智能問題求解器使用步驟Step7：選擇網(wǎng)絡(luò)類型（TypeofNetwork

）。為比較網(wǎng)絡(luò)，幾個(gè)網(wǎng)絡(luò)都選，即線性、徑向基函數(shù)(RBF)、通用回歸神經(jīng)網(wǎng)絡(luò)(GRNN)、三層和四層MLP。34人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第34頁(yè)SNN中智能問題求解器使用步驟Step8：控制網(wǎng)絡(luò)隱層數(shù)目（HiddenUnits

）。選擇“Determinenetworkcomplexityautomatically”自動(dòng)確定網(wǎng)絡(luò)復(fù)雜性，忽略數(shù)值選定。35人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第35頁(yè)SNN中智能問題求解器使用步驟Step9：網(wǎng)絡(luò)設(shè)計(jì)過程（DurationofDesignProcess

）。選擇完全“Thorough”項(xiàng)。36人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第36頁(yè)SNN中智能問題求解器使用步驟Step10：希望保留最正確網(wǎng)絡(luò)和在網(wǎng)絡(luò)確定過程中增加網(wǎng)絡(luò)大?。⊿avingNetworks

）。選擇

“Keepnetworks…”和“Increase…”項(xiàng)。37人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第37頁(yè)SNN中智能問題求解器使用步驟Step11：結(jié)果顯示

（ResultsShown

）。選擇列表樣本結(jié)果“Datasheet…”和統(tǒng)計(jì)結(jié)果匯總“Overall…”。SNN計(jì)算完成后，給出各種結(jié)果。38人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第38頁(yè)SNN求解異或問題結(jié)果DataSetEditor給出了訓(xùn)練樣本。

RunDataSet是訓(xùn)練結(jié)果，有目標(biāo)值、計(jì)算值和誤差。RegressionStatistics是最優(yōu)網(wǎng)絡(luò)計(jì)算統(tǒng)計(jì)結(jié)果。

NetworkSetEditor則是智能問題求解器所用各種網(wǎng)絡(luò)計(jì)算結(jié)果。NetworkIllustration則是最優(yōu)網(wǎng)絡(luò)圖示。

39人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第39頁(yè)SNN求解異或問題結(jié)果計(jì)算結(jié)果表明了多層網(wǎng)絡(luò)隱層神經(jīng)元數(shù)為5時(shí)，計(jì)算誤差已達(dá)10-5，能夠用來描述異或問題。是否還有描述異或問題更加好網(wǎng)絡(luò)結(jié)構(gòu)呢？隱層數(shù)為4RBF網(wǎng)絡(luò)，計(jì)算異或問題誤差到達(dá)10-15，比隱層神經(jīng)元數(shù)為5多層網(wǎng)絡(luò)計(jì)算誤差要小10個(gè)數(shù)量級(jí)，完全描述了異或問題。40人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第40頁(yè)1.4關(guān)于ANN深入說明選取適當(dāng)學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò)樣本、優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)、采取適當(dāng)學(xué)習(xí)訓(xùn)練方法就能得到包含學(xué)習(xí)訓(xùn)練樣本范圍輸入與輸出關(guān)系。假如用于學(xué)習(xí)訓(xùn)練樣本不能充分反應(yīng)體系特征，用ANN也不能很好描述與預(yù)測(cè)體系，所以有“垃圾進(jìn)，垃圾出；金子進(jìn)，金子出”之說。確定性模型參數(shù)回歸與ANN之類非確定性模型不一樣特點(diǎn)。41人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第41頁(yè)確定性模型與非確定性模型比較確定性模型參數(shù)回歸特點(diǎn)：自變量與因變量之間有明確函數(shù)關(guān)系，含有未知數(shù)值參數(shù)，需要經(jīng)過自變量與因變量數(shù)據(jù)組樣本往返歸預(yù)計(jì)，而且參數(shù)個(gè)數(shù)通常較少，含有明確物理意義。ANN之類非確定性模型特點(diǎn)：無(wú)須針對(duì)問題提出明確自變量與因變量之間函數(shù)關(guān)系，而函數(shù)關(guān)系用含有眾多自由參數(shù)模型回歸擬合，但自由參數(shù)無(wú)明確物理意義。所以，確定性模型回歸主要目標(biāo)是得到模型參數(shù)值。而非確定性模型計(jì)算主要目標(biāo)是得到輸入與輸出關(guān)系。42人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第42頁(yè)二、模擬退火法（SimulatedAnnealing）人工神經(jīng)網(wǎng)絡(luò)方法是用某種目標(biāo)函數(shù)全局極小作為算法搜索和網(wǎng)絡(luò)所要到達(dá)目標(biāo)。在學(xué)習(xí)或運(yùn)行過程中，網(wǎng)絡(luò)誤差總是按其梯度下降方向改變。當(dāng)梯度趨于零時(shí)，網(wǎng)絡(luò)學(xué)習(xí)或運(yùn)行就停頓了，所以這種算法往往會(huì)陷入局部最小而達(dá)不到全局最小。造成網(wǎng)絡(luò)陷入局部最小主要原因是網(wǎng)絡(luò)誤差按單方向降低，沒有上升過程。假如將誤差降低過程由“總是按梯度下降方向改變”改為“大部分情況下按梯度下降方向改變”，而有時(shí)按梯度上升方向改變，這么就有可能跳出局部最小而到達(dá)全局最小(下列圖給出了梯度下降法(a)和SA方法(b)搜索路徑)。模擬退火算法基本思想

43人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第43頁(yè)模擬退火法起源SA算法是受金屬冷卻過程啟發(fā)，最早由Metropolis于1953年提出來。它含有靈活有效，能對(duì)問題進(jìn)行全局優(yōu)化。金屬中原子能量與溫度相關(guān)。原子能量高時(shí)候，有能力擺脫其原來能量狀態(tài)而最終到達(dá)一個(gè)愈加穩(wěn)定狀態(tài)——全局極小能量狀態(tài)。金屬固體進(jìn)行退火處理時(shí)，通常先將它加熱熔化，然后逐步降低溫度。在凝固點(diǎn)附近，若溫度下降速度足夠慢，則固體物質(zhì)會(huì)形成能量最低穩(wěn)定狀態(tài)。其中金屬粒子都經(jīng)歷能量由高到低、暫時(shí)由低到高、最終趨向低能態(tài)過程。在金屬退火過程中，能量狀態(tài)分布：P(E)∝P(E)——系統(tǒng)處于含有能量E狀態(tài)概率；k——Boltzmann常數(shù)；T——系統(tǒng)絕對(duì)溫度(Kelvin)

44人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第44頁(yè)模擬退火優(yōu)化法SA算法將優(yōu)化問題與統(tǒng)計(jì)物理學(xué)中熱平衡問題進(jìn)行類比，即將統(tǒng)計(jì)物理學(xué)處理金屬固體冷卻熱平衡方法用于優(yōu)化問題。

目標(biāo)函數(shù)——能量函數(shù)優(yōu)化參數(shù)狀態(tài)空間——物質(zhì)微觀狀態(tài)人工溫度T——一個(gè)初值較大控制參數(shù)依據(jù)網(wǎng)絡(luò)能量來決定控制參數(shù)調(diào)整量（稱為步長(zhǎng)）。當(dāng)T較大時(shí)，目標(biāo)函數(shù)值由低向高改變可能性較大；而T減小，這種可能性也隨之減小。與金屬退火過程（Annealing）非常相同。當(dāng)控制參數(shù)T下降到一定程度時(shí)，目標(biāo)函數(shù)將收斂于最小值。模擬退火優(yōu)化算法基本思想45人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第45頁(yè)模擬退火優(yōu)化法計(jì)算機(jī)模擬某一溫度T下物質(zhì)體系熱平衡狀態(tài)方法：Step1：隨機(jī)選擇一個(gè)初始微觀狀態(tài)i作為當(dāng)前狀態(tài)，其對(duì)應(yīng)能量為Ei。Step2：從狀態(tài)i作隨機(jī)擾動(dòng)，產(chǎn)生一新狀態(tài)j，其對(duì)應(yīng)能量為Ej，計(jì)算能量增量△E=Ei

–Ej。Step3：假如△E≤0，則接收狀態(tài)j作為當(dāng)前狀態(tài)，即j→i；若△E＞0

，計(jì)算基于Boltzmann分布函數(shù)比值：其中:Boltzmann分布函數(shù)

k為Boltzmann常數(shù)取(0,1)之間一個(gè)隨機(jī)數(shù)p，若r＞p，則接收狀態(tài)j作為當(dāng)前狀態(tài)，即j→i

；不然，保持原來狀態(tài)i。46人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第46頁(yè)模擬退火優(yōu)化法從Boltzmann分布函數(shù)比值(即8.3.15式)可看出，溫度高時(shí)大，對(duì)應(yīng)kT也較大，接收與當(dāng)前狀態(tài)能差較大新狀態(tài)概率大；降低溫度，r較小，只能接收能差較小新狀態(tài)。所以不停降低溫度，體系最終能到達(dá)能量最低熱平衡狀態(tài)。

Step4：重復(fù)第二、三步，在大量能量狀態(tài)改變后，系統(tǒng)處于能量較低平衡態(tài)。降低溫度T再重復(fù)上述過程，體系又處于能量更低平衡態(tài)。47人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第47頁(yè)SA基本算法步驟與框圖首先進(jìn)行初始化，任意給定初始態(tài)X0，取參數(shù)初值T0，計(jì)算優(yōu)化目標(biāo)函數(shù)E0，然后按下進(jìn)行：（1）隨機(jī)產(chǎn)生擾動(dòng)態(tài)Xi，計(jì)算△E=Ei

–E0

;（2）若△E＜0

，轉(zhuǎn)到(4)。不然在(0,1)之間一個(gè)隨機(jī)數(shù)p;（3）若exp(△E/T)＜p

，轉(zhuǎn)(5);（4）用Xi代替X0，E0

+△E代替E0；（5）以某種方式取Ti

＜T0，如Ti=αT0；（6）SA計(jì)算過程是否結(jié)束，是就停頓，不然就轉(zhuǎn)到(1)。48人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第48頁(yè)SA算法控制SA算法能否到達(dá)目標(biāo)函數(shù)最小值，主要取決于控制參數(shù)初值是否足夠高和其下降得是否慢，所以注意相關(guān)控制參數(shù)選取問題。對(duì)于參數(shù)初值T0，慣用處理方法之一是在均勻地隨機(jī)抽樣X0后，取E0方差作為T0。對(duì)于降溫策略Ti=αT0，0＜α＜1，常取α∈[0.85,0.96]。SA算法使用能夠參考教材P257（FORTRAN程序）用SA擬合丙烷－絲光沸石體系在303K時(shí)吸附平衡數(shù)據(jù)和模型。

49人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第49頁(yè)三、遺傳算法(GeneticAlgorithm)遺傳算法是一個(gè)模擬自然選擇和遺傳隨機(jī)搜索算法。它最初由Holland在1975年提出，研究自然系統(tǒng)適應(yīng)過程和設(shè)計(jì)含有自適應(yīng)性能軟件。遺傳算法基本形式是用染色體來表示參數(shù)空間編碼，用適應(yīng)度函數(shù)來評(píng)價(jià)染色體群體優(yōu)劣，經(jīng)過遺傳操作產(chǎn)生新染色體，并用概率來控制遺傳操作。遺傳算法是一個(gè)非線性方法，它含有簡(jiǎn)練、靈活、高效和全局優(yōu)化特征，在過程控制、系統(tǒng)診療、非線性擬合與優(yōu)化、人工智能等工程和研究領(lǐng)域都得到了廣泛應(yīng)用。50人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第50頁(yè)遺傳算法基礎(chǔ)遺傳算法是一個(gè)迭代算法，它在每一次迭代時(shí)都擁有一組解(父代染色體群體)，這組解答最初是隨機(jī)生成。在每次迭代時(shí)，首先保持解，然后染色體群體經(jīng)過遺傳操作(選擇、雜交、變異等)，生成新組解(子代染色體群體)。每個(gè)解都由一個(gè)目標(biāo)函數(shù)來評(píng)價(jià)，而且這一過程不停重復(fù)，直至到達(dá)某種形式上收斂。新一組解不但能夠有選擇地保留一些先前迭代中目標(biāo)函數(shù)值高解，而且能夠包含一些經(jīng)由其它解結(jié)合而得新解，其子代數(shù)值能夠與其父代情況有相當(dāng)大差異。51人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第51頁(yè)符號(hào)串表示和遺傳操作設(shè)計(jì)遺傳算法術(shù)語(yǔ)借鑒于自然遺傳學(xué),遺傳物質(zhì)主要載體是染色體。在遺傳算法中，染色體(個(gè)體)由一串?dāng)?shù)據(jù)或數(shù)組組成，用來作為問題解代碼。染色體由決定其特征基因組成，而基因又能夠有稱為等位基因不一樣取值。目標(biāo)函數(shù)稱為適應(yīng)度函數(shù)，而一組染色體稱為群體。遺傳算法一次迭代稱為一代。遺傳算法成功關(guān)鍵在于符號(hào)串表示和遺傳操作設(shè)計(jì)。52人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第52頁(yè)染色體解空間中每一點(diǎn)都對(duì)應(yīng)一個(gè)用由基因表示染色體。

比如：要確定適應(yīng)度函數(shù)f(x,y)最大值，搜尋空間變量x和y為整數(shù)，其改變范圍是0-15。這么對(duì)應(yīng)于搜尋空間任何點(diǎn)可由兩基因染色體來表示：

點(diǎn)（2,6）用二進(jìn)制數(shù)有以下染色體：xy26→0010011053人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第53頁(yè)交叉在兩父代染色體隨機(jī)長(zhǎng)度位置上，用交叉概率進(jìn)行后部交換，產(chǎn)生兩子代，以下所表示：上面交叉操作稱為單點(diǎn)交叉。普通地能夠進(jìn)行多點(diǎn)交叉，以下所表示：54人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第54頁(yè)變異與交叉不一樣，變異包括到一染色體個(gè)體一個(gè)或多個(gè)基因位翻轉(zhuǎn)，產(chǎn)生新基因組合，以經(jīng)過交叉來取得子代染色體。下面任一方法都能夠用來進(jìn)行變異操作：隨機(jī)選擇基因位數(shù)值能夠被隨機(jī)產(chǎn)生數(shù)值替換，這種替換對(duì)二進(jìn)制和非二進(jìn)制染色體都適用；在二進(jìn)制染色體中，能夠?qū)﹄S機(jī)選擇基因位進(jìn)行觸發(fā)，即1→0或0→1。能夠以概率Pm隨機(jī)選擇個(gè)體進(jìn)行變異操作。變異操作主要優(yōu)點(diǎn)是使染色體群體中出現(xiàn)各種基因，這么遺傳算法有在參數(shù)解空間找出各種可能解，防止解丟失。55人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第55頁(yè)有效性檢驗(yàn)對(duì)于不一樣優(yōu)化問題，有時(shí)需要增加檢驗(yàn)，確保新子代染色體表示是參數(shù)解空間中有效點(diǎn)。如考慮由四個(gè)基因組成染色體，每個(gè)基因有三個(gè)可能二進(jìn)制值A(chǔ)=01，B=10，C=11。二進(jìn)制染色體表示組合BACA是：1001110110011100如對(duì)最終基因位進(jìn)行變異操作，產(chǎn)生了以下所表示無(wú)效染色體，因基因值00沒有定義。一樣，交叉也可能產(chǎn)生有缺點(diǎn)染色體操作?？朔@些問題方法是采取結(jié)構(gòu)操作，交叉或變異操作針對(duì)基因，而不是針對(duì)基因位。這么，交叉操作點(diǎn)總能與基因邊界相一致，變異操作對(duì)整個(gè)基因組隨機(jī)選擇新值，確保產(chǎn)生有效染色體。如此做缺點(diǎn)是染色體群體差異性會(huì)受到影響。

56人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第56頁(yè)基本遺傳算法框圖初始染色體群體隨機(jī)產(chǎn)生；用適應(yīng)度函數(shù)來評(píng)價(jià)染色體個(gè)體；依據(jù)適應(yīng)度產(chǎn)生繁殖染色體個(gè)體，適應(yīng)度好染色體個(gè)體其被選擇來繁殖可能性大；經(jīng)過染色體正確交叉和變異操作，產(chǎn)生各自子代繁殖染色體。57人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第57頁(yè)基本遺傳算法在遺傳算法中，是依據(jù)適應(yīng)度來選擇個(gè)體進(jìn)行繁殖，最適合染色體繁殖可能性也最大。選擇不但決定由那些個(gè)體來繁殖，而且還要確定繁殖子代數(shù)目。所以選擇方法對(duì)遺傳算法有效性有著主要作用。GA算法使用能夠參考教材P262（FORTRAN程序）GeneticAlgorithmandDirectSearchToolboxinMATLABva58人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第58頁(yè)GeneticAlgorithmToolboxinMATLABCallingtheFunctiongaattheCommandLine[xfval]=ga(@fitnessfun,nvars,options)@fitnessfunisahandletothefitnessfunction.nvarsisthenumberofindependentvariablesforthefitnessfunction.optionsisastructurecontainingoptionsforthegeneticalgorithm.Ifyoudonotpassinthisargument,gausesitsdefaultoptions.Step

x—Pointatwhichthefinalvalueisattainedfval—FinalvalueofthefitnessfunctionUsingtheGeneticAlgorithmToolgatool59人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第59頁(yè)GAToolGUIofMATLAB目標(biāo)函數(shù)變量數(shù)約束條件圖形顯示執(zhí)行計(jì)算計(jì)算結(jié)果計(jì)算選項(xiàng)60人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第60頁(yè)Ex1:UnconstrainedMinimizationUsingGAFunction：Thefunctionhastwolocalminima：oneatx=0,wherethefunctionvalueis-1,theotheratx=21,wherethefunctionvalueis-1-1/e.Sincethelattervalueissmaller,theglobalminimumoccursatx=21.61人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第61頁(yè)Resultoflocalminimumfunctiony=two_min(x)ifx<=20y=-exp(-(x/20).^2);elsey=-exp(-1)+(x-20)*(x-22);end62人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第62頁(yè)

HowtoexplorepointsneartheglobalminimumOnewaytomakethegeneticalgorithmexploreawiderrangeofpoints—thatis,toincreasethediversityofthepopulations—istoincreasetheInitialrange.63人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第63頁(yè)Rangeofindividualsineachgenerationamuchwiderrangeofindividuals.Bythesecondgenerationthereareindividualsgreaterthan21,andbygeneration12,thealgorithmfindsabestindividualthatisapproximatelyequalto21.allindividualsarebetween-2and2.5.WhilethisrangeislargerthanthedefaultInitialrangeof[0;1],duetomutation,itisnotlargeenoughtoexplorepointsneartheglobalminimumatx=21.

64人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第64頁(yè)Ex2:ConstrainedMinimizationUsingGAminimizeasimplefitnessfunctionoftwovariablesx1andx2minf(x)=100*(x1^2-x2)^2+(1-x1)^2;xthefollowingtwononlinearconstraintsandboundsaresatisfiedx1*x2+x1-x2+1.5<=0,(nonlinearconstraint)10-x1*x2<=0,(nonlinearconstraint)0<=x1<=1,and(bound)0<=x2<=13(bound)65人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第65頁(yè)Defineofobjectivefunctionandconstrainsfunction[c,ceq]=simple_constraint(x)c=[1.5+x(1)*x(2)+x(1)-x(2);-x(1)*x(2)+10];ceq=[];functiony=simple_fitness(x)y=100*(x(1)^2-x(2))^2+(1-x(1))^2;0<=x1<=10<=x2<=1366人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第66頁(yè)ResultofEx267人工神經(jīng)網(wǎng)絡(luò)與智能算法專家講座第67頁(yè)M-fileGeneratedbyGAToolfunction[X,FVAL,REASON,OUTPUT,POPULATION,SCORES]=cm_ga%%FitnessfunctionfitnessFunction=@simple_fitness;%%NumberofVariablesnvars=2;%LinearinequalityconstraintsAineq=[];Bineq=[];%LinearequalityconstraintsAeq=[];Beq=[];%BoundsLB=[00];UB=[113];