神經(jīng)網(wǎng)絡(luò)及其控制

1、神經(jīng)網(wǎng)絡(luò)計算1-1神經(jīng)元模型一、概述神經(jīng)網(wǎng)絡(luò)的特點定義：用于模擬人腦神經(jīng)元活動過程，包括對信息的加工、處理、存貯和搜索過程。特點信息分布式存貯信息的并行處理與推理信息的自組織、自學(xué)習(xí)二、神經(jīng)元的模型特征神經(jīng)元多輸入單輸出的信息處理單元膜電位細胞內(nèi)部和外部具有不同的電位，當外部電位為零時，內(nèi)部電位稱為膜電位。i0 興奮性神經(jīng)元的突觸i0 抑制性i=0 第i個輸入信號對該神經(jīng)元不起任何作用神經(jīng)元具有以下特征：時空整合功能：空間總和：定量描述為：整個神經(jīng)元的膜電位（狀態(tài)變化）與輸入信號與其權(quán)重的線性組合： SKIPIF 1 0 是線性相關(guān)的時間總和：不同時刻的輸入信息對神經(jīng)元的影響會重疊，加起來，同

2、時起作用。時空整合： 根據(jù)空間和時間總和，神經(jīng)元對不同時刻和不同部位的輸入進行處理，該過程稱之為時空整合作用。定量描述為：設(shè)第i個輸入信號t時間后對膜電位的影響為i（t(t)）,則在t時刻，神經(jīng)元膜電位的變化與下式有關(guān)： SKIPIF 1 0 （11）式中 SKIPIF 1 0 第i個輸入在時間t時的輸入信號閾值特性神經(jīng)元的輸入輸出之間為非線性，如圖12所示：圖12 閾值特性即： SKIPIF 1 0 SKIPIF 1 0 閾值不應(yīng)期 SKIPIF 1 0 本身是隨著興奮程度的變化而變化。絕對不應(yīng)期當 SKIPIF 1 SKIPIF 1 0 時，無論輸入信號多強大，也不會有輸出信號。突觸結(jié)合的

3、可塑性：即權(quán)重i是實時變化的。二、 神經(jīng)模型 入圖13 神經(jīng)元模型輸入處理： SKIPIF 1 0 (12)活化處理： SKIPIF 1 0 （13）輸出處理： SKIPIF 1 0 （14）式中，fi（）輸出函數(shù)，根據(jù)不同模型而定。介紹三種典型的神經(jīng)元模型：閾值單元模型（MP模型）MP模型處理0和1二值離散信息的閾值單元模型。MP模型的數(shù)學(xué)表達式為： SKIPIF 1 0 SKIPIF 1 0 階躍函數(shù)準線性單元模型特點：輸入和輸出均為連續(xù)值。（BP網(wǎng)絡(luò)）神經(jīng)元i的總輸入為： SKIPIF 1 0 （16）輸出為： SKIPIF 1 0 （17）概率神經(jīng)元模型：特點：輸入信號采用0與1的二值

4、離散信息，并把神經(jīng)元的興奮與抑制以概率表示。神經(jīng)元的總輸入為 SKIPIF 1 0 （18）有 SKIPIF 1 0 到輸出 SKIPIF 1 0 的概率分布為： SKIPIF 1 0 (19)式中：T網(wǎng)絡(luò)溫度的函數(shù)應(yīng)用：用于Boltzman神經(jīng)網(wǎng)絡(luò)。三、 基于控制觀點的神經(jīng)元模型其主要功能由下列三部分完成：加權(quán)加法器-空間總和，即： SKIPIF 1 0 （110） j SKIPIF 1 0 常數(shù)，其作用是控制神經(jīng)元保持某一狀態(tài)。SISO線性動態(tài)系統(tǒng)-時間總和：SISO線性系統(tǒng)對于單位脈沖函數(shù)的響應(yīng)就完成了時間總和，該響應(yīng)為卷積分： SKIPIF 1 0 （112）式中，h（t）函數(shù)常選用下

5、列五種形式： SKIPIF 1 0 附： SKIPIF 1 0 函數(shù)是用于處理許多集中于一點或一瞬時常，例如，點電荷，點熱源，窄脈沖，集中力等現(xiàn)象，它可用以下三種形式來定義： SKIPIF 1 0 圖a 圖b 圖c圖a圖b圖c0 故有： SKIPIF 1 0 對應(yīng)于上述五種時間函數(shù)， SKIPIF 1 0 與 SKIPIF 1 0 之間的關(guān)系分別為： SKIPIF 1 0 (114)3. 非線性函數(shù)-輸出函數(shù)： SKIPIF 1 0 （116）式中，非線性函數(shù) SKIPIF 1 0 的常見類如下表所示：名稱閾值函數(shù)雙向閾值函數(shù)Sigma函數(shù)雙曲正切函數(shù)高斯函數(shù)g(x) SKIPIF 1 0 S

6、KIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 圖形 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 特征不可微，類階躍，正值不可微，類階躍，零均值可微，類階躍，正值可微，類階躍，零均值可微，類脈沖1-3 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和學(xué)習(xí)規(guī)則結(jié)構(gòu) 層狀結(jié)構(gòu)：每層中有若干個神經(jīng)元，相鄰層中神 經(jīng)元單向聯(lián)接，同層內(nèi)的神經(jīng)內(nèi)不連接網(wǎng)狀結(jié)構(gòu)：任何兩個神經(jīng)元之間都可能雙向聯(lián)接。前向網(wǎng)絡(luò)（前饋網(wǎng)絡(luò)）屬于層狀網(wǎng)絡(luò)，如圖所示：圖前向網(wǎng)絡(luò)特點：（）.相鄰層之間的神經(jīng)元之間相互連接，各層內(nèi)神經(jīng)元之間無連接（）無反饋（）各神經(jīng)元

7、可以有多個輸入（輸入層除外），并只有一個輸出給下一層的各神經(jīng)元（）輸入層中各輸入關(guān)節(jié)無計算功能。.反饋網(wǎng)絡(luò)：屬于層狀結(jié)構(gòu)，如圖所示：圖反饋網(wǎng)絡(luò)特點：（）每個神經(jīng)元都具有計算功能，即為計算節(jié)點。（）每一個節(jié)點接收兩個輸入）外界輸入）其它節(jié)點的反饋輸入（）自環(huán)反饋：同一節(jié)點的輸出反饋給自身做輸入。.相互結(jié)合型網(wǎng)絡(luò)屬于網(wǎng)狀結(jié)構(gòu)，如圖所示：圖相互結(jié)合型網(wǎng)絡(luò)特點：（）各個神經(jīng)元之間都有可能雙向連接（）各個神經(jīng)元既作輸入又做輸出混合型網(wǎng)絡(luò)介于層狀結(jié)構(gòu)和網(wǎng)狀結(jié)構(gòu)之間的一種網(wǎng)絡(luò)。如圖所示：圖混合型神經(jīng)網(wǎng)絡(luò)特點：在前向網(wǎng)絡(luò)中，同層神經(jīng)元之間有互聯(lián)的結(jié)構(gòu)，目的：限制同層內(nèi)神經(jīng)元同時興奮或者抑制的神經(jīng)元數(shù)目。神經(jīng)網(wǎng)

8、絡(luò)的學(xué)習(xí)和訓(xùn)練學(xué)習(xí)一個節(jié)點收到興奮輸入，而且興奮輸入抑制輸入足夠大時，使神經(jīng)元對另一個神經(jīng)元的影響發(fā)生變化，此即發(fā)生了學(xué)習(xí)行為。學(xué)習(xí)方式：有教師學(xué)習(xí)無教師學(xué)習(xí) SKIPIF 1 0 （網(wǎng)絡(luò)輸出） SKIPIF 1 0 （教師數(shù)據(jù)）輸出誤差樣本數(shù)據(jù)輸入輸出 SKIPIF 1 0 . SKIPIF 1 0 SKIPIF 1 0 . SKIPIF 1 0 無教師學(xué)習(xí)有教師學(xué)習(xí)圖19 有無教師學(xué)習(xí)的直觀描述圖 SKIPIF 1 0 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則聯(lián)想式學(xué)習(xí)Hebb規(guī)則 SKIPIF 1 0 SKIPIF 1 0 如圖110所示： j SKIPIF 1 0 SKIPIF 1 0 輸出 SKIPIF

9、1 0 SKIPIF 1 0 教師信號 SKIPIF 1 0 SKIPIF 1 0 圖110 Hebb規(guī)則權(quán)重變化 SKIPIF 1 0 ： SKIPIF 1 0 （117）輸出 SKIPIF 1 0 與 SKIPIF 1 0 之間滿足： j SKIPIF 1 0 （118）式中 SKIPIF 1 0 非線性函數(shù)當無教師信號 SKIPIF 1 0 時，式（117）就變?yōu)椋?SKIPIF 1 0 （119）式中： SKIPIF 1 0 學(xué)習(xí)效率（ SKIPIF 1 0）誤差傳播式學(xué)習(xí)Delta規(guī)則（ SKIPIF 1 0 規(guī)則）前述的函數(shù)G表示為： SKIPIF 1 0 （120）則，把差值 S

10、KIPIF 1 0 稱為 SKIPIF 1 0 SKIPIF 1 0 正數(shù) 即 SKIPIF 1 0設(shè)，函數(shù)H與 SKIPIF 1 0 成比例，即： SKIPIF 1 0 （ SKIPIF 1 0） (121)根據(jù)Hebb規(guī)則可得： SKIPIF 1 0 即： SKIPIF 1 0 （ SKIPIF 1 0） (122)式中： SKIPIF 1 0 在式（122）中，若將教師信號 SKIPIF 1 0 作為期望的輸出di， SKIPIF 1 0 作為實際輸出yi，則該式變?yōu)椋?SKIPIF 1 0 （123）式中： SKIPIF 1 0 期望輸出與實際輸出的差值，該式即為 SKIPIF 1 0

11、 規(guī)則（誤差修正規(guī)則）中心思想：通過反復(fù)迭代運算，求出最值的 SKIPIF 1 0 值，使 SKIPIF 1 min.缺點：只適用于線性可分函數(shù)第二章 典型神經(jīng)網(wǎng)絡(luò)2-1 前向網(wǎng)絡(luò)-BP網(wǎng)絡(luò)感知器（Perception）一種用于模式分類的網(wǎng)絡(luò)模型，是一種具有單層計算單元的神經(jīng)網(wǎng)絡(luò)，信息處理規(guī)則為： SKIPIF 1 0 （2-1） SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 第j個神經(jīng)元輸出采用階躍函數(shù) SKIPIF 1 0 學(xué)習(xí)規(guī)則： SK

12、IPIF 1 0 式中， SKIPIF 1 0 -學(xué)習(xí)率（0 SKIPIF 1 0 1） d-期望輸出（教師信號） SKIPIF 1 0 -實際輸出前向分層網(wǎng)絡(luò)的BP學(xué)習(xí)算法如圖2-1所示，BP網(wǎng)絡(luò)包括輸入層、隱含層及輸出層，隱含層可以是一層或多層。輸入單元的活性（狀態(tài)）代表輸入的網(wǎng)絡(luò)中的原始信息，每個隱單元的活性取決于輸入單元的活性及它們之間的權(quán)值，同樣，輸出單元的行為取決于隱單元的活性及它們之間的權(quán)值。BP網(wǎng)絡(luò)誤差反向傳播學(xué)習(xí)算法的基本思想。 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 輸入層隱層輸出層圖2-1 BP網(wǎng)絡(luò)結(jié)構(gòu)BP算法的基本思想： 設(shè)EA- 誤差變化率（

13、對于隱單元而言）。對于輸出單元即為實際輸出與期望輸出之間的差值。當計算在輸出層前一層的一個隱單元的EA時，首先識別該隱單元與輸出單元之間連接的權(quán)值，再將這些權(quán)值分別乘以各自輸出單元的EA，再求和，此和值即為該隱單元的EA。再計算前一層的EA值，其計算順序與狀態(tài)傳播的方向相反。故稱為誤差反向傳播算法。BP算法計算步驟 如圖2-1所示，設(shè)單元j、i分別表示輸出層和它前面一層中的一個單元，則，對輸出層單元j的總加權(quán)輸入 SKIPIF 1 0 為： SKIPIF 1 0 (2-3)式中， SKIPIF 1 0 -與輸出層相鄰的隱含層中第i單元的狀態(tài)（活性水平） SKIPIF 1 0 -第i與第j單元的

14、連接權(quán)值采用Sigmond函數(shù)（即S到函數(shù)）作為輸出單元的狀態(tài)，則 SKIPIF 1 0 （2-4）則，利用(2-3)和（2-4）即可確定所有輸出單元的活性，則網(wǎng)絡(luò)的誤差為： SKIPIF 1 0 （2-5）式中， SKIPIF 1 0 -輸出層中，第j個單元的期望輸出。則BP算法可分下列四個步驟，a).計算輸出單元j的實際輸出與期望輸出的差值 SKIPIF 1 0 （2-6）b).當總輸入 SKIPIF 1 0 變化時，計算j單元的誤差導(dǎo)數(shù) SKIPIF 1 0 ,即 SKIPIF 1 0 化簡，并考慮式（2-4）： SKIPIF 1 0 （2-7）c).當 SKIPIF 1 0 改變時，計

15、算j單元的誤差變化率 SKIPIF 1 0 ， SKIPIF 1 0 （2-8）式中， SKIPIF 1 0 -與j單元相連接d)當單元i的輸出變化時的誤差變化率 SKIPIF 1 0 , SKIPIF 1 0 SKIPIF 1 0 （2-9）由此可見，利用式（2-7）和（2-9）把一層單元的EA變成步面一層單元的EA，再利用式（2-7）和（2-8）計算作用于該單元上的EW。3BP算法的計算機實現(xiàn)過程：a)初始化，對所有權(quán)值賦以任意小值，并設(shè)定閾值b)給定訓(xùn)練數(shù)據(jù)樣本，即（輸入向量x，期望輸出 SKIPIF 1 0 c)計算實際輸出： SKIPIF 1 0 （2-10） f - Sigmaid

16、函數(shù) SKIPIF 1 0 （2-11）d)調(diào)整權(quán)值，按誤差反向傳播方向，按下式修正權(quán)值 SKIPIF 1 0 （2-12）式中， SKIPIF 1 0 -增益， SKIPIF 1 0 SKIPIF 1 0 -節(jié)點j的誤差（其定義與（2-5）式相同） SKIPIF 1 0 （2-13）當使用沖量時，權(quán)值調(diào)整公式為： SKIPIF 1 0 （2-14）式中， SKIPIF 1 0 -動量因子， SKIPIF 1 0 e）返回第2步重復(fù)，直至誤差滿足要求為止。（圖2-2為其等法框圖）全部 SKIPIF 1 0 滿足？初始化給定輸入向量和期望輸出求隱層、輸出層各單元輸出求實際輸出與期望輸出的誤差EE

17、滿足要求？END權(quán)值學(xué)習(xí)（修改）求誤差梯度計算隱層單元誤差YYNN圖2-2 BP算法框圖BP網(wǎng)絡(luò)的改進算法BP算法的優(yōu)缺點：優(yōu)點：具有Sigmoid函數(shù)的三層網(wǎng)絡(luò)可以任意精度逼近任何連續(xù)函數(shù)。缺點：（1）迭代次數(shù)多，收斂速度慢 （2）易形成局部最小，得不到整體最優(yōu)（3）無反饋連接，影響信息交換速度和效率（4）輸入及輸出節(jié)點據(jù)實際問題而定，而隱節(jié)點的選取無理論指導(dǎo)，據(jù)經(jīng)驗而定（5）在訓(xùn)練學(xué)習(xí)樣本，有遺忘舊樣本的趨勢。1、MFBP算法思路：在BP算法，增益系數(shù) SKIPIF 1 0 為一固定值，因此收斂速度慢。為此，克服該缺點的基本出發(fā)點：（1）網(wǎng)絡(luò)中每個參數(shù)的調(diào)節(jié)應(yīng)有各自的學(xué)習(xí)率（增益）（2）在

18、網(wǎng)絡(luò)學(xué)習(xí)過程中， SKIPIF 1 0 應(yīng)根據(jù)網(wǎng)絡(luò)誤差曲面上的不同區(qū)域的曲率變化自適應(yīng)調(diào)節(jié)。自適應(yīng)調(diào)節(jié)規(guī)則為：網(wǎng)絡(luò)中每個節(jié)點的輸入輸出關(guān)系修改為： SKIPIF 1 0 （2-15）式中， SKIPIF 1 0 -模式輸至網(wǎng)絡(luò)時，節(jié)點j的輸出 SKIPIF 1 0 -模式輸至網(wǎng)絡(luò)時，與節(jié)點j以權(quán)重 SKIPIF 1 0 相連接的節(jié)點i的輸出 SKIPIF 1 0 -節(jié)點j的閾值節(jié)點j的誤差信號 SKIPIF 1 0 變?yōu)?SKIPIF 1 0 （2-16）式中， SKIPIF 1 0 -當模式（樣本）輸入網(wǎng)絡(luò)時，第j節(jié)點（輸出層）的期望輸出。根據(jù)上述公式，可以得出一種快速FBP算法（MFBP算

19、法之一） 權(quán)重調(diào)節(jié)公式： SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 式中，學(xué)習(xí)率 SKIPIF 1 0 的算法公式為： SKIPIF 1 0 式中， SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 式中， SKIPIF 1 0 SKIPIF 1 0 預(yù)先初始化為-1,1內(nèi)隨機數(shù) SKIPIF 1 0 為預(yù)先給定的一個小的正數(shù)自構(gòu)形學(xué)習(xí)算法（隱節(jié)點重組過程）在在網(wǎng)絡(luò)拓撲結(jié)構(gòu)中，隱節(jié)點的選擇沒有依據(jù)，隱節(jié)點較少，學(xué)習(xí)過程不收斂，隱節(jié)點多了，存在冗余節(jié)點，網(wǎng)絡(luò)性能下降。學(xué)習(xí)過程分為預(yù)估和自構(gòu)形兩個階段，預(yù)估就是根據(jù)

20、經(jīng)驗設(shè)定一個隱節(jié)點數(shù)很大的步向網(wǎng)絡(luò)結(jié)構(gòu)，自構(gòu)形就是網(wǎng)絡(luò)根據(jù)學(xué)習(xí)情況合并無用的冗余節(jié)點，從而得到一個合適的網(wǎng)絡(luò)。設(shè), SKIPIF 1 0 SKIPIF 1 0 , SKIPIF 1 0 隱節(jié)點i和j在學(xué)習(xí)完所有幾個樣本后的平均輸出 則， SKIPIF 1 0 定義：同層隱節(jié)點的相關(guān)系數(shù)及樣本分散度如下： 同層隱節(jié)點i和j之間相關(guān)系數(shù) SKIPIF 1 0 SKIPIF 1 0 過大，說明節(jié)點i和j功能重復(fù)，應(yīng)合并壓縮樣本分散度： SKIPIF 1 0 Si過小，表明隱節(jié)點i的輸出值變化很小，對網(wǎng)絡(luò)的訓(xùn)練沒有起什么作用?；谏鲜龆x，給出以下隱節(jié)點動態(tài)合并與刪減規(guī)則：合并規(guī)則：若 SKIPIF

21、1 0 且si,sjC2,則同層隱節(jié)點i和j可以合而為一。式中C1=0.80.9，C2=0.0010.01。合并方法：令yjayi+b SKIPIF 1 0 SKIPIF 1 0 輸出節(jié)點k的輸入為（如下圖所示）： SKIPIF 1 0 得合并算法： SKIPIF 1 0 SKIPIF 1 0 WkjWkiWkbiJyiYjBiaskbWkjWkjWkiWkbiJyiYjBiask+aWkj(2)刪減規(guī)則：若sic2，節(jié)點i可以刪除。刪減方法：令 SKIPIF 1 0 ，則輸出節(jié)點k的輸入為 SKIPIF 1 0 刪減方法： SKIPIF 1 0 如下圖所示：WkiWkbKiBiasKBias

22、iWkb+yiWki總結(jié)：BP算法實質(zhì)上是把一組樣本輸入輸出問題轉(zhuǎn)化為一個非線性優(yōu)化問題，并通過梯度算法利用替代運算求解數(shù)值問題的一種算法。常見的改進算法有沖量算法：其數(shù)值調(diào)整公式為 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 -沖量算法中的動量因子對比試驗算法學(xué)習(xí)誤差學(xué)習(xí)次數(shù)BP基本算法0.36無0.0013361沖量BP算法0.360.260.0012580數(shù)值和閥值的初始化：一般為0,1之間的隨機值，但是改變賦值范圍可以改變BP網(wǎng)的收斂性。下表為其他條件相同的情況下，初始數(shù)值范圍不同得出的結(jié)果數(shù)值范圍（賦值）學(xué)習(xí)誤差學(xué)習(xí)次數(shù)【0，1】隨機值0.360.4732533

23、61【0，0.5】隨機值0.360.0012580學(xué)習(xí)樣本的預(yù)處理合適選擇樣本的數(shù)量級，可以明顯改善網(wǎng)絡(luò)的收斂特性。定義：學(xué)習(xí)樣本輸入向量之間的Hamming距離 SKIPIF 1 0 式中 SKIPIF 1 0 -第i和j個樣本向量。 SKIPIF 1 0 -第i個樣本向量的第i個對應(yīng)元素。 n-向量的長度。Hamming距離大，數(shù)量級大，反之，Hamming距離小，數(shù)量級小。下表位神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，初始數(shù)值，學(xué)習(xí)函數(shù)，算法條件相同的情況下，Hamming距離變化對網(wǎng)絡(luò)的影響。學(xué)習(xí)樣本預(yù)處理學(xué)習(xí)誤差學(xué)習(xí)次數(shù)原樣本/100.361.9990710000原樣本0.360.0013361原樣本*100

24、.360.4425610000模糊遺傳算法及建模（genetic algorithm）GA算法簡介GA算法是具有“生成+檢測”（generate and test）的迭代過程的搜索算法。GA算法的三個主要操作算子為selectioncrossovermutationGA算法的五個基本要素參數(shù)編碼初始群體的設(shè)定適應(yīng)度函數(shù)的設(shè)計遺傳操作設(shè)計控制參數(shù)設(shè)計（群體大小，遺傳操作的概率）編碼和初始群體的生成群體中個體適應(yīng)度的檢測評估選擇selection交叉crossover變異mutation用一個求函數(shù)數(shù)值為例，來概述遺產(chǎn)算法的基本概念及處理過程。例：用GA求f(x)=x2的最大值，x0,31下表為計

25、算過程及結(jié)果串編號初始群體（隨機產(chǎn)生）（n=4）二進制X值（無符號整數(shù)）適應(yīng)度f(x)=x2選擇概率Ps適應(yīng)度期望值fi/ SKIPIF 1 0 實際計數(shù)復(fù)制后交配率配對（隨機選擇）交叉位置（隨機選擇）新一代群體X值f(x)=x2101101131690.140.581011011240110012144211000245760.491.9721100101411001256253010008640.060.220111000421101127729410011193610.311.231101011321000016256適應(yīng)度總和11701.004.004.01754平均適應(yīng)度2930.2

26、51.01.0439最大適應(yīng)度5760.491.972.0729其中：Ps=fi/f平均適應(yīng)度 SKIPIF 1 0 表中計算數(shù)據(jù)的解釋編碼GA不能直接處理解空間的解數(shù)據(jù)，數(shù)通過編碼將其表示程遺傳空間的基因型串結(jié)構(gòu)數(shù)據(jù)。如x=13表示成01101的形式。初始群體的組成遺傳操作需要一個由若干初始解組成的初始解群體。為簡化起見，取群體大小為4，即4個個體組成（如表中13，24，8，19）。初始群體的每個個體都是隨機產(chǎn)生的。初始群體也叫第一代（first generation）適應(yīng)度評價檢測GA是用評估函數(shù)來評估個體或解的優(yōu)劣，并作為遺傳操作的依據(jù)。評估函數(shù)值又稱為適應(yīng)度（fitness）。例中，根

27、據(jù)f(x)=x2來評估群體中各個個體。顯然，為了利用f(x)=x2這一評估函數(shù)即適應(yīng)度函數(shù)，要將基因型個體（即二進制個體）譯碼成表現(xiàn)性個體（即十進制個體），亦即搜索空間中的解。選擇（selection）（或者叫復(fù)制操作）目的是為了從群體中選擇出優(yōu)良的個體，使他們有機會作為父代為下一代繁殖子孫。判斷優(yōu)良的準則就是各自的適應(yīng)度值。個體適應(yīng)度越高，其被選擇的機會就越多。其選擇方式是采用概率方式，即計算每個個體的適應(yīng)度值與群體中的所有個體的適應(yīng)度值的總和之比來表述選擇概率。即fi/f（表中，給出了選擇4個個體的概率）。由概率可以計算出每個個體被選擇的次數(shù)?？刹捎萌鐖D所示的賭輪（roulette whe

28、ele）的方式來決定各個個體的選擇份數(shù)。在賭輪上，按照各個個體適應(yīng)度值按比例進行了分配，轉(zhuǎn)動賭輪4次，就可以決定各自的選擇份數(shù)。表中的結(jié)果是：個體1和4各復(fù)制（或選擇）1份，個體2復(fù)制2份（各占個體3的位置），個體3被淘汰了。由此。得到4份復(fù)制送到配對庫，以備繁殖。31%49%14%6%交叉操作可分兩步進行： = 1 * GB3 配對庫的個體進行隨機配對（如個體1和2，3和4） = 2 * GB3 在配對個體中隨機設(shè)定交叉處如：0110101100011001100111011110001001110000交叉交叉即形成了新一代。由表中可以看出，新群體中的個體適應(yīng)度的平均值和最大值都有了明顯的

29、提高。事實上，對于有幾十個到幾百個變量組成的函數(shù)，GA可以不依靠任何外部知識，而僅用適應(yīng)度函數(shù)來指導(dǎo)優(yōu)化搜索方向。(6)變異（mutation）變異是按位進行的，即把某一位的內(nèi)容進行變異。對于二進制編碼的個體來說，若某位原為“0”，變異后就變成了“1”。變異操作也是隨機進行的。一般而言，變異概率Pm取值很小，如本例中，取Pm=0.001，由群體中可以變異的位數(shù)為：4個個體5位=20位。則可變異的位數(shù)為：200.001=0.02位。即說明群體中沒有異味可以變異。變異的目的是克服有可能限于局部最優(yōu)解的缺點。上述GA算法為簡單遺傳算法（SGA）二、遺傳算法在模糊規(guī)則優(yōu)化和模糊模式識別中的應(yīng)用。 1、

30、基于遺傳算法的模糊推理規(guī)則的優(yōu)化 （1）編碼： 為討論方便，條件都以可變的三角行錄屬函數(shù)為例結(jié)論都以實數(shù)值構(gòu)成。如下圖所示：對錄屬函數(shù)的每一個個體的編碼由三部分組成：條件都錄屬函數(shù)的頂點之間的距離S以頂點橫坐標為基點，至底邊兩端點的距離M和N (2)適應(yīng)度函數(shù)：為對上述個體進行定量評價，須設(shè)定適應(yīng)度函數(shù)（評價函數(shù)），為此，定義：實際輸出和期望輸出（計算輸出）之間的誤差平方和E，E則適應(yīng)度函數(shù)高，則定義適應(yīng)度函數(shù)如下式： SKIPIF 1 0 式中： Si - 第i個個體 E - 誤差平方和（3）交叉操作在初始群體中，隨機選取A和B兩個個體進行交叉操作，如下圖，以S為例，可以交叉點為界，分為左右

31、兩側(cè) SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 可以產(chǎn)生四種子本：子本1： 子本2： SKIPIF 1 0 b SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 (交差點左側(cè)，繼承A左側(cè)信息，右側(cè)，按 （交叉點左側(cè)繼承B左側(cè)信息，右比例繼承A的部分信息) 側(cè)按比例）繼承B的部分信息）子本3： 子本4 SKIPIF 1 0 SKIPIF 1 0 c d SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 其他遺傳操作，如變異，選擇等可按常規(guī)方法，通過GA對錄屬函數(shù)進行初調(diào)，確定

32、錄屬函數(shù)的形狀。2、遺傳算法在模糊模式識別中的應(yīng)用模糊模式識別方法一般采用將模式空間進行分割的方法，這種方法有一定局限性。例如，如圖所示黑白兩種員的模式識別問題，很顯然，左半邊需要細的模糊分割，右半邊則教粗。若采用單一的模糊格子要進行合適的模糊分割是很困難的。因此，提出一種同時采用粗的模糊分割和細的模糊分割想結(jié)合，這種多種模糊分割，將引起模糊if-then 規(guī)則數(shù)大大增加的問題。因此，下面介紹一種從對應(yīng)于多種模糊分割的多個模糊if-then規(guī)則中選出最必須的最小限度規(guī)則，并建立小型高性能的模糊識別系統(tǒng)。下面分兩步進行介紹：第一步：介紹一種基于一般模糊if-then規(guī)則的模式識別，它首先將構(gòu)成模

33、糊識別系統(tǒng)作為一種選擇if-then規(guī)則組合優(yōu)化問題，其目標函數(shù)是正確率最大和規(guī)劃數(shù)最小化。第二步，介紹采用遺傳算法，將模糊if-then規(guī)則的集合作為一個個體，將上述兩個目標的加權(quán)和作為個體的適應(yīng)度，然后用GA進行優(yōu)化組合。由模糊if-then規(guī)則的模式識別說明一下模糊if-then規(guī)則的生成方法。以二維問題為例。定義：模式之間設(shè)定為0,10,1,學(xué)習(xí)用數(shù)據(jù)分成M個群C1,C2,-Cm)對應(yīng)于M個模式 SKIPIF 1 0 ，p=1,2,-M.各維由模糊分割成k個模糊集合 SKIPIF 1 0 則，基于模糊if-then規(guī)則的模糊識別系統(tǒng)可采用如下規(guī)則： SKIPIF 1 0 ：if x1

34、is SKIPIF 1 0 and x2 is SKIPIF 1 0 Then (x1, x2) belongs to SKIPIF 1 0 with CF=C SKIPIF 1 0 式中： SKIPIF 1 0 ， SKIPIF 1 0 -規(guī)則條件部的模糊集合。 SKIPIF 1 0 -規(guī)則的結(jié)論。 C SKIPIF 1 0 -規(guī)則的可信度 SKIPIF 1 0 對于k=2和k=3時，各維的模糊分割和模糊集合的標志關(guān)系為： SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1

35、 0 SKIPIF 1 0 X2 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 SKIPIF 1 0 A 的下標表示分割的空間編號 A的上標表示分割的總數(shù)上圖中,Si-規(guī)則的順序符號（將在GA中應(yīng)用）上圖是采用三角形模糊集合（不是三角行錄屬函數(shù)）對應(yīng)的，三角形模糊集合 SKIPIF 1 0 的錄屬函數(shù)可寫成 SKIPIF 1 0 SKIPIF 1 0 i=1，2，-，k式中： SKIPIF 1 0 -三角形模糊集合的中心， SKIPIF 1 0 SKIPIF 1 0 If-then規(guī)則的結(jié)論 SKIPIF 1 0 及可信度 SKIPIF 1 0 ,可由學(xué)習(xí)模式Xp(p=1,2,-M)按下述程序自動生成：對t群（Ct），求出： SKIPIF 1 0 （t=1，2，-，m）求出 SKIPIF 1 0 最大的數(shù)據(jù)群Cx，即：Cx： SKIPIF 1 0 =max SKIPIF 1 0 則 SKIPIF 1 0 若有若干個群取最大