(1)通過基于統(tǒng)計學和仿生學的方法對氣味數(shù)據(jù)進行分類

仿生嗅覺系統(tǒng)中的模式識別系統(tǒng)對目標氣體進行識別和分析：通過基于統(tǒng)計學和仿生學的方法對氣味數(shù)據(jù)進行分類；用定性和定量的模式識別算法分析數(shù)據(jù)特性；用有監(jiān)督和無監(jiān)督的識別技術(shù)確定氣味成分模式分析常用技術(shù)主成分分析（PCA）技術(shù)：展示已知的氣味，研究含復合傳感器的氣味空間中數(shù)據(jù)的聚類，并對其線性可分性進行評估多層感知機人工神經(jīng)網(wǎng)絡（MLP

ANN）技術(shù)：提供了一種對未知氣體向量的預分類預分類器：標準BP網(wǎng)絡人工神經(jīng)網(wǎng)絡（ANN）——能獲取、存儲和利用經(jīng)驗知識的物理細胞系統(tǒng)一種并行的分布式信息處理結(jié)構(gòu)，通過稱為連接的單向信號通路將一些處理單元(具有局部存儲并能執(zhí)行局部信息處理能力)相互連接而組成具有非線性映射能力；不需要精確的數(shù)學模型；擅長從輸入輸出數(shù)據(jù)中學習有用知識；容易實現(xiàn)并行運算；由大量的簡單計算單元組成，容易用軟硬件實現(xiàn)ANN的工作過程學習期對神經(jīng)網(wǎng)絡連接權(quán)值進行修改工作期對于給定的輸入進行計算，得到識別結(jié)果6.1神經(jīng)網(wǎng)絡模型ANN的學習規(guī)則監(jiān)督型無監(jiān)督型

強化學習型6.1神經(jīng)網(wǎng)絡模型神經(jīng)元模型：1943，McCulloch

&

Pitts,ANN研究的開端神經(jīng)元:神經(jīng)網(wǎng)絡操作的基本信息處理單位神經(jīng)元模型:人工神經(jīng)網(wǎng)絡的設計基礎，基于模擬生物神經(jīng)元信息的傳遞特性，即輸入和輸出關(guān)系簡單神經(jīng)元模型多輸入單輸出一組連接（對應于生物神經(jīng)元的突觸）為負表示抑制求和單元

非線性激活函數(shù)合）求取各輸入連接強度由各連接上的權(quán)值

起非線性映射作用信號的加權(quán)表示，權(quán)值為正表示激活，

并將神經(jīng)元輸出幅度和（線性組限制在一定范圍內(nèi)：偏置 ，作用：添加新的固定輸入，添加新的等于偏置的突觸權(quán)值：神經(jīng)元的輸入，即是來自前級n個神經(jīng)元的軸突信息的權(quán)值連接，：固定輸入+1（或-1）：分別是i神經(jīng)元對即突觸的傳遞效率：是激活函數(shù)（也稱傳遞函數(shù)），決定i神經(jīng)元受到輸入的共同作用達到閾值時以何種方式輸出：i神經(jīng)元的輸出，一個神經(jīng)元輸出的正常幅度范圍可寫成單位閉區(qū)間[0,1]或者另一種區(qū)間[-1,+1]激活函數(shù)階躍型激活函數(shù)線性單元S型傳遞函數(shù)激活函數(shù)6.1神經(jīng)網(wǎng)絡模型2.神經(jīng)網(wǎng)絡模型（1）不含反饋的前向網(wǎng)絡：神經(jīng)元分層排列，組成輸入層、隱含層和輸出層，每一層神經(jīng)元只接受前一層神經(jīng)元的輸出，輸入模式經(jīng)過各層的順次變換后，得到輸出層的輸出。2.神經(jīng)網(wǎng)絡模型（2）輸出層到輸入層有反饋的前向網(wǎng)絡：它用于存儲某種形式序列，神經(jīng)認知屬于此類。6.1神經(jīng)網(wǎng)絡模型2.神經(jīng)網(wǎng)絡模型（3）內(nèi)互連的前向網(wǎng)絡：它通過層內(nèi)神經(jīng)元的相互結(jié)合，可實現(xiàn)同一層神經(jīng)元之間的橫向抑制和興奮機制，以實現(xiàn)同一層神經(jīng)元之間的能同時動作的神經(jīng)元個數(shù)，或者把每層內(nèi)的神經(jīng)元分為若干組，讓每一組成為一個整體來動作。6.1神經(jīng)網(wǎng)絡模型2.神經(jīng)網(wǎng)絡模型（4）結(jié)合型網(wǎng)絡

：在任意兩個神經(jīng)元之間都可能有連接，在相互結(jié)合網(wǎng)絡中，信號要在神經(jīng)元之間反復往返傳遞，網(wǎng)絡處在一種不斷改變狀態(tài)的過程中有可能進入周期震蕩或其他如混沌之類的平衡狀態(tài)。6.1神經(jīng)網(wǎng)絡模型3.神經(jīng)網(wǎng)絡的種類◆按照網(wǎng)絡的結(jié)構(gòu)區(qū)分，有前向網(wǎng)絡和反饋網(wǎng)絡；◆按照學習方式區(qū)分，有有導師學習和無導師學習型；◆按照網(wǎng)絡性能區(qū)分，有連續(xù)型和離散型，隨機型和確定型；◆按照突觸性質(zhì)區(qū)分，有一階線性關(guān)聯(lián)和高階非線性關(guān)聯(lián)型；◆按照對生物神經(jīng)系統(tǒng)的層次模擬區(qū)分，有神經(jīng)元層次模型、組合式模型、網(wǎng)絡層次模型、神經(jīng)系統(tǒng)層次模型和智能型模型。6.1神經(jīng)網(wǎng)絡模型6.1神經(jīng)網(wǎng)絡模型3.神經(jīng)網(wǎng)絡的種類用于模式識別的神經(jīng)網(wǎng)絡類型①BP網(wǎng)絡：1986，D.E.Rumelhart等，基于BP(BackPropagation)誤差反向傳播算法的多層前饋神經(jīng)網(wǎng)絡，每個神經(jīng)元只前饋到其下一層的所有神經(jīng)元，沒有層內(nèi)聯(lián)結(jié)、各層聯(lián)結(jié)和反饋聯(lián)結(jié)，采用Sigmoid型傳遞函數(shù)。②Hopfield網(wǎng)絡：一種反饋網(wǎng)絡，網(wǎng)絡中的每一個神經(jīng)元都將自己的輸出通過連接權(quán)傳遞給所有其他神經(jīng)元，同時又接收其它神經(jīng)元傳遞過來的信息，所以該系統(tǒng)具有系統(tǒng)的動態(tài)性能，一般用于聯(lián)想記憶和優(yōu)化計算。③徑向基函數(shù)網(wǎng)絡(RBF網(wǎng)絡)：這也是一種前饋網(wǎng)絡。

網(wǎng)絡的學習速度和收斂較快，但是，所需訓練樣本要多一些。RBF網(wǎng)絡采用高斯型傳遞函數(shù)。6.2反向傳播多層前饋神經(jīng)網(wǎng)絡6.2.1

反向傳播神經(jīng)網(wǎng)絡結(jié)構(gòu)多層前饋網(wǎng)絡（應用最多、最成功）多層感知機（MLP）——采用反向傳播(BP)學習算法徑向基函數(shù)網(wǎng)絡（RBF）概率神經(jīng)網(wǎng)絡（PNN）……6.2反向傳播多層前饋神經(jīng)網(wǎng)絡反向傳播神經(jīng)網(wǎng)絡結(jié)構(gòu)BP網(wǎng)：Back—Propagation

Neural

Network基于BP誤差反向傳播算法的多層前饋神經(jīng)網(wǎng)絡90％的神經(jīng)網(wǎng)絡應用采用BP主要應用于函數(shù)逼近、模式識別、分類、數(shù)據(jù)壓縮三層BP網(wǎng)絡的典型結(jié)構(gòu)BP算法的兩階段6.2反向傳播多層前饋神經(jīng)網(wǎng)絡6.2.1

反向傳播神經(jīng)網(wǎng)絡結(jié)構(gòu)MLP：有監(jiān)督學習，其BP算法是基于誤差的梯度下降準則（即LMS算法）的一種自然延伸。權(quán)值首先被初始化為隨機值，然后向誤差減小的方向調(diào)整反向傳播：允許對每一個隱單元計算有效誤差，并由此推導出一個輸入層到隱含層權(quán)值的學習規(guī)則第二階段（反向傳播），輸出誤差逐層向前算出隱層各單元的誤差，并用此誤差修正前層權(quán)值第一階段(正向)，輸入信息從輸入層經(jīng)隱層逐層計算各單元的輸出值可以選取為0嗎？為什么？6.2反向傳播多層前饋神經(jīng)網(wǎng)絡反向傳播神經(jīng)網(wǎng)絡結(jié)構(gòu)BP網(wǎng)絡一般有以下兩種應用方式多輸出型BP網(wǎng)絡每一個輸入節(jié)點對應樣本一個特征，而輸出節(jié)點卻只有一個單輸出型BP網(wǎng)絡每一個輸入點對應樣本一個特征，而輸出層節(jié)點數(shù)相應等于類別數(shù)BP網(wǎng)絡的優(yōu)點：學習算法的簡便性、模型選擇的簡易性以及容易嵌入各種啟發(fā)式信息和約束條件6.2反向傳播多層前饋神經(jīng)網(wǎng)絡6.2.2

BP學習算法1.BP學習算法輸入層為M，任一輸入信號用m表示隱層1有I個神經(jīng)元，任一個神經(jīng)元用i表示隱層2有J個神經(jīng)元，任一個神經(jīng)元用j表示輸出層為P，任一輸出信號用p表示隱層J與輸出層P之間的突觸權(quán)值(1)正向傳播過程(The

Forward

Phase)神經(jīng)元輸入輸入層M與隱層I的突觸權(quán)值神經(jīng)元輸出隱層I與隱層J之間的突觸權(quán)值輸出層所有神經(jīng)元的誤差能量總和為6.2反向傳播多層前饋神經(jīng)網(wǎng)絡6.2.2

BP學習算法正向傳播過程(The

Forward

Phase)輸出層第p個神經(jīng)元的誤差信號為6.2反向傳播多層前饋神經(jīng)網(wǎng)絡6.2.2

BP學習算法(2)反向傳播過程(The

Backward

Phase)①隱層J與輸出層P之間的權(quán)值修正量為當激勵函數(shù)為邏輯函數(shù)時，即則下一次迭代時隱層J上任一節(jié)點與輸出層P上任一節(jié)點之間的權(quán)值為6.2反向傳播多層前饋神經(jīng)網(wǎng)絡6.2.2

BP學習算法(2)反向傳播過程(The

Backward

Phase)②隱層I與隱層J之間的權(quán)值修正量為下一次迭代時隱層I上任一節(jié)點與隱層J上任一節(jié)點之間的權(quán)值為其中③輸入層M與隱層I之間的權(quán)值修正量為下一次迭代時輸入層M上任一節(jié)點與隱I上任一節(jié)點之間的權(quán)值為6.2反向傳播多層前饋神經(jīng)網(wǎng)絡6.2.2

BP學習算法2.步驟2.初始化各層權(quán)值1.設置變量和參量。3.隨機輸入樣本X4.對輸入樣本計算滿足要求Yes通過輸出期望和實際輸出計算誤差，與目標值比較判斷不滿足要求判斷n是否到達最大迭代次數(shù)No對輸入樣本反向計算每層的局部梯度計算每層的權(quán)值修正量并修正權(quán)值，迭代次數(shù)自動加1判斷是否已經(jīng)學完所有訓練樣本NoYesEND輸入向量、各層連接權(quán)值、實際輸出量、期望輸出、收斂判斷標準、學習速率、迭代次數(shù)等W(0)：較小的隨機非零值從正向過程計算出每層神經(jīng)元的輸入和輸出信號2.步驟6.2反向傳播多層前饋神經(jīng)網(wǎng)絡6.2.2

BP學習算法3.BP學習算法的局限性和改進方法局限性：平坦區(qū)出現(xiàn)麻痹現(xiàn)象；BP網(wǎng)絡訓練失敗可能性大；網(wǎng)絡結(jié)構(gòu)的選擇無統(tǒng)一而完整的理論指導，只能由經(jīng)驗選定……改進：加入動量法、盡量使用順序訓練代替批處理方式、用奇函數(shù)做激勵函數(shù)、統(tǒng)一輸入信號的模式、充分利用方差和對稱性等先驗信息、統(tǒng)籌調(diào)整神經(jīng)元的學習速度6.3其他神經(jīng)網(wǎng)絡遺傳神經(jīng)網(wǎng)絡1.

遺傳算法（Genetic

Algorithm,

GA）分析 Prof

J.

Holland,

Adaptation

in

Nature

and Artificial

Systems,

1975借鑒生物界自然選擇和自然遺傳機制的隨機化搜索算法6.3.1

遺傳神經(jīng)網(wǎng)絡1.遺傳算法（Genetic

Algorithm,GA）分析標準遺傳算法的描述（Simple

GeneticAlgorithms，簡稱SGA，又稱簡單遺傳算法或基本遺傳算法）,Goldberg提出五大要素：參數(shù)編碼、初始群體的設定、適應度函數(shù)的設計、遺傳操作的設計（選擇、交叉、變異）控制參數(shù)的設定。以編碼空間代替問題的參數(shù)空間，以適應度函數(shù)為評價依據(jù)，以編碼群體為進化基礎，以群體中個體位串的遺傳操作實現(xiàn)選擇和遺傳機制，建立一個迭代過程。在這一過程中，通過隨機重組編碼位串中重要的基因，使新一代的位串集合優(yōu)于老一代的位串集合，群體的個體不斷進化，逐漸接近最優(yōu)解，最終達到求解問題的目的。6.3.1

遺傳神經(jīng)網(wǎng)絡標準遺傳算法的描述1）標準遺傳算法（SGA）的基本流程6.3.1

遺傳神經(jīng)網(wǎng)絡標準遺傳算法的描述1）標準遺傳算法（SGA）的基本流程遺傳算法的特點：群體搜索，易于并行化處理；不是盲目窮舉，而是啟發(fā)式搜索；適應度函數(shù)不受連續(xù)、可微等條件的約束，適用范圍很廣6.3.1遺傳神經(jīng)網(wǎng)絡標準遺傳算法的描述1）標準遺傳算法（SGA）的基本流程遺傳算法的運行過程為一個典型的迭代過程，其必須完成的工作內(nèi)容和基本步驟如下：選擇編碼策略，把參數(shù)集合X和域轉(zhuǎn)換為位串結(jié)構(gòu)空間S；定義適應度函數(shù)F(X)；

確定遺傳策略，包括選擇群體大小n，選擇、交叉、變異方法，以及確定交叉概率PC、變異概率PM等遺傳參數(shù)；隨機初始化生成群體P；計算群體中個體位串解碼后的適應值F(X)；

按照遺傳策略，運用選擇、交叉和變異算子作用于群體，形成下一代群體；

判斷群體性能是否滿足某一指標，或者已完成預定迭代次數(shù)，不滿足則返回步驟f），或者修改遺傳策略再返回步驟f）。6.3.1遺傳神經(jīng)網(wǎng)絡(1)標準遺傳算法的描述2）遺傳算法的幾個術(shù)語a)

編碼b)初始種群c)

適應度函數(shù)d)

選擇算子e)

輪盤賭選擇方法f)

交叉算子g)

變異算子h)

基本位變異算子i)

運行參數(shù)a）編碼GA是通過某種編碼機制把對象抽象為由特定符號按一定順序排成的串。完備性（問題空間的所有可能解都能表示為所設計的基因鏈碼形式）、健全性（任何一個基因鏈碼都對應于一個可能解）和非冗余性（問題空間和表達空間一一對應）二進制編碼（SGA使用）、Gray編碼、動態(tài)編碼、實數(shù)編碼、有序串編碼、多參數(shù)映射編碼、可變長編碼、二維染色體編碼等SGA編碼a）編碼函數(shù)優(yōu)化示例：求一元函數(shù)的最大值，求解結(jié)果精確到6位小數(shù)。由于區(qū)間長度為3，求解結(jié)果精確到6位小數(shù)，因此可將自變量定義區(qū)間劃分為3×106等份。又因為221≤3×106

≤222，所以本例的二進制編碼長度至少需要22位，本例的編碼過程實質(zhì)上是將區(qū)間[-1,2]內(nèi)對應的實數(shù)值轉(zhuǎn)化為一個二進制串BACKb)

初始種群SGA采用隨機方法生成若干個個體的集合，該集合稱為初始種群。初始種群中個體的數(shù)量稱為種群規(guī)模。適應度函數(shù)適應度函數(shù)定義了候選假設的排序準則，并且是以概率方法選擇下一代群體的準則。遺傳算法在優(yōu)化搜索中基本上不用外部信息，僅用適應度函數(shù)為尋優(yōu)依據(jù)。遺傳算法對一個個體（解）的好壞用適應度函數(shù)值來評價，適應度函數(shù)值越大，解的質(zhì)量越好。適應度函數(shù)是遺傳算法進化過程的驅(qū)動力，也是進行自然選擇的唯一標準，它的設計應結(jié)合求解問題本身的要求而定。BACKd)

選擇算子遺傳算法使用選擇運算來實現(xiàn)對群體中的個體進行優(yōu)勝劣汰操作：適應度高的個體被遺傳到下一代群體中的概率大；適應度低的個體，被遺傳到下一代群體中的概率小。選擇操作的任務就是按某種方法從父代群體中選取一些個體，遺傳到下一代群體。SGA中選擇算子采用輪盤賭選擇方法。BACKe) 輪盤賭選擇方法輪盤賭選擇又稱比例選擇算子，它的基本思想是：各個個體被選中的概率與其適應度函數(shù)值大小成正比。設群體大小為n，個體i的適應度為Fi，則個體i被選中遺傳到下一代群體的概率為：輪盤賭選擇方法的實現(xiàn)步驟：計算群體中所有個體的適應度函數(shù)值（需要解碼）；利用比例選擇算子的公式，計算每個個體被選中遺傳到下一代群體的概率；采用模擬賭盤操作（即生成0到1之間的隨機數(shù)與每個個體遺傳到下一代群體的概率進行匹配）來確定各個個體是否被遺傳到下一代群體中。BACKf)

交叉算子交叉算子從兩個雙親串中通過復制選定位產(chǎn)生兩個新的后代。所謂交叉運算，是指對兩個相互配對的染色體依據(jù)交叉概率Pc按某種方式相互交換其部分基因，從而形成兩個新的個體。交叉運算是遺傳算法區(qū)別于其他進化算法的重要特征，它在遺傳算法中起關(guān)鍵作用，是產(chǎn)生新個體的主要方法。SGA中交叉算子采用單點交叉算子。單點交叉運算：交叉后：00000|0000011111100010111100|01110000000010000交叉前：00000|0111000000001000011100|00000111111000101BACKg)

變異算子變異運算：依據(jù)變異概率Pm

將個體編碼串中的某些基因值用其它基因值來替換，從而形成一個新的個體。遺傳算法中的變異運算是產(chǎn)生新個體的輔助方法，它決定了遺傳算法的局部搜索能力，同時保持種群的多樣性。交叉運算和變異運算的相互配合，共同完成對搜索空間的全局搜索和局部搜索。SGA中變異算子采用基本位變異算子。BACKh)

基本位變異算子基本位變異算子是指對個體編碼串隨機指定的某一位或某幾位基因作變異運算。對于基本遺傳算法中用二進制編碼符號串所表示的個體，若需要進行變異操作的某一基因座上的原有基因值為0，則變異操作將其變?yōu)?；反之，若原有基因值為1，則變異操作將其變?yōu)?基本位變異算子的執(zhí)行過程：變異前：0000011100

0000010000變異后：000001110001000010000BACKi)

運行參數(shù)遺傳算法運行參數(shù)有4個，即群體大小M、遺傳運算的終止進化代數(shù)T、交叉概率Pc和變異概率Pm。群體大小M太小時難以求出最優(yōu)解，太大則增長收斂時間。一般M＝30～160。交叉概率Pc太小時難以向前搜索，太大則容易破壞高適應值的結(jié)構(gòu)。一般取Pc=0.25～

0.75。變異概率Pm太小時難以產(chǎn)生新的基因結(jié)構(gòu)，太大使遺傳算法成了單純的隨機搜索。一般取Pm＝0.01～0.2。BACK6.3.1

遺傳神經(jīng)網(wǎng)絡1.遺傳算法（Genetic

Algorithm,GA）分析(2)遺傳算法的原理特點

從問題解的中集開始搜索，而不是從單個解開始；

求解時使用特定問題的信息極少，容易形成通用算法程序；有極強的容錯能力；

選擇、交叉和變異都是隨機操作，而不是確定的精確規(guī)則；具有隱含的并行性。6.3.1

遺傳神經(jīng)網(wǎng)絡1.遺傳算法（Genetic

Algorithm,GA）分析（3）遺傳算法的收斂性分析及改進1）遺傳算法的收斂性分析遺傳算法要實現(xiàn)全局收斂，首先要求任意初始種群經(jīng)有限步驟都能到達全局最優(yōu)解，其次算法必須由保優(yōu)操作來防止最優(yōu)解的遺失。與算法收斂性有關(guān)的因素主要包括種群規(guī)模、選擇操作、交叉概率和變異概率。6.3.1

遺傳神經(jīng)網(wǎng)絡1.遺傳算法（Genetic

Algorithm,GA）分析（3）遺傳算法的收斂性分析及改進1）遺傳算法的收斂性分析遺傳算法要實現(xiàn)全局收斂，首先要求任意初始種群經(jīng)有限步驟都能到達全局最優(yōu)解，其次算法必須由保優(yōu)操作來防止最優(yōu)解的遺失。與算法收斂性有關(guān)的因素主要包括種群規(guī)模、選擇操作、交叉概率和變異概率。6.3.1

遺傳神經(jīng)網(wǎng)絡1.遺傳算法（Genetic

Algorithm,GA）分析（3）遺傳算法的收斂性分析及改進2)遺傳算法的改進對編碼方式的改進對遺傳算子的改進對控制參數(shù)的改進對執(zhí)行策略的改進a）對編碼方式的改進二進制編碼優(yōu)點在于編碼、解碼操作簡單，交叉、變異等操作便于實現(xiàn)，缺點在于精度要求較高時，個體編碼串較長，使算法的搜索空間急劇擴大，遺傳算法的性能降低。格雷編碼克服了二進制編碼的不連續(xù)問題，浮點數(shù)編碼改善了遺傳算法的計算復雜性。對遺傳算子的改進通過進行排序選擇、均勻交叉和逆序變異來達到對遺傳算子的改進。BACKc）對控制參數(shù)的改進Schaffer建議的最優(yōu)參數(shù)范圍是：M

=20~100，T

=100~500，Pc

=0.4~0.9，Pm

=0.001~0.01。Srinvivas等人提出自適應遺傳算法，即Pc和Pm能夠隨適應度自動改變，當種群的各個個體適應度趨于一致或趨于局部最優(yōu)時，使二者增加，而當種群適應度比較分散時，使二者減小，同時對適應值高于群體平均適應值的個體，采用較低的Pc和Pm

，使性能優(yōu)良的個體進入下一代，而低于平均適應值的個體采用較高的

Pc和Pm

，使性能較差的個體被淘汰。BACKd）對執(zhí)行策略的改進采用混合遺傳算法、免疫遺傳算法、小生境遺傳算法、單親遺傳算法和并行遺傳算法等實現(xiàn)對執(zhí)行策略的改進。BACK6.3.1

遺傳神經(jīng)網(wǎng)絡遺傳神經(jīng)網(wǎng)絡遺傳算法在神經(jīng)網(wǎng)絡中的應用主要反映在三個方面：網(wǎng)絡的學習、網(wǎng)絡的結(jié)構(gòu)設計和網(wǎng)絡的分析。遺傳算法在網(wǎng)絡學習中的應用1)學習規(guī)則的優(yōu)化用遺傳算法對神經(jīng)網(wǎng)絡學習規(guī)則實現(xiàn)自動優(yōu)化，從而提高學習速率。2)網(wǎng)絡權(quán)系數(shù)的優(yōu)化用遺傳算法的全局優(yōu)化及隱含并行性的特點提高權(quán)系數(shù)優(yōu)化速度。6.3.1

遺傳神經(jīng)網(wǎng)絡遺傳神經(jīng)網(wǎng)絡遺傳算法在網(wǎng)絡設計中的應用用遺傳算法設計一個優(yōu)秀的神經(jīng)網(wǎng)絡結(jié)構(gòu)，首先是要解決網(wǎng)絡結(jié)構(gòu)的編碼問題；然后才能以選擇、交叉、變異操作得出最優(yōu)結(jié)構(gòu)。編碼方法主要有下列3種：1)直接編碼法這是把神經(jīng)網(wǎng)絡結(jié)構(gòu)直接用二進制串表示，在遺傳算法中，“染色體”實質(zhì)上和神經(jīng)網(wǎng)絡是一種映射關(guān)系。通過對“染色體”的優(yōu)化就實現(xiàn)了對網(wǎng)絡的優(yōu)化。6.3.1

遺傳神經(jīng)網(wǎng)絡遺傳神經(jīng)網(wǎng)絡遺傳算法在網(wǎng)絡設計中的應用2)參數(shù)化編碼法把神經(jīng)網(wǎng)絡結(jié)構(gòu)直接用二進制串表示，在遺傳算法中，“染色體”和神經(jīng)網(wǎng)絡是一種映射關(guān)系。通過對“染色體”的優(yōu)化就實現(xiàn)了對網(wǎng)絡的優(yōu)化。參數(shù)化編碼采用的編碼較為抽象，編碼包括網(wǎng)絡層數(shù)、每層神經(jīng)元數(shù)、各層互連方式等信息。一般對進化后的優(yōu)化

“染色體”進行分析，然后產(chǎn)生網(wǎng)絡的結(jié)構(gòu)。3)繁衍生長法把簡單的生長語法規(guī)則編碼入“染色體”中；然后，由遺傳算法對這些生長語法規(guī)則不斷進行改變，最后生成適合所解的問題的神經(jīng)網(wǎng)絡。與自然界生物地生長進化相一致。6.3.1

遺傳神經(jīng)網(wǎng)絡2.遺傳神經(jīng)網(wǎng)絡（3）遺傳算法在網(wǎng)絡分析中的應用神經(jīng)網(wǎng)絡分析酒類氣體識別實驗中的傳感器陣列的篩選……6.3其他神經(jīng)網(wǎng)絡6.3.2

徑向基函數(shù)神經(jīng)網(wǎng)絡徑向基函數(shù)RBF(RadialBasisFunction)神經(jīng)網(wǎng)絡在一定程度上可以克服局部最小和效率低等問題,在函數(shù)逼近方面與BP神經(jīng)網(wǎng)絡相比有著明顯的優(yōu)勢。1.RBF神經(jīng)網(wǎng)絡拓撲結(jié)構(gòu)RBF神經(jīng)網(wǎng)絡是一種性能良好的三層前向網(wǎng)絡，由輸入層、中間層(隱層)和輸出層組成輸入層僅對數(shù)據(jù)信息進行傳遞,而不進行任何變換。隱層神經(jīng)元的核函數(shù)(或稱作用函數(shù))通常取為高斯函數(shù),對輸入信息進行空間映射變換。輸出層神經(jīng)元的作用函數(shù)為Sigmoid函數(shù),對隱層神經(jīng)元輸出的信息進行線性加權(quán)后輸出,作為網(wǎng)絡的輸出結(jié)果。一般采用監(jiān)督學習的方法訓練神經(jīng)網(wǎng)絡,以確定網(wǎng)絡的中心、寬度和調(diào)節(jié)權(quán)重。6.3.2

徑向基函數(shù)神經(jīng)網(wǎng)絡1.RBF神經(jīng)網(wǎng)絡拓撲結(jié)構(gòu)設輸入層、中間層(隱層)和輸出層的神經(jīng)元數(shù)分別是N、M、R，輸入信息模式（或向量）記為X，則；輸出信息模式（或向量）記為Y，。隱層第j個神經(jīng)元的輸入輸出關(guān)系為：隱層第j個神經(jīng)元的輸出值隱層第j個神經(jīng)元的中心向量，由隱層第j個神經(jīng)元對應于輸入層所有神經(jīng)元的中心分量構(gòu)成，隱層第j個神經(jīng)元的寬度向量，與Cj對應，為歐式范數(shù)6.3.2

徑向基函數(shù)神經(jīng)網(wǎng)絡1.RBF神經(jīng)網(wǎng)絡拓撲結(jié)構(gòu)輸出層神經(jīng)元的輸入輸出關(guān)系表達式為：輸出層第k個神經(jīng)元的輸出值是輸出層第k個神經(jīng)元與隱層第j個神經(jīng)元間的調(diào)節(jié)權(quán)重RBF神經(jīng)網(wǎng)絡具有很強的生物學背景：在人的大腦皮層區(qū)域中，局部調(diào)節(jié)及交疊的感受野（receptivefield）是人腦反應的特點，而隱層神經(jīng)元的核函數(shù)取為高斯函數(shù)時也具有這種特點，核函數(shù)只在某個神經(jīng)元中心周圍的一部分區(qū)域內(nèi)產(chǎn)生較強的反應，體現(xiàn)了大腦皮層的反應特點。6.3.2

徑向基函數(shù)神經(jīng)網(wǎng)絡RBF神經(jīng)網(wǎng)絡拓撲結(jié)構(gòu)關(guān)鍵問題：隱層神經(jīng)元中心參數(shù)的合理確定①直接計算法②自組織學習選取RBF中心法③有導師學習選取RBF中心法④正交最小二乘法選取RBF中心法⑤基于高斯核的RBF學習算法直接計算法：隨機選取RBF中心，是一種最簡單的方法。隱層神經(jīng)元的中心通過來隨機地在輸入樣本中選取，且中心固定。一旦中心固定下來后，隱層神經(jīng)元的輸出便是已知的，這樣神經(jīng)網(wǎng)絡的連接權(quán)值就可以通過求線性方程組來確定。自組織學習選取RBF中心法：一種混合的學習方法。因為RBF中心是可以變化的，通過自組織學習確定其位置，而輸出層的線性權(quán)重通過有監(jiān)督學習來確定。主要采用k-均值聚類法來選擇RBF的中心，屬于無監(jiān)督（導師）的學習方法。有導師學習選取RBF中心法：RBF中心及其它參數(shù)都是通過有導師的學習來確定的。常用的學習迭代方法是梯度下降法。正交最小二乘法選取RBF中心法：思想來源于線性回歸模型。神經(jīng)網(wǎng)絡的輸出實際上是隱層神經(jīng)元某種響應參數(shù)（稱為回歸算子）和隱層-輸出層之間連接權(quán)重的線性組合。所有隱層神經(jīng)元上的回歸算子構(gòu)成回歸向量，正交最小二乘法的任務就是通過神經(jīng)網(wǎng)絡的學習來獲取合適的回歸向量。學習過程主要是回歸向量的正交化過程?；诟咚购说腞BF學習算法:是有監(jiān)督學習選取RBF神經(jīng)網(wǎng)絡中心的學習方法，是最一般的學習形式。在很多實際問題中，RBF神經(jīng)網(wǎng)絡隱層神經(jīng)元的中心并非是某些樣本點或樣本的聚類中心，需要通過學習的方法獲取，使所得到的中心能夠更好地反映訓練集數(shù)據(jù)所包含的信息。6.3.3 概率神經(jīng)網(wǎng)絡PNN一種非參數(shù)的概率密度估計方法首先將訓練樣本歸一化，將連接輸入單元和模式層單元的連接初始化為

，然后從模式層的第一單元到類別層中代表所屬類別的那個單元之間建立一個連接。對剩下的各個模式單元都重復進行得到一個輸入層與模式層之間完全連通，而模式層到類別層之間稀疏連接的網(wǎng)絡。6.3其他神經(jīng)網(wǎng)絡訓練好的網(wǎng)絡就可以用