利用云模型和遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)權(quán)值

1、利用云模型和遺傳算法優(yōu)化 BP神經(jīng)網(wǎng)絡(luò)權(quán)值摘 要：標(biāo)準(zhǔn)BP算法主要根據(jù)訓(xùn)練樣本確定神經(jīng)網(wǎng)絡(luò)的權(quán)值，由于BP算法采用沿梯度下降的搜索算法，因而其結(jié)果對初始權(quán)值非常敏 感，收斂速度慢，易陷入局部極小。結(jié)合正態(tài)云模型云滴的隨機性和 穩(wěn)定傾向性，以及遺傳算法的全局搜索能力，收斂速度快等特性優(yōu)化 神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值。分類實驗結(jié)果表明，該算法比標(biāo)準(zhǔn)BP算法收斂速度快，分類正確率高。關(guān)鍵詞：云模型；遺傳算法；標(biāo)準(zhǔn) BP算法；神經(jīng)網(wǎng)絡(luò)0引言BP算法(Back Propogation Algorithm)是目前應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，但由于BP算法采用沿梯度下降的搜索算法，因而其 結(jié)果對初始權(quán)值非常敏

2、感，不同的初始權(quán)值可能導(dǎo)致不同的結(jié)果以及 易陷入局部極小等問題。本文結(jié)合遺傳算法的高度并行、隨機、自適 應(yīng)的全局性概率搜索以及正態(tài)云模型云滴的隨機性和穩(wěn)定傾向性特 點優(yōu)化神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值。 該算法中的交叉概率、變異概率由X 條件云發(fā)生器產(chǎn)生。1優(yōu)化原理先利用神經(jīng)網(wǎng)絡(luò)試探出最好的網(wǎng)絡(luò)隱層結(jié)點數(shù)， 再利用本文提出 的算法調(diào)整網(wǎng)絡(luò)的權(quán)值以及閾值，然后再用調(diào)整好的權(quán)值和閾值進行 分類。編碼：對于包含一層隱藏層模式為m-n-l多層神經(jīng)網(wǎng)絡(luò)共有 q=m*n+n*l+n+l個權(quán)值和閾值需要優(yōu)化，其中 m為輸入層結(jié)點數(shù)，n 為隱藏層結(jié)點數(shù)，I為輸出層結(jié)點數(shù)。將這q個權(quán)值和閾值記為 W=(W1, W2,W

3、q),采用實數(shù)編碼，將行向量 W看作是一條染色體，而其中每個實數(shù) Wi(i=1,2,q)是染色體的一個基因位。選擇算子：采用輪盤賭和精英保留選擇策略。每個染色體產(chǎn)生后 代的數(shù)目正比于它的適應(yīng)度值的大小，并且每一代中染色體的總數(shù)保 持不變，這種方法也稱為輪盤賭選擇。假設(shè)群體的大小為n,個體Ai的適應(yīng)度值為f(Ai)，則個體A i被選擇的概率P(Ai)為：P(A i)=f(A i)刀 ni=1f(A i)交叉算子：隨機產(chǎn)生二串長度為 q的二進制串，設(shè)有兩個父代，P=(P 1,P2,P q)以及 M=(M 1,M2,M q),采用下面的方式得到兩個子代：C=(C 1,C2,C q)和D=(D 1,D

4、2, ,D q),用其中的一個二進制串產(chǎn)生子代 C,用另一個二進 制串產(chǎn)生子代D。具體方法如下：如果對應(yīng)二進制位為 1,則C i 為P i，對應(yīng)二進制位為0,則C i為M i ;如果對應(yīng)二進制 位為1,則D i為M i，對應(yīng)二進制位為0,則D i為P i。交叉概率Pc由云模型產(chǎn)生，公式如下：Ex= En=(fmax -)/C1 He=E n/c 2En /二RANDN(En,He)p c=k 1e -(f' -Ex) 22(En )2 f > =k 3f'v變異算子：采用非一致性變異算子，設(shè)父代W=(W 1W2,W q),W i被選出來作變異，若權(quán)值的變化范圍是(LW,H

5、W), 則變異結(jié)果為：WW =W 1,W 2,WWi,W q,其中 W'i=W i+(T (t,HW-Wi)W i- ° (t,W i-LW) , t 是群體演化的代數(shù)，(T (t,n )=n *(1-r(1-tT) b是一個在范M(0, n )內(nèi)取值的函數(shù)，T是演化的最大代數(shù)，b是系統(tǒng)參數(shù)，一般取2。變異概率pm公式如下：Ex= En=(fmax -)/c1 He=En /c 2En /二RANDN(En,He)p m=k 2e -(f-Ex)22(En ) 2 f > =k 4f'v交叉概率和變異概率中的為群體的平均適應(yīng)度，fmax為榔體的員大適戒度f為變異

6、個體的適應(yīng)度，fW為兩交叉?zhèn)€體中 的最大適應(yīng)度值，c i(i=1,2)和k i(i=1,2,3,4)為控制參數(shù)，c 1 用來控制云的陡峭程度，根據(jù)“ 3 En "規(guī)則，-般氓3附近的 值，c 2用來控制云層的厚度，一般取10附近的值；k i可取01 之間的常數(shù)。適應(yīng)度函數(shù)：遺傳算法搜索目標(biāo)是所有進化代中使網(wǎng)絡(luò)的誤差平 方和的最小的網(wǎng)絡(luò)權(quán)重，而遺傳算法只能朝著使適應(yīng)度函數(shù)值增大的 方向進化，所以，可以根據(jù)產(chǎn)生的權(quán)值和閾值所對應(yīng)的神經(jīng)網(wǎng)絡(luò)計算 出 BP 網(wǎng)絡(luò)的誤方*方和，適應(yīng).度因數(shù)采川諜芾的倒數(shù)即:E(X i)=12k 刀 kp=1 刀 lg=1(spg -y i pg ) 2,f(X

7、 i)=1E(X i) Jy i pg為諭入.笫p個訓(xùn)練樣本時第g 個輸出結(jié)點的輸出值；s pg 為期壘Kt輸出值；k為訓(xùn)練樣本個 數(shù)；l為輸出層的個數(shù)，i=1,2,丄；L為種群規(guī)模。算法具體步驟如圖1所示：2實驗結(jié)果采用 /ml/datasets.html 上提供的數(shù)據(jù)集(Balanee Scale),該數(shù)據(jù)集共有625條記錄，每條記錄有四個數(shù)字屬 性和一個類標(biāo)號屬性，在 VC 6.0的環(huán)境下進行了分類實驗。按照文 獻 3 和同的條件實驗屮川525個實例作為訓(xùn)練數(shù)據(jù)，用100 個實例作為測試數(shù)據(jù)。按每個屬性對應(yīng)一個輸入神經(jīng)元，則神經(jīng)網(wǎng)絡(luò) 的輸

8、入單元數(shù)為4,由于類標(biāo)號屬性的取值有3個，所以輸出神經(jīng)元 數(shù)為3,隱層單元數(shù)人工調(diào)節(jié)，對隱藏層為210的情況進行了實驗， 其中隱藏層為6時獲得最好的效果。本算法實驗結(jié)果與文獻3的實驗納只對比情況如表1所示。3算法分析遺傳算法是智能優(yōu)化算法的一種，它是基于自然選擇和遺傳變異等生物進化機制而發(fā)展起來的高度并行、隨機、自適應(yīng)的全局性概率搜索算法。由于要維持具有一定規(guī)模的群體，遺傳算法必須同時處理搜索空間中的若干點而不像梯度下降算法那樣只處理單點，從而有助于搜索全局最優(yōu)點，免于陷 入局部最小。本文中的算法91%93%95%98%遺傳算法的參數(shù)中交叉概率和變異概率的選擇是影響遺傳算法行為和性能的關(guān)鍵所在

9、，直接影響算法的收斂性。交叉概率越大，新 個體產(chǎn)生的速度就越快。然而，當(dāng)交叉概率過大時，遺傳模式被破壞 的可能性也越大，使得具有高適應(yīng)度的個體結(jié)構(gòu)很快就會被破壞； 但 是如果交叉概率過小，會使搜索過程緩慢，以至停滯不前。對于變異 概率，如果變異概率過小，就不易產(chǎn)生新的個體結(jié)構(gòu)；如果變異概率 取值過大，那么遺傳算法變成了純粹的隨機搜索算法。由X 條件云發(fā)生器產(chǎn)生自適應(yīng)交叉概率和變異概率， 這樣在一定程度上保證 群體的多樣性，避免早熟，提高其全局搜索能力。實驗結(jié)果表明，該 算法利用了正態(tài)云模型云滴的隨機性和穩(wěn)定傾向性特點，結(jié)合遺傳算法訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)，取得了比標(biāo)準(zhǔn)BP算法更優(yōu)的結(jié)果。4結(jié)束語本文將

10、云模型和遺傳算法結(jié)合優(yōu)化神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值取得了 比較好的結(jié)果，后面的研究方向是如何利用云模型來調(diào)整BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)率，如何利用本文中提到的算法進行實際應(yīng)用， 也是一個值 得研究的問題。參考文獻:1劉常昱，李德毅，杜鹢，等正態(tài)云模型的統(tǒng)計分析J 信息 與控制 ,2005(2).2 ZHU YUNFANG ,DAI CHAOHUA, CHEN WEIRONG , et aj.Adaptive probabilities of crossover and mutation in genetic algorithms based on cloud generators J .Journal of Computational Information Systems,20