改進粒子群算法的過程神經元網(wǎng)絡訓練

改進粒子群算法的過程神經元網(wǎng)絡訓練

pn模型的輸入層有一個n個節(jié)點。中間隱藏層包含m個過程節(jié)點，激勵函數(shù)為f。輸出層是一個非時變時間的節(jié)點，激勵函數(shù)為g，tj是隱藏過程的閾值，t是輸出閾值。x1(t),x2(t),…,xn(t)(t∈[0,T])為PNN的時變輸入函數(shù),wij(t)為連接權函數(shù)。網(wǎng)絡輸入與輸出之間關系為:y=g{m∑j=1vjf[∫Τ0(n∑i=1wij(t)xi(t))dt-θj]-θ}y=g{∑j=1mvjf[∫T0(∑i=1nwij(t)xi(t))dt?θj]?θ}(9)3qps-pn學習算法3.1pnn網(wǎng)絡輸入與輸出之間的映射關系為表述方便,算法描述的是如圖1所示的具有一個隱層的PNN網(wǎng)絡模型,并設輸出神經元的閾值θ=0,算法可推廣到多個隱層的情況。對于式(9)所描述的PNN網(wǎng)絡模型,在C[0,T]空間中選取一組勒讓德正交函數(shù)基b1(t),b2(t),…,bl(t),…,對于網(wǎng)絡的輸入函數(shù)X(t)=(x1(t),x2(t),…,xn(t))和網(wǎng)絡連接權函數(shù)wij(t)在滿足擬合精度的條件下進行有限項展開:xi(t)=L∑l=1a(l)ibl(t)xi(t)=∑l=1La(l)ibl(t)(10)wij(t)=L∑l=1w(l)ijbl(t)wij(t)=∑l=1Lw(l)ijbl(t)(11)其中,L為滿足輸入函數(shù)擬合精度要求的基函數(shù)的項數(shù),a(l)i(l)i為xi(t)相對于bl(t)的展開系數(shù),w(l)ij(l)ij為wij(t)相對于bl(t)的展開系數(shù)。把式(10)、式(11)代入式(9),并根據(jù)基函數(shù)的正交特性整理,則含一個過程神經元隱層的PNN網(wǎng)絡的輸入與輸出之間的映射關系為:y=g[m∑j=1vjf(n∑i=1L∑l=0w(l)ijail-θj)]y=g[∑j=1mvjf(∑i=1n∑l=0Lw(l)ijail?θj)](12)式(12)中,vj,w(l)ij(l)ij,θj為PNN網(wǎng)絡在訓練過程中的調整參數(shù),其中i=1,2,…,n,j=1,2,…,m,對于給定的K個獨立同分布的學習樣本{Xk(t),dk}(k=1,2,…,K),其中第k個樣本輸入函數(shù)為Xk(t)=(x(k)1(k)1(t),x(k)2(k)2(t),…,x(k)n(k)n(t)),期望輸出為dk。待定參數(shù)的數(shù)量為n×L×m+2m個。誤差函數(shù)可定義為:E=Κ∑k=1(yk-dk)2=Κ∑k=1{g[m∑j=1vjf(n∑i=1L∑l=1w(l)ijail-θj)]-dk}2(13)E=∑k=1K(yk?dk)2=∑k=1K{g[∑j=1mvjf(∑i=1n∑l=1Lw(l)ijail?θj)]?dk}2(13)3.2解空間變換映射步驟1粒子群初始化:按式(1)的編碼方式,對于式(12)的待定的PNN參數(shù),隨機產生γ個粒子組成初始群體,設定最大進化代數(shù)max_gen,限定誤差max_E,置當前代數(shù)t=0;步驟2按式(4)、式(5)進行解空間變換,由單位空間[-1,1]N映射到實際問題的解空間[a,b]N;步驟3計算每個粒子的適應度。適應度函數(shù)可以按照式(13)來構造,考慮適應度的實際意義,并取誤差函數(shù)倒數(shù)。步驟4若粒子目前位置pi優(yōu)于自身記憶的最優(yōu)位置pil,則用目前位置替換;若目前全局最優(yōu)位置pgd優(yōu)于到目前為止搜索到的全局最優(yōu)位置pg,則用目前全局最優(yōu)位置替換;步驟5按式(6)、式(7)完成粒子狀態(tài)的更新;步驟6對每個粒子按照變異概率,采用式(8)的方法進行變異;步驟7返回步驟2循環(huán)計算,直到滿足收斂條件或代數(shù)達到最大限制。4網(wǎng)絡模型仿真實驗2.為驗證QPSO-PNN算法的有效性,實驗采用PNN實現(xiàn)兩組二維三角函數(shù)的模式映射問題,將選用的PNN使用勒讓德基函數(shù)進行輸入函數(shù)和權函數(shù)的展開,用QPSO-PNN實現(xiàn)對PNN的待定參數(shù)的訓練,并同文獻提出的正交基BP算法(記為BP-PNN)、文獻的PSO算法進行PNN訓練算法(記為PSO-PNN)進行對比。第一組:{(sin(2π(x-0.1)),cos(2π(x-0.1)),0.5),(sin(2π(x-0.15)),cos(2π(x-0.15)),0.5),(sin(2π(x-0.2)),cos(2π(x-0.2)),0.5)。?????(sin(2π(x?0.1)),cos(2π(x?0.1)),0.5),(sin(2π(x?0.15)),cos(2π(x?0.15)),0.5),(sin(2π(x?0.2)),cos(2π(x?0.2)),0.5)。第二組:{(1.5sin(2.2π(x-0.1)),0.5cos(1.8π(x-0.1)),1),(1.5sin(2.2π(x-0.15)),0.5cos(1.8π(x-0.15)),1),(1.5sin(2.2π(x-0.2)),0.5cos(1.8π(x-0.2)),1)。?????(1.5sin(2.2π(x?0.1)),0.5cos(1.8π(x?0.1)),1),(1.5sin(2.2π(x?0.15)),0.5cos(1.8π(x?0.15)),1),(1.5sin(2.2π(x?0.2)),0.5cos(1.8π(x?0.2)),1)。三種算法采用相同的網(wǎng)絡結構參數(shù),輸入節(jié)點:n=2,隱層節(jié)點:m=8,輸出節(jié)點:p=1,通過試探法確定的勒讓德基函數(shù)的項數(shù)L=16,誤差精度ε=0.05,最大迭代步數(shù):1000,粒子群規(guī)模:30,量子位數(shù)就是式(12)所表示的PNN網(wǎng)絡模型中待定參數(shù)的數(shù)量:n×L×m+2m=2×16×8+2×8=272位,轉角初值:0.01π,權值和閾值的取值空間[-10,10]。對于BP-PNN中的學習速度:α=β=γ=0.05,慣性系數(shù):η=0.1。分別用三種算法進行10次PNN訓練,記錄各自的收斂次數(shù)、迭代步數(shù)及訓練誤差等對比指標,對比結果見表1、圖3、圖4。在進行仿真過程中,當PNN網(wǎng)絡結構確定后,待定參數(shù)高達272個,因此該PNN的訓練屬于高維優(yōu)化問題。BP-PNN算法由于自身的缺陷,容易陷入局部最小,并且需要計算復雜的梯度信息,因此計算量大,收斂速度較慢并且收斂次數(shù)較少,10次訓練過程中僅有6次收斂。PSO-PNN算法由于PSO自身的容易產生早熟收斂、收斂速度較慢的特性,相比BP-PNN仍然有2次不收斂。QPSO-PNN采用的雙鏈編碼機制,具有較強的全局搜索能力,同時采用量子旋轉門進行量子的更新,不需要計算復雜的梯度信息,因此收斂次數(shù)、收斂速度等指標都明顯優(yōu)于其他兩種算法。5優(yōu)化效率比較本文對于輸入為過程、輸出為實值向量的過程神經元網(wǎng)絡的訓練問題,提出了一種改進粒子群的學習算法。該算法能充分發(fā)揮量子粒子群的全局收斂性和群體搜索能力。同時,每個粒子采用雙鏈編碼方式,對應優(yōu)化問題的兩個解,在粒子數(shù)目相同時,可顯著提高搜索效率。仿真實驗表明,該算法與PSO-PNN相比,優(yōu)化效率有明顯改善,與正交基展開后的BP-PNN算法相比,不僅收斂速度快,而且尋優(yōu)能力強。同時,需要注意的是,合理確定QPSO中粒子各維度的搜索范圍是其需要解決好的問題,應根據(jù)具體問題的先驗知識進行合理分析,使得QPSO-PNN算法更好的在實際中進行應用。1qpso算法的改進過程神經元網(wǎng)絡(ProcessNeuralNetwork,PNN)是近幾年提出的一種新的人工神經網(wǎng)絡模型,輸入/輸出均可為時變函數(shù),聚合運算可同時反映多輸入時變信號的空間聚合和對時間過程效應的累積。由于具有對連續(xù)泛函的可逼近性和連續(xù)性,對于非線性動態(tài)系統(tǒng)建模、時變信號處理等問題的解決具有良好的適應性。對于過程神經元網(wǎng)絡的訓練問題,文獻中給出了基于梯度下降與數(shù)值計算相結合的學習算法。過程神經元要完成對于時間的聚合運算,因這種算法計算量大并且復雜。文獻提出了基于正交基展開的學習算法,利用基函數(shù)的正交性,有效簡化了時域聚合運算;但在進行基函數(shù)展開后,利用梯度下降法,存在對初值敏感、容易早熟,需要計算復雜的梯度信息等缺點。粒子群優(yōu)化算法(ParticleSwarmOptimization,PSO)是由Eberhart博士和Kennedy博士提出的一種新的全局進化算法,源于對鳥類捕食行為的模擬。PSO算法在實際應用中容易產生早熟收斂、尋優(yōu)能力較差、收斂速度較慢等問題。為解決早熟收斂問題,慣性權重法、自適應變異法等改進方法先后被提出,但這些改進不同程度地降低了收斂速度。本文結合新近提出的量子計算理論,在文獻的基礎上,對粒子群算法進行改進,設計一種雙鏈結構的量子粒子群優(yōu)化算法(QuantumParticleSwarmOptimization,QPSO),采用量子位對粒子的當前位置進行編碼,用量子旋轉門進行粒子位置的移動,為增加群體的多樣性,有效避免早熟,用量子非門實現(xiàn)粒子變異。同時針對過程神經元網(wǎng)絡PNN的高維訓練問題,讓每個粒子的量子位有兩個概率幅,在粒子數(shù)目相同時,提高了算法的搜索能力。以兩組二維三角函數(shù)的模式分類問題為例,驗證了算法的有效性,仿真結果表明QPSO-PNN算法可充分利用QPSO的群體搜索能力和全局收斂性,并適用于高維數(shù)量空間連續(xù)優(yōu)化求解,并有效克服現(xiàn)有BP算法對初始點敏感的問題,降低原有算法的復雜度,提高過程神經元網(wǎng)絡的穩(wěn)定性。在很多情況下,普通的PSO算法容易陷入局部最小,出現(xiàn)早熟。主要歸因于種群在搜索空間中的多樣性的丟失。本文在改進后的QPSO中,引入變異算子的目的是為了增加種群的多樣性,避免早熟收斂。變異操作由量子非門實現(xiàn),同時粒子位置的移動由量子旋轉門實現(xiàn)。因此,普通PSO中粒子移動速度的更新轉變?yōu)榱孔有D門角的更新,粒子位置的更新轉變?yōu)榱Ｗ由狭孔游桓怕史母隆?.1random算法在QPSO中,直接采用量子位的概率幅作為粒子當前位置的編碼,采用如下編碼方案:式(1)中θij=2πRandom,Random是(0,1)之間的隨機數(shù),i=1,2,…,m,j=1,2,…,n,m是種群規(guī)模,n是空間維數(shù)。在這種編碼方案中,種群中的每個粒子占據(jù)遍歷空間中兩個位置,它們分別對應量子態(tài)|0>和|1>的概率幅為:為表述方便,稱pic為余弦位置,pis為正弦位置。1.2量子態(tài)的一般概率幅在QPSO中,由于粒子的遍歷空間每維均為單位空間[-1,1],為計算粒子目前位置的優(yōu)劣性,需要進行解空間的變換。將每個粒子占據(jù)的2個位置由單位空間I=[-1,1]n映射到優(yōu)化問題的解空間。粒子上量子位的每個概率幅對應解空間的一個優(yōu)化變量。記粒子pj上第i個量子位為[αji,βji]T,則相應的解空間變量為:因此,每個粒子對應優(yōu)化問題的兩個解,其中量子態(tài)|0>的概率幅αji對應Xjic;量子態(tài)|1>的概率幅βji對應Xjis。1.3粒子狀態(tài)更新設粒子pi當前搜索到的最優(yōu)位置為余弦位置:整個種群目前搜索到的最優(yōu)位置為:基于以上假設,粒子狀態(tài)更新規(guī)則可描述為:1.3.1粒子pi上量子位幅角增量的更新式(6)中:1.3.2rand&pm方法1.4變異處理首先給定變異概率pm,對每個粒子賦值一個(0,1)之間的隨機數(shù)randi,若randi<pm,則隨機選擇該粒子中n/2個量子位,用量子非門交換兩個