基于最速下降法的改進(jìn)粒子群優(yōu)化算法

基于最速下降法的改進(jìn)粒子群優(yōu)化算法

顆粒群優(yōu)化算法（pso）。同時(shí),在實(shí)際生活和實(shí)踐中,好多問題可以劃歸為相關(guān)函數(shù)的優(yōu)化問題,但是常常是有約束限定條件的,一般都很難直接用標(biāo)準(zhǔn)粒子群優(yōu)化算法來對(duì)這些優(yōu)化問題進(jìn)行求解.通過對(duì)粒子群優(yōu)化算法和差別進(jìn)化算法進(jìn)行比較,將兩者相結(jié)合,提出了一種混合的優(yōu)化算法來求解約束優(yōu)化問題,通過引入不可行解,避免算法在邊界區(qū)域發(fā)生震蕩或者發(fā)散的現(xiàn)象,加強(qiáng)對(duì)邊界區(qū)域的搜索綜述,目前我們采用最多的方法就是單目標(biāo)優(yōu)化問題、多目標(biāo)優(yōu)化問題、懲罰函數(shù)法、增廣Lagrange乘子法等.多目標(biāo)優(yōu)化問題普遍計(jì)算量比較大,一般會(huì)選擇轉(zhuǎn)化為單目標(biāo)優(yōu)化問題或者跟其他方法相結(jié)合的問題;罰函數(shù)作為常用的一種處理約束的方法,有其優(yōu)點(diǎn),也有其缺點(diǎn),我們很難確定合適的懲罰因子,并且參數(shù)的選擇很強(qiáng)烈的影響算法的效果.本文在增廣Lagrange乘子法的基礎(chǔ)上引入最速下降法的粒子群優(yōu)化算法,既保留了增廣Lagrange乘子法與粒子群優(yōu)化算法的優(yōu)點(diǎn),又提高了算法的收斂效率,數(shù)值實(shí)驗(yàn)結(jié)果也表明了所得算法具有較高的收斂效率和優(yōu)化性能.1根據(jù)lagoon積分法的增加和泛化優(yōu)化算法，改進(jìn)的顆粒群優(yōu)化算法1.1增廣lagrange乘子法約束非線性規(guī)劃問題的一般形式如下:在求解過程中,對(duì)于此約束優(yōu)化問題,我們將采用增廣Lagrange乘子法.增廣Lagrange乘子法就是在罰函數(shù)的基礎(chǔ)上引入Lagrange函數(shù),它的核心思想就是在目標(biāo)函數(shù)中加入懲罰項(xiàng),其可以反映是否滿足約束,從而就可以構(gòu)成一個(gè)廣義目標(biāo)函數(shù),于是就可以將約束優(yōu)化問題(1)轉(zhuǎn)變?yōu)槿缦陆缂s束優(yōu)化問題:其中P(x,λ,σ)是增廣Lagrange罰函數(shù).增廣Lagrange乘子法主要分兩個(gè)部分呈現(xiàn),里面的結(jié)構(gòu),我們主要進(jìn)行數(shù)據(jù)的迭代,得到新的一組數(shù)據(jù);在外面我們通過修改相應(yīng)參數(shù)向量、檢查收斂準(zhǔn)則何時(shí)滿足以決定是否終止算法.參數(shù)向量的主要作用就是使得我們算出來的迭代點(diǎn)越來越靠近原問題(1)的駐點(diǎn),如果我們發(fā)現(xiàn)原問題有可行解,那就代表乘子法函數(shù)在應(yīng)用于該問題時(shí)就具有有限收斂性.乘子向量λ和σ初始化時(shí),λ其中當(dāng)稱為可行性度量.參數(shù)修正之后進(jìn)行下一次Lagrange乘子法迭代,每一次迭代所得的點(diǎn)將向子問題最優(yōu)解靠近.在給定誤差條件下,我們需為算法設(shè)置終止條件,對(duì)于子問題(2)的解1.2最速下降法對(duì)界約束極小化問題(2)的求解,可以按照無約束優(yōu)化問題求解目標(biāo)函數(shù)最值,通?？梢圆捎锰荻确?、擬牛頓法、粒子群優(yōu)化算法等,界約束可以在自變量取值時(shí)體現(xiàn).對(duì)于復(fù)雜的高維大規(guī)模問題,一般常用粒子群優(yōu)化算法來求解(粒子初始化時(shí)取值區(qū)間由界約束條件確定),但粒子群優(yōu)化算法和其它群體迭代算法一樣,具有收斂速度慢的缺陷,因此,本文將對(duì)基本粒子群優(yōu)化算法進(jìn)行改進(jìn).基本粒子群優(yōu)化算法將每個(gè)個(gè)體看成n維搜索區(qū)間中的一個(gè)沒有質(zhì)量和體積的粒子,算法對(duì)參數(shù)初始化時(shí)粒子在整個(gè)搜索區(qū)間上隨機(jī)分布,隨著算法迭代的進(jìn)行,粒子群在搜索區(qū)間上不斷移動(dòng).從理論上講,只要迭代次數(shù)足夠多,粒子群必定會(huì)取遍整個(gè)搜索區(qū)間,算法就一定能夠找到問題的全局最優(yōu)解.然而,增加算法的迭代次數(shù)必定會(huì)導(dǎo)致算法運(yùn)行時(shí)間增加,降低算法的效率,而且在粒子群進(jìn)行自身位置更新時(shí),雖然參考當(dāng)前個(gè)體歷史最優(yōu)位置和群體歷史最優(yōu)位置信息,但是由于有隨機(jī)數(shù)的參與,粒子的移動(dòng)方向仍然具有隨機(jī)性,則更新后的新位置不一定比原來位置更優(yōu).如果更新后的新位置比原位置差,這就意味著算法進(jìn)行了一次無意義的迭代,降低了算法的效率.如果在粒子群位置更新時(shí),能夠使粒子按照下降方向?qū)ふ蚁乱粋€(gè)點(diǎn),則不會(huì)存在無意義的迭代情況,算法效率會(huì)有較大提高.無約束優(yōu)化問題的經(jīng)典算法———最速下降法就是從給定初始點(diǎn)出發(fā),利用該點(diǎn)處負(fù)梯度信息尋找下一個(gè)點(diǎn),由于負(fù)梯度方向是粒子下降方向,所以粒子按負(fù)梯度方向?qū)ふ业南乱粋€(gè)點(diǎn)一定比原來點(diǎn)更優(yōu),不會(huì)出現(xiàn)無意義的迭代情況.所以最速下降法能夠快速地找到問題的局部極小值,而不一定能找到全局最小值,尤其對(duì)于多峰函數(shù),最速下降法很難找到問題的全局最優(yōu)解.結(jié)合基本粒子群優(yōu)化算法較強(qiáng)的全局搜索能力和最速下降法計(jì)算量小且容易收斂的優(yōu)點(diǎn),本文將最速下降法引入到基本粒子群優(yōu)化算法.在基本粒子群優(yōu)化算法中,每個(gè)粒子j的位置和速度更新如下:其中,v為搜索方向,其中g(shù)對(duì)最優(yōu)位置p通常根據(jù)Amrijo準(zhǔn)則來求解滿足式(13)的α.按照式(12)迭代求得的局部最優(yōu)解將比基本粒子群優(yōu)化算法得到的p1.3粒子初始編碼1)初始化Lagrange乘子法參數(shù)λ2)借助Lagrange函數(shù)將約束優(yōu)化問題(1)轉(zhuǎn)化為界約束優(yōu)化問題(2);3)初始化粒子群優(yōu)化算法各參數(shù),隨機(jī)產(chǎn)生初始粒子及速度;4)根據(jù)式(9)和式(10)計(jì)算微粒下一代的速度v5)將粒子按照優(yōu)劣排序,并且更新各微粒的個(gè)體歷史最優(yōu)位置p6)選取若干粒子,比如令x7)如果‖d8)令α=1;10)如果11)計(jì)算:令kk=kk+1,返回7);13)對(duì)于選取的其他粒子,重復(fù)采取6)~12)操作;14)判斷最優(yōu)解p15)判斷是否滿足Lagrange乘子法終止條件16)根據(jù)式(5)~式(8)修正Lagrange乘子法參數(shù)λ2增廣lagrange差分進(jìn)化算法測試為了測試本文提出的混合粒子群優(yōu)化算法的數(shù)值效果,我們選取國際上通行的7個(gè)基準(zhǔn)測試問題來進(jìn)行實(shí)驗(yàn)分析,即g01、g05、g06、g07、g09、g11和g13進(jìn)行測試本文采用Matlab2014a實(shí)驗(yàn)平臺(tái)進(jìn)行數(shù)值實(shí)驗(yàn),并對(duì)每個(gè)測試函數(shù)進(jìn)行30次獨(dú)立試驗(yàn).經(jīng)過試驗(yàn)后發(fā)現(xiàn),在運(yùn)算次數(shù)相等的前提下,策略2和策略4的運(yùn)算結(jié)果更加精確,例如對(duì)于g13函數(shù)而言,當(dāng)?shù)?0次時(shí),策略1和策略2的運(yùn)算結(jié)果的平均值僅僅是0.061624和0.063829,而策略2和策略4則分別達(dá)到了0.057和0.05512,因此排除策略1和策略3.對(duì)于策略2和策略4,我們可以對(duì)它們進(jìn)行改進(jìn),在保證結(jié)果精確的情況下,減少運(yùn)算次數(shù).兩種策略改進(jìn)如表2.接下來我們就要對(duì)表2這兩種思路都進(jìn)行實(shí)驗(yàn),設(shè)置Lagrange罰函數(shù)的內(nèi)層粒子群優(yōu)化算法種群規(guī)模N為30.本文采用Matlab2014a實(shí)驗(yàn)平臺(tái)進(jìn)行數(shù)值實(shí)驗(yàn),并對(duì)每個(gè)測試函數(shù)進(jìn)行30次獨(dú)立試驗(yàn),經(jīng)過多次試驗(yàn),我們可得優(yōu)化后的策略4在保證計(jì)算結(jié)果精度的情況下,種群迭代次數(shù)只有100次,是所有策略中種群迭代次數(shù)最低的.因此,策略4是本文要選擇的策略,記為ZK_PSO_SD算法.將增廣Lagrange差分進(jìn)化算法記為ALCODE算法從表3可以看出,經(jīng)7個(gè)測試問題測試,4種算法基本都可以得到最優(yōu)解,但每個(gè)算法均有利弊.對(duì)于問題g01和g11,4種算法都能夠得到最優(yōu)解,而且算法很穩(wěn)定;對(duì)于問題g05,本文算法能夠求得最優(yōu)解,但是另外3種對(duì)比算法都沒能得到最優(yōu)解;對(duì)于問題g06和g07,ALCODE算法、MODE算法和本文算法均能夠穩(wěn)定的得到最優(yōu)解,SR算法雖能求得最優(yōu)解,但從最優(yōu)解平均值看,穩(wěn)定性較差;對(duì)于問題g09,ALCODE算法和MODE算法能夠穩(wěn)定的求得最優(yōu)解,SR算法雖然也能夠得到最優(yōu)解,但穩(wěn)定性不高,有時(shí)也會(huì)陷入局部極值;對(duì)于問題g13,SR算法和本文算法均能夠得到最優(yōu)解,但從最優(yōu)解平均值看,MODE算法和SR算法穩(wěn)定性較低,同時(shí)MODE算法得不到全局最優(yōu)解.從各個(gè)方面分析看,本文算法占絕對(duì)優(yōu)勢.對(duì)于問題g13,本文算法外層循環(huán)迭代次數(shù)僅為3次,內(nèi)層循環(huán)迭代次數(shù)為100次,因此其外層循環(huán)和內(nèi)層循環(huán)總的最大迭代次數(shù)為300次.而種群規(guī)模N為30,每一次粒子群迭代都需要進(jìn)行7次最速下降法求解最小值,所以算法的最大適應(yīng)值評(píng)價(jià)次數(shù)為11100次.ALCODE算法雖然結(jié)果相對(duì)較好,但是算法設(shè)置的適應(yīng)值評(píng)價(jià)次數(shù)為350000次,是本文算法的近32倍,因而ALCODE算法的運(yùn)行時(shí)間將是本文算法的近32倍;MODE算法和SR算法原文沒有給出最大適應(yīng)值評(píng)價(jià)次數(shù),但給出的最大迭代次數(shù)為5800次,是本文算法的近19.4倍.在結(jié)果相差不大的情況下,本文算法運(yùn)行時(shí)間短,性能較優(yōu).總的來說,對(duì)于7個(gè)測試函數(shù),本文提出的ZK_PSO_SD算法均能夠求得全局最優(yōu)解,而且算法的迭代次數(shù)較少,運(yùn)行時(shí)間短,相比其他算法更優(yōu).本文算法引入了最速下降法,克服了粒子群優(yōu)化算法在搜索方向隨機(jī)性這一弊端,提高了種群向最優(yōu)解逼近的速度.這些都表明,該方法是行之有效的.3增廣lagrange乘子法和最速下降法本文在求解約束優(yōu)化問題時(shí),首先利用增廣Lagrange函數(shù)作為價(jià)值函數(shù),將約束優(yōu)化問題轉(zhuǎn)化為界約束優(yōu)化問題,然后再利用粒子群優(yōu)化算法求解界約束優(yōu)化子問題.