(完整word版)五種最優(yōu)化方法

1、五種最優(yōu)化方法1. 最優(yōu)化方法概述1.1最優(yōu)化問(wèn)題的分類(lèi)1)無(wú)約束和有約束條件;2）確定性和隨機(jī)性最優(yōu)問(wèn)題（變量是否確定）3）4）靜態(tài)規(guī)劃和動(dòng)態(tài)規(guī)劃（解是否隨時(shí)間變化）。線性?xún)?yōu)化與非線性?xún)?yōu)化（目標(biāo)函數(shù)和約束條件是否線性）1.2最優(yōu)化問(wèn)題的一般形式（有約束條件）min f(X)XeQh0) = Ojf L "Si(X)>Oj = U嚴(yán)m(xù)式中f（X）稱(chēng)為目標(biāo)函數(shù)（或求它的極小，或求它的極大），si（X）稱(chēng)為不等式約 束，hj（X）稱(chēng)為等式約束?；^(guò)程就是優(yōu)選 X，使目標(biāo)函數(shù)達(dá)到最優(yōu)值。2. 牛頓法 2.1簡(jiǎn)介 1）解決的是無(wú)約束非線性規(guī)劃問(wèn)題;2）是求解函數(shù)極值的一種方法;3）是一

2、種函數(shù)逼近法。2.2原理和步驟牛頓法的本思想丿茁 在扱水點(diǎn)附近用-階TayLnr 頂式近似口標(biāo)函數(shù)ill而 求出極小點(diǎn)的佔(zhàn)計(jì)値.考老問(wèn)題）丄十討 Sf 子一乂令/Cj >_<J'占'、 門(mén)*、< J符到2）的驗(yàn)點(diǎn)也作側(cè)t 9. 3. 2)> H =嚴(yán) _ / W * 丁-在點(diǎn)，I附近.f p疋和丙此町用數(shù)汁門(mén)的扱小點(diǎn)作為忖標(biāo)俅I蠱fj訃的極小 點(diǎn)的估計(jì)，如里是f上）的極小點(diǎn)的 個(gè)估計(jì).那么利njt9,3.2）S可且得到極小點(diǎn)的 '個(gè)進(jìn) 步的估比 送祐 利皿送代公式（g.32）町以陽(yáng)到 個(gè)序列 wr.可以啞叨"也 就決件卜'這個(gè)用

3、列收斂于問(wèn)題（U 的就優(yōu)執(zhí)朗堤2級(jí)收斂.L1 wH-n 4"，- .->= -i- 癥-trR nA t1-U- t h3. 最速下降法（梯度法）3.1最速下降法簡(jiǎn)介1)解決的是無(wú)約束非線性規(guī)劃問(wèn)題;2）是求解函數(shù)極值的一種方法;3）沿函數(shù)在該點(diǎn)處目標(biāo)函數(shù)下降最快的方向作為搜索方向:3.2最速下降法算法原理和步驟就速下降法的迭代公式是”卜“二X屮T Jd丸中rf-是從龍-出發(fā)的捜索方向，這里取在點(diǎn)F昇處的Jia正隧方亂Gu （T =可（*）（KU.11）兒是從X" HJ發(fā)沿方向右進(jìn)彳亍一®搜索的步長(zhǎng)，即A#滿(mǎn)足八汕+ "5 - min/Cx&quo

4、t;* -矽5訃算步驟如下：“f 1）繪宦初點(diǎn)X I t，允許誤差0= h （?）訃算搜索方向滬、=W"L則停止訃算;否則，從於和出發(fā),沿d進(jìn)行一維搜索”求扎，使損卅川）=inin/fx'*' +泌側(cè)）.）若II廣III2令#'畀壬八置左U晞，轉(zhuǎn)步驟4. 模式搜索法（步長(zhǎng)加速法）4.1簡(jiǎn)介1）解決的是無(wú)約束非線性規(guī)劃問(wèn)題；2）不需要求目標(biāo)函數(shù)的導(dǎo)數(shù)，所以在解決不可導(dǎo)的函數(shù)或者求導(dǎo)異常麻煩的函 數(shù)的優(yōu)化問(wèn)題時(shí)非常有效。3）模式搜索法每一次迭代都是交替進(jìn)行軸向移動(dòng)和模式移動(dòng)。軸向移動(dòng)的目的是探測(cè)有利的下降方向，而 模式移動(dòng)的目的則是沿著有利方向加速移動(dòng)。4.2模式

5、搜索法步驟模式搜索法基本原理（加軸向移動(dòng)用y表示每次軸向移動(dòng)的開(kāi)始點(diǎn)稱(chēng)為券考點(diǎn)心給定的初始點(diǎn).初始參警點(diǎn)工坯產(chǎn)y第Ar+i次軸向移動(dòng)結(jié)束時(shí)所得到的點(diǎn)若/巧叭/（工聞從點(diǎn)如出發(fā)作樓式坯跡.軸向#多動(dòng)版功4 模式移動(dòng)軸向移動(dòng)失政：若無(wú)，且斗.1 = 5則第短步長(zhǎng).仍從點(diǎn)工，出發(fā)進(jìn)行T -次抽向移動(dòng)¥若無(wú)且工小工斗，則從點(diǎn)Jt*岀發(fā)用步旳進(jìn)行下一次軸囪移動(dòng)否民L判斷是否有e夷蛉定的允許悽花）？若有選代終止； 找到近似歌優(yōu)解模式搜索法基本原理（B）模式移動(dòng)從點(diǎn)航粒出發(fā)的盛武移動(dòng)是指以1為步枕沿加速方向町=- X*移動(dòng) 得到新的參考點(diǎn)y =巧壯 + S = 2嶺*1 - Ju然后'從新

6、的需考點(diǎn)出發(fā)，仍以札丸步長(zhǎng)進(jìn)袖向移動(dòng).5. 評(píng)價(jià)函數(shù)法5.1簡(jiǎn)介評(píng)價(jià)函數(shù)法是求解多目標(biāo)優(yōu)化問(wèn)題中的一種主要方法。在許多實(shí)際問(wèn)題中， 衡量一個(gè)方案的好壞標(biāo)準(zhǔn)往往不止一個(gè)，多目標(biāo)最優(yōu)化的數(shù)學(xué)描述如下:min (f_1(x),f_2(x),.,f_k(x) s.t. g(x)<=0傳統(tǒng)的多目標(biāo)優(yōu)化方法本質(zhì)是將多目標(biāo)優(yōu)化中的各分目標(biāo)函數(shù),經(jīng)處理或數(shù)學(xué)變換，轉(zhuǎn)變成一個(gè)單目標(biāo)函數(shù)，然后采用單目標(biāo)優(yōu)化技術(shù)求解。 常用的方法有“線性加權(quán)和法”、“極大極小法”、“理想點(diǎn)法”。選取其中一種線性加權(quán)求合法 介紹。5.2線性加權(quán)求合法對(duì)多目標(biāo)規(guī)劃問(wèn)題中的P個(gè)目標(biāo)按其重要程度給 以適當(dāng)?shù)臋?quán)系數(shù)倒叮二12宀且X化二

7、1然后用hM壬3作為新的目標(biāo)函數(shù)，成為評(píng)價(jià)（目標(biāo)）-1函數(shù)，再求解問(wèn)題min -工=1得最憂解工叫 取A -工作為多目標(biāo)規(guī)劃問(wèn)題的解.6. 遺傳算法智能優(yōu)化方法是通過(guò)計(jì)算機(jī)學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，進(jìn)而達(dá)到優(yōu)化的一種方法，主要有人工神經(jīng)網(wǎng)絡(luò)法，遺傳算法和模擬退火法等。6.1遺傳算法基本概念 1.個(gè)體與種群個(gè)體就是模擬生物個(gè)體而對(duì)問(wèn)題中的對(duì)象 （一般就是問(wèn)題的解）的一種稱(chēng)呼。種群就是模擬生物種群而由若干個(gè)體組成的群體，它一般是整個(gè)搜索空間的一個(gè)很小的子集。2.適應(yīng)度與適應(yīng)度函數(shù)適應(yīng)度就是借鑒生物個(gè)體對(duì)環(huán)境的適應(yīng)程度，而對(duì)問(wèn)題中的個(gè)體對(duì)象所設(shè)計(jì) 的表征其優(yōu)劣的一種測(cè)度。適應(yīng)度函數(shù)就是問(wèn)題中的全體個(gè)體與其適應(yīng)度之間的一個(gè)對(duì)應(yīng)關(guān)系。 該函數(shù)就是遺傳算法中指導(dǎo)搜索的評(píng)價(jià)函數(shù)。6.2遺傳算法基本流程C結(jié)束J遺傳算法的中心思想就是對(duì)一定數(shù)量個(gè)體組成的生物種群進(jìn)行選擇、交叉、變異等遺傳操作，最終求得最優(yōu)解或近似最優(yōu)解。遺傳算法步驟步1在搜索空間U上定義一個(gè)適應(yīng)度函數(shù)f(x)，給定種群規(guī)模N,交叉率Pc和變異率Pm代數(shù)T；步2隨機(jī)產(chǎn)生U中的N個(gè)個(gè)體s1, s2,sN