五種最優(yōu)化方法

1、五種最優(yōu)化方法五種最優(yōu)化方法1、最優(yōu)化方法概述1、1最優(yōu)化問(wèn)題的分類(lèi)1無(wú)約束與有約束條件；2確定性與隨機(jī)性最優(yōu)問(wèn)題變量就是否確定；3線(xiàn)性?xún)?yōu)化與非線(xiàn)性?xún)?yōu)化目標(biāo)函數(shù)與約束條件就是否線(xiàn)性;4靜態(tài)規(guī)劃與動(dòng)態(tài)規(guī)劃解就是否隨時(shí)間變化.1、2最優(yōu)化問(wèn)題的一般形式有約束條件：min fX X巷Ch X = OJ = U.LsLX 'i. 0*i = L2m式中fX稱(chēng)為目標(biāo)函數(shù)或求它的極小,或求它的極大,siX稱(chēng)為不等式約束,hjX稱(chēng)為等式約束.化過(guò)程就就是優(yōu)選 X,使目標(biāo)函數(shù)到達(dá)最優(yōu)值.2、牛頓法2、1簡(jiǎn)介1解決的就是無(wú)約束非線(xiàn)性規(guī)劃問(wèn)題；2就是求解函數(shù)極值的一種方法;3就是一種函數(shù)逼近法.2、2原理

2、與步驟五種最優(yōu)化方法牛頓法的根本思想是.在根小點(diǎn)附近電二階內(nèi)多項(xiàng)式近似目標(biāo)函驗(yàn)一工,進(jìn)而 求出極小點(diǎn)跑估計(jì)值一考慮問(wèn)題乂今j/*1“|卜/一一"> -0符到51臟點(diǎn).記作1網(wǎng)HMi _ R,一八J - T -'"3.2在小陰近,/力之54;因此可用函教職"的破小點(diǎn)作為目標(biāo)函數(shù)的械小 點(diǎn)的估計(jì).如果是/工的極小點(diǎn)的一個(gè)估計(jì)那么利序工工方式可以得到極小點(diǎn)的-八漁步的估計(jì) 這料.利用途低公式4比3.二可以利可 個(gè)序列 可以證實(shí).R條件下,這個(gè)序列收斂彳問(wèn)題S,£IJ的母優(yōu)解,而且是2級(jí)收斂.-X- |4 T' rt l h . J

3、71; _j_ur fc-J- IV JL. m 81dL,u »3、最速下降法梯度法3、1最速下降法簡(jiǎn)介1解決的就是無(wú)約束非線(xiàn)性規(guī)劃問(wèn)題；2就是求解函數(shù)極值的一種方法;3沿函數(shù)在該點(diǎn)處目標(biāo)函數(shù)下降最快的方向作為搜索方向;3、2最速下降法算法原理與步驟五種最優(yōu)化方法最速下降法的迭代公式是M Jt +AM圖.103.10其中護(hù)是從小出發(fā)的搜索方向,這里取在點(diǎn)E處的最速王隆拯b即a =-/,.l是從r出發(fā)沿方向d進(jìn)行一維搜索的步長(zhǎng),即般滿(mǎn)足fx ki +AtdtH = minfjr " +溫,.< 10. L 11計(jì)算步驟如下："M給東初點(diǎn)U允許誤差>0,

4、置2計(jì)算搜索方向dh V/xb.3假設(shè)| du,那么停止計(jì)臬否那么,從出發(fā),沿d進(jìn)行一維搜索,求小使/"+3d"=min/Cr'+比'小 L4令=小+小,置一國(guó)+1親步驟.4、模式搜索法步長(zhǎng)加速法4、1簡(jiǎn)介1解決的就是無(wú)約束非線(xiàn)性規(guī)劃問(wèn)題；2不需要求目標(biāo)函數(shù)的導(dǎo)數(shù),所以在解決不可導(dǎo)的函數(shù)或者求導(dǎo)異常麻煩的函數(shù) 的優(yōu)化問(wèn)題時(shí)非常有效.3模式搜索法每一次迭代都就是交替進(jìn)行軸向移動(dòng)與模式移動(dòng).軸向移動(dòng)的目的就是探測(cè)有利的下降方向,而模式移動(dòng)的目的那么就是沿著有利方向加速移動(dòng).4、2模式搜索法步驟五種最優(yōu)化方法模式搜索法根本原理(A)軸向移動(dòng)用¥表示 每次

5、軸向移動(dòng)的開(kāi)始點(diǎn)稱(chēng)為賽號(hào)點(diǎn). 題-給定的初始點(diǎn).1*題/術(shù)考點(diǎn)X*H- J與+廣一第十I次軸向移動(dòng)結(jié)束時(shí)所得到的點(diǎn).A = 12 假設(shè)卬1)<義工>那么從點(diǎn)出發(fā)咋犢戌移動(dòng),軸向移動(dòng)成功 樵式移動(dòng) 否也,判新是否有瓦< £,第給定的允許候船首祇迭代絳止*軸向移動(dòng)失歐;戰(zhàn)到進(jìn)但廉優(yōu)R* 假設(shè)無(wú),旦/7 =力,那么墉短步乩仍從百小出發(fā)進(jìn)行下 次軸向移動(dòng): 假設(shè)無(wú),且%7 #小,耐從點(diǎn)越出發(fā)用步長(zhǎng)為近行下一次軸向移動(dòng).模式搜索法根本原理1玲模式移動(dòng)從點(diǎn)上出嶷的炮式移動(dòng)懸指以1為生長(zhǎng)沿加逑方向小二與*J -占移型 傅到新的簍考點(diǎn)y = h*h +.= 24“-力,棲后.尿新的

6、我節(jié)點(diǎn)f出發(fā),例“兒為涔長(zhǎng)斑行汨問(wèn)秫由,5、評(píng)價(jià)函數(shù)法5、1簡(jiǎn)介評(píng)價(jià)函數(shù)法就是求解多目標(biāo)優(yōu)化問(wèn)題中的一種主要方法.在許多實(shí)際問(wèn)題中,衡量一個(gè)方案的好壞標(biāo)準(zhǔn)往往不止一個(gè),多目標(biāo)最優(yōu)化的數(shù)學(xué)描述如下：min (f_1(x),f_2(x),、,f_k(x)s 、t、g(x)<=0傳統(tǒng)的多目標(biāo)優(yōu)化方法本質(zhì)就是將多目標(biāo)優(yōu)化中的各分目標(biāo)函數(shù),經(jīng)處理或數(shù)學(xué)變換,轉(zhuǎn)變成一個(gè)單目標(biāo)函數(shù),然后采用單目標(biāo)優(yōu)化技術(shù)求解.常用的方法有五種最優(yōu)化方法“線(xiàn)性加權(quán)與法、“極大極小法、“理想點(diǎn)法.選取其中一種線(xiàn)性加權(quán)求合法 介紹.5、2線(xiàn)性加權(quán)求合法I對(duì)多目標(biāo)規(guī)劃問(wèn)題中的p個(gè)目標(biāo)按其蔻要程度給以適當(dāng)?shù)臋?quán)系數(shù)啊皂.花=12

7、y,且f>,二L然后用 肌回作為新的目標(biāo)函數(shù),成為評(píng)價(jià)1目標(biāo) 函數(shù).再求解問(wèn)題min Mm = S si./ 0/ = L2. m得最優(yōu)解M% 取工. =M作為多目標(biāo)規(guī)劃問(wèn)題的解.6、遺傳算法智能優(yōu)化方法就是通過(guò)計(jì)算機(jī)學(xué)習(xí)與存貯大量的輸入-輸出模式映射關(guān)系,進(jìn)而到達(dá)優(yōu)化的一種方法,主要有人工神經(jīng)網(wǎng)絡(luò)法,遺傳算法與模擬退火法等.6、1遺傳算法根本概念1、個(gè)體與種群個(gè)體就就是模擬生物個(gè)體而對(duì)問(wèn)題中的對(duì)象一般就就是問(wèn)題的解的一種稱(chēng) 呼.種群就就是模擬生物種群而由假設(shè)干個(gè)體組成的群體 ,它一般就是整個(gè)搜索空 間的一個(gè)很小的子集.2、適應(yīng)度與適應(yīng)度函數(shù)適應(yīng)度就就是借鑒生物個(gè)體對(duì)環(huán)境的適應(yīng)程度,而對(duì)問(wèn)題中的個(gè)體對(duì)象所設(shè) 計(jì)的表征其優(yōu)劣的一種測(cè)度.適應(yīng)度函數(shù)就就是問(wèn)題中的全體個(gè)體與其適應(yīng)度之間的一個(gè)對(duì)應(yīng)關(guān)系.該函數(shù)就就是遺傳算法中指導(dǎo)搜索的評(píng)價(jià)函數(shù).6、2遺傳算法根本流程五種最優(yōu)化方法遺傳算法的中央思想就就是對(duì)一定數(shù)量個(gè)體組成的生物種群進(jìn)行選擇、交叉、變異等遺傳操作,最終求得最優(yōu)解或近似最優(yōu)解.遺傳算法步驟步1在搜索空間U上定義一個(gè)適應(yīng)度函數(shù)f(x),給定種群規(guī)模N,交叉率Pc 與變異率Pm代數(shù)T;步2隨機(jī)產(chǎn)生U中的N個(gè)個(gè)體s1, s2,sN