零階優(yōu)化和一階優(yōu)化算法

1、零階優(yōu)化和一階優(yōu)化算法零階優(yōu)化方法和一階優(yōu)化方法通過對目標(biāo)函數(shù)逼近或?qū)δ繕?biāo)函數(shù)加罰函數(shù)的方法將約束的優(yōu)化問題轉(zhuǎn)換為非約束的優(yōu)化問題。兩種算法的主要區(qū)別在于：零階算法不利用一階導(dǎo)數(shù)信息，一階算法利用一階導(dǎo)數(shù)信息；因此，一階算法迭代一次所需要的時(shí)間大于零階算法。1零階優(yōu)化算法零階算法是在一定次數(shù)的抽樣基礎(chǔ)上,擬合設(shè)計(jì)變量、狀態(tài)變量和目標(biāo)函數(shù)的響應(yīng)函數(shù),從而尋求最優(yōu)解,顧又可稱其為子問題方法。函數(shù)曲線(或曲面)的形式可采用線性擬合、平方擬合或平方加交叉項(xiàng)擬合。若采用平方擬合,則目標(biāo)函數(shù)的擬合公式為:對于設(shè)計(jì)變量和狀態(tài)變量的約束條件,可采用罰函數(shù)將其轉(zhuǎn)化為無約束方程,如式(2),從而將帶有約束的優(yōu)化問

2、題轉(zhuǎn)化成無約束的最小值求解問題。上式中,xi為設(shè)計(jì)變量,gi、hi、wi為狀態(tài)變量,X、G、H、W為對應(yīng)的罰函數(shù),其形式如式(3)所示。f0為目標(biāo)函數(shù)的參考值,pk為響應(yīng)面參數(shù)。當(dāng)設(shè)計(jì)變量(或狀態(tài)變量)接近限值時(shí),其罰函數(shù)值將急劇增加,如圖1所示。轉(zhuǎn)化為無約束問題后,即可采用序慣無約束極小化方法(SUMT)來搜索無約束目標(biāo)函數(shù)。2一階優(yōu)化算法一階方法在優(yōu)化過程中需要使用狀態(tài)變量和目標(biāo)函數(shù)對于設(shè)計(jì)變量的偏導(dǎo)數(shù),因此被稱為一階方法。采用與零階算法類似的方式,可將約束條件轉(zhuǎn)化為罰函數(shù),并將無約束目標(biāo)函數(shù)分作目標(biāo)函數(shù)和懲罰函數(shù)兩部分,如式(5)所示。對于第i步優(yōu)化迭代,引入優(yōu)化搜索方向d(j)，則下一

3、步的設(shè)計(jì)變量值變?yōu)?式中: sj為線搜索參數(shù),對應(yīng)于搜索方向d(j)上的最小步進(jìn)值,它使用黃金分割比和局部的平方擬合技術(shù)來得到,其范圍限制由式(8)給出:式中: sj為最大可用步進(jìn)值,而smax是設(shè)置的步進(jìn)縮放尺寸, smax(0, 100。根據(jù)式(5),搜索方向dj可分為如式(9)所示的兩部分,這兩部分均可由Polak-Ribiere遞推式 9確定:參考文獻(xiàn)：1Tu W,Mayne R W.An approach to multi-start clustering for global optimization with non-linear constraintsJ.International Journal for Numerical Methods in Engineering,2002,53:22532269.2Montgomery D C.Design and analysis of experiments M.New York:John Wiley&Sons,1991.3Zheng Q,Zhuang D M.Integral global optimization:Algorithms,implementations and num