機(jī)械優(yōu)化設(shè)計(jì)第二章機(jī)械優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)

1、.機(jī)械優(yōu)化設(shè)計(jì)機(jī)械優(yōu)化設(shè)計(jì)太原科技大學(xué)張學(xué)良.第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ) 梯度梯度 目標(biāo)函數(shù)的近似表達(dá)目標(biāo)函數(shù)的近似表達(dá) 設(shè)目標(biāo)函數(shù)設(shè)目標(biāo)函數(shù)f (X)是一階連續(xù)可微的，則是一階連續(xù)可微的，則它在某點(diǎn)它在某點(diǎn)X（k）處對(duì)處對(duì) x i (i=1,2,n)的一階偏的一階偏導(dǎo)數(shù)的列向量（列矩陣）稱(chēng)為導(dǎo)數(shù)的列向量（列矩陣）稱(chēng)為f (X)在在X（k）點(diǎn)處的梯度，記作點(diǎn)處的梯度，記作()( )12()kTknXffff Xxxx梯度的模梯度的模2( )1()()knkiif Xf Xx. 海賽矩陣海賽矩陣 設(shè)目標(biāo)函數(shù)設(shè)目標(biāo)函數(shù)f (X)在某點(diǎn)在某點(diǎn)X（k）處存在連處存在連續(xù)的一階、二階偏導(dǎo)數(shù)：續(xù)的一階、二

2、階偏導(dǎo)數(shù)：( )1()(1,2, )kf Xinx2( )()( ,1,2, )kijf Xi jnx x 則函數(shù)則函數(shù)f (X)在在X（k）點(diǎn)的點(diǎn)的n2個(gè)二階偏導(dǎo)數(shù)所構(gòu)個(gè)二階偏導(dǎo)數(shù)所構(gòu)成的成的 nn 階方陣稱(chēng)為函數(shù)階方陣稱(chēng)為函數(shù)f (X)在在X（k）點(diǎn)的點(diǎn)的海賽矩陣。海賽矩陣。.2( )2( )211( )2( )2( )2( )21()()()()()() kknkkkknnf Xf Xxx xH Xf Xf Xf Xxxx若函數(shù)若函數(shù)f (X)的一階偏導(dǎo)數(shù)在定義域內(nèi)處處連的一階偏導(dǎo)數(shù)在定義域內(nèi)處處連續(xù)可微，則海賽矩陣為對(duì)稱(chēng)方陣。續(xù)可微，則海賽矩陣為對(duì)稱(chēng)方陣。. 目標(biāo)函數(shù)的近似表達(dá)目標(biāo)函數(shù)

3、的近似表達(dá)泰勒展開(kāi)泰勒展開(kāi) 一元函數(shù)一元函數(shù)f (x)的泰勒展開(kāi)：的泰勒展開(kāi)：( )( )( )( )( )2( )( )( )21( )()()()()()21()()()2kkkkkkkkf xf xfxxxfxxxf xfxxfxx 二元函數(shù)二元函數(shù)f (x1，x2)的泰勒展開(kāi)：的泰勒展開(kāi)：12212122( )( )( )( )( )121122( )( )2( )( )( )111122( )( )222(,)()()()()()1()()2()()()2()() kkkkkxxkkkkkx xxkkxf x xf XfXxxfXxxfXxxfXxxxxfXxx.1121212122

4、( )( )( )( )( )1122( )( )( )( )( )( )11221122( )( )( )( )2()()()()()()()()1()()()() 2()()1()()(2kkkkkTxxkkx xxkkkkTkkx xxkTkTkf Xf XfXfXxxxxfXfXxxxxxxxxfXfXf Xf XXXf X)X( )( )1122kkTXxxxx n元函數(shù)元函數(shù)f (X)的泰勒展開(kāi)：的泰勒展開(kāi)：( )( )2( )1( )()()()2kTkTkf Xf Xf XXXf XX . 可計(jì)算函數(shù)與等值面可計(jì)算函數(shù)與等值面 給定一組設(shè)計(jì)變量的值，就對(duì)應(yīng)一個(gè)確給定一組設(shè)計(jì)變量

5、的值，就對(duì)應(yīng)一個(gè)確定的目標(biāo)函數(shù)值定的目標(biāo)函數(shù)值f(X)=C，具有這種性質(zhì)的，具有這種性質(zhì)的函數(shù)叫可計(jì)算函數(shù)。反之，給定目標(biāo)函數(shù)函數(shù)叫可計(jì)算函數(shù)。反之，給定目標(biāo)函數(shù)f(X)的值的值C，即，即f(X)=C，那么將有無(wú)限多個(gè)，那么將有無(wú)限多個(gè)設(shè)計(jì)點(diǎn)設(shè)計(jì)點(diǎn)X使該式成立，這些設(shè)計(jì)點(diǎn)在使該式成立，這些設(shè)計(jì)點(diǎn)在n維設(shè)維設(shè)計(jì)空間中將組成一個(gè)點(diǎn)集，稱(chēng)之為等值曲計(jì)空間中將組成一個(gè)點(diǎn)集，稱(chēng)之為等值曲面（三維空間）或等值超曲面（面（三維空間）或等值超曲面（n3），通），通稱(chēng)等值面。在二維平面中為等值線。若給稱(chēng)等值面。在二維平面中為等值線。若給定一系列目標(biāo)函數(shù)的值，將在設(shè)計(jì)空間得定一系列目標(biāo)函數(shù)的值，將在設(shè)計(jì)空間得到一

6、組等值面（線）族。到一組等值面（線）族。 目標(biāo)函數(shù)的等值線（面）目標(biāo)函數(shù)的等值線（面）. f(X)=ax12+2bx1x2+cx22 a0 c0 ac-b20 .一、最速下降方向一、最速下降方向負(fù)梯度方向負(fù)梯度方向01210120210201012010201010101202101202020(,)(,)lim(,)(,)lim(,)(,)lim sXsxsxf xx xxf xxdfdssf xx xf xxxxsf xx xxf xx xxxs 最速下降方向和共軛方向最速下降方向和共軛方向 函數(shù)的方向?qū)?shù)函數(shù)的方向?qū)?shù)X0X0+Xx1x2S00001212coscossinsinXXXX

7、ffffxxxx .0000012120coscossinsin()XXXXXTdfffffdsxxxxf XSn元函數(shù)的方向?qū)?shù)元函數(shù)的方向?qū)?shù):()()()()()111()coscoscos()1kkkkkXnXXnXXnTkdfffdsxxffxxfXSS .()( )( )( )( )( )( )()()cos(),)() cos(),)cos(),)1 kTkkkXkkkdff XSf XSf XSdsf Xf XSf XS()()( )min( )max()() kkkXkXdff Xdsdff Xds. 與負(fù)梯度方向成銳角的方向?yàn)槟繕?biāo)函數(shù)與負(fù)梯度方向成銳角的方向?yàn)槟繕?biāo)函數(shù)值的下

8、降方向，成鈍角的方向?yàn)槟繕?biāo)函值的下降方向，成鈍角的方向?yàn)槟繕?biāo)函數(shù)值的增加方向。數(shù)值的增加方向。 目標(biāo)函數(shù)的梯度方向是目標(biāo)函數(shù)等值線目標(biāo)函數(shù)的梯度方向是目標(biāo)函數(shù)等值線（面）在同一點(diǎn)的法向矢量方向。（面）在同一點(diǎn)的法向矢量方向。 f(X(k)- f(X(k)X(k)t所以，目標(biāo)函數(shù)在某一點(diǎn)的最速下降方向?yàn)樗裕繕?biāo)函數(shù)在某一點(diǎn)的最速下降方向?yàn)樨?fù)梯度方向負(fù)梯度方向. 兩個(gè)向量的共軛兩個(gè)向量的共軛 設(shè)兩個(gè)非零向量設(shè)兩個(gè)非零向量S(0)、S(1)及對(duì)稱(chēng)正定矩陣及對(duì)稱(chēng)正定矩陣H，若滿(mǎn)足若滿(mǎn)足二、共軛方向二、共軛方向(0)(1)0TSHS則稱(chēng)則稱(chēng)S(0)、S(1)關(guān)于關(guān)于H共軛，或稱(chēng)共軛，或稱(chēng)S(0)與與S

9、(1)為共軛方向。為共軛方向。 若若H為單位陣，即為單位陣，即H=I，則，則S(0)與與S(1)正交。正交。 一組向量的共軛一組向量的共軛 設(shè)有一組非零向量設(shè)有一組非零向量S(0)、S(1) S(n-1)及對(duì)稱(chēng)正定及對(duì)稱(chēng)正定矩陣矩陣H，若滿(mǎn)足，若滿(mǎn)足( )( )0( ,0,1,2,1;)iTjSHSi jnij則稱(chēng)它們關(guān)于則稱(chēng)它們關(guān)于H共軛，或稱(chēng)它們?yōu)橐唤M共軛方向。共軛，或稱(chēng)它們?yōu)橐唤M共軛方向。 若若H為單位陣，則稱(chēng)它們相互正交。為單位陣，則稱(chēng)它們相互正交。. 凸集凸集（見(jiàn)圖（見(jiàn)圖2M8） 一個(gè)點(diǎn)集（或區(qū)域），如果連接其中任一個(gè)點(diǎn)集（或區(qū)域），如果連接其中任意兩點(diǎn)的線段都全部包含在該點(diǎn)集內(nèi)，則

10、意兩點(diǎn)的線段都全部包含在該點(diǎn)集內(nèi)，則稱(chēng)該點(diǎn)集為凸集。否則，稱(chēng)為非凸集。稱(chēng)該點(diǎn)集為凸集。否則，稱(chēng)為非凸集。 凸集、凸函數(shù)與凸規(guī)劃凸集、凸函數(shù)與凸規(guī)劃 凸函數(shù)凸函數(shù)（見(jiàn)圖（見(jiàn)圖2M10） 設(shè)函數(shù)設(shè)函數(shù)f (X)定義域?yàn)橥辜x域?yàn)橥辜疓，X(1)、X(2)為凸集為凸集G上的任意兩點(diǎn)，若函數(shù)上的任意兩點(diǎn)，若函數(shù)f (X)在線段在線段X(1)X(2)上的函數(shù)值總小于或等于用上的函數(shù)值總小于或等于用f (X(1)及及f (X(2)作線性?xún)?nèi)插所得的值，則稱(chēng)函數(shù)作線性?xún)?nèi)插所得的值，則稱(chēng)函數(shù)f (X)為凸集為凸集G上的凸函數(shù)，即滿(mǎn)足上的凸函數(shù)，即滿(mǎn)足.(1)(2)(1)(2)(1)(2)(1)()(1) ()

11、,01fXXf Xf XXG XG 的函數(shù)的函數(shù)f (X)為凸函數(shù)。若同時(shí)去掉式中的等為凸函數(shù)。若同時(shí)去掉式中的等號(hào)，則稱(chēng)函數(shù)號(hào)，則稱(chēng)函數(shù)f (X)為嚴(yán)格凸函數(shù)。為嚴(yán)格凸函數(shù)。 凸規(guī)劃凸規(guī)劃 對(duì)于約束優(yōu)化問(wèn)題對(duì)于約束優(yōu)化問(wèn)題min(). .()0(1,2, )njf XXRstgXjl 若函數(shù)若函數(shù)f (X)、gj(X)均為凸函數(shù)，則稱(chēng)此約束均為凸函數(shù)，則稱(chēng)此約束優(yōu)化問(wèn)題為凸規(guī)劃。優(yōu)化問(wèn)題為凸規(guī)劃。. 凸規(guī)劃的性質(zhì)凸規(guī)劃的性質(zhì) 1）凸規(guī)劃的可行域?yàn)橥辜┩挂?guī)劃的可行域?yàn)橥辜?2）凸規(guī)劃的任何局部最優(yōu)解就是全局最）凸規(guī)劃的任何局部最優(yōu)解就是全局最優(yōu)解優(yōu)解. 優(yōu)化問(wèn)題的幾何解釋優(yōu)化問(wèn)題的幾何解釋X

12、*X*.X*X*.X*X*h1=0h2=0. 優(yōu)化方法的簡(jiǎn)單分類(lèi)優(yōu)化方法的簡(jiǎn)單分類(lèi) 按有無(wú)約束分類(lèi)按有無(wú)約束分類(lèi) 無(wú)約束優(yōu)化方法、約束優(yōu)化方法無(wú)約束優(yōu)化方法、約束優(yōu)化方法 按目標(biāo)函數(shù)的維數(shù)分類(lèi)按目標(biāo)函數(shù)的維數(shù)分類(lèi) 一維優(yōu)化方法、多維優(yōu)化方法一維優(yōu)化方法、多維優(yōu)化方法 按目標(biāo)函數(shù)的數(shù)目分類(lèi)按目標(biāo)函數(shù)的數(shù)目分類(lèi) 單目標(biāo)優(yōu)化方法、多目標(biāo)優(yōu)化方法單目標(biāo)優(yōu)化方法、多目標(biāo)優(yōu)化方法 按求優(yōu)途徑的不同分類(lèi)按求優(yōu)途徑的不同分類(lèi) 直接法、解析法（間接法）、實(shí)驗(yàn)法、直接法、解析法（間接法）、實(shí)驗(yàn)法、圖解法圖解法. 迭代方法及其收斂準(zhǔn)則迭代方法及其收斂準(zhǔn)則 無(wú)論是直接法還是解析法，求優(yōu)的無(wú)論是直接法還是解析法，求優(yōu)的

13、過(guò)程都是采用數(shù)值迭代法，且迭代公式過(guò)程都是采用數(shù)值迭代法，且迭代公式的形式一致。的形式一致。 迭代方法迭代方法 X (k+1)=X (k) + (k) S(k) (k =0 , 1 , 2 , ) 兩個(gè)特性?xún)蓚€(gè)特性 1）下降性）下降性: f (X (k+1) f (X (1) f (X (k) f (X (k+1) f (X *) . 確定步長(zhǎng)確定步長(zhǎng) (k) 的方法的方法 1）定步長(zhǎng)法）定步長(zhǎng)法 取取 (k) = p (p為常數(shù)為常數(shù)) ，檢驗(yàn)下列不等式，檢驗(yàn)下列不等式 f (X (k) + (k) S(k) ) f (X (k) ？ 若成立，則繼續(xù)下一步迭代計(jì)算；若成立，則繼續(xù)下一步迭代計(jì)

14、算； 否則，取否則，取 (k) = p （0 1），再檢驗(yàn)不），再檢驗(yàn)不 等式等式 f (X (k) + (k) S(k) ) f (X (k) ？ 直至滿(mǎn)足為止。直至滿(mǎn)足為止。. 2）最優(yōu)步長(zhǎng)法）最優(yōu)步長(zhǎng)法 用一維尋優(yōu)方法確定用一維尋優(yōu)方法確定 (k)： 當(dāng)給定當(dāng)給定S(k) 從從X (k) 點(diǎn)出發(fā)搜索點(diǎn)出發(fā)搜索X (k+1)點(diǎn)時(shí)，點(diǎn)時(shí)，為求得沿搜索方向?yàn)榍蟮醚厮阉鞣较騍(k)上的最優(yōu)步長(zhǎng)上的最優(yōu)步長(zhǎng) (k)，可以，可以建立如下一維優(yōu)化數(shù)學(xué)模型，即建立如下一維優(yōu)化數(shù)學(xué)模型，即 這實(shí)質(zhì)上就是以這實(shí)質(zhì)上就是以 (k) 為變量的一元函數(shù)求極值為變量的一元函數(shù)求極值的問(wèn)題，稱(chēng)為一維搜索或一維尋優(yōu)。的

15、問(wèn)題，稱(chēng)為一維搜索或一維尋優(yōu)。()( )( )( )?min()kkkkf XS. 解析法確定解析法確定 (k)：()( )( )( )?min()kkkkf XS( )( )( )( )2( )( )( )( )( )( )( )2( )2( )( )( )()()()()1()()()21()()()2()kTkkkTkkkkTkkkkTkkkf Xf Xf XXXXXf XXXf Xf XSSf XS ( )( )( )( )( )( )2( )( )()()0()kTkkkkkTkkf XSdSf XS 由得. 搜索方向搜索方向S(k) 的討論的討論 1）三種常用搜索方向）三種常用搜索

16、方向 負(fù)梯度方向：負(fù)梯度方向：S(k) = - f (X (k) 共軛方向：將共軛方向：將n維優(yōu)化問(wèn)題轉(zhuǎn)化為每一個(gè)維優(yōu)化問(wèn)題轉(zhuǎn)化為每一個(gè)循環(huán)循環(huán)n次一維搜索，依次取次一維搜索，依次取n個(gè)相互共軛的方個(gè)相互共軛的方向?yàn)樗阉鞣较?。向?yàn)樗阉鞣较颉?隨機(jī)搜索方向：隨機(jī)搜索方向： S(k) 隨機(jī)產(chǎn)生，只要求沿隨機(jī)產(chǎn)生，只要求沿S(k) 方向所得方向所得X (k+1)點(diǎn)處函數(shù)值下降。點(diǎn)處函數(shù)值下降。 . 2）S(k) 與與 - f (X (k)和和 f (X (k+1)的關(guān)系的關(guān)系 目標(biāo)函數(shù)下降：目標(biāo)函數(shù)下降： f (X (k) + (k) S(k) ) - f (X (k) 0 f (X (k) + (

17、k) S(k) ) - f (X (k) (k) T f (X (k) S(k) 故故 (k) T f (X (k) S(k) 0. 用一維優(yōu)化方法確定用一維優(yōu)化方法確定 (k) 時(shí)，必須滿(mǎn)足時(shí)，必須滿(mǎn)足： f (X (k) + S(k) ) =0 所以所以 T f (X (k) + S(k) ) S(k) =0 即即 T f (X (k+1) ) S(k) =0 第第k次迭代的搜索方向次迭代的搜索方向S(k) 與目標(biāo)函數(shù)在本與目標(biāo)函數(shù)在本次迭代所得點(diǎn)次迭代所得點(diǎn)X (k+1)處的梯度方向處的梯度方向 f (X (k+1) )正正交。交。X (k) X (k+1) S(k)- f (X (k+1) ). 3）共軛搜索方向的一個(gè)重要性質(zhì)）共軛搜索方向的一個(gè)重要性質(zhì) n維正定二次函數(shù)的維正定二次函數(shù)的n次收斂性次收斂性 即即 對(duì)于對(duì)于n維正定二次函數(shù)，若相繼以一維正定二次函數(shù)，若相繼以一組相互共軛的向量組相互共軛的向量S(0) 、 S(1) 、 S(n-1) 為搜為搜索方向，則不論從任何初始點(diǎn)出發(fā)，經(jīng)過(guò)索方向，則不論從任何初始點(diǎn)出發(fā)，經(jīng)過(guò)n次次一維搜索，就可以得到該正定二次函數(shù)的