機械優(yōu)化設(shè)計2優(yōu)化理論基礎(chǔ)課件

1、第一章 作業(yè)我國宋代建筑師李誡在其著作營造法式一書中曾指出：圓木做成矩形截面梁的高寬比應(yīng)為三比二2）多元函數(shù)的Taylor展開式3）二次型函數(shù)4）關(guān)于優(yōu)化方法中搜索方向的理論基礎(chǔ)5）凸集與凸函數(shù)6）最優(yōu)化問題的極值存在條件1）等值(線)面第二章 優(yōu)化設(shè)計的理論與數(shù)學(xué)基礎(chǔ) 對于可計算的函數(shù) f(x)，給定一個設(shè)計點 X(k)(x1(k),x2(k), ,xn (k)，f(x)總有一個定值c 與之對應(yīng)；而當(dāng)f(x)取定值 c 時，則有無限多個設(shè)計點X(i)(x1(i), x2(i), ,xn(i) ) （i=1,2, ）與之對應(yīng)，這些點集構(gòu)成一個曲面，稱為等值面。 當(dāng) c 取c1,c2, 等值時，

2、就獲得一族曲面族，稱為等值面族。 當(dāng)f(x)是二維時，獲得一族等值線族； 當(dāng)f(x)是三維時，獲得一族等值面族； 當(dāng)f(x)大于三維時，獲得一族超等值面族。2-1 等值(線)面 1.等值線的“心” (以二維為例): 一個“心”：是單峰函數(shù)的極(小)值點，是全局極(小)值點。 沒有“心”：例，線性函數(shù)的等值線是平行的，無“心”，認(rèn)為極值點在無窮遠處。 多個“心”：不是單峰函數(shù)，每個極（?。┲迭c只是局部極（?。┲迭c，必須通過比較各個極值點和“鞍點”（須正確判別）的值，才能確定極（?。┲迭c。2.等值線的形狀： 同心圓族、橢圓族，近似橢圓族；3.等值線的疏密： 沿等值線密的方向，函數(shù)值變化快； 沿等值

3、線疏的方向，函數(shù)值變化慢。 等值線的疏密定性反應(yīng)函數(shù)值變化率。 嚴(yán)重非線性函數(shù)病態(tài)函數(shù)的等值線族是嚴(yán)重偏心和扭曲、分布疏密嚴(yán)重不一的曲線族。(1)(2)(3)梯度海賽(Hessian)矩陣對稱矩陣二.多元函數(shù)的Taylor展開式故解：例：將函數(shù) 寫成在點 處泰勒展開式的矩陣形式。Hesse 矩陣的特性：是實對稱矩陣。 矩陣正定的充要條件：主子式 det(ait)0當(dāng)主子式 det(ait)0 時，矩陣半正定 det(ait)0時，矩陣負(fù)定 det(ait)0時，矩陣半負(fù)定Hesse 矩陣的正定性：H(x*)正定， 是 x* 為全局極小值點的充分條件；H(x*)半正定, 是 x* 為局部極小值點

4、的充分條件；H(x*)負(fù)定， 是 x* 為全局極大值點的充分條件；H(x*)半負(fù)定, 是 x* 為局部極大值點的充分條件。正定的二次函數(shù)：曲面為橢圓拋物面； 等值線族為橢圓曲線族，橢圓中心為極小值點。三. Hesse 矩陣與正定* 矩陣A為正定的充要條件-A的各階主子式均大于零。如 為正定，則必有：2)正定二元二次函數(shù)的特點) F=f 時有極小.此時橢圓縮為一點,即橢圓中心.) F只影響橢圓的大小,不影響其中心位置-同心; 橢圓方程經(jīng)坐標(biāo)軸平移和轉(zhuǎn)動后可去掉一次項和交叉項, 故寫成下述形式不失一般性:因函數(shù)為正定，故A為正定，即： 由于判別式0，無論F(X)取何值,所得方程均為橢圓方程.證：（

5、1）正定二元二次函數(shù)的等值線是一族同心橢圓，其中心坐標(biāo)就是該函數(shù)的極小點。2-4 關(guān)于優(yōu)化方法中搜索方向的理論基礎(chǔ)1.方向?qū)?shù)一.函數(shù)的最速下降方向2.梯度1. 定義-函數(shù)沿指定方向 的平均變化率的極限。一) 方向?qū)?shù)2.4.1 函數(shù)的最速下降方向3.方向?qū)?shù)的計算二）梯度令于是單位矢量從上式可得出如下結(jié)論：最優(yōu)點* 最速下降只是局部性質(zhì).4）在與梯度垂直的方向（等值線的切線方向）上，函數(shù)的變化率為零。2）梯度的模是最大的方向?qū)?shù), 負(fù)梯度方向是函數(shù)的最速下降方向；1）方向?qū)?shù)是梯度在指定方向上的投影；3）最速下降方向為等值線（面） 的法線方向；2-5 凸集與凸函數(shù)XX2X1凸集非凸集凹集*若

6、X是X1和X2連線上的點，則有251凸集- 若任意兩點 ，對于 ， 恒有 ， 則 D 為凸集。整理后即得252 凸函數(shù) 設(shè)f(X)為定義在 Rn 內(nèi)一個凸集D上的函數(shù)，若對于 及D上的任意兩點X1,X2,恒有 則f(X)為定義在D上的一個凸函數(shù)。1.定義2.凸函數(shù)的基本性質(zhì)證: 由定義 兩式相加,整理后可得證.（2）設(shè) 、 均為定義在凸集D上的凸函數(shù)，則 + 也是定義在 D上的凸函數(shù)。證: 由定義 兩邊乘上 :（1）設(shè) 為定義在凸集D上的凸函數(shù)， 為任意正實數(shù),則 也是定義在 D上的凸函數(shù)。（3）設(shè) 、 均為定義在凸集D上的凸函數(shù)， 為任意正實數(shù)，則 也是定義在D上的凸函數(shù)。2.6.1 優(yōu)化設(shè)

7、計最優(yōu)解無約束優(yōu)化設(shè)計問題最優(yōu)解：約束優(yōu)化設(shè)計問題最優(yōu)解： 不受約束條件限制，使目標(biāo)函數(shù)達到最小值的一組設(shè)計變量，即最優(yōu)點 x*=x1*,x2*,x n* 和最優(yōu)值 f(x*)構(gòu)成無約束問題最優(yōu)解。 滿足約束條件，使目標(biāo)函數(shù)達到最小值的一組設(shè)計變量，即最優(yōu)點 x*=x1*,x2*,x n* 和最優(yōu)值 f(x*)構(gòu)成約束問題最優(yōu)解。2-6 最優(yōu)化問題的極值存在條件梯度為零向量海賽矩陣正定二）多元函數(shù)具有極小值的充要條件一）一元函數(shù)具有極小值的充要條件262無約束問題的極值存在條件f(x0)0f(x0)=0開始不為零的導(dǎo)數(shù)階數(shù)若為偶次，則為極值點，若為奇次，則為拐點，而不是極值點即在某一點的左右使

8、f（x）的正負(fù)發(fā)生變化的點,曲線上的凹凸分界點。在生活中，拐點多用來說明某種情形持續(xù)上升一段時間后開始下降或回落。在數(shù)學(xué)上這句話是正確么？例如經(jīng)濟拐點，房地產(chǎn)拐點2.6.3 有約束問題最優(yōu)點的幾種情況有適時約束(起作用)目標(biāo)函數(shù)是凸函數(shù),可行域是凸集，則目標(biāo)函數(shù)等值線與適時約束曲面的切點為最優(yōu)點，而且是全局最優(yōu)點。無適時約束(不起作用) 目標(biāo)函數(shù)是凸函數(shù)，可行域是凸集，則最優(yōu)點是內(nèi)點。相當(dāng)于無約束問題的最優(yōu)點。x (k) 為最優(yōu)點x*的條件：必要條件：充分條件： Hesse矩陣 H(x(k) 是正定矩陣X*f (x) x*有適時約束 目標(biāo)函數(shù)是非凸函數(shù)(圖 a)，或可行域是非凸集(圖 b)：

9、則目標(biāo)函數(shù)等值線與適時約束曲面可能存在多個切點，是局部極值點，其中只有一個點是全局最優(yōu)點。pQQp2.6.2 約束問題有最優(yōu)解的必要條件（2）對于整個可行域，恒有 ，則X*為全局極小點；（1）對于X*在可行域中的一個鄰域，恒有 ，則X*為局部極小點；一.局部極小點與全局極小點二.有約束最優(yōu)解的一階必要條件（Lagrange函數(shù)）* Lagrange乘子* 可正可負(fù)，但必須有解可表示為各約束函數(shù)梯度的線性組合。（1）EP型 分EP型、IP型、GP型逐步深入討論。消元法和升維法消元法(降維法) 看似簡單，實際求解困難大。因為將l個約束方程聯(lián)立往往求解不出來。即使能解，代入目標(biāo)函數(shù)后，也會因目標(biāo)函數(shù)

10、十分復(fù)雜而難于處理。這種方法作為一種分析方法實用意義不大，但對于某些數(shù)值迭代方法來說，具有啟發(fā)意義。拉格朗日乘子法(升維法)通過增加變量將等式約束優(yōu)化問題變成無約束優(yōu)化問題。拉格朗日乘子法不僅適合用于等式約束優(yōu)化問題，而且還可以推廣用于具有不等式約束優(yōu)化問題，需引入松弛變量使不等式約束變?yōu)榈仁郊s束。（Lagrange函數(shù)）設(shè)有二維函數(shù)問題f(x)=f(x1,x2),且只有一個約束條件h(x)=h(x1,x2)式中， 是單位變量的目標(biāo)值變化率，而 則是單位變量的約束值變化率?？梢苑Q 為優(yōu)化效率或敏感系數(shù)。而且從 可知， 各變量的改變所導(dǎo)致的優(yōu)化效率是相等的，且等于一個常數(shù)對于機械優(yōu)化設(shè)計問題，若

11、有目標(biāo)函數(shù)f(x)是結(jié)構(gòu)重量，約束條件是結(jié)構(gòu)剛度或某點的變形，則 可理解為結(jié)構(gòu)重量的收益，而 則可理解為結(jié)構(gòu)剛度的支出。 就意味著單位的結(jié)構(gòu)剛度支出所能獲得的結(jié)構(gòu)重量收益。這時的 就反映結(jié)構(gòu)剛度對其重量的優(yōu)化效率（2）IP型（Lagrange函數(shù)）U是由起作用約束的下標(biāo)組成的集合， Lagrange乘子 這就是著名的 KuhnTucker(K-T）條件.如要在條件中考慮所有的不等式約束，只需引入互補松弛條件：幾何意義：在約束極小點處，函數(shù)f的負(fù)梯度一定能表示成所有其作用約束在該點梯度(法向量)的非負(fù)線性組合K-T ( Kuhn-Tucker 庫恩-塔克) 條件 有適時約束時獲得最優(yōu)解的條件1.

12、 有一個適時約束時： 與x(k)點目標(biāo)函數(shù)的負(fù)梯度方向成銳角，即沿 S 方向目標(biāo)函數(shù)值下降； 與x(k)點約束函數(shù)的梯度方向成鈍角，即保證 S方向上各點在可行域內(nèi)。 此時，獲得最優(yōu)解 x(k) 為最優(yōu)點 x*，f(x(k)為最優(yōu)值 f(x*)。 從數(shù)學(xué)上定義，當(dāng)從 x(k)點出發(fā)不存在一個 S 方向能同時滿足： ;，即 ， 則獲得最優(yōu)解：x(k)為最優(yōu)點 x*，f(x(k)為最優(yōu)值 f(x*)。從幾何上看，當(dāng)從 x (k)點出發(fā)不存在一個 S 方向能同時滿足： 相反，當(dāng)從 x(k)點出發(fā)，存在一個 S 方向能同時滿足： 和 時，則 x(k) 不是最優(yōu)點。 從幾何上看，當(dāng)從 x(k)點出發(fā)存在一

13、個 S 方向能同時滿足： 與x(k)點目標(biāo)函數(shù)的負(fù)梯度方向成銳角，即沿 S 方向目標(biāo)函數(shù)值下降； 與x(k)點約束函數(shù)的梯度方向成鈍角，即保證 S方向上各點在可行域內(nèi)。 此時，x(k)不是最優(yōu)點 x*。K-T ( Kuhn-Tucker 庫恩-塔克) 條件 有適時約束時獲得最優(yōu)解的條件1. 有一個適時約束時：2. 有二個適時約束時： x(k)成為約束最優(yōu)點 x* 的必要條件為:。 幾何上 位于和 所張的扇形子空間內(nèi)。即不存在一個 S 方向能同時滿足：K-T ( Kuhn-Tucker 庫恩-塔克) 條件 有適時約束時獲得最優(yōu)解的條件相反，不符合以上條件： 幾何上 不位于 和 所張的扇形子空間內(nèi)

14、。則 x(k) 點不是最優(yōu)點。不能表達成 和 的線性組合。即存在一個 S 方向能同時滿足：K-T ( Kuhn-Tucker 庫恩-塔克) 條件 有適時約束時獲得最優(yōu)解的條件2. 有二個適時約束時：3. K-T 條件（擴展至 m 個適時約束）： 設(shè)某個設(shè)計點 x(k)，其適時約束集為 ， 幾何上，x(k)成為約束最優(yōu)點（極小點）x*時，目標(biāo)函數(shù)的負(fù)梯度向量位于 m 適時約束梯度向量所張成的子空間內(nèi)。且 為線性獨立，則 x(k)成為約束最優(yōu)點的必要條件是目標(biāo)函數(shù)的負(fù)梯度向量可表示為適時約束梯度向量的線性組合，即 。 其中， 。K-T ( Kuhn-Tucker 庫恩-塔克) 條件 有適時約束時獲

15、得最優(yōu)解的條件(3)GP型三.K-T條件的應(yīng)用綜合EP、IP型的K-T條件, 可得： ）進行可行性檢查，找出起作用約束； ）對起作用約束求拉氏乘子，若 非負(fù)， 有確定值，則 X* 為 K-T 點。對X*進行檢驗K-T條件的作用： 判別邊界設(shè)計點 x(k) 為最優(yōu)點的依據(jù)，見參考書（第三版）52頁例3-6、53頁例3-7（要求會判斷）； 作為約束優(yōu)化的收斂條件。問題： K-T條件是否為充分必要條件？若是，說明理由；若不是，則說明什么情況下，可成為充要條件？ 有等式約束時，K-T條件是否還能適用？三. K-T ( Kuhn-Tucker 庫恩-塔克) 條件 有適時約束時獲得最優(yōu)解的條件 K-T條件是多元函數(shù)取得約束極值的必要條件,以用來作為約束極值的判斷條件，又可以來直接求解較簡單的約束優(yōu)化問題。 對于目標(biāo)函數(shù)和約束函數(shù)都是凸函數(shù)的情況