現代設計方法-優(yōu)化設計的理論與數學基礎

13.優(yōu)化設計的理論與數學基礎2024/1/1512024/1/1521）多元函數的Taylor展開式2）二次齊次函數3）關于優(yōu)化方法中搜索方向的理論基礎4）凸集與凸函數5）最優(yōu)化問題的極值存在條件2024/1/153函數的Taylor展開式*在實際計算中,常取前三項(二次函數)來近似原函數:式中,一.一元函數的Taylor展開式二.多元函數的Taylor展開式2024/1/154(1)(2)(3)梯度海賽(Hessian)矩陣對稱矩陣二次齊次函數2024/1/155例：系數矩陣*矩陣A為正定的充要條件--A的各階主子式均大于零。2024/1/156如

為正定，則必有：2024/1/157關于優(yōu)化方法中搜索方向的理論基礎1.方向導數一.函數的最速下降方向2.最速下降方向二.共軛方向1.正定二次函數2.共軛方向的基本概念3.構成共軛方向的方法2024/1/1581.定義--函數沿指定方向

的平均變化率的極限。一)方向導數一.函數的最速下降方向2.方向余弦2024/1/1593.方向導數的計算2024/1/15102024/1/1511二）最速下降方向因為于是單位矢量令從上式可得出如下結論：2024/1/1512最優(yōu)點*最速下降只是局部性質.4）在與梯度垂直的方向（等值線的切線方向）上，函數的變化率為零。2）梯度的模就是沿梯度方向的方向導數，1）方向導數是梯度在指定方向上的投影；3）最速下降方向為等值線（面）的

法線方向；負梯度方向是函數的最速下降方向；

也是最大的方向導數,

2024/1/1513二.共軛方向*當n=2時，1）矩陣表示一）正定二次函數也適于多元函數2024/1/15142)正定二元二次函數的特點ⅱ)F=f時有極小.此時橢圓縮為一點,即橢圓中心.ⅰ)F的值只影響橢圓的大小,不影響其中心位置---同心;②橢圓方程經坐標軸平移和轉動后可去掉一次項和交叉項,

故寫成下述形式不失一般性:①因函數為正定，故A為正定，即：由于判別式<0，無論F(X)取何值,所得方程均為橢圓方程.證：（1）正定二元二次函數的等值線是一族同心橢圓，其中心坐標就是該函數的極小點。（2）過同心橢圓族的中心作任意直線與橢圓族中任意兩橢圓相交，再過兩交點所作相應橢圓的切線必相互平行。為常量,說明該直線上各橢圓的斜率均相等.逆命題:

設兩平行線與同心橢圓族中兩橢圓分別相切于

點,則過

的直線必通過橢圓族的中心.設過中心的直線為

,代入上式得:就上式對

求導:證:二）共軛方向的基本概念2024/1/1516*

幾何意義:經過線性變換A后成了與

正交的向量.例：

設A為n×n階正定對稱矩陣，是兩個n維向量，若存在則稱

對A共軛。1)定義2)共軛方向的性質2024/1/1517*這種性質稱為有限步收斂性（亦稱二次收斂性）（2）從任意選定的初始點出發(fā)，只要依次沿n個共軛方向進行一維搜索，一輪后便可達到n元正定二次函數的極小點。(證明見席少霖:《最優(yōu)化方法》，P97）（1）若矢量系

彼此對正定對稱矩陣A共軛，則它們組成線性無關的矢量系；三）構成共軛方向的方法2024/1/1518

設

為平行于

的兩條直線，則過這兩直線上正定n元二次目標函數的極小點

的向量

和

對Hession矩陣A共軛。2024/1/1519證明：二次函數其梯度為因

分別為兩直線上的極小點，故有將上述兩式相減2024/1/1520例：對于目標函數，給定，試求出與

共軛的方向，并求出目標函數的極小點。凸集與凸函數XX2X1凸集非凸集凹集*若X是X1和X2連線上的點，則有一.凸集---若任意兩點

，對于

，恒有，

則D為凸集。整理后即得2024/1/1522二.凸函數

設f(X)為定義在

Rn內一個凸集D上的函數，若對于

及D上的任意兩點X1,X2,恒有則f(X)為定義在D上的一個凸函數。1.定義2024/1/15232.凸函數的基本性質兩邊乘上

證:由定義

（1）設

為定義在凸集D上的凸函數，為任意正實數,則

也是定義在D上的凸函數。2024/1/1524證:

由定義（2）設、均為定義在凸集D上的凸函數，則

+

也是定義在D上的凸函數。（3）設、均為定義在凸集D上的凸函數，為任意正實數，則

也是定義在D上的凸函數。

兩式相加,整理后可得證.2024/1/15253.凸函數的判定

若D為凸集，F(x)為定義在D上的凸函數，則此規(guī)劃為凸規(guī)劃。

對于數學規(guī)劃問題：4.凸規(guī)劃

凸規(guī)劃的最優(yōu)點是唯一的.為凸函數的充要條件是對于任意的(D為凸集),2024/1/1526最優(yōu)化問題的極值存在條件2024/1/1527梯度為零向量海賽矩陣正定2.多元函數具有極小值的充要條件1.一元函數具有極小值的充要條件一.無約束問題的極值存在條件2024/1/1528充分條件的簡易證明：由線性代數可知因故二次型正定2024/1/1529例：求

的極小點。（Lagrange函數）

—Lagrange乘子*必須有解可表示為各約束函數梯度的線性組合。1.EP型

分EP型、IP型、GP型逐步深入討論。二.約束問題有最優(yōu)解的必要條件2.IP型（Lagrange函數）U是由起作用約束的下標組成的集合，

—Lagrange乘子

這就是著名的

Kuhn—Tucker(K-T）條件.如要在條件中考慮所有的不等式約束，只需引入互補松弛條件：3.GP型2024/1/1532三.K-T條件的應用綜合EP、IP