優(yōu)化設計的數(shù)學基礎

關于優(yōu)化設計的數(shù)學基礎第一頁，共二十六頁，編輯于2023年，星期日2.1

函數(shù)的方向導數(shù)與梯度一、函數(shù)的方向導數(shù)函數(shù)f(X)在點X0處沿S方向的方向導數(shù)定義為意義：函數(shù)在該點處沿給定方向的變化率。附圖第二頁，共二十六頁，編輯于2023年，星期日二、函數(shù)的梯度方向導數(shù)的向量積形式令為函數(shù)在X點的梯度，包 含函數(shù)的一階導數(shù)信息。

第三頁，共二十六頁，編輯于2023年，星期日梯度的意義：梯度方向是函數(shù)變化率最大的方向；梯度方向為等值面的法線方向。第四頁，共二十六頁，編輯于2023年，星期日例2-1

求二元函數(shù)f(x1,x2)＝x12+x22-4x1-2x2+5在X0＝[2,2]處函數(shù)下降最快的方向。解：梯度方向是函數(shù)變化率最大的方向。負梯度方向則是函數(shù)下降最快的方向。第五頁，共二十六頁，編輯于2023年，星期日2.2

函數(shù)的泰勒展開與海賽矩陣函數(shù)f(X)在X*點處的泰勒(Taylor)展開式其中海賽(Hessian)矩陣包含函數(shù)的二階導數(shù)信息。第六頁，共二十六頁，編輯于2023年，星期日例2-2

求二元函數(shù)f(x1,x2)＝x12+x22-4x1-2x2+5在X0＝[2,2]處的海賽二階泰勒展開式。解：第七頁，共二十六頁，編輯于2023年，星期日2.3凸集、凸函數(shù)、凸規(guī)劃

基本概念：局部極小點：函數(shù)f(X)在X*附近的一切X均滿足不等式f(X)>f(X*)，稱函數(shù)f(X)在X*處取得局部極小值，X*為局部極小點。全局極小點：在整個可行域內函數(shù)值的最小點?？尚杏騼瓤赡艽嬖趦蓚€或兩個以上的局部極小點，其中之一為全局極小點。第八頁，共二十六頁，編輯于2023年，星期日一、凸集有 ，則D為凸集。凸集的性質：

1.若D為凸集，λ為實數(shù)，則λD仍為凸集。（凸集的實數(shù)積為凸集）

2．若D、φ均為凸集，則二者的并集（和）為凸集。（凸集的和為凸集）

3．若D、φ均為凸集，則二者的交集（積）為凸集。（凸集的積為凸集）第九頁，共二十六頁，編輯于2023年，星期日第十頁，共二十六頁，編輯于2023年，星期日二、凸函數(shù)En的子集D為凸集，f為D上的函數(shù)，恒有，則f為D上的凸函數(shù)。反之為凹函數(shù)。第十一頁，共二十六頁，編輯于2023年，星期日凸函數(shù)的性質：1.設f為D上的凸函數(shù)，λ為實數(shù)，則λf為D上的凸函數(shù)。2.設f1，f2為D上的凸函數(shù),則f=f1+f2為D上的凸函數(shù)。3.若f在D一階可微，則對，f為凸函數(shù)的充要條件：（見下圖）

4.若f在D二階可微，則對，f為凸函數(shù)的充要條件：海賽矩陣半正定（若正定，嚴格凸函數(shù)）。第十二頁，共二十六頁，編輯于2023年，星期日第十三頁，共二十六頁，編輯于2023年，星期日三、凸規(guī)劃

其中目標函數(shù)、不等式約束均為凸函數(shù)，則稱該問題為凸規(guī)劃。第十四頁，共二十六頁，編輯于2023年，星期日凸規(guī)劃的性質：若給定一點X0，則集合為凸集。2.可行域D為凸集。3.任何局部最優(yōu)解即為全局最優(yōu)解。4.若目標函數(shù)可微，則最優(yōu)解的充要條件：第十五頁，共二十六頁，編輯于2023年，星期日2.4無約束優(yōu)化問題的極值條件

N維無約束極值問題1.在點X*處極值存在的必要條件：在點X*處梯度為零。2.在點X*處極值存在的充分條件：在點X*處海賽矩陣正定（極小點），或負定（極大點）。第十六頁，共二十六頁，編輯于2023年，星期日2.5約束優(yōu)化問題的極值條件

一、等式約束優(yōu)化問題——拉格朗日乘子法

構造將等式約束優(yōu)化問題轉化為無約束優(yōu)化問題。在最優(yōu)點處第十七頁，共二十六頁，編輯于2023年，星期日二、不等式約束優(yōu)化問題——

庫恩-塔克(Kuhn-Tucker

)條件1.一維不等式約束問題引入松弛變量a1,b1，使則該問題的拉格朗日函數(shù)第十八頁，共二十六頁，編輯于2023年，星期日其極值條件必須滿足如圖的三種可能(1)左右約束均不起作用，即則(2)左約束起作用，即則(3)右約束起作用，即則第十九頁，共二十六頁，編輯于2023年，星期日2.庫恩-塔克(Kuhn-Tucker)條件對優(yōu)化問題庫恩-塔克條件描述為即約束極小點存在的必要條件是：目標函數(shù)在該點的梯度可表示為諸約束面梯度的線性組合的負值。第二十頁，共二十六頁，編輯于2023年，星期日3.考慮等式約束的庫恩-塔克條件對于凸規(guī)劃問題，K-T條件是充要條件。對非凸規(guī)劃問題，到底是局部最優(yōu)點還是全域最優(yōu)點還需要進一步討論確定。第二十一頁，共二十六頁，編輯于2023年，星期日3.庫恩-塔克條件幾何意義約束極小點目標函數(shù)梯度向量的反方向必須落在諸約束面所構成的錐角范圍之內。第二十二頁，共二十六頁，編輯于2023年，星期日例2-3

對于約束極值問題

試運用K_T條件檢驗點X