優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)

關(guān)于優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)2.1

函數(shù)的方向?qū)?shù)與梯度一、函數(shù)的方向?qū)?shù)函數(shù)f(X)在點X0處沿S方向的方向?qū)?shù)定義為意義：函數(shù)在該點處沿給定方向的變化率。附圖第2頁,共26頁，2024年2月25日，星期天二、函數(shù)的梯度方向?qū)?shù)的向量積形式令為函數(shù)在X點的梯度，包 含函數(shù)的一階導(dǎo)數(shù)信息。

第3頁,共26頁，2024年2月25日，星期天梯度的意義：梯度方向是函數(shù)變化率最大的方向；梯度方向為等值面的法線方向。第4頁,共26頁，2024年2月25日，星期天例2-1

求二元函數(shù)f(x1,x2)＝x12+x22-4x1-2x2+5在X0＝[2,2]處函數(shù)下降最快的方向。解：梯度方向是函數(shù)變化率最大的方向。負梯度方向則是函數(shù)下降最快的方向。第5頁,共26頁，2024年2月25日，星期天2.2

函數(shù)的泰勒展開與海賽矩陣函數(shù)f(X)在X*點處的泰勒(Taylor)展開式其中海賽(Hessian)矩陣包含函數(shù)的二階導(dǎo)數(shù)信息。第6頁,共26頁，2024年2月25日，星期天例2-2

求二元函數(shù)f(x1,x2)＝x12+x22-4x1-2x2+5在X0＝[2,2]處的海賽二階泰勒展開式。解：第7頁,共26頁，2024年2月25日，星期天2.3凸集、凸函數(shù)、凸規(guī)劃

基本概念：局部極小點：函數(shù)f(X)在X*附近的一切X均滿足不等式f(X)>f(X*)，稱函數(shù)f(X)在X*處取得局部極小值，X*為局部極小點。全局極小點：在整個可行域內(nèi)函數(shù)值的最小點?？尚杏騼?nèi)可能存在兩個或兩個以上的局部極小點，其中之一為全局極小點。第8頁,共26頁，2024年2月25日，星期天一、凸集有 ，則D為凸集。凸集的性質(zhì)：

1.若D為凸集，λ為實數(shù)，則λD仍為凸集。（凸集的實數(shù)積為凸集）

2．若D、φ均為凸集，則二者的并集（和）為凸集。（凸集的和為凸集）

3．若D、φ均為凸集，則二者的交集（積）為凸集。（凸集的積為凸集）第9頁,共26頁，2024年2月25日，星期天第10頁,共26頁，2024年2月25日，星期天二、凸函數(shù)En的子集D為凸集，f為D上的函數(shù)，恒有，則f為D上的凸函數(shù)。反之為凹函數(shù)。第11頁,共26頁，2024年2月25日，星期天凸函數(shù)的性質(zhì)：1.設(shè)f為D上的凸函數(shù)，λ為實數(shù)，則λf為D上的凸函數(shù)。2.設(shè)f1，f2為D上的凸函數(shù),則f=f1+f2為D上的凸函數(shù)。3.若f在D一階可微，則對，f為凸函數(shù)的充要條件：（見下圖）

4.若f在D二階可微，則對，f為凸函數(shù)的充要條件：海賽矩陣半正定（若正定，嚴格凸函數(shù)）。第12頁,共26頁，2024年2月25日，星期天第13頁,共26頁，2024年2月25日，星期天三、凸規(guī)劃

其中目標函數(shù)、不等式約束均為凸函數(shù)，則稱該問題為凸規(guī)劃。第14頁,共26頁，2024年2月25日，星期天凸規(guī)劃的性質(zhì)：若給定一點X0，則集合為凸集。2.可行域D為凸集。3.任何局部最優(yōu)解即為全局最優(yōu)解。4.若目標函數(shù)可微，則最優(yōu)解的充要條件：第15頁,共26頁，2024年2月25日，星期天2.4無約束優(yōu)化問題的極值條件

N維無約束極值問題1.在點X*處極值存在的必要條件：在點X*處梯度為零。2.在點X*處極值存在的充分條件：在點X*處海賽矩陣正定（極小點），或負定（極大點）。第16頁,共26頁，2024年2月25日，星期天2.5約束優(yōu)化問題的極值條件

一、等式約束優(yōu)化問題——拉格朗日乘子法

構(gòu)造將等式約束優(yōu)化問題轉(zhuǎn)化為無約束優(yōu)化問題。在最優(yōu)點處第17頁,共26頁，2024年2月25日，星期天二、不等式約束優(yōu)化問題——

庫恩-塔克(Kuhn-Tucker

)條件1.一維不等式約束問題引入松弛變量a1,b1，使則該問題的拉格朗日函數(shù)第18頁,共26頁，2024年2月25日，星期天其極值條件必須滿足如圖的三種可能(1)左右約束均不起作用，即則(2)左約束起作用，即則(3)右約束起作用，即則第19頁,共26頁，2024年2月25日，星期天2.庫恩-塔克(Kuhn-Tucker)條件對優(yōu)化問題庫恩-塔克條件描述為即約束極小點存在的必要條件是：目標函數(shù)在該點的梯度可表示為諸約束面梯度的線性組合的負值。第20頁,共26頁，2024年2月25日，星期天3.考慮等式約束的庫恩-塔克條件對于凸規(guī)劃問題，K-T條件是充要條件。對非凸規(guī)劃問題，到底是局部最優(yōu)點還是全域最優(yōu)點還需要進一步討論確定。第21頁,共26頁，2024年2月25日，星期天3.庫恩-塔克條件幾何意義約束極小點目標函數(shù)梯度向量的反方向必須落在諸約束面所構(gòu)成的錐角范圍之內(nèi)。第22頁,共26頁，2024年2月25日，星期天例2-3

對于約束極值問題

試運用K_T條件檢驗點X*=[2,0]T是否為約束極值點。第23頁,共2