最優(yōu)化課件等

最優(yōu)化方法孫合明河海大學(xué)理學(xué)院

WHY最優(yōu)化？Example問：周長一定的矩形中，長寬比例多大的矩形面積最大？答:正方形的面積最大。WHY最優(yōu)化WHY最優(yōu)化WHY最優(yōu)化WHY最優(yōu)化WHY最優(yōu)化目標(biāo)函數(shù)約束條件設(shè)計變量WHY最優(yōu)化工廠選址問題WHY最優(yōu)化AnswerWHY最優(yōu)化最優(yōu)化問題的數(shù)學(xué)模型最優(yōu)化問題的數(shù)學(xué)模型最優(yōu)化問題的數(shù)學(xué)模型(*)最優(yōu)化問題的數(shù)學(xué)模型最優(yōu)化問題的數(shù)學(xué)模型全局極小(唯一極?。┳顑?yōu)化問題的數(shù)學(xué)模型最優(yōu)化問題的數(shù)學(xué)模型最優(yōu)化問題的數(shù)學(xué)模型多局部極小最優(yōu)化問題的數(shù)學(xué)模型最優(yōu)化問題的數(shù)學(xué)模型Remark最優(yōu)化問題的分類最優(yōu)化問題的分類最優(yōu)化問題的分類多目標(biāo)規(guī)劃動態(tài)規(guī)劃參數(shù)規(guī)劃隨機規(guī)劃運籌學(xué)最優(yōu)化方法（數(shù)學(xué)規(guī)劃）線性規(guī)劃目標(biāo)規(guī)劃整數(shù)規(guī)劃非線性規(guī)劃動態(tài)規(guī)劃進(jìn)化算法…圖論與網(wǎng)絡(luò)排隊論存貯論對策論決策論其他分支運籌學(xué)分類預(yù)備知識預(yù)備知識---多元函數(shù)的導(dǎo)數(shù)一元函數(shù)有一階導(dǎo)數(shù)，二階導(dǎo)數(shù)（假設(shè)存在），多元函數(shù)的一階導(dǎo)數(shù)、二階導(dǎo)數(shù)（假設(shè)存在）又是什么呢？Questions多元函數(shù)的一階導(dǎo)數(shù)----梯度多元函數(shù)的一階導(dǎo)數(shù)----梯度梯度的幾何意義多元函數(shù)的一階導(dǎo)數(shù)----梯度梯度的幾何意義多元函數(shù)的一階導(dǎo)數(shù)----梯度Definition

若x*滿足，則稱x*為穩(wěn)定點（平穩(wěn)點）。多元函數(shù)的一階導(dǎo)數(shù)----梯度多元函數(shù)的一階導(dǎo)數(shù)----梯度多元函數(shù)的一階導(dǎo)數(shù)----梯度多元函數(shù)的一階導(dǎo)數(shù)----梯度多元函數(shù)的一階導(dǎo)數(shù)----梯度多元函數(shù)的一階導(dǎo)數(shù)----梯度解：多元函數(shù)的一階導(dǎo)數(shù)----梯度多元函數(shù)的一階導(dǎo)數(shù)----梯度多元函數(shù)的一階導(dǎo)數(shù)----梯度多元函數(shù)的二階導(dǎo)數(shù)----Hesse矩陣多元函數(shù)的二階導(dǎo)數(shù)----Hesse矩陣多元函數(shù)的二階導(dǎo)數(shù)----Hesse矩陣解：Questions一元函數(shù)有Taylor展開式，多元函數(shù)的Taylor展開式？一元函數(shù)的Taylor展開(Lagrange型余項)

一元函數(shù)的Taylor展開(Peano型余項）多元函數(shù)的Taylor展開多元函數(shù)的一階泰勒展開(Lagrange型余項)多元函數(shù)的一階泰勒展開(Peano型余項）多元函數(shù)的二階泰勒展開(Peano型余項）多元函數(shù)的近似函數(shù)預(yù)備知識矩陣的條件數(shù)Definition

預(yù)備知識Definition

預(yù)備知識Definition

條件數(shù)有什么用處？預(yù)備知識—條件數(shù)在數(shù)值分析中的一個用處QuestionsTheorem(***)預(yù)備知識—條件數(shù)在數(shù)值分析中的一個用處Remark預(yù)備知識—條件數(shù)在數(shù)值分析中的一個用處預(yù)備知識—條件數(shù)在最優(yōu)化中的一個用處在求解無約束最優(yōu)化問題的時候，若目標(biāo)函數(shù)的Hesse矩陣的條件數(shù)很大，會導(dǎo)致某些求解方法得出錯誤的結(jié)果。

M=1，條件數(shù)7.3453M=10，條件數(shù)=61M=10000，條件數(shù)=60000凸集與凸函數(shù)ConvexSetsSetsNotConvex凸集凸集凸集凸集Theorem凸集凸集Theorem凸集凸集BoundedSignals

是凸集嗎？x(t)tuQuestions凸集then,if0

1

x(t)+(1-)y(t)u.Ifx(t)uandy(t)u,YES！凸集Definition

凸集Definition

凸函數(shù)Definition

凸函數(shù)凸函數(shù)凸函數(shù)凸函數(shù)Definition

凸函數(shù)凸函數(shù)嚴(yán)格凸函數(shù)凸函數(shù)的性質(zhì)凸函數(shù)的性質(zhì)凸函數(shù)的性質(zhì)凸函數(shù)的性質(zhì)凸函數(shù)的性質(zhì)凸函數(shù)的性質(zhì)凸函數(shù)的性質(zhì)凸函數(shù)的性質(zhì)凸函數(shù)的判別準(zhǔn)則凸函數(shù)的判別準(zhǔn)則凸函數(shù)的判別準(zhǔn)則凸函數(shù)的判別準(zhǔn)則Remark凸函數(shù)的判別準(zhǔn)則Theo