現(xiàn)代設(shè)計方法第三章

1、 現(xiàn)代設(shè)計方法長安大學(xué)工程機械學(xué)院建筑機械系長安大學(xué)工程機械學(xué)院建筑機械系長安大學(xué)工程機械學(xué)院建筑機械系第三章第三章 優(yōu)化設(shè)計優(yōu)化設(shè)計 優(yōu)化設(shè)計概述優(yōu)化設(shè)計概述1 1 一維探索優(yōu)化一維探索優(yōu)化2 2 約束問題的優(yōu)化約束問題的優(yōu)化4 4 無約束多維問題的優(yōu)化無約束多維問題的優(yōu)化3 3 多目標(biāo)函數(shù)的優(yōu)化多目標(biāo)函數(shù)的優(yōu)化5 5 優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)2 2優(yōu)化設(shè)計概述優(yōu)化設(shè)計概述 優(yōu)化設(shè)計是20世紀(jì)60年代初，在電子計算機技術(shù)廣泛應(yīng)用的基礎(chǔ)上發(fā)展起來的一門新的設(shè)計方法。主要采用“自動探索”的方式和最優(yōu)數(shù)學(xué)方法，在計算機上進行半自動或自動設(shè)計，利用最優(yōu)化原理和方法尋求最優(yōu)設(shè)計參數(shù)

2、的一門先進設(shè)計技術(shù)。優(yōu)化設(shè)計優(yōu)化設(shè)計：根據(jù)給定的設(shè)計要求和現(xiàn)有的設(shè)計條件，應(yīng)用專業(yè)理論和優(yōu)化方法，在計算機上滿足給定設(shè)計要求的許多可行方案中，按給定的目標(biāo)自動地選出最優(yōu)的設(shè)計方案。機械優(yōu)化設(shè)計機械優(yōu)化設(shè)計：在滿足一定約束的前提下，尋找一組設(shè)計參數(shù)，使機械產(chǎn)品單項設(shè)計指標(biāo)達到最優(yōu)的過程。 優(yōu)化設(shè)計概述優(yōu)化設(shè)計概述優(yōu)化設(shè)計概述優(yōu)化設(shè)計概述機械優(yōu)化設(shè)計機械優(yōu)化設(shè)計 機械設(shè)計理論+優(yōu)化方法得到設(shè)計參數(shù)的指在一定條件指在一定條件( (各種設(shè)計因素各種設(shè)計因素) ) 影響下所影響下所能得到的最佳設(shè)計值。能得到的最佳設(shè)計值。 （相對概念）（相對概念）優(yōu)化設(shè)計概述優(yōu)化設(shè)計概述機械優(yōu)化設(shè)計方法機械優(yōu)化設(shè)計方法1

3、)解析法: 主要利用微分學(xué)和變分學(xué)的理論，適應(yīng)解決小型和簡單問題；2)數(shù)值計算方法: 使利用已知信息，通過迭代計算來逼近最優(yōu)化問題的解，因此運算量很大，直到計算機出現(xiàn)后才得以實現(xiàn)。 優(yōu)化設(shè)計概述優(yōu)化設(shè)計概述傳統(tǒng)設(shè)計傳統(tǒng)設(shè)計：在調(diào)查分析的基礎(chǔ)上，參考同類產(chǎn)品通過估算、經(jīng)驗類比或試驗等方法來確定初始方案，然后通過計算各個參數(shù)是否能滿足設(shè)計指標(biāo)的要求，如果不符合要求就憑借經(jīng)驗對參數(shù)進行修改，反復(fù)進行分析計算性能檢驗參數(shù)修改，直到符合設(shè)計指標(biāo)為止。 優(yōu)化設(shè)計優(yōu)化設(shè)計：借助計算機技術(shù)，應(yīng)用一些精度較高的力學(xué)的數(shù)值分析方法（如有限元法等）進行分析計算，并從大量的可行設(shè)計方案中尋找到一種最優(yōu)的設(shè)計方案。 優(yōu)

4、化設(shè)計概述優(yōu)化設(shè)計概述 優(yōu)化設(shè)計問題數(shù)學(xué)模型的優(yōu)化設(shè)計問題數(shù)學(xué)模型的：設(shè)計變量設(shè)計變量、目目標(biāo)函數(shù)標(biāo)函數(shù)和和約束條件約束條件。 * *優(yōu)化設(shè)計問題的數(shù)學(xué)模型優(yōu)化設(shè)計問題的數(shù)學(xué)模型一個優(yōu)化設(shè)計問題一般包括三個部分：一個優(yōu)化設(shè)計問題一般包括三個部分：1.1.需要合理選擇的一組獨立參數(shù)，稱為需要合理選擇的一組獨立參數(shù)，稱為設(shè)計變量設(shè)計變量；2.2.需要最佳滿足的設(shè)計目標(biāo)，這個設(shè)計目標(biāo)是設(shè)計變需要最佳滿足的設(shè)計目標(biāo)，這個設(shè)計目標(biāo)是設(shè)計變 量的函數(shù)，稱為量的函數(shù)，稱為目標(biāo)函數(shù)目標(biāo)函數(shù)；3.3.所選擇的設(shè)計變量必須滿足一定的限制條件，稱為所選擇的設(shè)計變量必須滿足一定的限制條件，稱為 約束條件約束條件（或稱

5、設(shè)計約束）。（或稱設(shè)計約束）。優(yōu)化設(shè)計概述優(yōu)化設(shè)計概述* *優(yōu)化設(shè)計問題的數(shù)學(xué)模型優(yōu)化設(shè)計問題的數(shù)學(xué)模型在設(shè)計過程中進行選擇并最終必須確定的各項在設(shè)計過程中進行選擇并最終必須確定的各項 獨立獨立參數(shù)，稱為設(shè)計變量。參數(shù)，稱為設(shè)計變量。 設(shè)計變量向量：設(shè)計變量向量：設(shè)計常量：根據(jù)設(shè)計要求設(shè)計常量：根據(jù)設(shè)計要求事先給定事先給定的參數(shù)的參數(shù)設(shè)計變量：在設(shè)計過程中設(shè)計變量：在設(shè)計過程中進行進行優(yōu)選的參數(shù)優(yōu)選的參數(shù)連續(xù)設(shè)計變量：有界連續(xù)變化的量。連續(xù)設(shè)計變量：有界連續(xù)變化的量。離散設(shè)計變量：表示為離散量。離散設(shè)計變量：表示為離散量。12Tnxx xx優(yōu)化設(shè)計概述優(yōu)化設(shè)計概述* *優(yōu)化設(shè)計問題的數(shù)學(xué)模型優(yōu)

6、化設(shè)計問題的數(shù)學(xué)模型 優(yōu)化設(shè)計的維數(shù)：優(yōu)化設(shè)計的維數(shù)：設(shè)計變量的數(shù)目稱為優(yōu)化設(shè)計的維數(shù)，設(shè)計變量的數(shù)目稱為優(yōu)化設(shè)計的維數(shù)， 如有如有n(n=1n(n=1，2 2，)個設(shè)計變量，為個設(shè)計變量，為n n維維 設(shè)計問題。設(shè)計問題。 任意一個任意一個特定的向量特定的向量都可以說是一個都可以說是一個“設(shè)計設(shè)計”12 Txx x123 Txx x x二維和三維的設(shè)計空間二維和三維的設(shè)計空間優(yōu)化設(shè)計概述優(yōu)化設(shè)計概述* *優(yōu)化設(shè)計問題的數(shù)學(xué)模型優(yōu)化設(shè)計問題的數(shù)學(xué)模型 設(shè)計空間：設(shè)計空間：由由n n個設(shè)計向量為坐標(biāo)所組成的實空間個設(shè)計向量為坐標(biāo)所組成的實空間 設(shè)計空間的維數(shù)設(shè)計空間的維數(shù)（設(shè)計的自由度設(shè)計的自由

7、度）：設(shè)計變量愈多，則設(shè)）：設(shè)計變量愈多，則設(shè)計的自由度愈大、可供選擇的方案愈多，設(shè)計愈靈活，但難計的自由度愈大、可供選擇的方案愈多，設(shè)計愈靈活，但難度亦愈大、求解亦愈復(fù)雜。度亦愈大、求解亦愈復(fù)雜。 含有含有210210個設(shè)計變量的為個設(shè)計變量的為小型小型設(shè)計問題設(shè)計問題 10501050個為個為中型中型設(shè)計問題設(shè)計問題 5050個以上個以上的為的為大型大型設(shè)計問題設(shè)計問題優(yōu)化設(shè)計概述優(yōu)化設(shè)計概述* *優(yōu)化設(shè)計問題的數(shù)學(xué)模型優(yōu)化設(shè)計問題的數(shù)學(xué)模型 約束條件：約束條件：在優(yōu)化設(shè)計中，對設(shè)計變量在優(yōu)化設(shè)計中，對設(shè)計變量取值時的限制條件取值時的限制條件，稱為約束條件或設(shè)計約束，簡稱約束。稱為約束條件

8、或設(shè)計約束，簡稱約束。 等式約束：等式約束： 對設(shè)計變量對設(shè)計變量取值的限制最取值的限制最嚴(yán)格（降低設(shè)計嚴(yán)格（降低設(shè)計維數(shù)維數(shù)）不等式約束：不等式約束： 要求設(shè)計點在設(shè)計空間中約束曲面要求設(shè)計點在設(shè)計空間中約束曲面 的一側(cè)（包括曲面本身）的一側(cè)（包括曲面本身） ( )0h x( ) 0ug x ( )0ug x 優(yōu)化設(shè)計概述優(yōu)化設(shè)計概述* *優(yōu)化設(shè)計問題的數(shù)學(xué)模型優(yōu)化設(shè)計問題的數(shù)學(xué)模型 目標(biāo)函數(shù)（評價函數(shù)）：目標(biāo)函數(shù)（評價函數(shù)）：把設(shè)計目標(biāo)（設(shè)計指標(biāo)）用把設(shè)計目標(biāo)（設(shè)計指標(biāo)）用設(shè)計設(shè)計 變量的函數(shù)形式表示變量的函數(shù)形式表示出來，這個函數(shù)就叫做目標(biāo)函數(shù)，用出來，這個函數(shù)就叫做目標(biāo)函數(shù)，用 它可以

9、評價設(shè)計方案的好壞，所以它又被稱作評價函數(shù)。它可以評價設(shè)計方案的好壞，所以它又被稱作評價函數(shù)。12( )( ,)minnf xf x xx12( )( ,)maxnf xf x xx12( )( ,)minnf xf x xx12( )( ,)nf xf x xx優(yōu)化設(shè)計概述優(yōu)化設(shè)計概述* *優(yōu)化設(shè)計問題的數(shù)學(xué)模型優(yōu)化設(shè)計問題的數(shù)學(xué)模型 單目標(biāo)函數(shù)優(yōu)化問題單目標(biāo)函數(shù)優(yōu)化問題：在最優(yōu)化設(shè)計問題中，可以在最優(yōu)化設(shè)計問題中，可以只有一只有一 個個目標(biāo)函數(shù)。目標(biāo)函數(shù)。 多目標(biāo)函數(shù)優(yōu)化問題多目標(biāo)函數(shù)優(yōu)化問題：當(dāng)在同一設(shè)計中要提出當(dāng)在同一設(shè)計中要提出多個目標(biāo)函多個目標(biāo)函 數(shù)數(shù)時，這種問題稱為多目標(biāo)函數(shù)的優(yōu)

10、化問題。時，這種問題稱為多目標(biāo)函數(shù)的優(yōu)化問題。 1112221212( )( ,)( )( ,)( )( ,)nnqqnf xf x xxf xf x xxfxfx xx1122( )( )( ).( )qqf xW f xW fxW fxWq：加權(quán)因子，是個非負(fù)系數(shù)。：加權(quán)因子，是個非負(fù)系數(shù)。 優(yōu)化設(shè)計概述優(yōu)化設(shè)計概述* *優(yōu)化設(shè)計問題的數(shù)學(xué)模型優(yōu)化設(shè)計問題的數(shù)學(xué)模型1212( )( ,)min( )0(1,2, )( )0(1,2,)Tnnuxx xxf xf x xxh xlgxum求設(shè)計變量使目標(biāo)函數(shù)且滿足約束條件和約束優(yōu)化問題約束優(yōu)化問題無約束優(yōu)化問題：無約束優(yōu)化問題：=u=0優(yōu)化設(shè)

11、計概述優(yōu)化設(shè)計概述* *優(yōu)化設(shè)計問題的數(shù)學(xué)模型優(yōu)化設(shè)計問題的數(shù)學(xué)模型 建立優(yōu)化的數(shù)學(xué)模型，在計算機上求得的解，就稱為建立優(yōu)化的數(shù)學(xué)模型，在計算機上求得的解，就稱為優(yōu)化優(yōu)化 問題的最優(yōu)解問題的最優(yōu)解，它包括：，它包括： 1 1）最優(yōu)方案（最優(yōu)點）最優(yōu)方案（最優(yōu)點）： 2 2）最優(yōu)目標(biāo)函數(shù)值最優(yōu)目標(biāo)函數(shù)值：*12,Tnxx xx*()min( )f xf x優(yōu)化設(shè)計概述優(yōu)化設(shè)計概述* *優(yōu)化設(shè)計問題的數(shù)學(xué)模型優(yōu)化設(shè)計問題的數(shù)學(xué)模型建立數(shù)學(xué)模型要求建立數(shù)學(xué)模型要求：1 1）希望建立一個盡可能）希望建立一個盡可能完善完善的數(shù)學(xué)模型，的數(shù)學(xué)模型，精確精確的的表表 達實際問題；達實際問題；2 2）力求所建

12、立的數(shù)學(xué)模型盡可能的）力求所建立的數(shù)學(xué)模型盡可能的簡單簡單，方便計，方便計算算 求解。求解。優(yōu)化設(shè)計概述優(yōu)化設(shè)計概述* *優(yōu)化設(shè)計問題的數(shù)學(xué)模型優(yōu)化設(shè)計問題的數(shù)學(xué)模型作業(yè)：作業(yè)：現(xiàn)用薄板制造一體積現(xiàn)用薄板制造一體積5m5m3 3，長度不小于，長度不小于4m4m的無上蓋的的無上蓋的長方體貨箱。要求該貨箱的鋼板耗費量最少，試確定貨箱長方體貨箱。要求該貨箱的鋼板耗費量最少，試確定貨箱的長、寬和高的尺寸，寫出該的長、寬和高的尺寸，寫出該優(yōu)化問題的數(shù)學(xué)模型。優(yōu)化問題的數(shù)學(xué)模型。優(yōu)化設(shè)計概述優(yōu)化設(shè)計概述* *優(yōu)化設(shè)計問題的數(shù)學(xué)模型優(yōu)化設(shè)計問題的數(shù)學(xué)模型優(yōu)化問題的幾何解釋：優(yōu)化問題的幾何解釋：無約束優(yōu)化問題

13、無約束優(yōu)化問題：目標(biāo)函數(shù)的極小點就是等值面的中心：目標(biāo)函數(shù)的極小點就是等值面的中心等式約束優(yōu)化問題等式約束優(yōu)化問題：設(shè)計變量：設(shè)計變量x的設(shè)計點必須在的設(shè)計點必須在 所表示的面或線上所表示的面或線上不等式約束優(yōu)化問題不等式約束優(yōu)化問題：可行點：可行點 非可行點非可行點 邊界點邊界點( )0h x( )0ugx ( )0ugx ( )0ugx優(yōu)化設(shè)計概述優(yōu)化設(shè)計概述* *數(shù)學(xué)解析法：數(shù)學(xué)解析法：把優(yōu)化對象用數(shù)學(xué)模型描述出來后，用數(shù)學(xué)解析法（如把優(yōu)化對象用數(shù)學(xué)模型描述出來后，用數(shù)學(xué)解析法（如微分法、變分法等）來求出最優(yōu)解。微分法、變分法等）來求出最優(yōu)解。圖解法：圖解法：直接用作圖的方法來求解優(yōu)化問

14、題，通過畫目標(biāo)函數(shù)和約束直接用作圖的方法來求解優(yōu)化問題，通過畫目標(biāo)函數(shù)和約束函數(shù)的圖形，求出最優(yōu)解。特點是簡單、直觀，但僅限于函數(shù)的圖形，求出最優(yōu)解。特點是簡單、直觀，但僅限于n2的低維優(yōu)化的低維優(yōu)化問題的求解。問題的求解。 數(shù)值迭代法：數(shù)值迭代法：依賴于計算機的數(shù)值計算特點而產(chǎn)生的，它具有一定邏依賴于計算機的數(shù)值計算特點而產(chǎn)生的，它具有一定邏輯結(jié)構(gòu)并按一定格式反復(fù)迭代計算，逐步逼近優(yōu)化問題最優(yōu)解的一種方輯結(jié)構(gòu)并按一定格式反復(fù)迭代計算，逐步逼近優(yōu)化問題最優(yōu)解的一種方法。不僅可以用于求解法。不僅可以用于求解復(fù)雜函數(shù)的優(yōu)化解，還可以用于處理沒有數(shù)學(xué)解析表達復(fù)雜函數(shù)的優(yōu)化解，還可以用于處理沒有數(shù)學(xué)解

15、析表達式的優(yōu)化設(shè)計問題。式的優(yōu)化設(shè)計問題。優(yōu)化設(shè)計概述優(yōu)化設(shè)計概述* *數(shù)值迭代法數(shù)值迭代法數(shù)值迭代法的核心：數(shù)值迭代法的核心： 1 1）建立搜索方向）建立搜索方向s(k) 2 2）計算最佳步長）計算最佳步長(k) 3 3）如何判斷是否找到最優(yōu)點）如何判斷是否找到最優(yōu)點迭代法的基本思想：迭代法的基本思想：步步逼近、步步下降步步逼近、步步下降優(yōu)化設(shè)計概述優(yōu)化設(shè)計概述* *數(shù)值迭代法的迭代終止準(zhǔn)則數(shù)值迭代法的迭代終止準(zhǔn)則（是充分小的正數(shù)，且是充分小的正數(shù)，且00）1. 1.點距足夠小準(zhǔn)則：點距足夠小準(zhǔn)則： 當(dāng)相鄰兩個設(shè)計點的移動距離已達到充分小時當(dāng)相鄰兩個設(shè)計點的移動距離已達到充分小時2. 2.函

16、數(shù)下降量足夠小準(zhǔn)則：函數(shù)下降量足夠小準(zhǔn)則： 當(dāng)函數(shù)值的下降量充分小時，也就是前后兩個迭代點間當(dāng)函數(shù)值的下降量充分小時，也就是前后兩個迭代點間函數(shù)的目標(biāo)函數(shù)值充分接近時函數(shù)的目標(biāo)函數(shù)值充分接近時11kkxx12()()kkf xf x13()()()kkkf xf xf x優(yōu)化設(shè)計概述優(yōu)化設(shè)計概述* *數(shù)值迭代法的迭代終止準(zhǔn)則數(shù)值迭代法的迭代終止準(zhǔn)則（是充分小的正數(shù)，且是充分小的正數(shù)，且00）3. 3.函數(shù)梯度充分小準(zhǔn)則：函數(shù)梯度充分小準(zhǔn)則： 根據(jù)極值存在的必要條件（函數(shù)極值點的必要條件是函根據(jù)極值存在的必要條件（函數(shù)極值點的必要條件是函數(shù)在這一點的梯度的模為零），則迭代點的函數(shù)梯度的模充數(shù)在這

17、一點的梯度的模為零），則迭代點的函數(shù)梯度的模充分小時，可以作為迭代的終止準(zhǔn)則。分小時，可以作為迭代的終止準(zhǔn)則。14()kf x優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)* * 一個多元函數(shù)可用一個多元函數(shù)可用偏導(dǎo)數(shù)偏導(dǎo)數(shù)的概念來研究函數(shù)沿各坐標(biāo)方的概念來研究函數(shù)沿各坐標(biāo)方向的變化率。向的變化率。 二元函數(shù)的偏導(dǎo)數(shù)：二元函數(shù)的偏導(dǎo)數(shù)：10201201020101201020011102021020022( ,)(,),lim,limxxxxf x xx xxf xx xf xxfxxf xxxf xxfxx一個二元函數(shù)在點處的偏導(dǎo)數(shù):優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)* *01201

18、02010120210200( ,)(,),limsxf x xx xxsf xx xxf xxfss 稱函數(shù)在點處沿某一方向的變化率為該函數(shù)沿此方向的方向?qū)?shù)，公式可以表示為優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)* *2101x2x10 x20 x0 x1x2xs偏導(dǎo)數(shù)偏導(dǎo)數(shù)與與方向?qū)?shù)方向?qū)?shù)之間的之間的數(shù)量關(guān)系數(shù)量關(guān)系：00010120210200101201020101101202101202021212,lim, lim,(,) lim coscossxssxxf xx xxf xxfssf xx xf xxxxsf xx xxf xx xxxsffxx 0001212cosc

19、osxxxfffsxx優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)* * 方向?qū)?shù)方向?qū)?shù) 目標(biāo)函數(shù)在設(shè)計點沿任意方向目標(biāo)函數(shù)在設(shè)計點沿任意方向s的函數(shù)值的變化率的函數(shù)值的變化率0000012012112i( ,)coscoscoscoscosnnniixnixxxxinf x xxxsfffffsxxxxsx元函數(shù)在點 處沿方向 的方向?qū)?shù)可以表示成：其中，是方向 與坐標(biāo)軸 方向之間夾角的余弦。優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)* * 作業(yè)作業(yè): :21212012112212( )(,),41 1436Tf xf xxx xxssss設(shè)目標(biāo)函數(shù)求點處沿 和兩個方向的方向?qū)?shù)。向量

20、 的方向為：，向量 的方向為：， 方向?qū)?shù)方向?qū)?shù)2101x2x10 x20 x0 x1x2xs優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ) 梯度梯度 目標(biāo)函數(shù)在設(shè)計點目標(biāo)函數(shù)在設(shè)計點x處沿設(shè)計空間坐標(biāo)軸一階偏導(dǎo)數(shù)組成的向量處沿設(shè)計空間坐標(biāo)軸一階偏導(dǎo)數(shù)組成的向量0011200122( ,)( ),Txxfxfff x xxf xfxxx二元函數(shù)在點 處的梯度是0120102( ,)cos()cosxff x xxsf xs二元函數(shù)在點 處的方向?qū)?shù)等于該點處的梯度與方向單位向量的內(nèi)積。* *優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ) 梯度梯度1 1）梯度是一個向量；）梯度是一個向量；2 2）

21、梯度方向是方向?qū)?shù)最大的方）梯度方向是方向?qū)?shù)最大的方 向，向， 即函數(shù)值變化最快的方向即函數(shù)值變化最快的方向 ；3 3）梯度方向是等值面（線）法線方向）梯度方向是等值面（線）法線方向 。* *優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ) 多元函數(shù)的梯度多元函數(shù)的梯度12010200( ,)(,)nnf x xxx xxx函數(shù)在點處的梯度是0001212Tnxnxfxffffxfxxxxfx* *優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ) 多元函數(shù)的梯度多元函數(shù)的梯度 作業(yè)：作業(yè)： * *221212120,42500Tf x xxxxxx求二元函數(shù)在點處函數(shù)變化率最大的方向和數(shù)值。2212

22、121212,4253 22 2TTfx xxxxxxx求二元函數(shù)在點和點處的梯度，并作圖表示。方向?qū)?shù)與梯度的關(guān)系：方向?qū)?shù)與梯度的關(guān)系：000()() cos(, )Txff xsf xf ss 優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)結(jié)論：結(jié)論：（1）x0處函數(shù)的梯度方向是該點函數(shù) 值上升最快的方向，與梯度相反 的方向是該點函數(shù)值下降最快的 方向，它們均為等值線（或等直 面）在x0處的法線方向，梯度的 大小就是它的模長;（2）梯度方向僅反映點x0處鄰域內(nèi)的 函數(shù)性質(zhì)，離開該鄰域后，沿該 方向的目標(biāo)函數(shù)值就不一定變化 得最快;* *優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)結(jié)論：結(jié)論

23、：（3）當(dāng)=0時,x0處目標(biāo)函數(shù)的方向 導(dǎo)數(shù)最大值 ,該方向為 梯度方向; (4) 當(dāng)=/2時,x0處目標(biāo)函數(shù)的方 向?qū)?shù)值為0,該方向為等值線 (或等直面)在x0處的切線方向; (5) 當(dāng)=時,x0處目標(biāo)函數(shù)值的變 化率 的最小值為 ； (6) 處目標(biāo)函數(shù)的方向?qū)?shù)等于梯度 在該方向上的投影。0()f x0( )/f xs0()f x * *優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)* *020002200( )1( )()()()2()f xxxf xf xfxxfxxxxxxxx 在點處的泰勒展開式：其中，一元函數(shù)的泰勒展開一元函數(shù)的泰勒展開二元函數(shù)的泰勒展開二元函數(shù)的泰勒展開0000

24、01201020222221210201211222212112211102220( ,)(,)1( ,)(,)22xxxxxf x xx xxffffff x xf xxxxxxxxxxxx xxxxxxxx 在點處的泰勒展開式：其中，優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)* *二元函數(shù)泰勒展開式的矩陣形式：二元函數(shù)泰勒展開式的矩陣形式： 0022211211012222212221220001212xxTTffxx xxxfff xf xxxxxxxffx xxf xf xxxfxx 201201020( ,)(,)( )fxf x xx xxH x是函數(shù)在點處的Hessian矩陣，

25、用表示對稱矩陣對稱矩陣二元函數(shù)的泰勒展開二元函數(shù)的泰勒展開優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)* *作業(yè)：作業(yè)：二元函數(shù)的泰勒展開二元函數(shù)的泰勒展開3322012121( )3391 1Tf xxxxxxx將函數(shù)在點處用泰勒展開的方法簡化成一個二次函數(shù)。22112212( )28910f xxx xxxx將寫成向量及矩陣形式優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)* *多多元函數(shù)的泰勒展開元函數(shù)的泰勒展開20001()2TTfxfxfxxxfxx 0012Tnxffffxxxx 是函數(shù)在該點的梯度是函數(shù)在該點的梯度022221121222202122222212nnnnnx xff

26、fxx xx xffffxx xxx xfffxxxxx 多多元函數(shù)的元函數(shù)的Hessian矩陣矩陣優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)* *目標(biāo)函數(shù)無約束極值的存在性目標(biāo)函數(shù)無約束極值的存在性0( )0,0,00Tx xf x梯度 00Hessianx xx xH xH x矩陣正定（負(fù)定），即的各階主子式均大于零（或負(fù)、正相間）*1212( )( ,)( ,)Tnnf xf x xxxx xx多元函數(shù)在點處取得極值必要條件必要條件充分條件充分條件優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)* *12*12*( )( ,)( ,)HessiannTnf xf x xxxx xxH xH

27、 x多元函數(shù)在點處取得極小值的充要條件是：函數(shù)在該點的梯度為0，且矩陣正定，即各階主子式均大于零。12*12*( )( ,)( ,)HessiannTnf xf x xxxx xxH x多元函數(shù)在點處取得極大值的充要條件是：函數(shù)在該點的梯度為0，且矩陣負(fù)定，即各階主子式負(fù)、正相間。目標(biāo)函數(shù)無約束極值的存在性目標(biāo)函數(shù)無約束極值的存在性優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)* *目標(biāo)函數(shù)無約束極值的存在性目標(biāo)函數(shù)無約束極值的存在性 例題：例題：4222112121( )245,4f xxx xxxx證明函數(shù)在點（2）處具有極小值。優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)* *目標(biāo)函數(shù)的凸

28、性目標(biāo)函數(shù)的凸性 一個下凸的函數(shù)，極值點只有一個，并且該點既是一個下凸的函數(shù)，極值點只有一個，并且該點既是局部極值點也是全局極值點，稱這個函數(shù)具有局部極值點也是全局極值點，稱這個函數(shù)具有凸性凸性。 優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)* *目標(biāo)函數(shù)的凸性目標(biāo)函數(shù)的凸性 設(shè)設(shè)n維歐氏空間中的一個集合維歐氏空間中的一個集合, ,若連接其中任意兩點若連接其中任意兩點x1和和x2的直線都屬于的直線都屬于，則稱這種集合，則稱這種集合是一個是一個凸集凸集。 優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)* *目標(biāo)函數(shù)的凸性目標(biāo)函數(shù)的凸性 具有凸性（表現(xiàn)為單峰性）或只有唯一的局部最優(yōu)具有凸性（表現(xiàn)為單

29、峰性）或只有唯一的局部最優(yōu)值，即全局最優(yōu)值的函數(shù)，稱為值，即全局最優(yōu)值的函數(shù)，稱為凸函數(shù)凸函數(shù)或或單峰函數(shù)單峰函數(shù)。 1212121212( )01( )(1)()(1) ()( )( )(1)()(1) ()f xxxf xfxxf xf xf xf xfxxf xf xf x設(shè)是一個凸集 上的函數(shù)，如果對任何實數(shù)（）以及對 中任意兩點 和 恒有，則函數(shù)就是定義在凸集 上的一個凸函數(shù)。如果將上式中的等號去掉而寫成嚴(yán)格的不等式：則稱（ ）為嚴(yán)格凸函數(shù)。優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)* *目標(biāo)函數(shù)的凸性目標(biāo)函數(shù)的凸性目標(biāo)函數(shù)目標(biāo)函數(shù)與與約束條件約束條件均為均為凸函數(shù)凸函數(shù)的優(yōu)化問題

30、稱為的優(yōu)化問題稱為凸規(guī)劃凸規(guī)劃。 001, |( )()2 |( )0,1,2, 3uRx f xf xRx gxum）若給定點x 則集合是凸集。）凸規(guī)劃的可行域是凸集。）凸規(guī)劃的任何局部最優(yōu)解就是全局最優(yōu)解。凸規(guī)劃的性質(zhì)凸規(guī)劃的性質(zhì)優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)* *目標(biāo)函數(shù)的凸性目標(biāo)函數(shù)的凸性 如果目標(biāo)函數(shù)在如果目標(biāo)函數(shù)在上具有二階連續(xù)導(dǎo)數(shù)，則上具有二階連續(xù)導(dǎo)數(shù)，則f(x)為凸函為凸函數(shù)的充要條件是數(shù)的充要條件是H(x)處處半正定。處處半正定。 事先能通過事先能通過Hessian矩陣的正定性判斷處目標(biāo)函數(shù)是凸矩陣的正定性判斷處目標(biāo)函數(shù)是凸函數(shù)，則該函數(shù)的極值點就是全域最優(yōu)點。

31、函數(shù)，則該函數(shù)的極值點就是全域最優(yōu)點。優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)* *目標(biāo)函數(shù)的凸性目標(biāo)函數(shù)的凸性 作業(yè)：作業(yè)：2212121212( )10460D|,1,2if xxxx xxxxxxi 證明函數(shù)在，上是凸函數(shù)。2212( )()f xxx 試判斷函數(shù)的凸性。優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)* *目標(biāo)函數(shù)有約束極值的存在性目標(biāo)函數(shù)有約束極值的存在性目標(biāo)函數(shù)有約束極值要解決的兩個問題：目標(biāo)函數(shù)有約束極值要解決的兩個問題：（1 1）判斷約束極值點存在的條件；）判斷約束極值點存在的條件；（2 2）判斷找到的約束極值點是全域最優(yōu)點還是局部極值點。）判斷找到的約束極值點

32、是全域最優(yōu)點還是局部極值點。優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)* *目標(biāo)函數(shù)有約束極值的存在性目標(biāo)函數(shù)有約束極值的存在性Kuhn-Tucker優(yōu)勝條件（優(yōu)勝條件（K-T條件）條件） min( ) . . ( )0 (1,2, ) ( )0 (1,2,)nuf xxEsth xpgxumq為起作用約束個數(shù)為起作用約束個數(shù)*()0,()0ijg xh x*( )( ) 0ijig xh x與線性無關(guān)*1()()()0(1,2,)qiijjijf xg xhxijqmp 優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)* *目標(biāo)函數(shù)有約束極值的存在性目標(biāo)函數(shù)有約束極值的存在性Kuhn-Tuck

33、er優(yōu)勝條件的幾何意義優(yōu)勝條件的幾何意義優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)* *目標(biāo)函數(shù)有約束極值的存在性目標(biāo)函數(shù)有約束極值的存在性Kuhn-Tucker優(yōu)勝條件的幾何意義優(yōu)勝條件的幾何意義 1212k12120,0kkkkkkkkkf xg xgxf xg xgxxf xg xgx1)在極值點處和以及是線 性相關(guān)的，或者說可以看做是和 的線性組合。2)如果 點是極小點，那么目標(biāo)函數(shù)的梯度 一定位于兩個約束函數(shù)的梯度和形 成的夾角內(nèi)，或者說它們的線性組合系數(shù)是正的。 優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)優(yōu)化設(shè)計的數(shù)學(xué)分析基礎(chǔ)* *目標(biāo)函數(shù)有約束極值的存在性目標(biāo)函數(shù)有約束極值的存在性Kuhn-Tuc

34、ker優(yōu)勝條件舉例優(yōu)勝條件舉例*2221221122231KT1,0 min( )2, s.t.( )10 ( )0 ( )0Txf xxxxRgxxxgxxgxx 試用條件判定點是否是下面優(yōu)化問題的極值點。：對于單個變量（一維問題）的直接探索（搜索 或?qū)げ椋?。多維多維問題的數(shù)值迭代法問題的數(shù)值迭代法1(0,1,2,)kkkkxxdk1()()()minkkkkkf xf xd 每步為每步為一維一維搜索搜索*()0 1 1）解析法解析法：2 2）數(shù)值解法數(shù)值解法的基本思想：確定的基本思想：確定 * *所在的搜索區(qū)間，所在的搜索區(qū)間， 然后根據(jù)區(qū)間消去原理不斷縮小區(qū)間，然后根據(jù)區(qū)間消去原理不斷縮

35、小區(qū)間， 從而獲得從而獲得 * *的數(shù)值近似解。的數(shù)值近似解。* *一維探索優(yōu)化的數(shù)學(xué)表達一維探索優(yōu)化的數(shù)學(xué)表達 一維探索：只有一個設(shè)計變量的直接探索方法一維探索：只有一個設(shè)計變量的直接探索方法 解決一維探索優(yōu)化問題的關(guān)鍵：解決一維探索優(yōu)化問題的關(guān)鍵： （1）縮短原始可行域的長度；）縮短原始可行域的長度； （2）減少新可行域內(nèi)的計算量；）減少新可行域內(nèi)的計算量； （3）改變目標(biāo)函數(shù)的性質(zhì)降低運算難度。）改變目標(biāo)函數(shù)的性質(zhì)降低運算難度。 (1)( )( )( )( ) (0,1,2,)()minkkkkkkkkxxs kf xsfxs函數(shù)在該區(qū)間只有一個極值點。12xxx12()( )()f x

36、f xf x“高高低低高高”* * （進退法/成功失敗法）：12xxx 12( )( )( )f xf xf x“高高低低高高”* * 的基本步驟：10210112212320332332123132300122312231.()()() ,2xhxxhyf xyf xyyxxhyf xyyyyyyyx xyyhhxxxxyyyy選定初始點 ，初始步長 ，計算點，然后比較函數(shù)值和的大小。2.若，則試探方向正確，計算點和，比較 和 的大小。如果，則形成，找到所需的區(qū)間，即；如果，則需要繼續(xù)向前搜索，這時候令，同時令，開01231313 , min( ,),max( ,)hyyya bx xx x

37、始新一輪的試探（這時候的是原來的二倍，步長加長了），直到找到時，新的搜索區(qū)間是。* * 的基本步驟：1200122121121212232033231233.2, ,() , min(yyhhxxxxyyxxyyxxxxxhffxyyyyya bx 若，則試探方法錯誤，需要反向，即令， 并且將和交換，即：；，然后得到新的和，用新的向前推出 （這里的已經(jīng)反向了）。這時就得 到了新的三個點，以及三個試探點的函數(shù)值，則繼續(xù)前 面的比較與，直至找到 時，新的搜索區(qū)間 是1313,),max(,)xxx。* * 例：例：210( )710 , 01f xxxa bxh試用進退法確定函數(shù)的一維優(yōu)化的初始搜

38、索區(qū)間。其中，設(shè)初始點，初始搜索步長。* * 通過外推法，我們可以確定一個包含一元函數(shù)極值點的搜索區(qū)間，為了進一步找到極小點，我們需要不斷的縮小搜索區(qū)間，消去不可能包含極小點的區(qū)間，使區(qū)間在縮小的過程中逐步向極小點靠攏，最后縮小到極小點附近一個極小的領(lǐng)域內(nèi)。 這個時候，如果我們規(guī)定一個足夠小的正數(shù)，稱為收斂精度。則當(dāng)區(qū)間長度達到足夠小，即 取該區(qū)間的中點 作為極值點，這才能完成整個一維搜索 。kkba*1()2kkxab* * ：不斷縮小區(qū)間所用的原理。 包括：1）直接法：直接比較試選點的函數(shù)值； 2）間接法：利用函數(shù)導(dǎo)數(shù)值的變化信息。* * 111111 , ()( )a bababf af

39、 b假定在搜索區(qū)間內(nèi)任取兩點 和 ，且，并計算和，可能出現(xiàn)三種情況：11111111111. ()( ) ,2. ()( ), 3. ()( ),f af ba bf af ba bf af ba b，由于函數(shù)的單峰性，極小點一定在內(nèi)；，極小點一定在內(nèi)；，極小點一定在內(nèi)。* * 111111 , ()( )a bababf af b假定在搜索區(qū)間內(nèi)任取兩點 和 ，且，并計算和，可能出現(xiàn)三種情況：11111111.()( ) ,2.()( ),f af ba bf af ba b若，則取為縮短后的搜索區(qū)間；若，則取為縮短后的搜索區(qū)間。* * , ,( )a bxfx假定在搜索區(qū)間內(nèi)取一點 并計算

40、它的導(dǎo)數(shù)值，可能出現(xiàn)三種情況：*1. ( )0 , 2. ( )0 , 3. ( )0fxx bfxa xfxxx，則新區(qū)間是；，則新區(qū)間是；，則在此點就是極小點。x fxabxx0 x fxabxx0 fxxabx0* * ： 縮短后的新區(qū)間長度（0 1）縮短前的原區(qū)間長度* * ：它是按照某種給定的規(guī)律來確定區(qū)間內(nèi)插入點的位置的。插入點位置的確定是為了使區(qū)間縮短的更快，而不管函數(shù)值的分布規(guī)律。它包括：黃金分割法（0.618法）、裴波納契（Fibonacci）法等。：這種方法是根據(jù)某點處的某些信息（如函數(shù)值、一階導(dǎo)數(shù)、二階導(dǎo)數(shù)等）來構(gòu)造一個差值函數(shù)來逼近原來的函數(shù)，用插值函數(shù)的極小點作為區(qū)間

41、的插入點。它包括：二次差值法、三次插值法等。通過比較單峰區(qū)間內(nèi)兩個內(nèi)分點的函數(shù)值，不斷舍棄單峰區(qū)間的左端或者右端的一部分，使區(qū)間按照固定區(qū)間縮短率（=0.618）逐步縮短，直到極小點所在的區(qū)間縮短到給定的誤差范圍內(nèi)，而得到近似最優(yōu)解。 每次區(qū)間縮短都取相等的區(qū)間縮短率（），同時插入點距離兩個端點有對稱性。 0.61812()0.618()()0.618()bbabbaabaaba12121122 1 , 2 , ()0.618() ()0.618()()()a ba bxxxbbabbaxabaabayf xyf x）給定初始單峰區(qū)間和收斂精度 ，將 賦值為0.618）在區(qū)間內(nèi)，取兩個內(nèi)分點

42、和 ，并計算其函數(shù)值： 和，12221221211111211211213 , ,()() , , ,yya xa xxbx xx yyxbbayf xyyx bx bxax xxy）比較函數(shù)值大小，根據(jù)區(qū)間消去法原理縮短區(qū)間：若，則極小點必在區(qū)間內(nèi)，即為新區(qū)間,則為新區(qū)間內(nèi)的第一個試驗點，即令，而另一個試驗點可按下式算出，它的函數(shù)值為；若，則極小點必在區(qū)間內(nèi)，即為新區(qū)間，則為新區(qū)間內(nèi)的第一個試驗點，即令2222(),()yxabayf x，而另外一個試驗點可以按下式給出。212*4315()()2yybabyxabyf x）進行迭代終止條件檢驗，檢查區(qū)間是否縮短到足夠小和函數(shù)值是否收斂到足夠

43、近，即和，如果不滿足條件，則轉(zhuǎn)到第 ）步；滿足條件則繼續(xù)執(zhí)行下一步。）輸出最優(yōu)解和最優(yōu)函數(shù)值。2*( )2 ,35f xxxxx如圖所示，對函數(shù)當(dāng)給定搜索區(qū)間時，試用黃金分割法求極小點 。 和黃金分割法相似，都是在搜索區(qū)間內(nèi)對稱的取點，通過比較兩點函數(shù)值逐步縮小初始單峰區(qū)間來搜索出滿意的極小點x*。 與黃金分割法不同的是：黃金分割法每次迭代式按照同一區(qū)間縮短率=0.618來縮短區(qū)間，而斐波那契法每次迭代的區(qū)間縮短率是不同的，它是按斐波那契數(shù)列Fn產(chǎn)生的分?jǐn)?shù)序列為縮短率來縮短區(qū)間的。， ，011FF12(2,3,)nnnFFFn斐波那契數(shù)： 凡是滿足遞推關(guān)系而產(chǎn)生的正數(shù)序列Fn，就稱為斐波那契數(shù)

44、。n n0 0 1 1 2 23 34 45 56 67 78 89 910101111121213131414FnFn1 1 1 1 2 23 35 58 813132121343455558989144144233233377377610610 ，n n0 0 1 1 2 23 34 45 56 67 78 89 910101111121213131414FnFn1 1 1 1 2 23 35 58 813132121343455558989144144233233377377610610 區(qū)間縮短率區(qū)間縮短率用相鄰兩數(shù)的用相鄰兩數(shù)的前一數(shù)前一數(shù)與與后一數(shù)后一數(shù)之之比比產(chǎn)生，如計產(chǎn)生，如計

45、算五個點的函數(shù)值（即迭代四次，每次區(qū)間縮短率分別為算五個點的函數(shù)值（即迭代四次，每次區(qū)間縮短率分別為123412514342134233253 8521 32nnnnnnnnFFFFFFFFFFFFFFFF11234518FF ，n n0 0 1 1 2 23 34 45 56 67 78 89 910101111121213131414FnFn1 1 1 1 2 23 35 58 813132121343455558989144144233233377377610610 推廣到計算推廣到計算n n個點的函數(shù)值，經(jīng)過個點的函數(shù)值，經(jīng)過n-1n-1次迭代所獲得的次迭代所獲得的區(qū)間總縮短率區(qū)間總縮

46、短率為為11211nnnFFF ，11(1)1/n21/0.61830.618nnnnFFF）斐波那契法開始計算第一個內(nèi)點（即第一次縮短率）就要用到，也就是首先要確定計算函數(shù)的次數(shù)（即計算的總點數(shù) ），否則無法確定縮短率）與黃金分割法相比，收斂效果好，即計算相同試點數(shù)，斐波那契法總區(qū)間縮短率。黃金分割法的區(qū)間總縮短率。）斐波那契法每次的區(qū)間縮短率是變化的，當(dāng)計算函數(shù)值的點數(shù)較多時，其區(qū)間縮短率將逼近。 ，11111101121a,b2nn11|()()Fn1,(2,3,)nnnnnnnnnnnnbababababaFbaFFFFFFn）由外推法（進退法）選定初始單峰區(qū)間。）確定所需計算的試點總

47、數(shù)（即計算函數(shù)的次數(shù)） 。當(dāng)給定區(qū)間縮短率的絕對精度 時，經(jīng)過次迭代，最后獲得的新區(qū)間長度（）必須滿足。而，故。由即可從斐波那契數(shù)列表或按推算出相應(yīng)的 。112111223a,b(), (), (), ()nnnnFFxabaxbbaff xff xFF）確定試點并計算相應(yīng)的函數(shù)值，在區(qū)間內(nèi)的兩個試點： ，212221211211211112122122*114 ,() , ,()15(),()2nnffa xbx xxffxabxff xffx bax xxffxabxff xbaxabff x）比較函數(shù)值的大小后進行區(qū)間縮短。若，即為新區(qū)間，并作如下置換：即令若時，得新區(qū)間，并作如下置換：

48、）檢查迭代終止條件：，若滿足，則輸出最優(yōu)解，若不滿足，則轉(zhuǎn)入（4），繼續(xù)進行迭代。 我們就可以根據(jù)幾個試驗點的函數(shù)值，利用插值方法建立函數(shù)的某種近似表達式，進而求得函數(shù)的極小值，并用它作為原函數(shù)極小點的近似值。這種方法稱為插值法，或函數(shù)逼近法 。利用一點的函數(shù)值，一階導(dǎo)數(shù)值和二階導(dǎo)數(shù)值來構(gòu)造此二次函數(shù)。利用三點的函數(shù)值形成一個拋物線來構(gòu)造二次函數(shù) 。 ， ，01*11k01()()()2()3|4411kkkkkkkkkxfxfxfxxxfxxxxxkk給定初始點 ，控制誤差 ，令。）計算和；）求。）若，則求得近似解，停止計算，否則轉(zhuǎn)到第（ ）步；）令轉(zhuǎn)到第（ ）步。用切線代替弧逐漸逼近函數(shù)極

49、值的一種方法。 ，1() (0,1,2,)()kkkkfxxxkfx ，： 1）每一次迭代都要計算函數(shù)的二階導(dǎo)數(shù)，增加了計算工作量； 2）對初始點的要求較高，如果選不好，可能使數(shù)列發(fā)散或收斂到一個不是極小點的點上。 ，43212( )27843f xxxxx例：試用牛頓法求的近似極小值，已知探索區(qū)間為a,b=3,4, =0.05。 ， 在給定的單峰區(qū)間在給定的單峰區(qū)間a,b內(nèi)，利用函數(shù)上的內(nèi)，利用函數(shù)上的三個點三個點來構(gòu)來構(gòu)造一個造一個二次插值函數(shù)二次插值函數(shù)p(x)，以近似地表達原目標(biāo)函數(shù)，以近似地表達原目標(biāo)函數(shù)f(x)，并求這個插值函數(shù)的極小點近似作為原目標(biāo)函數(shù)的極小并求這個插值函數(shù)的極小

50、點近似作為原目標(biāo)函數(shù)的極小點。它是以點。它是以目標(biāo)函數(shù)的二次插值函數(shù)目標(biāo)函數(shù)的二次插值函數(shù)的的極小點極小點作為作為新的新的中間插入點中間插入點，進行區(qū)間縮小的一維搜索方法。，進行區(qū)間縮小的一維搜索方法。 ， 2P xabxcx211111222222233333P xabxcxyf xP xabxcxyf xP xabxcxyf x123xxx*113212cxxxc31131yycxx21121223yycxxcxx*/2xbc ， ，123132112233211*3121123123*11321,1(),(),(),();22( ):,1(),2xxxxa xbxabyf xyf xyf

51、 xyycyyxxp xxccxxxxcxxxyf xc）給定初始搜索區(qū)間a,b和迭代精度 ，取點時令求）計算二次插值函數(shù)的極值點和第一次插值時轉(zhuǎn)到第三步，否則轉(zhuǎn)到第4步。 ，*22122*223*22322*221*2222*2,4|xxyyxxxxxxyyxxxxyyxxxxxxyyxxyyxxyyyyy3）縮短搜索區(qū)間，形成新的區(qū)間a,b:當(dāng)且時，,，轉(zhuǎn)到第二步；當(dāng)且時，轉(zhuǎn)到第二步；當(dāng)且時，轉(zhuǎn)到第二步；當(dāng)且時，轉(zhuǎn)到第二步；）判斷迭代是否終止：滿足或或，迭代終止，輸出，如果則得到極值*22pxyy點是 ；若極值點為；不滿足，轉(zhuǎn)第二步。 ( )sin45f xxx例：試用二次插值法求的近似極

52、小點及極小值，已知。 ，2( )(3) , 1,7,0.01f xxa b例：試用二次插值法求函數(shù)的最優(yōu)解，已知初始單峰區(qū)間給定計算精度。，多維搜索：多維搜索：是利用是利用已有已有的信息，通過計算點一步一步地的信息，通過計算點一步一步地直接移動計算點，直接移動計算點，逐步逼近逐步逼近最后達到最優(yōu)點。最后達到最優(yōu)點。 1(0,1,)kkkkxxdk1 1）選擇迭代方向即探索方向；）選擇迭代方向即探索方向；2 2）在確定的方向上選擇適當(dāng)步長邁步進行探索）在確定的方向上選擇適當(dāng)步長邁步進行探索 ， 一類是利用目標(biāo)函數(shù)的一階或二階導(dǎo)數(shù)的無約束優(yōu) 化方法（如一階梯度法法、共軛梯度法、二階梯度 及變尺度法

53、）； 另一類只利用目標(biāo)函數(shù)的無約束多維問題優(yōu)化方法 （如坐標(biāo)輪換法、單純形法及鮑威爾法等）。， 采用使目標(biāo)函數(shù)值下降得最快的負(fù)梯度方向作為探索方向，求目標(biāo)函數(shù)的極小值的方法，又稱最速下降法。1()(0,1,)kkkkxxf xk一階梯度法的迭代公式， 011*10();3minmin4|;1,kkkkkkkkkkkkkxkdf xfxdxxdxxxxkk 1）給定初始點 和收斂精度 ，置；2）計算梯度，并構(gòu)造搜索方向）用一維搜索的方法求解的 最佳步長，代入得到新的迭代點；）若，則停止迭代，得最優(yōu)解否則， 轉(zhuǎn)到第二步。2212 ( )25 =f xxx用一階梯度法求目標(biāo)函數(shù)的極小點。迭代精度0.

54、1。， 1）對初始搜索點無嚴(yán)格要求； 2）收斂速度不快； 3）相鄰兩次迭代搜索方向互相垂直，在遠(yuǎn)離極值點處 收斂快，在靠近極值點處收斂慢； 4）收斂速度與目標(biāo)函數(shù)值的性質(zhì)有關(guān)，對等值線是同 心圓的目標(biāo)函數(shù)來說，經(jīng)過一次迭代就可以達到極 值點。， 利用二次曲線來逐點近似原目標(biāo)函數(shù)，以二次曲線的極小點來近似原目標(biāo)函數(shù)的極小點并逐漸逼近該點。 基本牛頓法的迭代公式：基本牛頓法的迭代公式：11 (0,1,2)()kkkkkkxxdkdG xf x ，01111*1,0;()()()()34|;1,kkkkkkkkkkkkxkf xG xG xdG xf xxxdxxxxkk 1）給定初始點收斂精度 ，置2）計算、和，得到；）求；）檢查收斂精度。若，則停止迭代，得最優(yōu)解 否則，轉(zhuǎn)到第二步繼續(xù)進行搜索。， 1）迭代次數(shù)較多時，計算量較大； 2）如果二階偏導(dǎo)數(shù)矩陣為零，其逆矩陣不存在， 二階梯度法失效。，22