第一章 數(shù)值最優(yōu)化方法 建模與數(shù)學(xué)預(yù)備知識

1、數(shù)值最優(yōu)化方法數(shù)值最優(yōu)化方法第一章 最優(yōu)化問題數(shù)學(xué)建模專題 1 引 言 最優(yōu)化技術(shù)是一門較新的學(xué)科分支。它是在本世紀(jì)五十年代初在電子計(jì)算機(jī)廣泛應(yīng)用的推動下才得到迅速發(fā)展，并成為一門直到目前仍然十分活躍的新興學(xué)科。最優(yōu)化所研究的問題是在眾多的可行方案中怎樣選擇最合理的一種以達(dá)到最優(yōu)目標(biāo)。 將達(dá)到最優(yōu)目標(biāo)的方案稱為最優(yōu)方案最優(yōu)方案或最優(yōu)決策最優(yōu)決策，搜尋最優(yōu)方案的方法稱為最優(yōu)化方法最優(yōu)化方法，關(guān)于最優(yōu)化方法的數(shù)學(xué)理論稱為最最優(yōu)化理論優(yōu)化理論。 最優(yōu)化問題至少有兩要素兩要素：一是可能的方案；二是要追求的目標(biāo)。后者是前者的函數(shù)。如果第一要素與時間無關(guān)就稱為靜態(tài)靜態(tài)最優(yōu)化問題最優(yōu)化問題，否則稱為動態(tài)最優(yōu)

2、化問題動態(tài)最優(yōu)化問題。 本課程專門講授靜態(tài)最優(yōu)化問題。 最優(yōu)化技術(shù)應(yīng)用范圍十分廣泛，在我們?nèi)粘Ｉ钪?，在工農(nóng)業(yè)生產(chǎn)、社會經(jīng)濟(jì)、國防、航空航天工業(yè)中處處可見其用途。 比如我們自己所接觸過的課題有：結(jié)構(gòu)最優(yōu)設(shè)計(jì)、電子器件最優(yōu)設(shè)計(jì)、光學(xué)儀器最優(yōu)設(shè)計(jì)、化工工程最優(yōu)設(shè)計(jì)、運(yùn)輸方案、機(jī)器最優(yōu)配備、油田開發(fā)、水庫調(diào)度、飼料最優(yōu)配方、食品結(jié)構(gòu)優(yōu)化等等。 最優(yōu)化技術(shù)工作被分成兩個方面，一是由實(shí)際生產(chǎn)或科技問題形成最優(yōu)化的數(shù)學(xué)模型數(shù)學(xué)模型，二是對所形成的數(shù)學(xué)問題進(jìn)行數(shù)學(xué)加工和求解。 對于第二方面的工作，目前已有一些較系統(tǒng)成熟的資料，但對于第一方面工作即如何由實(shí)際問題抽象出數(shù)學(xué)模型，目前很少有系統(tǒng)的資料，而這一工作

3、在應(yīng)用最優(yōu)化技術(shù)解決實(shí)際問題時是十分關(guān)鍵的基礎(chǔ)，沒有這一工作，最優(yōu)化技術(shù)將成為無水之源，難以健康發(fā)展。 因此，我們在學(xué)習(xí)本課程時要盡可能了解如何由實(shí)際問題形成最優(yōu)化的數(shù)學(xué)模型。 為了便于大家今后在處理實(shí)際問題時建立最優(yōu)化數(shù)學(xué)模型，下面我們先把有關(guān)數(shù)學(xué)模型的一些事項(xiàng)作一些說明。 所謂數(shù)學(xué)模型就是。建立數(shù)學(xué)模型時要盡可能簡單，而且要能完整地描述所研究的系統(tǒng)，但要注意到過于簡單的數(shù)學(xué)模型所得到的結(jié)果可能不符合實(shí)際情況，而過于詳細(xì)復(fù)雜的模型又給分析計(jì)算帶來困難。因此，具體建立怎樣的數(shù)學(xué)模型需要豐富的經(jīng)驗(yàn)和熟練的技巧。 即使在建立了問題的數(shù)學(xué)模型之后，通常也必須對模型進(jìn)行必要的數(shù)學(xué)簡化以便于分析、計(jì)算。

4、 一般的模型簡化工作包括以下幾類： （1）將離散變量轉(zhuǎn)化為連續(xù)變量。 （2）將非線性函數(shù)線性化。 （3）刪除一些非主要約束條件。建立最優(yōu)化問題數(shù)學(xué)模型的三要素： （1）決策變量和參數(shù)決策變量和參數(shù)。 決策變量是由數(shù)學(xué)模型的解確定的未知數(shù)。參數(shù)表示系統(tǒng)的控制變量，有確定性的也有隨機(jī)性的。 （2）約束或限制條件約束或限制條件。 由于現(xiàn)實(shí)系統(tǒng)的客觀物質(zhì)條件限制，模型必須包括把決策變量限制在它們可行值之內(nèi)的約束條件，而這通常是用約束的數(shù)學(xué)函數(shù)形式來表示的。 （3）目標(biāo)函數(shù)目標(biāo)函數(shù)。 這是作為系統(tǒng)決策變量的一個數(shù)學(xué)函數(shù)來衡量系統(tǒng)的效率，即系統(tǒng)追求的目標(biāo)。2 最優(yōu)化問題數(shù)學(xué)建模 最優(yōu)化在物資運(yùn)輸、自動控制

5、、機(jī)械設(shè)計(jì)、采礦冶金、經(jīng)濟(jì)管理等科學(xué)技術(shù)各領(lǐng)域中有廣泛應(yīng)用。下面舉幾個專業(yè)性不很強(qiáng)的實(shí)例。 例例1 1. 把半徑為1的實(shí)心金屬球熔化后，鑄成一個實(shí)心圓柱體，問圓柱體取什么尺寸才能使它的表面積最??？ 解解：決定圓柱體表面積大小有兩個決策變量：圓柱體底面半徑r、高h(yuǎn)。 問題的約束條件是所鑄圓柱體重量與球重相等。即 2343r hR1. 0.R為金屬比重min222rrh034. .22min22hrtsrrh3422.22hrrrhhrL243r h即問題追求的目標(biāo)是圓柱體表面積最小。即則得原問題的數(shù)學(xué)模型： 利用在微積分學(xué)中所學(xué)的Lagrange乘子法可求解本問題分別對r、h、求偏導(dǎo)數(shù)，并令其等

6、于零，有:0342hr 即rhhrLrrhLrhrhrL203402024222.323 r3322h 此時圓柱體的表面積為3232654321exp1ln1aaxaaay4321aaaa5a例2. 多參數(shù)曲線擬合問題 已知兩個物理量x和y之間的依賴關(guān)系為: 其中 和 待定參數(shù),為確定這些參數(shù),對x、 y測解解: :很顯然對參數(shù) 和 任意給定的一組數(shù)值,就由上式確定了 y 關(guān)于 x 的一個函數(shù)關(guān)系式,在幾何上它對應(yīng)一條曲線,這條曲線不一定通過那 m 個測量點(diǎn),而要產(chǎn)生“偏差”.將測量點(diǎn)沿垂線方向到曲線的距離的平方和作為這種“偏差”的度量.即4321aaaa5amiiiaxxaaayS12543

7、21exp1ln1xy .,2, 21, 1mmyxyxyx得m個實(shí)驗(yàn)點(diǎn):試將確定參數(shù)的問題表示成最優(yōu)化問題. 顯然偏差S越小,曲線就擬合得越好,說明參數(shù)值就選擇得越好，從而我們的問題就轉(zhuǎn)化為5維無約束最優(yōu)化問題。即：例例3：兩桿桁架的最優(yōu)設(shè)計(jì)問題。由兩根空心圓桿組成的對稱兩桿桁架，其頂點(diǎn)承受負(fù)載為2p，兩支座之間的水平距離為2L，圓桿的壁厚為B，桿的比重為，彈性橫量為E，屈服強(qiáng)度為。求在桁架不被破壞的情況下使桁架重量最輕的桁架高度h及圓桿平均直徑d。miiiaxxaaay1254321exp1ln1minp2hL2桁桿示意圖p21p2phL2 受力分析圖圓桿截面圖Bd由此得穩(wěn)定約束：0822

8、22222dhBhLphLBdEdBS解：桁桿的截面積為 ：222hLdBW桁桿的總重量為：hhLppp221cos負(fù)載2p在每個桿上的分力為：dhBhLsp2211于是桿截面的應(yīng)力為：dhBhLp22此應(yīng)力要求小于材料的屈服極限，即222228hLBdE圓桿中應(yīng)力小于等于壓桿穩(wěn)定的臨界應(yīng)力。由材料力學(xué)知：壓桿穩(wěn)定的臨界應(yīng)力為 例例4.（混合飼料配合）以最低成本確定滿足動物所需營養(yǎng)的最優(yōu)混合飼料。下面舉一個簡化了的例子予以說明。設(shè)每天需要混合飼料的批量為100磅，這份飼料必須含：至少0.8%而不超過1.2%的鈣;至少22%的蛋白質(zhì);至多5%的粗纖維。假定主要配料包括石灰石、谷物、大豆粉。這些配

9、料的主要營養(yǎng)成分為：minmaxminmax22222222222080. .2minhhhddddhBhLphLBdEdhBhLptshLdB另外還要考慮到設(shè)計(jì)變量d和h有界。從而得到兩桿桁架最優(yōu)設(shè)計(jì)問題的數(shù)學(xué)模型：配料每磅配料中的營養(yǎng)含量鈣蛋白質(zhì)纖維每磅成本（元）石灰石谷物大豆粉0.380 0.00 0.000.001 0.09 0.020.002 0.50 0.08 0.0164 0.0463 0.1250解解:根據(jù)前面介紹的建模要素得出此問題的數(shù)學(xué)模型如下:設(shè) 是生產(chǎn)100磅混合飼料所須的石灰石、谷物、大豆粉的量（磅）。321xxx00010005. 008. 002. 010022.

10、 050. 009. 0100008. 0002. 0001. 0380. 0100012. 0002. 0001. 0380. 0100. .1250. 00463. 00164. 0min3213232321321321321xxxxxxxxxxxxxxxxtsxxxZ3.最優(yōu)化問題的基本概念 .,21ZhZhZhZHm 其中 是向量變量實(shí)值函數(shù)則有m個式約束的最優(yōu)化問題為：1:RRhni.1mi 0. .minZHtsZfnRnnnxxxxxxZRZ2121,.n維歐氏空間 向量 Zfmin.:1RRfn向量變量實(shí)值函數(shù)： 無約束最優(yōu)問題：.:mnRRH向量變量向量值函數(shù)：其中 均為向量

11、Z的實(shí)值連續(xù)函數(shù)，有二階連續(xù)偏導(dǎo)數(shù)，采用向量表示法即為：ijf gh、 、 min. .0.10.1 .Zijf ZstgZimhZjmlln 等式約束不等式約束目標(biāo)函數(shù)約束集. 0. 0. .minZHZStsZfZ其中 這就是最優(yōu)化問題的一般形式，又稱非線性規(guī)劃。 注意集約束通?？捎貌坏仁郊s束表示出來，有時 1212,.,mmmlS Zg x gxgxH ZhZ hZh Z.nR在本課程我們討論的是如下形式的靜態(tài)最優(yōu)化問題： 最優(yōu)化問題模型統(tǒng)一化最優(yōu)化問題模型統(tǒng)一化： 在上述最優(yōu)化問題的一般式中只是取極小值，如果遇到極大化問題，只須將目標(biāo)函數(shù)反號就可以化為求極小的問題。 例如例如：函數(shù) 在

12、 有極大值 ， 將它改變符號后， 在同一點(diǎn) 處 有極小值 由此可見： 有相同最優(yōu)點(diǎn)。 222xxxf1*x 222xxxf1*x 1*xf ZfZfminmax與 1*xf 因此后面專門研究最小化問題。因此，一般不考慮集約束。 稱滿足所有約束條件的向量Z為容許解容許解或可行解可行解，容許點(diǎn)的集合稱為容許集容許集或可行集可行集。*Z Zf 0. 0. .min*ZHZStsZfZf 在容許集中找一點(diǎn) ，使目標(biāo)函數(shù) 在該點(diǎn)取最小值，即滿足： 的過程即為最優(yōu)化的求解過程。*Z*Zf*,ZfZ 稱為問題的最優(yōu)點(diǎn)， 稱為最優(yōu)值最優(yōu)值， 稱為最優(yōu)解最優(yōu)解。f xf *xf *xf xfx4如果約束條件中有

13、“小于等于“的，即 則轉(zhuǎn)化為 ，另外，等式約束 可以由下面兩個不等式來代替： . 0ZS 0ZS 0ZH 00ZHZH 0. .minZStsZf因而最優(yōu)化問題的一般形式又可寫成： 對于最優(yōu)化問題一般可作如下分類：n線性問題無約束問題一維問題非線性問題維問題靜態(tài)問題最優(yōu)化問題線性規(guī)劃約束問題非線性規(guī)劃無約束動態(tài)問題有約束其中求解一維無約束問題的方法稱為一維搜索一維搜索或直線搜索直線搜索，這在最優(yōu)化方法中起十分重要的作用。 4. 二維問題的圖解法21xox2R 222112xxZffxox21S這是定義在 平面 上的無約束極小化問題，其目標(biāo)函數(shù)在 三維空間中代表一個曲面 。 二維最優(yōu)化問題具有鮮

14、明的幾何解釋，并且可以象征性地把這種解釋推廣到n維空間中去。因此我們簡要介紹一下圖解法圖解法，這對于以后理解和掌握最優(yōu)化的理論和方法是很有益處的。222112minxx例例1. 求解x2x2x2x1x1x1fffff0Pxxo21 xxo0201,f0 20220112xxxxo210Pf0f0 zff0 xxo21f0f0f0 xxo21f0ZT1 , 2f0ZfzT2 , 305. .12min212221xxxxtsff0Gx2x10,0505.12min221222122211xxxxxxtxsxx052221xxxx1x2x1x2416251234561350505212221xxx

15、xxzZfT1 , 4cbgiij,cxbxxgxxxfniiininjjiijn1112121,jiijgg 二次函數(shù)的一般形式為其中 均為常數(shù)。cxaxxxfniiin 121nTaaaa21外，最簡單最重要的一類就是二次函數(shù)。 定義定義：設(shè)Q為nn對稱矩陣 若 ，Z 0 ，均有 0 ，則稱矩陣Q是正定的。 若 ，均有 0 ，則稱矩陣Q是半正定的。 若 ，且Z0，均有 0，則稱Q是負(fù)定的。nRZ nRZ QZZTQZZTnRZ QZZT 在代數(shù)學(xué)中將特殊的二次函數(shù) 稱為二次型。對于二次函數(shù)，我們更關(guān)心的是Q為正定矩陣的情形。QZZZfT21cZbQZZZfTT21其向量矩陣表示形式是：nn

16、nnnnggggggggg212222111211nbbb21其中 Q= 為對稱矩陣，b= 若 ，均有 0，則稱Q是半負(fù)定的。判定一個對稱矩陣Q是不是正定的，可以用Sylvester定理來判定。Sylvester定理：一個nn對稱矩陣Q是正定矩陣的充要條件是矩陣Q的各階主子式都是正的。nRZ QZZT例：判定矩陣Q= 是否正定 解：對稱矩陣Q的三個主子式依次為：401023136A是正定矩陣 非奇異矩陣A= A的所有特征根大于零 有高矩陣G，使A= （矩陣秩等于 矩陣列：高矩陣） A的所有主子式0 GGGG =60， =30， =100因此知矩陣Q是正定的。62336401023136定理定理

17、： 若二次函數(shù) 中Q正定，則它的等值面是同心橢球面族，且中心為 = zcbZQZZZfT21bQ1 證明：作變換Z=Y ，代入二次函數(shù)式中： 根據(jù)解析幾何知識，Q為正定矩陣的二次型 的等值面是以坐標(biāo)原點(diǎn) =0為中心的同心橢球面族。由于上式中的 bQYfY1cbQYbbQYQbQYTT11121cbQbQYYTT12121QYYT21YbQbT121bQ1 另外，這族橢球面的中心 = 恰是二次目標(biāo)函數(shù)的唯一極小點(diǎn)。 前面已說過，一般目標(biāo)函數(shù)的等值面在極小點(diǎn)附近近似地呈現(xiàn)為橢球面族。由此可見對于二次目標(biāo)函數(shù)有效的求極小點(diǎn)的算法，當(dāng)用于一般目標(biāo)函數(shù)時，至少在極小點(diǎn)附近同樣有效。因此在最優(yōu)化理論中判定

18、一個算法好壞的標(biāo)準(zhǔn)之一，是把該算法用于Q為正定的二次目標(biāo)函數(shù)，如能迅速找到極小點(diǎn)，就是好算法；否則就不是太好的算法。zbQ1是常數(shù)，所以 的等值面也是以 =0為中心的同心橢球面族，回到原坐標(biāo)系中去，原二次函數(shù)就是以 = 為中心的同心橢球面族。bQ1zY Y 特別地若算法對于Q為正定的二次目標(biāo)函數(shù)能在有限步內(nèi)找出極小點(diǎn)來，就稱此算法為二次收斂算法，或具有二次收斂性。例例：把二次函數(shù) 化為矩陣向量形式并檢驗(yàn)Q是否正定，如正定，試用公式 = 求這個函數(shù)的極小點(diǎn)。zbQ121312123222132154323,xxxxxxxxxxxxf與題中函數(shù)比較各項(xiàng)系數(shù)為：Q= b=401023136054極小

19、點(diǎn)是 = =zbQ1707682ZbQZZxxxfTT21321解：展開321321321333231232221131211321,21xxxbbbxxxgggggggggxxx =332211322331132112233322222111212121xbxbxbxxgxxgxxgxgxgxg=1031031021031023101210210121081Q由前例知Q正定 f: 表示 f 是定義在 中區(qū)域D上的 n 元實(shí)值函數(shù)。定義定義1：設(shè) f: , D , 若 l ，使 P 有： =0 則稱 f(Z) 在 處可微。 1RRDnnR000limTPfzpfzl PPnRnR0Z1RRDn

20、0Z 若令 =則 f 在 處可微時，有 =0，即 是無窮小量。從而 pplZfpZfT000Z0limPpoplZfpZfT006 梯度與 Hesse矩陣一、多元函數(shù)的可微性和梯度多元函數(shù)的可微性和梯度 以后我們研究的最優(yōu)化問題涉及的均是多元函數(shù)，并要求它們的可微性，下面先給出定義。其中 表示 的高階無窮小，與一元函數(shù)可微性定義類似（ 即 ）PPoP to 0lim0ttot定理定理：若 f(Z) 在 處可微，則 f(Z) 在該點(diǎn)處關(guān)于各變量的一階偏導(dǎo)數(shù)存在，且 證明：令 ， 依次取P= , 為任意無窮小變量， 是 第 i 個坐標(biāo)軸上的單位向量，即 由 f 在 處可微，則 對P= 成立，即 兩

21、邊除以 并取 的極限有：TnxZfxZfxZfl02010,Tnllll,21niepii1, ipieTiie0,0, 1,0,0iiepiiiiipoplZfepZf00ni1ip0ipiiiiPilpZfepZfxZfi0000limni10Z0Z定義定義2 以 f(Z) 的 n 個偏導(dǎo)數(shù)為分量的向量稱為 f(Z) 在Z處的梯度梯度。記為 = 梯度也可稱為函數(shù) f(Z) 關(guān)于向量Z的一階導(dǎo)數(shù)。若f 在 處可微,將代入得 這與一元函數(shù)展開到兩項(xiàng)的Taylor 公式是相對應(yīng)的。 ZfpopZfZfpZfT000TnxZfxZfxZf,210Z二、梯度的性質(zhì)梯度的性質(zhì) 設(shè)f(Z) 在定義域內(nèi)有

22、連續(xù)偏導(dǎo)數(shù)，即有連續(xù)梯度 ，則梯度 有以下兩個重要性質(zhì)： 性質(zhì)一 函數(shù)在某點(diǎn)的梯度不為零，則必與過該點(diǎn)的等值面垂直 性質(zhì)二 梯度方向是函數(shù)具有最大變化率的方向。 Zf0Z性質(zhì)一的證明： 過點(diǎn) 的等值面方程為： = 或 = ， = 設(shè) 是過點(diǎn) 同時又完全在等值面0Z0Zfnxxxf,210r0Zf nnxxxxxx,2211 Zf0r上的任一條光滑曲線L的方程，為參數(shù)。點(diǎn) 對應(yīng)的參數(shù)是 把此曲線方程代入兩邊同時在 處關(guān)于求導(dǎo)數(shù)，根據(jù)復(fù)合函數(shù)微分法有： 向量 恰為曲線L在 處的切向量，由、有： , 即函數(shù)f(Z) 在 處的梯度 與過該點(diǎn)在等值面上的任一條曲線L在此點(diǎn)的切線垂直。從而與過該點(diǎn)的切平面

23、垂直，從而性質(zhì)一成立。 0 x000002200110nnxxZfxxZfxxZf002010,nxxxt0Z000tZfT0Zf0 021,rxxxfn0Z 0Zf Zf 0 xf 0t =為說明第二條性質(zhì)，先引進(jìn)下面方向?qū)?shù)定義：定義 設(shè) 在點(diǎn)Z處可微，P為固定向量，e 為向量P方向的單位向量，則稱極限：1:RRfntZfteZfpZft0000lim0ZpZf0為函數(shù)f(Z) 在點(diǎn) 處沿方向P的方向?qū)?shù)，其中 為其記號，由定義及極限性質(zhì)可知： 若 0，則f(Z) 從 出發(fā)在 附近沿P方向是下降的( 0，則t0充分小時 0即 ， ) 若 0，則f(Z) 從 出發(fā)在 附近沿方向P是上升的。p

24、Zf0pZf0pZf0tZfteZf000ZteZZ0 Zf0Zf0Z0Z定理定理： 若 在點(diǎn) 處可微，則 ，其中 e 為P方向上的單位向量。 證明：利用方向?qū)?shù)定義并將 中的P換成te有： = = 0Z1:RRfneZfpZfT00popZfZfpZfT000 ttoeZftTt00limeZfT0pZf0推論推論：若 0，則P是函數(shù)f(Z) 在 處的下降方向。 若 0，則P是函數(shù)f(Z) 在 處的上升方向。 （P= te ，t 0，則 0，有 0 ，由前面證明即知P為下降方向。）（同樣可證明后者）eZfpZfT00PZfT00ZPZfT0PZfT00Z 以上我們看到方向?qū)?shù)正負(fù)決定了函數(shù)升

25、降，而升降速度的快慢由方向?qū)?shù)絕對值大小來決定，絕對值越大升降速度越大。因此又將方向?qū)?shù) 稱為f(Z) 在 處沿方向P的變化率。 由于 （為方向P與 的夾角） 為使 取最小值，應(yīng)取 ，即P= - ，可見負(fù)梯度方向即為函數(shù)的最速下降方向；同樣梯度方向即為函數(shù)的最速上升方向。這樣我們就說明了性質(zhì)二。pZf00ZeZfpZfT00cos0Zf向量內(nèi)積0ZfpZf001800Zf0Z0Zf0Zf上升方向變化率為0方向下降方向-我們有結(jié)論結(jié)論： 函數(shù)在與其梯度正交的方向上變化率為0 函數(shù)在與其梯度成銳角的方向上是上升的 函數(shù)在與其梯度成鈍角的方向上是下降的解： 由于 則函數(shù)在 處的最速下降方向是2122

26、1124,46xxxZfxxxZfTZ1 , 00 242446102121102102121xxxxxxxxxZfxZfZfP55155224242200XfXfe例例1 試求目標(biāo)函數(shù) 在點(diǎn) 處的最速下降方向，并求沿這個方向移動一個單位長度后新點(diǎn)的目標(biāo)函數(shù)值。2221212143,xxxxxxfTZ1 , 00 QXXfQXXXfQXXfXXXfbXfXbXfCXfCXfTTT2.4.2.3.200.1則，對稱矩陣。則，則，即，則，常數(shù)55115525515521001eXX52526|4312221211XxxxxXf212121212122122322121221222321213312

27、132221321213321224,212.24464242,.46xxxxTxxxxTexxxexxxXfxXfXfexxxxXfexxxXfxxxxxxxxxxxxXfxXfxXfXfxxxxXf( )2123214xxexxXf+=( )321232212143xxxxxxxXf+= 3121232221142.42xxxxxXfxxxxxXf00000,1, 27limTiiiPgXPgXgXPimP nxxxfXf,21.:0DXRRDgmnXgXgXgm,210X0XmTPRPPXgXgPXg00000limnnxXfXgxXfXgxXfXg,2211 8020100220210

28、2012011010nmmmnnxXgxXgxXgxXgxXgxXgxXgXXgxXgXg XfXg1:RRfn0X0X22221222222212121222122nxXfnxxXfnxxXfxnxXfxXfxxXfxnxXfxxXfxXfXfXf 這就是多元函數(shù)這就是多元函數(shù)f（X） 關(guān)于關(guān)于X的二階導(dǎo)數(shù)，稱為的二階導(dǎo)數(shù)，稱為 f（X） 的的Hessian矩陣矩陣。 多元函數(shù)的一階導(dǎo)數(shù)即梯度 。二階導(dǎo)數(shù)即Hesse陣 。 這兩個概念在最優(yōu)化中是最常用的。 在高等數(shù)學(xué)中我們已經(jīng)證明過當(dāng)f（X）的所有二階偏導(dǎo)數(shù)連續(xù)時，有 j=1，2n Xf Xf2 ijjixxXfxxXf22因此在這種情況下

29、，Hesse矩陣是對稱的。例例：求目標(biāo)函數(shù)f（X）=的梯度和Hesse矩陣。 解：因?yàn)?3221232221322xxxxxxxx 322233xxxXf 21122xxxXf 3122222xxxxXf 2202220222Xf故Hesse陣為：2, 2, 20, 2, 2232322222312212212xfxxfxfxxfxxfxf 又因?yàn)椋?TxxxxxxxXf322,222,222331221 則下面幾個Hesse矩陣公式是今后常用到的：（1） 則 （2） 則 （單位陣） （3） Q對稱。 則（4）若 其中f： 則： XbXfT nnXfbXf0.2 XXXfT21 IXfXXf2

30、. QXXXfT21 .,2QXfQXXf( )().0tpXft+=.1RRn.:11RR ,0,20TTtfXtpptpfXtpp 證明（4）：對t求導(dǎo)，根據(jù)多元函數(shù)復(fù)合函數(shù)求導(dǎo)公式即得第一式。 TnnnPPPPtPxtPxtPxft,210202, 101 2,0020111nnnTijiiijiijf Xtpf Xtpdtpp ppf Xtp pdtxx x 再對t求一次導(dǎo)數(shù)有：7 多元函數(shù)的Taylor 展開公式 多元函數(shù)Taylor展開式在最優(yōu)化理論中十分重要。許多方法及其收斂性的證明都是從它出發(fā)的。下面就給出多元函數(shù)Taylor展開式及其證明：定理定理：設(shè)f： 具有二階連續(xù)偏導(dǎo)數(shù)

31、。則： 其中 而01 證明：設(shè) 于是 按一元函數(shù)Taylor展開定理把 在t=0點(diǎn)展開。 1RRn pXfppXfXfpXfTT221.pXX .tpXft .1.0pXfXf( )t有： 其中01 而 由前節(jié)（4） ,21002,tXttt ,0,20|( )0TTtTf X tppf Xppf Xp p njixxXfxxpXfjijiji1, .22當(dāng) 時 從而定理中Taylor公式可以寫成（*）式。 0p. 0ij這是因?yàn)?的每一個分量都是連續(xù)函數(shù)。則()Xf2 2210(*)2TTf Xpf Xf Xppf X pp Taylor展開式還可寫成如下形式： .2112pXfppXfXf

32、pXfTT 代入上式 并令t=1 有：8 極小點(diǎn)及其判定條件一 極小點(diǎn)概念： f例如：圖中一元函數(shù)f定義在區(qū)間a b上 為嚴(yán)格局部極小點(diǎn)， 為非嚴(yán)格局部極小點(diǎn)。 0 X a為全局嚴(yán)格極小點(diǎn) 。 a b 非嚴(yán)格全局極小點(diǎn)嚴(yán)格全局極小點(diǎn)全局極小點(diǎn)非嚴(yán)格局部極小點(diǎn)嚴(yán)格局部極小點(diǎn)局部極小點(diǎn)極小點(diǎn)*1X*2X*1X*2X定義定義1 滿足不等式 的點(diǎn)X的集合稱為 的鄰域。記為： . 00XX0X0,|,00XXXXN* XX定義定義2： 設(shè) 若 使 （1） 均有： 則稱 為f的非嚴(yán)格局部極小點(diǎn)。 （2） 。且 有 則稱 為f的嚴(yán)格局部極小點(diǎn)。,:1RRDfn. 0,*DXDXNX,* XfXf*DXNX,

33、* XfXf*X*X定義定義3： 設(shè) 若 使 （1） 均有 則稱 為f在D上的非嚴(yán)格全局極小點(diǎn)。 （2） 有 則稱 為 f在D上的嚴(yán)格全局極小點(diǎn)。DX *DX XfXf*,XXDX XfXf*X*X1:,nfDRR二、 局部極小點(diǎn)的判定條件局部極小點(diǎn)的判定條件： 為了求出函數(shù)的局部極小值點(diǎn)，我們首先希望知道函數(shù)f在局部極小點(diǎn)處滿足什么條件？以及滿足什么條件的點(diǎn)是局部極小點(diǎn)。 定理定理1： 設(shè) 具有連續(xù)的一階偏導(dǎo)數(shù)，若 是f的局部極小點(diǎn)，且為D的內(nèi)點(diǎn)，則 證明：設(shè)e為任意單位向量。因?yàn)?是f（Z）的局部極小點(diǎn)。由定義知： 當(dāng)|t| 即 時，,:1RRDfn. 0*Xf, 0,*XNteX*X*X

34、 局部極小點(diǎn) 是指在 的某個鄰域內(nèi)，f在 處取極小值。 全局極小點(diǎn) 是指在整個定義域D中，f在 處取極小值。 全局極小點(diǎn)可能在某個局部極小點(diǎn)達(dá)到，也可能在邊界達(dá)到。 我們希望知道的當(dāng)然是全局極小點(diǎn)，而到目前為止的一些最優(yōu)化算法卻基本上是求局部極小值點(diǎn)的。因此一般要先求出所有局部極小值點(diǎn)，再從中找出全局極小點(diǎn)。*X*X*X*X*XteXfXf* teXft* tt0*X t*XfXfe0*Xf0*XfXfT0*Xf eteXftT*, 00*,eXfT 00|,0,tt 2*2*2*2*021021XXXXXXXXXfXXXfXfT*2Xf. 0nRp02*2PPXfPT0*Xf*Xx,:1RRDfn0*Xf*2Xf*X*X.,2121xxxxfTX0 , 0*000 , 0f*X,:1RRDfn0*Xf*X*X*XXX*X .*XfXfCXbQ