多維度極值求法

1、多維度極值求法（海塞矩陣）何森矩陣凸集正定規(guī)定，各階矩陣都大于0，半正定其中一個矩陣等于0拉格朗日乘子法計算P39 2-4一、 問答題1.什么是一維搜索問題？答：當(dāng)方向給定時，求最佳步長就是求一元函數(shù)的極值問題，它稱為一維搜索。2.試述兩種一維搜索方向的原理，它們之間有何區(qū)別？答：搜索的原理是：區(qū)間消去法原理區(qū)別：（1）、試探法：給定的規(guī)定來確定插入點的位置，此點的位置確定僅僅按照區(qū)間的縮短如何加快，而不顧及函數(shù)值的分布關(guān)系，如黃金分割法（2）、插值法：沒有函數(shù)表達式，可以根據(jù)這些點處的函數(shù)值，利用插值方法建立函數(shù)的某種近似表達式，近而求出函數(shù)的極小點，并用它作為原來函數(shù)的近似值。這種方法稱為

2、插值法，又叫函數(shù)逼近法。3.共軛梯度法是利用梯度求共軛方向的，那共軛方向與梯度之間有什么關(guān)系？（P70）對于二次函數(shù)，,從點出發(fā)，沿G的某一共軛方向作一維搜索，到達點，則點處的搜索方向應(yīng)滿足，即終點與始點的梯度之差與的共軛方向正交。4.懲罰函數(shù)法求解約束優(yōu)化問題的基本原理是什么？答：懲罰函數(shù)求解約束優(yōu)化問題的基本原理是將約束優(yōu)化問題中的不等式和等式約束優(yōu)化函數(shù)經(jīng)過加權(quán)轉(zhuǎn)化后，和原目標(biāo)函數(shù)結(jié)合成新的目標(biāo)函數(shù)-懲罰函數(shù)，即=+=f求解該新的目標(biāo)函數(shù)的無約束極小值，以期得到原問題的約束最優(yōu)解。5.與最速下降法和牛頓法比較，試述變尺度法的特點。答：P74-776.在變尺度法中，為使變尺度矩陣與近似，并

3、具有容易計算的特點，必須附加哪些條件？答：（1）為保證迭代公式具有下降的性質(zhì)，要求海塞矩陣中的每一個矩陣都是對稱正定的。（2）要求海塞矩陣之間具有簡單的形式：。 （3）要求海塞矩陣必須滿足擬牛頓條件。7.試述數(shù)值解法求最佳步長因子的基本思路。答主要用數(shù)值解法，利用計算機通過反復(fù)迭代計算求得最佳步長因子的近似值 8.寫應(yīng)用數(shù)學(xué)規(guī)劃法求解優(yōu)化設(shè)計問題的數(shù)值迭代公式，并說明公式中各變量的意義，并說明迭代公式的意義。9.變尺度的搜索方向是什么？變尺度矩陣應(yīng)滿足什么條件？變尺度矩陣在極小點處逼近什么矩陣？并寫出其初始形式。10.在變尺度法中，變尺度矩陣為什么要求都是正定對稱的？答：因為若要求搜索方向為下

4、降方向，即要求，也就是，這樣,即應(yīng)為對稱正定。11.什么是共軛方向？滿足什么關(guān)系？共軛與正交是什么關(guān)系？12.請寫出應(yīng)用MATLAB優(yōu)化工具箱處理約束優(yōu)化設(shè)計問題的基本步驟。答：（1）編寫定義目標(biāo)函數(shù)的M文件fun1.m（2）編寫定義約束方程函數(shù)的M文件con.m（3）在窗口調(diào)用求解命令求解.。求解格式為：x0=-1,1x,fval=fmincon(fun1,x0,con)13.試述求解無約束優(yōu)化問題的最速下降法與牛頓型方法的優(yōu)缺點。答：最速下降法此法優(yōu)點是直接、簡單，頭幾步下降速度快。缺點是收斂速度慢，越到后面收斂越慢。牛頓法優(yōu)點是收斂比較快，對二次函數(shù)具有二次收斂性。缺點是每次迭代需要求海

5、塞矩陣及其逆矩陣，維數(shù)高時及數(shù)量比較大。14.為何優(yōu)化設(shè)計的可行設(shè)計域和可行設(shè)計點？15.無約束優(yōu)化問題數(shù)值求解的一般步驟是什么？答：（1）編寫M文件，fun1.m，定義目標(biāo)函數(shù)文件。（2） 在命令窗口中調(diào)用無約束線性函數(shù)fminunc求解。 求解格式為：x0=-1,1x,fval=fminunc(fun1,x0)16.什么是內(nèi)點懲罰函數(shù)法？什么是外點懲罰函數(shù)法？他們適用的優(yōu)化問題是什么？在構(gòu)造懲罰函數(shù)時，內(nèi)點懲罰函數(shù)法和外點懲罰函數(shù)法的懲罰因子的選取有何不同？ 1）內(nèi)點懲罰函數(shù)法是將新目標(biāo)函數(shù)定義于可行域內(nèi)，序列迭代點在可行域內(nèi)逐步逼近約束邊界上的最優(yōu)點。內(nèi)點法只能用來求解具有不等式約束的優(yōu)

6、化問題。 內(nèi)點懲罰函數(shù)法的懲罰因子是由大到小，且趨近于0的數(shù)列。相鄰兩次迭代的懲在可行域之外，序列迭代點從可行域之外逐漸逼近約束邊界上的最優(yōu)點。外點法可以用來求解含不等式和等式約束的優(yōu)化問題。外點懲罰函數(shù)法的懲罰因子，它是由小到大，且趨近于的數(shù)列。懲罰因子按下式遞增，式中為懲罰因子的遞增系數(shù)，通常取17為什么說共軛梯度法實質(zhì)上是對最速下降法進行的一種改進？.答：共軛梯度法是共軛方向法中的一種，在該方法中每一個共軛向量都依賴于迭代點處的負梯度構(gòu)造出來的。共軛梯度法的第一個搜索方向取負梯度方向，這是最速下降法。其余各步的搜索方向是將負梯度偏轉(zhuǎn)一個角度，也就是對負梯度進行修正。所以共軛梯度法的實質(zhì)是

7、對最速下降法的一種改進。18.優(yōu)化設(shè)計的數(shù)學(xué)模型一般有哪幾部分組成？簡單說明。19簡述隨機方向法的基本思路答：隨機方向法的基本思路是在可行域內(nèi)選擇一個初始點，利用隨機數(shù)的概率特性，產(chǎn)生若干個隨機方向，并從中選擇一個能使目標(biāo)函數(shù)值下降最快的隨機方向作為可行搜索方向。從初始點出發(fā)，沿搜索方向以一定的步長進行搜索，得到新的值，新點應(yīng)該滿足一定的條件，至此完成第一次迭代。然后將起始點移至，重復(fù)以上過程，經(jīng)過若干次迭代計算后，最終取得約束最優(yōu)解。20. 簡述優(yōu)化問題數(shù)學(xué)模型的三個要素，并給出通用的數(shù)學(xué)模型表述。(15分)一、設(shè)計變量。在優(yōu)化設(shè)計過程中需要不斷進行修改、調(diào)整，一直處于變化狀態(tài)的基本設(shè)計參數(shù)

8、稱為設(shè)計變量，又叫優(yōu)化參數(shù)。設(shè)計變量的全體實際上是一組變量，可用一個列向量表示稱作設(shè)計變量向量。 二、約束條件。一個可行設(shè)計方案必須滿足的某些設(shè)計限制條件稱為約束條件。在工程問題中，根據(jù)約束的性質(zhì)可區(qū)分為兩大類：性能約束（針對性能要求提出的限制條件）和側(cè)面（也稱邊界）約束（對變量取值范圍加以限制的約束）。若按數(shù)學(xué)表達形式可分成等式約束和不等式約束兩種類型。 三、目標(biāo)函數(shù)。將所有可行設(shè)計中能最好地反映該項設(shè)計所要追求的某些特定目標(biāo)表示成設(shè)計變量的數(shù)學(xué)函數(shù)稱為目標(biāo)函數(shù)。最優(yōu)化問題的數(shù)學(xué)模型 21. 寫出方向?qū)У谋磉_式。(15分) 22.簡述一維搜索方法的分類。(15分)(要點)一、試控法。按一定的

9、規(guī)律來確定區(qū)間內(nèi)插入點的位置。如黃金分割法。二、插值法或函數(shù)逼迫法。根據(jù)某點處的的一些信息，構(gòu)造一個插值函數(shù)來逼近原來函數(shù)。常見的有二次插值法、三次插值法等。2、機械優(yōu)化設(shè)計采用數(shù)學(xué)規(guī)劃法,其核心一是建立搜索方向 二是計算最佳步長因子 。3、當(dāng)優(yōu)化問題是_凸規(guī)劃_的情況下，任何局部最優(yōu)解就是全域最優(yōu)解。4、應(yīng)用進退法來確定搜索區(qū)間時，最后得到的三點，即為搜索區(qū)間的始點、中間點和終點，它們的函數(shù)值形成 高-低-高 趨勢。5、包含n個設(shè)計變量的優(yōu)化問題，稱為 n 維優(yōu)化問題。6、函數(shù) 的梯度為 HX+B 。7、設(shè)G為nn對稱正定矩陣，若n維空間中有兩個非零向量d0，d1，滿足(d0)TGd1=0，

10、則d0、d1之間存在_共軛_關(guān)系。8、 設(shè)計變量 、 約束條件 、 目標(biāo)函數(shù) 是優(yōu)化設(shè)計問題數(shù)學(xué)模型的基本要素。9、對于無約束二元函數(shù)，若在點處取得極小值，其必要條件是 梯度為零 ，充分條件是 海塞矩陣正定 。10、 庫恩-塔克 條件可以敘述為在極值點處目標(biāo)函數(shù)的梯度為起作用的各約束函數(shù)梯度的非負線性組合。11、用黃金分割法求一元函數(shù)的極小點，初始搜索區(qū)間，經(jīng)第一次區(qū)間消去后得到的新區(qū)間為 -2.36,2.36 。12、優(yōu)化設(shè)計問題的數(shù)學(xué)模型的基本要素有設(shè)計變量 、約束條件 目標(biāo)函數(shù) 、13、牛頓法的搜索方向dk= ，其計算量 大 ，且要求初始點在極小點 逼近 位置。15、存在矩陣H，向量 d

11、1，向量 d2，當(dāng)滿足 (d1)TGd2=0 ，向量 d1和向量 d2是關(guān)于H共軛。16、采用外點法求解約束優(yōu)化問題時，將約束優(yōu)化問題轉(zhuǎn)化為外點形式時引入的懲罰因子r數(shù)列，具有 由小到大趨于無窮 特點。1、下面 、共軛梯度法 方法需要求海賽矩陣。2、對于約束問題根據(jù)目標(biāo)函數(shù)等值線和約束曲線，判斷為 D. 外點；內(nèi)點 ，為 。3、內(nèi)點懲罰函數(shù)法可用于求解_ B只含有不等式約束的優(yōu)化問題 _優(yōu)化問題。4、對于一維搜索，搜索區(qū)間為a，b，中間插入兩個點a1、b1，a1b1，計算出f(a1)f(b1)，則縮短后的搜索區(qū)間為_ D a，b1 5、_ D 最佳步長_不是優(yōu)化設(shè)計問題數(shù)學(xué)模型的基本要素。6、

12、變尺度法的迭代公式為xk+1=xk-kHkf(xk)，下列不屬于Hk必須滿足的條件的是與海塞矩陣正交 _。7、函數(shù)在某點的梯度方向為函數(shù)在該點的 、最速上升方向 。8、_ D 坐標(biāo)輪換法在構(gòu)成搜索方向時沒有使用到目標(biāo)函數(shù)的一階或二階導(dǎo)數(shù)。 9、設(shè)為定義在凸集R上且具有連續(xù)二階導(dǎo)數(shù)的函數(shù)，則在R上為凸函數(shù)的充分必要條件是海塞矩陣G(X)在R上處處 半正定 。11、與梯度成銳角的方向為函數(shù)值 上升 方向，與負梯度成銳角的方向為函數(shù)值 下降 方向，與梯度成直角的方向為函數(shù)值 不變 方向。12、二維目標(biāo)函數(shù)的無約束極小點就是等值線族的一個共同中心 。13、最速下降法相鄰兩搜索方向dk和dk+1必為 正

13、交 向量。14、下列關(guān)于內(nèi)點懲罰函數(shù)法的敘述，錯誤的是 。A 可用來求解含不等式約束和等式約束的最優(yōu)化問題。 B 懲罰因子是不斷遞減的正值C初始點應(yīng)選擇一個離約束邊界較遠的點。 D 初始點必須在可行域內(nèi)15、通常情況下，下面四種算法中收斂速度最慢的是B梯度法16、一維搜索試探方法黃金分割法比二次插值法的收斂速度A、慢17、下列關(guān)于共軛梯度法的敘述，錯誤的是C共軛梯度法具有二次收斂性三、問答題1、試述兩種一維搜索方法的原理，它們之間有何區(qū)答：搜索的原理是：區(qū)間消去法原理區(qū)別：（1）、試探法：給定的規(guī)定來確定插入點的位置，此點的位置確定僅僅按照區(qū)間的縮短如何加快，而不顧及函數(shù)值的分布關(guān)系，如黃金分

14、割法（2）、插值法：沒有函數(shù)表達式，可以根據(jù)這些點處的函數(shù)值，利用插值方法建立函數(shù)的某種近似表達式，近而求出函數(shù)的極小點，并用它作為原來函數(shù)的近似值。這種方法稱為插值法，又叫函數(shù)逼近法。2、懲罰函數(shù)法求解約束優(yōu)化問題的基本原理是什么？ 答，基本原理是將優(yōu)化問題的不等式和等式約束函數(shù)經(jīng)過加權(quán)轉(zhuǎn)化后，和原目標(biāo)函數(shù)結(jié)合形成新的目標(biāo)函數(shù)懲罰函數(shù)求解該新目標(biāo)函數(shù)的無約束極值，以期得到原問題的約束最優(yōu)解3、試述數(shù)值解法求最佳步長因子的基本思路。 答 主要用數(shù)值解法，利用計算機通過反復(fù)迭代計算求得最 佳步長因子的近似值4、試述求解無約束優(yōu)化問題的最速下降法與牛頓型方法的優(yōu)缺點。答：最速下降法此法優(yōu)點是直接、

15、簡單，頭幾步下降速度快。缺點是收斂速度慢，越到后面收斂越慢。牛頓法優(yōu)點是收斂比較快，對二次函數(shù)具有二次收斂性。缺點是每次迭代需要求海塞矩陣及其逆矩陣，維數(shù)高時及數(shù)量比較大。5、寫出用數(shù)學(xué)規(guī)劃法求解優(yōu)化設(shè)計問題的數(shù)值迭代公式，并說明公式中各變量的意義，并說明迭代公式的意義。四、解答題1、試用梯度法求目標(biāo)函數(shù)f(X)=1.5x12+0.5x22- x1x2-2x1的最優(yōu)解，設(shè)初始點x(0)=-2，4T,選代精度=0.02（迭代一步）。4、求目標(biāo)函數(shù)f( X )=x12+x1x2+2x22 +4x1+6x2+10的極值和極值點。12、一根長l的鉛絲截成兩段，一段彎成圓圈，另一段彎折成方形，問應(yīng)以怎樣

16、的比例截斷鉛絲，才能使圓和方形的面積之和為最大，試寫出這一優(yōu)化設(shè)計問題的數(shù)學(xué)模型以及用MATLAB軟件求解的程序。第一、填空題1.組成優(yōu)化設(shè)計數(shù)學(xué)模型的三要素是 設(shè)計變量 、 目標(biāo)函數(shù) 、 約束條件 。3.目標(biāo)函數(shù)是一項設(shè)計所追求的指標(biāo)的數(shù)學(xué)反映，因此對它最基本的要求是能用來評價設(shè)計的優(yōu)劣，同時必須是設(shè)計變量的可計算函數(shù) 。4.建立優(yōu)化設(shè)計數(shù)學(xué)模型的基本原則是確切反映 工程實際問題，的基礎(chǔ)上力求簡潔 。5.約束條件的尺度變換常稱 規(guī)格化，這是為改善數(shù)學(xué)模型性態(tài)常用的一種方法。 6.隨機方向法所用的步長一般按 加速步長 法來確定，此法是指依次迭代的步長按一定的比例 遞增的方法。 7.最速下降法以

17、 負梯度 方向作為搜索方向，因此最速下降法又稱為 梯度法，其收斂速度較 慢 。8.二元函數(shù)在某點處取得極值的充分條件是必要條件是該點處的海賽矩陣正定9.拉格朗日乘子法的基本思想是通過增加變量將等式約束 優(yōu)化問題變成 無約束優(yōu)化問題，這種方法又被稱為 升維 法。10改變復(fù)合形形狀的搜索方法主要有反射，擴張，收縮，壓縮 11坐標(biāo)輪換法的基本思想是把多變量 的優(yōu)化問題轉(zhuǎn)化為 單變量 的優(yōu)化問題12在選擇約束條件時應(yīng)特別注意避免出現(xiàn) 相互矛盾的約束， ，另外應(yīng)當(dāng)盡量減少不必要的約束 。13目標(biāo)函數(shù)是n維變量的函數(shù)，它的函數(shù)圖像只能在n+1, 空間中描述出來，為了在n維空間中反映目標(biāo)函數(shù)的變化情況，常采

18、用 目標(biāo)函數(shù)等值面 的方法。14.數(shù)學(xué)規(guī)劃法的迭代公式是 ，其核心是 建立搜索方向， 和 計算最佳步長 15協(xié)調(diào)曲線法是用來解決 設(shè)計目標(biāo)互相矛盾 的多目標(biāo)優(yōu)化設(shè)計問題的。16.機械優(yōu)化設(shè)計的一般過程中， 建立優(yōu)化設(shè)計數(shù)學(xué)模型 是首要和關(guān)鍵的一步，它是取得正確結(jié)果的前提。二、名詞解釋1凸規(guī)劃 對于約束優(yōu)化問題 若、都為凸函數(shù)，則稱此問題為凸規(guī)劃。2可行搜索方向是指當(dāng)設(shè)計點沿該方向作微量移動時，目標(biāo)函數(shù)值下降，且不會越出可行域。3設(shè)計空間：n個設(shè)計變量為坐標(biāo)所組成的實空間，它是所有設(shè)計方案的組合4.可靠度5收斂性是指某種迭代程序產(chǎn)生的序列收斂于6.非劣解：是指若有m個目標(biāo)，當(dāng)要求m-1個目標(biāo)函數(shù)

19、值不變壞時，找不到一個X，使得另一個目標(biāo)函數(shù)值比，則將此為非劣解。7. 黃金分割法：是指將一線段分成兩段的方法，使整段長與較長段的長度比值等于較長段與較短段長度的比值。8.可行域：滿足所有約束條件的設(shè)計點，它在設(shè)計空間中的活動范圍稱作可行域。9.維修度 略三、簡答題 1什么是內(nèi)點懲罰函數(shù)法？什么是外點懲罰函數(shù)法？他們適用的優(yōu)化問題是什么？在構(gòu)造懲罰函數(shù)時，內(nèi)點懲罰函數(shù)法和外點懲罰函數(shù)法的懲罰因子的選取有何不同？ 1）內(nèi)點懲罰函數(shù)法是將新目標(biāo)函數(shù)定義于可行域內(nèi)，序列迭代點在可行域內(nèi)逐步逼近約束邊界上的最優(yōu)點。內(nèi)點法只能用來求解具有不等式約束的優(yōu)化問題。 內(nèi)點懲罰函數(shù)法的懲罰因子是由大到小，且趨近于0的數(shù)列。相鄰兩次迭代的懲在可行域之外，序列迭代點從可行域之外逐漸逼近約束邊界上的最優(yōu)點。外點法可以用來求解含不等式和等式約束的優(yōu)化問題。外點懲罰函數(shù)法的懲罰因子，它是由小到大，且趨近于的數(shù)列。懲罰因子按下式遞增，式中為懲罰因子的遞增系數(shù)，通常取3為什么說共軛梯度法實質(zhì)上是對最速下降法進行的一種改進？.答：共軛梯度法是共軛方向法中的一種，在該方法中每一個共軛向量都依賴于迭代點處的負梯度構(gòu)造出來的。共軛梯度法的第一個搜索方向取負梯度方向，這是最速下降法。其余各步