優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ).ppt

第二章 優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ),機(jī)械設(shè)計(jì)問(wèn)題一般是非線性規(guī)劃問(wèn)題。,實(shí)質(zhì)上是多元非線性函數(shù)的極小化問(wèn)題，因此，機(jī)械優(yōu)化設(shè)計(jì)是建立在多元函數(shù)的極值理論基礎(chǔ)上的。,機(jī)械優(yōu)化設(shè)計(jì)問(wèn)題分為：,無(wú)約束優(yōu)化,約束優(yōu)化,無(wú)條件極值問(wèn)題,條件極值問(wèn)題,第一節(jié) 多元函數(shù)的方向?qū)?shù)與梯度,一、方向?qū)?shù),從多元函數(shù)的微分學(xué)得知，對(duì)于一個(gè)連續(xù)可微函數(shù)f(x)在某一點(diǎn) 的一階偏導(dǎo)數(shù)為：,它表示函數(shù)f(x)值在 點(diǎn)沿各坐標(biāo)軸方向的變化率。,有一個(gè)二維函數(shù)，如圖2-1所示。,圖2-1 函數(shù)的方向?qū)?shù),其函數(shù)在 點(diǎn)沿d方向的方向?qū)?shù)為,二、二元函數(shù)的梯度,即,三、多元函數(shù)的梯度,沿d方向的方向向量,即,圖2-5 梯度方向與等值面的關(guān)系,函數(shù)的梯度方向與函數(shù)等值面相垂直，也就是和等值面上過(guò)x0的一切曲線相垂直。,由于梯度的模因點(diǎn)而異，即函數(shù)在不同點(diǎn)處的最大變化率是不同的。因此，梯度是函數(shù)的一種局部性質(zhì)。,梯度 模：,梯度兩個(gè)重要性質(zhì)： 性質(zhì)一 函數(shù)在某點(diǎn)的梯度不為零，則必與過(guò)該點(diǎn)的等值面垂直； 性質(zhì)二 梯度方向是函數(shù)具有最大變化率的方向。,圖2-2 梯度方向與等值面的關(guān)系,例題 2-1,求函數(shù) 在點(diǎn)3,2T 的 梯度。,在點(diǎn)x(1)=3,2T處的梯度為：,解：,例2-2*：試求目標(biāo)函數(shù) 在點(diǎn) 處的最速下降方向，并求沿這個(gè)方向移動(dòng)一個(gè)單位長(zhǎng)度后新點(diǎn)的目標(biāo)函數(shù)值。,則函數(shù)在 處的最速下降方向是,解： 由于,新點(diǎn)是,這個(gè)方向上的單位向量是：,幾個(gè)常用的梯度公式：,若目標(biāo)函數(shù)f(x)處處存在一階導(dǎo)數(shù)，則極值點(diǎn) 的必要條件一階偏導(dǎo)數(shù)等于零，即,滿足此條件僅表明該點(diǎn)為駐點(diǎn)，不能肯定為極值 點(diǎn)，即使為極值點(diǎn)，也不能判斷為極大點(diǎn)還是極 小點(diǎn)，還得給出極值點(diǎn)的充分條件,設(shè)目標(biāo)函數(shù)在 點(diǎn)至少有二階連續(xù)的偏導(dǎo)數(shù)，則,在這一點(diǎn)的泰勒二次近似展開(kāi)式為：,第二節(jié) 多元函數(shù)的泰勒展開(kāi),泰勒展開(kāi)寫(xiě)成向量矩陣形式,（1） F(X*)=0； 必要條件 （2）Hesse矩陣G(X*)為正定。 充分條件,多元函數(shù)f(x)在 處取得極值，則極值的條件為,為無(wú)約束極小點(diǎn)的充分條件,其Hesse矩陣G(X*)為正定的。,則極小點(diǎn)必須滿足,為無(wú)約束優(yōu)化問(wèn)題的極值條件,同學(xué)考慮二元函數(shù)在 處取得極值的充分必要條件。,各階主子式大于零,例：求函數(shù)的 極值,第三節(jié) 無(wú)約束優(yōu)化問(wèn)題的極值條件,無(wú)約束優(yōu)化問(wèn)題是使目標(biāo)函數(shù)取得極小值，所謂極值條件就是指目標(biāo)函數(shù)取得極小值時(shí)極值點(diǎn)所應(yīng)滿足的條件。,第四節(jié) 凸集、凸函數(shù)與凸規(guī)劃,前面我們根據(jù)函數(shù)極值條件確定了極小點(diǎn),則函數(shù)f(x)在 附近的一切x均滿足不等式,所以函數(shù)f(x)在 處取得局部極小值，稱(chēng) 為 局部極小點(diǎn)。,而優(yōu)化問(wèn)題一般是要求目標(biāo)函數(shù)在某一區(qū)域內(nèi) 的全局極小點(diǎn)。,函數(shù)的局部極小點(diǎn)是不是一定是全局極小點(diǎn)呢？,圖2-7 下凸的一元函數(shù),一、凸集,的線段都全部包含在該集合內(nèi)，就稱(chēng)該點(diǎn)集為凸集， 否則為非凸集。,一個(gè)點(diǎn)集（或區(qū)域），如果連接其中任意兩點(diǎn),凸集的性質(zhì),二、凸函數(shù),函數(shù)f(x）為凸集定義域內(nèi)的函數(shù)，若對(duì)任何的,稱(chēng),是定義在凸集上的一個(gè)凸函數(shù)。,三、凸性條件,1.根據(jù)一階導(dǎo)數(shù)（函數(shù)的梯度）來(lái)判斷函數(shù)的凸性,設(shè)f(x)為定義在凸集R上，且具有連續(xù)的一階導(dǎo)數(shù) 的函數(shù)，則f(x)在R上為凸函數(shù)的充要條件是對(duì)凸 集R內(nèi)任意不同兩點(diǎn) ，不等式,恒成立。,2.根據(jù)二階導(dǎo)數(shù)（ Hesse矩陣)來(lái)判斷函數(shù)的凸性,設(shè)f(x)為定義在凸集R上且具有連續(xù)二階導(dǎo)數(shù)的 函數(shù)，則f(x)在R上為凸函數(shù)的充要條件,Hesse矩陣在R上處處半正定。,四、凸規(guī)劃,對(duì)于約束優(yōu)化問(wèn)題,凸規(guī)劃的性質(zhì)：,3.凸規(guī)劃的任何局部最優(yōu)解就是全局最優(yōu)解,第五節(jié) 等式約束優(yōu)化問(wèn)題的極值條件,約束優(yōu)化,等式約束,不等式約束,求解這一問(wèn)題的方法,消元法,拉格朗日乘子法,1.消元法（降維法）,2、拉格朗日乘子法（升維法）,2、拉格朗日乘子法（升維法）,2、拉格朗日乘子法（升維法）,對(duì)于具有L個(gè)等式約束的n維優(yōu)化問(wèn)題,處有,將原來(lái)的目標(biāo)函數(shù)作如下改造：,拉格朗日函數(shù),待定系數(shù),新目標(biāo)函數(shù)的極值的必要條件,例2-4 用拉格朗日乘子法計(jì)算在約束條件,的情況下，目標(biāo)函數(shù),的極值點(diǎn)坐標(biāo)。,第六節(jié) 不等式約束優(yōu)化問(wèn)題的極值條件,在工程中大多數(shù)優(yōu)化問(wèn)題，可表示為不等式約束條件的優(yōu)化問(wèn)題。,有必要引出非線性優(yōu)化問(wèn)題的重要理論，是不等式 約束的多元函數(shù)的極值的必要條件。,庫(kù)恩-塔克（Kuhn-Tucker）條件,一、一元函數(shù)在給定區(qū)間上的極值條件,一元函數(shù)f(x)在給定區(qū)間a,b上的極值問(wèn)題，可以 寫(xiě)成下列具有不等式約束條件的優(yōu)化問(wèn)題：,拉格朗日乘子法，除了可以應(yīng)用于等式的極值問(wèn)題，還可 以用于不等式的極值問(wèn)題。,需引入松弛變量，將不等式約束變成等式約束。,設(shè)a1和b1為兩個(gè)松弛變量，則上述的不等式約束可寫(xiě)為：,則該問(wèn)題的拉格朗日函數(shù),根據(jù)拉格朗日乘子法，此問(wèn)題的極值條件：,由,（起作用約束）,（不起作用約束）,同樣 ，來(lái)分析 起作用何不起作用約束。,因此，一元函數(shù)在給定區(qū)間的極值條件，可以表示為：,多元,庫(kù)恩-塔克條件,分析極值點(diǎn) 在區(qū)間的位置，有三種情況,即,即,從以上分析可以看出，對(duì)應(yīng)于不起作用的約束的拉格朗日乘子取零值，因此可以引入起作用約束的下標(biāo)集合。,一元函數(shù)在給定區(qū)間的極值條件，可以改寫(xiě)為：,極值條件中只考慮起作用的約束和相應(yīng)的乘子。,二、庫(kù)恩-塔克條件,仿照一元函數(shù)給定區(qū)間上極值條件的推導(dǎo)過(guò)程， 可以得到具有不等式約束多元函數(shù)極值條件：,用起作用約束的下標(biāo)集合表示,用梯度形式表示，可得,或,庫(kù)恩-塔克條件的幾何意義：在約束極小點(diǎn)處，函數(shù)的負(fù)梯度一定能表示成所有起作用約束在該點(diǎn)梯度的非負(fù)線性組合。,下面以二維問(wèn)題為例，說(shuō)明K-T條件的幾何意義,角錐之內(nèi)，即線性組合的系數(shù)為正，是