優(yōu)化設計的理論與數(shù)學基礎

關于優(yōu)化設計的理論與數(shù)學基礎第1頁，課件共41頁，創(chuàng)作于2023年2月2二元二次函數(shù)

令:

則:

梯度:驗證:二次函數(shù)的矩陣表示方法(補充)其中：:第2頁，課件共41頁，創(chuàng)作于2023年2月3二次函數(shù)的矩陣表示方法(補充)例題:將F(X)=x12-2x1x2+x22-8x1+9x2+10寫成矩陣表示式，并求其梯度。解:驗證:第3頁，課件共41頁，創(chuàng)作于2023年2月42.1目標函數(shù)的泰勒(Taylor)展開式工程實際中的優(yōu)化設計問題，常常是多維且非線性函數(shù)形式，一般較為復雜。為便于研究函數(shù)極值問題，需用簡單函數(shù)作局部逼近，通常采用泰勒展開式作為函數(shù)在某點附近的近似表達式，以近似于原函數(shù)。一元函數(shù)f(x)在x(k)點的泰勒展開式：二元函數(shù)F(X)=F(x1,x2)=在X(k)=[x1(k)

x2(k)]T點的泰勒展開式為：第4頁，課件共41頁，創(chuàng)作于2023年2月5矩陣形式海賽矩陣

即:其中:第5頁，課件共41頁，創(chuàng)作于2023年2月6多元函數(shù)F(X)在X(k)=[x1(k)

x2(k)

xn(k)]T點的泰勒展開式為：(二階偏導數(shù)矩陣)n×n階的對稱方陣

同上：一階偏導數(shù)矩陣稱為函數(shù)在K點的梯度：但其中：第6頁，課件共41頁，創(chuàng)作于2023年2月7

稱為函數(shù)在點的梯度.梯度是一個向量,其方向是函數(shù)在點處數(shù)值增長最快的方向.第7頁，課件共41頁，創(chuàng)作于2023年2月82.2目標函數(shù)的等值線(面)第8頁，課件共41頁，創(chuàng)作于2023年2月9第9頁，課件共41頁，創(chuàng)作于2023年2月10函數(shù)的極值與極值點2.3無約束目標函數(shù)極值點存在條件第10頁，課件共41頁，創(chuàng)作于2023年2月11極值點存在條件一元函數(shù)的情況極值點存在的必要條件的點稱為駐點，極值點必為駐點，但駐點不一定為極值點。極值點存在的充分條件若在駐點附近第11頁，課件共41頁，創(chuàng)作于2023年2月12(一)極值存在的必要條件:

各一階偏導數(shù)等于零H駐點二元函數(shù)的情況多元函數(shù)的情況:第12頁，課件共41頁，創(chuàng)作于2023年2月13(二)極值存在的充分條件:海賽矩陣H(X*)正定→點X*為極小點海賽矩陣H(X*)負定→點X*為極大點海賽矩陣H(X*)不定→點X*為鞍點海賽矩陣H(X*)正定→點X*為極小點證明:=0處處F(X)>F(X*),故點X*為極小點二次型>0若：第13頁，課件共41頁，創(chuàng)作于2023年2月14什么是矩陣正定、負定、不定？①若各階主子行列式均大于零→正定②若各階主子行列式如下→負定②不是正定或負定→不定第14頁，課件共41頁，創(chuàng)作于2023年2月152.3無約束目標函數(shù)極值點存在條件函數(shù)極值必要條件充分條件極小H(X*)正定極大H(X*)負定一元函數(shù)二元函數(shù)H《高等數(shù)學》：設函數(shù)F(X)=F(x1,x2)在點X*的某鄰域內連續(xù)且有一階及二階連續(xù)偏導數(shù)，在點X*有F'x1=0、F'x2=0，令：正定第15頁，課件共41頁，創(chuàng)作于2023年2月16極值存在的必要條件:

各一階偏導數(shù)等于零H駐點極值存在的充分條件:海賽矩陣H(X*)正定→點X*為極小點各階主子行列式均大于零→正定小結:無約束目標函數(shù)極值點存在條件第16頁，課件共41頁，創(chuàng)作于2023年2月17例題試判斷X0=[24]T是否為下面函數(shù)的極小點：解：滿足極值存在的必要條件各階主子行列式均大于零→H(X0)正定X0是極小點第17頁，課件共41頁，創(chuàng)作于2023年2月18例：求解極值點和極值解的極值點必須滿足：

解此聯(lián)立方程得：即點為一駐點。再利用海賽矩陣的性質來判斷此駐點是否為極值點。第18頁，課件共41頁，創(chuàng)作于2023年2月19第19頁，課件共41頁，創(chuàng)作于2023年2月20因此，赫森矩陣是正定的。故駐點為極小點。對應于該極小點的函數(shù)極小值為

由:第20頁，課件共41頁，創(chuàng)作于2023年2月21設平面上有點的集合，在該集合中任意取兩個設計點x1和x2，如果連接點x1與x2直線上的一切內點均屬于該集合，則此集合稱為x1ox2平面上的一個凸集，

2.4凸集與凸函數(shù)第21頁，課件共41頁，創(chuàng)作于2023年2月22凸集的數(shù)學定義如下：對某集合內的任意兩點x1與x2連線，如果連線上的任意點x均滿足x＝αx1+(1-α)x2∈，則該集定義為一個凸集

第22頁，課件共41頁，創(chuàng)作于2023年2月23優(yōu)化設計總是期望得到全局最優(yōu)解局部最優(yōu)解全局最優(yōu)解2.4.2凸函數(shù)由前局部極小點與全局極小點:

第23頁，課件共41頁，創(chuàng)作于2023年2月24

凸函數(shù)函數(shù)的凸性(單峰性)

最優(yōu)值(最小值)與極小值是有區(qū)別的,在什么情況下極小點就是最小點?極小值就是最優(yōu)值?

函數(shù)的凸性：實質就是單峰性。如果函數(shù)在定域內是單峰的,即只有一個峰值,則其極大值就是全域內的最大值,則其極小值就是全域內的最小值第24頁，課件共41頁，創(chuàng)作于2023年2月25幾何解釋：如圖所示的一元函數(shù)f(x)，在定義域內任取兩點x1與x2，函數(shù)曲線上的對應點為K1與K2，連該兩點的直線方程設為。如在[x1，x2]內任取一點x，則該點對應的f(x)與直線兩個函數(shù)值之關系為f(x)<，則稱f(x)為[a，b]區(qū)間內的凸函數(shù)。

數(shù)學定義：設F(x)為定義在n維歐氏空間中一個凸集上的函數(shù)，x1與x2為上的任意兩設計點，取任意實數(shù)α，α∈[0，1]，將x1與x2連線上的內點x表達為：x＝αx1+(1-α)x2，如果恒有下式成立

F[αx1+(1-α)x2]<αF(x1)+(1-α)F(x2)則稱函數(shù)F(x)為定義在凸集上的凸函數(shù)。第25頁，課件共41頁，創(chuàng)作于2023年2月26凸函數(shù)的判定若函數(shù)F(x)在凸集上存在二階偏導數(shù)并且連續(xù)時，則它在該域上為凸函數(shù)的充要條件是：海賽矩陣H(x)處處是半正定(各階主子行列式均大于等于零)。若海賽矩陣H(x)處處都是正定的，則F(x)為嚴格凸函數(shù).凸函數(shù)的基本性質:(1)設F(x)為定義在凸集上的凸函數(shù)，取λ為任意正實數(shù)，則

λF(x)也是域上的凸函數(shù)。(2)設函數(shù)F1(x)、F2(x)為定義在凸集上的凸函數(shù)，則兩函數(shù)之和所構成的新函數(shù)F(x)＝F1(x)+F2(x)也必定是域上的凸函數(shù)。(3)設函數(shù)F1(x)、F2(x)為定義在凸集上的凸函數(shù)，對于正實數(shù)，α>0、β>0，則線性組合F(x)＝αF1(x)+βF2(x)也是域上的凸函數(shù)。

第26頁，課件共41頁，創(chuàng)作于2023年2月27函數(shù)的凸性與局部極值及全域最優(yōu)值之間的關系：若F(x)為凸集上的一個凸函數(shù)，則上的任何一個極值點，同時也是它的最優(yōu)點。第27頁，課件共41頁，創(chuàng)作于2023年2月28

例：判別函數(shù)在上是否為凸函數(shù)。

解：利用海賽矩陣來判別：

因海賽矩陣是正定的，故為嚴格凸函數(shù)。第28頁，課件共41頁，創(chuàng)作于2023年2月29§2.5約束極值點存在條件(p89)

在約束條件下求得的函數(shù)極值點,稱為約束極值點.

K-T條件(約束極小點的必要條件

):如果有n個起作用的約束條件,即n個約束函數(shù)交于一點,則該點成為約束極值點的必要條件是:該點目標函數(shù)的梯度方向應處在由該點的n個約束函數(shù)梯度方向所組成的錐形空間內.第29頁，課件共41頁，創(chuàng)作于2023年2月30第30頁，課件共41頁，創(chuàng)作于2023年2月31第31頁，課件共41頁，創(chuàng)作于2023年2月32K-T條件可以表示為非負乘子第32頁，課件共41頁，創(chuàng)作于2023年2月33

對于凸規(guī)劃問題(可行域為凸集,目標函數(shù)為凸函數(shù)),局部極值點和全域最優(yōu)點相重合,但對于非凸規(guī)劃問題則不然.如圖:第33頁，課件共41頁，創(chuàng)作于2023年2月34K-T條件只能檢驗起作用約束的可行點,如下圖中X*是約束極值點,但K-T條件對它不實用.第34頁，課件共41頁，創(chuàng)作于2023年2月35例:用條件檢驗點是否為目標函數(shù)在不等式約束、條件下的約束最優(yōu)點。解：計算諸約束函數(shù)值

點是可行點，該點起作用約束函數(shù)為計算點有關諸梯度第35頁，課件共41頁，創(chuàng)作于2023年2月36解得：，乘子均為非負，故滿足條件，點為約束極值點，參看左圖，亦得到證實。而且，由于是凸函數(shù)，可行域為凸集，所以點也是約束最優(yōu)點。代入式，求拉格朗日乘子第36頁，課件共41頁，創(chuàng)作于2023年2月372.6優(yōu)化計算的數(shù)值解法及收斂條件2.6.1數(shù)值計算法的迭代過程

選初始點x(0)

確定搜索方向S(0),沿S(0)搜索,步長為(0)

求得第一個迭代點x(1)

ox1x2基本迭代公式:步長方向步步下降步步逼近第37頁，課件共41頁，創(chuàng)作于2023年2月38

數(shù)值計算法的基本思想及迭代格式：在設計空間從一個初始點x(0)出發(fā)，應用某一規(guī)定的算法,按某一方向S(0)和步長α(0)，產生改進設計的新點x(1)，使?jié)M足F(x(1))<F(x(0))，再以x(1)為新起點，仍應用同一算法,按某一方向S(1)和步長α(1)，產生第二個設計新點x(2)，使?jié)M足F(x(2))<F(x(1))，這樣一步一步地搜索下去，依次得設計點x(1)、x(2)、x(3)、…x(k)、x(k+1)、…使目標函數(shù)值逐步下降，直至得到滿足所規(guī)定精度要求的理論極小點x(1)=x(0)+α(0)S(0