變分法在最優(yōu)控制中的應(yīng)用

關(guān)于變分法在最優(yōu)控制中的應(yīng)用第1頁，講稿共47頁，2023年5月2日，星期三具有等式約束條件下的變分問題

(1/10)3.1具有等式約束條件下的變分問題

具有等式約束條件下,多個宗量函數(shù)的泛函極值問題可表示如下。等式約束變分問題

尋找一條連續(xù)可微的極值曲線,使性能泛函

達到極值,極值曲線

x(t)滿足微分方程形式的等式約束式中,為m維(mn)關(guān)于t,

x和的非線性向量函數(shù)。第2頁，講稿共47頁，2023年5月2日，星期三具有等式約束條件下的變分問題

(2/10)這里,極值曲線x(t)除滿足邊界條件和古典變分學中規(guī)定的連續(xù)可微條件外,還須滿足該等式約束條件。由于動態(tài)系統(tǒng)的狀態(tài)方程可歸為等式約束,因此該等式約束變分問題是研究最優(yōu)控制的基礎(chǔ)。下面就給出并證明處理等式約束變分問題的等式約束變分定理。第3頁，講稿共47頁，2023年5月2日，星期三具有等式約束條件下的變分問題

(3/10)—定理4定理4(等式約束變分定理)

如果n維向量函數(shù)x(t)能使等式約束變分問題取極值,那么,必存在待定的m維拉格朗日乘子向量函數(shù)(t),使泛函達到無條件極值,即極值曲線x(t)是上述泛函所滿足的歐拉方程和等式約束條件(47)的解,其中第4頁，講稿共47頁，2023年5月2日，星期三具有等式約束條件下的變分問題

(4/10)引進拉格朗日乘子可以將泛函的條件極值問題化為一個無條件的極值問題。引入該定理的作用,僅僅是表明泛函J在等式約束條件下的極值曲線x(t),同時使得泛函J和J1達到無條件極值。在后面還要詳細講解具有約束條件下求解極值問題的泛函變分問題。第5頁，講稿共47頁，2023年5月2日，星期三具有等式約束條件下的變分問題

(5/10)—例7上述歐拉方程和約束條件共有n+m個方程,恰好可以解出n+m個未知函數(shù)x(t)和(t)。通過邊界條件確定x(t)和(t)中的積分常數(shù)。隨著終端條件的不同,邊界條件也不同。在2.4節(jié)和2.5節(jié)所討論橫截條件就能解決這個問題。例6

火箭在自由空間里的運動作用可用下列微分方程描述式中,u(t)為推力;(t)為角位移。第6頁，講稿共47頁，2023年5月2日，星期三具有等式約束條件下的變分問題

(6/10)令x1(t)=(t),x2(t)=(t),可建立狀態(tài)方程如下試求控制函數(shù)u(t),使系統(tǒng)從初始狀態(tài)經(jīng)過t=2s轉(zhuǎn)移到狀態(tài)空間原點,即且使如下性能指標取極小。第7頁，講稿共47頁，2023年5月2日，星期三具有等式約束條件下的變分問題

(7/10)解該問題屬于終端固定的極值問題。選擇向量拉格朗日乘子函數(shù)(t)=[1(t),2(t)],由定理4,利用拉格朗日乘子法可得如下輔助泛函指標式中，式中狀態(tài)變量x(t)、控制函數(shù)u(t)和向量拉格朗日乘子函數(shù)(t)都為該泛函的宗量。在一般形式中沒有宗量u(t),實際上,我們可以把u(t)和x(t)一樣來處理,比如,在本例中可以定義u(t)=x3(t)。第8頁，講稿共47頁，2023年5月2日，星期三具有等式約束條件下的變分問題

(8/10)那么,這些泛函的宗量必須滿足如下歐拉方程第9頁，講稿共47頁，2023年5月2日，星期三具有等式約束條件下的變分問題

(9/10)聯(lián)立求解上述歐拉方程,可得第10頁，講稿共47頁，2023年5月2日，星期三具有等式約束條件下的變分問題

(10/10)利用邊界條件可解得因此,最優(yōu)控制函數(shù)和狀態(tài)的最優(yōu)軌線第11頁，講稿共47頁，2023年5月2日，星期三末態(tài)時刻固定、末態(tài)無約束的最優(yōu)控制問題(1/12)3.2末態(tài)時刻固定、末態(tài)無約束的最優(yōu)控制問題這一節(jié)著重討論末態(tài)不受約束的最優(yōu)控制問題。所謂末態(tài)不受約束,是指末態(tài)x(tf)可在Rn空間中取任何值,即目標集為整個狀態(tài)空間。因此,該問題可描述如下。末態(tài)無約束最優(yōu)控制問題

求一容許控制u(t)U,t[t0,tf],在末態(tài)時刻tf固定,狀態(tài)x(tf)無約束,初始狀態(tài)x(t0)=x0以及被控系統(tǒng)等約束條件下,使如下復合型性能泛函指標達到最小值。第12頁，講稿共47頁，2023年5月2日，星期三末態(tài)時刻固定、末態(tài)無約束的最優(yōu)控制問題(2/12)對該最優(yōu)控制問題,若將動態(tài)系統(tǒng)的狀態(tài)方程改寫成等式約束條件則可根據(jù)等式約束變分定理(定理4)求解該泛函極值問題，兩問題只是邊界條件不同而已。引入拉格朗日乘子向量函數(shù)(t),將等式約束條件和原有的性能指標泛函結(jié)合成一個新的泛函泛函J1的極值問題與原泛函J的極值問題等價。第13頁，講稿共47頁，2023年5月2日，星期三末態(tài)時刻固定、末態(tài)無約束的最優(yōu)控制問題(3/12)為方便起見,定義一標量函數(shù)如下該標量函數(shù)H稱為哈密頓(Hamilton)函數(shù)。因此,泛函J1可記為。第14頁，講稿共47頁，2023年5月2日，星期三末態(tài)時刻固定、末態(tài)無約束的最優(yōu)控制問題(4/12)求泛函J1的極值問題,可以直接用歐拉方程(49)來求得極值條件,并且通過邊界條件確定由極值條件得到方程解的積分常數(shù),如例6中,邊界條件為系統(tǒng)起點和終點狀態(tài)。后面將會給出不同情況下的邊界條件。當然在確定泛函J1的極值條件時,不是一定要利用歐拉方程(49)來求解,可以根據(jù)實際情況進行必要的簡化。就泛函J1而言,其宗量有以及u(t)和(t)；前面已經(jīng)指出,不必對宗量(t)變分,因為對(t)的變分結(jié)果就是約束條件(系統(tǒng)狀態(tài)方程)。第15頁，講稿共47頁，2023年5月2日，星期三末態(tài)時刻固定、末態(tài)無約束的最優(yōu)控制問題(5/12)考慮到初始狀態(tài)(t0,x(t0)),末態(tài)時刻tf固定以及x(tf)自由,泛函J1對其所有的可變宗量的一階變分為當選擇(t)滿足時，可惟一確定拉格朗日乘子函數(shù)(t)。于是,泛函J1的一階變分可變?yōu)榈?6頁，講稿共47頁，2023年5月2日，星期三末態(tài)時刻固定、末態(tài)無約束的最優(yōu)控制問題(6/12)根據(jù)泛函極值的必要條件J1=0,考慮到變分u(t)的任意性,由變分學的基本預(yù)備定理可得聯(lián)立上述方程以及動態(tài)系統(tǒng)的狀態(tài)方程和初始狀態(tài)條件x(t0)=x0,可解得最優(yōu)控制函數(shù)u*(t)、最優(yōu)狀態(tài)軌線x*(t)和適當?shù)睦窭嗜粘俗雍瘮?shù)(t)。上述結(jié)果可歸納成如下定理。第17頁，講稿共47頁，2023年5月2日，星期三末態(tài)時刻固定、末態(tài)無約束的最優(yōu)控制問題(7/12)—定理5定理5(末態(tài)無約束最優(yōu)控制定理)

末態(tài)無約束最優(yōu)控制問題的最優(yōu)控制函數(shù)u*(t),最優(yōu)狀態(tài)軌線x*(t)和適當選擇的拉格朗日乘子函數(shù)(t)須滿足如下條件:1)

規(guī)范方程2)

邊界條件3)

極值條件第18頁，講稿共47頁，2023年5月2日，星期三末態(tài)時刻固定、末態(tài)無約束的最優(yōu)控制問題(8/12)在末態(tài)無約束最優(yōu)控制定理的結(jié)論中,由上述微分方程以及邊界條件可惟一確定出最優(yōu)狀態(tài)軌線x*(t)和適當選擇的拉格朗日乘子函數(shù)(t)。上述關(guān)于x(t)和(t)的微分方程通常被稱為規(guī)范方程,其中(t)的微分方程又稱為協(xié)態(tài)方程(或共軛方程,伴隨方程),相應(yīng)地,拉格朗日乘子函數(shù)(t)又稱為協(xié)態(tài)變量或共軛變量。極值條件H/u=0是一代數(shù)方程,由它聯(lián)立規(guī)范方程的解可求得具體的最優(yōu)控制函數(shù)u*(t)和最優(yōu)狀態(tài)軌線x*(t)。第19頁，講稿共47頁，2023年5月2日，星期三末態(tài)時刻固定、末態(tài)無約束的最優(yōu)控制問題(9/12)下面討論哈密頓函數(shù)的一個重要性質(zhì)。哈密頓函數(shù)對時間t的全導數(shù)為考慮到規(guī)范方程,則有再考慮到極值條件H/u=0,于是哈密頓函數(shù)對時間t的全導數(shù)可表示為第20頁，講稿共47頁，2023年5月2日，星期三末態(tài)時刻固定、末態(tài)無約束的最優(yōu)控制問題(10/12)—例7上式表明,沿最優(yōu)軌線哈密頓函數(shù)H對時間的全導數(shù)等于對時間的偏導數(shù)。因此,當哈密頓函數(shù)H不顯含時間變量t時,則有H(t)=常數(shù)t[t0,tf]例7

已知被控系統(tǒng)為求最優(yōu)控制u*(t)使如下性能指標泛函取極小。第21頁，講稿共47頁，2023年5月2日，星期三末態(tài)時刻固定、末態(tài)無約束的最優(yōu)控制問題(11/12)解這是一個具有tf固定,x(tf)自由的終端約束的極值問題。構(gòu)造哈密頓函數(shù)如下,由極值條件H/u=0可解得u=-。將其代入規(guī)范方程,可得并滿足如下邊界條件x(t0)=x0

(tf)=Cx(tf)從而解得第22頁，講稿共47頁，2023年5月2日，星期三末態(tài)時刻固定、末態(tài)無約束的最優(yōu)控制問題(12/12)式中，tf為某一確定的常數(shù)。將u*(t)代入哈密頓函數(shù)H得其中(t)為常數(shù)。第23頁，講稿共47頁，2023年5月2日，星期三末態(tài)時刻和末態(tài)固定的問題

(1/5)3.3末態(tài)時刻和末態(tài)固定的問題

對末態(tài)的要求不同將導致最優(yōu)控制問題的結(jié)論不同。上面討論了無末態(tài)約束的問題,這一小節(jié)將研究末態(tài)時刻tf和末態(tài)x(tf)固定的最優(yōu)控制問題。由于末態(tài)時刻tf和末態(tài)x(tf)已固定,即x(tf)=xf,因此,性能指標泛函中的末值項S(x(tf),tf)就沒有存在的必要。在這種情況下,最優(yōu)控制問題的性能指標泛函為如下積分型泛函第24頁，講稿共47頁，2023年5月2日，星期三末態(tài)時刻和末態(tài)固定的問題

(2/5)因此,該最優(yōu)控制問題描述如下。末態(tài)固定最優(yōu)控制問題對于被控系統(tǒng)(51),始端狀態(tài)(t0,x(t0))和末態(tài)(tf,x(tf))固定時的性能指標泛函(68)極小的最優(yōu)控制問題。與前面的推導過程類似,考慮到末值項S(x(tf),tf)=0,輔助泛函J1可定義為就泛函J1而言,其宗量有以及u(t)和(t)。前面已經(jīng)指出,不必對宗量(t)變分,因為對(t)的變分結(jié)果就是系統(tǒng)狀態(tài)方程。第25頁，講稿共47頁，2023年5月2日，星期三末態(tài)時刻和末態(tài)固定的問題

(3/5)因此,考慮到始端和末端固定,即x(tf)=x(t0)=0,泛函J1對其所有宗量的一階變分為根據(jù)泛函極值的必要條件J1=0,同樣可以導出第26頁，講稿共47頁，2023年5月2日，星期三末態(tài)時刻和末態(tài)固定的問題

(4/5)當x(tf)固定,即x(tf)=0時,雖然變分u(t)不再是任意的。但x(tf)固定是相對的,其值的確定具有任意性,因此,末態(tài)x(tf)固定時的最優(yōu)控制問題的極值條件仍然為同上一節(jié)末態(tài)時刻tf固定,末態(tài)x(tf)無約束的變分問題相比,邊界條件在這里被取而代之的是x(tf)=xf。綜合上述結(jié)論,有如下關(guān)于末態(tài)固定最優(yōu)控制問題的定理。第27頁，講稿共47頁，2023年5月2日，星期三末態(tài)時刻和末態(tài)固定的問題

(5/5)—定理6定理6(末態(tài)固定最優(yōu)控制問題)

末態(tài)固定最優(yōu)控制問題的最優(yōu)控制函數(shù)u*(t)、最優(yōu)狀態(tài)軌線x*(t)和適當選擇的拉格朗日乘子函數(shù)(t)在邊界條件x(t0)=x0

x(tf)=xf

下須滿足規(guī)范方程以及極值條件第28頁，講稿共47頁，2023年5月2日，星期三末態(tài)時刻固定、末態(tài)受約束的問題(1/10)3.4末態(tài)時刻固定、末態(tài)受約束的問題本小節(jié)討論末態(tài)時刻tf固定,末態(tài)x(tf)受等式約束的最優(yōu)控制問題。該問題可描述為如下：末態(tài)約束最優(yōu)控制問題對于被控系統(tǒng),末態(tài)時刻tf固定,末態(tài)x(tf)受等式g(x(tf),tf)=0約束,如下復合型性能指標泛函取極小的最優(yōu)控制問題。第29頁，講稿共47頁，2023年5月2日，星期三末態(tài)時刻固定、末態(tài)受約束的問題(2/10)所謂末態(tài)約束,即末態(tài)只允許在末端流形(73)上變化。上述約束條件中向量函數(shù)g(x(tf),tf)的維數(shù)為p,為使該最優(yōu)控制問題的解存在,當性能指標泛函中L=0時,pn-1;當L≠0時,pn。上述最優(yōu)控制問題與3.2所討論的末態(tài)x(tf)無約束的問題相比,只是增加了末態(tài)約束條件(73)。對該約束條件,可引入待定拉格朗日乘子向量=[1,2,…,p],定義如下新的輔助泛函式中，哈密頓函數(shù)H的定義與前面一致。g(x(tf),tf)=0(73)第30頁，講稿共47頁，2023年5月2日，星期三末態(tài)時刻固定、末態(tài)受約束的問題(3/10)若令則泛函J1可表示為與3.2所討論的末態(tài)x(tf)無約束的問題一樣,可得規(guī)范方程、極值條件和邊界條件。其中邊界條件為第31頁，講稿共47頁，2023年5月2日，星期三末態(tài)時刻固定、末態(tài)受約束的問題(4/10)—定理7泛函J1對其宗量的變分結(jié)果是x(tf)所滿足的等式約束條件g(x(tf),tf)=0,所以,在求泛函J1的變分J1時,和不需要對變分一樣,也不需要對(t)的變分。綜上所述,末態(tài)時刻tf固定、末態(tài)x(tf)受約束的最優(yōu)控制問題的結(jié)論可以歸納為以下定理。定理7（末態(tài)約束最優(yōu)控制定理）末態(tài)約束最優(yōu)控制問題的最優(yōu)控制函數(shù)u*(t)、最優(yōu)狀態(tài)軌線x*(t)和適當選擇的拉格朗日乘子函數(shù)(t)在邊界條件下滿足規(guī)范方程(61)~(62)以及極值條件(64)。第32頁，講稿共47頁，2023年5月2日，星期三末態(tài)時刻固定、末態(tài)受約束的問題(5/10)從定理7可知,末端受約束不改變該問題求解中的規(guī)范方程,只影響邊界條件。與2節(jié)相比,增加了邊界條件中的末態(tài)條件,而且引入了拉格朗日乘子向量,其變量數(shù)和末態(tài)受約束條件個數(shù)相等。當復合型性能指標泛函中末值型指標S(x(tf),tf)=0時,邊界條件可記為第33頁，講稿共47頁，2023年5月2日，星期三末態(tài)時刻固定、末態(tài)受約束的問題(6/10)由于g(x(tf),tf)/x(tf)為最優(yōu)軌線的末端約束流形上的方向場,即方向梯度,因此式(80)表明,在最優(yōu)軌線的末端,(tf)與末端目標集正交,即與g(x(tf),tf)=0規(guī)定的n-p維末端約束流形正交。所以,邊界條件(80)常稱為橫截條件。而邊界條件(79)表示(tf)既不與末端目標集正交,亦不與之相切,因此,它常被稱為斜截條件。最后值得指出的是,由于末態(tài)固定x(tf)=xf可以視為末端約束條件g(x(tf),tf)=0的一種特例,因此,本小節(jié)方法同樣適用于上一小節(jié)的末態(tài)固定的情況。第34頁，講稿共47頁，2023年5月2日，星期三末態(tài)時刻固定、末態(tài)受約束的問題(7/10)—例8例8

對被控系統(tǒng)試求控制函數(shù)u(t),使系統(tǒng)從初始狀態(tài)x1(0)=0x2(0)=0經(jīng)過1s轉(zhuǎn)移到目標集x1(1)+x2(1)=1且使如下性能指標取極小。第35頁，講稿共47頁，2023年5月2日，星期三末態(tài)時刻固定、末態(tài)受約束的問題(8/10)解

本例中末態(tài)約束條件為g(x(tf),tf)=x1(1)+x2(1)-1=0因此,相應(yīng)的哈密頓函數(shù)和輔助性能指標泛函中的末值項分別為根據(jù)定理7,可得該最優(yōu)控制的如下方程和邊界條件第36頁，講稿共47頁，2023年5月2日，星期三末態(tài)時刻固定、末態(tài)受約束的問題(9/10)第37頁，講稿共47頁，2023年5月2日，星期三末態(tài)時刻固定、末態(tài)受約束的問題(10/10)由上述方程可求得如下解析解第38頁，講稿共47頁，2023年5月2日，星期三末態(tài)時刻未定的問題

(1/8)3.5末態(tài)時刻未定的問題

末態(tài)時刻tf未定時,末態(tài)x(tf)又可分為自由、固定和受約束3種情況。這里僅討論末態(tài)x(tf)受約束的情況,末態(tài)x(tf)固定和自由兩種情況可以視為這一類情況的特例。此外,這種情況下的優(yōu)化問題可視為前面末態(tài)時刻tf固定情況的一般化,通過本節(jié)的結(jié)論可以得到前幾節(jié)的結(jié)論。第39頁，講稿共47頁，2023年5月2日，星期三末態(tài)時刻未定的問題

(2/8)末態(tài)時刻未定最優(yōu)控制問題對于被控系統(tǒng),末態(tài)時刻tf未定,末態(tài)x(tf)受等式g(x(tf),tf)=0約束,如下性能指標泛函取極小的最優(yōu)控制問題。與前面一樣,引入狀態(tài)約束的拉格朗日乘子函數(shù)(t)和末態(tài)x(tf)約束的拉格朗日乘子向量,將系統(tǒng)狀態(tài)方程和性能指標泛函結(jié)合成如下新的輔助泛函

式中，哈密頓函數(shù)H的定義與前面一致。第40頁，講稿共47頁，2023年5月2日，星期三末態(tài)時刻未定的問題

(3/8)將泛函J1中最后一個積分項進