變分法在最優(yōu)控制中的應(yīng)用

關(guān)于變分法在最優(yōu)控制中的應(yīng)用第一頁(yè)，共四十七頁(yè)，2022年，8月28日具有等式約束條件下的變分問(wèn)題

(1/10)3.1具有等式約束條件下的變分問(wèn)題

具有等式約束條件下,多個(gè)宗量函數(shù)的泛函極值問(wèn)題可表示如下。等式約束變分問(wèn)題

尋找一條連續(xù)可微的極值曲線(xiàn),使性能泛函

達(dá)到極值,極值曲線(xiàn)

x(t)滿(mǎn)足微分方程形式的等式約束式中,為m維(mn)關(guān)于t,

x和的非線(xiàn)性向量函數(shù)。第二頁(yè)，共四十七頁(yè)，2022年，8月28日具有等式約束條件下的變分問(wèn)題

(2/10)這里,極值曲線(xiàn)x(t)除滿(mǎn)足邊界條件和古典變分學(xué)中規(guī)定的連續(xù)可微條件外,還須滿(mǎn)足該等式約束條件。由于動(dòng)態(tài)系統(tǒng)的狀態(tài)方程可歸為等式約束,因此該等式約束變分問(wèn)題是研究最優(yōu)控制的基礎(chǔ)。下面就給出并證明處理等式約束變分問(wèn)題的等式約束變分定理。第三頁(yè)，共四十七頁(yè)，2022年，8月28日具有等式約束條件下的變分問(wèn)題

(3/10)—定理4定理4(等式約束變分定理)

如果n維向量函數(shù)x(t)能使等式約束變分問(wèn)題取極值,那么,必存在待定的m維拉格朗日乘子向量函數(shù)(t),使泛函達(dá)到無(wú)條件極值,即極值曲線(xiàn)x(t)是上述泛函所滿(mǎn)足的歐拉方程和等式約束條件(47)的解,其中第四頁(yè)，共四十七頁(yè)，2022年，8月28日具有等式約束條件下的變分問(wèn)題

(4/10)引進(jìn)拉格朗日乘子可以將泛函的條件極值問(wèn)題化為一個(gè)無(wú)條件的極值問(wèn)題。引入該定理的作用,僅僅是表明泛函J在等式約束條件下的極值曲線(xiàn)x(t),同時(shí)使得泛函J和J1達(dá)到無(wú)條件極值。在后面還要詳細(xì)講解具有約束條件下求解極值問(wèn)題的泛函變分問(wèn)題。第五頁(yè)，共四十七頁(yè)，2022年，8月28日具有等式約束條件下的變分問(wèn)題

(5/10)—例7上述歐拉方程和約束條件共有n+m個(gè)方程,恰好可以解出n+m個(gè)未知函數(shù)x(t)和(t)。通過(guò)邊界條件確定x(t)和(t)中的積分常數(shù)。隨著終端條件的不同,邊界條件也不同。在2.4節(jié)和2.5節(jié)所討論橫截條件就能解決這個(gè)問(wèn)題。例6

火箭在自由空間里的運(yùn)動(dòng)作用可用下列微分方程描述式中,u(t)為推力;(t)為角位移。第六頁(yè)，共四十七頁(yè)，2022年，8月28日具有等式約束條件下的變分問(wèn)題

(6/10)令x1(t)=(t),x2(t)=(t),可建立狀態(tài)方程如下試求控制函數(shù)u(t),使系統(tǒng)從初始狀態(tài)經(jīng)過(guò)t=2s轉(zhuǎn)移到狀態(tài)空間原點(diǎn),即且使如下性能指標(biāo)取極小。第七頁(yè)，共四十七頁(yè)，2022年，8月28日具有等式約束條件下的變分問(wèn)題

(7/10)解該問(wèn)題屬于終端固定的極值問(wèn)題。選擇向量拉格朗日乘子函數(shù)(t)=[1(t),2(t)],由定理4,利用拉格朗日乘子法可得如下輔助泛函指標(biāo)式中，式中狀態(tài)變量x(t)、控制函數(shù)u(t)和向量拉格朗日乘子函數(shù)(t)都為該泛函的宗量。在一般形式中沒(méi)有宗量u(t),實(shí)際上,我們可以把u(t)和x(t)一樣來(lái)處理,比如,在本例中可以定義u(t)=x3(t)。第八頁(yè)，共四十七頁(yè)，2022年，8月28日具有等式約束條件下的變分問(wèn)題

(8/10)那么,這些泛函的宗量必須滿(mǎn)足如下歐拉方程第九頁(yè)，共四十七頁(yè)，2022年，8月28日具有等式約束條件下的變分問(wèn)題

(9/10)聯(lián)立求解上述歐拉方程,可得第十頁(yè)，共四十七頁(yè)，2022年，8月28日具有等式約束條件下的變分問(wèn)題

(10/10)利用邊界條件可解得因此,最優(yōu)控制函數(shù)和狀態(tài)的最優(yōu)軌線(xiàn)第十一頁(yè)，共四十七頁(yè)，2022年，8月28日末態(tài)時(shí)刻固定、末態(tài)無(wú)約束的最優(yōu)控制問(wèn)題(1/12)3.2末態(tài)時(shí)刻固定、末態(tài)無(wú)約束的最優(yōu)控制問(wèn)題這一節(jié)著重討論末態(tài)不受約束的最優(yōu)控制問(wèn)題。所謂末態(tài)不受約束,是指末態(tài)x(tf)可在Rn空間中取任何值,即目標(biāo)集為整個(gè)狀態(tài)空間。因此,該問(wèn)題可描述如下。末態(tài)無(wú)約束最優(yōu)控制問(wèn)題

求一容許控制u(t)U,t[t0,tf],在末態(tài)時(shí)刻tf固定,狀態(tài)x(tf)無(wú)約束,初始狀態(tài)x(t0)=x0以及被控系統(tǒng)等約束條件下,使如下復(fù)合型性能泛函指標(biāo)達(dá)到最小值。第十二頁(yè)，共四十七頁(yè)，2022年，8月28日末態(tài)時(shí)刻固定、末態(tài)無(wú)約束的最優(yōu)控制問(wèn)題(2/12)對(duì)該最優(yōu)控制問(wèn)題,若將動(dòng)態(tài)系統(tǒng)的狀態(tài)方程改寫(xiě)成等式約束條件則可根據(jù)等式約束變分定理(定理4)求解該泛函極值問(wèn)題，兩問(wèn)題只是邊界條件不同而已。引入拉格朗日乘子向量函數(shù)(t),將等式約束條件和原有的性能指標(biāo)泛函結(jié)合成一個(gè)新的泛函泛函J1的極值問(wèn)題與原泛函J的極值問(wèn)題等價(jià)。第十三頁(yè)，共四十七頁(yè)，2022年，8月28日末態(tài)時(shí)刻固定、末態(tài)無(wú)約束的最優(yōu)控制問(wèn)題(3/12)為方便起見(jiàn),定義一標(biāo)量函數(shù)如下該標(biāo)量函數(shù)H稱(chēng)為哈密頓(Hamilton)函數(shù)。因此,泛函J1可記為。第十四頁(yè)，共四十七頁(yè)，2022年，8月28日末態(tài)時(shí)刻固定、末態(tài)無(wú)約束的最優(yōu)控制問(wèn)題(4/12)求泛函J1的極值問(wèn)題,可以直接用歐拉方程(49)來(lái)求得極值條件,并且通過(guò)邊界條件確定由極值條件得到方程解的積分常數(shù),如例6中,邊界條件為系統(tǒng)起點(diǎn)和終點(diǎn)狀態(tài)。后面將會(huì)給出不同情況下的邊界條件。當(dāng)然在確定泛函J1的極值條件時(shí),不是一定要利用歐拉方程(49)來(lái)求解,可以根據(jù)實(shí)際情況進(jìn)行必要的簡(jiǎn)化。就泛函J1而言,其宗量有以及u(t)和(t)；前面已經(jīng)指出,不必對(duì)宗量(t)變分,因?yàn)閷?duì)(t)的變分結(jié)果就是約束條件(系統(tǒng)狀態(tài)方程)。第十五頁(yè)，共四十七頁(yè)，2022年，8月28日末態(tài)時(shí)刻固定、末態(tài)無(wú)約束的最優(yōu)控制問(wèn)題(5/12)考慮到初始狀態(tài)(t0,x(t0)),末態(tài)時(shí)刻tf固定以及x(tf)自由,泛函J1對(duì)其所有的可變宗量的一階變分為當(dāng)選擇(t)滿(mǎn)足時(shí)，可惟一確定拉格朗日乘子函數(shù)(t)。于是,泛函J1的一階變分可變?yōu)榈谑?yè)，共四十七頁(yè)，2022年，8月28日末態(tài)時(shí)刻固定、末態(tài)無(wú)約束的最優(yōu)控制問(wèn)題(6/12)根據(jù)泛函極值的必要條件J1=0,考慮到變分u(t)的任意性,由變分學(xué)的基本預(yù)備定理可得聯(lián)立上述方程以及動(dòng)態(tài)系統(tǒng)的狀態(tài)方程和初始狀態(tài)條件x(t0)=x0,可解得最優(yōu)控制函數(shù)u*(t)、最優(yōu)狀態(tài)軌線(xiàn)x*(t)和適當(dāng)?shù)睦窭嗜粘俗雍瘮?shù)(t)。上述結(jié)果可歸納成如下定理。第十七頁(yè)，共四十七頁(yè)，2022年，8月28日末態(tài)時(shí)刻固定、末態(tài)無(wú)約束的最優(yōu)控制問(wèn)題(7/12)—定理5定理5(末態(tài)無(wú)約束最優(yōu)控制定理)

末態(tài)無(wú)約束最優(yōu)控制問(wèn)題的最優(yōu)控制函數(shù)u*(t),最優(yōu)狀態(tài)軌線(xiàn)x*(t)和適當(dāng)選擇的拉格朗日乘子函數(shù)(t)須滿(mǎn)足如下條件:1)

規(guī)范方程2)

邊界條件3)

極值條件第十八頁(yè)，共四十七頁(yè)，2022年，8月28日末態(tài)時(shí)刻固定、末態(tài)無(wú)約束的最優(yōu)控制問(wèn)題(8/12)在末態(tài)無(wú)約束最優(yōu)控制定理的結(jié)論中,由上述微分方程以及邊界條件可惟一確定出最優(yōu)狀態(tài)軌線(xiàn)x*(t)和適當(dāng)選擇的拉格朗日乘子函數(shù)(t)。上述關(guān)于x(t)和(t)的微分方程通常被稱(chēng)為規(guī)范方程,其中(t)的微分方程又稱(chēng)為協(xié)態(tài)方程(或共軛方程,伴隨方程),相應(yīng)地,拉格朗日乘子函數(shù)(t)又稱(chēng)為協(xié)態(tài)變量或共軛變量。極值條件H/u=0是一代數(shù)方程,由它聯(lián)立規(guī)范方程的解可求得具體的最優(yōu)控制函數(shù)u*(t)和最優(yōu)狀態(tài)軌線(xiàn)x*(t)。第十九頁(yè)，共四十七頁(yè)，2022年，8月28日末態(tài)時(shí)刻固定、末態(tài)無(wú)約束的最優(yōu)控制問(wèn)題(9/12)下面討論哈密頓函數(shù)的一個(gè)重要性質(zhì)。哈密頓函數(shù)對(duì)時(shí)間t的全導(dǎo)數(shù)為考慮到規(guī)范方程,則有再考慮到極值條件H/u=0,于是哈密頓函數(shù)對(duì)時(shí)間t的全導(dǎo)數(shù)可表示為第二十頁(yè)，共四十七頁(yè)，2022年，8月28日末態(tài)時(shí)刻固定、末態(tài)無(wú)約束的最優(yōu)控制問(wèn)題(10/12)—例7上式表明,沿最優(yōu)軌線(xiàn)哈密頓函數(shù)H對(duì)時(shí)間的全導(dǎo)數(shù)等于對(duì)時(shí)間的偏導(dǎo)數(shù)。因此,當(dāng)哈密頓函數(shù)H不顯含時(shí)間變量t時(shí),則有H(t)=常數(shù)t[t0,tf]例7

已知被控系統(tǒng)為求最優(yōu)控制u*(t)使如下性能指標(biāo)泛函取極小。第二十一頁(yè)，共四十七頁(yè)，2022年，8月28日末態(tài)時(shí)刻固定、末態(tài)無(wú)約束的最優(yōu)控制問(wèn)題(11/12)解這是一個(gè)具有tf固定,x(tf)自由的終端約束的極值問(wèn)題。構(gòu)造哈密頓函數(shù)如下,由極值條件H/u=0可解得u=-。將其代入規(guī)范方程,可得并滿(mǎn)足如下邊界條件x(t0)=x0

(tf)=Cx(tf)從而解得第二十二頁(yè)，共四十七頁(yè)，2022年，8月28日末態(tài)時(shí)刻固定、末態(tài)無(wú)約束的最優(yōu)控制問(wèn)題(12/12)式中，tf為某一確定的常數(shù)。將u*(t)代入哈密頓函數(shù)H得其中(t)為常數(shù)。第二十三頁(yè)，共四十七頁(yè)，2022年，8月28日末態(tài)時(shí)刻和末態(tài)固定的問(wèn)題

(1/5)3.3末態(tài)時(shí)刻和末態(tài)固定的問(wèn)題

對(duì)末態(tài)的要求不同將導(dǎo)致最優(yōu)控制問(wèn)題的結(jié)論不同。上面討論了無(wú)末態(tài)約束的問(wèn)題,這一小節(jié)將研究末態(tài)時(shí)刻tf和末態(tài)x(tf)固定的最優(yōu)控制問(wèn)題。由于末態(tài)時(shí)刻tf和末態(tài)x(tf)已固定,即x(tf)=xf,因此,性能指標(biāo)泛函中的末值項(xiàng)S(x(tf),tf)就沒(méi)有存在的必要。在這種情況下,最優(yōu)控制問(wèn)題的性能指標(biāo)泛函為如下積分型泛函第二十四頁(yè)，共四十七頁(yè)，2022年，8月28日末態(tài)時(shí)刻和末態(tài)固定的問(wèn)題

(2/5)因此,該最優(yōu)控制問(wèn)題描述如下。末態(tài)固定最優(yōu)控制問(wèn)題對(duì)于被控系統(tǒng)(51),始端狀態(tài)(t0,x(t0))和末態(tài)(tf,x(tf))固定時(shí)的性能指標(biāo)泛函(68)極小的最優(yōu)控制問(wèn)題。與前面的推導(dǎo)過(guò)程類(lèi)似,考慮到末值項(xiàng)S(x(tf),tf)=0,輔助泛函J1可定義為就泛函J1而言,其宗量有以及u(t)和(t)。前面已經(jīng)指出,不必對(duì)宗量(t)變分,因?yàn)閷?duì)(t)的變分結(jié)果就是系統(tǒng)狀態(tài)方程。第二十五頁(yè)，共四十七頁(yè)，2022年，8月28日末態(tài)時(shí)刻和末態(tài)固定的問(wèn)題

(3/5)因此,考慮到始端和末端固定,即x(tf)=x(t0)=0,泛函J1對(duì)其所有宗量的一階變分為根據(jù)泛函極值的必要條件J1=0,同樣可以導(dǎo)出第二十六頁(yè)，共四十七頁(yè)，2022年，8月28日末態(tài)時(shí)刻和末態(tài)固定的問(wèn)題

(4/5)當(dāng)x(tf)固定,即x(tf)=0時(shí),雖然變分u(t)不再是任意的。但x(tf)固定是相對(duì)的,其值的確定具有任意性,因此,末態(tài)x(tf)固定時(shí)的最優(yōu)控制問(wèn)題的極值條件仍然為同上一節(jié)末態(tài)時(shí)刻tf固定,末態(tài)x(tf)無(wú)約束的變分問(wèn)題相比,邊界條件在這里被取而代之的是x(tf)=xf。綜合上述結(jié)論,有如下關(guān)于末態(tài)固定最優(yōu)控制問(wèn)題的定理。第二十七頁(yè)，共四十七頁(yè)，2022年，8月28日末態(tài)時(shí)刻和末態(tài)固定的問(wèn)題

(5/5)—定理6定理6(末態(tài)固定最優(yōu)控制問(wèn)題)

末態(tài)固定最優(yōu)控制問(wèn)題的最優(yōu)控制函數(shù)u*(t)、最優(yōu)狀態(tài)軌線(xiàn)x*(t)和適當(dāng)選擇的拉格朗日乘子函數(shù)(t)在邊界條件x(t0)=x0

x(tf)=xf

下須滿(mǎn)足規(guī)范方程以及極值條件第二十八頁(yè)，共四十七頁(yè)，2022年，8月28日末態(tài)時(shí)刻固定、末態(tài)受約束的問(wèn)題(1/10)3.4末態(tài)時(shí)刻固定、末態(tài)受約束的問(wèn)題本小節(jié)討論末態(tài)時(shí)刻tf固定,末態(tài)x(tf)受等式約束的最優(yōu)控制問(wèn)題。該問(wèn)題可描述為如下：末態(tài)約束最優(yōu)控制問(wèn)題對(duì)于被控系統(tǒng),末態(tài)時(shí)刻tf固定,末態(tài)x(tf)受等式g(x(tf),tf)=0約束,如下復(fù)合型性能指標(biāo)泛函取極小的最優(yōu)控制問(wèn)題。第二十九頁(yè)，共四十七頁(yè)，2022年，8月28日末態(tài)時(shí)刻固定、末態(tài)受約束的問(wèn)題(2/10)所謂末態(tài)約束,即末態(tài)只允許在末端流形(73)上變化。上述約束條件中向量函數(shù)g(x(tf),tf)的維數(shù)為p,為使該最優(yōu)控制問(wèn)題的解存在,當(dāng)性能指標(biāo)泛函中L=0時(shí),pn-1;當(dāng)L≠0時(shí),pn。上述最優(yōu)控制問(wèn)題與3.2所討論的末態(tài)x(tf)無(wú)約束的問(wèn)題相比,只是增加了末態(tài)約束條件(73)。對(duì)該約束條件,可引入待定拉格朗日乘子向量=[1,2,…,p],定義如下新的輔助泛函式中，哈密頓函數(shù)H的定義與前面一致。g(x(tf),tf)=0(73)第三十頁(yè)，共四十七頁(yè)，2022年，8月28日末態(tài)時(shí)刻固定、末態(tài)受約束的問(wèn)題(3/10)若令則泛函J1可表示為與3.2所討論的末態(tài)x(tf)無(wú)約束的問(wèn)題一樣,可得規(guī)范方程、極值條件和邊界條件。其中邊界條件為第三十一頁(yè)，共四十七頁(yè)，2022年，8月28日末態(tài)時(shí)刻固定、末態(tài)受約束的問(wèn)題(4/10)—定理7泛函J1對(duì)其宗量的變分結(jié)果是x(tf)所滿(mǎn)足的等式約束條件g(x(tf),tf)=0,所以,在求泛函J1的變分J1時(shí),和不需要對(duì)變分一樣,也不需要對(duì)(t)的變分。綜上所述,末態(tài)時(shí)刻tf固定、末態(tài)x(tf)受約束的最優(yōu)控制問(wèn)題的結(jié)論可以歸納為以下定理。定理7（末態(tài)約束最優(yōu)控制定理）末態(tài)約束最優(yōu)控制問(wèn)題的最優(yōu)控制函數(shù)u*(t)、最優(yōu)狀態(tài)軌線(xiàn)x*(t)和適當(dāng)選擇的拉格朗日乘子函數(shù)(t)在邊界條件下滿(mǎn)足規(guī)范方程(61)~(62)以及極值條件(64)。第三十二頁(yè)，共四十七頁(yè)，2022年，8月28日末態(tài)時(shí)刻固定、末態(tài)受約束的問(wèn)題(5/10)從定理7可知,末端受約束不改變?cè)搯?wèn)題求解中的規(guī)范方程,只影響邊界條件。與2節(jié)相比,增加了邊界條件中的末態(tài)條件,而且引入了拉格朗日乘子向量,其變量數(shù)和末態(tài)受約束條件個(gè)數(shù)相等。當(dāng)復(fù)合型性能指標(biāo)泛函中末值型指標(biāo)S(x(tf),tf)=0時(shí),邊界條件可記為第三十三頁(yè)，共四十七頁(yè)，2022年，8月28日末態(tài)時(shí)刻固定、末態(tài)受約束的問(wèn)題(6/10)由于g(x(tf),tf)/x(tf)為最優(yōu)軌線(xiàn)的末端約束流形上的方向場(chǎng),即方向梯度,因此式(80)表明,在最優(yōu)軌線(xiàn)的末端,(tf)與末端目標(biāo)集正交,即與g(x(tf),tf)=0規(guī)定的n-p維末端約束流形正交。所以,邊界條件(80)常稱(chēng)為橫截條件。而邊界條件(79)表示(tf)既不與末端目標(biāo)集正交,亦不與之相切,因此,它常被稱(chēng)為斜截條件。最后值得指出的是,由于末態(tài)固定x(tf)=xf可以視為末端約束條件g(x(tf),tf)=0的一種特例,因此,本小節(jié)方法同樣適用于上一小節(jié)的末態(tài)固定的情況。第三十四頁(yè)，共四十七頁(yè)，2022年，8月28日末態(tài)時(shí)刻固定、末態(tài)受約束的問(wèn)題(7/10)—例8例8

對(duì)被控系統(tǒng)試求控制函數(shù)u(t),使系統(tǒng)從初始狀態(tài)x1(0)=0x2(0)=0經(jīng)過(guò)1s轉(zhuǎn)移到目標(biāo)集x1(1)+x2(1)=1且使如下性能指標(biāo)取極小。第三十五頁(yè)，共四十七頁(yè)，2022年，8月28日末態(tài)時(shí)刻固定、末態(tài)受約束的問(wèn)題(8/10)解

本例中末態(tài)約束條件為g(x(tf),tf)=x1(1)+x2(1)-1=0因此,相應(yīng)的哈密頓函數(shù)和輔助性能指標(biāo)泛函中的末值項(xiàng)分別為根據(jù)定理7,可得該最優(yōu)控制的如下方程和邊界條件第三十六頁(yè)，共四十七頁(yè)，2022年，8月28日末態(tài)時(shí)刻固定、末態(tài)受約束的問(wèn)題(9/10)第三十七頁(yè)，共四十七頁(yè)，2022年，8月28日末態(tài)時(shí)刻固定、末態(tài)受約束的問(wèn)題(10/10)由上述方程可求得如下解析解第三十八頁(yè)，共四十七頁(yè)，2022年，8月28日末態(tài)時(shí)刻未定的問(wèn)題

(1/8)3.5末態(tài)時(shí)刻未定的問(wèn)題

末態(tài)時(shí)刻tf未定時(shí),末態(tài)x(tf)又可分為自由、固定和受約束3種情況。這里僅討論末態(tài)x(tf)受約束的情況,末態(tài)x(tf)固定和自由兩種情況可以視為這一類(lèi)情況的特例。此外,這種情況下的優(yōu)化問(wèn)題可視為前面末態(tài)時(shí)刻tf固定情況的一般化,通過(guò)本節(jié)的結(jié)論可以得到前幾節(jié)的結(jié)論。第三十九頁(yè)，共四十七頁(yè)，2022年，8月28日末態(tài)時(shí)刻未定的問(wèn)題

(2/8)末態(tài)時(shí)刻未定最優(yōu)控制問(wèn)題對(duì)于被控系統(tǒng),末態(tài)時(shí)刻tf未定,末態(tài)x(tf)受等式g(x(tf),tf)=0約束,如下性能指標(biāo)泛函取極小的最優(yōu)控制問(wèn)題。與前面一樣,引入狀態(tài)約束的拉格朗日乘子函數(shù)(t)和末態(tài)x(tf)約束的拉格朗日乘子向量,將系統(tǒng)狀態(tài)方程和性能指標(biāo)泛函結(jié)合成如下新的輔助泛函

式中，哈密頓函數(shù)H的定義與前面一致。第四十頁(yè)，共四十七頁(yè)，2022年，8月28日末態(tài)時(shí)刻未定的問(wèn)題

(3/8)將泛函J1中最后一個(gè)積分