最優(yōu)控制——最大值原理

1、第二章 最 大 值 原 理2022-6-132主 要 內(nèi) 容2.1 最大值原理的提出2.2 最大值原理的證明2.3 一般型最優(yōu)控制問題終端時(shí)刻tf可變的情況課外習(xí)題2022-6-133一、 古典變分法存在的問題 (1) 在一般情況下，可以將控制函數(shù)U(t)所受到的約束條件利用如下形式的不等式來表示. 即 當(dāng)控制函數(shù)U(t)受到上述不等式約束,并且最優(yōu)控制取決于閉集性約束的邊界時(shí)，古典變分法便不再適用了。 (2)在應(yīng)用古典變分法來求解最優(yōu)控制問題時(shí)，要求函數(shù) X ( tf ) ,tf , LX(t),U(t),t , f X(t), U(t) ,t 對(duì)它們的自變量具有“充分”的可微性，特別要求H

2、/U(t)有定義，于是，類似 這樣的性能泛函數(shù)就被排除在外了。但是在燃料最優(yōu)控制問題中，這類性能泛函卻是無法避免的。 ( )01, 2 , .,iUtim0( )fttJu t dt2022-6-134二.最大值原理和動(dòng)態(tài)規(guī)劃 為了解決古典變分法在求解最優(yōu)控制問題中所暴露出來的上述問題，許多學(xué)者進(jìn)行了各種探索。其中以蘇聯(lián)學(xué)者龐特里雅金（.C.oHTpH）的最大值原理（或最小值原理）與美國學(xué)者貝爾曼（R.E.Bellman）的動(dòng)態(tài)規(guī)劃較為成功，應(yīng)用也較廣泛，現(xiàn)已成為求解最優(yōu)控制問題的強(qiáng)有力的工具。 在這一章里，首先通過積分型最優(yōu)控制問題提出最大值原理，然后再推廣到復(fù)合型最優(yōu)控制問題中，然后利用增

3、量法對(duì)最大值原理進(jìn)行證明。2022-6-1352.1 最大值原理的提出 2.1.1 積分型最優(yōu)控制問題 問題2.1.1(積分型最優(yōu)控制問題) 給定系統(tǒng)的狀態(tài)方程： (2.1.1) 其中，f是n維連續(xù)可微的向量函數(shù)；X(t)是n維狀態(tài)變量，其初態(tài)X(t0)=X0， 而終態(tài)應(yīng)滿足的條件是：終端時(shí)刻tf固定，終端狀態(tài)X(tf)自由，U(t)是m維控制變量，其所受約束條件是 (2.1.2) 其中，是以U(t)為元素的m維實(shí)函數(shù)空間中的一個(gè)閉子集。式(2.1.2)表明，控制變量是這個(gè)閉子集中的元素。滿足式(2.1.2)約束條件的控制變量稱為容許控制變量，簡稱容許控制。要求在滿足式(2.1.2)的容許控制

4、中，確定一控制變量U(t)，使系統(tǒng)（2.1.1）從給定的初態(tài)X(t0)轉(zhuǎn)移到某個(gè)終態(tài) ( )( ),( ), X tf X t U t t0( ), ,fU ttt t2022-6-136X(tf)的過程中，性能泛函 達(dá)到極小值。其中L是連續(xù)可微的標(biāo)量函數(shù)。 這個(gè)積分型最優(yōu)控制問題所確定的控制U(t)稱為最優(yōu)控制，記為U*(t)。 如果不考慮式（2.1.2）的約束條件，那么該最優(yōu)控制問題的解的必要條件可由第一章的定理1.6.1給出，現(xiàn)引述如下： 定理1.6.1 設(shè)系統(tǒng)的狀態(tài)方程為 則為將系統(tǒng)從給定的初態(tài)X(t0)=X0 轉(zhuǎn)移到終端時(shí)刻tf固定，終端狀態(tài)X(tf)自由的某個(gè)終態(tài)，并使性能泛函 (

5、 )( ),( ), X tf X t U t t(2.1.3)0( ),( ), fttJL X t U t t dt2022-6-137 達(dá)到極小值的最優(yōu)控制應(yīng)滿足的必要條件是 (1)設(shè)U*(t)是最優(yōu)控制， X*(t)是對(duì)應(yīng)與U*(t)的最優(yōu)軌線，則必存在一與U*(t)和X*(t)相對(duì)應(yīng)的n維協(xié)態(tài)變量(t)，使得X(t)與(t)滿足規(guī)范方程 ( )( ),( ), HX tf X t U t t( )HtX （2.1.4）（2.1.5）其中，( ), ( ),( ), ( ),( ), ( ) ( ),( ), THH X tt U t tL X t U t tt f X t U t t

6、（2.1.6）0( ),( ), fttJL X t U t t dt2022-6-138 (2)邊界條件為 (3)哈密頓函數(shù)H對(duì)控制變量U(t) (t0t tf)取極小值，即 定理1.6.1是在控制變量u(t)不受約束的情況下，求最優(yōu)控制函數(shù)U*(t) ，使哈密頓函數(shù)（2.1.6）達(dá)到極小值。這也是在控制函數(shù)U(t)不受約束或只受開集性的約束的情況下的最小值原理。 顯然，控制方程（2.1.9）也可以寫成如下形式00( )X tX()0ft（2.1.7）（2.1.8）0HU（2.1.9）*( )( ), ( ),( ), min( ), ( ),( ), u tH Xtt Ut tH Xtt

7、U t t（2.1.10）2022-6-139 說明： (1)當(dāng)控制函數(shù)U(t)不受約束或只受開集性約束條件下，控制方程（2.1.9）和（2.1.10）是等價(jià)的。 (2)在控制函數(shù)U(t)受到式（2.1.2）所表示的閉集性約束的條件下，控制方程（2.1.9）未必是最優(yōu)控制問題的解的必要條件之一。 a.因?yàn)?b.作為控制變量U(t)的函數(shù)的Hamilton函數(shù)H X(t)，(t)， U(t)，t在閉子集內(nèi)可能不存在極值點(diǎn)，而企圖以H/U 來求極小值點(diǎn)也是難以奏效的。 因此，在控制函數(shù)U(t)受到式（2.1.2）那樣閉集性約束的條件下，控制方程（2.1.9）不再是由式（2.1.1）式（2.1.3）

8、所給定的最優(yōu)控制問題解的必要條件了。0000ffttTTttHJXUdtU 0HU2022-6-1310但是，控制方程（2.1.10）總是成立的，它仍然是由式（2.1.1）式（2.1.3）所給定的最優(yōu)控制問題解的必要條件 。定理2.1.1 （積分型最優(yōu)控制問題的最小值原理）（積分型最優(yōu)控制問題的最小值原理） 給定系統(tǒng)的狀態(tài)方程 和初態(tài)X(t0)=X0， 而終端時(shí)刻tf固定，終端狀態(tài)X(tf)自由以及控制變量U(t)所受約束條件是 則為將系統(tǒng)從給定的初態(tài)X(t0)轉(zhuǎn)移到某個(gè)終態(tài)X(tf) ，并使性能泛函 達(dá)到極小值的最優(yōu)控制應(yīng)滿足的必要條件是：( )( ),( ), X tf X t U t t

9、0,( ),fU ttt t0( ),( ), fttJL X t U t t dt2022-6-1311 (1) 設(shè)U*(t)是最優(yōu)控制, X*(t)是對(duì)應(yīng)于U*(t)的最優(yōu)軌線，則必存在一與U*(t)和X*(t)相對(duì)應(yīng)的n維協(xié)態(tài)變量(t)，使得X*(t)和(t)滿足規(guī)范方程 式中H是哈密頓函數(shù)，且為 (2)邊界條件為( )( ),( ), HX tf X t U t t( )HtX ( ), ( ),( ), ( ),( ), ( ) ( ),( ), THH X tt U t tL X t U t tt f X t U t t00( )X tX()0ft2022-6-1312 (3)哈密

10、頓函數(shù)在最優(yōu)控制U*(t)和最優(yōu)軌線X*(t)上達(dá)到最小值,即 說明: (1)由于定理2.1.1的中心內(nèi)容是,使性能泛函(2.1.3)達(dá)到最小值的最優(yōu)控制的必要條件是哈密頓函數(shù)H達(dá)到最小值，所以，該定理稱為最小值原理。 (2)一個(gè)函數(shù)的最小值點(diǎn)與該函數(shù)反號(hào)后的最大值是一致的。所以，若令哈密頓函數(shù)為 則下列二式*( )( ), ( ),( ), min( ), ( ),( ), U tH Xtt Ut tH Xtt U t t( ),( ), ( ),( ), ( ) ( ),( ), TH X t U t tL X t U t tt f X t U t t ( )( )min( ), ( ),

11、( ), min ( ),( ), ( ) ( ),( ), U tTU tH X tt U t tL X t U t tt f X t U t t2022-6-1313和的結(jié)果是一致的，只是二式中的協(xié)態(tài)變量(t)是互為反號(hào)的。定理2.1.2 （積分型最優(yōu)控制問題的最大值原理）（積分型最優(yōu)控制問題的最大值原理） 給定系統(tǒng)的狀態(tài)方程和初態(tài)X(t0)=X0， 而終端時(shí)刻tf固定，終端狀態(tài)X(tf)自由以及控 制變量U(t)所受約束條件是則為將系統(tǒng)從給定的初態(tài)X(t0)轉(zhuǎn)移到某個(gè)終態(tài)X(tf) ，并使性能泛函( )( )max( ), ( ),( ), max( ),( ), ( ) ( ),( )

12、, U tTU tH X tt U t tL X t U t tt f X t U t t( )( ),( ), X tf X t U t t0,( ),fU ttt t2022-6-1314達(dá)到極小值的最優(yōu)控制應(yīng)滿足的必要條件是： (1)設(shè)U*(t)是最優(yōu)控制, X*(t)是對(duì)應(yīng)于U*(t)的最優(yōu)軌線，則必存在一與U*(t)和X*(t)相對(duì)應(yīng)的n維協(xié)態(tài)變量(t)，使得X*(t)和(t)滿足規(guī)范方程其中，0( ),( ), fttJL X t U t t dt( )( ),( ), HX tf X t U t t( )HtX ( ), ( ),( ), ( ),( ), ( ) ( ),( )

13、, THH X tt U t tL X t U t tt f X t U t t 2022-6-1315(2)邊界條件為(3) 在最優(yōu)控制U*(t)和最優(yōu)軌線X*(t)上哈密頓函數(shù)達(dá)到最大值,即說明：由于定理2.1.2的中心內(nèi)容是，使性能泛函達(dá)到極小值的最優(yōu)控制的必要條件是哈密頓函數(shù)H達(dá)到最大值，所以，該定理稱為最大值原理。 00( )X tX()0ft*( )( ), ( ),( ), max( ), ( ),( ), U tH Xtt Ut tH Xtt U t t2022-6-1316例 2.1.1 給定一階線性系統(tǒng)和初始條件 （2.1.11）其中控制作用u(t)的約束條件為 （2.1.

14、12）要求確定控制函數(shù)u(t) ，使性能泛函 （2.1.13）達(dá)到極小值 。 解：這是一個(gè)積分型最優(yōu)控制問題，其終端時(shí)刻tf=1固定，終端狀態(tài)X(tf)是自由的。控制函數(shù)受到閉集性的約束條件?？梢岳蒙厦娼榻B過的最大值原理（定理2.1.2）或最小值原理（定理2.1.1）來求解。在這里，為了進(jìn)行比較，將分別利用這兩個(gè)定理來求解。 (1)應(yīng)用最大值原理求解，為此構(gòu)造哈密頓函數(shù) （2.1.14）,(0)1xxux ( )1u t 10()2uJxdt1()()(1)()22uHxxuxu 2022-6-1317 按照最大值原理，為使泛函（2.1.13）達(dá)到極小值必須選擇控制函數(shù)u(t) ，使哈密頓函

15、數(shù)（2.1.14）達(dá)到最大值。 由式(2.1.14)可見，當(dāng)u(t)與(t)+1/2)同號(hào)，且取其約束條件的邊界值，即| u(t) |=1時(shí)，使哈密頓函數(shù)H達(dá)到最大值。所以，控制函數(shù)應(yīng)選擇為 （2.1.15）或 （2.1.16）*11,021( )021102u t不定，*1( )sgn( ( )2u tt2022-6-1318 由上式可見，若要確定u(t) ，必須通過協(xié)態(tài)方程解出(t) 。根據(jù)哈密頓函數(shù)（2.1.14）可以寫出協(xié)態(tài)方程 因?yàn)閠f=1固定， x(1)自由，所以(1)=0，則協(xié)態(tài)方程的解為 而 其曲線如圖21(a)所示。由此可得最優(yōu)控制為或 ( )1Htx （2.1.17）1(

16、)1tte111( )22tte*11( )sgn()2tu te2022-6-1319o112ln2e1ln2eo1- 1u(a )(b )圖 2 1tt2022-6-1320 式中=ln(e/2)，控制函數(shù)的曲線如圖21(b)所示。將最優(yōu)控制u*(t)代入狀態(tài)方程（2.1.11）得到 （2.1.18） （2.1.19） 利用初始條件x(0)=1，可得式（2.1.18）的解 當(dāng)t=ln(e/2)時(shí)，有 將它作為式（2.1.19）的初始條件。解得 *1,0( )1,1tu tt ( )1,0 x txt ( )1,1x txt ( )21,0tx tet 4( )1xe()4( )1(2),1

17、tx tete 2022-6-1321 于是有 將u*(t)和x*(t)代入式（2.1.13），得 由于只有一個(gè)u (t)滿足最大值原理。根據(jù)實(shí)際情況，可判定它是最優(yōu)控制u*(t) 。 (2) 應(yīng)用最小值原理求解，為此構(gòu)造哈密頓函數(shù) （2.1.20）*()21,0( )41 (2),1ttetx tete 1()0114(2)(2)22ttJedtedte32ln0.4522eeHLf()21(1)()2uxxuxu 2022-6-1322 按照最小值原理，為使泛函（2.1.13）達(dá)到極小值，必須選擇控制函數(shù)u (t)使哈密頓函數(shù)（2.1.20）達(dá)到最小值。由式（2.1.20）可知，當(dāng)u (t

18、)與(t)1/2)異號(hào)，且取其約束條件的邊界值（即| u(t) |=1 ）時(shí)，哈密頓函數(shù)H達(dá)到最小值，所以控制函數(shù)應(yīng)取為 由上式可見，若要確定u(t) ，必須由協(xié)態(tài)方程解出(t) ，根據(jù)哈密頓函數(shù)（2.1.20），可寫出協(xié)態(tài)方程 其解為 *11( )sgn( ( )sgn( )22u ttt 1,(1)0Hx 1( )1tte 2022-6-1323由此可得最優(yōu)控制函數(shù)為 可見，這一結(jié)果與應(yīng)用最大值原理所得到的結(jié)果是一致的。將它代入狀態(tài)方程（2.1.11），當(dāng)然也會(huì)得到相同的結(jié)果。以下的計(jì)算可以仿照（1）進(jìn)行，這里就不重復(fù)了。 說明：由例2.1.1可以看出，分別應(yīng)用最大值原理和最小值原理求解同

19、一個(gè)最優(yōu)控制問題，所得到的最優(yōu)控制和最優(yōu)軌線是一致的，但是，協(xié)態(tài)變量卻是互為反號(hào)的。 *111( )sgn( )sgn()22tu tte2022-6-13242.1.2 復(fù)合型最優(yōu)控制問題 問題2.1.2(復(fù)合型最優(yōu)控制問題) 給定系統(tǒng)的狀態(tài)方程： （ 2.1.21） 其中f是n維連續(xù)可微的向量函數(shù)。X(t)是n維狀態(tài)變量，已知其初態(tài)為 X(t0)=X0，終端的約束條件為： （2.1.22） 其中是r 維連續(xù)可微的向量函數(shù)，且rn，U(t)是m維控制變量，且其約束條件為 （2.1.23） 其中是以U(t)為元素的m維實(shí)函數(shù)空間中的閉子集。要求我們?cè)跐M足式（2.1.23）的容許控制中，確定一控

20、制變量U(t) ，使系統(tǒng)（2.1.21）從給定的初態(tài)X(t0)轉(zhuǎn)移到滿足式（2.1.22）條件下的某個(gè)終態(tài)X(tf)，并使性能泛函( )( ),( ), X tf X t U t t(),0ffX tt0,( ),fU ttt t2022-6-1325 （2.1.24）達(dá)到極小值。其中和L都是連續(xù)可微的標(biāo)量函數(shù)，而終端時(shí)刻tf是可變的。定理2.1.3 （復(fù)合型最優(yōu)控制問題的最小值原理）（復(fù)合型最優(yōu)控制問題的最小值原理） 給定系統(tǒng)的狀態(tài)方程 和控制函數(shù)U(t)的閉集約束條件則為將系統(tǒng)從給定的初態(tài)X(t0)=X0，轉(zhuǎn)移到滿足終端約束條件 的某個(gè)終態(tài)X(tf )，其中tf是可變的，并使性能泛函 0(

21、),( ),( ), ftfftJX ttL X t U t t( )( ),( ), X tf X t U t t0,( ),fU ttt t(),0ffX tt0(),( ),( ), ftfftJX ttL X t U t t2022-6-1326達(dá)到極小值的最優(yōu)控制應(yīng)滿足的必要條件是 (1) 設(shè)U*(t)是最優(yōu)控制, X*(t)是對(duì)應(yīng)于U*(t)的最優(yōu)軌線，則存在一與U*(t)和X*(t)相對(duì)應(yīng)的n維協(xié)態(tài)變量(t)，使得X*(t)和(t)滿足規(guī)范方程 其中 (2)狀態(tài)變量和協(xié)態(tài)變量的邊界條件為 ( )( ),( ), HX tf X t U t t( )HtX ( ), ( ),( )

22、, ( ),( ), ( ) ( ),( ), THH X tt U t tL X t U t tt f X t U t t00( )X tX(),0ffX tt2022-6-1327在上述各式中的是待定的r維乘子向量，即 (3)哈密頓函數(shù)H在最優(yōu)控制與最優(yōu)軌線上達(dá)到最小值。即 ()fTft ttXX0fTt tHtt 終端受限tf自由12,Tr *( )( ), ( ),( ), min( ), ( ),( ), U tH Xtt Ut tH Xtt U t t2022-6-1328定理2.1.4 （復(fù)合型最優(yōu)控制問題的最大值原理） 給定系統(tǒng)的狀態(tài)方程 和控制函數(shù)U(t)的閉集約束條件則為將

23、系統(tǒng)從給定的初態(tài)X(t0)=X0，轉(zhuǎn)移到滿足終端約束條件 的某個(gè)終態(tài)X(tf )，其中tf是可變的，并使性能泛函達(dá)到極小值的最優(yōu)控制應(yīng)滿足的必要條件是 ： (1) 設(shè)U*(t)是最優(yōu)控制, X*(t)是對(duì)應(yīng)于U*(t)的最優(yōu)軌線，則必存在一與U*(t)和X*(t)相對(duì)應(yīng)的(t)，使得X*(t)和(t)滿足規(guī)范方程 ( )( ),( ), X tf X t U t t0,( ),fU ttt t(),0ffX tt0(),( ),( ), ftfftJX ttL X t U t t2022-6-1329其中(2)狀態(tài)變量和協(xié)態(tài)變量的邊界條件為 ( )( ),( ), HX tf X t U t

24、t( )HtX ( ), ( ),( ), ( ),( ), ( ) ( ),( ), THH X tt U t tL X t U t tt f X t U t t 00( )X tX(),0ffX tt()fTft ttXX 0fTt tHtt2022-6-1330(3)哈密頓函數(shù)H在最優(yōu)控制與最優(yōu)軌線上達(dá)到最大值。即 2.1.3 有關(guān)最大值原理（或最小值原理）的幾點(diǎn)說明l 最大值原理（當(dāng)然包括最小值原理，以下同）是對(duì)古典變分法的發(fā)展。它不僅可以用來求解函數(shù)U(t)不受約束或只受開集性約束的最優(yōu)控制問題，而且也可以用來求解控制函數(shù)U(t)受到閉集性約束條件的最優(yōu)控制問題。這就意味著最大值原理

25、放寬了對(duì)控制函數(shù)U(t)的要求。l 最大值原理沒有提出哈密頓函數(shù)H對(duì)控制函數(shù)U(t)的可微性的要求，因此，其應(yīng)用條件進(jìn)一步放寬了。并且，由最大值原理所求得的最優(yōu)控制U(t)使哈密頓函數(shù)H達(dá)到全局、絕對(duì)最大值，而由古典變分法的極值條件H/ U=0所得到的解是H的局部、相對(duì)最大值或駐值。因此，最大值原理將古典變分法求解最優(yōu)控制問題的極值條件作為一個(gè)特例概括在自己之中 。*( )( ), ( ),( ), max( ), ( ),( ), U tH Xtt Ut tH Xtt U t t2022-6-1331l最大值原理是最優(yōu)控制問題的必要條件，并非充分條件。也就是說，由最大值原理所求得的解能否使性

26、能泛函J達(dá)到極小值，還需要進(jìn)一步分析與判定。但是，如果根據(jù)物理意義已經(jīng)能夠斷定所討論的最優(yōu)控制問題的解是存在的，而由最大值原理所得到的解只有一個(gè)，那么，該解就是最優(yōu)解。實(shí)際上，我們遇到的問題往往屬于這種情況。 l利用最大值原理和古典變分法求解最優(yōu)控制問題時(shí)，除了控制方程的形式不同外，其余條件是相同的。一般來說，根據(jù)最大值原理確定最優(yōu)控制U*(t)和最優(yōu)軌線X*(t)仍然需要求解兩點(diǎn)邊界值問題。這是一件復(fù)雜的工作。 l由最大值原理和最小值原理所得到的最優(yōu)控制U*(t)和最優(yōu)軌線X*(t)是一致的，只是協(xié)態(tài)變量(t)是互為反號(hào)的。 l若所討論問題是確定最優(yōu)控制U*(t) ，使性能泛函 0(),(

27、),( ), ftfftJX ttL X t U t t dt2022-6-1332 達(dá)到極大值，最大值原理仍然成立，這時(shí)只要將上述性能泛函變?yōu)?就可以了。 0(),( ),( ), ftfftJJX ttL X t U t t dt 2022-6-13332.2 最大值原理的證明2.2.1 一般型最優(yōu)控制問題 問題2.2.1(一般型最優(yōu)控制問題) 給定系統(tǒng)的狀態(tài)方程： （2.2.1） 的初態(tài)X(t0)=X0和 控制函數(shù)的約束條件 （2.2.2） 從滿足約束條件（2.2.2）的容許控制函數(shù)中，確定一個(gè)控制函數(shù)U(t)，使性能泛函 （2.2.3） 達(dá)到極小值，其中 tf是終端時(shí)刻， X(tf)是

28、終端狀態(tài)。 ( )( ),( ), X tf X t U t t0,( ),fU ttt t1()()nTfiifiJC X tc x t12 ,TnCc cc 龐特里雅金函數(shù)龐特里雅金函數(shù)2022-6-1334 說明：最優(yōu)控制問題的上述提法具有一般性，它將許多常見的最優(yōu)控制問題概括成為自己的特殊情況，故稱為一般型最優(yōu)控制問題，許多最優(yōu)控制問題都可以轉(zhuǎn)化為一般型最優(yōu)控制問題 。l 最速控制問題給定n階系統(tǒng)的狀態(tài)方程的初始狀態(tài)X(t0)=X0和 控制函數(shù)的約束條件需要從容許控制U(t)中，確定一個(gè)控制函數(shù)U(t) ，能在最短的時(shí)間內(nèi)，將系統(tǒng)從給定的初態(tài)X(t0)轉(zhuǎn)移到給定的終態(tài)X(tf) 。這是

29、最速控制問題，其性能泛函 ( )( ),( ), X tf X t U t t0,( ),fU ttt t0fttJdt2022-6-1335 其中，t0是固定的初始時(shí)刻，tf是可變的終端時(shí)刻。下面將其化為一般型最優(yōu)控制問題。為此，引入一個(gè)新的狀態(tài)變量xn+1(t)，令 其中， 于是一個(gè)n階系統(tǒng)的最速控制問題就轉(zhuǎn)化為一個(gè)n+1階系統(tǒng)的一般型最優(yōu)控制問題。 110( )1,( )0nnxtxt01( )tntxtdt.01()ftnftxtdt1()()TnffJxtC X t0,0,0,1TC 121()(),(),(),()TfffnfnfX tx tx tx txt2022-6-1336l

30、積分型最優(yōu)控制問題給定n階系統(tǒng)的狀態(tài)方程的初始狀態(tài)X(t0)=X0和 控制函數(shù)的約束條件要求從容許控制U(t)中，確定一個(gè)控制函數(shù)U(t) ，將系統(tǒng)從給定的初態(tài)X(t0)轉(zhuǎn)移到某個(gè)終態(tài)X(tf) ，并使性能泛函達(dá)到極小值。 這是個(gè)積分型最優(yōu)控制問題，引入一個(gè)新的狀態(tài)變量xn+1(t)，滿足 ( )( ),( ), X tf X t U t t0,( ),fU ttt t0( ),( ), fttJL X t U t t dt110( )( ),( ), ,( )0nnxtL X t U t txt01( )( ),( ), tntxtL XUd 2022-6-1337 其中， 于是一個(gè)n階系統(tǒng)

31、的積分型最優(yōu)控制問題便轉(zhuǎn)化成一個(gè)n+1階系統(tǒng)的一般型最優(yōu)控制問題。l終端型指標(biāo)的最優(yōu)控制問題 給定n階系統(tǒng)的狀態(tài)方程的初始狀態(tài)X(t0)=X0和控制函數(shù)的約束條件01() ( ),( ), ftnftxtL x t U t t dt1()()TnffJxtC X t0,0,0,1TC 121()(),(),(),()TfffnfnfX tx tx tx txt( )( ),( ), X tf X t U t t0,( ),fU ttt t2022-6-1338要求從容許控制U(t)中，確定一個(gè)控制函數(shù)U(t) ，使性能泛函 達(dá)到極小值。 這是個(gè)終端型指標(biāo)的最優(yōu)控制問題，引入一個(gè)新的狀態(tài)變量xn

32、+1(t)，滿足 ()fJX t112( )( )( ),( ),( )nnxtX tx tx tx t11212( )( )( )( )( )nnndxtX tx tx txtdtxxx( )( ),( ), TTX tf X t U t tXX10121( )(0)(0),(0),(0),()()nnnffxtXxxxxtX t2022-6-1339 于是，一個(gè)n階系統(tǒng)的終端型指標(biāo)的最優(yōu)控制問題也可轉(zhuǎn)化為一個(gè)n+1階系統(tǒng)的一般型最優(yōu)控制問題。 說明：類似地，一個(gè)復(fù)合型指標(biāo)的最優(yōu)控制問題，也能夠轉(zhuǎn)化為一般型最優(yōu)控制問題。這里只要結(jié)合應(yīng)用積分型指標(biāo)和終端型指標(biāo)最優(yōu)控制問題轉(zhuǎn)化為一般型指標(biāo)最優(yōu)控

33、制問題的思想和方法，就可以完成這種轉(zhuǎn)化工作。 2022-6-13402.2.2 一般型最優(yōu)控制問題的最大值原理及證明l定理2.2.1(一般型最優(yōu)控制問題的最大值原理終端時(shí)刻固定，終端狀態(tài)自由) 給定系統(tǒng)的狀態(tài)方程 和控制函數(shù)U(t)的約束條件 則為將系統(tǒng)從給定的初態(tài)X(t0)=X0轉(zhuǎn)移到終端時(shí)刻tf固定，終端狀態(tài)自由的某個(gè)終態(tài)X(tf)，并使性能泛函 達(dá)到極小值的最優(yōu)控制應(yīng)滿足的必要條件是： (1) 設(shè)U*(t)是最優(yōu)控制, X*(t)是對(duì)應(yīng)于U*(t)的最優(yōu)軌線，則必存在一與U*(t)和X*(t)相對(duì)應(yīng)的(t)，使得X*(t)和(t)滿足規(guī)范方程( )( ),( ), X tf X t U

34、t t0,( ),fU ttt t()TfJC X t2022-6-1341 其中，(2) 邊界條件為(3) 在最優(yōu)控制和最優(yōu)軌線上哈密頓函數(shù)H達(dá)到最大值。即 （2.2.4） ( )( ),( ), HX tf X t U t t( )HtX ( ), ( ),( ), ( ) ( ),( ), THH X tt U t tt f X t U t t00( )X tX()ftC *( )( ), ( ),( ), max( ), ( ),( ), U tH Xtt Ut tH Xtt U t t2022-6-1342證明 ：證明該定理的基本思路是，設(shè)最優(yōu)控制U*(t)獲得變分U (t) ，相應(yīng)

35、地，最優(yōu)軌線X*(t)也發(fā)生變分 X (t) ，這時(shí)求出性能泛函J的增量J。根據(jù)最優(yōu)控制U*(t)使J達(dá)到極小值，則其增量為 （2.2.5） 的性質(zhì)，利用反證法證明，若最大值原理不成立，則式（2.2.5）一定不成立。這與控制函數(shù)U*(t)使J達(dá)到極小值的假設(shè)相矛盾，于是就完成了定理2.2.1的證明。其具體步驟如下： l求增量 J 設(shè)最優(yōu)控制U*(t)已經(jīng)求得，即U*(t)使J達(dá)到了極小值?，F(xiàn)在令U*(t)獲得一個(gè)變分U (t) ，則最優(yōu)軌線X*(t)相應(yīng)地也發(fā)生變分，設(shè)為 X (t) 。 由狀態(tài)方程（2.2.1）得 （2.2.6） 0J*( )( ),( ), Xtf Xt Ut t2022-

36、6-1343 （2.2.7） 將式（2.2.7）與式(2.2.6)相減，并左乘以T(t)，得 （2.2.8） 考慮到哈密頓函數(shù)為 則式（2.2.8）變?yōu)?對(duì)上式兩端進(jìn)行積分，得 （2.2.9）*( )( )( )( ),( )( ), XtX tf XtX t UtU t t( ), ( ),( ), ( ) ( ),( ), TH X tt U t tt f X t U t t*( )( ) ( )( ),( )( ), ( ),( ), TTtX tf XtX t UtU t tf Xt Ut t*( )( )( )( ), ( ),( )( ), ( ), ( ),( ), TtX tH

37、 XtX tt UtU t tH Xtt Ut t00*( )( ) ( )( ), ( ),( )( ),( ), ( ),( ), ffttTtttX t dtH XtX tt UtU t tH Xtt Ut tdt2022-6-1344 對(duì)上式左端進(jìn)行分部積分，得 將上式代入式（2.2.9），移項(xiàng)后，得 （2.2.10）000( )( )( )( )( )( )ffftttTTTttttX t dttX ttX t dt000*( )( )( )( ) ( )( ), ( ),( )( ), ( ), ( ),( ), fffttTTtttttX ttX t dtH XtX tt UtU

38、 t tH Xtt Ut tdt0( )0, ()fX ttC ()()()TffTftX tCX tJ 000( )( )()()( )( )ftTTTffttX ttX ttX t2022-6-1345將上式代入式（2.2.10），得性能泛函的增量為 （2.2.11）l化簡增量 J 由于協(xié)態(tài)變量方程為 （2.2.12） 并利用泰勒公式，將式（2.2.11）右端的第二項(xiàng)積分中的第一個(gè)函數(shù)的最優(yōu)軌線X*(t)處展開，得 00*( )( ) ( )( ), ( ),( )( ), ( ), ( ),( ), ffttTttJtX t dtH XtX tt UtU t tH Xtt Ut tdt

39、*( ), ( ),( ), ( )( )H Xtt Ut ttX t *( )( ), ( ),( )( ), H XtX tt UtU t t*( ), ( ),( )( ), H Xtt UtU t t2022-6-1346 （2.2.13） 其中,0 1, 是nn階非負(fù)定矩陣，且為 *2*2( ), ( ),( )( ), ( )( )1( )( ), ( ),( )( ), ( )( )2( )TTH Xtt UtU t tX tX tH XtX tt UtU t tXtX tX t22HX222212112222212222222212nnnnnHHHxxxxxHHHHx xxxx

40、xHHHx xxxx 2022-6-1347 將式（2.2.12）和式(2.2.13)代入式（2.2.11）中，經(jīng)整理得 （2.2.14） 在上式右端后兩個(gè)積分中都含有 X (t) ，它們相對(duì)于第一個(gè)積分而言，都是高階無窮小量，記為，于是，式（2.2.14）變?yōu)?000*2*2 ( ), ( ),( )( ), ( ), ( ),( ), ( ), ( ),( )( ), ( )( ), ( ),( ), ( )1( )( ), ( ),( )( ), ( )( )2( )fffttttTtTtJH Xtt UtU t tH Xtt Ut tdtH Xtt UtU t tX tH Xtt Ut

41、 tX t dtH XtX tt UtU t tXtX t dtX t 2022-6-1348 （2.2.15）l反證法證明定理 為了證明最大值原理是使性能泛函J達(dá)到極小值的必要條件，需要證明：如果在容許控制 （2.2.16） 中，至少能找到一個(gè)控制函數(shù)U (t) ，使哈密頓函數(shù)H不能達(dá)到最大值的話，那么，該控制函數(shù)就一定不會(huì)使性能泛函J達(dá)到極小值。 如果在容許控制（2.2.16）中能夠找到使性能泛函J達(dá)到極小值的最優(yōu)控制U*(t) ，那么當(dāng)它發(fā)生任何變分U (t)時(shí)，都有 J0。現(xiàn)在假定最優(yōu)控制U*(t)只在區(qū)間t0，tf中的任一小區(qū)間ta，tb上發(fā)生變分U (t) ，即假定 0* ( ),

42、 ( ),( )( ), ( ), ( ),( ), fttJH Xtt UtU t tH Xtt Ut tdt 0,( ),fU ttt t*( )( )( ), ,abU tUtU ttt t2022-6-1349并且，假設(shè)U*(t)不能使哈密頓函數(shù)H滿足最大值原理，也就是說，對(duì)于控制函數(shù)U*(t)發(fā)生微小變分U (t)后，有 其中t ta，tb ，是一個(gè)正常數(shù)，對(duì)上式兩邊積分，得 由于控制函數(shù)U (t)的變分U (t)只在區(qū)間ta，tb上發(fā)生，所以式（2.2.15）的泛函的增量將變?yōu)?*( ), ( ),( )( ), ( ), ( ),( ), H Xtt UtU t tH Xtt U

43、t t* ( ), ( ),( )( ), ( ), ( ),( ), H Xtt UtU t tH Xtt Ut t *( ), ( ),( )( ), ( ), ( ),( ), babattttH Xtt UtU t tH Xtt Ut tdtdt *( ), ( ),( )( ), ( ), ( ),( ), ()babatttbatJH Xtt UtU t tH Xtt Ut tdtdtJtt 2022-6-1350由于是無窮小量，它的存在與否，不影響上面不等式關(guān)系，所以J0。這表明，若控制函數(shù)U*(t)不能使哈密頓函數(shù)H滿足最大值原理，則該控制函數(shù)U*(t)也不會(huì)使泛函J達(dá)到極小值

44、。這與控制函數(shù)U*(t)是使泛函J達(dá)到極小值的假設(shè)矛盾。所以，使性能泛函J達(dá)到極小值的控制函數(shù)U*(t) ，一定使哈密頓函數(shù)滿足最大值原理，于是定理2.2.1得到證明。 2022-6-1351推論 2.3.1 對(duì)于線性系統(tǒng) 來說，最大值原理是使性能泛函J（見式2.2.3）達(dá)到極小值的充要條件 。 證明：在這種情況下，哈密頓函數(shù)為 ( )( )( )X tAX tBU t( ), ( ),( ), ( )( )( )( )TTH X tt U t tt AX tt BU t*( ), ( ),( )( ), ( )( ), ( ),( ), ( )( )TH Xtt UtU t tX tH Xt

45、t Ut tX tAt220HX2022-6-1352這時(shí)，相應(yīng)的式（2.2.14）中的后兩個(gè)積分均等于零，于是得到 因此，若哈密頓函數(shù)H滿足最大值原理，則上式右端的積分就是非負(fù)的，即 J0，這樣，性能泛函J達(dá)到極小值的條件滿足了，充分條件得到證明。 0*( ), ( ),( ), ( ), ( ),( )( ), fttJH Xtt Ut tH Xtt UtU t tdt 2022-6-1353例 2.2.1 給定二階系統(tǒng)的狀態(tài)方程及初始狀態(tài) 其中控制函數(shù)的約束條件為| u(t) |1，現(xiàn)在需要容許控制中，確定一控制函數(shù)u(t) ，使系統(tǒng)在終態(tài)自由的情況下，從給定的初態(tài)（x1(0)=1，x2

46、(0)=0）轉(zhuǎn)移到某個(gè)終態(tài)（x1(1)，x2(1)），并使性能泛函達(dá)到極小值。 解：這是一個(gè)一般型最優(yōu)控制問題，其終端時(shí)刻tf=1固定，終端狀態(tài)自由，可以利用定理2.2.1求解。為此，構(gòu)造哈密頓函數(shù) 111,(0)1xxux 212,(0)0 xxx2(1)Jx1121()Hxux2111()xu2022-6-1354協(xié)態(tài)方程求解協(xié)態(tài)方程得 其中1(t)曲線如圖22所示。根據(jù)定理2.2.1，為使變量u(t)的函數(shù)H在約束| u(t) |1條件下達(dá)到最大值，顯然應(yīng)取 112111(),(1)0Hcx 22220,(1)1Hcx 211( )1( )1ttte 1121,( )0( )sgn( )

47、1,( )0tu ttt2022-6-1355由圖2-2可見，在區(qū)間0，1上， 10，所以將它代入狀態(tài)方程，得到 由此得到性能泛函的極小值 ( )1u t 111121221,(0)1( )21,(0)0( )22ttxxxx texxxx tet 12(1)21Jxe 111e1ot圖222022-6-1356l定理2.2.2(一般型最優(yōu)控制問題的最大值原理終端時(shí)刻固定，終端狀態(tài)受限)給定系統(tǒng)的狀態(tài)方程 （2.2.17） 和控制函數(shù)U(t)的約束條件 （2.2.18） 則為將系統(tǒng)從給定的初態(tài)X(t0)=X0轉(zhuǎn)移到滿足終端約束條件 （2.2.19） 某個(gè)終態(tài)X(tf)，其中，tf是固定，并使性

48、能泛函 （2.2.20） 達(dá)到極小值的最優(yōu)控制應(yīng)滿足的必要條件是： (1) 設(shè)U*(t)是最優(yōu)控制, X*(t)是對(duì)應(yīng)于U*(t)的最優(yōu)軌線，則必存在一與U*(t)和X*(t)相對(duì)應(yīng)的(t)，使得X*(t)和(t)滿足規(guī)范方程 ( )( ),( ), X tf X t U t t0,( ),fU ttt t()TfJC X t()0fX t( )( ),( ), HX tf X t U t t2022-6-1357其中，(2) 邊界條件為 （2.2.21a） 或者 （2.2.21b）(3) 在最優(yōu)控制和最優(yōu)軌線上哈密頓函數(shù)H達(dá)到最大值。即 ( )HtX ( ), ( ),( ), ( ) (

49、),( ), THH X tt U t tt f X t U t t()0fX t()()()TfffX ttCX t 00( )X tX1()(),1,2,()rjfifijjifX ttcuinx t *( )( ), ( ),( ), max( ), ( ),( ), U tH Xtt Ut tH Xtt U t t2022-6-1358例 2.2.2 給定系統(tǒng)的狀態(tài)方程和初始條件其終端狀態(tài)的約束條件為 上面的約束方程在四維空間中代表一個(gè)三維圖形，也就是說，系統(tǒng)的終態(tài)不自由，被限制在這個(gè)三維圖形上。 現(xiàn)在的問題是要求確定控制函數(shù)u(t) ，使系統(tǒng)在t=0時(shí)從原點(diǎn)開始，在t=1時(shí)到達(dá)上述三

50、維圖形上，并使性能泛函 12123233244( )( ),(0)0( )( ),(0)0( )( ),(0)01( )( ),(0)02x tx txx tx txx tu txx tutx2212(1)(1)(1) 10Xxx 441(1)(1)iiiJc xx2022-6-1359達(dá)到極小值。 解：寫出問題的哈密頓函數(shù)由此得協(xié)態(tài)方程 而c1=c2=c3=0，c4=1，所以21223341( )( )( )( )( ) ( )( )( )2Ht x tt x tt u tt ut121324( )0( )( )( )( )( )0tttttt (1)(1),1,2,3,4(1)iiiXci

51、x 2022-6-1360可以解出 將上式代入Hamilton函數(shù)得 因?yàn)閷?duì)控制函數(shù)u(t)沒有施加約束條件，所以由 112234(1)2(1)(1)2(1)(1)0(1)1xx 4( )1t 2122331( )( )( )( )( ) ( )( )2Ht x tt x tt u tu t3( )( )0( )Htu tu t2022-6-1361可以求出滿足最大值原理的控制函數(shù)為 將上述結(jié)果綜合起來，求解本例題的最優(yōu)控制和最優(yōu)軌線問題就轉(zhuǎn)化為求解下列的兩點(diǎn)邊界值問題。 3( )( )u tt12123233324341112122323( )( ),(0)0( )( ),(0)0( )(

52、),(0)01( )( ),(0)02( )0,(1)2(1)( )( ),(1)2(1)( )( ),(1)0 x tx txx tx txx ttxx ttxtxttxtt 2022-6-1362加上終端狀態(tài)的約束條件 上述方程組的解就確定了。不過，欲將它解出來，卻是非常困難的，因?yàn)闋顟B(tài)方程與終端條件是非線性的。(可以借助MATLAB求解) 特例：狀態(tài)變量某些分量的終態(tài)xj(tf)是完全固定的情況 設(shè)狀態(tài)變量的前r個(gè)分量的終態(tài)是固定的，而其余分量的終態(tài)是沒有約束的。這時(shí)約束條件（2.2.19）變?yōu)?其中xif是常數(shù)，將上述終端約束條件代入式（2.2.21b），則可得到在這種情況下協(xié)態(tài)變量的

53、終端條件為 2212(1)(1)10 xx ()()0,1,2, ,jfjfjfX tx txjrrn()(),1,2,ifiitcir (),1,2,ifitcirrn 2022-6-1363既然狀態(tài)變量前r個(gè)分量的終態(tài)是固定的，它們?cè)谛阅苤笜?biāo)泛函中自然不會(huì)出現(xiàn)。也就是說，對(duì)應(yīng)于狀態(tài)變量這些分量的常數(shù)ci等于零。所以最后得 由于i是待定的常數(shù)，所以由上面兩式可以得到一個(gè)重要的結(jié)論：若狀態(tài)變量的分量xi(t)的終態(tài)xi(tf)是固定的，則協(xié)態(tài)變量與之相應(yīng)的分量i(t)的終態(tài)i(tf)是自由的；反之，若狀態(tài)變量的分量xi(t)的終態(tài)xi(tf)是自由的，則協(xié)態(tài)變量與之相應(yīng)的分量i(t)的終態(tài)i(

54、tf)是固定的，且為 ci。(),1,2,ifitir (),1,2,ifitcirrn 2022-6-1364例 2.2.3 給定系統(tǒng)的狀態(tài)方程 初始條件 （2.2.23）和終端條件 （2.2.24） 現(xiàn)在需要確定最優(yōu)控制u1*(t)和u2*(t)以及最優(yōu)軌線x1*(t)和x2*(t) ，將系統(tǒng)從t=0時(shí)的初態(tài)轉(zhuǎn)移到t=1時(shí)的終態(tài)，并使性能泛函達(dá)到極小值。 11212( )( )( )( )( )x tu tx tx tu t12(0)(0)0 xx12(1)(1)1xx1221120( )( )( )Jx tutut dt （2.2.22）2022-6-1365解： 這是一個(gè)積分型最優(yōu)控制

55、問題。應(yīng)用定理2.1.2來求解，為此構(gòu)造哈密頓函數(shù) 由此可寫出協(xié)態(tài)方程 由于x1(1)和x2(1)都是固定的，所以1(1)和2(1)都是自由的，故得協(xié)態(tài)方程的解為 其中積分常數(shù)a和b需要根據(jù)另外的條件來確定。下面分三種情況進(jìn)行討論。 2211211212( )( )( )( ) ( )( )( )( )Hx tututt u tt x tu t 122( )( )1( )0ttt 21( )( )(1)tata tb2022-6-1366lu1(t)和u2(t)都不受約束 此時(shí)，當(dāng)時(shí)，H達(dá)到最大值。于是有 120( )0( )Hu tHu t11222( )( )02( )( )0u ttu

56、tt1122( )1( )(1)22( )( )22tu ta tbtau t2022-6-1367將上式代入系統(tǒng)狀態(tài)方程（2.2.22）并考慮到狀態(tài)變量的初始條件（2.2.23），可得 代入終端條件（2.2.24），就得到關(guān)于a和b的聯(lián)立方程 由此得到最優(yōu)控制為 213221 1( ) (1)2 21 11( ) (1)2 62x ta tbtx ta tbtat1(1)11421112(1)12124baabaab2022-6-1368最優(yōu)軌線為 而性能泛函為解的曲線如圖2-3(a)所示。 *1*2( )11( )2utut*1*2( )1( )(1)2xttxtt t*1.75J 202

57、2-6-1369lu1(t)不受約束， u2(t)1/4前面已經(jīng)指出，對(duì)于u2(t)來說，哈密頓函數(shù)H的最大值發(fā)生在a/2的地方，但是，這時(shí)a之值尚不知道，不過從情況1知a=1時(shí)， u2(t) =1/2，依此判斷，H的最大值現(xiàn)在發(fā)生在u2(t) =1/4的地方，因此，取 u2(t) =1/4。由于u1(t)不受約束 ，所以 將u1(t)和u2(t)代入系統(tǒng)方程（2.2.22）并考慮到狀態(tài)變量的初始條件（2.2.23），可得11( )(1)2u ta tb213221 1( ) (1)2 21 111( ) (1)2 622x ta tbtx ta tbtt2022-6-1370利用終端條件（2

58、.2.24），可得聯(lián)立方程 由于 所以，我們?nèi)2(t)=1/4是正確的，代入a，b之值后，求得的最優(yōu)控制為 1(1)1742115(1)11244baabba71224a*1*21( )(56 )21( )4uttut2022-6-1371而最優(yōu)軌線為性能指標(biāo)泛函之值為 由此可以看出，對(duì)u2(t)加了約束之后，泛函J的極小值變大了。這時(shí)解的曲線如圖2-3（b）所示。 *211( )(53 )2xttt*2321( )(52 )4xtttt*9216J 2022-6-1372lu1(t) 0和u2(t)1/4由情況2中已經(jīng)看到， u1(t)之值在后一段時(shí)間是小于零的?，F(xiàn)在對(duì)u1(t)施加了不小

59、于零的限制。由于函數(shù)H對(duì)于u1(t)來說是二次函數(shù)，所以在這種情況下為使H達(dá)到最大值的最優(yōu)控制也將包含有 (1) (2)兩部分，這兩部分的轉(zhuǎn)換時(shí)間是需要確定的，問題的復(fù)雜性在于，現(xiàn)在還不知道常數(shù)a和b之值，因而也不知道u2(t)應(yīng)取多大值方能滿足最大值原理。所以，我們應(yīng)采用的方法多少帶有試探的性質(zhì)。假設(shè) 1( )0u t 11( )(1)02u ta tb21,22( )11,42aau tda若若2022-6-1373 至于u1(t)應(yīng)如何假設(shè)，我們先分析一下，如果在開始一段時(shí)間，設(shè)u1(t) 0，那么這等于在方程 中設(shè)b0，為了要在時(shí)間區(qū)間0，1上實(shí)現(xiàn)一次轉(zhuǎn)換，這又要求a0，于是在t=0時(shí)

60、，有u1(t)0，因而取 將假設(shè)的u1(t)和u2(t)代入原狀態(tài)方程（2.2.22），并考慮初始條件（2.2.23），可得 11( )(1)02u ta tb11( )(1)02u ta tb2022-6-1374tu1b11ba2022-6-1375這種狀態(tài)運(yùn)動(dòng)將一直繼續(xù)到轉(zhuǎn)換時(shí)刻 ，我們令u1(t)0可求出轉(zhuǎn)換時(shí)刻在時(shí)刻 ， x1(t)和x2(t)分別為 2132211( )(1)4211( )(1)124x ta tbtx tdta tbt1ba21322( )4(1)( )16(1)bxadbbxaa2022-6-1376此后控制函數(shù)變?yōu)閷⒋丝刂坪瘮?shù)代入原狀態(tài)方程（2.2.22），并