最優(yōu)控制(動態(tài)求解)

1、第4章 最優(yōu)控制原理與應用,最優(yōu)控制的基本概念,最優(yōu)控制研究的主要問題：根據(jù)已建立的被控對象的數(shù)學模型，選擇一個容許的控制率，使得被控對象按照預定的要求運行，并使給定的某一性能指標達到極小值(或極大值)。 從數(shù)學觀點來看，最優(yōu)控制研究的問題是：求解一類帶有約束條件的泛函極值問題。,最優(yōu)控制問題,最優(yōu)控制問題的一般提法：在滿足系統(tǒng)方程的約束條件下，在容許控制域中確定一個最優(yōu)控制律，使得系統(tǒng)狀態(tài)從已知初態(tài)轉移到要求的目標集，并使性能指標達到極值。,最優(yōu)控制的應用類型,i. 積分型性能指標 最小時間控制； 最少能量控制； 最少燃料控制； ii. 末值型性能指標 iii. 復合型性能指標,4.1 用變

2、分法解最優(yōu)控制,4.1.1 泛函與變分 4.1.2 歐拉方程 4.1.3 橫截條件 4.1.4 變分法解最優(yōu)控制問題,返回主目錄,在動態(tài)系統(tǒng)最優(yōu)控制問題中，性能指標是一個泛函，性能指標最優(yōu)即泛函達到極值。解決泛函極值問題的有力工具是變分法。所以下面就來列出變分法中的一些主要結果，大部分不加證明，但讀者可對照微分學中的結果來理解。,4.1.1 泛函與變分,如果對某一類函數(shù) 中的每一個函數(shù) ，有一個實數(shù)值 與之相對應，則稱 為依賴于函數(shù) 的泛函，記為,粗略來說，泛函是以函數(shù)為自變量的函數(shù)。(函數(shù)的函數(shù)),1、泛函：,先來給出下面的一些定義。,2、泛函的連續(xù)性：,則,則線性泛函 是連續(xù)的，稱jx為線

3、性連續(xù)泛函。,若對于收斂于點x0點列xn，其中x0，xn ，均有 則稱泛函j在x0處連續(xù)。對于線性泛函jx,若,滿足下面條件的泛函稱為線性泛函 這里 是實數(shù)， 和 是函數(shù)空間中的函數(shù)。,3、線性泛函：,4、自變量函數(shù)的變分：,自變量函數(shù) 的變分 是指同屬于函數(shù)類 中兩個函數(shù) 、 之差,這里, t 看作為參數(shù)。當 為一維函數(shù)時， 可用圖4-1來表示。,圖4-1 自變量函數(shù)的變分,這里， 是 的線性泛函， 是關于 的 高階無窮小，則 稱為泛函jx的變分。 可知泛函變分就是泛函增量的線性主部。,當自變量函數(shù) 有變分 時， 泛函的增量為,5、泛函的變分：,當一個泛函具有變分時，也稱該泛函可微。和函數(shù)的

4、微分一樣，泛函的變分可以利用求導的方法來確定。 定理 設jx是線性賦范空間rn上的連續(xù)泛函， 若在x= x0處jx可微，則jx的變分為,證明:,由于 是 的線性連續(xù)泛函， 又因為 是 的高階無窮小，,泛函變分的規(guī)則,舉例：,可見，計算泛函的變分如同計算函數(shù)的微分一樣。,6、泛函的極值：,若存在 ，對滿足的 一切x， 具有同一符號，則 稱 在 處有極值(極大值或極小值)。,定理(變分預備定理)：設 是時間區(qū)間t0, t1上連續(xù)的n維向量函數(shù)， 是任意的連續(xù)n維向量函數(shù)，且有 ，若,則必有,4.1.2 歐拉方程,假定t0與tf 給定，且初態(tài)與末態(tài)兩端固定。 (1) 無約束泛函極值的必要條件 定理

5、設有如下泛函極值問題：,（1）,已知x(t0)=x0 x(tf)=xf ,則極值曲線 應滿足如下歐拉方程,（2）,（3）,及橫截條件,于是泛函j 的增量 可計算如下（以下將*號省去）,上式中 是高階項。,證明： 與 之間有如下關系,根據(jù)定義，泛函的變分 是 的線性主部，即,對上式第二項作分部積分，按公式,j取極值的必要條件是 等于零。因 是任意的，要使（3-2）中第一項（積分項）為零，必有,（5）,（4）式中第二項即為結論中的式(3).,舉例： 利用上面的結論求得,(2) 有等式約束泛函極值的必要條件 定理 設有如下泛函極值問題：,（6）,已知x(t0)=x0， x(tf)=xf ,則極值曲線

6、 應滿足如下歐拉方程和橫截條件,其中， 為拉格朗日函數(shù)， 是待定拉格朗日乘子。,4.1.3 橫截條件,末端時刻固定時的橫截條件 當tf 固定時，在x(t0)=x0 固定時，橫截條件為 如果末端狀態(tài)也固定x(tf)=xf 時，邊界條件退化為x(t0)=x0，x(tf)= xf ；當末端狀態(tài)自由時，橫截條件為,x(t0)=x0,x(t0)=x0,(2) 末端時刻自由時的橫截條件,末端受約束時,存在如下近似關系: 如果末端自由，則曲線c(t)不存在。 設性能指標為 容許軌線x(t)與極值曲線x*(t)之間有如下關系,（7）,當末端由(xf,tf)移動到 時， 產(chǎn)生如下的泛函增量,（8）,將(8)右端

7、的第二項在極值曲線泰勒展開,對上式右端的第二項分部積分,將以上結果代入(8)，取增量的線性主部，得泛函的變分 令 ，得歐拉方程和橫截條件：,（9）,（10）,末端時刻自由、末端狀態(tài)變動時的橫截條件 1) 末端狀態(tài)自由時的橫截條件 當x(tf)自由時，由(7)可知 代入(10)可得到 因為 任意，所以 tf自由、x(tf)自由的橫截 條件和邊界條件為：,（11）,2) 末端狀態(tài)受約束時的橫截條件 設受約束方程為 x(tf)=c(tf) ,由(7)可知 代入(11) ，并考慮 任意，得到tf自由、x(tf)受約束的橫截條件和邊界條件為,(11.1),如果t0也自由、x(t0)受約束，即沿著曲線g(

8、t)則應滿足以下橫截條件,(11.2),例子: 求平面上給定兩點a(0,1),b(1,3)間的最短弧長。 若b點可沿曲線 c(t)=2-t 移動，求一連接a、b兩點且弧長最短的曲線。 對于最短弧長問題，它是泛函 在兩端固定條件下的變分問題，歐拉方程 的解為 x=at+b 帶入邊界條件可得解 x=2t+1。,(2)屬于末端受約束的變分問題，其最短弧長滿足與(1)相同的歐拉方程，因此 x=at+b，因為初始點沒有變化，所以由x(0)=1可得b=1. 為了確定參數(shù)a, 運用橫截條件(11.1)可得 解得 a=1,因此 可知極值曲線為 . 由末端約束條件 ，可知 tf=0.5，帶入弧長公式得到最短弧長

9、,x=t+1,不同邊界情況下的橫截條件,4.1.4 變分法解最優(yōu)控制問題,系統(tǒng)方程為 性能指標為 末端狀態(tài) x(tf) 受約束，要求的目標集為 最優(yōu)控制問題是：確定最優(yōu)控制u*(t)和最優(yōu)曲線x*(t)，使得系統(tǒng)(12)由已知初態(tài) x0 轉移到要求的目標集(14)，并 使性能指標(13)達到極值。,（14）,（13）,（12）,可以利用拉格朗日乘子法將上述有約束條件的泛函極值問題化為無約束條件的泛函極值問題。,再引入一個標量函數(shù),它稱為哈密頓（hamilton）函數(shù)，在最優(yōu)控制中起著重要的作用。,(1) 末端時刻固定時的最優(yōu)解 對于如下最優(yōu)控制問題： 無約束且在t0,tf上連續(xù)， .在t0,t

10、f上，f(.), 和l(.)連續(xù)可微，tf固定。最優(yōu)解的必要條件為： 1) x(t)和 滿足正則方程,2) 邊界條件和橫截條件 3) 極值條件 證明：構造廣義泛函,分部積分 則 對上式取一次變分，考慮到 根據(jù)泛函極值的必要條件，可得到結論。,當末端時間tf固定，末端狀態(tài)x(tf)自由時，不存在目標集 因此，該下的泛函極值只需將上述結論中的 去掉即可。 當末端時間tf固定，末端狀態(tài)x(tf)固定時，正則方程不變， 邊界條件退化為x(t0)=x0，x(tf)= xf ，系統(tǒng)在可控的條件下， 極值條件也不變。,本例屬于末端時刻固定，末端狀態(tài)受約束的泛函極值問題。 hamilton函數(shù) 協(xié)態(tài)方程 極值

11、條件,狀態(tài)方程 根據(jù)初始條件和目標條件可求出 c3=c4=0,4c1-9c2=6 再根據(jù)橫截條件可求出c1=(1/2)c2，可求出c1與c2的值。進而獲得最優(yōu)解,(2)末端時刻自由時的最優(yōu)解,對于如下最優(yōu)控制問題： 最優(yōu)解的必要條件為： 1) x(t)和 滿足正則方程,2) 邊界條件和橫截條件 3) 極值條件 4) 在最優(yōu)曲線末端的hamilton函數(shù)滿足,證明：構造廣義泛函 當末端由(xf , tf)移動到 時，產(chǎn)生如下的泛函增量 將上式在最優(yōu)軌線展成泰勒級數(shù)并取主部，應用中值定理并考慮 ，可得到,將 代入上式可得到 令 得到定理 的結論。,page562, 表10-2 用變分法求最優(yōu)解的必

12、要條件,例子:,解：本例屬于tf自由，末端狀態(tài)固定、控制無約束的泛函極值問題。,=常數(shù)，再由極值條件得 由狀態(tài)方程和初始條件得到 利用末態(tài)條件得到 最后根據(jù)末端時刻h的變化率可以求得 這樣，求得的最優(yōu)解為,4.2 極小值原理及其應用,4.2.1 連續(xù)系統(tǒng)的極小值原理 4.2.2 離散系統(tǒng)的極小值原理 4.2.3 最小時間控制 4.2.4 最小能量控制,返回主目錄,為解決控制有約束的變分問題，龐特里亞金提出并證明了極小值原理，其結論與經(jīng)典的變分理論有許多相似之處，而且不要求哈密爾頓函數(shù)對控制量連續(xù)可微。,4.2.1 連續(xù)系統(tǒng)的極小值原理 末端自由時的極小值原理 定理 對于如下定常系統(tǒng)、末值型性能

13、指標、末端自由、 控制受約束的最優(yōu)控制問題 式中 為任意分段連續(xù)函數(shù)；末端狀態(tài)自由；末端時刻固定或自由。假設 f(x,u) 和 都是自變量 的連續(xù)可微函數(shù)，且在有界集上f(x,u)對變量x滿足,則對于最優(yōu)解u*,x*,tf*，必存在非零的 ，使如下必要條件成立： 正則方程 其中 邊界條件與橫截條件 極小值條件 4) 沿最優(yōu)軌線哈密爾頓函數(shù)變化率(tf自由時用),極小值原理與經(jīng)典變分法的區(qū)別：,容許控制條件放寬。極小值條件對通常的控制約束均適用。 最優(yōu)控制使哈密頓函數(shù)取全局極小值。當滿足經(jīng)典變分法的應用條件時，其極值條件是極小值原理中極值條件的特例。 極小值原理不要求哈密頓函數(shù)對控制向量的可微性

14、。,例子: 解：已知 由協(xié)態(tài)方程 可得到,由橫截條件 解出 由極小值條件 由于 可得到,定理 對于如下時變系統(tǒng)、末值型性能指標、末端自由、 控制受約束的最優(yōu)控制問題 式中末端時刻固定或自由，假設同前，則對于最優(yōu)解u*,x*,tf*，必存在非零的 ，使如下必要條件成立： 正則方程 其中,邊界條件與橫截條件 極小值條件 4) 沿最優(yōu)軌線哈密爾頓函數(shù)變化率(tf自由時用),于是該問題就變成了如下定常問題：,利用定常系統(tǒng)的結論，可知協(xié)態(tài)方程為 即,(17),(16),橫截條件為 即 極小值條件為 將式(16)代入可得 即得結論3)。沿最優(yōu)軌線哈密爾頓函數(shù)變化率 將(18)代入可得到本定理的結論4)。,

15、(18),定理 對于如下定常系統(tǒng)、積分型性能指標、末端自由、 控制受約束的最優(yōu)控制問題 式中末端時刻固定或自由，假設同前，則對于最優(yōu)解u*,x*,tf*，必存在非零的 ，使如下必要條件成立： 正則方程 其中,邊界條件與橫截條件 極小值條件 4) 沿最優(yōu)軌線哈密爾頓函數(shù)變化率(tf自由時用),于是該積分型問題就變成了如下末值型問題：,把上面兩個式子代入?yún)f(xié)態(tài)方程 ，可得,因此 由橫截條件可知 因為 ，上式可表示為 由(19)可得,(19),則哈密爾頓函數(shù)為 將它代入(19)可得 從而也得到了極值條件3)和最優(yōu)軌線末端應滿足條件4)。,解：該題屬于定常系統(tǒng)、積分型性能指標、tf固定、末端自由、控制受

16、約束的最優(yōu)控制問題。令,由協(xié)態(tài)方程 解得 再由橫截條件 可以求出c=e。顯然，當 時 u*(t)產(chǎn)生切換，由 可以解出 =0.307，因此 將u*代入狀態(tài)方程并利用初值條件可得到最優(yōu)軌線為,(2) 末端受約束時的極小值原理 定理 對于如下定常系統(tǒng)、末值型性能指標、末端受約束、控制受約束的最優(yōu)控制問題 式中末端時刻固定或自由，假設同前，則必存在非零的 ，使如下必要條件成立：,正則方程 其中 邊界條件與橫截條件 極小值條件 4) 沿最優(yōu)軌線哈密爾頓函數(shù)變化率(tf自由時用),定理 對于如下時變系統(tǒng)、末值型性能指標、末端受約束、控制受約束的最優(yōu)控制問題 式中末端時刻固定或自由，假設同前，則必存在非零

17、的 ，使如下必要條件成立：,正則方程 其中 邊界條件與橫截條件 極小值條件 4) 沿最優(yōu)軌線哈密爾頓函數(shù)變化率(tf自由時用),4.2.2 離散系統(tǒng)的極小值原理 末端約束時的離散極小值原理 定理 設離散系統(tǒng)狀態(tài)差分方程為 性能指標為 式中 n 固定。假設 f(.), 和 l(.) 都是自變量 的連續(xù)可微函數(shù)，末端狀態(tài)受如下目標集約束,則對于最優(yōu)序列u*,x*, 必存在非零的 ，使如下必要條件成立： 差分方程 其中 邊界條件與橫截條件 極小值條件,若u(k)無約束，則極值條件為,(2) 末端自由時的離散極小值原理 定理 設離散系統(tǒng)狀態(tài)差分方程為 性能指標為 式中 n 固定。假設同前， 末端狀態(tài)自

18、由，則對于最優(yōu)序列u*,x*, 必存在非零的 ，使如下必要條件成立：,差分方程 其中 邊界條件與橫截條件 極小值條件,若u(k)無約束，則極值條件為,該題屬于控制無約束問題，構造 由協(xié)態(tài)方程 可得到 由極值條件,得到 將u*(k)代入狀態(tài)方程并利用邊界條件可得到,4.2.3 最小時間控制 最小時間的控制問題 設線性定常系統(tǒng) 完全可控，求滿足下列不等式約束的容許控制： 使系統(tǒng)從初始狀態(tài)x(0)=x0轉移到x(tf)=0，并使性能指標 極小，其中 tf 自由。,(2) 正常情況與奇異情況 構造 根據(jù)極小值條件，可得 則 設 可知，(20)可表示為下式,(20),(3) 奇異性的充要條件 定理 設矩

19、陣 式中bj中為矩陣b的列向量，當且僅當m個gj矩陣 中至少有一個是奇異矩陣，上述最優(yōu)問題是奇異的。 定理 上述問題是正常的，當且僅當,(3) bang-bang控制 定理 對上述問題，若系統(tǒng)是正常的，則最優(yōu)解的必要條件是,正則方程 其中 邊界條件 極小值條件,4) 沿最優(yōu)軌線哈密爾頓函數(shù)變化率(tf自由時用),4) 經(jīng)驗證系統(tǒng)可控，因此系統(tǒng)正常。可用上述定理求解。 由協(xié)態(tài)方程得 取u*=1，可以求得系統(tǒng)的解，并消去變量t可得到最優(yōu)軌線方程,則滿足末態(tài)要求的最優(yōu)軌線方程可表示為 取u*= -1，也可得到滿足末態(tài)要求的最優(yōu)軌線方程 曲線 組成曲線 ，稱為開關曲線，表示為 開關曲線將相平面分成兩部

20、分r+和r-,則時間最優(yōu)控制為,4.2.4 最小能量控制 設線性定常系統(tǒng) 求滿足下列不等式約束的容許控制： 使系統(tǒng)從初始狀態(tài)x0轉移到x(tf)=xf，并使性能指標 極小，其中 tf 固定。,構造 定義開關向量函數(shù) 由協(xié)態(tài)方程 可得 則開關向量可表示為,其分量為 則 將上式代入哈密爾頓函數(shù)，可得 若uj(t)無約束，則,解出 由控制約束條件可得出下面的最優(yōu)控制律,解：構造,則最優(yōu)控制律應滿足 由協(xié)態(tài)方程 可解出,因為末端固定，不能由橫截條件確定c1,c2,這里采用試探法。通常情況下，如果使最小能量控制問題的控制量較小，首先選取線性最優(yōu)控制函數(shù)，即 將上式代入狀態(tài)方程 解得 根據(jù)初始條件可得c3

21、=c4=0。根據(jù)末態(tài)條件，可得,根據(jù)哈密爾頓函數(shù)沿最優(yōu)軌線的變化率得 將u (tf)，x1(tf) 和x2(tf)代入上式可得 c1-(c2-c1tf)2=0。 綜合以上方程，可以得出,因此，最優(yōu)控制為 經(jīng)檢驗在0,tf區(qū)間上，滿足u (tf) 1, ，因此選擇正確，則最優(yōu)軌線為 最優(yōu)性能指標為,4.3 線性二次型問題的最優(yōu)控制,4.3.1 線性二次型問題 4.3.2 有限時間時變狀態(tài)調(diào)節(jié)器 4.3.3 無限時間定常狀態(tài)調(diào)節(jié)器 4.3.4 有限時間時變輸出調(diào)節(jié)器 4.3.5 無限時間定常輸出調(diào)節(jié)器 4.3.6 有限時間時變輸出跟蹤系統(tǒng) 4.3.7 無限時間定常輸出跟蹤系統(tǒng),4.3.1 線性二次

22、型問題 設線性時變系統(tǒng) 性能指標為 其中u(t)無約束，輸出誤差向量 e(t)= z(t) - y(t), z(t)為理想輸出，f(t),q(t)非負定，r(t)正定，t0, tf固定，確定最優(yōu)控制u*(t),使得性能指標極小。,(21),在二次型性能指標中，其各項都有明確的物理含義，即 末值項 ，若取 末值項的物理含義表示在控制結束后，對系統(tǒng)末態(tài)跟蹤誤差的要求。 2) 積分項 ，若取,該項表示系統(tǒng)在控制過程中的動態(tài)誤差跟蹤的大小。 積分項 ，若 則 該項表示在控制過程中所消耗的能量。 線性二次型最優(yōu)控制問題的類型： 狀態(tài)調(diào)節(jié)器問題 如果c(t)=i, z(t)=0，則e(t)=-y(t)=-

23、x(t), 并且性能指標為,最優(yōu)控制問題為：當系統(tǒng)受擾動偏離原零平衡狀態(tài)時，要求產(chǎn)生一控制向量，使得系統(tǒng)狀態(tài)恢復到原平衡狀態(tài)附近，并使上面的性能指標極小，稱為狀態(tài)調(diào)節(jié)器問題。 (2) 輸出調(diào)節(jié)器問題 如果z(t)=0，則e(t)=-y(t)， 并且性能指標為,(22),(23),最優(yōu)控制問題為：當系統(tǒng)受擾動偏離原輸出平衡狀態(tài)時， 要求產(chǎn)生一控制向量，使得系統(tǒng)輸出保持在原平衡狀態(tài) 附近，并使上面的性能指標極小，稱為輸出調(diào)節(jié)器問題。 輸出跟蹤系統(tǒng)問題 若c(t)i, z(t) 0，則 最優(yōu)控制問題為：當理想輸入作用于系統(tǒng)時，要求產(chǎn)生一控制向量，使得系統(tǒng)實際輸出向量始終跟蹤理想輸入的變化 ，并使性能

24、指標(21) 極小，稱為輸出跟蹤系統(tǒng)問題。,4.3.2 有限時間時變狀態(tài)調(diào)節(jié)器 設線性時變系統(tǒng) 其中u(t)無約束，f(t),q(t)非負定，r(t)正定，t0,tf固定，末端狀態(tài)x(tf)自由，確定最優(yōu)控制u*(t)使得性能指標(22)極小. (1) 最優(yōu)解得充要條件 定理 對于上述問題，其最優(yōu)控制的充要條件是 最優(yōu)性能指標為,(24),(25),其中p(t)為nn對稱非負矩陣，滿足下列riccati方程 邊界條件為 p(tf) = f 將最優(yōu)控制代入系統(tǒng)方程，可知最優(yōu)軌線應滿足 證明：必要性：若u*(t)為最優(yōu)控制，可以證明(24)成立。因為u*(t)是最優(yōu)控制，所以滿足極小值原理，構造,

25、(26),由極值條件可得 由正則方程可知 因為末態(tài)自由，所以橫截條件為 假設,(27),(28),則 將系統(tǒng)方程代入，可得 再將(28)代入(27)可得 比較上面兩個式子，可知riccati方程成立。在(28)中，令t=tf, 可得出 p(tf) = f。將(28)代入u*(t)可得到最優(yōu)控制律的表達式(24)成立，進而得到最優(yōu)軌線x(t)。 充分性：若表達式(24)成立，可證明u*(t)比為最優(yōu)控制。,(2) riccati方程的性質,p(t)是唯一的； p(t)是對稱的； p(t)是非負的；,(3) 最優(yōu)控制解的存在與唯一性,4.3.3 無限時間定常狀態(tài)調(diào)節(jié)器 (1) 問題的描述 設線性定

26、常系統(tǒng) 其中u(t)無約束，要求確定最優(yōu)控制u*(t)使得性能指標 極小.,(2) 最優(yōu)解的結果 定理 在上述問題中，若對于任意矩陣d,有ddt=q,且 是riccati方程 的解，則矩陣對a,d完全可觀的充要條件是 為對稱正定矩陣。 定理 若矩陣對a,b完全可控， a,d完全可觀，其中ddt=q,且d任意，則存在唯一的最優(yōu)控制,最優(yōu)性能指標為 其中， 為riccati方程 的唯一解。 最優(yōu)閉環(huán)系統(tǒng)的漸進穩(wěn)定性 定理 由上面得到的閉環(huán)系統(tǒng) 是漸進穩(wěn)定的。,對以上結論的說明,對可控性的要求是防止不可控不穩(wěn)定模態(tài)包含于性能指標中，會使j，從而最優(yōu)解不存在； a,d可觀是為了保證最優(yōu)閉環(huán)系統(tǒng)漸進穩(wěn)定

27、。系統(tǒng)可控假設和f=0意味著當tf 時， 為正定矩陣； 對于無限時間調(diào)節(jié)器，一般要求tf 時，x(tf)=0，即穩(wěn)態(tài)誤差為零，因此性能指標中不必加入終態(tài)性能指標。,解：本題中 可控性與 可觀性檢測 可知u*(t)存在，解riccati方程,可得 最優(yōu)解為 最后，檢驗閉環(huán)系統(tǒng)的穩(wěn)定性，將最優(yōu)控制代入狀態(tài)方程，通過計算可知閉環(huán)系統(tǒng)確實是漸進穩(wěn)定的。,4.3.4 有限時間時變輸出調(diào)節(jié)器 定理： 設線性時變系統(tǒng)方程為 性能指標為(23),其中u(t)無約束，tf固定，則存在使j=min的唯一最優(yōu)控制 最優(yōu)性能指標為,最優(yōu)軌線滿足 p(t)滿足 在邊界條件上 的唯一解。 證明：將y(t)=c(t)x(t

28、)代入性能指標中，就可以將問題化為 有限時間時變狀態(tài)調(diào)節(jié)器問題，即可證得結論。,定理說明：,有限時間時變輸出調(diào)節(jié)器的最優(yōu)解與有限時間時變狀態(tài)調(diào)節(jié)器的最優(yōu)解具有相同的最優(yōu)控制和最優(yōu)性能指標表達式，僅在riccati方程及其邊界條件的形式上有微小差別。 最優(yōu)輸出調(diào)節(jié)器的最優(yōu)控制函數(shù)不是輸出的函數(shù)，仍是狀態(tài)的現(xiàn)行函數(shù)，所以，構成最優(yōu)控制系統(tǒng)需要全部狀態(tài)信息反饋。,4.3.5 無限時間定常輸出調(diào)節(jié)器 定理： 設線性定常系統(tǒng)方程為 性能指標為 u(t)無約束，若矩陣對a,b完全可控，a,d完全可觀，其中ddt=ctqc,則存在使j=min的唯一最優(yōu)控制,(29),最優(yōu)性能指標為 式中 為對稱正定矩陣，滿

29、足如下riccati方程 最優(yōu)閉環(huán)系統(tǒng) 漸進穩(wěn)定，其解為最優(yōu)軌線x*(t)。 證明：將y(t)= c(t)x(t)代入性能指標(29)可得 其中q1=ctqc . 因為q0 必有q1 0，令 q1 =ddt ,由無限時間定常狀態(tài)調(diào)節(jié)器定理可得本結論。,由已知可得到 檢驗系統(tǒng)的可控與可觀性,可知滿足可控與可觀性的要求，利用riccati方程求出 得到最優(yōu)控制 將最優(yōu)控制代入系統(tǒng)方程，檢驗閉環(huán)系統(tǒng)的穩(wěn)定性，經(jīng)檢驗閉環(huán)系統(tǒng)確實是漸進穩(wěn)定的。,4.3.6 有限時間時變輸出跟蹤系統(tǒng) 定理： 設線性定常系統(tǒng)方程為 性能指標為 u(t)無約束，則存在使j=min的最優(yōu)控制為 其中p(t)為對稱非負實矩陣，滿

30、足,及邊界條件 的唯一解。g(t)為伴隨狀態(tài)向量，滿足方程 及邊界條件 閉環(huán)最優(yōu)跟蹤系統(tǒng),在初始條件下的最優(yōu)軌線為x*(t)。 證明：利用極小值原理進行證明，構造哈密爾頓函數(shù) 由極值條件，在u(t)不受約束時，有 則,由正則方程可知 橫截條件 假設 式中p(t),g(t)待定。對上式求導可得,(30),(31),(32),(33),(34),將(33)代入(30)，再將得到的 代入(34)，可得 再將(33)代入(31)可得 比較上面兩個式子可得到 因為上式對任何狀態(tài)x(t)和任何理想輸出z(t)都成立，故等式兩端對應項相等，可得到p(t)和g(t)滿足的微分方程。,在(33)中，令t=tf,

31、 與(32)比較，可得結論中的邊界條件。因為p(t)與g(t)均可解，所以將(33)代入u*(t)可得到最優(yōu)控制表達式，再將最優(yōu)控制代入狀態(tài)方程中可得到最優(yōu)軌線x*(t).,4.3.7 無限時間定常輸出跟蹤系統(tǒng) 定理： 設線性定常系統(tǒng)方程為 性能指標為,e(t)為輸出誤差向量，并且e(t)= .若矩陣對a,b可控，a,c可觀，則使性能指標j極小的近似最優(yōu)控制為 式中 為對稱正定常陣，滿足 常值伴隨向量為 將最優(yōu)控制代入系統(tǒng)方程，得到相應的閉環(huán)系統(tǒng)的解為最優(yōu)軌線x*(t).,解：由條件可知 性能指標可表示為 則 因此，可控可觀。,解riccati方程，得 求伴隨向量 確定近似最優(yōu)控制 將最優(yōu)控制

32、律代入系統(tǒng)方程，得到閉環(huán)系統(tǒng)方程，然后判斷是否穩(wěn)定，通過計算閉環(huán)系統(tǒng)確實是漸進穩(wěn)定的。,4.4 動態(tài)規(guī)劃,4.4.1 最優(yōu)性原理 4.4.2 離散動態(tài)規(guī)劃 4.4.3 連續(xù)動態(tài)規(guī)劃,返回主目錄,動態(tài)規(guī)劃法與極小值原理一樣，是處理控制變量受約束時，確定最優(yōu)控制解的有效數(shù)學方法。,4.4.1 多級決策問題,最優(yōu)性原理 離散系統(tǒng)最優(yōu)性原理：不論初始狀態(tài)和初始決策如何，當把其中任何一級和狀態(tài)再作為初始級和初始狀態(tài)時，其余決策對此必定也是一個最優(yōu)策略。 連續(xù)系統(tǒng)最優(yōu)性原理：若對于初始時刻t0和初始狀態(tài)x(0), u*(t)、x*(t)是所討論系統(tǒng)的最優(yōu)控制和最優(yōu)軌線，則對于時刻t1(t1t0)和相應狀態(tài)

33、x(t1), u*(t)、x*(t)仍是該系統(tǒng)的最優(yōu)控制和最優(yōu)軌線。,(2) 動態(tài)規(guī)劃的基本遞推方程 問題：設n級決策過程的動態(tài)方程為 式中，控制決策約束u(k) , k=0,1,2,n-1；代價函數(shù)(性能指標)為 假設f(.)和l(.)連續(xù)，l(.)正有界。求最優(yōu)控制序列u(0),u(1),u(n-1),使代價函數(shù)極小。,(35),說明：上述問題中，k表示n級決策過程中的階段變量，x(k)表示第k+1級的初始狀態(tài)，u(k)表示第k+1級采用的控制向量。問題中的假設是為了保證最優(yōu)控制序列的存在。 設有n-k級決策過程,式中，j=k,n-1,u=u(k),u(n-1). 則始自第k級任一容許狀態(tài)

34、x(k)的最小代價為 上式中右端第一項是第k級所付出的代價；第二項是從第k+1級到第n級的代價和。因此式中求極小的運算分,為兩部分：在本級決策u(k)作用下求極小，以及在剩余決 策序列u(k+1),u(n-1)作用下求極小，則上式變?yōu)?(36),根據(jù)最優(yōu)性原理，如下關系成立 將上式代入(36)得到動態(tài)規(guī)劃基本遞推方程 利用上式求解最優(yōu)控制序列時，從過程的最后一項開始， 逐級逆向遞推：首先令k=n-1則由式(37)可得到,(37),式中j*xn,n表示代價函數(shù)中的末項值。對于(35)問題， 代價函數(shù)中無末值項， j*xn,n=0,故式(38)為單級最優(yōu) 決策問題。 令k=n-2，則由式(37)可

35、得到 式中j*x(n-1),n-1已由式(38)確定，因此上式也是一個單級 最優(yōu)決策問題。,(38),根據(jù)(37)逆向逐級遞推，最后可以得到j*x(0),0.最后一步 的遞推解及最優(yōu)策略正是我們要求的最優(yōu)解。,式中的狀態(tài)及控制均不受約束。求最優(yōu)控制序列u*(0), u*(1),u*(2)，使代價函數(shù)極小。,解：本題屬于n=3級最優(yōu)決策問題。根據(jù)遞推方程(37) 令k=2 根據(jù)代價函數(shù)的末值項及系統(tǒng)方程，有 所以 因為u(k)無約束，令 可得,令k=1 可得,令k=0 可得,代入已知的x(0)，按正向順序求出 因此最優(yōu)控制、最優(yōu)軌線及最優(yōu)代價為,采用離散動態(tài)規(guī)劃方法，可以方便地求出控制與狀態(tài)變量均有約束時離散系統(tǒng)的最優(yōu)控制問題。 離散最優(yōu)控制問題的動態(tài)規(guī)劃解 設非線性離散系統(tǒng)的狀態(tài)差分方程為 其中，k=0,1,n-1. 代價函數(shù)為 求最優(yōu)控制序列u*(k),使代價函數(shù)最小。,4.4.2 離散動態(tài)規(guī)劃,(39),根據(jù)動態(tài)規(guī)劃的基本遞推方程，分以下步驟進行求解： 求第