動態(tài)規(guī)劃原理與最優(yōu)控制.ppt

1,第 7 章 動態(tài)規(guī)劃在最優(yōu)控制中的應(yīng)用,2,動態(tài)規(guī)劃 求解最優(yōu)控制問題的有效方法之一 二十世紀(jì)五十年代由 Bellman 提出 動態(tài)規(guī)劃與極小值原理在數(shù)學(xué)上是等效的 從不同的角度發(fā)展了古典變分學(xué),3,最優(yōu)性原理 多級決策過程的最優(yōu)策略具有這種性質(zhì)。不論初始狀態(tài)和初始決策為何，其余的決策對于由初始決策所形成的狀態(tài)來說，必定也是一個最優(yōu)策略。,主要內(nèi)容,離散動態(tài)規(guī)劃 離散動態(tài)規(guī)劃在離散系統(tǒng)最優(yōu)控制中的應(yīng)用 連續(xù)動態(tài)規(guī)劃在連續(xù)系統(tǒng)最優(yōu)控制中的應(yīng)用,5,7.1 離散動態(tài)規(guī)劃,最優(yōu)性原理 動態(tài)規(guī)劃的基礎(chǔ) 若一個 N 級決策系統(tǒng)是最優(yōu)的,則以第 k 級（ ）決策所形成的狀態(tài)作為初態(tài)的任何一個 N - K 級子決策也必然是最優(yōu)的。,6,根據(jù)最優(yōu)性原理 確定了一個從后向前的遞推過程 基于最優(yōu)性原理的動態(tài)規(guī)劃方法 成為解決最優(yōu)控制問題的有力工具,7,動態(tài)規(guī)劃原理,求從S F 點(diǎn)路程最短的方法,8,枚舉法,S X1(1) X1(2) X1(3) F 4+6+1+4=15 S X1(1) X2(2) X1(3) F 4+6+2+4=16 S X1(1) X2(2) X2(3) F 4+6+2+3=15 S X1(1) X1(2) X2(3) F 4+6+1+3=14 S X2(1) X1(2) X1(3) F 5+4+1+4=14 S X2(1) X1(2) X2(3) F 5+4+1+3=13 S X2(1) X2(2) X1(3) F 5+7+2+4=18 S X2(1) X2(2) X2(3) F 5+7+2+3=17,9,可能解數(shù)量為 2(n-1) n = 4, 為 23 = 8 種. 加法次數(shù)為：(n-1)* 2(n-1) n = 4, 為 (4-1) * 23 = 24 次. 若n = 10, 則可能解數(shù)為： 2(10-1) = 29 = 512 種. 加法 (10-1) * 29 = 9 * 29 = 9 * 512 = 4608 次.,10,動態(tài)規(guī)劃法,從最后一級開始： J X1(3) =4 J X2(3) =3 ,J*X1(3) =4 ,J *X2(3) =3 倒數(shù)第二級： 路線 X1(2) X1(3) F J =1+J* X1(3) = 5 X1(2) X2(3) F J* =1+J*X2(3) =4 X2(2) X1(3) F J =2+J*X1(3) = 6 X2(2) X2(3) F J * =2+J*X2(3) = 5 J*X1(2) = 4, J*X2(2) = 5,11,倒數(shù)第三級 路線 X1(1) X1(2) F J * = 6 + 4 = 10 X1(1) X2(2) F J = 6 + 5 = 11 X2 (1) X1(2) F J* = 4 + 4 = 8 X2(1) X2(2) F J = 7 + 5 = 12 J * X1(1) = 10 , J *X2(1) = 8,12,第一級 路線 S X1(1) F J = 4 + 10 = 14 S X2(1) F J* = 5 + 8 = 13 即 J * S = 13,13,最優(yōu)決策為 S X2(1) X1(2) X2(3) F J* S = 13 加法次數(shù): 4 * (n-2) + 2 次 n = 4時， 4 * (4-2) + 2 = 10 次,14,各個狀態(tài)到終點(diǎn)的最短距離,J*S = 13 J*X1(1) = 10 J*X2(1) = 8 J*X1(2) = 4 J*X2(2) = 5 J*X1(3) =4 J *X2(3) =3,15,16,設(shè)離散系統(tǒng)的狀態(tài)方程為 x n 維狀態(tài)向量，u m 維控制向量 始端 和終端 固定,7.2 離散動態(tài)規(guī)劃在離散系統(tǒng)最優(yōu)控制中的應(yīng)用,17,求最優(yōu)控制序列 使目標(biāo)泛函 取極小值,18,動態(tài)規(guī)劃的目的 使 J 最小 即 將以 為初態(tài)的 N-j(=k) 級最優(yōu)決策,19,根據(jù)最優(yōu)性定理 如果 N 級決策是最優(yōu)的 則以在前 j 1 決策上形成的 為初態(tài)的 N j 級決策是最優(yōu)決策 從這點(diǎn)出發(fā)，形成了逆向遞推的最優(yōu)化方法，這種方法被稱為動態(tài)規(guī)劃,20,根據(jù)最優(yōu)性定理 利用動態(tài)規(guī)劃方法形成遞推公式 當(dāng)終端固定時 直接利用遞推公式求解最優(yōu)控制問題,21,22,令：,23,24,例 1 設(shè)離散系統(tǒng)的狀態(tài)方程為 已知 求最優(yōu)控制 u 使目標(biāo)泛函為 最小,25,解：由遞推公式,K=3時,26,上述最優(yōu)化問題的解為,最優(yōu)目標(biāo)函數(shù)為,K=2時,27,K=1時,求解可得,最優(yōu)目標(biāo)函數(shù)為,28,K=0時,求解可得,最優(yōu)目標(biāo)函數(shù)為,29,求解的結(jié)果,30,31,7.3 連續(xù)動態(tài)規(guī)劃 在連續(xù)系統(tǒng)最優(yōu)控制中的應(yīng)用,動態(tài)規(guī)劃 可用于連續(xù)系統(tǒng)的優(yōu)化問題 對于連續(xù)系統(tǒng) 根據(jù)最優(yōu)性原理 可得到 Hamilton-Jacobi 方程,32,對于連續(xù)系統(tǒng) x n 維狀態(tài)向量，u m 維控制向量 且容許控制 u 在 m 維歐氏空間 的某一給定域 中取值即,33,已知始端固定 即 求最優(yōu)控制 使目標(biāo)泛函 取極小值,（3）,34,由最優(yōu)性原理推導(dǎo)出極大值原理 定義 式中 而x(s)是在區(qū)間 上和最優(yōu)控制函數(shù)有關(guān)的軌線，其中 ，且 給定。,（4）,（5）,35,顯然 所有 都滿足 假設(shè) V 存在，連續(xù) 并且具有連續(xù)的一階和二階偏導(dǎo)數(shù),（6）,36,推導(dǎo)動態(tài)規(guī)劃的Hamilton-Jacobi方程,（7）,37,（8）,38,等式兩邊消去 ，得 上式稱為Hamilton-Jacobi方程 或者稱為 Hamilton-Jacobi-Bellman方程,（9）,39,對于所給最優(yōu)控制問題，重復(fù)以上討論，導(dǎo)致 由此，對于所有 ，u必須滿足,（10）,（11）,（12）,40,上式說明，Lagrange乘子向量（或協(xié)態(tài)向量）是最小目標(biāo)函數(shù)在最優(yōu)軌線上的梯度。 從（9）、（10）式可以看出 即在最優(yōu)軌線上應(yīng)使Hamilton函數(shù)H為全局最小，這正是龐特里亞金的極大值原理。,41,例 1 考慮線性定常系統(tǒng) 式中 假定任何的 都是容許控制 要求找到作為 的函數(shù) ，使得,42,解： 即,43,這樣,44,因?yàn)?時不變 且最優(yōu)化是針對一個無限持續(xù)的過程 只依賴于初始狀態(tài) 即,45,由于 故 Hamilton Jacobi 方程變成,46,假設(shè)一個解 則 - 對稱矩陣,47,則Hamilton-Jacobi方程變成 P必須滿足的代數(shù)方程,48,