最優(yōu)控制理論課件.ppt

2020年2月9日星期日 現(xiàn)代控制理論 1 2020年2月9日星期日 2 最優(yōu)控制理論 東北大學信息科學與工程學院井元偉教授 二 九年十一月 2020年2月9日星期日 3 第2章求解最優(yōu)控制的變分方法 第3章最大值原理 第4章動態(tài)規(guī)劃 第5章線性二次型性能指標的最優(yōu)控制 第6章快速控制系統(tǒng) 第1章最優(yōu)控制問題 最優(yōu)控制理論現(xiàn)代控制理論的重要組成部分20世紀50年代發(fā)展形成系統(tǒng)的理論研究的對象控制系統(tǒng)中心問題給定一個控制系統(tǒng) 選擇控制規(guī)律 使系統(tǒng)在某種意義上是最優(yōu)的統(tǒng)一的 嚴格的數(shù)學方法最優(yōu)控制問題研究者的課題 工程師們設計控制系統(tǒng)時的目標最優(yōu)控制能在各個領域中得到應用 效益顯著 1 1兩個例子1 2問題描述 第1章最優(yōu)控制問題 1 1兩個例子 例1 1飛船軟著陸問題 2020年2月9日星期日 現(xiàn)代控制理論 7 1 1兩個例子 例1 1飛船軟著陸問題 m飛船的質量h高度v垂直速度g月球重力加速度常數(shù)M飛船自身質量F燃料的質量 軟著陸過程開始時刻t為零 K為常數(shù) 2020年2月9日星期日 現(xiàn)代控制理論 8 1 1兩個例子 例1 1飛船軟著陸問題 m飛船的質量h高度v垂直速度g月球重力加速度常數(shù)M飛船自身質量F燃料的質量 軟著陸過程開始時刻t為零 K為常數(shù) 2020年2月9日星期日 現(xiàn)代控制理論 9 1 1兩個例子 例1 1飛船軟著陸問題 m飛船的質量h高度v垂直速度g月球重力加速度常數(shù)M飛船自身質量F燃料的質量 軟著陸過程開始時刻t為零 K為常數(shù) 初始狀態(tài) 2020年2月9日星期日 現(xiàn)代控制理論 10 1 1兩個例子 例1 1飛船軟著陸問題 m飛船的質量h高度v垂直速度g月球重力加速度常數(shù)M飛船自身質量F燃料的質量 軟著陸過程開始時刻t為零 K為常數(shù) 初始狀態(tài) 終點條件 2020年2月9日星期日 現(xiàn)代控制理論 11 1 1兩個例子 例1 1飛船軟著陸問題 m飛船的質量h高度v垂直速度g月球重力加速度常數(shù)M飛船自身質量F燃料的質量 軟著陸過程開始時刻t為零 K為常數(shù) 初始狀態(tài) 終點條件 控制目標 2020年2月9日星期日 現(xiàn)代控制理論 12 1 1兩個例子 例1 1飛船軟著陸問題 m飛船的質量h高度v垂直速度g月球重力加速度常數(shù)M飛船自身質量F燃料的質量 軟著陸過程開始時刻t為零 K為常數(shù) 初始狀態(tài) 終點條件 控制目標 推力方案 2020年2月9日星期日 現(xiàn)代控制理論 13 例1 2導彈發(fā)射問題 例1 2導彈發(fā)射問題 2020年2月9日星期日 現(xiàn)代控制理論 15 例1 2導彈發(fā)射問題 2020年2月9日星期日 現(xiàn)代控制理論 16 例1 2導彈發(fā)射問題 初始條件 2020年2月9日星期日 現(xiàn)代控制理論 17 例1 2導彈發(fā)射問題 初始條件 末端約束 2020年2月9日星期日 現(xiàn)代控制理論 18 例1 2導彈發(fā)射問題 初始條件 末端約束 指標 2020年2月9日星期日 現(xiàn)代控制理論 19 例1 2導彈發(fā)射問題 初始條件 末端約束 指標 控制 1 2問題描述 1 狀態(tài)方程一般形式為 2020年2月9日星期日 現(xiàn)代控制理論 21 1 2問題描述 1 狀態(tài)方程一般形式為 2020年2月9日星期日 現(xiàn)代控制理論 22 1 2問題描述 1 狀態(tài)方程一般形式為 為n維狀態(tài)向量 2020年2月9日星期日 現(xiàn)代控制理論 23 1 2問題描述 1 狀態(tài)方程一般形式為 為n維狀態(tài)向量 為r維控制向量 2020年2月9日星期日 現(xiàn)代控制理論 24 1 2問題描述 1 狀態(tài)方程一般形式為 為n維狀態(tài)向量 為r維控制向量 為n維向量函數(shù) 2020年2月9日星期日 現(xiàn)代控制理論 25 1 2問題描述 1 狀態(tài)方程一般形式為 為n維狀態(tài)向量 為r維控制向量 為n維向量函數(shù) 給定控制規(guī)律 2020年2月9日星期日 現(xiàn)代控制理論 26 1 2問題描述 1 狀態(tài)方程一般形式為 為n維狀態(tài)向量 為r維控制向量 為n維向量函數(shù) 給定控制規(guī)律 滿足一定條件時 方程有唯一解 2 容許控制 2020年2月9日星期日 現(xiàn)代控制理論 28 2 容許控制 2020年2月9日星期日 現(xiàn)代控制理論 29 2 容許控制 2020年2月9日星期日 現(xiàn)代控制理論 30 2 容許控制 有時控制域可為超方體 2020年2月9日星期日 現(xiàn)代控制理論 31 2 容許控制 有時控制域可為超方體 3 目標集 2020年2月9日星期日 現(xiàn)代控制理論 33 3 目標集 2020年2月9日星期日 現(xiàn)代控制理論 34 3 目標集 n維向量函數(shù) 2020年2月9日星期日 現(xiàn)代控制理論 35 3 目標集 固定端問題 n維向量函數(shù) 2020年2月9日星期日 現(xiàn)代控制理論 36 3 目標集 固定端問題 自由端問題 n維向量函數(shù) 4 性能指標 2020年2月9日星期日 現(xiàn)代控制理論 38 4 性能指標 2020年2月9日星期日 現(xiàn)代控制理論 39 4 性能指標 對狀態(tài) 控制以及終點狀態(tài)的要求 復合型性能指標 2020年2月9日星期日 現(xiàn)代控制理論 40 4 性能指標 對狀態(tài) 控制以及終點狀態(tài)的要求 復合型性能指標 2020年2月9日星期日 現(xiàn)代控制理論 41 4 性能指標 對狀態(tài) 控制以及終點狀態(tài)的要求 復合型性能指標 積分型性能指標 表示對整個狀態(tài)和控制過程的要求 2020年2月9日星期日 現(xiàn)代控制理論 42 4 性能指標 對狀態(tài) 控制以及終點狀態(tài)的要求 復合型性能指標 積分型性能指標 表示對整個狀態(tài)和控制過程的要求 2020年2月9日星期日 現(xiàn)代控制理論 43 4 性能指標 對狀態(tài) 控制以及終點狀態(tài)的要求 復合型性能指標 積分型性能指標 表示對整個狀態(tài)和控制過程的要求 終點型指標 表示僅對終點狀態(tài)的要求 2 1泛函與變分法基礎2 2歐拉方程2 3橫截條件2 4含有多個未知函數(shù)泛函的極值2 5條件極值2 6最優(yōu)控制問題的變分解法 第2章求解最優(yōu)控制的變分方法 求解最優(yōu)控制的變分方法 2 1泛函與變分法基礎 平面上兩點連線的長度問題 2020年2月9日星期日 現(xiàn)代控制理論 46 求解最優(yōu)控制的變分方法 2 1泛函與變分法基礎 平面上兩點連線的長度問題 2020年2月9日星期日 現(xiàn)代控制理論 47 求解最優(yōu)控制的變分方法 2 1泛函與變分法基礎 平面上兩點連線的長度問題 一般來說 曲線不同 弧長就不同 即弧長依賴于曲線 記為 2020年2月9日星期日 現(xiàn)代控制理論 48 求解最優(yōu)控制的變分方法 2 1泛函與變分法基礎 平面上兩點連線的長度問題 一般來說 曲線不同 弧長就不同 即弧長依賴于曲線 記為 稱為泛函 稱為泛函的宗量 泛函與函數(shù)的幾何解釋 2020年2月9日星期日 現(xiàn)代控制理論 50 泛函與函數(shù)的幾何解釋 2020年2月9日星期日 現(xiàn)代控制理論 51 泛函與函數(shù)的幾何解釋 宗量的變分 2020年2月9日星期日 現(xiàn)代控制理論 52 泛函與函數(shù)的幾何解釋 宗量的變分 泛函的增量 2020年2月9日星期日 現(xiàn)代控制理論 53 泛函與函數(shù)的幾何解釋 宗量的變分 泛函的增量 泛函的變分 2020年2月9日星期日 現(xiàn)代控制理論 54 泛函與函數(shù)的幾何解釋 連續(xù)泛函宗量的變分趨于無窮小時 泛函的變分也趨于無窮小線性泛函泛函對宗量是線性的 宗量的變分 泛函的增量 泛函的變分 求解最優(yōu)控制的變分方法 定理2 2若泛函 有極值 則必有 上述方法與結論對多個未知函數(shù)的泛數(shù)同樣適用 2 6最優(yōu)控制問題的變分解法 2 6 4終值時間自由的問題 2 6 3末端受限問題 2 6 2固定端問題 2 6 1自由端問題 2 6 1自由端問題 約束方程 新的泛函 令 有 哈米頓函數(shù) 進行變分 令 有 伴隨方程 必要條件 例2 5 哈米頓函數(shù) 伴隨方程 邊界條件 必要條件 最優(yōu)控制 代入狀態(tài)方程并求解 令 2 6 2固定端問題 性能指標 分部積分 進行變分 令變分為零 邊界條件 指標泛函 例2 6考慮如下系統(tǒng)的終端固定的最優(yōu)控制問題 求取最優(yōu)控制和最優(yōu)狀態(tài)曲線 使指標泛函J取得極小值 系統(tǒng)的狀態(tài)方程 2020年2月9日星期日 現(xiàn)代控制理論 63 哈米頓函數(shù) 伴隨方程 由狀態(tài)方程 代入初始和終端條件 可求得 2020年2月9日星期日 現(xiàn)代控制理論 64 4 考慮如下系統(tǒng)的終端固定的最優(yōu)控制問題 求取最優(yōu)控制和最優(yōu)狀態(tài)曲線 使指標泛函J取得極小值 系統(tǒng)的狀態(tài)方程為 其邊界條件為 其指標泛函為 2020年2月9日星期日 現(xiàn)代控制理論 65 哈米頓函數(shù) 伴隨方程 2020年2月9日星期日 現(xiàn)代控制理論 66 2 6 3末端受限問題 新的泛函 變分 必要條件 2 6 4終值時間自由的問題 T有時是可變的 是指標泛函 選控制使有T極小值 變分 必要條件 例2 7 指標泛函 哈米頓函數(shù) 伴隨方程 必要條件 3 1古典變分法的局限性3 2最大值原理3 3變分法與極大值原理 第3章最大值原理 3 1古典變分法的局限性 u t 受限的例子 例3 1 伴隨方程 極值必要條件 矛盾 3 2最大值原理 定理3 1 最小值原理 設為容許控制 為對應的積分軌線 為使為最優(yōu)控制 為最優(yōu)軌線 必存在一向量函數(shù) 使得和滿足正則方程 且 最小值原理只是最優(yōu)控制所滿足的必要條件 但對于線性系統(tǒng) 最小值原理也是使泛函取最小值得充分條件 例3 2重解例3 1 哈密頓函數(shù) 伴隨方程 由極值必要條件 知 又 于是有 協(xié)態(tài)變量與控制變量的關系圖 例3 3 性能指標泛函 哈密頓函數(shù) 伴隨方程 上有 協(xié)態(tài)變量與控制變量的關系圖 整個最優(yōu)軌線 例3 4 把系統(tǒng)狀態(tài)在終點時刻轉移到 性能指標泛函 終點時刻是不固定的 哈米頓函數(shù) 伴隨方程 H是u的二次拋物線函數(shù) u在上一定使H有最小值 可能在內部 也可能在邊界上 最優(yōu)控制可能且只能取三個值 此二者都不能使狀態(tài)變量同時滿足初始條件和終點條件 最優(yōu)控制 最優(yōu)軌線 最優(yōu)性能指標 例3 5 使系統(tǒng)以最短時間從給定初態(tài)轉移到零態(tài) 哈米頓函數(shù) 伴隨方程 最優(yōu)控制切換及最優(yōu)軌線示意圖 3 3古典變分法與最小值原理 古典變分法適用的范圍是對u無約束 而最小值原理一般都適用 特別當u不受約束時 條件 就等價于條件 4 1多級決策過程與最優(yōu)性原理4 2離散系統(tǒng)動態(tài)規(guī)劃4 3連續(xù)系統(tǒng)動態(tài)規(guī)劃4 4動態(tài)規(guī)劃與最大值原理的關系 第4章動態(tài)規(guī)劃 動態(tài)規(guī)劃是求解最優(yōu)控制的又一種方法 特別對離散型控制系統(tǒng)更為有效 而且得出的是綜合控制函數(shù) 這種方法來源于多決策過程 并由貝爾曼首先提出 故稱貝爾曼動態(tài)規(guī)劃 4 1多級決策過程與最優(yōu)性原理 作為例子 首先分析最優(yōu)路徑問題 a b c 試分析 a b 和 c 三種情況的最優(yōu)路徑 即從走到所需時間最少 規(guī)定沿水平方向只能前進不能后退 a 中只有兩條路徑 從起點開始 一旦選定路線 就直達終點 選最優(yōu)路徑就是從兩條中選一條 使路程所用時間最少 這很容易辦到 只稍加計算 便可知道 上面一條所需時間最少 b 共有6條路徑可到達終點 若仍用上面方法 需計算6次 將每條路線所需時間求出 然后比較 找出一條時間最短的路程 c 需計算20次 因為這時有20條路徑 由此可見 計算量顯著增大了 逆向分級計算法 逆向是指計算從后面開始 分級是指逐級計算 逆向分級就是從后向前逐級計算 以 c 為例 從倒數(shù)第一級開始 狀態(tài)有兩個 分別為 和 在 處 只有一條路到達終點 其時間是 在 處 也只有一條 時間為1 后一條時間最短 將此時間相應地標在點上 并將此點到終點的最優(yōu)路徑畫上箭頭 然后再考慮第二級 只有一種選擇 到終點所需時間是 有兩條路 比較后選出時間最少的一條 即4 1 5 用箭頭標出 也標出最優(yōu)路徑和時間 依此類推 最后計算初始位置 求得最優(yōu)路徑 最短時間為13 最優(yōu)路徑示意圖 2020年2月9日星期日 現(xiàn)代控制理論 94 5 利用逆向分級計算法求解如下的最優(yōu)路徑問題 從倒數(shù)第一級開始 狀態(tài)有兩個 分別為 和 在 處 只有一條路到達終點 其時間是 在 處 也只有一條 時間為3 后一條時間最短 將此時間相應地標在點上 并將此點到終點的最優(yōu)路徑畫上箭頭 2020年2月9日星期日 現(xiàn)代控制理論 95 然后再考慮第二級 亦即倒數(shù)第二級 只有一種選擇 到終點所需時間是 有兩條路 比較后選出時間最少的一條 即2 4 6 用箭頭標出 也標出最優(yōu)路徑和時間3 3 6 2020年2月9日星期日 現(xiàn)代控制理論 96 然后再考慮第一級 亦即倒數(shù)第三級 有兩種選擇 到終點所需時間是分別是 保留前者 有兩條路 比較后選出時間最少的一條 即2 2 4 8和2 3 3 8 用箭頭標出 2020年2月9日星期日 現(xiàn)代控制理論 97 最后再考慮第一級 亦即倒數(shù)第四級 有兩種選擇 到終點所需時間是分別是 或2 2 3 3 10 于是 最短路經(jīng)有3條 時間為10 求得最優(yōu)路徑 多級過程 多級決策過程 目標函數(shù) 控制目的 選擇決策序列 使目標函數(shù)取最小值或最大值 實際上就是離散狀態(tài)的最優(yōu)控制問題 最優(yōu)性原理 在一個多級決策問題中的最優(yōu)決策具有這樣的性質 不管初始級 初始狀態(tài)和初始決策是什么 當把其中任何一級和狀態(tài)做為初始級和初始狀態(tài)時 余下的決策對此仍是最優(yōu)決策 指標函數(shù)多是各級指標之和 即具有可加性 最優(yōu)性原理的數(shù)學表達式 4 2離散系統(tǒng)動態(tài)規(guī)劃 階離散系統(tǒng) 性能指標 求決策向量 使有最小值 或最大值 其終點可自由 也可固定或受約束 引進記號 應用最優(yōu)性原理 可建立如下遞推公式 貝爾曼動態(tài)規(guī)劃方程 例4 2設一階離散系統(tǒng) 狀態(tài)方程和初始條件為 性能指標 求使有最小值的最優(yōu)決策序列和最優(yōu)軌線序列 指標可寫為 代入 上一級 代入狀態(tài)方程 最優(yōu)決策序列 最優(yōu)軌線 4 3連續(xù)系統(tǒng)的動態(tài)規(guī)劃 性能指標 目標集 引進記號 根據(jù)最優(yōu)性原理及 由泰勒公式 得 由中值定理 得 連續(xù)型動態(tài)規(guī)劃方程 實際上它不是一個偏微分方程 而是一個函數(shù)方程和偏微分方程的混合方程 滿足連續(xù)型動態(tài)規(guī)劃方程 有 設 邊界條件 動態(tài)規(guī)劃動態(tài)規(guī)劃方程是最優(yōu)控制函數(shù)滿足的充分條件 解一個偏微分方程 可直接得出綜合函數(shù) 動態(tài)規(guī)劃要求有連續(xù)偏導數(shù)最大值原理最大值原理是最優(yōu)控制函數(shù)滿足的必要條件 解一個常微分方程組 最大值原理則只求得 例4 3一階系統(tǒng) 性能指標 動態(tài)規(guī)劃方程 右端對u求導數(shù) 令其導數(shù)為零 則得 4 4動態(tài)規(guī)劃與最大值原理的關系 變分法 最大值原理和動態(tài)規(guī)劃都是研究最優(yōu)控制問題的求解方法 很容易想到 若用三者研究同一個問題 應該得到相同的結論 因此三者應該存在著內在聯(lián)系 變分法和最大值原理之間的關系前面已說明 下面將分析動態(tài)規(guī)劃和最大值原理的關系 可以證明 在一定條件下 從動態(tài)規(guī)劃方程能求最大值原理的方程 動態(tài)規(guī)劃方程 令 哈米頓函數(shù) 最大值原理的必要條件 5 1問題提出5 2狀態(tài)調節(jié)器5 3輸出調節(jié)器5 4跟蹤問題5 5利用Matlab求解最優(yōu)控制 第5章線性二次型性能指標的最優(yōu)控制 用最大值原理求最優(yōu)控制 求出的最優(yōu)控制通常是時間的函數(shù) 這樣的控制為開環(huán)控制 當用開環(huán)控制時 在控制過程中不允許有任何干擾 這樣才能使系統(tǒng)以最優(yōu)狀態(tài)運行 在實際問題中 干擾不可能沒有 因此工程上總希望應用閉環(huán)控制 即控制函數(shù)表示成時間和狀態(tài)的函數(shù) 求解這樣的問題一般來說是很困難的 但對一類線性的且指標是二次型的動態(tài)系統(tǒng) 卻得了完全的解決 不但理論比較完善 數(shù)學處理簡單 而且在工程實際中又容易實現(xiàn) 因而在工程中有著廣泛的應用 5 1問題提法 動態(tài)方程 指標泛函 求 使之 有最小值 此問題稱線性二次型性能指標的最優(yōu)控制問題 通常稱 為綜合控制函數(shù) 指標泛函的物理意義積分項 被積函數(shù)由兩項組成 都是二次型 第一項過程在控制過程中 實際上是要求每個分量越小越好 但每一個分量不一定同等重要 所以用加權來調整 當權為零時 對該項無要求 第二項控制能力能量消耗最小 對每個分量要求不一樣 因而進行加權 要求正定 一方面對每個分量都應有要求 否則會出現(xiàn)很大幅值 在實際工程中實現(xiàn)不了 另一方面 在計算中需要有逆存在 指標中的第一項是對點狀態(tài)的要求 由于對每個分量要求不同 用加權陣來調整 5 2狀態(tài)調節(jié)器 5 2 1末端自由問題 5 2 2固定端問題 5 2 3 的情況 狀態(tài)調節(jié)器選擇或使系統(tǒng)性能指標有最小值 5 2 1末端自由問題 構造哈密頓函數(shù) 伴隨方程及邊界條件 最優(yōu)控制應滿足 代入正則方程 線性二次型性能指標的最優(yōu)控制 求導 矩陣黎卡提微分方程 邊界條件 最優(yōu)控制 令 最優(yōu)控制是狀態(tài)變量的線性函數(shù)借助狀態(tài)變量的線性反饋可實現(xiàn)閉環(huán)最優(yōu)控制 對稱半正定陣 例5 1 性能指標泛函 最優(yōu)控制 黎卡提微分方程 最優(yōu)軌線的微分方程 解 最優(yōu)軌線 最優(yōu)控制 黎卡提方程的解 隨終點時間變化的黎卡提方程的解 5 2 2固定端問題 指標泛函 設 采用 補償函數(shù) 法 補償函數(shù) 懲罰函數(shù) 邊界條件 黎卡提方程 逆黎卡提方程 求導 黎卡提方程 乘以 逆黎卡提方程 解 逆 5 2 3 的情況 性能指標 無限長時間調節(jié)器問題 黎卡提方程 邊界條件 最優(yōu)控制 最優(yōu)指標 5 2 4定常系統(tǒng) 完全可控 指標泛函 矩陣代數(shù)方程 最優(yōu)控制 最優(yōu)指標 例5 2 黎卡提方程 5 3輸出調節(jié)器 指標泛函 輸出調節(jié)器問題 狀態(tài)調節(jié)器問題 令 5 4跟蹤問題 問題的提法 已知的理想輸出 偏差量 指標泛函 尋求控制規(guī)律使性能指標有極小值 物理意義在控制過程中 使系統(tǒng)輸出盡量趨近理想輸出 同時也使能量消耗最少 指標泛函 哈密頓函數(shù) 2020年2月9日星期日 現(xiàn)代控制理論 133 設 并微分 2020年2月9日星期日 現(xiàn)代控制理論 134 的任意性 最優(yōu)控制 2020年2月9日星期日 現(xiàn)代控制理論 135 最優(yōu)軌線方程 最優(yōu)性能指標 2020年2月9日星期日 現(xiàn)代控制理論 136 例5 3 性能指標 2020年2月9日星期日 現(xiàn)代控制理論 137 最優(yōu)控制 2020年2月9日星期日 現(xiàn)代控制理論 138 最優(yōu)控制 極限解 2020年2月9日星期日 現(xiàn)代控制理論 139 閉環(huán)控制系統(tǒng)結構 2020年2月9日星期日 現(xiàn)代控制理論 140 6 1快速控制問題6 2綜合問題 第6章快速控制系統(tǒng) 2020年2月9日星期日 現(xiàn)代控制理論 141 在實際問題中 經(jīng)常發(fā)生以時間為性能指標的控制問題 如 當被控對象受干擾后 偏離了平衡狀態(tài) 希望施加控制能以最短時間恢復到平衡狀態(tài) 凡是以運動時間為性能指標的最優(yōu)控制問題稱為最小時間控制 2020年2月9日星期日 現(xiàn)代控制理論 142 6 1快速控制問題 性能指標 時間上限 是可變的 從狀態(tài) 轉移平衡狀態(tài) 所需時間最短 構造哈密頓函數(shù) 最小值原理 分段常值函數(shù) 2020年2月9日星期日 現(xiàn)代控制理論 143 例6 1有一單位質點 在處以初速度2沿直線運動 現(xiàn)施加一力