最優(yōu)控制的計(jì)算方法課件

1、第七章 最優(yōu)控制的計(jì)算方法本章主要內(nèi)容7.1 直接法 7.2 間接法 7.3 小結(jié) 返回主目錄 在前面討論變分法、極小值原理和動(dòng)態(tài)規(guī)劃時(shí)，我們列舉了一些例子。為了易于說(shuō)明問(wèn)題，這些例子都是非常簡(jiǎn)單的，可以用手算來(lái)解決問(wèn)題。但是在實(shí)際工作中所遇到的最優(yōu)控制問(wèn)題，一般都是很復(fù)雜的，必須用計(jì)算機(jī)求解。 因此，最優(yōu)控制的計(jì)算方法就變得十分重要了。這方面的內(nèi)容十分豐富，由于篇幅所限，我們只介紹幾種典型的算法。( 無(wú)約束)（ii）哈密頓函數(shù) 取極小的必要條件( 有約束) （7-2）或 由極小值原理可知，最優(yōu)控制問(wèn)題的解必須滿足以下幾個(gè)條件（iii）邊界條件（包括橫截條件）（i）正則方程（7-1） 最優(yōu)控制

2、的計(jì)算方法一般是先求出滿足上面三個(gè)條件中某兩個(gè)的解，然后用合適的迭代計(jì)算形式逐次改變這個(gè)解，以達(dá)到滿足剩下的另一個(gè)條件的解（即最優(yōu)解）。 通常把最優(yōu)控制的計(jì)算方法分成兩類：直接法和間接法。 直接法。 它的特點(diǎn)是，在每一步迭代中， 不一定要滿足 取極小的必要條件，而是逐步改善它，在迭代終了使它滿足這個(gè)必要條件，而且，積分狀態(tài)方程是從 到 ，積分協(xié)態(tài)方程是從 到 ，這樣就避免了去尋找缺少的協(xié)態(tài)初值 的困難。常用的直接法有梯度法，二階梯度法，共軛梯度法。 間接法。 它的特點(diǎn)是，在每一步迭代中都要滿足 取極小的必要條件，而且要同時(shí)積分狀態(tài)方程和協(xié)態(tài)方程，兩種方程的積分都從 到 或從 到 。常用的間接法

3、有邊界迭代法和擬線性化法。7.1 直接法（一）梯度法 。 這是一種直接方法，應(yīng)用比較廣泛。它的特點(diǎn)是：先猜測(cè)任意一個(gè)控制函數(shù) ，它可能并不滿足 取極小的必要條件，然后用迭代算法根據(jù) 梯度減小的方向來(lái)改善 ，使它最后滿足必要條件。 計(jì)算步驟如下：1 先猜測(cè) 中的一個(gè)控制向量 ， 是迭代步數(shù)，初始時(shí) 。 的決定要憑工程經(jīng)驗(yàn)，猜得合理，計(jì)算收斂得就快。2 在第 步，以估計(jì)值 和給定的初始條件 ，從 到 順向積分狀態(tài)方程，求出狀態(tài)向量 。 3 用 、 和橫截條件求得的終端值 ，從 到 反向積分協(xié)態(tài)方程，求出協(xié)態(tài)向量 。4 表示在 、 、 處取值。當(dāng)這些量非最優(yōu)值時(shí)， 。計(jì)算哈密頓函數(shù) 對(duì) 的梯度向量5

4、、 是一個(gè)步長(zhǎng)因子，它是待定的數(shù)。選擇 使指標(biāo)達(dá)到極小。這是一維尋優(yōu)問(wèn)題，有很多現(xiàn)成的優(yōu)化方法可用。如分?jǐn)?shù)法，0.618法，拋物線法，立方近似法等。(7-3)表明迭代是沿著梯度的負(fù)方向進(jìn)行的。修正控制向量（7-3） 6、 計(jì)算是否滿足下列指標(biāo)（7-4） 是指定小量，若滿足則停止計(jì)算，否則，令 ,轉(zhuǎn)步驟2。另一停止計(jì)算的標(biāo)準(zhǔn)是（7-5）例7-1考慮下面的一階非線性狀態(tài)方程（7-6）用梯度法尋找最優(yōu)控制使下面的指標(biāo)最?。?-7）解因 自由，由橫截條件得哈密頓函數(shù)為（7-8）協(xié)態(tài)方程為（7-9）、選初始估計(jì) 。代入初始條件： ，確定積分常數(shù)、將 代入狀態(tài)方程（7-6）可得（7-11）積分上式可得（7

5、-12）代入（7-12）式即可得（7-13）3將 代入?yún)f(xié)態(tài)方程（7-9），且由邊界條件 從t=1倒向積分可得5 。 這里選步長(zhǎng)因子 。如此繼續(xù)下去，直至指標(biāo)函數(shù)隨迭代變化很小為止。 4由 圖7-1用梯度法尋找最優(yōu)控制 圖7-2 最優(yōu)狀態(tài)的求解 圖7-1和圖7-2表示了控制和狀態(tài)的初始值和第一次迭代值，可以看到第一次迭代 就幾乎收斂到最優(yōu)值， 與最優(yōu)值還有差異，而且一般說(shuō)來(lái)愈接近最優(yōu)值收斂愈慢梯度法應(yīng)用得比較多，它的優(yōu)點(diǎn)是：（1）簡(jiǎn)單，編制程序容易；（2）計(jì)算穩(wěn)定可靠。缺點(diǎn)是：（1）在接近最優(yōu)解時(shí)，迭代收斂很慢，為改善 收斂性可用共軛梯度法和二階變分法等；（2）不能區(qū)分局部極小和全局極??；（3）

6、對(duì)控制變量受約束，終端狀態(tài)受約束的情 況不能直接處理。對(duì)于這種有約束的情況可用約束梯度法或懲罰函數(shù)法加以處理。約束梯度法可處理如下的不等式約束：（7-15）首先，對(duì)于任何控制 ，定義約束算子（7-16）顯然 滿足約束，即 滿足約束，其中 ， 再由 用無(wú)約束的梯度法求解，在每一次迭代中得出 ，然后用 代替，再進(jìn)行下一次迭代。 （7-17） 懲罰函數(shù)法可處理如下形式的約束：（7-18）（7-19）這時(shí)，將性能指標(biāo) 增廣為其中， ，（7-21）（7-20） 顯然，當(dāng)滿足約束時(shí)， 中后兩項(xiàng)為零。當(dāng)不滿足約束時(shí)，后兩項(xiàng)將使 增大，故稱為懲罰函數(shù)。在迭代過(guò)程中，逐次增大 和 。顯然當(dāng) 和 很大時(shí)，所求得的

7、 的無(wú)約束最優(yōu)控制近似于 的有約束最優(yōu)控制。（二）共軛梯度法 用共軛梯度法尋找最優(yōu)控制時(shí)是沿著所謂共軛梯度向量的方向進(jìn)行的。為了說(shuō)明共軛梯度的意義，我們先從求函數(shù)極值問(wèn)題的共軛梯度法開始，再推廣到求泛函極值問(wèn)題。 1求函數(shù)極值的共軛梯度法其中，為常數(shù)， 為正定陣。是 和 的內(nèi)積。要求尋找 使 取極值。(7-23)設(shè) 是定義在 空間中的二次指標(biāo)函數(shù)（7-22）定義 則稱 和 是 共軛的。 （單位陣）時(shí)，共軛就變?yōu)橥ǔ５恼?。?中兩個(gè)向量 和 滿足（7-24） 設(shè)向量 ， 是兩兩 共軛的，以 為尋找方向，可得共軛梯度法的迭代尋優(yōu)程序：（7-25） 與梯度法不同處僅在于用共軛梯度 代替負(fù)梯度 。問(wèn)

8、題是如何產(chǎn)生共軛梯度方向 。 值由 和 對(duì) 共軛的關(guān)系來(lái)確定，即（7-26）（7-27）令 ，即初始時(shí)共軛梯度與梯度方向相反、大小相等。以后的共軛梯度可如下遞歸產(chǎn)生：將（7-26）代入（7-27），得稱為共軛系數(shù)。故（7-28）用（7-28）式計(jì)算 是不方便的，因?yàn)橐玫蕉A導(dǎo)數(shù)陣 。由（7-22）和（7-23）知 分別為 的第 個(gè)和第 個(gè)分量，右端表示由 的第 行第 列元素構(gòu)成的矩陣。計(jì)算這個(gè)二階導(dǎo)數(shù)陣非常困難。為此，有必要推導(dǎo)不用 來(lái)計(jì)算 的公式。（7-29） 性質(zhì)1 若 是 空間中彼此 共軛的向量，則它們是線性獨(dú)立的。在這個(gè)推導(dǎo)中要用到共軛梯度的下列性質(zhì)：證明：因?yàn)?正定，上式對(duì)每一個(gè)

9、成立，所以必須有 與假設(shè)矛盾，這說(shuō)明 是線性獨(dú)立的，它們構(gòu)成了 空間中的一組基向量。 上式左端各項(xiàng)對(duì) 取內(nèi)積后有（7-31）用反證法。若不線性獨(dú)立，則必存在不全為零的常數(shù) 使 （7-30）其中, 可這樣來(lái)求：作內(nèi)積（7-33）從而按照這個(gè)性質(zhì)，函數(shù) 的極小點(diǎn) 可用這組基來(lái)表示，即（7-32）性質(zhì)2 式中， 。（7-34）說(shuō)明，在 處函數(shù) 的梯度 與前一步的尋找方向 必正交。如果 ，則有（7-34）若不然，不妨先設(shè) 。再設(shè) ,即 是最優(yōu)步長(zhǎng)。在 附近選一個(gè) ，將 在 處展開，保留一階項(xiàng)后，有 證明：（7-35）這與 為極小相矛盾。若設(shè) 則可取 ，同樣得出矛盾，于是必有（7-34）成立。 性質(zhì)3（

10、7-36）說(shuō)明， 在 處的梯度 與以前各步的共軛梯度尋找方向都正交。若 ，則必有（7-36）證明由（7-22）式所假定的二次函數(shù) ，可得（7-38）（7-37）得到重復(fù)使用設(shè) 為極小點(diǎn)，則（7-39）（7-38）減去（7-39）得（7-40）上式兩邊對(duì) 作內(nèi)積，得（7-42）（7-41）=（7-37）代入（7-40），得由性質(zhì)2知 再由 與是 共軛的定義可知（7-42）右端第二項(xiàng)也為零，因此 （7-36）得證。但 是線性無(wú)關(guān)的，它們構(gòu)成 中一組基， 與所有基正交，而 中只有 個(gè)基，故 。這說(shuō)明 處的梯度為零，即 為二次函數(shù) 的極小點(diǎn)。 如果取 ，則（7-43）如果一個(gè)算法能在有限步內(nèi)求出二次函

11、數(shù)的極小點(diǎn)，就稱這個(gè)算法具有二階收斂性或有限步收斂性。 由此可見，在 空間中，對(duì)二次函數(shù) 用（7-25）式所示的共軛梯度法尋優(yōu)，迭代至多 步就可達(dá)到極小點(diǎn)。性質(zhì)4若 ，則（7-44）證：（7-44）得證。由性質(zhì)3和（7-26）式知 下面根據(jù)這四個(gè)性質(zhì)來(lái)推出 的一個(gè)簡(jiǎn)單的計(jì)算公式。在（7-41）中令 ,可導(dǎo)出再利用（7-26）式，可得 由性質(zhì)4知 ，因此得（7-45） 用（7-46）計(jì)算 ，只用到 在 和 兩處的梯度，因此非常方便。 （7-46）對(duì)二次函數(shù)是精確的，對(duì)非二次函數(shù)，它只是一個(gè)近似公式 由性質(zhì)3，就可得出（7-46） 將共軛梯度法求 的極小解的算式歸納如下：（4）遞推逼近極值點(diǎn)解 用

12、一維尋優(yōu)決定。 （2）算共軛系數(shù) ，（1）算梯度（3）算共軛梯度2、用共軛梯度法解最優(yōu)控制問(wèn)題 前面已說(shuō)過(guò)，最優(yōu)控制計(jì)算的直接法是用迭代方法逐步改善控制量 ，使它最后滿足哈密頓函數(shù) 取極小的必要條件。 除了這些以外，其它在形式上與求函數(shù)極值的共軛梯度法一樣。故梯度向量為（7-47） 這里梯度向量 是時(shí)間的函數(shù)，向量時(shí)間函數(shù)的內(nèi)積定義為（7-48）共軛梯度法求最優(yōu)控制步驟為（1）（2）（3）設(shè)已求出第K步估計(jì)的控制函數(shù) 可任選。以 為初值，從 到 積分狀態(tài)方程，得出狀態(tài)軌跡 。以 為終值，從 到 反向積分協(xié)態(tài)方程，求得協(xié)態(tài)軌跡 。（4）（5）（6）計(jì)算梯度向量計(jì)算共軛系數(shù)時(shí)， 。（7-49）時(shí)，

13、 。（7-50）計(jì)算共軛梯度（7）（8）停止計(jì)算。否則令 ,回到步驟2。當(dāng)滿足下面的不等式（7-53）用一維尋優(yōu)決定 ，即 （7-52）（7-51）計(jì)算控制函數(shù)例7-2要求用共軛梯度法決定最優(yōu)控制 ，使 最小。性能指標(biāo)（7-56）設(shè)系統(tǒng)狀態(tài)方程為（7-54）（7-55）解（常數(shù)）（7-59）（7-58）協(xié)態(tài)方程為（7-57）哈密頓函數(shù)為（7-62）（7-63）故協(xié)態(tài)方程化為（7-61）（7-60）由橫截條件（1） 選 ，代入狀態(tài)方程和協(xié)態(tài)方程（7-54）、（7-55）、（7-62）和（7-63），時(shí)的計(jì)算可求得積分可得 梯度向量共軛梯度 。（2） 時(shí) ， 用一維尋優(yōu)來(lái)決定。將 代入狀態(tài)方程（7

14、-54）、（7-55）和協(xié)態(tài)方程（7-62）、（7-63），得積分得可求得 的最優(yōu)值為于是 由（7-62）式積分上式可得 共軛系數(shù)共軛梯度（3） 時(shí)，控制量為同以上步驟，將 代入狀態(tài)方程和協(xié)態(tài)方程，求出對(duì) 尋優(yōu)，可得 ，于是由 所以這個(gè)例子只要兩步迭代即可得到最優(yōu)解。一般說(shuō)來(lái)，共軛梯度法比梯度法收斂快，但接近最優(yōu)解后收斂性仍是較慢的。一個(gè)補(bǔ)救辦法是重新啟動(dòng)，即找出幾個(gè)共軛梯度方向 后，令 ，再用（7-50）重新迭代，尋找共軛梯度方向?？梢宰C明 ，即為最優(yōu)控制。這只要證明即可。7.2 間接法 （一）邊界迭代法這個(gè)方法的特點(diǎn)是逐步改善對(duì)缺少的初始條件的估計(jì)，以滿足規(guī)定的邊界條件。它的原理如下?？山?/p>

15、出 ，將它表示為 和 的函數(shù)，即利用哈密頓函數(shù)H取極小的方法（7-64） 將所求得的 代入正則方程（7-1），消去正則方程中的 。再引入增廣狀態(tài)（7-65） 設(shè)（7-65）式有 個(gè)已知初始條件 ， 個(gè)終端條件已知，設(shè)為 和 ，這是混合式的兩點(diǎn)邊值條件（參見例3-6），用邊界迭代法也很易處理。一般是非線性向量函數(shù)。則正則方程（7-1）可寫成（7-66） 顯然， 是已知的，設(shè)（7-67）定義因 未知，用一個(gè)估計(jì)值 得到的解為（7-69） 設(shè)由 、 出發(fā)積分正則方程（7-66），求得解 ,從中抽出 個(gè)分量構(gòu)成 。顯然 的值將隨 而變，記成（7-68） 因 估計(jì)得不一定準(zhǔn)確，故 一般不等于給定值 .將

16、（7-68）在 處展開為臺(tái)勞級(jí)數(shù)，保留一次項(xiàng)，得 其中， 是 維矩陣，稱為敏感矩陣或轉(zhuǎn)移矩陣。（7-70） 式中， 是 的第 行，第 列元素。（7-71）式右端表示由第 行第 列元素構(gòu)成的矩陣。由（7-69）和（7-70）可得（7-71）（7-72） 因 一般是非線性函數(shù)，（7-72）式是一個(gè)近似式，為了求得正確的 ，要用迭代求解。 其中， 是迭代次數(shù)， 是松馳因子， ， 可改善收斂性，收斂到最后時(shí)，將 取為1。在第 步，用 作為估值，積分正則方程，求得 ， 令 是第 步的估值，則根據(jù)（7-72）可得到下面的迭代格式（7-73） 為指定的小值，則停止計(jì)算。否則用 代替 ，再積分正則方程，重復(fù)進(jìn)

17、行。若（7-74）計(jì)算步驟如下（1）（2）由 解出 ，代入狀態(tài)和協(xié)態(tài)方程。設(shè)已求出 的第 步估計(jì)值 和給定的合在一起，從 積分正則方程，求出 抽出 個(gè)要求的分量的終值 ，若 ，停止計(jì)算，否則進(jìn)行下一步。（3）（4）（5）按（7-73）計(jì)算 。令 回到步驟2。求敏感矩陣這種方法的缺點(diǎn)是：（1）（2）（3）第一次估計(jì) 很困難，終端值對(duì) 非常敏感時(shí)， 與 相差很大，線性關(guān)系（7-70）不成立。敏感矩陣難于確定得很精確，對(duì)它求逆的運(yùn)算也容易引入誤差。例7-3 系統(tǒng)狀態(tài)方程為性能指標(biāo)為用邊界迭代法尋找 ，使 最小。（7-77）（7-76）（7-75）解因終端 ， 自由，故 設(shè) 的初始估計(jì)值為零，迭代結(jié)果

18、見表7-1?？梢娫诘?次迭代時(shí)， 、 已為零，滿足了邊界條件。表7-1 這個(gè)方法的特點(diǎn)是用迭代算法來(lái)改善對(duì)正則方程解的估計(jì)，使它逐步逼近正則方程的精確解。和前面一樣，將正則方程寫成。（二）擬線性化法 設(shè)已知 個(gè)初始條件 和 個(gè)終端條件 （7-79）（7-78） 擬線性化法將非線性兩點(diǎn)邊值問(wèn)題轉(zhuǎn)化為線性兩點(diǎn)邊值問(wèn)題，因此變得容易求解。 設(shè)在迭代的第 步獲得近似解 ，將正則方程（7-78）在展開，保留一次項(xiàng)，可得到 步的近似解 ，有（7-80）滿足給定邊界條件（7-81）（7-82）（7-80）可寫成下面的線性非齊次方程（7-83）或（7-84）是 的系統(tǒng)矩陣，其中（7-85）可停止計(jì)算當(dāng)滿足（7

19、-87） 是 驅(qū)動(dòng)函數(shù)向量。（7-84）是線性微分方程，由給定的 個(gè)邊界條件可確定其通解的 個(gè)未知常數(shù)，故解 可完全被確定。（7-86）例7-4用擬線性化法求 ，使 最小。系統(tǒng)方程為性能指標(biāo)為（7-89）（7-88）解哈密頓函數(shù)為（7-90）（7-91）上式代入狀態(tài)方程后得到（7-92）（7-93）或?qū)懗桑?-94）上式與（7-78）對(duì)照可知（7-95） 根據(jù)（7-85）、（7-86）可得（7-96）（7-97） 于是線性化后的正則方程（7-84）中的系數(shù)陣 和驅(qū)動(dòng)項(xiàng) 都已確定，解這個(gè)非齊次時(shí)變微分方程，并用邊界條件 和 以決定通解中的未定常數(shù)，就完全確定了 ，這就完成了一次迭代。當(dāng)滿足（7-87）式時(shí)，停止計(jì)算，求解結(jié)束。 7.3 小結(jié) 1 最優(yōu)控制的計(jì)算方法可分為直接法和間接法兩大類。直接法中我們列舉了梯度法和共軛梯度法。間接法中列舉了邊界迭代法和擬線性化法。2 直接法的特點(diǎn)是：在每步迭代中并不滿足哈密頓函數(shù) 取極小的必要條件，只是在迭代終了才滿足這個(gè)條件；另外積分狀態(tài)方程時(shí)是從 ，而積分協(xié)態(tài)方程時(shí)是從 。由于狀態(tài)和協(xié)態(tài)的穩(wěn)定