中南大學(xué)最優(yōu)控制論文

《最優(yōu)控制理論》課程總結(jié)姓名：班級(jí)：學(xué)號(hào)：任課老師：一、摘要最優(yōu)控制理論（optimalcontroltheory），是現(xiàn)代控制理論的一個(gè)主要分支，著重于研究使控制系統(tǒng)的性能指標(biāo)實(shí)現(xiàn)最優(yōu)化的基本條件和綜合方法。最優(yōu)控制理論是研究和解決從一切可能的控制方案中尋找最優(yōu)解的一門學(xué)科。它是現(xiàn)代控制理論的重要組成部分。其所研究的問(wèn)題可以概括為：對(duì)一個(gè)受控的動(dòng)力學(xué)系統(tǒng)或運(yùn)動(dòng)過(guò)程，從一類允許的控制方案中找出一個(gè)最優(yōu)的控制方案，使系統(tǒng)的運(yùn)動(dòng)在由某個(gè)初始狀態(tài)轉(zhuǎn)移到指定的目標(biāo)狀態(tài)的同時(shí)，其性能指標(biāo)值為最優(yōu)。這類問(wèn)題廣泛存在于技術(shù)領(lǐng)域或社會(huì)問(wèn)題中。這類問(wèn)題廣泛存在于技術(shù)領(lǐng)域或社會(huì)問(wèn)題中。例如，確定一個(gè)最優(yōu)控制方式使空間飛行器由一個(gè)軌道轉(zhuǎn)換到另一軌道過(guò)程中燃料消耗最少，選擇一個(gè)溫度的調(diào)節(jié)規(guī)律和相應(yīng)的原料配比使化工反應(yīng)過(guò)程的產(chǎn)量最多。因此最優(yōu)控制理論對(duì)于解決實(shí)際問(wèn)題和促進(jìn)科學(xué)的發(fā)展具有重要的意義和作用。關(guān)鍵字：最優(yōu)控制變分法極大值原理動(dòng)態(tài)規(guī)劃二、引言控制工程領(lǐng)域早期的經(jīng)典控制方法和技術(shù)早已被工程師們所熟知并進(jìn)行廣泛的應(yīng)用。一般而言經(jīng)典控制非常適合解決單輸入單輸出線性定長(zhǎng)系統(tǒng)的控制器設(shè)計(jì)問(wèn)題。然而對(duì)于高階系統(tǒng)或多輸入多輸出系統(tǒng)，采用經(jīng)典控制方法很難獲得令人滿意的控制性能。在這種情況下，控制學(xué)者于20世紀(jì)60年代初開(kāi)始研究狀態(tài)空間方法，并依此發(fā)展出現(xiàn)代控制的理論框架。其中最優(yōu)控制則是現(xiàn)代控制理論的主要分支，解決最優(yōu)控制問(wèn)題的主要方法有變分法、極值原理和動(dòng)態(tài)規(guī)劃。從數(shù)學(xué)的觀點(diǎn)來(lái)看，最優(yōu)控制研究的問(wèn)題是求解一類帶有約束條件的泛函極值問(wèn)題，屬于變分學(xué)的范疇，但它只能解決一類簡(jiǎn)單的最優(yōu)控制問(wèn)題，因?yàn)樗粚?duì)無(wú)約束或開(kāi)集性約束是有效的，而無(wú)法解決工程實(shí)際中經(jīng)常碰到的容許控制屬于閉集的一類最優(yōu)控制問(wèn)題。這就促使了控制學(xué)者們開(kāi)辟求解最優(yōu)控制問(wèn)題的新途徑。蘇聯(lián)學(xué)者Л.С.龐特里亞金1958年提出的極大值原理和美國(guó)學(xué)者R.貝爾曼1956年提出的動(dòng)態(tài)規(guī)劃，對(duì)最優(yōu)控制理論的形成和發(fā)展起了重要的作用，而這兩種理論則被稱作是最優(yōu)控制理論的兩大基石，它們對(duì)現(xiàn)代控制理論的發(fā)展起了重要的推動(dòng)作用。三、最優(yōu)控制問(wèn)題的分類

①

按狀態(tài)方程分類：連續(xù)最優(yōu)化系統(tǒng)、離散最優(yōu)化系統(tǒng)。

②

按控制作用實(shí)現(xiàn)方法分類：開(kāi)環(huán)最優(yōu)控制系統(tǒng)、閉環(huán)最優(yōu)控制系統(tǒng)。

③

按性能指標(biāo)分類：最小時(shí)間控制問(wèn)題、最少燃料控制問(wèn)題、線性二次型性能指標(biāo)最優(yōu)控制問(wèn)題、非線性性能指標(biāo)最優(yōu)控制問(wèn)題。

④

按終端條件分類：固定終端最優(yōu)控制問(wèn)題、自由終端（可變）最優(yōu)控制問(wèn)題、終端時(shí)間固定最優(yōu)控制問(wèn)題、終端時(shí)間可變最優(yōu)控制問(wèn)題。

⑤

按應(yīng)用領(lǐng)域來(lái)分：終端控制問(wèn)題、調(diào)節(jié)器問(wèn)題、跟蹤問(wèn)題、伺服機(jī)構(gòu)問(wèn)題、效果研究問(wèn)題、最小時(shí)間問(wèn)題、最少燃料問(wèn)題。四、主要方法為了解決最優(yōu)控制問(wèn)題，必須建立描述受控運(yùn)動(dòng)過(guò)程的運(yùn)動(dòng)方程，給出控制變量的允許取值范圍，指定運(yùn)動(dòng)過(guò)程的初始狀態(tài)和目標(biāo)狀態(tài)，并且規(guī)定一個(gè)評(píng)價(jià)運(yùn)動(dòng)過(guò)程品質(zhì)優(yōu)劣的性能指標(biāo)。通常，性能指標(biāo)的好壞取決于所選擇的控制函數(shù)和相應(yīng)的運(yùn)動(dòng)狀態(tài)。系統(tǒng)的運(yùn)動(dòng)狀態(tài)受到運(yùn)動(dòng)方程的約束，而控制函數(shù)只能在允許的范圍內(nèi)選取。解決最優(yōu)控制問(wèn)題的主要方法有變分法、極大值原理和動(dòng)態(tài)規(guī)劃。1、變分法變分法的發(fā)展可追溯到17世紀(jì)末，后來(lái)在20世紀(jì)60年代被引入解決最優(yōu)控制問(wèn)題。它是處理函數(shù)的函數(shù)的數(shù)學(xué)領(lǐng)域，與處理數(shù)的函數(shù)的普通微積分相對(duì)。變分法最終尋求的是極值函數(shù)：它們使得泛函取得極大或極小值。變分法的關(guān)鍵定理是歐拉方程。它對(duì)應(yīng)于泛函的臨界點(diǎn)。在尋找函數(shù)的極大和極小值時(shí)，在一個(gè)解附近的微小變化的分析給出一階的一個(gè)近似。它不能分辨是找到了最大值或者最小者（或者兩者都不是）。其基本思想是將變分問(wèn)題轉(zhuǎn)化為微分方程的邊值問(wèn)題進(jìn)行求解，是一種非常經(jīng)典的方法，但它只能解決容許控制屬于開(kāi)集的最優(yōu)控制問(wèn)題，無(wú)法解決工程實(shí)際中經(jīng)常遇到的容許控制屬于閉集的最優(yōu)控制。下面將分一些基本情況對(duì)變分法進(jìn)行簡(jiǎn)要概述。1）、無(wú)等式約束在無(wú)等式約束下求取函數(shù)極值的必要條件為?LL當(dāng)然僅滿足必要條件并不能保證泛函取得極值，還應(yīng)考慮下列情況①端點(diǎn)固定此時(shí)X(t0)=X0,X(tf則只需δX②端點(diǎn)可變考慮端點(diǎn)約束Xt0=則需加入橫截條件[α若當(dāng)端點(diǎn)時(shí)刻固定，端點(diǎn)狀態(tài)自由時(shí)，其橫截條件簡(jiǎn)化為δL(2）、有等式約束處理有等式約束的泛函極值問(wèn)題通常通過(guò)構(gòu)造拉格朗日方程將有等式約束的問(wèn)題轉(zhuǎn)化為無(wú)等式約束的問(wèn)題，下面列舉一些常見(jiàn)的等式約束，求泛函極值的必要條件。(1)連續(xù)時(shí)間①差分方程在起點(diǎn)時(shí)刻，終點(diǎn)時(shí)刻，起點(diǎn)狀態(tài)固定，終點(diǎn)狀態(tài)自由的情況下，其必要條件為狀態(tài)方程：x協(xié)調(diào)方程：λ極值條件：δ初始條件：X橫截條件：λ②積分約束在起點(diǎn)時(shí)刻，終點(diǎn)時(shí)刻，起點(diǎn)狀態(tài)固定，終點(diǎn)狀態(tài)自由，積分約束為t0狀態(tài)方程：xt=f[x協(xié)態(tài)方程：λλt=-極值條件：?約束條件：x橫截條件：λ③狀態(tài)和控制等式約束給定的等式約束為：φxt,ut狀態(tài)方程：x協(xié)態(tài)方程：λ極值條件：?等式約束：φ約束條件：x橫截條件：λ④終端約束在起點(diǎn)固定，終點(diǎn)約束為ξx狀態(tài)方程：x協(xié)態(tài)方程：λ極值條件：?約束條件：xt0橫截條件：λt⑤內(nèi)點(diǎn)等式約束在內(nèi)點(diǎn)等式約束為Nx起點(diǎn)固定，終點(diǎn)約束為ξx狀態(tài)方程：x協(xié)態(tài)方程：λ=極值條件：?H約束條件：xt0橫截條件：λt內(nèi)點(diǎn)約束:N角條件：λ(2)離散時(shí)間在離散的情況下求得目標(biāo)函數(shù)的最優(yōu)控制序列{u(k)狀態(tài)方程：X協(xié)態(tài)方程：λ極值條件：?終端條件：ξx橫截條件：λk2、極大值原理用變分法求泛函極值建立在系統(tǒng)控制向量不收任何限制的基礎(chǔ)上，容許控制為一個(gè)開(kāi)集，即δu任意，u不收限制，它遍及整個(gè)空間，且δH1)連續(xù)時(shí)間在端點(diǎn)約束為ξxt0,t正則方程：xtλ=極值條件：H終端條件：ξ橫截條件：λtHxλtf可見(jiàn)利用最大值原理和變分法求解最優(yōu)控制問(wèn)題時(shí)，除了控制方程的形式不同外，其余條件是相同的2）離散時(shí)間在起點(diǎn)時(shí)刻，終點(diǎn)時(shí)刻，起點(diǎn)狀態(tài)固定，終點(diǎn)狀態(tài)自由的情況下，求使目標(biāo)函數(shù)取得極值的控制序列u*狀態(tài)方程：X協(xié)態(tài)方程：λ極值條件：H初始條件：x(0)*=x橫截條件：λ3、動(dòng)態(tài)規(guī)劃在Л.С.龐特里亞金等人發(fā)展極大值原理期間，在1953年至1957年間，美國(guó)數(shù)學(xué)家R.貝爾曼等人發(fā)展了變分法中的哈密頓-雅可比（Hamilton-Jacobi）理論，并逐步形成了與最大值原理并稱為最優(yōu)控制理論兩大基石的動(dòng)態(tài)規(guī)劃，它可以卓有成效的解決各種最優(yōu)控制問(wèn)題，并且與變分發(fā)，極大值原理有非常密切的聯(lián)系。其基本思想為：不論現(xiàn)在的狀態(tài)和過(guò)去的決策如何，隨后各段的決策對(duì)于現(xiàn)在的狀態(tài)必定構(gòu)成最優(yōu)決策。由于它最初是應(yīng)用于多級(jí)決策過(guò)程的一種優(yōu)化方案，所以下面首先闡述時(shí)間離散問(wèn)題。1)時(shí)間離散若需求一個(gè)控制序列{u(k)*逐步求出u(N-1),u(N-2)……u(0)2)時(shí)間連續(xù)時(shí)間連續(xù)問(wèn)題可通過(guò)求解HJB方程：?來(lái)求得u(t)*,其約束條件為可見(jiàn)HJB方程是V(x,t)的一階偏微分方程，并帶有取極小值的運(yùn)算，因此求解是非常困難的，只能用計(jì)算機(jī)求數(shù)值解。五、三種方法的優(yōu)劣及相互的關(guān)系變分法是求解泛函極值的一種經(jīng)典方法，也是研究最優(yōu)控制問(wèn)題的一種重要工具。但由于它不能解決控制函數(shù)的取值受到封閉性的邊界限制的情況，變分法對(duì)于解決許多重要的實(shí)際最優(yōu)控制問(wèn)題，是無(wú)能為力的。極大值原理則彌補(bǔ)了變分法的這種不足，可用于控制變量受限制的情況，能給出問(wèn)題中最優(yōu)控制所必須滿足的條件。雖然最小值原理為解決帶有閉集約束的最優(yōu)控制問(wèn)題提供了有效的方法，但遺憾的是它只是一個(gè)必要條件。也就是說(shuō)，由最大值原理所求得的解能否使性能泛函J達(dá)到極小值，還需要進(jìn)一步分析與判定。但是，如果根據(jù)物理意義已經(jīng)能夠斷定所討論的最優(yōu)控制問(wèn)題的解是存在的，而由最大值原理所得到的解只有一個(gè)，那么，該解就是最優(yōu)解。實(shí)際上，我們遇到的問(wèn)題往往屬于這種情況。動(dòng)態(tài)規(guī)劃與極大值原理一樣，是處理控制變量有有界閉集約束時(shí)，確定最優(yōu)控制解的有效數(shù)學(xué)方法。利用動(dòng)態(tài)規(guī)劃求解控制有約束的最優(yōu)控制問(wèn)題特別方便，但必須滿足最優(yōu)化原理和無(wú)后效性的限制，其應(yīng)用有一定的局限性。而在實(shí)際應(yīng)用中，動(dòng)態(tài)規(guī)劃需要很大的空間以存儲(chǔ)中間產(chǎn)生的結(jié)果，這樣可以使包含同一個(gè)子問(wèn)題的所有問(wèn)題共用一個(gè)子問(wèn)題解，從而體現(xiàn)動(dòng)態(tài)規(guī)劃的優(yōu)越性，但這是以犧牲空間為代價(jià)的，為了有效地訪問(wèn)已有結(jié)果，數(shù)據(jù)也不易壓縮存儲(chǔ)，因而空間矛盾是比較突出的。另一方面，動(dòng)態(tài)規(guī)劃的高時(shí)效性往往要通過(guò)大的測(cè)試數(shù)據(jù)體現(xiàn)出來(lái)（以與搜索作比較），因而，對(duì)于大規(guī)模的問(wèn)題如何在基本不影響運(yùn)行速度的條件下，解決空間溢出的問(wèn)題，也是動(dòng)態(tài)規(guī)劃解決問(wèn)題時(shí)一個(gè)普遍會(huì)遇到的問(wèn)題。雖然動(dòng)態(tài)規(guī)劃的實(shí)現(xiàn)受到了許多的限制，但它比最大值原理應(yīng)用的范圍要廣泛得多，并且所得到的結(jié)論是關(guān)于最優(yōu)控制問(wèn)題的充分條件。作為解決最優(yōu)控制問(wèn)題的三種重要方法，它們也不是獨(dú)立存在的，相反，三者有著重要的聯(lián)系。由動(dòng)態(tài)規(guī)劃的哈密頓-雅克比方程，可以推得變分法中的歐拉方程和橫截條件；也可以推得極小值原理的必要條件。并且在所要求的條件都滿足的情況下，使用這三種方法所得結(jié)論相同。六、最優(yōu)控制理論存在的問(wèn)題常見(jiàn)的實(shí)際物理系統(tǒng)，性能指標(biāo)的提法合理則一般存在最優(yōu)解，而且在一定的范圍內(nèi)有唯一解。但是，對(duì)于一個(gè)比較復(fù)雜的問(wèn)題，最優(yōu)控制問(wèn)題解的存在性和唯一性的判定是比較復(fù)雜的，有時(shí)甚至是不可能的。現(xiàn)在的研究一般都假定是有唯一解的最優(yōu)控制問(wèn)題，即可以求出一個(gè)最優(yōu)的解來(lái)。我們還應(yīng)該了解，我們希望找到的是“整體”的最優(yōu)控制，也就是在允許的范圍內(nèi)，尋找的控制作用使動(dòng)態(tài)系統(tǒng)的性能指標(biāo)達(dá)到最小或者最大。但是，在實(shí)際情況中除二次型性能指標(biāo)的最優(yōu)控制問(wèn)題外，一般是很難用定量方法求得整體最優(yōu)控制的，因此常常是求出許多局部最優(yōu)控制，再挑選整體最優(yōu)控制。七、結(jié)束語(yǔ)21世紀(jì)是科技迅猛發(fā)展的時(shí)代，各門學(xué)術(shù)都將有令人耳目一新的成就出現(xiàn)。而最優(yōu)控制仍是一個(gè)十分活躍的研究領(lǐng)域，在理論和實(shí)踐兩方面都得到了充