系統(tǒng)辨識第四章課件

系統(tǒng)辨識第四章系統(tǒng)辨識第四章系統(tǒng)辨識☆第一章模型方法與辨識☆第二章脈沖響應辨識

☆第三章最小二乘辨識☆第四章極大似然辨識☆第五章時間序列建模與隨機逼近辨識☆第六章模型階次的辨識☆第七章閉環(huán)系統(tǒng)辨識2系統(tǒng)辨識☆第一章模型方法與辨識2第四章極大似然辨識☆前言☆4-1極大似然原理☆4-2動態(tài)系統(tǒng)模型參數(shù)的極大似然估計☆4-3極大似然估計的一致性☆4-4預報誤差參數(shù)辨識法3第四章極大似然辨識☆前言3第四章極大似然辨識極大似然法，是一種適用范圍非常廣泛的傳統(tǒng)辨識方法，1906年，由R.A.Fisher提出。極大似然估計方法在隨機系統(tǒng)參數(shù)估計、故障檢測及容錯控制等方面，有廣泛應用。把這種經典的估計方法用于動態(tài)過程或動態(tài)系統(tǒng)辨識，可以獲得良好的估計性質。極大似然法要求已知輸出量的條件概率密度函數(shù)，建立隨機觀測數(shù)據(jù)與未知參數(shù)之間的概率特性和統(tǒng)計關系，通過使條件概率密度函數(shù)為極大的準則，求出未知參數(shù)的估計值。因而，極大似然辨識法是一種概率性的參數(shù)估計方法。4第四章極大似然辨識極大似然法，是§4-1極大似然原理一、似然函數(shù)5§4-1極大似然原理一、似然函數(shù)566可見，條件概率密度函數(shù)與似然函數(shù)有不同的物理含義，但其數(shù)學表達形式一致，即7可見，條件概率密度函數(shù)與似然函數(shù)有不同的物理88991010二、極大似然估計求法⒈極大似然估計定義11二、極大似然估計求法⒈極大似然估計定義11⒉似然方程與對數(shù)似然方程故可通過由于12⒉似然方程與對數(shù)似然方程故可通過由于121313⒊正態(tài)獨立同分布隨機過程均值與方差的極大似然估計14⒊正態(tài)獨立同分布隨機過程均值與方差的極大似然估計14取對數(shù)似然函數(shù)15取對數(shù)似然函數(shù)15用對數(shù)似然方程：令有16用對數(shù)似然方程：令有16令0因故得：17令0因故得：17求出18求出18驗證：19驗證：19例4-1〈解〉20例4-1〈解〉20相應的對數(shù)似然函數(shù)21相應的對數(shù)似然函數(shù)21且22且22例4-2〈解〉23例4-2〈解〉23相應的對數(shù)似然函數(shù)24相應的對數(shù)似然函數(shù)24§4-2動態(tài)系統(tǒng)模型參數(shù)的極大似然估計一、第1種模型噪聲情況設動態(tài)系統(tǒng)差分方程為25§4-2動態(tài)系統(tǒng)模型參數(shù)的極大似然估計一、第1種模型噪聲式中26式中262727⒈噪聲的聯(lián)合概率密度函數(shù)28⒈噪聲的聯(lián)合概率密度函數(shù)28⒉向量方程誤差的似然函數(shù)則向量方程誤差為（殘差）29⒉向量方程誤差的似然函數(shù)則向量方程誤差為（殘差）293030⒊輸出觀測向量的似然函數(shù)根據(jù)隨機向量變換法則，可以導出31⒊輸出觀測向量的似然函數(shù)根據(jù)隨機向量變換法則，可以導出31⒋模型參數(shù)的極大似然估計觀測向量Y的對數(shù)似然函數(shù)為32⒋模型參數(shù)的極大似然估計觀測向量Y的對數(shù)似然函數(shù)為32得：整理：33得：整理：333434⒌兩點注意事項35⒌兩點注意事項35二、第2種模型噪聲情況設動態(tài)系統(tǒng)的差分方程為：36二、第2種模型噪聲情況設動態(tài)系統(tǒng)的差分方程為：36因z(k)是v(k)與v(k-1)的線性組合，故z(k)也是零均值正態(tài)分布噪聲序列，但不再是無關序列。37因z(k)是v(k)與v(k-1)的線性組合，故z(k)也是⒈噪聲的統(tǒng)計特性⑴均值38⒈噪聲的統(tǒng)計特性⑴均值38⑵方差陣⑶聯(lián)合概率密度函數(shù)39⑵方差陣⑶聯(lián)合概率密度函數(shù)39⒉觀測向量的似然函數(shù)⒊模型參數(shù)的極大似然估計40⒉觀測向量的似然函數(shù)⒊模型參數(shù)的極大似然估計40有表明：此時模型參數(shù)的極大似然估計正好等于模型參數(shù)的馬爾可夫估計。41有表明：此時模型參數(shù)的極大似然估計正好等于模型參數(shù)的馬爾可夫§4-3極大似然估計的一致性動態(tài)系統(tǒng)極大似然估計的一致性問題，經常轉換為預報誤差方程的預報誤差估計的一致性問題。因為一大類含噪聲的線性系統(tǒng)的差分方程或狀態(tài)方程，可以轉化為預報誤差方程，而預報誤差方程與似然函數(shù)之間可以建立起直接的聯(lián)系，所得結果具有較寬的適用范圍。根據(jù)輸入和輸出數(shù)據(jù)，可得相應集合42§4-3極大似然估計的一致性動態(tài)系統(tǒng)構造預報誤差方程：因此，預報誤差方程中的43構造預報誤差方程：因此，預報誤差方程中的43可見，預報誤差方程代表一大類含噪聲的線性動態(tài)系統(tǒng)。假設：44可見，預報誤差方程代表一大類含噪聲的線性動態(tài)系統(tǒng)。假設：44噪聲的條件期望取性能指標為(殘差平方和的均值)45噪聲的條件期望取性能指標為(殘差平方和的均值)454646下面給出簡要證明。由預報誤差模型，預報誤差：由預報誤差方程知：因而預報誤差47下面給出簡要證明。由預報誤差模型，預報誤差：由預報誤差方程知式中48式中48(噪聲方差)049(噪聲方差)0495050于是有從而證明了預報誤差估計和正態(tài)條件下的極大似然估計具有一致性，都是真實參數(shù)的一致估計。51于是有從而證明了預報誤差估計和正態(tài)條件下的極大似然估計具有一§4-4預報誤差參數(shù)辨識法極大似然法要求已知數(shù)據(jù)的概率分布，通常都假設數(shù)據(jù)服從正態(tài)(高斯)分布。然而，實際問題中的數(shù)據(jù)不一定都是正態(tài)分布的。當數(shù)據(jù)的概率分布不知道時，無法應用極大似然估計。預報誤差參數(shù)辨識法不要求數(shù)據(jù)概率分布先驗知識，是一種更加一般的參數(shù)辨識方法，也是極大似然估計的一種推廣。業(yè)已證明，當數(shù)據(jù)的概率服從正態(tài)分布時，預報誤差估計法等價于極大似然法（Goodwin澳大利亞教授,1977）.52§4-4預報誤差參數(shù)辨識法極大似然法一、預報誤差準則⒈預報誤差模型53一、預報誤差準則⒈預報誤差模型53則預報誤差模型：預報誤差模型表明：k時刻的輸出，可以用k時刻以前的數(shù)據(jù)來“預報”。54則預報誤差模型：預報誤差模型表明：k時刻的輸這種預報，可使預報誤差范數(shù)平方的條件期望最小，即顯然，這種“最好”的輸出預報，應是“最好”模型的輸出。由最優(yōu)控制理論知，“最好”輸出預報，應是使某一個預報誤差準則(即性能指標)為極小而獲得。55這種預報，可使預報誤差范數(shù)平方的條件期望最小，即⒉預報誤差準則常用的誤差準則有如下兩種：56⒉預報誤差準則常用的誤差準則有如下兩種：56而在多入-多出情況下57而在多入-多出情況下57二、預報誤差法與極大似然法之間的關系⒈預報誤差模型的似然函數(shù)應用Bayes公式，得條件概率密度函數(shù)58二、預報誤差法與極大似然法之間的關系⒈預報誤差模型的似然函數(shù)由預報誤差模型59由預報誤差模型59必有故60必有故60幅值相乘相角相加61幅值相乘相角相加61⒉預報誤差協(xié)方差已知時的似然函數(shù)由似然函數(shù)62⒉預報誤差協(xié)方差已知時的似然函數(shù)由似然函數(shù)6根據(jù)矩陣跡的運算性質：故已令有(樣本協(xié)方差)63根據(jù)矩陣跡的運算性質：故已令有(樣本協(xié)方差)63表明：64表明：64⒊預報誤差協(xié)方差未知時的似然函數(shù)取負對數(shù)似然函數(shù)，有根據(jù)矩陣跡的微分運算法則：65⒊預報誤差協(xié)方差未知時的似然函數(shù)取負對數(shù)似然函6666以代替，負對數(shù)似然函數(shù)為67以代替，負對數(shù)似然函數(shù)為67：當為正態(tài)分布不相關隨機向量時，等價于取極小，又等價于第2種預報誤差準則取極小。在這種意義下，極大似然法與預報誤差法也是等價的。結論預報誤差法與極大似然法等價?；蛘哒f，極大似然法是預報誤差法的特例。在上式中,右端各項為正,必有：等價于.由于似然函數(shù)取極大,68：當為正態(tài)分布不相關隨機向量時，等價于三、預報誤差參數(shù)估計方法(Newton-Raphson法)⒈預報誤差參數(shù)估計法實質由于預報誤差準則或一般都是參數(shù)的非線性函數(shù)，故令極小化求的方法，歸納為極小化的最優(yōu)化算法。若預報誤差的協(xié)方差陣已知，則取作為預報誤差準則，且取權陣；若未知，則應選為預報誤差準則。69三、預報誤差參數(shù)估計方法(Newton-Raphson法)⒈⒉預報誤差準則極小化的最優(yōu)化算法根據(jù)Newton——Raphson原理，的最優(yōu)化算法歸納為如下迭代方程：式中：——第次迭代的參數(shù)估計值；——預報誤差準則關于的梯度；70⒉預報誤差準則極小化的最優(yōu)化算法根據(jù)Newton——Raph——Hessian矩陣；——迭代步長，使顯然，上述最優(yōu)化算法的關鍵是：關于的梯度及Hessian矩陣的具體計算式；利用一維搜索法求，使。71——Hessian矩陣；——迭代步長，使顯然，上述最優(yōu)化⒊梯度與Hessian矩陣的計算設的協(xié)方差矩陣已知，即已知，取權陣，而(n為系統(tǒng)階次)因而：由矩陣運算公式：72⒊梯度與Hessian矩陣的計算設的協(xié)方其中可得梯度向量的第i個元素為：(代入表達式)73其中可得梯度向量的第i個元素為：Hessian矩陣的第i行，第j列的元素為：代入表達式略去74Hessian矩陣的第i行，需要指出：計算Hessian矩陣元素時，忽略了e(k)關于的二階導數(shù)，目的是簡化Hessian矩陣計算，并可保證Hessian矩陣正定性。式中為的維數(shù)，即待辨識的參數(shù)個數(shù)，且

(預報誤差模型)75需要指出：計算Hessian矩陣元素時，忽略了e(k)關于⒋Newton-Raphson法迭代計算步驟設置初始狀態(tài)和步長，賦；計算和，76⒋Newton-Raphson法迭代計算步驟設置初始狀態(tài)計算梯度和Hessian矩陣利用一維搜索法，求步長，使77計算梯度和Hessian矩陣計算給定迭代精度正小數(shù)，若則停止迭代；否則，賦，返回。78計算給定迭代精度正小數(shù)，若則停止迭代；否則，賦系統(tǒng)辨識第四章系統(tǒng)辨識第四章系統(tǒng)辨識☆第一章模型方法與辨識☆第二章脈沖響應辨識

☆第三章最小二乘辨識☆第四章極大似然辨識☆第五章時間序列建模與隨機逼近辨識☆第六章模型階次的辨識☆第七章閉環(huán)系統(tǒng)辨識80系統(tǒng)辨識☆第一章模型方法與辨識2第四章極大似然辨識☆前言☆4-1極大似然原理☆4-2動態(tài)系統(tǒng)模型參數(shù)的極大似然估計☆4-3極大似然估計的一致性☆4-4預報誤差參數(shù)辨識法81第四章極大似然辨識☆前言3第四章極大似然辨識極大似然法，是一種適用范圍非常廣泛的傳統(tǒng)辨識方法，1906年，由R.A.Fisher提出。極大似然估計方法在隨機系統(tǒng)參數(shù)估計、故障檢測及容錯控制等方面，有廣泛應用。把這種經典的估計方法用于動態(tài)過程或動態(tài)系統(tǒng)辨識，可以獲得良好的估計性質。極大似然法要求已知輸出量的條件概率密度函數(shù)，建立隨機觀測數(shù)據(jù)與未知參數(shù)之間的概率特性和統(tǒng)計關系，通過使條件概率密度函數(shù)為極大的準則，求出未知參數(shù)的估計值。因而，極大似然辨識法是一種概率性的參數(shù)估計方法。82第四章極大似然辨識極大似然法，是§4-1極大似然原理一、似然函數(shù)83§4-1極大似然原理一、似然函數(shù)5846可見，條件概率密度函數(shù)與似然函數(shù)有不同的物理含義，但其數(shù)學表達形式一致，即85可見，條件概率密度函數(shù)與似然函數(shù)有不同的物理8688798810二、極大似然估計求法⒈極大似然估計定義89二、極大似然估計求法⒈極大似然估計定義11⒉似然方程與對數(shù)似然方程故可通過由于90⒉似然方程與對數(shù)似然方程故可通過由于129113⒊正態(tài)獨立同分布隨機過程均值與方差的極大似然估計92⒊正態(tài)獨立同分布隨機過程均值與方差的極大似然估計14取對數(shù)似然函數(shù)93取對數(shù)似然函數(shù)15用對數(shù)似然方程：令有94用對數(shù)似然方程：令有16令0因故得：95令0因故得：17求出96求出18驗證：97驗證：19例4-1〈解〉98例4-1〈解〉20相應的對數(shù)似然函數(shù)99相應的對數(shù)似然函數(shù)21且100且22例4-2〈解〉101例4-2〈解〉23相應的對數(shù)似然函數(shù)102相應的對數(shù)似然函數(shù)24§4-2動態(tài)系統(tǒng)模型參數(shù)的極大似然估計一、第1種模型噪聲情況設動態(tài)系統(tǒng)差分方程為103§4-2動態(tài)系統(tǒng)模型參數(shù)的極大似然估計一、第1種模型噪聲式中104式中2610527⒈噪聲的聯(lián)合概率密度函數(shù)106⒈噪聲的聯(lián)合概率密度函數(shù)28⒉向量方程誤差的似然函數(shù)則向量方程誤差為（殘差）107⒉向量方程誤差的似然函數(shù)則向量方程誤差為（殘差）2910830⒊輸出觀測向量的似然函數(shù)根據(jù)隨機向量變換法則，可以導出109⒊輸出觀測向量的似然函數(shù)根據(jù)隨機向量變換法則，可以導出31⒋模型參數(shù)的極大似然估計觀測向量Y的對數(shù)似然函數(shù)為110⒋模型參數(shù)的極大似然估計觀測向量Y的對數(shù)似然函數(shù)為32得：整理：111得：整理：3311234⒌兩點注意事項113⒌兩點注意事項35二、第2種模型噪聲情況設動態(tài)系統(tǒng)的差分方程為：114二、第2種模型噪聲情況設動態(tài)系統(tǒng)的差分方程為：36因z(k)是v(k)與v(k-1)的線性組合，故z(k)也是零均值正態(tài)分布噪聲序列，但不再是無關序列。115因z(k)是v(k)與v(k-1)的線性組合，故z(k)也是⒈噪聲的統(tǒng)計特性⑴均值116⒈噪聲的統(tǒng)計特性⑴均值38⑵方差陣⑶聯(lián)合概率密度函數(shù)117⑵方差陣⑶聯(lián)合概率密度函數(shù)39⒉觀測向量的似然函數(shù)⒊模型參數(shù)的極大似然估計118⒉觀測向量的似然函數(shù)⒊模型參數(shù)的極大似然估計40有表明：此時模型參數(shù)的極大似然估計正好等于模型參數(shù)的馬爾可夫估計。119有表明：此時模型參數(shù)的極大似然估計正好等于模型參數(shù)的馬爾可夫§4-3極大似然估計的一致性動態(tài)系統(tǒng)極大似然估計的一致性問題，經常轉換為預報誤差方程的預報誤差估計的一致性問題。因為一大類含噪聲的線性系統(tǒng)的差分方程或狀態(tài)方程，可以轉化為預報誤差方程，而預報誤差方程與似然函數(shù)之間可以建立起直接的聯(lián)系，所得結果具有較寬的適用范圍。根據(jù)輸入和輸出數(shù)據(jù)，可得相應集合120§4-3極大似然估計的一致性動態(tài)系統(tǒng)構造預報誤差方程：因此，預報誤差方程中的121構造預報誤差方程：因此，預報誤差方程中的43可見，預報誤差方程代表一大類含噪聲的線性動態(tài)系統(tǒng)。假設：122可見，預報誤差方程代表一大類含噪聲的線性動態(tài)系統(tǒng)。假設：44噪聲的條件期望取性能指標為(殘差平方和的均值)123噪聲的條件期望取性能指標為(殘差平方和的均值)4512446下面給出簡要證明。由預報誤差模型，預報誤差：由預報誤差方程知：因而預報誤差125下面給出簡要證明。由預報誤差模型，預報誤差：由預報誤差方程知式中126式中48(噪聲方差)0127(噪聲方差)04912850于是有從而證明了預報誤差估計和正態(tài)條件下的極大似然估計具有一致性，都是真實參數(shù)的一致估計。129于是有從而證明了預報誤差估計和正態(tài)條件下的極大似然估計具有一§4-4預報誤差參數(shù)辨識法極大似然法要求已知數(shù)據(jù)的概率分布，通常都假設數(shù)據(jù)服從正態(tài)(高斯)分布。然而，實際問題中的數(shù)據(jù)不一定都是正態(tài)分布的。當數(shù)據(jù)的概率分布不知道時，無法應用極大似然估計。預報誤差參數(shù)辨識法不要求數(shù)據(jù)概率分布先驗知識，是一種更加一般的參數(shù)辨識方法，也是極大似然估計的一種推廣。業(yè)已證明，當數(shù)據(jù)的概率服從正態(tài)分布時，預報誤差估計法等價于極大似然法（Goodwin澳大利亞教授,1977）.130§4-4預報誤差參數(shù)辨識法極大似然法一、預報誤差準則⒈預報誤差模型131一、預報誤差準則⒈預報誤差模型53則預報誤差模型：預報誤差模型表明：k時刻的輸出，可以用k時刻以前的數(shù)據(jù)來“預報”。132則預報誤差模型：預報誤差模型表明：k時刻的輸這種預報，可使預報誤差范數(shù)平方的條件期望最小，即顯然，這種“最好”的輸出預報，應是“最好”模型的輸出。由最優(yōu)控制理論知，“最好”輸出預報，應是使某一個預報誤差準則(即性能指標)為極小而獲得。133這種預報，可使預報誤差范數(shù)平方的條件期望最小，即⒉預報誤差準則常用的誤差準則有如下兩種：134⒉預報誤差準則常用的誤差準則有如下兩種：56而在多入-多出情況下135而在多入-多出情況下57二、預報誤差法與極大似然法之間的關系⒈預報誤差模型的似然函數(shù)應用Bayes公式，得條件概率密度函數(shù)136二、預報誤差法與極大似然法之間的關系⒈預報誤差模型的似然函數(shù)由預報誤差模型137由預報誤差模型59必有故138必有故60幅值相乘相角相加139幅值相乘相角相加61⒉預報誤差協(xié)方差已知時的似然函數(shù)由似然函數(shù)140⒉預報誤差協(xié)方差已知時的似然函數(shù)由似然函數(shù)6根據(jù)矩陣跡的運算性質：故已令有(樣本協(xié)方差)141根據(jù)矩陣跡的運算性質：故已令有(樣本協(xié)方差)63表明：142表明：64⒊預報誤差協(xié)方差未知時的似然函數(shù)取負對數(shù)似然函數(shù)，有根據(jù)矩陣跡的微分運算法則：143⒊預報誤差協(xié)方差未知時的似然函數(shù)取負對數(shù)似然函14466以代替，負對數(shù)似然函數(shù)為145以代替，負對數(shù)似然函數(shù)為67：當為正態(tài)分布不相關隨機向量時，等價于取極小，又等價于第2種預報誤差準則取極小。在這種意義下，極大似然法與預報誤差法也是等價的。結論預報誤差法與極大似然法等價?；蛘哒f，極大似然法是預報誤差法的特例。在上式中,右端各項為正,必有：等價于.由于似然函數(shù)取極大,146：當為正態(tài)分布不相關隨機向量時，等價于三、預報誤差參數(shù)估計方法(Newton-Raphson法)⒈預報誤差參數(shù)估計法實質由于預報誤差準則或一般都是參數(shù)的非線性函數(shù)，故令極小化求的方法，歸納為極小化的最優(yōu)化算法。若預報誤差的協(xié)方差陣已知，則取作為預報誤差準則，且取權陣；若未知，則應選為預報誤差準則。147三、預報誤差參數(shù)估計方法(Newton-Raphson法)⒈⒉預報誤差準則極小化的最優(yōu)化算法根據(jù)Newton——Raphson原理，的最優(yōu)化算法歸納為如下迭代方程：式中：——第次迭代的參數(shù)估計值；——預報誤差準則