第4章最小二乘類辨識算法 (2).ppt

1、1,第章最小二乘類參數(shù)辨識方法（一）,2,4.0 引言 4.1 最小二乘法的基本概念 4.2 最小二乘問題的提法 4.3 最小二乘問題的解 4.4 最小二乘估計的可辨識性 4.5 最小二乘估計的幾何解析 4.6 最小二乘參數(shù)估計值的統(tǒng)計性質(zhì) 4.7 噪聲方差估計 4.8 最小二乘參數(shù)估計的遞推算法,m次獨立試驗的數(shù)據(jù),4.0 引言,1801年初，天文學家皮亞齊發(fā)現(xiàn)了谷神星。 1801年末，天文愛好者奧博斯，在高斯預 言的時間里，再次發(fā)現(xiàn)谷神星。 1802年又成功地預測了智神星的軌道。,高斯自己獨創(chuàng)了一套行星軌道計算 理論。 高斯僅用1小時就算出了谷神星的 軌道形狀，并進行了預測,1794年，高

2、斯提出了最小二乘的思想。,1794年，高斯提出的最小二乘的基本原理是,未知量的最可能值是使各項實際觀測值和計算值之間差的平方乘以其精確度的數(shù)值以后的和為最小。,6,最小二乘類辨識算法的主要內(nèi)容,最小二乘辨識算法 自適應辨識算法 偏差補償最小二乘法 增廣最小二乘算法 廣義最小二乘法 輔助變量法 相關二步法,7,如果 僅僅關心所要辨識的過程輸入輸出特性 可以將所過程視為“黑箱” 而不考慮過程的內(nèi)部機理,8,過程的“黑箱”結(jié)構(gòu) u(k) 和 z(k) 分別是過程的輸入和輸出 - 描述輸入輸出關系的模型，稱為過程模型,9,通?？梢员硎境?其中,（4.0.1）,（4.0.2）,10,n(k)為噪聲 可以

3、表示成均值為零的平穩(wěn)隨機系列 式中,（4.0.5）,（4.0.4）,（4.0.3）,11,各種方法所用的辨識模型結(jié)構(gòu)略有不同 最小二乘法（受控自回歸 CAR模型） 增廣最小二乘法(受控自回歸滑動平均 CARMA模型) 廣義最小二乘法(動態(tài)調(diào)節(jié) DA模型),（4.0.9）,（4.0.8）,（4.0.7）,12,經(jīng)比較可以看出 各種方法所用過程模型一樣 只是噪聲模型有所不同,根據(jù)不同的辨識原理，參數(shù)模型辨識方法可歸納成三類： 最小二乘類參數(shù)辨識方法，其基本思想是通過極小化如下準則函數(shù)來估計模型參數(shù)： 其中 代表模型輸出與系統(tǒng)輸出的偏差。典型的方法有最小二乘法、增廣最小二乘法、輔助變量法、廣義最小二

4、乘法等。,（4.0.10）, 梯度校正參數(shù)辨識方法，其基本思想是沿著準則函數(shù)負梯度方向逐步修正模型參數(shù)，使準則函數(shù)達到最小，如隨機逼近法。 概率密度逼近參數(shù)辨識方法，其基本思想是使輸出z 的條件概率密度 最大限度地逼近條件 下的概率密度 ，即 典型的方法是極大似然法。,（4.0.11）,15,4.1 最小二乘法的基本概念,最小二乘法 1795年高斯在其著名的星體運動軌跡預報研究工作中提出的,后來成了估計理論的奠基石。 最小二乘的基本結(jié)果有兩種算法： 一次完成算法或批處理算法：利用一批觀測數(shù)據(jù)，一次計算或經(jīng)反復迭代，以獲得模型參數(shù)的估計值。, 遞推算法：在上次模型參數(shù)估計值 的基礎上，根據(jù)當前獲

5、得的數(shù)據(jù)提出修正，進而獲得本次模型參數(shù)估計值 ，廣泛采用的遞推算法形式為 其中 表示k 時刻的模型參數(shù)估計值，K(k)為算法的增益，h(k-d) 是由觀測數(shù)據(jù)組成的輸入數(shù)據(jù)向量，d 為整數(shù)， 表示新息。,（4.1.1）,17,假設 過程的輸入輸出關系可以描述成以下最小二乘格式 z(k) 過程的輸出 參數(shù) h(k) 觀測的數(shù)據(jù)向量 n(k) 均值為零的隨機噪聲,（4.1.2）,18,利用數(shù)據(jù)序列z(k)和h(k) 極小化下列準則函數(shù) 使 J 最小的 的估計值 ，稱為的最小二乘估計值。,（4.1.3）, 最小二乘原理表明，未知參數(shù)估計問題，就是求參數(shù)估計值 ，使序列的估計值盡可能地接近實際序列，兩

6、者的接近程度用實際序列與序列估計值之差的平方和來度量。 最小二乘估計值應在觀測值與估計值之累次誤差的平方和達到最小值處，所得到的模型輸出能最好地逼近實際系統(tǒng)的輸出。,20,.2 最小二乘問題的提法,設時不變 SISO 動態(tài)過程的數(shù)學模型為 所要解決的最小二乘問題 如何利用過程的輸入、輸出數(shù)據(jù) 確定多項式 和 的系數(shù),（4.2.1）,21,在最小二乘問題中，一般對模型作以下假設 首先，模型的階次 ， 已定 且一般 其次，將（4.1.4）模型寫成最小二乘格式 式中,（4.2.2）,（4.2.3）,22,對 (4.1.5)式構(gòu)成一個線性方程組 可以寫成,（4.2.4）,23,（4.2.5）,24,另

7、外 設模型的噪聲 n(k) 特征為,（4.2.6）,25,在最小二乘法中 假定 n(k) 是白噪聲序列 - n(k)的方差 最后，假設數(shù)據(jù)長度,（4.2.8）,（4.2.7）,(4.2.4)式有L個方程，包括 個未知數(shù)。 如果 ，方程的個數(shù)少于未知數(shù)的個數(shù)，模型參數(shù) 不是唯一確定。 如果 ，則只有當 時， 才有唯一確定解。 當 時，只有取 ，才有可能確定一個最優(yōu)的模型參數(shù) ，而且為了保證辨識的精度，L必須充分大。,27,.3 最小二乘問題的解,取準則函數(shù) - 加權因子，對 如 K=1 時 ，K=L時,體現(xiàn)對不同時刻的數(shù)據(jù)給予不同程度的信任,（4.3.1）,28,準則函數(shù) 可寫成二次型形式 -

8、加權矩，一般為正定的對角矩陣,（4.3.3）,（4.3.2）,29,設 使 則有 則得,（4.3.4）,（4.3.5）,（4.3.6）,30,當 可逆時（稱為正則）時 充分條件 因 所以 , 是唯一的,（4.3.8）,（4.3.7）,31,通過極小化（4.3.2）式 計算 稱為加權最小二乘法 取 則（4.3.7）式變化成 - 最小二乘估計值,（4.3.9）,（4.3.10）,32,上述最小二乘法的計算步驟為：首先獲取一批足夠數(shù)量的過程輸入輸出數(shù)據(jù)和，并確定加權矩陣，計算的逆矩陣（要求必須是正則矩陣），按照式(4.3.7)即可計算出過程參數(shù)的估計值。這種方法稱為“一次完成算法”，它為理論分析提供

9、了便利，但在計算時需要對矩陣求逆，如果矩陣維數(shù)過大，矩陣求逆的計算量將急劇增加，對計算機造成一定的負擔。較為實用的方法是“遞推算法”，即把式(4.3.7)化成遞推計算的形式，這樣便于實現(xiàn)在線辨識。,33,一次性完成算法要求必須是正則矩陣，其充分必要條件是過程的輸入信號必須是階持續(xù)激勵信號。即要求,（4.3.11）,34,其中,（4.3.12）,35,上述條件稱為開環(huán)可辨識性條件。即辨識所用的輸入信號不能隨意選擇，否則可能造成不可辨識。目前常用的信號有： ）隨機序列（白噪聲） ）偽隨機序列（如序列） ）離散序列，通常指對含有種頻率（各頻率不能滿足整數(shù)倍關系）的正弦信號進行采樣處理獲得的離散序列。

10、,例 考慮仿真對象,選擇如下的辨識模型進行一般的最小二乘參數(shù)辨識。,式中，v(k)是服從正態(tài)分布的白噪聲N(0,1)。輸入信號采用4階M序列，其幅值為1.,4階M序列,輸出信號,一般最小二乘參數(shù)辨識流程圖,56,.6 最小二乘參數(shù)估計值的統(tǒng)計性質(zhì),最小二乘參數(shù)估計值具有隨機性，因此需要研究它們的統(tǒng)計性質(zhì) 1. 無偏性 2. 參數(shù)估計偏差的協(xié)方差性質(zhì) 3一致性 4. 有效性 5. 漸近正態(tài)性,57,1. 無偏性(無偏性是用來衡量參數(shù)估計值是否圍繞真值波動的一個性質(zhì)。) 定理 1 若模型 中的噪聲向量 的均值為零，即 ，并且 與 是統(tǒng)計獨立的，即 ，則加權最小二乘參數(shù)估計值 是無偏估計量，即 其中

11、 表示系統(tǒng)的真實值。,(4.6.1),58,證明:根據(jù)（5.3.7）及定理1所給的條件，參數(shù)估計量 的數(shù)學期望為 所以 是無偏估計。,(4.6.2),59,無偏性并不要求噪聲一定是白噪聲，只要求它與統(tǒng)計獨立即可。如果是白噪聲，則與一定統(tǒng)計獨立。 另外，定理所給出是條件是為無偏估計的充分條件，并不是必要條件。它的必要條件應是,(4.6.3),60,即與正交。 當定理的條件不能滿足時，它提供了一種獲取無偏估計的方法，即可通過選擇加權矩陣使之滿足正交條件。,61,2. 參數(shù)估計偏差的協(xié)方差性質(zhì) （ 參數(shù)估計偏差的協(xié)方差陣是用來評價參數(shù)估計精度的一個依據(jù)。） 定理 2 若模型 的 是均值為零，即 ，協(xié)

12、方差陣為 ，并且與 統(tǒng)計獨立的噪聲向量，則參數(shù)估計偏差 的協(xié)方差陣為,(4.6.4),62,證明：根據(jù)（5.3.7）及定理1、定理2所給出的條件，有,(4.6.5),63,推論 1，在定理2的條件下，如果加權矩陣 ，則模型 的參數(shù)估計值為 相應的參數(shù)估計偏差的協(xié)方差為,此時參數(shù)的估計值稱為Markov估計，或最小方差估計,(4.6.7),(4.6.6),64,推論 2 若模型 中的 是零均值的白噪聲向量，且加權矩陣取 ，則參數(shù)估計偏差的協(xié)方差陣為 其中 是噪聲的方差，且定義,（5.6.8）,推論1、推論2可以由定理2直接得出，它們是評價最小二乘參數(shù)辨識方法的重要依據(jù)。如果噪聲同時又服從正態(tài)分布

13、，則（4.6.6）式給出的參數(shù)估計值其偏差的方差達到最小值，稱為最小方差估計，也稱Markov估計。,65,66,3一致性 如果估計值具有一致性，說明它將以概率 1 收斂于真值。 定理 3 在推論2的條件下，最小二乘參數(shù)估計是一致性收斂的，即 w.p（with probability）1,W. P. 1,(4.6.9),67,證明： 根據(jù)（4.5.8）式，有 式中 將依概率1收斂于一個正定陣，且 是有界的，因而,（4.6.10）,（4.6.11）,68,又因 所以,（4.6.12）,69,需要特別指出：只有當是白噪聲時，定理才能成立。,74,4. 有效性 即估計值偏差的協(xié)方差陣將達到最小值。

14、定理4 在推論2的條件下，并設噪聲 服從正態(tài)分布，則最小二乘參數(shù)估計 是有效估計值，即參數(shù)估計偏差的協(xié)方差達到Cramer-Rao不等式的下界 其中，M為Fisher信息矩陣,（4.6.21）,（4.6.22）,75,證明：因為 其中 由定理3知,（4.6.23）,（4.6.24）,76,則 ，故有 那么 即,（4.6.25）,（4.6.26a）,（4.6.26b）,77,上式取偏導數(shù)，得 于是,（4.6.27）,（4.6.28）,78,推論3 在推論1 的條件下，并設噪聲 服從正態(tài)分布，則最小誤差方差估計 是有效估計，即 其中，M為Fisher信息矩陣。,（4.6.29）,證明：和證明定理3

15、類似，同類可以證明Markov參數(shù)估計 將依概率1收斂于 。則可得Fisher信息矩陣為 與（4.6.7）比較知，（4.6.29）式成立。 定理4和推論3表明，在一定條件下，最小二乘參數(shù)估計值和Markov參數(shù)估計值都是有效估計量。,（4.6.30）,80,5. 漸近正態(tài)性 定理5 在推論2的條件下，設噪聲 服從正態(tài)分布，則最小二乘估計值 服從正態(tài)分布，即,（4.6.31）,81,證明：根據(jù)及 可得 由知 可見，是的線性函數(shù)，則 整理，即為（）式。,（4.6.32）,（4.6.33）,（4.6.34）,82,推論 在推論1 的條件下，并設噪聲 服從正態(tài)分布，則最小誤差方差估計 服從正態(tài)分布。即

16、,（4.6.35）,83,4.7 噪聲方差估計,定理：在推論 2的條件下噪聲方差 的估計值由下式計算 其中 ， 為輸出殘差，即,（4.7.1）,84,該定理提供了一種計算噪聲方差估計值的方法。它必須先獲得參數(shù)估計值，繼而進一步求得輸出殘差 然后按上式求的估計值。 而且是的無偏估計量。,85,證明是的無偏估計,因 ，故為同冪矩陣， ，則,（4.7.2）,（4.7.3）,（4.7.4）,86,利用下列公式,并考慮到 是白噪聲向量，它必與 統(tǒng)計獨立，則有,（4.7.5）,87,（4.7.6）,表 不同噪聲水平下的辨識結(jié)果,90,4.8 最小二乘參數(shù)估計的遞推算法,新的估計值 = 老的估計值 + 修正

17、項,（4.8.1）,91,初值的選取 （1）根據(jù)一批數(shù)據(jù)，利用一次完成算法，預先求得 （2）直接給定初始值 ，a - 充分大的實數(shù) ， - 充分小的實向量,（4.8.2）,最小二乘參數(shù)估計的遞推算法,目的：減小重復計算量和貯存空間、便于在線應用 思想：按觀測次序一步一修正，即 新的估計值 =老的估計值 + 修正項,改寫一次性完成算法：,(na+nb) (na+nb),L 1,(na+nb) 1,（4.8.3）,基于數(shù)據(jù)長度為L的測量值，所得參數(shù)最小二乘估計為：,L,L-1,L-2,1,Past,Future,“估計” z(1)所用數(shù)據(jù), 這些數(shù)據(jù)構(gòu)成 h(1),max(na , nb)拍,ma

18、x(na , nb)拍,“估計” z(L)所用數(shù)據(jù), 這些數(shù)據(jù)構(gòu)成 h(L),令k=L（即假設觀測方程個數(shù)為k）, 可得：,其中：,以下省去,k(na+nb),L被稱作記憶長度或數(shù)據(jù)長度,（4.8.4）,（4.8.5）,（4.8.6）,進一步：,重溫,可知,(na+nb) (na+nb),此 k 指觀測 數(shù)據(jù)長度,（4.8.8）,（4.8.9）,（4.8.7）,這樣：,因為,（4.8.10）,（4.8.11）,引進增益矩陣,可得加權最小二乘的另一表述式：,上式中除K(k)以外均為迭代計算形式。能否對K(k) ，本質(zhì)上是P(k), 也實現(xiàn)迭代計算呢？ P(k)已經(jīng)被定義為逆矩陣：,欲實現(xiàn)其迭代計算，需用到矩陣反演公式。,（4.8.12）,（4.8.13）,（4.8.14）,