遞推最小二乘法doc資料

1、遞推最小二乘法10(1)(1)(2)(2),()()nnay nnay nnyby nNnNb( )(1)(1)(1)(1)(2)(2)(2)(1)()()()y nyu nuy nyu nuy nNy Nu nNu N 則可寫為 y N維輸出向量2n+1維參數向量N維噪聲向量N(2n+1)維測量矩陣最小二乘法：最小二乘法：eyyy 最小二乘估計要求殘差的平方和為最小，即按照指標函數 () ()TTJe eyy為最小來確定估值 。求J對 的偏導數并令其等于0 可得 的最小二乘估計 1()TTy J為極小值的充分條件是 2220TJ 即矩陣 為正定矩陣正定矩陣。 T 反反饋饋控控制制律律 動動態(tài)

2、態(tài)系系統(tǒng)統(tǒng)模模型型 y(k) u(k) 遞遞推推最最小小二二乘乘 參參數數辨辨識識算算法法 圖4.1 動態(tài)系統(tǒng)遞推最小二乘在線辨識過程原理圖T1111NNNn NNNyK1T11111NNNNNNKP P 1TT11111T111()NNNNNNNNNNNNIKPPP P PP令 ，則遞推最小二乘算法1()TNNNP 遞推最小二乘法遞推最小二乘法該遞推公式有明顯的物理意義：1NNN1T11111NNNNNNKP P T1111NNNn NNNyKT111NNn NNNyKT11NNn Ny稱 為新息，表示實測值與預報值之差，而 為新息的校正增益。1NKT11n NNNy數據飽和現(xiàn)象數據飽和現(xiàn)象

3、 在實際應用中，遞推最小二乘法常常會出現(xiàn)數據飽和現(xiàn)象。 所謂數據飽和現(xiàn)象是指隨著時間的推移，采集的數據越來越多，新數據提供的信息被舊數據所淹沒。1TT111111NNNNNNNNNPPP P PT111T1101NNNNNNNNNPPPPP 1TT111111NNNNNNNNNPPP P P數據飽和現(xiàn)象數據飽和現(xiàn)象 可見，隨著遞推次數的增加，P(N)將越來越小,最后可能趨于零。 因此根據上式，新的采樣值對參數估計的改進，已不再起作用了。1T11111NNNNNNKP P T1111NNNn NNNyK 為了克服數據飽和現(xiàn)象，可以用降低舊數據影響的辦法來修改算法。4.6 4.6 漸消記憶遞推算法

4、漸消記憶遞推算法 漸消記憶法是對每個數據按指數加權，老的數據作用逐漸減弱。11NNTN1(1)NNYYy nN11NNTN1(1)NNYYy nN如果再獲得一對新的觀測值 ，(1)u nN(1)y nN則有 由n+N個觀測數據獲得 的最小二乘估計為1()TTNNNNNY 01111111()TTNNNNNY 1111(1)TTNNNNTTTNNNYy nN 此時，由n+N+1個觀測數據獲得 的最小二乘估計為122111(1)TTTNNNNNNNYy nN （*）121111111111122221111121111221111111TTNNNNTTTTTTNNNNNNNNNNNNTTTTTTN

5、NNNNNNNNNNN 111111()()TTTABBAA B IB A BB A12211111111121111111112111121(1)1(1)TTTNNNNNNNNTTTTTTTTNNNNNNNNNNNNNNNNTTTTTTNNNNNNNNNNNNNYy nNYYy nN 將上面的結果帶入（*）式，并展開得111211111111211111121111(1)(1)TTTTNNNNNNNNNNNTTTNNNNNNNTTTTNNNNNNNNNNy nNy nN 又因為 ，則上式變?yōu)?1()TTNNNNNY 令令 ，則得則得漸消記憶漸消記憶的遞推最小二乘算法的遞推最小二乘算法1()T

6、NNNP 2T1111NNNn NNNyK1T1111NNNNNNKP P 1TT111111NNNNNNNNNPPP P P漸消記憶漸消記憶遞推最小二乘算法遞推最小二乘算法121111111111122221111121111221111111TTNNNNTTTTTTNNNNNNNNNNNNTTTTTTNNNNNNNNNNNN T1111NNNn NNNyK1T1111NNNNNNKP P 1TT111111NNNNNNNNNPPP P P漸消記憶漸消記憶遞推最小二乘算法遞推最小二乘算法 其中，稱為“遺忘因子”。選擇不同的就得到不同的遺忘效果。 越小，遺忘的速度越快。 =1：無遺忘； =0：

7、全遺忘 一般來說， 必須選擇接近于1的正數，對于線性系統(tǒng)，應選擇0.951。限定記憶法限定記憶法 思路：限定每次估計都用最新的n+N個數據，增加一個新數據就去掉一個老數據。(1)(2)()Ny ny nYy nN12TTNTN1(2)(3)(1)Ny ny nYy nN2311TTNTN4.7.1 最小二乘估計的特點最小二乘估計的特點1） 唯一性唯一性 3）應用簡單，魯棒性好）應用簡單，魯棒性好4.7最小二乘估計的性質最小二乘估計的性質2）適用范圍廣）適用范圍廣4.7.2 最小二乘估計的概率性質最小二乘估計的概率性質 如果如果(k)是不相關隨機序列，且均值為是不相關隨機序列，且均值為0。1）

8、無偏性無偏性 2）一致性）一致性4） 漸進正態(tài)性漸進正態(tài)性輔助變量法、廣義最小二乘法、增廣矩陣法輔助變量法、廣義最小二乘法、增廣矩陣法N1 當時， 以概率 趨近于 。 如果如果是均值為是均值為0且服從正態(tài)分布的白噪聲向量，則最小且服從正態(tài)分布的白噪聲向量，則最小二乘參數估計值服從正態(tài)分布。二乘參數估計值服從正態(tài)分布。3） 有效性有效性在眾多無偏估計中，方差最小。在眾多無偏估計中，方差最小。最小二乘估計法的缺陷最小二乘估計法的缺陷 最小二乘估計的無偏性、一致性等概率性質，都是在(k)為零均值、不相關隨機序列的前提下得到的。 但實際系統(tǒng)中(k)往往是相關的，有些系統(tǒng)即使外加干擾為不相關的隨機序列，

9、但在參數估計過程中，也變成相關的隨機序列了。y 1()TTy 最小二乘估計法的缺陷最小二乘估計法的缺陷系統(tǒng)B(z-1)/A(z-1)+10( )(1)() ( )(),1,2,3nnx ka x ka x knb u kb u kn k( )( )( )y kx kk101( )(1)()( )()( )(1)()nnny ka y ka y knb u kb u knkakakn最小二乘估計法的缺陷最小二乘估計法的缺陷1( )( )(1)()nkkakakn( ) ()0Ekkj 可見(k)是相關序列，進而得到的最小二乘參數估計不是無偏、一致估計。 因而，LS估計方法的應用受到一定限制，下面

10、介紹在LS基礎上加以改進的方法。4.8 輔助變量法輔助變量法 現(xiàn)在開始討論如何克服最小二乘法的有偏估計問題。 對于原辨識方程 y （4.8.1）當 是不相關隨機序列時，最小二乘法可以得到參數向量 的一致性無偏估計。但是，在實際應用中 往往是相關隨機序列。 ( )k( )k式中Q是非奇異的。 假定存在著一個 的矩陣Z（與 同階數）, 滿足約束條件 (21)Nn1lim01limTTNTTNZE ZNZE ZQN （4.8.2）TZ用 乘以式（4.8.1）等號兩邊得 TTTZ yZZ（4.8.3）由上式可得 11TTTTZZ yZZ（4.8.4）如果取 1IVTTZZ y（4.8.5）作為 的估值

11、，則稱估值 為輔助變量估值，矩陣Z稱為輔助變量矩陣，Z中的元素稱為輔助變量。 IV從式（4.8.5）可以看到， 與最小二乘法估值 的計算公式具有相同的形式，因此計算比較簡單。 IV根據式（4.8.1）和式（4.8.5）可得 1IVTTZZ（4.8.6）（4.8.7）當N很大時，對上式等號兩邊取極限得 1IV11limlimlimTTNNNZZNN（4.8.8）根據式（4.8.2）所假定的約束條件，可得 IVlimN因此輔助變量估計是無偏估計。 剩下的問題是如何選擇輔助變量，即如何確定輔助變量矩陣Z的各個元素。選擇輔助變量的基本原則是式（4.8.2）所給出的兩個條件必須得到滿足。 這可以簡單地理

12、解為所選擇的輔助變量應與 不相關，但與 中的 和 強烈相關。( )k( )u k( )y kZ可以有多種選擇方法，下面介紹兩種常用的選擇方法。1）迭代輔助變量參數估計法 輔助變量取作 , 是輔助模型 ( )(1,2,1)y kknN( )y ky （4.8.9）的輸出向量 的元素，輔助變量矩陣Z為 y 12(1)(1)(1)1(2)(2)(2)()()()TTTNy nyu nuy nyu nuZy Nu nNu Ny nN12( )(1)(1)(1)(1)(2)(2)(2)()()()()TTTNy nyu nuy nyu nuy nNy Nu nNu N 1IVIV Z()2TTyyZZ y 1）先用最小二乘法求出粗略的 ；2）再將 帶入，可得 ；3）利用y構造輔助變量矩陣 ；4）；5）令，重復第 步直到結果滿意。迭代輔助變量參數估計法迭代輔助變量參數估計法 計算步驟：計算步驟：2）自適應濾波法 這種方法所選擇的輔助變量 和輔助變量矩陣Z的形式與上一種方法完全相同，只是輔助模型中參數向量 的估計方法與上一種方法有所不同。取 ( )y k( )(1) (1)()kkkd 式中： 取 ；d 取 ； 為k時刻所得到的參數向量估計值。當 是持續(xù)激勵信號時，所選的輔助變量可以滿足式（4.8.2）所