幾種最小二乘法遞推算法的小結(jié).doc

一、 遞推最小二乘法遞推最小二乘法的一般步驟：1. 根據(jù)輸入輸出序列列出最小二乘法估計的觀測矩陣： 沒有給出輸出序列的還要先算出輸出序列。 本例中，。2. 給辨識參數(shù)和協(xié)方差陣P賦初值。一般取=0或者極小的數(shù)，取特別大，本例中取=100。3. 按照下式計算增益矩陣G： 4. 按照下式計算要辨識的參數(shù)： 5. 按照下式計算新的協(xié)方差陣P： 6. 計算辨識參數(shù)的相對變化量，看是否滿足停機準則。如滿足，則不再遞推；如不滿足，則從第三步開始進行下一次地推，直至滿足要求為止。 停機準則： 本例中由于遞推次數(shù)只有三十次，故不需要停機準則。7. 分離參數(shù)：將a1.anab1.bnb從辨識參數(shù)中分離出來。8. 畫出被辨識參數(shù)的各次遞推估計值圖形。為了說明噪聲對遞推最小二乘法結(jié)果的影響，程序5-7-2在計算模擬觀測值時不加噪聲，辨識結(jié)果為a1 =1.6417，a2 = 0.7148，b1 = 0.3900，b2 =0.3499，與真實值a1 =1.642， a2 = 0.715， b1 = 0.3900，b2 =0.35相差無幾。程序5-7-2-1在計算模擬觀測值時加入了均值為0，方差為0.1的白噪聲序列，由于噪聲的影響，此時的結(jié)果為變值，但變化范圍較小，現(xiàn)任取一組結(jié)果作為辨識結(jié)果。辨識結(jié)果為a1 =1.5371， a2 = 0.6874， b1 = 0.3756，b2 =0.3378。 程序5-7-2-2在計算模擬觀測值時加入了有色噪聲，有色噪聲為E(k)+1.642E(k-1)+0.715E(k-2)，E(k)是均值為0，方差為0.1的白噪聲序列，由于有色噪聲的影響，此時的辨識結(jié)果變動范圍遠比白噪聲時大，任取一組結(jié)果作為辨識結(jié)果。辨識結(jié)果為a1 =1.6676， a2 = 0.7479， b1 = 0.4254，b2 =0.3965。 可以看出，基本的最小二乘法不適用于有色噪聲的場合。二、 廣義最小二乘法 廣義最小二乘法適用于AR模型，它的基本思想在于對數(shù)據(jù)先進行一次白化濾波處理，然后利用基本的最小二乘法對濾波后的數(shù)據(jù)進行辨識。 廣義最小二乘法的遞推算法步驟如下：1. 給定初始條件： 2.利用 計算及。3.利用構(gòu)造濾波后的觀測矩陣。本例中，。4.利用下式估計遞推計算5.由新得到的計算出新的殘差估計值，并構(gòu)造殘差數(shù)據(jù)向量由濾波前的觀測向量計算出新的殘差估計值殘差數(shù)據(jù)向量。6. 利用下式估計遞推計算7.返回第2步進行迭代計算，直至獲得滿意的辨識結(jié)果。 程序5-7-4使用廣義最小二乘法，得到的結(jié)果為a1 =1.6363，a2 =0.7172，b1 = 0.3679，b2 = 0.3603，c0 =-0.6951， c1 =-0.0214，結(jié)果a1、a2、b1、b2與真實值結(jié)果a1 =1.642， a2 = 0.715， b1 = 0.39，b2 =0.35較為接近，但c0、c1與真實值1、-0.4相差較遠。三、 增廣最小二乘法增廣最小二乘法是最小二乘法的一種推廣，它只是擴充了參數(shù)向量和數(shù)據(jù)向量的維數(shù)，在辨識過程中考慮了噪聲模型的參數(shù)，適用于MA模型。增廣最小二乘法的一般步驟如下：1.根據(jù)輸入輸出序列以及噪聲序列列出增廣最小二乘法估計的數(shù)據(jù)向量： 沒有給出輸出序列的還要先算出輸出序列。 本例中，。9. 給辨識參數(shù)和協(xié)方差陣P賦初值。一般取=0或者極小的數(shù)，取特別大，本例中取=100。10. 按照下式計算增益矩陣G： 11. 按照下式計算要辨識的參數(shù)： 12. 按照下式計算新的協(xié)方差陣P： 13. 計算辨識參數(shù)的相對變化量，看是否滿足停機準則。如滿足，則不再遞推；如不滿足，則從第三步開始進行下一次地推，直至滿足要求為止。 停機準則： 本例中由于遞推次數(shù)只有三十次，故不需要停機準則。14. 分離參數(shù)：將a1.anab1.bnbd1dnd從辨識參數(shù)中分離出來。15. 畫出被辨識參數(shù)的各次遞推估計值圖形。由以上可見，遞推增廣最小二乘法的算法與基本最小二乘法的遞推算法形式是一致的，只是參數(shù)向量和數(shù)據(jù)向量的維數(shù)擴充了m維。程序5-7-5在是運用增廣最小二乘法來辨識系統(tǒng)參數(shù)，得到的結(jié)果為a1 =1.6412，a2 = 0.7144，b1 = 0.3900，b2 =0.3497，d0=0.9992，d1=1.6417