最小二乘法綜述

1、大學(xué)20132014學(xué)年第一學(xué)期期末考試系統(tǒng)辨識（小論文）題目：最小二乘法綜述學(xué)院：電氣與信息工程學(xué)院系:專業(yè)：班級：學(xué)生姓名：學(xué)號:日期：2016/12/27：最小二乘法綜述摘要：最小二乘法是一種最基本的辨識方法，本文首先對系統(tǒng)辨識概念以及最小二乘法原理進行了介紹，針對最小二乘存在的缺陷：一是隨著數(shù)據(jù)的增長，最小二乘法將出現(xiàn)所謂的“數(shù)據(jù)飽和”現(xiàn)象；二是存在有色噪聲時不能獲得無偏一致估計。進行了分析并闡述了幾種能有效解決上述問題的改進型最小二乘法，分別稱為遺忘因子法、限定記憶法和廣義最小二乘法，并且在Matlab上進行了仿真分析。最后對最小二乘法在系統(tǒng)辨識中的發(fā)展趨勢做了預(yù)測。關(guān)鍵詞：最小二乘

2、法改進型最小二乘法Matlab發(fā)展趨勢引言系統(tǒng)辨識歸根到底是一種數(shù)學(xué)建模的過程，而建模過程中運用的方法并不唯一，最小二乘法是較早被應(yīng)用于系統(tǒng)辨識中的一類方法。1962年，L.A.Zadeh最先提出了系統(tǒng)辨識的定義：“辨識就是在輸入和輸出數(shù)據(jù)的基礎(chǔ)上，從一組給定的模型類中，確定一個與所測系統(tǒng)等價的模型?！焙唵蔚膩碚f，就是在現(xiàn)有數(shù)據(jù)的基礎(chǔ)上，按照一個準(zhǔn)則在一組模型類中選擇一個與提供的數(shù)據(jù)擬合得最好的模型。而根據(jù)最小二乘法的定義：“最小二乘法是一種數(shù)學(xué)優(yōu)化技術(shù)，它通過最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配?！逼浠舅枷刖褪亲寣崪y數(shù)據(jù)和估計數(shù)據(jù)之間的平方和最小，這恰恰是系統(tǒng)辨識所需要解決的問題，所以

3、最小二乘法很早就被用來求解辨識中需要的擬合數(shù)學(xué)模型。本文在闡述最小二乘法理論的基礎(chǔ)上對于其在系統(tǒng)辨識中的應(yīng)用做了介紹，并指出實際應(yīng)用中存在的不足，列舉了幾種改進型的最小二乘算法限定記憶法和遺忘因子法，并通過Matlab進行仿真分析，最后給出了系統(tǒng)辨識的發(fā)展趨勢1. 基于最小二乘法的系統(tǒng)辨識的理論基礎(chǔ)及應(yīng)用1.1 最小二乘法歷史簡介1801年，意大利天文學(xué)家朱賽普皮亞齊發(fā)現(xiàn)了第一顆小行星谷神星。經(jīng)過40天的跟蹤觀測后，由于谷神星運行至太陽背后，使得皮亞齊失去了谷神星的位臵。隨后全世界的科學(xué)家利用皮亞齊的觀測數(shù)據(jù)開始尋找谷神星，但是根據(jù)大多數(shù)人計算的結(jié)果來尋找谷神星都沒有結(jié)果。時年24歲的高斯也計

4、算了谷神星的軌道。奧地利天文學(xué)家海因里希奧爾伯斯根據(jù)高斯計算出來的軌道重新發(fā)現(xiàn)了谷神星。高斯使用的最小二乘法的方法發(fā)表于1809年他的著作天體運動論中。經(jīng)過兩百余年后，最小二乘法已廣泛應(yīng)用與科學(xué)實驗和工程技術(shù)中，隨著現(xiàn)代電子計算機的普及與發(fā)展，這個方法更加顯示出其強大的生命力。1.2 系統(tǒng)辨識的理論基礎(chǔ)從字面上講，系統(tǒng)辨識(SystemIdentification)就是識別一個系統(tǒng)、辨識一個系統(tǒng)。系統(tǒng)通常是由表征系統(tǒng)輸入輸出關(guān)系的數(shù)學(xué)模型描述的，這個模型有其特定的結(jié)構(gòu)和參數(shù)。因此，系統(tǒng)辨識包含系統(tǒng)結(jié)構(gòu)辨識(SystemStructureIdentification)和參數(shù)估計(Paramete

5、rEstimation)系統(tǒng)結(jié)構(gòu)(或模型結(jié)構(gòu))就是系統(tǒng)數(shù)學(xué)表達式的形式。對單輸入單輸出線性系統(tǒng)而言，模型結(jié)構(gòu)就是系統(tǒng)的階次(Order)；對多變量線性系統(tǒng)而言，模型結(jié)構(gòu)就是系統(tǒng)的能控性結(jié)構(gòu)指數(shù)(ControllabilityStructureIndex)或能觀測性結(jié)構(gòu)指數(shù)(ObservabilityStructureIndex)，系統(tǒng)階次等于系統(tǒng)的能控性結(jié)構(gòu)指數(shù)或能觀測性結(jié)構(gòu)指數(shù)之和。對傳遞函數(shù)而言，系統(tǒng)參數(shù)就是傳遞函數(shù)分子分母多項式的系數(shù)(Coeffi-cient),系統(tǒng)階次就是傳遞函數(shù)分母多項式的次數(shù)(Degree);對狀態(tài)空間模型而言，系統(tǒng)參數(shù)就是狀態(tài)空間模型的A，B，C，D矩陣，就是狀

6、態(tài)向量的維數(shù)或矩陣的維數(shù)，它等于系統(tǒng)的能控性結(jié)構(gòu)指數(shù)系統(tǒng)階次或能觀測性結(jié)構(gòu)指數(shù)之和。求解系統(tǒng)辨識問題實質(zhì)上就是找到合適的數(shù)學(xué)方法來判斷系統(tǒng)的結(jié)構(gòu)以及得到系統(tǒng)參數(shù)。1.3最小二乘法原理最小二乘法作為一種傳統(tǒng)的參數(shù)估計方法，早已經(jīng)被大家所了解。然而大多同學(xué)對最小二乘法的認(rèn)識都比較模糊，僅僅把最小二乘法理解為簡單的線性參數(shù)估計。事實上，最小二乘法在參數(shù)估計、系統(tǒng)辨識以及預(yù)測、預(yù)報等眾多領(lǐng)域都有著廣泛的應(yīng)用。特別是針對動態(tài)系統(tǒng)辨識的方法有很多，但其中應(yīng)用最廣泛，辨識效果良好的就是最小二乘辨識方法，研究最小二乘法在系統(tǒng)辨識中的應(yīng)用具有現(xiàn)實的、廣泛的意義。因此要用最小二乘法解決實際的辨識問題，首先要對最小

7、二乘法有深刻理解。根據(jù)最小二乘法原理，也就是誤差的平方和最小原理，設(shè)：z(k)為k時刻的測量值，z'(k)為k時刻的估計值，誤差的平方和J=工(z(k)-z'(k)2,考慮線性離散系統(tǒng)下的差分方程kz(k)二Kaz(k一i)+遲bu(k一i)+v(k)iii=1i=0將其寫成最小二乘格式z，(k)=hT(k)0+v(k)h(k)=z(k一1),.,z(k一n),u(k一1),.,u(k一n)tab0=a,.,a,b,.,b1n1nabJ=Y(z(k)-hT(k)9)2=(z-H9)T(z-H9)LLLLkz=z(n+1),.,z(n+L)TLababH=hT(n+1),.,hT

8、(n+L)tLababn=max(n,n丿abab當(dāng)9使得J二0時，J在9處取極值。d9考慮到不同時刻的測量值的可信度，可以引入加權(quán)因子A(k)Wi)A(k)則J=(z-H9)tA(z-H9),而A=LLLLLLA(L)丿由J二0得9=(HtAH)-i(HtAz)Q9LLLLLL當(dāng)A正定時=2HtaH正定,LQ92LLLd2J即A(k)>o,vkgnyj正定d92因此宀使得J為極小值。1.4 最小二乘法處理辨識問題的應(yīng)用舉例考慮如下線性系統(tǒng)：z(k)(k-1)+az(k-n)=bu(k-1)+bu(k-n1na1nab其中，u(k)為系統(tǒng)激勵信號，y(k)為系統(tǒng)輸出，e(k)為模型噪聲。

9、:)+e(k)b其系統(tǒng)模型如圖1所示：圖1SISO的系統(tǒng)模型結(jié)構(gòu)圖其中G0)是系統(tǒng)函數(shù)模型，N0)為有色噪聲系統(tǒng)模型,(k)為白噪聲v(k)經(jīng)過系統(tǒng)函數(shù)為N(Z4)的系統(tǒng)后的輸出。通常()B(z-1)G(z丄，式中：AC-i)=1+az-i+az-2+az-na(12na-1丿=bz-1+bz-2+bz-nb112nC(z-1)=1+cz-1+cz-斗.+cz-ncv/、12ncdQ-1丿=dz-1+dz-2+bz-ndI12則系統(tǒng)可表示為：z(k)=)u(k)+。卜)v(k)Az-1Cz-1設(shè)樣本和參數(shù)集為：h(k)=卜z(k-1),0=a,a,a12-z(k-2),-z(k-n),u(k-

10、1),u(k-2),b,b,bT12n,u(k-n)Th(k)為可觀測的量,差分方程可寫為最小二乘形式，即是系統(tǒng)辨識z(k)=hT(k)0+e(k)如何在系統(tǒng)噪聲e(k)存在的情況下從該方程中正確的解出0的任務(wù)。為了求出0，我們面臨三大問題：一是輸入信號的選擇，二是判決準(zhǔn)則的選取，三是辨識算法的選擇，下面一一探討。1.4.1 選擇輸入為了準(zhǔn)確辨識系統(tǒng)參數(shù)，我們對輸入信號有兩大要求，一是信號要能持續(xù)的激勵系統(tǒng)所有狀態(tài)，二是信號頻帶能覆蓋系統(tǒng)的頻帶寬度。除此之外還要求信號有可重復(fù)性，不能是不可重復(fù)的隨機噪聲，因此我們通常選擇M序列或逆M序列作為輸入。1.4.2 準(zhǔn)則函數(shù)因為本文主要探討最小二乘類辨

11、識方法，在此選取準(zhǔn)則函數(shù)J)=藝e(k)2=藝z(k)-hT(k)e2k=1k=1使準(zhǔn)則函數(shù)J(0)=min的e估計值記做，稱作參數(shù)e的最小二乘估計值LS在式z(k)=hT(k)e+e(k)中，令k=1,2,3,L,可構(gòu)成線性方程組：z(k)=Ht(k)0+e(k)LLL式中z=Lz(1)z(2)9e=Le(1)1e(2)z(L)e(L)-z(0)-z(1)z(1n)-z(2-n)au(0)u(1)u(1-n)1u(2-nb)b-z(L-1)-z(L-n)u(L-1)u(L-n)HLab準(zhǔn)則函數(shù)相應(yīng)變?yōu)椋篔(0)=e(k)2=z(k)-hT(k)02=(z-H0)t(z-H0)k=1k=1極小

12、化J(0),求得參數(shù)0的估計值，將使模型更好的預(yù)報系統(tǒng)的輸出1.4.3 最小辨識二乘算法設(shè)Q使得J)=min，則有dJ(9)oe9lsLS2(z-H9>(z-H9)=0o9LLLL展開上式，并根據(jù)以下兩個向量微分公式：a()aTx丿=aTax(xtAx)=2xtAA為對稱陣ax得正則方程：(HtH)9二HtzLLLSLL當(dāng)HtH為正則陣時，有=(HrHLHtzLL且有a2j(e)LSLLLL=2HtH>0，所以滿足上式的e唯一使得J(e)-min，這ae2eLSllls八種通過極小化式J)=min計算的方法稱作最小二乘法。而且可以證明，當(dāng)噪聲e(k)是均值為0的高斯白噪聲時，可實現(xiàn)

13、無偏估計。2. 最小二乘法在辨識時存在的問題及其改進型最小二乘法2.1 傳統(tǒng)最小二乘存在的問題最小二乘法存在一些缺陷制約著最小二乘法在系統(tǒng)辨識中的應(yīng)用，在處理日益復(fù)雜的系統(tǒng)辨識問題中，最小二乘法在系統(tǒng)辨識中存在的缺陷逐漸顯現(xiàn)出來。主要是有一下兩方面的缺陷：一是當(dāng)模型是有色噪聲時，最小二乘參數(shù)估計不是無偏、一致估計；二是隨著數(shù)據(jù)的增長，最小二乘法將出現(xiàn)所謂的“數(shù)據(jù)飽和”現(xiàn)象。這是由于增益矩陣IK(k)隨著k的增加將逐漸趨近與零，以致遞推算法慢慢失去修正能力之故。本節(jié)先給出了最小二乘的遞推算法，由遞推算法看出“數(shù)據(jù)飽和”現(xiàn)在，然后闡述了兩種解決這種現(xiàn)象的算法稱為遺忘因子法和限定記憶法，最后還闡述了

14、一種解決存在有色噪聲不能進行無偏估計的算法，稱為廣義最小二乘法。2.2 最小二乘法的遞推算法為了減少計算量，減少數(shù)據(jù)在計算機中占用的內(nèi)存，并實時辨識出系統(tǒng)動態(tài)特性，我們常利用最小二乘法的遞推形式。下面我們來推導(dǎo)遞推最小二乘算法的原理。首先，將準(zhǔn)則函數(shù)的最小二乘一次完成算法寫為Q=(htHLHtz=P(L)HtzWLSLLLLLL工h(i)hT(i)ph(i)z(i)Li=1Li=i定義P-1(k)=HtH=lLh(i)hT(i)kk<i=1P-1(k-1)=Hth=Eh(i)hT(i)式中k-1k-1-hT(1)hT(1)-H=hT(2)H=hT(2)khT(k)k-1hT(k-1)i=

15、1式中，h(i)是一個列向量，也就是Hl的第i行的倒置，P(k)是一個方陣，它的維數(shù)取決于未知參數(shù)的個數(shù)，假設(shè)未知參數(shù)的個數(shù)是n,則P(k)的維數(shù)是nXn.。由定義中的式子可得卩)的遞推關(guān)系為：P-1(k)=£1h(i)hT(i)+h(k)hT(k)i=1=P-1(k-1)+h(k)hT(k)Vk_1zkz=z(1),z(2),z(k-1)k_1L-I=z(1),z(2),z(k)6(k)=(HtHLHtzkkkkh(i)z(i)則由此可得：(k-1)=(HtHI1Hrzk-1k-1k-1k-1=P(k-1)*h(i)z(i)i=1P-1(k-1)0(k-1)=*h(i)z(i)i=

16、1由上述推導(dǎo)可得=P(k)P-1(k-1)§(k-1)+h(k)z(k)=P(k)fp-1(k)_h(k)hT(k)0(k_1)+h(k)z=§(k-1)+P(k)h(k)z(k)_hT(k)0(k-1)引進增益矩陣K(k),定義K(k)=P(k)h(k)式(k)可以進一步寫為Q(k)=Q(k_1)+K(k)z(k)_hT(k)Q(k_1)接下來可以進一步把P(k)寫為：-1)-P(k)=P_1(k-1)+h(k)hr(k)利用矩陣反演公式(A+CCtL=A-1-A-1C(I+CtA-1CiCtA-1將P(k)演變成：P(k)=P(k-1)-P(k-1)h(k)hT(k)P

17、(k-1)hr(k)p(k-1)h(k)+1-1=丁P(k-1)h(k)hr(k)D(k1)=_hr(k)P(k-1)h(k)+1'_1丿將上式代入K(k)中，整理后可得-lK(k)=P(k-l)h(k)hT(k)P(k-l)h(k)+1綜合上式可得最小二乘遞推參數(shù)估計算法RLS§(k)=0(k-1)+K(k)z(k)-Ht(k)0(k-1)<K(k)=P(k-1)h(k)Ht(k)P(k-1)h(k)+1-1P(k)=I-K(k)hT(k)P(k-1)2.3 遺忘因子遞推算法所謂“數(shù)據(jù)飽和”飽和現(xiàn)象就是隨著時間的推移，采集到的數(shù)據(jù)越來越多，新數(shù)據(jù)所提供的信息被淹沒在老

18、數(shù)據(jù)的海洋之中，由上節(jié)推導(dǎo)的RLS可知，k時刻的參數(shù)估計值是依靠新信息與增益矩陣K(k)的乘積來修正的，IK(k)的值越大，算法的修正能力越強，可是隨著時間k的增加，K(k)的值會逐漸趨近于零，故算法就會失去修正能力，為此本節(jié)闡述的遺忘因子算法能改善這種現(xiàn)象。這種方法的基本思想是對老數(shù)據(jù)加上遺忘因子，以降低老數(shù)據(jù)所提供的信息量，增加新數(shù)據(jù)的信息量。設(shè)SISO過程采用如下的數(shù)學(xué)模型：A(z-1)z(k)=B(z-1)u(k)+v(k)其中u(k)和z(k)是過程的輸入輸出量，v(k)是零均值的不相關(guān)隨機噪聲，改成最小二乘的格式為：z(k)=ht(k)0+v(k)又可寫為：z=H0+vLLL當(dāng)數(shù)據(jù)

19、加衰減因子后，一次算法可以寫成：0(L)=工u(L-i)i=1i=1其中u稱為遺忘因子，并且u大于0小于等于1定義P-1(k)=藝uk-ihht(i)AH*tH*kki=1P-1(k-1)=kuk-1-ih(i)htAH*tH*k-1k-1i=1則P-1(k)=uP-1(k-1)+h(k)ht(k)最后得0(k)=0(k-1)+P(k)h(k)z(k)-ht(k)O(k-1)令增益矩陣K(k)=P(k)h(k)綜上分析，遺忘因子的遞推算法可以寫為：哲(k)=0(k-1)+K(k)z(k)-ht(k)9(k-1)、K(k)=P(k一1)h(k)ht(k)P(k一1)h(k)+u-iP(k)=1I

20、-K(k)ht(k)P(k-1)uj0<u<1丿可見，遺忘因子的遞推算法和普通最小二乘法的遞推算法的計算流程基本一致，但是遺忘因子必須選擇接近于1的正數(shù)，通常不小于0.9，如果過程是線性的，應(yīng)把u限定在0.95和1之間。2.4 限定記憶遞推算法最小二乘法或遺忘因子法在一次完成算法中所用的數(shù)據(jù)長度L是一定的。但在遞推算法中，數(shù)據(jù)長度L就不是固定的了，它隨著時間k的推移而逐漸增加。這意味著老數(shù)據(jù)所含的信息在不斷積累，長期下去新數(shù)據(jù)所含的信息將被淹沒新數(shù)據(jù)的作用就會被削弱。這種數(shù)據(jù)長度歲k不斷增長的辨識算法稱作增長記憶法，其特點是老數(shù)據(jù)所含的信息始終在起作用，相對將影響新數(shù)據(jù)的作用。另一

21、類辨識算法叫做限定記憶法。這種方法的參數(shù)估計值始終依賴于有限個最新數(shù)據(jù)所提供的信息，每增加一個新數(shù)據(jù)的信息，就要去掉一個老數(shù)據(jù)的信息，數(shù)據(jù)的長度始終保持不變。它的特點是離現(xiàn)時刻L以前的老數(shù)據(jù)所含的信息從算法中徹底被刨除，影響參數(shù)估計值的數(shù)據(jù)始終是最新的L個數(shù)據(jù)，不像最小二乘法或遺忘因子法那樣，不管多老的數(shù)據(jù)都在起作用。就這點而言，限定記憶法更適合于用來克服“數(shù)據(jù)飽和”現(xiàn)象。具體算法如下：首先這里不需要考慮不同時刻測量值得可信度所以A(k)二1所以這里最小二乘法遞推公式是K(k)=P(k-1)h(k)hTP(k-1)h(k)+1-iP(k)=I-K(k)hT(k)P(k-1)0(k)=0(k-1

22、)+K(k)z(k)-hT(k)0(k-1)限定記憶法的思想是每增加一個新數(shù)據(jù)的信息就減少一個老數(shù)據(jù)的信息，使得數(shù)據(jù)長度保持不變設(shè)第k-1步的時候P(k,k+L-1)=P(k-1),0(k,k+L-1)=0(k-1)第k步增加新數(shù)據(jù)的信息，也就是加入z(k+L),h(k+L)的信息這里直接用最小二乘法將z(k+L),h(k+L)增加到P中去因此，由上式增加后得：6=3(k,k+L)=e(k-1)+K(k,k+L)z(k+L)-hT(k+L)6(k-1)=6(k,k+L-1)+K(k,k+L)z(k+L)-hT(k+L)6(k,k+L-1)K(k,k+L)=P(k,k+L-1)h(k+L)hTP

23、(k,k+L-1)h(k+L)+1-1P(k,k+L)=I-K(k,k+L)hT(k+L)P(k,k+L-1)去掉k時刻的數(shù)據(jù)即z(k),h(k)的信息去掉k時刻的數(shù)據(jù)信息后P=P(k+1,k+L)=(HT(k+1,k+L)H(k+1,k+L)-16(k+1,k+L)=PHt(k+1,k+L)z(k+1,k+L)=P(k+1,k+L)HT(k+1,k+L)z(k+1,k+L)這里z(k+1,k+L)=z(k+1),.,z(k+L)y最后整理得廠6(k+l,k+L)=6(k,k+L)一K(k+l,k+L)Z(k)ht(k)6(k,k+L)'K(k+1,k+L)=P(k,k+L)h(k)1

24、-ht(k)P(k,k+L)h(k)hP(k+1,k+L)=I+K(k+1,k+L)ht(k)P(k,k+L)6(k,k+L)=6(k,k+L-1)+K(k,k+L)z(k+L)-ht(k+L)0(k,k+L-1)K(k,k+L)=P(k,k+L-1h(k+L)1+ht(k+L)P(k,k+L-1h(k+L)h*P(k,k+L)=I一K(k,k+L)ht(k+L)p(k,k+L一1)丿2.5 廣義二乘遞推算法設(shè)SISO系統(tǒng)采用如下模型：(z-Jz(k)=B(z-Ju(k)+(k)其中A(z-i),B(z-i)和C(卻的定義見1.4節(jié)假定模型階次n,n和n已知，用廣義最小二乘法可以得到無偏一致估

25、計abczk)=C(z-Jz(k)u(k)=C(z-i)u(k)lf及0=a,a，a,b,b，bt,u(k-n)|Tb12n12nabh(k)=z(k1),z(kn),u(k1),fffaf將模型化為最小二乘格式：z(k)=hT(k)0+v(k)ff由于v(k)是白噪聲，所以用最小二乘可以獲得參數(shù)。的無偏估計，由于噪聲模型C(m)未知，還需要用迭代的方法來求得C(Z4)。令(k)=(k)0(k)=c,c，,cTe12nch(k)=e(kl),.,e(kn)Tec這樣就把噪聲模型也轉(zhuǎn)變?yōu)樽钚《烁袷剑篹(k)=h(k)0+v(k)ee由于上式中的噪聲已為白噪聲，所以用最小二乘也可獲得參數(shù)e的無偏

26、估e計，但是數(shù)據(jù)向量中依然含有不可測的噪聲量e(k1),.,e(kn)，可用相c應(yīng)的估計值來代替，置h(k)=e(k1),.,e(kn)T，其中k<0時，e(k)=0；eck>0時，按照e(k)=z(k)hT(k)0計算，式中h(k)=nb綜上所述，廣義最小二乘法可歸納為S(k)=0(k-1)+K(k)z(k)-hT(k)0(k-1)K(k)=P(k-1)h(k)hr(k)P(k-1)h(k)+1-1ffLfffP(k)=I-K(k)hr(k)P(k-1)<fLfffS(k)=S(k-1)+K(k)e(k)-hr(k)S(k-1)eeeeek(k)=p(k-1)h(k)rhT

27、(k)P(k-1)h(k)+1-1eeeeee一P(k)=I-K(k)hr(k)P(k-1)eeee3. 仿真結(jié)果與性能比較3.1 仿真模型模型選用差分方程：z(k+2)=1.5*z(k+1)-0.7*z(k)+u(k+1)+0.5u(k)+v(k)噪信比為0.73其中v(k)為正態(tài)分布的白噪聲。u(k)為取值1和-1的逆M序列，系統(tǒng)參數(shù)可以表示為肛-1.50.710.53.2遺忘因子遞推算法的仿真結(jié)果取數(shù)據(jù)長度L=402,初始條件60=0,遺忘因子u=0.98。則參數(shù)估計值的變化過程如圖：2o5015G200250300350400450特估參數(shù)過遊過程估計方差變化過程：最后的參數(shù)估計值8二

28、-1.51500.74771.08860.63543.3 限定記憶遞推算法的仿真結(jié)果取數(shù)據(jù)長度L=402，記憶長度L=20，初始條件6=0。則參數(shù)估計值的變化00過程如圖：1特怙暮迪過渡過程0S0100150200250300350400估計方差變化過程：最后的參數(shù)估計值6=-1.47860.67680.96080.51293.4限定記憶法和遺忘因子法結(jié)果分析與比較從遺忘因子法和限定記憶法的最終估計值來看，兩者的效果基本差不多。但遺忘因子法的參數(shù)跟蹤過程變化浮動比較大，而限定記憶法則相對平穩(wěn)許多，這說明遺忘因子法是新老數(shù)據(jù)一起起作用才造成這個結(jié)果，即對老數(shù)據(jù)加上遺忘因子，以降低老數(shù)據(jù)對辨識的影

29、響，相對增加新數(shù)據(jù)對辨識的影響，不會出現(xiàn)“數(shù)據(jù)飽和”現(xiàn)象，這也只是消弱影響，并沒有完全剔除老數(shù)據(jù)的影響。但是限定記憶法辨識所使用的數(shù)據(jù)長度保持不變，每增加一個新數(shù)據(jù)就拋掉一個老數(shù)據(jù)，使參數(shù)估計值始終只依賴于有限個新數(shù)據(jù)所提供的新消息，克服了遺忘因子法不管多老的數(shù)據(jù)都在起作用的缺點，因此該算法更能有效的克服數(shù)據(jù)飽和現(xiàn)象。3.5廣義最小二乘遞推算法的仿真結(jié)果實際給定的方程為：Z(k+2)=1.5*Z(k+1)-0.7*Z(k)+u(k+1)+0.5*u(k)+e(k),e(k+2)+2.1*e(k+1)-2.5*e(k)=v(k+2)，即實際的a1=-1.5,a2=0.7,b1=1,b2=0.5。

30、程序運行結(jié)果如圖：估計方差變化過程：待估參數(shù)過渡過程：最后的參數(shù)估計值先-1.53320.72281.01850.4954-0.02780.0521估計值中的最后兩個值表示噪聲傳遞系數(shù)的估計值。3.5廣義最小二乘遞推算法的結(jié)果分析廣義最小二乘法其實就是對數(shù)據(jù)先進行一次濾波預(yù)處理，然后利用普通最小二乘法對濾波后的數(shù)據(jù)進行辨識。將廣義最小二乘法的結(jié)果與上述限定記憶法和遺忘因子法結(jié)果比較，發(fā)現(xiàn)結(jié)果基本是一致的，那是因為噪聲模型C(z-1)=1,故都能獲得無偏一致估計，且廣義最小二乘法還能獲得噪聲模型的估計值。但若C(z-1)不為1時，必須利用廣義最小二乘法才能獲得無偏一致估計。4. 系統(tǒng)辨識的發(fā)展及

31、對策最小二乘法S)是一種經(jīng)典的和最基本的，也是應(yīng)用最廣泛的方法。但是，最小二乘估計是非一致的,是有偏差的,所以為了克服它的缺陷,而形成了一些以最小二乘法為基礎(chǔ)的系統(tǒng)辨識方法:廣義最小二乘法、增量最小二乘法、漸消記憶的最小二乘法以及將一般的最小二乘法與其他方法相結(jié)合的方法,有最小二乘兩步法(COR-LS)和隨機逼近算法等。廣義最小二乘法的基本思想是引入一個白化濾波器,把相關(guān)噪聲轉(zhuǎn)換為白噪聲,基于對觀測數(shù)據(jù)先進行一次濾波處理,然后利用普通最小二乘法對濾波后的數(shù)據(jù)進行辨識。遞推算法的基本思想是用新估計值對老的估計值進行修正，應(yīng)用的數(shù)據(jù)是實時采集的系統(tǒng)輸入輸出數(shù)據(jù),應(yīng)用遞推算法對參數(shù)估計值進行不斷修正,以取得更為準(zhǔn)確的參數(shù)估計值，而且此方法占據(jù)計算機存儲量小，因此在辨識系統(tǒng)中得到了廣泛的應(yīng)用。遺忘因子的最小二乘法在對系統(tǒng)模型參數(shù)進行辨識時強調(diào)新數(shù)據(jù)的作用，貶低老數(shù)據(jù)的作用，將遺忘因子尢引入系統(tǒng)中，在實際應(yīng)用中遺忘因子尢的大小對參數(shù)估計的精度以及參數(shù)估計值跟蹤真值的變化的能力都有很大的影響，所以選取合適的遺忘因子會顯著提高系統(tǒng)的辨識能力。而限