Chapter1最優(yōu)估計的基本概念

1、Chapter1 最優(yōu)估計的基本概念1.6 最小二乘估計 最小方差估計須知道X,Z的全部統(tǒng)計特性。 線性最小方差估計精度低一些，但只需知道X,Z的一階，二階矩，降低了對X,Z統(tǒng)計特性的要求。 若對X,Z的統(tǒng)計特性一無可知，仍需對X進行估計，可利用最小二乘法。(Ganes,1809年)方法：被估量X:n維向量，進行k次線性觀測（最小二乘估計一定是線性估計）Zi=HiX+Ui （i=1，2，k）Zi：m維觀測向量；Hi：mxn測矩陣； Ui：均值為零的m維觀測誤差向量Z：km維向量；H：kmxn維矩陣；V：km維向量Km =n時，方程數(shù)目多余未知數(shù)的數(shù)目，可根據(jù)Z來估計X kkkvvvVhhhHz

2、zzZ.,.,.212121 Z=HX+Vw 若估計值 使J( )=L( )=(Z-H )T(Z-H ). w或Jw( )=L( )=(Z-H )TW(Z-H )極小.稱之為最小二乘（加權最小二乘）估計.Wkmxkm ：對稱正定加權陣w 因為J( )，Jw( )是標量函數(shù)，據(jù)確定性求極小值的問題可采用使J( )/JW( )的 梯度等于0的方法求XLs(Z)或XLsw(Z). 上式全為零 當HTH或HTWH為非奇異矩陣 XLs(Z)=(HTH)-1HTZ (3) 或XLsw(Z)=(HTWH)-1HTWZ(4) xxxxxxxxxxxx( )2()(1)( )2()(2)TTwJ xHZH Xx

3、JxH W ZH Xx xxw 使(1),(2)達到極小的充分條件：w 即(HTH)或(HTWH)為正定陣. (3),(4)是觀測數(shù)據(jù)Z求X的最小二乘估計或加權最小二乘估計的表達式. XLs(Z)或XLsw(Z)是觀測數(shù)據(jù)Z的線性函數(shù)，是線性估計，是以誤差的二次型為性能指標. Zi是標量時，性能指標： J(X)=(Z-H )T(Z-H )= 是估計誤差的平方和函數(shù). 所以，上述最優(yōu)估計XLs(Z)和XLsw(Z)為最小二乘估計或加權最小二乘估計. ( )22( )( )|20( )|20Ls xLswTx xTTwTx xzJ xH Hx xJxH WHx x xx21()kiiiZH Xw說

4、明：w1.該方法是線性觀測，不需要知道任何實驗知識。但wZ是可有觀測數(shù)據(jù)的全體。需將所有觀測數(shù)據(jù)儲存起來統(tǒng)一處理。因此計算量大。w2.XLs(Z)，XLsw(Z)是無偏估計w求X時不要求Vi的平均值為0,但當Vi平均值為0時w3.估計誤差的方差陣 11( )()()TTTTLsLswXzH HH ZXH WHH WZ或1111( )()( )() () ( )( )( )()( )()( )( )TTTTLsTTTTLswE XzH HH E zH HH H E xE xE XzH WHH WE zH WHH WHE xE xR=Var(V)=E(VVT)對稱正定陣以上考慮E(V)=01111

5、1111111()( )( ) ()() ()()()( ()()()() ()() ()TTTTTTLsLsLsTTTTTTTTTTTTTTTTTTTTVar XE XXzXXzE XH HH Z XH HH ZE XH HHHX VXH HHHX VE XH HH HXH HH V XH HH HXH HH VE H HH VV H H HH HH E1111111111 ()()()()( ) ( )()() ()()()() ()() ;()TTTTTTTTTTTLswLswLswTTTTTTTTTTTTVVH H HH HH RH H HVar XE XXzXXzE XH WHH W

6、Z XH WHH WZE XH WHH W HX VXH WHH W HX VE H WHH WVV H H WHWWH WHH WE VV111()()()TTTTTWH H WHH WHH WRWH H WHw4.W=R-1可得加權最小二乘w5.W=R-1時，加權最小二乘的方差陣達到最小。w 對觀測誤差獲得一些統(tǒng)計知識，即EV=0，VarV=E(VVT)=R。若W=R-1可使估計誤差的方差陣Var（XLsw）|W=R-1達到最小。w 若R=STS，S為可逆陣，w 則許百茨不等式 BTB=(AB)T(AAT)-1(AB)，其中A=HTS-1，B=SWH(HTWH)-1，AB=HTS-1SWH

7、(HTWH)-1=Iw 加權W (HTWH)-1HTWRWH(HTWH)-1=BTB=(AB)T (AAT)-1(AB)= (AAT)-1=(HTR-1H)-1 當W=R-1時，上式取等號，此估計為Matlab估計 XLSR -1(Z)=(HTR-1H)-1HTR-1Z1111111111()|()()()()TTTTLswLswW RVar XVar XH R HH R RR H H R HH R H最小二乘類參數(shù)辨識方法w 包括最小二乘，增廣最小二乘，廣義最小二乘，輔助變量法，相關二重法。w5.1 引言w 將過程看作黑箱，只考慮過程的IO特性，不強調過程的機理w輸入U(k)輸出Z(k)可觀

8、測；G(z-1)稱為過程模型w描述過程：w 過程除受輸入量u(k)作用外，還受不確定因素影響，歸結為噪聲u(k)，n(k)平穩(wěn)s.p.均值為零。譜容度是cosw的有理函數(shù)。121121111()()()1bbaannnnb zb zb zB zG zA za za z n(k)=N(z-1)V(k) V(k)白噪音;N(z-1)噪音模型 最小二乘模型 A(z-1)Z(k)=B(z-1)U(k)+V(k) 增廣最小二乘模型 A(z-1)Z(k)=B(z-1)U(k)+D(z-1)V(k) 廣義最小二乘模型 A(z-1)Z(k)=B(z-1)U(k)+V(k)/C(Z-1) 不同的辨識方法，可用的

9、過程模型一樣，只有噪聲模型不同。 解決一個實際問題，采用哪種方法取決于模型類的選擇，這需要通過多次試驗比較最后才確認。11111111()()()1ddccnnnnd zd zD zN zC zc zc z5.2最小二乘的基本概念w1795年高斯提出，估計理論的奠基石w最小二乘法的兩種形式： w1.一次完成算法w2.現(xiàn)代遞推算法w過程的IO關系描述成以下最小二乘形式wZ(k)=hT(k) +n(k)w其中，Z(k)：過程的輸出分量；h(k)：可觀測的數(shù)據(jù)向量；n(k)：均值為零的隨機噪聲。w利用Z(k)和N(k)極小化，下列準則函數(shù)：w 21( ) ( )( ) ( )minlTkJZ khk

10、J的 估計值記作 稱為參數(shù) 的最小二乘估計weg：w離散SISO 輸入序列u(1),u(2),u(L)w觀測到的輸出序列Z(1),Z(2)，,Z(L)w選擇下列模型wZ(k)+aZ(k-1)=bU(k-1)+N(k) a,b待辨識w寫成：Z(k)=-aZ(k-1)+bU(k-1)+N(k)=-z(k-1)u(k-1)w w ；N(k)=Z(k)+aZ(k-1)-bU(k-1) 使J=min求a,bw 21( )lkJn k( )aN kb 5.3 最小二乘問題的提法w時不變SISO動態(tài)過程的數(shù)學模型為wA(z-1)Z(k)=B(z-1)U(k)+N(k) (1) wU(k)輸入量；Z(k)輸出

11、量；N(k)噪聲 A(z-1)=1+a1Z-1+an0Z-n0wB(z-1)=b1z-1+bnbZ-nbw假定模型降次na和nb已經設定，且nanb，當取相同的降次n= na = nbw寫成最小二乘格式 Z(k)=hT(k) +n(k)121( )(1),(),(1),(), ;1,2,3,(2)bTabTnnh kZ kZ knU kU kna aabbkL w則方程(2)構成一個線性方程組，寫成ZL=HL+nLw(1)的噪聲n(k)完全可用一階和二階矩描述。設它的均值和協(xié)方差陣為 (1), ( ) (1), ( )(0),(1), (0), (1)(1)(1),(), (1), ()( )

12、TLTLTabLTabZzz LNnn LzznuunhHz Lz Lnu Lu LnhL22(1)( )(1),( (1) (2),(1) ( )()()( ( ) (1),( ( ) (2),( )LTLLLnEnE nEn lE nE nnEnn LCov nE n nE n L nE n L nE nLw推導最小二乘結果時，不需要考慮噪聲n(k)的統(tǒng)計特性w1.評價最小二乘估計的性質時，需進一步假設n(k)不相關，且同分布。w即假設n(k)是白噪聲序列，即w2.有時假設w3.記憶長度LwL(na+nb)2 0 llnE nCov nI2n是噪聲n(k)的方差2( )( ,)( )( )

13、En(k)u(k-1)=0;,n kNn ku kk l 與不相關5.4 最小二乘問題的解w引入目的是便于考慮觀測數(shù)據(jù)的可信度weg:現(xiàn)時刻加權值大于過去時刻加權值，可選w若線性時不變系統(tǒng)，或數(shù)據(jù)的可信度難以肯定，可簡單選擇w根據(jù)噪聲的方差對 進行最佳選擇。得到的估計值稱為Markov估計21( )( )( );( ), ( )( )( ) ( )( ) ( ):k,(k)0TLTkZ khkn kZ k h kJk Z khkn k是可觀測數(shù)據(jù)， ：待估計參數(shù)則加權因子；使( );01l kk( )1k( )kw J( )看作衡量模型輸出與實際過程輸出的臨近情況，求極小化J( )的參數(shù) 的估

14、計值將使模型輸出最好地反應過程的輸出。J( )=(Z -H)()(1)=( )00TLLLLLLLLZHlH則是加權陣，一般為正定的對角陣，與n(k)的關系是代表了模型的輸出，或者說是過程的輸出預極值, . , ( )|min()()( )|0()();2;();wLswLswLswLsTlllllTTTTTTwLsllllllst JZHZHJxx Axx A AxxHHHZ 設為對稱陣w通過極小化的計算 的方法稱為加權最小二乘法。 為加權最小估計值w若加權陣取w 簡稱為最小二乘估計值，對應的方法叫做最小二乘法。222T()( )|2;( )|0( )|minwLswLswlsTLLLTTT

15、wLslllllTTlllllHHHHHZJHHHHJJ當為正定矩陣時正定，正定唯一wls1TwlsLslllllIH Z則退化為（H H）wlsLsw獲得數(shù)據(jù)后，可用w求相應的參數(shù)估計值，這是一次完成的算法。w1.理論研究方便w2.計算方面碰到矩陣求逆困難w 一次完成算法要求 則矩陣（可逆矩陣），其充要條件是輸出信號必須是2n階持續(xù)激勵信號w 上述條件稱為開環(huán)可辨識性條件，這意味著辨識可用的輸入信號不能隨意選擇，否則造成不可辨識。11();()TTTTwlslslllllllllllHHHZH HHZTlllHH22,0, (1),(2),( )00max(,)00TllnllllTll labU UUFU F UF UUUUU lFnn n即其中w目前常用信號：w1.隨機序列（eg：白噪聲）w2.偽隨機序列（eg：M序列或逆M序列）w3.離散序列，對含有n種頻率（各頻率不滿足整數(shù)信關系）的正弦組合信號進行采樣處理獲得的離散序列。weg：過程脈沖響應的識別w設線性過程的輸入Z(k)用輸入序列u(k)與脈沖響應序列g(i) i=0,1,2,n的卷積和形式表示1212eg：仿真對象z(k)-1.5z(k-1)+0.7z(k-2)=u(k-1)+0.5u(k-2)+u(k);u(k) N(0,1),u(k)采用4階從序列