第13章自適應(yīng)濾波器

1、1第13章 自適應(yīng)濾波器 13.1匹配濾波器匹配濾波器 13.7LMS自適應(yīng)格型濾波器自適應(yīng)格型濾波器13.2連續(xù)時間的連續(xù)時間的Wiener濾波器濾波器 13.8自適應(yīng)濾波器的算子理論自適應(yīng)濾波器的算子理論13.3最優(yōu)濾波理論與最優(yōu)濾波理論與Wiener濾波器濾波器 13.9 LS自適應(yīng)格型濾波器自適應(yīng)格型濾波器13.4 Kalman濾波濾波 13.10自適應(yīng)譜線增強器與陷波器自適應(yīng)譜線增強器與陷波器13.5 LMS類自適應(yīng)算法類自適應(yīng)算法 13.11廣義旁瓣對消器廣義旁瓣對消器13.6 RLS類自適應(yīng)算法類自適應(yīng)算法 13.12盲自適應(yīng)多用戶檢測盲自適應(yīng)多用戶檢測2濾波器是一種以物理硬件或

2、計算機軟件形式，從含噪聲的觀測數(shù)據(jù)中 抽取信號的裝置，可以實現(xiàn)濾波、平滑、預(yù)測等信號處理的基本任務(wù)。信號的抽取應(yīng)滿足某種優(yōu)化準(zhǔn)則，連續(xù)時間的濾波器有兩種最優(yōu)設(shè)計準(zhǔn)則：使濾波器的輸出達到最大的信噪比，稱為匹配濾波器。使濾波器輸出的均方估計差為最小，稱為Wiener濾波器。313.1.1匹配濾波器匹配濾波器如圖13.1為線性連續(xù)時間濾波器的結(jié)構(gòu)圖。 圖13.1為線性連續(xù)時間濾波器s(t)為已知信號、n(t)為零均值地的平穩(wěn)噪聲、 y(t)為接受或觀測信號、y0(t)為濾波器輸出信號， h(t)為濾波器的沖激響應(yīng)函數(shù)。目的就是設(shè)計濾波器的沖激響應(yīng)函數(shù)h(t)。13.1 匹配濾波器匹配濾波器h(t)s

3、(t)n(t)y(t)y0(t)000( )() ( )() ( )( )() ( )() ( )( )( )y th tydh tsndh tsdh tnds tn t4濾波器在t=T0時的輸出信噪比為： 220020()=( )s TSNE n t0輸出在t=T時的信號功率輸出噪聲的平均功率01() ( )( ) ( )2( )( ), ( )( )j tj tj tsh tsdHSedHh t edt Ss t edt由于所以022001()( ) ( )2j Ts THSed設(shè)Pn()是n(t)的功率譜密度，則輸出噪聲的功率譜密度Pn0()為所以噪聲的平均功率02( )( )( )nn

4、PHP022011( )( )( )( )22nnE n tPdHPd（13.1）（13.2）（13.3）5所以濾波器在t=T0時的輸出信噪比為：02222( ) ( )( )12( )( )( )j TnnHSedSSdNPHPd1212（13.4）上式等號成立時的濾波器傳遞函數(shù)記為Hopt()，且有： （13.5）濾波器輸出最大信噪比為 （13.6）由（13.5）定義的濾波器為最優(yōu)濾波器，Hopt()為最優(yōu)濾波器的傳遞函數(shù)。00*()( )( )( )( )j Tj ToptnnSSHeePP22max( )12( )nSSSNRdNP61 白噪聲下的最優(yōu)濾波白噪聲下的最優(yōu)濾波匹配濾波器匹

5、配濾波器 Pn()=1所以（13.5）變?yōu)椋?（13.7）從而有 ，即濾波器達到最大輸出信噪比時，濾波器的幅頻特性與信號的幅頻特性相同，即匹配。這種濾波器稱為匹配濾波器。沖激響應(yīng)為：（13.8）即匹配濾波器的沖激響應(yīng)h0(t)是信號s(t)的一鏡像信號。00( )()j THSe0( )*( )( )HSS0000( )( )()()j Tj tj th tHedSeeds Tt72.有色噪聲下的最優(yōu)濾波器有色噪聲下的最優(yōu)濾波器廣義匹配濾波器廣義匹配濾波器 濾波器w(t)，傳遞函數(shù)為 （13.9）有色噪聲n(t)作為濾波器w(t)輸入時，輸出 的功率譜密度為： （13.10）濾波器w(t)將有

6、色噪聲“白化”，稱為白化濾波器。（13.5）變?yōu)椋海?3.11）H0()為匹配濾波器，所以有色噪聲下信噪比最大的濾波器Hopt()由白化濾波器W()和匹配濾波器H0()級聯(lián)而成。故稱為廣義匹配濾波器。1( )( )nWP( )n t2( )( )( )1nnPWP000*()()()*0( )( )( )( )( )( )( )( )( )( )j Tj ToptnSSWj TSHeWSWePWSeWH8 廣義匹配濾波器工作原理圖：圖13.2廣義匹配濾波器工作原理13.1.2 匹配濾波器的性質(zhì)匹配濾波器的性質(zhì)性質(zhì)性質(zhì)1 在所有線性濾波器中，匹配濾波器輸出的信噪比最大，且 ，它與輸入信號的波形以

7、及加性噪聲的分布無關(guān)。性質(zhì)性質(zhì)2 匹配濾波器輸出信號在t=T0時刻的功率達到最大。性質(zhì)性質(zhì)3匹配濾波器輸出信噪比達到最大的時刻T0應(yīng)該選取等于原信號s(t)的持續(xù)時間T。W()H0()s(t)+n(t)s0(t)+n0(t)( )( )s tn tmax0/2sESNRN9性質(zhì)性質(zhì)4 匹配濾波器對波形相同而幅值不同的時延信號具有適應(yīng)性。性質(zhì)性質(zhì)5 匹配濾波器對頻移信號不具適應(yīng)性。13.1.3匹配濾波器的實現(xiàn)匹配濾波器的實現(xiàn)1.已知信號已知信號s(t)的精確結(jié)構(gòu)的精確結(jié)構(gòu) 利用（13.8）直接確定匹配濾波器的沖激響應(yīng)，從而實現(xiàn)匹配濾波器。2.只已知信號的功率譜（大多數(shù)情況）只已知信號的功率譜（大

8、多數(shù)情況）設(shè)信號設(shè)信號x的功率譜為的功率譜為Px()，一般為有理函數(shù)，即可寫為：，一般為有理函數(shù)，即可寫為：10211()()( )()()nxmzzPpp(13-12) (13-13) 式中：zi、pj分別為功率譜的零點和極點。由于功率譜是非負(fù)的實、偶函數(shù)，即*( )( )xxPP可見Px()的零極點是共軛成對出現(xiàn)，故可寫為(譜分解）：1111()()()()( )()()()()qqxppxxjjjjPjjP P(13-14)為了是匹配濾波器物理可實現(xiàn)?。?（13.15） ( )( )sSP物理可實現(xiàn)的白化濾波器?。?（13.16）1( )( )nWP11 在匹配濾波器中，必須已知并存儲信

9、號的精確結(jié)構(gòu)或功率譜； 積分區(qū)間必須與信號取非零值的區(qū)間同步。但是有時很難已知信號的精確結(jié)構(gòu)或功率譜；信號在傳輸過程可能發(fā)生傳播延遲、相位漂移或頻率漂移，積分區(qū)間必須與信號區(qū)間同步也會導(dǎo)致誤差。1213.2 連續(xù)時間的連續(xù)時間的Wiener 濾波器濾波器 對觀測數(shù)據(jù)y(t)=s(t)+n(t)使用濾波器H()實現(xiàn)信號s(t)的估計：( )() ( )( ) ()s th tydhy td(13-17) 考慮均方誤差（13.18）最小，這就是最小均方誤差（MMSE）準(zhǔn)則，于是線性最優(yōu)濾波器的沖激響應(yīng)可表示為：22( )( )( )( ) ()JEs ts tEs thy td2( )( )arg

10、min( )( ) ()opth thtEs thy td(13-19) 13假設(shè)s(t)和加性噪聲n(t)均為平穩(wěn)過程，并s(t)和n(t)使聯(lián)合平穩(wěn)的，即 ( ) ()( )( ) ()( )( ) ()( )( )( ) ()( )( )( )( )( )ssnnsysssnyysssnnsnnE s t s tRE n t n tRE s t y tRRRE y t y tRRRRR則有 (13-20) 2122112( )( ) ()(0)2( )( )( ) ()()sssyyyJEs thy tdRhRdhhRd d 14 令 可得最有濾波器的沖激響應(yīng)hopt(t)，但優(yōu)化過程比

11、較復(fù)雜。我們令:(13-21) 則：(13-22) 0Jh( )( )( )optopth ththt 11222112(0)2( )( )( )( )( )()()()ssoptoptsyoptoptoptoptyyJRhhRdhhhhRd d 令 ， 得到0J111( )()( )syyyoptRRhd (13-23) 這一方程稱為Wiener-Hopf積分方程。15 上式兩邊取Fourier變換得：( )( )( )syoptyyPHP(13-24) 這種濾波器稱為非因果Wiener濾波器，因為濾波器的沖激響應(yīng)在（-，+）內(nèi)取值。而非因果Wiener濾波器是物理上不可使現(xiàn)實的。任何一個非

12、因果線性系統(tǒng)都可以看作是由物理可實現(xiàn)的因果部分和物理不可實現(xiàn)的反因果部分組成，因此可以從非因果Wiener濾波器中將因果部分分離出來，就可以得到物理可實現(xiàn)的Wiener濾波器。16將Pyy()分解為： 式中A+yy()的零極點全部位于左半平面，而A-yy()的零極點全部位于右半平面，并且位于軸上的零極點對半給A-yy()和 A+yy()。然后可分解：( )( )( )yyyyyyPAA（13-25）( )( )( )( )syyyPBBA（13-26）式中B+ ()的零極點全部位于左半平面，而B- ()的零極點全部位于右半平面，并且位于軸上的零極點對半給B- ()和 B+ ()。（13-24）

13、可寫為：( )( )1( )( )( )( )( )1( )( )( )sysyoptyyyyyyyyyyPPHAAAABBA（13-27）17( )( )( )optyyBHA顯然,只包含了左半平面的零極點，所以是物理可實現(xiàn)的。因果Wiener濾波器的設(shè)計算法：算法算法步驟1 對Pyy()進行式（13-25)的譜分解。步驟2 計算式（13-26）。步驟3 利用式（13-28）得到因果Wiener濾波器的opt().（13-28）18 13.3 最優(yōu)濾波理論與最優(yōu)濾波理論與Wiener濾波器濾波器 13.3.1線性最優(yōu)濾波器線性最優(yōu)濾波器線性離散時間濾波器的最優(yōu)設(shè)計問題可表達如下： 設(shè)計一個離

14、散時間濾波器的系數(shù)wk，使輸出y(n)在給定輸入樣本集合u(0)，u(1)，的情況下給出期望響應(yīng)d(n)的估計，并且使得估計誤差e(n)=d(n)-y(n)的均方值E|e(n)|最小。13.3.2 正交性原理正交性原理 離散時間濾波器的輸出y(n)是輸入u(n)與濾波器沖激響應(yīng)wk卷積*0( )()kky nw u nk（13-29）192*( )( )( )( )( )( )( )e nd ny nJ nE e nE e n e n對于復(fù)數(shù)輸入數(shù)據(jù)，濾波器的抽頭權(quán)系數(shù)wk也是復(fù)數(shù)，如抽頭權(quán)系數(shù)有無窮多個，則濾波器為無限沖激響應(yīng)(IIR)濾波器。令：0,1,2kkkwajbk（13.30）梯度

15、算子：0,1,2kkkjkab （13.31）（13.32）于是( )( )( )0,1,2kkkkJJ nJ nJ njkwab為了使J最小，則有( )00,1,2kJ nk（13.33）在這組條件下，濾波器在最小均方誤差意義下是最優(yōu)的。20有上面式子可得到： 令 eopt(n)表示濾波器工作在最優(yōu)條件下的估計誤差，則eopt(n) 滿足：*( )2()( )kJ nE u nk e n *( )2()( )0koptJ nE u nk en *()( )00,1,2optE u nk enk等價于（13-34）上式表明，代價函數(shù)J最小化的充分必要條件是估計誤差eopt(n)與輸入u(0)，

16、u(n)正交，這就是著名的“正交性原理”。是線性最優(yōu)濾波器理論中最重要的定理之一，也為衡量一濾波器是否工作在最優(yōu)條件的檢驗方法提供了數(shù)學(xué)基礎(chǔ)。還可以證明：*( )( )00,1,2optoptE yn enk（13-35）yopy(n)為濾波器在最小均方誤差意義下的輸出。2113.3.3 Wiener濾波器濾波器 由（13-34）可得到：*,0()( )()01,2opt iiE u nkdnwu nik（13-36）Wopt,i(n)為最優(yōu)濾波器沖激響應(yīng)中的第i個系數(shù)。將上式展開得：*,0()()()( )1,2opt iiwE u nk u niE u nk dnk（13-37）*,*,(

17、)()( )()()()u du uRkE u nk dnRikE u nk u ni其中：代入（13-37）得,0()()1,2opt iu uu diwRikRkk（13-38）這就是Wiener-Hopf（差分）方程，它定義了最優(yōu)濾波器系數(shù)必須服從的條件。22求解Wiener-Hopf（差分）方程可得最優(yōu)濾波器的系數(shù)，從而完成最優(yōu)濾波器設(shè)計。但對于IIR濾波器而言，求解Wiener-Hopf方程是不現(xiàn)實的，因為需要求解無窮多個方程。FIR濾波器（橫向濾波器）Z-1u(n)u(n-1)w*0w*1Z-1w*M-2Z-1u(n-M+2)u(n-M+1)w*M-1e(n)+ d(n)( )d

18、n-圖13.3 FIR濾波器如圖所示，濾波器沖激響應(yīng)由M個抽頭權(quán)系數(shù)w0,w1,wM-1定義。濾波器輸出為：1*0( )(),0,1Miiy nw u nin（13.39）23 而Wiener-Hopf方程則簡化為M個齊次方程 ,*,*,(0)(1)(1)(1)(0)(2)( )( )(1)(2)(0)u uu uu uu uu uu uTu uu uu uRRRMRRRMREnnRMRMRuu輸入與期望響應(yīng)的互相關(guān)向量為： (13-41) 1,0()()1,21Mopt iu uu diwRikRkkM(13-40)定義輸入向量( ) ( ), (1),(1)Tnu n u nu nMu則其

19、自相關(guān)矩陣為*,( )( )(0),( 1),(1)Tu du du dEn dnRRRMru(13-42) 24 于是將Wiener-Hopf方程寫成矩陣形式optRwrwopt為濾波器最優(yōu)抽頭權(quán)向量：(13-45) ,0,1,1,optoptoptopt Mwwww(13-44) (13-43) 1optRwr由（13-43）得：滿足這一關(guān)系的離散時間濾波器稱為Wiener濾波器，它在最小均方誤差的準(zhǔn)則下是最優(yōu)的。Wiener濾波器的兩個主要結(jié)論：Wiener濾波器最優(yōu)抽頭權(quán)向量的計算需要已知以下統(tǒng)計量：（1）輸入向量的自相關(guān)矩陣；（2）輸入向量與期望響應(yīng)的互相關(guān)函數(shù)。Wiener濾波器實

20、際上是無約束優(yōu)化最優(yōu)濾波問題的解。2513.4 Kalman 濾波濾波13.4.1 Kalman 濾波問題濾波問題(1) 狀態(tài)方程（13-46）式中，M1向量x(n)表示系統(tǒng)在離散時間n的狀態(tài)向量，它是不可測的；MM的矩陣F(n+1,n)為狀態(tài)轉(zhuǎn)移矩陣，描述系統(tǒng)從時間n的狀態(tài)轉(zhuǎn)移到n+1時間的狀態(tài)，它是已知的； M1向量v1(n)為噪聲向量，描述狀態(tài)轉(zhuǎn)移中的加性噪聲或誤差。（2）觀測方程（13-47）式中，y(n)表示系統(tǒng)在時間n的N1觀測向量；NM的矩陣C(n)為觀測矩陣，要求它是已知的；v2(n)為N1的觀測噪聲向量。 假設(shè)v1(n)、 v2(n)均為零均值的白噪聲，即：（13-48）1(

21、1)(1, ) ( )( )x nnn x nv nF2( )( ) ( )( )y nC n x nv n111222( )( )( )0( )( )( )0TTQ nnkE v n vknkQ nnkE v n vknk26 設(shè)v1(n)與v2(n)不相關(guān)，即（13-49） Kalman濾波問題可以表述為濾波問題可以表述為： 利用觀測數(shù)據(jù)向量y(1),y(n),對n 1求狀態(tài)向量x(i)各個分量的最小二乘估計。進一步分為：（1）濾波濾波（i = n): 使用n時刻及以前時刻的測量數(shù)據(jù)，抽取n時刻的信息；（2）平滑平滑（1 i n)： 使用n時刻及以前時刻的測量數(shù)據(jù)，預(yù)測n+k時刻的信息。1

22、2( )( )0,TE v n vkn k2713.4.2 新息過程新息過程 考慮一步預(yù)測問題：給定y(1), ,y(n-1),求觀測向量y(n)的最小二乘估計，記為1.新息過程的性質(zhì)新息過程的性質(zhì) y(n)的信息過程定義為 1( )( )( )1,2ny ny nn 性質(zhì)性質(zhì)1 n時刻的新息與所有過去的觀測數(shù)據(jù)y(1), ,y(n-1)正交，即：( )( )011TEn ykkn(13-50)(13-51)(13-52)1( )( | (1),(1)y ny n yy n性質(zhì)性質(zhì)2 新息過程由彼此正交的隨機向量 組成，即有： ( )n( )( )011TEnkkn28性質(zhì)性質(zhì)3 觀測數(shù)據(jù)的隨

23、機向量序列 與新息過程的隨機向量序列 一一對應(yīng) ，即： (13-53) 以上性質(zhì)表明：n時刻的新息 是一個與n時刻之前的觀測數(shù)據(jù) 不相關(guān)、并具有白噪聲性質(zhì)的隨即過程，但它卻提供有關(guān)y(n)的新信息，這就是新息的內(nèi)在物理含義。2.新息過程的計算新息過程的計算(13-54) (1), ( )n (1), ( )yy n (1), ( ) (1), ( )yy nn( )n(1), (1)yy n先計算狀態(tài)向量的一步預(yù)測1 ( )( | (1),(1)x nx n yy n再計算觀測向量的一步預(yù)測11( )( )( )y kC n x n(13-55)29最后計算信息過程(13-56) 112( )

24、( )( )( )( ) ( )( )( )ny nC n x nC n x nx nv n定義狀態(tài)向量的一步預(yù)測誤差1( ,1)( )( )n nx nx n(13-57) 2( )( ) ( ,1)( )nC nn nv n則(13-58) 新息過程的相關(guān)矩陣222( )( )( )( )( ,1)( ,1)( )( )( )( )( ,1)( )( )TTTTTR nEnnC n En nn nCnE v n vnC n K n nCnQ n(13-59) 式中Q2(n)是觀測噪聲的相關(guān)矩陣，而K(n,n-1)是一步預(yù)測狀態(tài)誤差的相關(guān)矩陣。( ,1)( ,1)( ,1)TK n nEn

25、nn n(13-60) 301.狀態(tài)向量的一步預(yù)測 用新息過程序列 的線性組合直接預(yù)測狀態(tài)向量：111 ( )( ) ( )nkx nkkw(13-61) 13.4.3 Kalman濾波器濾波器(1), ( )n根據(jù)正交性原理可得 （13-62）所以11( )(1)( )( )TkE x nkRkW11111111 (1)(1)( )( )(1)( )( )(1, )( )(1)( )( )(1, )( )( ) ( )nTTkTx nE x nk RkE x nnRnF nn x nE x nnRnF nn x nG nn1( )(1)( )TG nE x nnR其中Kalman增益矩陣G(

26、n) （13-63）（13-64）（13.63）表明n+1時刻的狀態(tài)向量的一步預(yù)測分為非自適應(yīng)（即確定）部分 和自適應(yīng)（即校正）部分 。1(1, )( )F nn x n( ) ( )G nn312 Kalman 增益計算增益計算可證明：可證明： （13-65） 1( )(1, )( ,1)( )( )TG nF nn K n nCn Rn3. Riccati方程方程容易證明容易證明 (13-66)式中式中 (13-67)1(1, )(1, ) ( )(1, )( )TK nnF nn P n FnnQ n1( )( ,1)(1, ) ( ) ( )( ,1)P nK n nFnn G n C

27、 n K n n(13-66)稱為稱為Riccati差分方程差分方程4. Kalman濾波算法濾波算法初始條件：1(1) (1),(1 ,0) (1) (1) (1) (1)TxExKE xExxEx（13-68）輸入觀測向量： (1), ( )yy n輸入已知參數(shù)：F(n+1,n)、C(n)、Q1(n)、Q2(n)計算：n=1，2，3，32 Kalman濾波器是一種線性離散時間有限維系統(tǒng)，它使濾波后的狀態(tài)估計誤差的相關(guān)矩陣的跡最小化，所以 Kalman濾波器是狀態(tài)向量的現(xiàn)行最小方差估計。1( )( )( )( )ny nC n x n11(1)(1, )( )( ) ( )x nF nn x

28、 nG nn1( )( ,1)(1, ) ( ) ( )( ,1)P nK n nFnn G n C n K n n1(1, )(1, ) ( )(1, )( )TK nnF nn P n FnnQ n12( )(1, )( ,1)( ) ( )( ,1)( )( )TTG nF nn K n nCn C n K n nCnQ n（13-69）3313.5 LMS類自適應(yīng)算法類自適應(yīng)算法 自適應(yīng)FIR濾波器：FIR濾波器的抽頭權(quán)系數(shù)w0,w1,wM-1可以根據(jù)估計誤差e(n)的大小自動調(diào)節(jié)，使得某個代價（準(zhǔn)則）函數(shù)最小。 濾波器設(shè)計最小均方誤差（MMSE）準(zhǔn)則：使濾波器實際輸出與期望輸出的均方

29、誤差最小。Z-1u(n)u(n-1)w*0w*1Z-1w*M-2Z-1u(n-M+2)u(n-M+1)w*M-1( )y n-圖13.4 自適應(yīng) FIR濾波器( )( )( )( )( )Hnd ny nd nnw u（13.70）d(n)+e(n)均方誤差22( )( )( )( )HJ nEnE d nnw u（13.71）34*( )2()( )2()( )( )0,11HkJ nE u nknE u nkd nw u nkM (13.72)令并 ，定義梯度向量： ,0,1,1iiiwajb iM011001111( )( ),( ),( )( )( )( )( )( )( )( )(

30、)( )( )( )( )TMMMJ nJ nJ nJ nJ nJ nja nb nJ nJ nja nb nJ nJ njanbn (13.73)以及輸入向量和抽頭向量011( )( ), (1),(1)( )( ),( ),( )TTMnu n u nu nMnw n w nwnuw則：*( )2( )( ) ( )22( )HJ nEndunnRn uwrw(13.74)*( )( )( )( )HREnnEn dnuuru其中35下降算法（自適應(yīng)算法） ( )(1)( ) ( )nnnnwwv(13.75)w(n)為第n步迭代的權(quán)向量，(n)為第n步迭代的更新步長，而v(n)為第n步迭

31、代的更新方向（向量）。下降算法有兩種主要實現(xiàn)方式，一種是自適應(yīng)梯度算法，另一種是自適應(yīng)高斯-牛頓算法。自適應(yīng)梯度算法包括LMS算法及各種改進算法；自適應(yīng)高斯-牛頓算法包括RLS算法及各種改進算法。13.5.1 LMS算法及其基本變形算法及其基本變形最常見的下降算法為梯度下降法（最陡下降法），更新的方向為代價函數(shù)的負(fù)梯度方向，即：1( )(1)( )(1)2nnnJ nww將（13.74）代入得：( )(1)( )(1) ,1,2nnnRnnwwrw(13.76)36上式表明：（1） 為誤差向量，代表w(n)每步的校正量；（2）參數(shù)（n）決定更新算法的收斂速度。（3）當(dāng)自適應(yīng)算法趨于收斂時，有當(dāng)

32、n， 0，即有： (1)Rnrw(1)Rnrw1lim(1)nnRwr即抽頭權(quán)向量組成Wiener濾波器。如果（13.74）中數(shù)學(xué)期望項用各自的瞬時值代替則有：*( )(1)( ) ( )( )( )(1)(1)( )( ) ( )Tnnnnd nnnnn e nnwwuuwwu（13-77）其中*( )( )( )(1)( )(1) ( )THe nd nnnd nnnuwwu式（13-77）就是著名的最小方均誤差自適應(yīng)算法（LMS算法）.上面的e(n)、(n)都是濾波器在n時刻的估計誤差，但e(n)有w(n-1)決定，稱為先驗估計誤差；而(n)由w(n-1)決定，稱為后驗估計誤差。37自適

33、應(yīng)算法及其基本變形自適應(yīng)算法及其基本變形 步驟步驟1 初始化：初始化：w(0);步驟步驟2 更新：更新： n=1,2, ( )( )(1) ( )He nd nnnwu*( )(1)( )( ) ( )nnn e nnwwu說明：1.若（n）=常數(shù)，則稱為基本LMS算法。2.若 ，其中（0，2）0，則為歸一化的LMS算法。3.若 ，其中 表示u(n)的方差，可由 遞推計算，這里 為遺忘因子，由 確定，而M是濾波器的階數(shù)。4.當(dāng)期望信號未知時，步驟2中的d(n)可用濾波器的是實際輸出代替。( )( ) ( )Hnnnuu2( )( )unn2u222( )(1)( )uunne n(0,120M

34、3813.5.2 解相關(guān)解相關(guān)LMS算法算法 在LMS中，有一個獨立性假設(shè)：假設(shè)濾波器輸入向量是彼此統(tǒng)計獨立的向量序列。當(dāng)它們之間不滿足統(tǒng)計獨立的條件時，基本LMS算法性能將下降，尤其是收斂速度會比較慢。因此解決各時刻輸入向量的相關(guān)（解相關(guān)），使它們盡可能保持統(tǒng)計獨立。1.時域解相關(guān)時域解相關(guān)LMS算法算法定義u(n)與u(n-1)在n時刻的相關(guān)系數(shù)為 （13.78 ） (1) ( )( )(1) (1)HHnna nnnuuuua(n)=1,則稱u(n)是u(n-1)的相關(guān)信號； a(n)=0,則稱u(n)與u(n-1)不相關(guān)； 0a(n)1,則稱u(n)與u(n-1)相關(guān)，并且a(n)越大

35、，相關(guān)性越大。顯然，a(n)u(n-1)代表u(n)中與u(n-1)相關(guān)的部分，若從u(n)減出該部分，就解決了相關(guān)問題。令更新方向向量v(n)：( )( )( ) (1)nna nnvuu步長應(yīng)滿足下列最小化問題：( )argmin(1)( )nJnv nw由此得( )( )( ) ( )He nnnnuv（13-79）（13-80）39解相關(guān)解相關(guān)LMS算法：算法：步驟步驟1 初始化：初始化：w(0);步驟步驟2 更新：更新： n=1,2, ( )( )(1) ( )He nd nnnwu(1) ( )( )(1) (1)HHnna nnnuuuu( )( )( ) (1)nna nnvu

36、u( )( )( ) ( )He nnnnuv( )(1)( ) ( )nnnnwwv參數(shù)稱為修正因子。402. 變換域解相關(guān)變換域解相關(guān)LMS算法算法 可以提高收斂 速率。令S 是一MM酉變換，即： ,0HSSI 為一固定標(biāo)量(13-81) (13-82) 通過酉變換，在變換域中實現(xiàn)了某種程度的解相關(guān)。 用酉變換S對輸入數(shù)據(jù)進行酉變換得到：xu(n)=S (n)相應(yīng)的：1 (1)(1)nSnww(13-83) 這時( )( )(1) ( )He nd nnnwx解相關(guān)解相關(guān)LMS算法：算法：步驟步驟1 初始化：初始化： ;步驟步驟2 給定一個酉變換給定一個酉變換S，更新：，更新： n=1,2

37、, (0)wxu(n)=S (n)( )( )(1) ( )He nd nnnwx( )(1)( ) ( ) ( )nnnn e nwwx(13-84) 4113.5.3 學(xué)習(xí)速率參數(shù)的選擇學(xué)習(xí)速率參數(shù)的選擇 ( )0E e nn 若max11步長影響算法的收斂速率，又稱為學(xué)習(xí)速率參數(shù)。基本LMS算法的收斂可分為均值收斂與均方收斂兩種。1.均值收斂及收斂條件 當(dāng)基本LMS算法的收斂必須滿足下列條件：稱為均值收斂。等價于 的值收斂為Wiener濾波器。 均值收斂條件：其解為 ( )nwmax20max為相關(guān)矩陣R的最大特征值。（13-85）2.均方收斂及收斂條件當(dāng)基本LMS算法的收斂必須滿足下列

38、條件：422lim( )0nEnc為正常數(shù)稱為均方收斂。均方收斂條件：學(xué)習(xí)參數(shù)滿足： 20tr R（13.86）由于 max1Mkktr R所以 max220tr R表明，若學(xué)習(xí)參數(shù)滿足LMS算法均方收斂條件，必滿足LMS算法均值收斂條件，即LMS算法是均方收斂，必是均值收斂。 211(0)MMiiiitr RRE u總輸入能量由于所以20總輸入能量（13.87）433. 自適應(yīng)學(xué)習(xí)速率參數(shù)自適應(yīng)學(xué)習(xí)速率參數(shù) 上面學(xué)習(xí)速率參數(shù)取一常數(shù)，但這可能導(dǎo)致收斂與穩(wěn)定性能的矛盾：大的學(xué)習(xí)速率能提高濾波器收斂速度，但穩(wěn)定性能就會降低；反之，為了提高穩(wěn)定性能采用曉得學(xué)習(xí)速率，收斂變慢。為此采用時變的學(xué)習(xí)速率

39、。（1）最簡單的時變學(xué)習(xí)速率為：cc(n)=為常數(shù)n(13-88) （2）“先搜索、后收斂”時變學(xué)習(xí)速率為：0+0(n)=為固定學(xué)習(xí)速率1 (n/ )(13-89) 當(dāng) 時，使用近似固定的學(xué)習(xí)速率，而當(dāng) 時，學(xué)習(xí)速率隨時間衰減，并且衰減速度越來越快。nn44(13-90) （3）“先固定、后指數(shù)衰減”時變學(xué)習(xí)速率為：0000()0NNdNn Ned(n)=、為正常數(shù)，為正整數(shù)4513.6 RLS 自適應(yīng)算法自適應(yīng)算法 13.6.1 RLS算法算法 利用遞推最小二乘算法設(shè)計自適應(yīng)橫向濾波器，使得在已知n-1時刻橫向濾波器抽頭權(quán)系數(shù)的情況下，能夠通過簡單的更新，求出n時刻的濾波器抽頭系數(shù)RLS算法

40、。加權(quán)最小二乘的代價函數(shù)：20( )( )nn iiJ ni（13-91）01為遺忘因子，其作用是對離n時刻越近的誤差加以比較大的權(quán)重，而對離n時刻越遠(yuǎn)的誤差加以比較小的權(quán)重。( )( )( ) ( )Hid iniwu（13-92）式中d(i)可以用濾波器的實際輸出代替。式中抽頭向量是n時刻的w(n)而不是i時刻的w(i),這是因為：在自適應(yīng)更新過程中，濾波器總是越來越好，這意味著，對于任意時刻in而言，估計誤差的絕對值 總是比 小。因此，有(i)構(gòu)成的J(n)總是比有e(i)構(gòu)成的 小，故J(n)比 更合理。( )( )( ) ( )Hid iniwu( )( )( ) ( )He id

41、iiiwu( )J n( )J n46( )0J nw(13-93) (13-94) 式中1( )( ) ( )nRnnwr(13-95) 由式（13-94）可看出，指數(shù)加權(quán)最小二乘問題的解w(n)為Wiener濾波器。20( )( )( ) ( )nn iHiJ nd iniwu由 得 0*0( )( )( )( )( )nn iHinn iiR nini d iuru(13-96) *( )(1)( )( )( )(1)( )( )HR nR nnnnnn d n uurru遞推估計公式(13-97) 令P(n)=R-1(n)其遞推公式1( )(1)( )( ) (1)HP nP nnn

42、P n ku(13-98) 式中k(n)為增量向量(1) ( )( )( ) (1) ( )HP nnnn P nnukuu(13-99) 47由上面的式子可證明：（13-100） *( )(1)( )( )nnn e nwwk(13-101) ( )( )(1) ( )He nd nnnwu其中為先驗估計誤差。RLS直接算法直接算法步驟步驟1 初始化：w(0)=0，P(0)=-1I,其中是一個很小的數(shù)。步驟步驟2 更新： n=1,2,( )( )(1) ( )He nd nnnwu(1) ( )( )( ) (1) ( )HP nnnn P nnukuu1( )(1)( )( ) (1)HP

43、 nP nnn P n ku*( )(1)( )( )nnn e nwwk的取值為：0.01 10-44813.7 LMS自適應(yīng)格型濾波器自適應(yīng)格型濾波器 LMS和RLS濾波器同屬于橫向自適應(yīng)濾波器，并假定它們的階數(shù)固定。然而在實際中，一橫向濾波器的最優(yōu)階數(shù)往往是未知，這需要通過比較不同階數(shù)的濾波器來確定最優(yōu)階數(shù)，但是，當(dāng)改變橫向濾波器階數(shù)時，LMS或RLS算法必須重新運行，非常不方便和費時，怎樣在增加濾波器階數(shù)時，能利用低一階濾波器的參數(shù)結(jié)果？格型濾波器提供了解決這一問題的有效途徑。 LMS自適應(yīng)格型濾波器具有共軛對稱的個性結(jié)構(gòu)：前向反射系數(shù)是后向反射系數(shù)的共軛，其設(shè)計準(zhǔn)則是均方（預(yù)測）誤差

44、為最小。4913.7.1 對稱的格型結(jié)構(gòu)對稱的格型結(jié)構(gòu) LMS自適應(yīng)格型濾波器在每一級對前、后向分別采用反射系數(shù) r*m 和rm ，如圖13-5所示， fm(n) 和gm(n)分別是第m級格型濾波器的前向和后向殘差。+x(n)f0(n)f1(n)f2(n)fp-1(n)fp(n)Z-1r1r*1g0(n)Z-1+ +r2r*2g1(n)g2(n)+gp-1(n)gp(n)Z-1r*prp圖13-5 LMS自適應(yīng)格型濾波器50n時刻的前向和后向殘差服從以下遞推關(guān)系：11*11( )( )(1)( )( )(1)mmmmmmmmfnfnr gngnr fngn(13-102)其初始值為 00( )

45、( )( )fng nx n(13-103)由于rm建立了fm(n)與gm-1(n-1)之間的關(guān)系，故rm也稱為偏相關(guān)系數(shù)。定義Z變換( )( )( )( )( )( )nnnmmmmnnnX zx n zFzfn zGzgn z(13-104)對（13-102）、（13-103）作Z變換得111*111000( )( )( )( )( )( )( )( )( )mmmmmmmmFzFzr z GzGzr Fzz GzF zG zXz前向濾波器傳遞函數(shù)00( )( )( )( )1( )( )mimmmmiFzFzAzai zmpX zF z(13-105)51后向濾波器傳遞函數(shù)00( )(

46、)( )( )1( )( )mimmmmiGzGzBzbi zmpX zG z1110*1110( )( )( ),( )1( )( )( ),( )1mmmmmmmmAzAzr z GzA zBzr Azz BzB z0*00( )( )1( )( )()mimmmmimmiimmmiiAzai zr zBzb i zam i z （13-106）由（13-104）可得前、后向濾波器傳遞函數(shù)的遞推公式（13-107）于是得到：(0)1( )mmmaamr（13-108）（13-109）為了使前向濾波器是物理可實現(xiàn)的，前向傳遞函數(shù)必須是最小相位52多項式，即： 1( )()()mmmmmiiA

47、 zzzrzzz(13-109) 的零點必須全部位于單位圓內(nèi)。即11,1,.,mimiizimrz但故11mmiirz(13-110) 這是設(shè)計格型濾波器各級反射系數(shù)的遞推公式必須遵守的條件。由于*( )()mmbiami(13-111) 只要前向濾波器系數(shù)am(i)設(shè)計出了，就可確定后向濾波器的系數(shù)bm(i),因此格型濾波器的設(shè)計歸結(jié)為前向濾波器的設(shè)計。5313.7.2 格型濾波器設(shè)計準(zhǔn)則格型濾波器設(shè)計準(zhǔn)則0( )( ) ()mmmifxai x ni前向濾波器Am(z)的殘差能量Fm (13-112) 由（13-105）、（13-108）得到 2*00( )( )( )()mmmmmmxi

48、jFEfnai aj Rji(13-113) 式中 是濾波器輸入信號x(n)的相關(guān)函數(shù)。*( )( )()xRE x n x n后濾波器Bm(z)的殘差能量Gm 2*00( )( )( )()mmmmmmxmijGE gnai aj RjiF(13-114) 54三種等價的準(zhǔn)則：（1）使前向濾波器的殘差能量Fm 為最小;（2）使后向濾波器的殘差能量Gm 為最小;（3) 使前、后向濾波器的平均殘差能量1/2(Fm +Gm)為最小.為了確定前向濾波器Am(i)的系數(shù)，只要使前向濾波器的殘差能量Fm 為最小即可。令：*01,( )mmFjmaj（13-115）得0( )()01,mmxiai Rji

49、jm（13-116）理論上求解上式可得到m級前向濾波器的系數(shù)am(1)，am(m)。代入（13-113）得0( )()mmmxiFai Ri（13-117）一般階數(shù)m越大，前向殘差Fm越小。55 格型濾波器的設(shè)計過程表述為：令m = 1,2 ，并依次設(shè)計前向濾波器，當(dāng)前向殘差能量Fm不再明顯減小時，最小的階數(shù)m即為個性濾波器的最優(yōu)階數(shù)。 問題是設(shè)計出的m級格型濾波器是否會影響m+1級格型濾波器的設(shè)計？即格型濾波器前后級之間是否存在耦合？如果存在，則第m級格型濾波器設(shè)計與第m-1級格型濾波器有關(guān)，否則，各級格型濾波器的設(shè)計可獨立進行。可以證明，不同級濾波器的后向殘差正交，即 這意味格型濾波器前后

50、級是解藕的，從而可以獨立地設(shè)計每一級濾波器。*,( )( )0,mmkFmkE gn gnmk（13-118）( )( ),mkgngn mk5613.7.3 格型濾波器自適應(yīng)算法格型濾波器自適應(yīng)算法 ( )00( )00w nnw nn（13-119） n時刻及以前時刻的總能量誤差函數(shù) ( )()( )nmmkEnw nk ek定義w(n)為濾波器在n時刻的權(quán)系數(shù)前、后向殘差能量22( )(1)( )( )01mmmekfkgk（13-200） 令 得 ( )0mmEnr*1122()( )(1)( )()( )(1)(1)mmkmmmkw nk fk gkrnw nkfkgk（13-201

51、） 且有( )1mrn 這一條件保證了m+1階前向濾波器第m+1個系數(shù)在任何時刻n的值都能夠滿足 的條件，從而使得前向濾波器是最小相位的，物理可實現(xiàn)的。1(1)1mam57 引入符號 *11122111( )()( )(1)( )()( )1(1)mmmkmmmkCnw nk fk gkDnw nkfkgk則11( )( )( )mmmCnrnDn遞推公式*1111221111( )(1)(0)( )(1)( )(1)(0)( )1(1)mmmmmmmmCnCnwfn gnDnDnwfkgk（13-202）（13-203）（13-204）LMS格型自適應(yīng)濾波算法格型自適應(yīng)濾波算法初始化：f0(

52、n) = g0(n) = x(n)；P0(n) = |x(n)|2；r1(n)接近1.步驟步驟1 計算前、后向殘差11*11( )( )( )(1)( )( )( )(1)mmmmmmmmfnfnrn gngnrn fngn58步驟步驟2 求中間系數(shù) *1111221111( )(1)(0)( )(1)( )(1)(0)( )1(1)mmmmmmmmCnCnwfn gnDnDnwfkgk步驟步驟3 計算反射系數(shù)11( )( )( )mmmCnrnDn步驟步驟4 利用Burg遞推計算()()(1)*(1)21( )( )( )( )( )( )(1( ) )mmmmmmiimm immmanrn

53、ananrn anPrnP式中ai (m) (n)表示m階前向濾波器第i個系數(shù)在n時刻的值；Pm為m階格型濾波器的殘差能量。殘差能量不再減小時的最小階數(shù)為LMS格型濾波器的最優(yōu)階數(shù)。 LMS格型濾波器的優(yōu)點是收斂速率比LMS橫向濾波器快得多，而且對數(shù)據(jù)的舍入不敏感，但計算量大。5913.8 自適應(yīng)濾波器的算子理論自適應(yīng)濾波器的算子理論 13.8.1 濾波器算子的基本要求濾波器算子的基本要求 將離散濾波器看作算子P， 輸入向量為 且( )(1), (2),( )Tnxxx nx( )( )( )nnnxsv，通過P后，得到信號的估計 。( )( )nPnsxP待濾波數(shù)據(jù)( )( )( )nnnx

54、sv信號的估計( )ns濾波器的算子表示濾波器算子的基本要求濾波器算子的基本要求(1)為了保證信號通過濾波器后不致發(fā)生畸變，濾波器算子P必須是一線性算子。(2)當(dāng)濾波器輸出 再次通過濾波器時，估計信號 不應(yīng)發(fā)生任何變化，即 必須得到滿足。等價與： ，也就是P必須是冪等算子。( )ns( )nsP PPxxs2PPPP60（3）濾波器算子應(yīng)具有共軛對稱性（其共軛轉(zhuǎn)置等于本身）： 這時因為： 當(dāng)濾波器工作在最優(yōu)條件時，估計誤差x-Px應(yīng)該與期望響應(yīng)的估計Px正交，即：xPxPx(13-205) HPP或,0HHIPPIPPxxxx故有0HPP P總結(jié)：濾波器算子必須是一個線性算子、并且具有冪等性和

55、總結(jié)：濾波器算子必須是一個線性算子、并且具有冪等性和共軛對稱性。共軛對稱性。6111,()HHHUPU U UUU U UU13.8.2 投影矩陣與正交投影矩陣投影矩陣與正交投影矩陣定理定理1 若MN（其中MN） 矩陣U滿列秩，則投影矩陣PU由（13-206）給出。 投影矩陣PU具有以下性質(zhì)：（1）冪等性：（2）對稱性： 若定義 （13-207）UUUP PPUHUPP1,UHUPIPIU U UU 矩陣PU具有以下性質(zhì)：（1）對稱性：（2）冪等性：（3）與投影矩陣正交：HUUPPUUUP PPUUP P 0 由于矩陣PU與PU正交，故PU稱為正交投影矩陣。 由于投影矩陣和正交投影矩陣都滿足濾

56、波器算子的三個基本要求，所以它們都是濾波算子。6213.8.3 前、后向預(yù)測濾波器前、后向預(yù)測濾波器引入時移向量： 1. 前向預(yù)測濾波器前向預(yù)測濾波器12000(1)( )(1)00(2)( ),(1)(2)()( )( )fffmxwnxxwnx nx nx nmx nwn( )0,0, (1), ()Tjznxx njx考慮 m階前向預(yù)測濾波器1( )()1,2,mfiix kw x kikn式中wfi(n),表示n時刻的濾波器權(quán)向量。上式寫成矩陣方程：（13-208）定義數(shù)據(jù)矩陣121,( )( ),( ),( )000(1)00(1)(2)()mmnzn znznxx nx nx nm

57、Xxxx63定義m級前向預(yù)測系數(shù)向量wfm(n)和前向預(yù)測值 向量為 12( )( ),( ),( )( )(1), (2), ( )TffffmmTnwn wnwnnxxx nwx1,( )( )( )fmmnnnXwx(13-209) (13-210) ( )nx則（13-208）寫成用x(n)代替 ，并用最小二乘估計得：( )nx11,1,1,( )( ),( )( ) ( )fTmmmmnnnnnwXXXx將（13-210）代入（13-209）得前向預(yù)測值為：1,( )( ) ( )mnPnnxx(13-211) 其中 表示數(shù)據(jù)矩陣的投影矩陣。11,1,1,1,1,( )( )( ),

58、( )( )TmmmmmPnnnnn XXXX定義前向預(yù)測誤差向量：( )(1),(2),( )( )( )Tffffmmmmneeennnexx64可證明：可證明：1,( )( ) ( )fmmnPnnex(13-212) 結(jié)論：前向預(yù)測向量 和前向預(yù)測誤差向量 分別是數(shù)據(jù)向量x(n) 在數(shù)據(jù)矩陣X1,m(n)所張成的子空間上的投影和正交投影。( )nx( )fmne 1. 后向預(yù)測濾波器后向預(yù)測濾波器1()()1,2,mbiix kmw x kmikn式中wbi(n)表示n時刻的濾波器權(quán)向量。上式寫成矩陣方程：11(1)000( )( )(1)00( )(1)( )(1)(1)( )( )

59、(1)(1)()bmbmbxwnx mx mwnx mx mxxw nx nx nx nmx nm(13-213) 65(13-213)寫為 定義數(shù)據(jù)矩陣0110,1( )( ),( ),( )(1)00(2)(1)0( )(1)(1)Tmmnzn znznxxxx nx nx nmXxxx11( )( ),( ),( )()0,0, (1), ()TbbffmmmTnwn wnwnnmxx nmwx0,1( )( )( )bmmmnnznXwx(13-214)用x(n)代替 ，并用最小二乘估計得：( )nx10,10,10,1( )( ),( )( )( )bTmmmmmnnnn znwXX

60、Xx(13-215)將（13-215）代入（13-214）得后向預(yù)測值為：0,1()( )( )mmnmPn znxx(13-216)66定義后向預(yù)測誤差向量：( )(1),(2),( )()()Tbbbbmmmmneeennmnmexx可證明：可證明：0,1( )( )( )bmmmnPn znex(13-217)結(jié)論：后向預(yù)測向量 和后向預(yù)測誤差向量 分別是數(shù)據(jù)向量z-mx(n) 在數(shù)據(jù)矩陣X0,m-1(n)所張成的子空間上的投影和正交投影。()nmx( )bmne10,10,10,10,10,1( )( )( ),( )( )TmmmmmPnnnnn XXXX其中 表示數(shù)據(jù)矩陣的投影矩陣