自適應(yīng)信號處理

1、自適應(yīng)信號處理第五章 傳統(tǒng)RLS自適應(yīng)濾波器5.1 引言n最小二乘（LS）算法的目的是使期望信號與模型濾波器輸出之差的平方和達到最小。當(dāng)每次迭代中接收到輸入信號的新采樣值時，可以采用遞歸形式求解最小二乘問題，得到遞歸最小二乘（RLS,Recursive Least-Square）算法。nRLS算法能實現(xiàn)快速收斂；當(dāng)工作在時變環(huán)境中具有很好的性能，但會增加計算的復(fù)雜度和穩(wěn)定性，而這些問題對于基于LMS準(zhǔn)則的算法來說不重要。 RLS算法的目的在于選擇自適應(yīng)濾波器的系數(shù)，使觀測期間的輸出信號與期望信號在最小二乘的意義上最匹配。 對于最小二乘算法，目標(biāo)函數(shù)是確定的，由下式給出： （5.1） 其中， 為

2、自適應(yīng)濾波器系數(shù)向量，N為濾波器階數(shù)。 為i時刻的后驗輸出誤差。 為指數(shù)加權(quán)因子，也稱為遺忘因子，且 5.2 RLS算法01( )( ),( ),.,( )TNw kw kw kwk( ) i012200( )( ) ( )( ) ( )kkdk ik iTiikid ixi w k 為使加權(quán)平方和最小，令 得到使最小二乘誤差最小的最優(yōu)向量 （5.2） 其中， 是輸入信號的確定性相關(guān)矩陣， 是輸入信號和期望信號之間的確定性互相關(guān)向量。 當(dāng) 為非奇異矩陣時，計算確定性相關(guān)矩陣的逆，將上式重新寫成如下形式，得到描述傳統(tǒng)RLS算法的另一種方法： （5.3） 又由于 可得 (5.4)( )w k( )

3、0( )dkw k100( )( )( )( ) ( )( )( )kkk iTk iDDiiw kx i xix i d iRk pk( )DRk( )Dpk( )DRk1100( )( ) ( )( ) ( )( ) ( )kkk iTk iiix i xi w kx i d ix k d k (1) (1)(1)DDRkw kpk00( )( ) ( )( )( )( )( ) (1)( ) ( )kkk iTk iTTiix i xi w kx i xix k xk w kx k d k定義先驗誤差為 （5.5）將 代入式（5.4）得 （5.6）利用兩個輔助向量(k)= 可以更新 （5

4、.7）即得到了另一種RLS算法。 ( )( )( ) (1)Te kd kxk w k( )d k( )(1)( )( ) ( )Dw kw ke k Sk x k(1) ( )DSkx k( )( )( ) ( )Tkkk x k1( )(1)( )( )TDDSkSkkk5.3 最小二乘解的特性n5.3.1 正交原理 假設(shè)矩陣有X(k)和d(k)有如下形式則可以用如下關(guān)系代替式（5.2）中的最小二乘解 （5.8）1/ 2(1) / 21/ 21/ 21/ 2/ 2()(1).(0)(1)0(2).().()(1)0()(1).(0)kkx kx kxx kx kXkx kNx kNx kx

5、 kx1/2/2( ) ( )(1).(0)kTd kd kd kd( )( ) ( )( ) ( )TX k Xk w kX k d k乘積 構(gòu)成一個向量，該向量對應(yīng)于d(k)的估計值，令 （5.9）可以得到 （5.10）該關(guān)系意味著由下式給出的加權(quán)誤差向量是X(k)的零空間，即加權(quán)誤差向量正交于X(k)的所有行向量。( ) ( )TXk w k1/2/2( )( ) ( ) ( )(1).(0)TkTy kXk w ky ky ky( )( ) ( )( ) ( )( ) ( )( )0TX k Xk w kX k d kX ky kd k1/2/2( )(1)( )( )( ).(0)k

6、e ke ke kd ky ken5.3.2 最小二乘與維納解的關(guān)系當(dāng)時， 如果產(chǎn)生輸入信號的過程是遍歷性的，則對于大的k值而言，矩陣 是輸入信號自相關(guān)矩陣R的一致估計。如果期望信號也具有遍歷性，則與p相關(guān)的向量 也有類似的結(jié)論。在這種情況下， （5.11） （5.12） 可以證明 在k趨于無窮大時成立。該結(jié)果說明，如果信號是具有遍歷性的平穩(wěn)過程，則最小二乘解趨于維納解。11( )1DRkk 1( )1DP kk 011lim( )( )lim( )11kTDkkiRx i xiRkkk011lim( ) ( )lim( )11kDkkipx i d iP kkk11( )( )( )DDow

7、 kRk pkRpwn5.3.3 確定性自相關(guān)初始化的影響 利用 初始化會導(dǎo)致自適應(yīng)濾波器的系數(shù)估計值有偏差。假設(shè)真實的RLS解考慮了給出的 的初始值,即 （5.13） 兩邊乘上 在 時得到 （5.14） 其中， 是RLS算法的最優(yōu)解。 的初始化產(chǎn)生的偏差近似為 （5.15） 若 可以得到，當(dāng)k趨于無窮大時，偏差趨于零； 若 ， 的元素值隨迭代次數(shù)增加而減小，該矩陣近似為零矩陣。( 1)DSI( )DRk110( )( ) ( )( )( )( )( )kkkk iTk iTDiix i xi w kx i xiIw kpk1( )DDSRkk 1( )( ) ( )kDow kSk w kw

8、( )DSkow1( )( )koDow kwSk w 11( )DSk 如果沒有測量噪聲，經(jīng)過N+1次迭代，RLS算法系數(shù)會達到最優(yōu)解，并且此時初始化矩陣 的影響可以忽略。這個結(jié)論可以這樣解釋，經(jīng)過N+1次迭代，輸入信號向量有足夠多的信息使得自適應(yīng)算法分辨出未知系數(shù)的系統(tǒng)。換句話說，足夠多的信息意味著抽頭延遲線充滿了輸入信號的信息。 ( 1)DSn5.3.4 系數(shù)向量的穩(wěn)態(tài)特性 給定自適應(yīng)濾波器輸入向量x (k) (k=0,1,), 計算自適應(yīng)濾波器的系數(shù)的平均值。當(dāng) 時，可以得到： （5.16） 其中，n(k)為噪聲向量。上式說明，當(dāng) 時由最小二乘算法得到的估計是無偏估計。 濾波器系數(shù)的誤

9、差可以用向量 來表示。 將最小輸出誤差定義為 （5.17） 可以得到 （5.18）kN111 ( )( )( )( ) ( )( )( )( )( )( )( )( )( )( )TTToTTooE w kEX k XkX k d kEX k XkX kXk wn kEX k XkX k Xk ww1( )( )ow kw kw( )( )( )Tooe kd kxk w( )( )(1)(1)( )( )DDoRkw kRkw kx k e k 該方程的解為（5.19） 用 代替 得 （5.20） 由于 依賴于所有過去的輸入信號向量，當(dāng)?shù)螖?shù)增加時它相對不變，任何單個的 的貢獻可以忽略。另

10、外，由于正交原則，也能夠被認(rèn)為與所有的元素不相關(guān)。這意味著在式（5.20）中的最后一個向量不能取大的元素值。另一方面，式（5.20）中的第一個向量僅當(dāng)初始收斂時可以取大的元素值，因為當(dāng)k 時, 并且具有非增加特性，即當(dāng)k 時，假設(shè) 保持正定，并且輸入信號功率不會太小。以上的討論可以得出下面的結(jié)論，自適應(yīng)濾波器的系數(shù)以幾乎獨立于輸入信號相關(guān)矩陣特性值擴展的方式趨近于最優(yōu)值 。10( )( )( 1)( 1)( )( )( )kkk iDDDoiw kSk RwSkx i e i ( 1)DR1I10( )( )( 1)( )( )( )kkk iDDoiEw kE SkwE Skx i e i(

11、 )DSk( )x i10k( )DRkown5.3.5 系數(shù)誤差向量協(xié)方差矩陣 由前面內(nèi)容可知，向量 的估計參數(shù)平均收斂到其最優(yōu)值 采用與上一節(jié)想通的收斂假設(shè)，表明當(dāng) 時，系數(shù)誤差向量協(xié)方差矩陣由下式給出 （5.21） 即，當(dāng) 時，隨著時間的增加，由于 的范數(shù)逐漸減小，系數(shù)誤差向量協(xié)方差矩陣的范數(shù)也逐漸減少。加性噪聲n（k）的方差直接對協(xié)方差矩陣的范數(shù)產(chǎn)生影響。ow( )w k12cov( )( ( )( ( ) ( )ToonDw kE w kww kwE Sk1( )DSkn5.3.6 誤差信號的特性 當(dāng)自適應(yīng)濾波過程中存在測量噪聲時，先驗誤差信號由下式給出： （5.22） 其中， 是沒

12、有測量噪聲時的期望信號。 （5.23）由上式可得，如果噪聲信號具有零均值，則有如下結(jié)論： （5.24） 存在外部不相關(guān)噪聲時，最小均方誤差MSE為 （5.25）, ( )( )(1) ( ) ( )( )( ) ( ) ( )TToE e kE d kE wkx kE n kE d kw x kE n kE n k,( )d k2min21 2 ( )( ) ( )1 2 ( )( ) ( )1 2 TDnTDnE xk Sk x ktr E xk Sk x ktr, ( )0E e k,222min( )( )nE ekE n k 當(dāng)采用后驗誤差時，最小MSE的值 與采用先驗誤差得到的對應(yīng)值

13、不同。 經(jīng)過證明可得， （5.26）minminminmin( ) ( )( )( ) ( )( ) ( )( )( )( )()TTooTTTkEw kwx k xk w kwEwk x k xkkEwk R wn5.3.7 額外MSE和失調(diào) 在RLS算法的實際實現(xiàn)過程中，未知參數(shù)向量的最優(yōu)估計由w(k)給出，其期望值為 。然而，由于存在系數(shù)誤差的估計，即 ，因此在輸出中總會產(chǎn)生額外MSE。均方誤差為（5.27） 考慮到 是具有零均值的、獨立于x(k)的隨機變量，因此可以得到（5.28）( )ow k( )( )ow kw kwminmin( ) ( )( )( ) ( )( ) ( )(

14、)( )TTooTTkEw kwx k xk w kwEwk x k xkw k( )(0,1,.,)jw kjNminminmin( )( )( ) ( )( )( )( )TTTkEwk R w kE tr R w kwktr REw kwk 對 和 分別分析討論： 時的額外MSE 根據(jù)式（5.21）和（5.11）中的結(jié)果，并考慮到 時 可以導(dǎo)出 只有當(dāng)采樣數(shù)目大于濾波器階數(shù)時，算法才能達到最小MSE。1112minminn22122( )( )1()11(1)1nnDnnktr RE SkRtr RkNk1 時的額外MSE 假設(shè)MSE曲面是一個二次方程，于是期望額外MSE的定義為 （5.

15、29）根據(jù)式（5.18）可以證明 （5.30）將上式代入到式（5.29）中，可以得到 （5.31）其中，1( )( )( )TkEwk R w k( )( )(1)(1)( ) ( )( )DDDow kSk Rkw kSk x k e k( )( )1234TEwk R w k221(1)(1)( )( )(1)(1)2(1)(1)( )( ) ( )( )3( )( )( )(1)(1)( )4( )( )( ) ( )( )TDDDDTDDDoTDDDoTDDoEwkRkSk RSk Rkw kEwkRkSk RSk x k e kE xk Sk RSk Rkw ke kE xk Sk

16、RSk x k e k分別計算 得 （5.32） （5.33） （5.34） （5.35）由式（5.32）（5.33）（5.35）可得 （5.36）上式的解的漸進值為 （5.37）1 2 3 4 222,min1(1)(1)(5.32)2(1) (1)( ) ( )( )(1) (1) ( )( )304(1)( )TToToEwkR w kEwkII k x k e kEwkE x k e ktr IEIk222,min( )( )(1)(1)(1)( )TTEwk R w kEwkR w ktr IEIk( )ow k另外，由前面的知識可以得到其中， 是x(k)的方差， 獨立于輸入信號統(tǒng)計量。額外MSE可以描述為如果 近似為1，并且 值不是很大，則有2222 2( )1( )(1)1iiiixErkEIk2x2222()xx,min11(1)(1)11excN ,min1(1)1excN失調(diào)表達式為 使 的取值小于1會引入四階統(tǒng)計量，并增加失調(diào)。對應(yīng)于更小 值額快速自適應(yīng)RLS算法會帶來類似于噪聲的穩(wěn)態(tài)響應(yīng)。因此