核自適應濾波總結(jié)報告

1、一、研究背景及意義：傳統(tǒng)的線性自適應濾波算法在處理非線性問題時，相應的性能效果并不理 想。在信號預測、系統(tǒng)識別、信道均衡等領域的實際問題中，如果某種復雜的非線性關系存在于系統(tǒng)的輸入輸出之間，傳統(tǒng)的線性方法難以處理這類非線性問題。現(xiàn)有的非線性自適應濾波方法有基于非線性差分方程的遞歸多項式模型、徑向基函數(shù)(RBF, Radial Basis Function) 、神經(jīng)網(wǎng)絡、基于 Volterra 級數(shù)展開 的非遞歸多項式模型、多層感知(MLP,Multilayer Perception) 、神經(jīng)網(wǎng)絡等，這些方法在處理非線性問題時有較好的性能，但是它們當中存在的缺點有：很高的計算復雜度、存在不穩(wěn)定性

2、、收斂速度不理想、難以確定合理的階數(shù)、非凸最 優(yōu)化解等等。而基于核方法(Kernel Method)構(gòu)造的自適應算法具有很強的非線 性信號的處理能力。二、常見的核自適應濾波方法：(1)把線性最小均方算法和核方法相結(jié)合，提出了核最小均方算法KLMS(2)通過核方法將仿射投影算法應用到非線性系統(tǒng)中，提出了核仿射投影算法KAPA(3)核遞歸最小二乘算法KRLS及擴展的核遞歸最小二乘算法EKRLS (4)將核方法與梯度下降法相結(jié)合提出的核ADALINEJ法及NORMA法。(5)將核方法與最小平均混合范數(shù)算法結(jié)合提出的核最小平均混合范數(shù)算法 KLMM N三、核方法思想：(1)核函數(shù)：K (x,x'

3、;) K(x),G(x') k(x)TG(x')其中x、x'WX,中是輸入空間X到向量空間F的映射。(2)再生核希爾伯特空間(RKHS): 如果一個核函數(shù)滿足這兩個條件： 對任意的xWX, K (x,x)作為向量x'的函數(shù)歸屬于向量空間F; 滿足可再生性，即對由核K(x,.)組成的關于x的函數(shù)生成的空間F中的ll函數(shù) g(.) =£ aMw ) ,對于所有的 i w R , G w X ,有 <g,K(x,) = £ agq, x) =g(x)。那 i =1i J么，K (x,x')就稱為向量空間F中的可再生核函數(shù)，定義了完備的

4、可再生核的內(nèi)積空間就是可再生核希爾伯特空間(RKHS>(3)Mercer定律：任何一個可再生核可表示為 k (x,x) =£ 泄(x/(x), i W其中，和*是非負的特征值和特征函數(shù)。因此，映射中可以表示為：X t F r】X = 1 ：i x,. 2 .2 x,(4) 常用核函數(shù)： 高斯核：k (x, x') =exp(-a| x -x'| 2) 多項式核：及(x,x') =(xTx'書)p其中，a是高斯核中的核參數(shù),p是多項式核的階數(shù).(5 )基于核方法的非線性自適應濾波器的實現(xiàn)原理：將輸入數(shù)據(jù)( x、x'wX) 映射到高維特征空間

5、(RKHS沖，然后對變換后的數(shù)據(jù)運用相應的線性自適應濾波 算法。word教育資料四、LMST法與KLMSB法對比:一、LMST法(1) LMS理論算法圖L1線性自適應濾波器的基本框圖目標函數(shù)是：J(k)=e2(k),而 e(k) =d(k)wT(k1)u(k)目標函數(shù)的梯度向量是：J ")=(k)u(k)二w(k -1)由隨機梯度下降算法，最終得到LMS算法的權(quán)重系數(shù)向量更新表達式為:w(k) =w(k -1) +K(k)u(k),其中N為學習步長參數(shù)。word教育資料初始化w(0) =0 ,選擇 k,每獲得(u(k),d(k)，計算；e(k)=d(k)-wT(k-1u(k) w(k

6、) =w(k -1) +Me(k)u(k) JN保守收斂條件0 <<二,其中，相關矩陣R=£ u(i)u(i)Ttr R1i4在第k次迭代時，對于給定的測試點u*,系統(tǒng)輸出為f(u*)=u：w(k)二、KLM鯽法(1) KLMS!論算法在LMST法中，假定輸入輸出映射是線性有限脈沖響應(FIR)模型,如果用u(k底示輸入信號，c(k欣示參考信號，e(k底示估計誤差，N表示步長因子，w(k)表示在第k次迭代的最優(yōu)權(quán)重系數(shù)估計，那么LMSB法的規(guī)則為：w(0 )=0Je(k) =d(k) -wT(k -1)u(k)w k =w k -1 廣 >e(k)u(k)由于 %x

7、加x之間的維度差異，出x片比x更有效更精確的模型，所以可以用 nx M弋替x通過隨機梯度下降法可以為非線性濾波器提供一個有效的方法來估算權(quán)重系數(shù)向量：w(0 )=0e(k) =d(k) -wT(k -1)k)w k =w k -1 廠 e(k) (k)其中Wk表示在特征空間F中第k次迭代的系數(shù)向量的估計值，%k)=%u(k )。初始化w(0 ”0 ,重復迭代權(quán)重系數(shù)更新公式，得：w(k) =w(k -1) n-"e(k) (k)-W(k 2)二 Le(k -1) (k -1) I e(k) (k)= w(k -2) e(k -1) (k -1) -"e(k) (k)k二 w

8、 0, ？ e(j) (j) j 1k=z e(j) (j)j 1在第k次訓練后，權(quán)重系數(shù)估計值可以看作是由先前和當前輸入數(shù)據(jù)的映射和誤差值乘積的線性組合的相加，對于一個新的輸入數(shù)據(jù)x(k +1 )非線性系統(tǒng)的輸出為:y k 1 =wkT k 1k7, e j = jT =k 1j 1 k8, e j - u j ,uk 1j 1可見系統(tǒng)的輸出可以用求解核函數(shù)的方法將輸出結(jié)果直接計算出來。算法1核最小均方算法(KLMS)初始化w(0) = 0選擇核函數(shù)x及參數(shù)方和步長因子以(1) = W(l),c(l) = X。)" : 4(l)K(x(l), )計算While 輸入xQId(i)有

9、效 do計算輸出；九(x(o)=皂- deca x(n)六計算誤差：e(i) - d(i)-九(x(i)存儲中心：C。二兇1),雙祝存儲系數(shù)：q(i) = pe(i)End while初始化w(0)=0,選擇步長因子N和核函數(shù)翟及其相應參數(shù)he(1)=d(1),h=%l .xl,計算While輸入& <2效doi 4計算輸出：fy Xi八也j X j ,Xij 1計算誤差：ei =d i f- xi五、仿真結(jié)果word教育資料0 2 -7 分1入.0 1 j1111110100200300400500600700800迭代次數(shù)圖2.2 KLMS算法( =02 )和LMS算法(#

10、= 0.02 )在非線性信道均衡中MSE的比較(S2 = 02 >六小結(jié)核函數(shù)在處理非線性問題上的優(yōu)勢是：(1)理論上：它能夠把輸入空間映射到高維特征空間，然后在高維特征空間里進行線性數(shù)據(jù)處理。把低維空間的非線性運算轉(zhuǎn)化到高維空間的線性運算。(2)數(shù)學上：算法的簡化。與 LMS算法相比，KLMS算法沒有用到權(quán)重系數(shù)，而是將所有過去 的誤差乘以相應核函數(shù)的值直接得到系統(tǒng)的輸出，降低計算復雜度。KRLS (核遞歸最小二乘算法)、算法原理min i1(1) RLS算法通過最小化代價函數(shù)工 d(j)-u(j) w估計權(quán)重w(i -1)。為了解決原算法中輸入數(shù)據(jù)自相關矩陣的逆可能不存在的問min題

11、，將數(shù)據(jù)自相關矩陣正則化，即通過最小化代價函數(shù)£ d(j)-u(j)Tw + 九|w估計權(quán)重 w(i - 1)j T在KRLS®法中，將輸入數(shù)據(jù)u(i)映射至U RKHSH勺中(u(i),簡寫為中(i),每次迭代，通過最小化代價函數(shù) i 12min _丁小|2£ d(j)-W中+九w來估計權(quán)向量w(i - 1) ow j =1min Th2由 Ed(j)-w中+k|w|得： w j二w(i) = % 中(i) ：'(i)T >(i)d(i)= ：J(i)' l(i)T ：>(i)i-1d(i)下劃線部分由矩陣求逆引理得到的，好處如下：

12、中飛中的每個元素可以通過核函數(shù)來簡化計算； 權(quán)重被明確表示為輸入數(shù)據(jù)的一個線性組合：w(i) =6(i)a(i),其中 a(i)j +(i)TG(i)d(i)。(3)為了避免復雜的求逆運算，可以通過迭代方法來計算a(i):經(jīng)過一些列數(shù)學推導得：a=Pi 一"不，e - r(i) e(i) -'h(”(i-1)T邛(i) = Ik (u(1),u(i) , x (u(i -1),u(i)TQ(i)=入上(i)T (i)苴中 , 八八 十， z(i) =Q(i -1)h(i)r(i)=入 + 邛(i)T 5(i) -z(i)Th(i)預測誤差e(i)=d(i)-憶(1),預測信號

13、fi"u(i)I (i)Tw(i -1)=%(i -1 a(i -1)= h(i)Ta(i -1)i -1八 aj(i -1)' (u(j),u(i)j=i、具體算法:(1)非正則化的KRL瞬法:表2-2 KRLS算法更新流程初始化 Q(l>=17i(u(l),u(l)X a(l>=Q(lWQ)的循環(huán)i = 2. 3,1)htf) = Jt(u(i>u(l),-1)"2) £=d一的尸.("1)3)z(n = Q(f-Dh(i)4) rO)h(0cor"-1)-/75) et(i)=6) D喇(小乜-z(n正則化的KR

14、L腳法：初始化Q (1)=(九+設(u(1),u(1) ) 一1 ,其余與上面的一致。這個不同是由w(i)的結(jié)構(gòu)決定的。wJ +G(i沖T%>(i)d(i)輸入空間的非線性系統(tǒng)通過非線性映射轉(zhuǎn)化為高維空間的線性系統(tǒng)：例：一個二維向量的目標函數(shù)U =UU2的目標函數(shù) 22f (u)= f (u1, u2)= a1u1 a2u2 a3u1a4u2在一維空間很難精確地通過線性組合d , a2, a3, a4來逼近f對于核 K(u,C)=(1+uTC)2 ,其中，口 = 3,加，C=Cl,C2T 、2.2 22 2貝U k (u,c) =(1 +u c) =1 +u1 c1 +2u1u2c1G2 +u2 c2 +2u1cl +2u2c2輸