自適應濾波LMS算法及RLS算法及其仿真(共18頁)

1、精選優(yōu)質(zhì)文檔-傾情為你奉上自適應濾波 組別：第二小組 組員：黃亞明 李存龍 楊振專心-專注-專業(yè) 第1章緒論 從連續(xù)的(或離散的)輸入數(shù)據(jù)中濾除噪聲和干擾以提取有用信息的過程稱為濾波。相應的裝置稱為濾波器。實際上，一個濾波器可以看成是一個系統(tǒng)，這個系統(tǒng)的目的是為了從含有噪聲的數(shù)據(jù)中提取人們感興趣的、或者希望得到的有用信號，即期望信號。濾波器可分為線性濾波器和非線性濾波器兩種。當濾波器的輸出為輸入的線性函數(shù)時，該濾波器稱為線性濾波器，當濾波器的輸出為輸入的非線性函數(shù)時，該濾波器就稱為非線性濾波器。自適應濾波器是在不知道輸入過程的統(tǒng)計特性時，或是輸入過程的統(tǒng)計特性發(fā)生變化時，能夠自動調(diào)整自己的參數(shù)

2、，以滿足某種最佳準則要求的濾波器。11自適應濾波理論發(fā)展過程 自適應技術與最優(yōu)化理論有著密切的系。自適應算法中的最速下降算法以及最小二乘算法最初都是用來解決有無約束條件的極值優(yōu)化問題的。 1942年維納(Wiener)研究了基于最小均方誤差(MMSE)準則的在可加性噪聲中信號的最佳濾波問題。并利用WienerHopf方程給出了對連續(xù)信號情況的最佳解。基于這準則的最佳濾波器稱為維納濾波器。20世紀60年代初，卡爾曼(Kalman)突破和發(fā)展了經(jīng)典濾波理論，在時間域上提出了狀態(tài)空間方法，提出了一套便于在計算機上實現(xiàn)的遞推濾波算法，并且適用于非平穩(wěn)過程的濾波和多變量系統(tǒng)的濾波，克服了維納(Wiene

3、r)濾波理論的局限性，并獲得了廣泛的應用。這種基于MMSE準則的對于動態(tài)系統(tǒng)的離散形式遞推算法即卡爾曼濾波算法。這兩種算法都為自適應算法奠定了基礎。從頻域上的譜分析方法到時域上的狀態(tài)空間分析方法的變革，也標志著現(xiàn)代控制理論的誕生。最優(yōu)濾波理論是現(xiàn)代控制論的重要組成部分。在控制論的文獻中，最優(yōu)濾波理論也叫做Kalman濾波理論或者狀態(tài)估計理論。從應用觀點來看，Kalman濾波的缺點和局限性是應用Kalman濾波時要求知道系統(tǒng)的數(shù)學模型和噪聲統(tǒng)計這兩種先驗知識。然而在絕大多數(shù)實際應用問題中，它們是不知道的，或者是近似知道的，也或者是部分知道的。應用不精確或者錯誤的模型和噪聲統(tǒng)計設計Kalman濾波

4、器將使濾波器性能變壞，導致大的狀態(tài)估計誤差，甚至使濾波發(fā)散。為了解決這個矛盾，產(chǎn)生了自適應濾波。最早的自適應濾波算法是最小JY(LMS)算法。它成為橫向濾波器的一種簡單而有效的算法。實際上，LMS算法是一種隨機梯度算法，它在相對于抽頭權值的誤差信號平方幅度的梯度方向上迭代調(diào)整每個抽頭權值。1996年Hassibi等人證明了LMS算法在H。準則下為最佳，從而在理論上證明了LMS算法具有孥實性。自Widrow等人1976年提出LMs自適應濾波算法以來，經(jīng)過30多年的迅速發(fā)展，已經(jīng)使這一理論成果成功的應用到通信、系統(tǒng)辨識、信號處理和自適應控制等領域，為自適應濾波開辟了新的發(fā)展方向。在各種自適應濾波算

5、法中，LMS算法因為其簡單、計算量小、穩(wěn)定性好和易于實現(xiàn)而得到了廣泛應用。這種算法中，固定步長因子對算法的性能有決定性的影響。若較小時，算法收斂速度慢，并且為得到滿意的結果需要很多的采樣數(shù)據(jù)，但穩(wěn)態(tài)失調(diào)誤差較小：當“較大時，該算法收斂速度快，但穩(wěn)態(tài)失調(diào)誤差變大，并有可能使算法發(fā)散。收斂速度與穩(wěn)態(tài)失調(diào)誤差是不可兼得的兩個指標。以往的文獻對LMS算法的性能和改進算法已經(jīng)做出了相當多的研究，并且至今仍然是一個重要的研究課題。另一類重要的自適應算法是最小二乘(LS)算法。LS算法早在1795年就由高斯提出來了，但LS算法存在運算量大等缺點，因而在自適應濾波中一般采用其遞推形式遞推最小二乘(RLS)算法

6、，這是一種通過遞推方式尋求最佳解的算法，復雜度比直接LS算法小，因而獲得了廣泛應用。1994年Sayed和Kailath建立了Kalman濾波和RLS算法之間的對應關系，證明了RLS算法事實上是Kalman濾波器的一種特例，從而使人們對RLS算法有了進一步的理解，而且Kalman濾波的大量研究成果可應用于自適應濾波處理。這對自適應濾波技術起到了重要的推動作用?；旧?，現(xiàn)有的參考文獻都是基于這兩種算法進行改進的。而這兩種算法又可以簡單的用以下語句來描述：LMS：(抽頭權向量更新值)=（老的抽頭權向量值）+(學習速率)(抽頭輸出向量)(誤差信號)RLS：(狀態(tài)遞推值)=（舊的狀態(tài)值）+(卡爾曼增益

7、)(新息向量)以往的研究多集中在線性濾波方面，非線性濾波理論還有待于進一步的研究開發(fā)。12自適應濾波發(fā)展前景現(xiàn)代信號處理理論為自適應濾波技術的發(fā)展提供了廣闊的空間。尤其是小波技術和人工智能理論的發(fā)展，更是推動和加快了自適應濾波技術的前進。121小波變換與自適應濾波小波變換是由法國地球物理學家Morlet于80年代初在分析地球物理信號時作為種信號分析的數(shù)學工具提出來的。通俗地講，小波是一種短期波。在積分變換中，小波作為核函數(shù)的用法大體與傅立葉分析中的正弦和余弦函數(shù)或與沃耳什(Walsh)分析中的沃耳什函數(shù)的用法相同。目前，小波分析主要用于信號處理、圖像壓縮、次能帶編碼、醫(yī)學顯像、數(shù)據(jù)壓縮、地震分

8、析、消除噪聲數(shù)據(jù)、計算機圖像、聲音合成等領域。小波變換的基本特點是多分辨率或多標度的觀點，目的是“既要看到森林(信號的概貌)，又要看到樹木(信號的細節(jié))”。借助于小波的精辟理論，自適應濾波技術有了新的發(fā)展方向，這也引起了信號處理領域許多學者專家的濃厚興趣和熱切關注?；谛〔ㄗ儞Q的自適應濾波技術是未來自適應濾波發(fā)展的方向之一，有著廣闊的應用前景。目前還有許多問題亟待解決，例如不同形式的小波濾波器的濾波效果研究；在時變信號濾波方面的應用研究以及對于失調(diào)噪聲的濾波等等。122模糊神經(jīng)網(wǎng)絡與自適應濾波 神經(jīng)網(wǎng)絡作為一種新的計算方法，已經(jīng)引起了人們廣泛的研究興趣。神經(jīng)網(wǎng)絡可以認為是一種由許多稱為“神經(jīng)元

9、”(neuron)的基本計算單元通過廣泛的連接所組成的網(wǎng)絡。它是在現(xiàn)代神經(jīng)科學研究成果的基礎上提出來的，反映了人腦功能的基本特征。網(wǎng)絡的信息處理由神經(jīng)元之間的相互作用來實現(xiàn)，網(wǎng)絡的學習與識別決定于各神經(jīng)元之間聯(lián)接權系數(shù)的動態(tài)變化過程。人工神經(jīng)網(wǎng)絡是模仿和延伸人腦認知功能的新型智能信息處理系統(tǒng)，由于神經(jīng)元本身具有高度自適應性，因而由大量神經(jīng)元組成的神經(jīng)網(wǎng)絡具有自學習性、自組織性、巨量并行性、存儲分布性、結構可變性等特點，能解決常規(guī)信息處理方法難以解決或無法解決的問題。模糊技術也是現(xiàn)代智能理論的一個重要方面。利用模糊技術我們可以很容易的將人們熟悉的語言描述應用到自動控制或信號處理中來，然而，模糊理

10、論與神經(jīng)網(wǎng)絡都存在著各自的優(yōu)缺點。 模糊邏輯和神經(jīng)網(wǎng)絡在許多方面具有關聯(lián)性和互補性。它們的交叉研究正是基于二者互補性和關聯(lián)性的結合。首先，兩者具有互補性。一方面，模糊技術的特長在于模糊推理能力，容易進行高階的信息處理。將模糊技術引入神經(jīng)網(wǎng)絡，可以大大拓寬神經(jīng)網(wǎng)絡處理信息的范圍和能力，使其不僅能夠處理精確信息，也能夠處理模糊信息或其它不精確信息，不僅能夠?qū)崿F(xiàn)精確性聯(lián)想及映射，也能夠?qū)崿F(xiàn)不精確性聯(lián)想及映射，特別是模糊聯(lián)想和模糊映射。另一方面，神經(jīng)網(wǎng)絡在自學習和自動模式識別方面有極強的優(yōu)勢，采取神經(jīng)網(wǎng)絡技術進行模糊信息處理，則使得模糊規(guī)則的自動提取及隸屬函數(shù)的全自動生成有可能得以解決。其次，兩者具有

11、關聯(lián)性，有許多共同點。它們都著眼于模擬人的思維，都是為了處理實際中不確定性、不精確性等引起的系統(tǒng)難以控制等問題。兩者在形式上有不少相似之處，其信息都是分布式存儲于其結構之中，從而都具有好的容錯能力。不管是神經(jīng)網(wǎng)絡還是模糊邏輯，都不需要建立數(shù)學模型，只需根據(jù)輸入的采樣數(shù)據(jù)去獲取所需的結論，也就是模型無關估計器。另外，神經(jīng)網(wǎng)絡的映射功能早已得到證明。近年來，Kosko、L。XWang等證明了模糊系統(tǒng)能以任意精度逼近緊密集上的實連續(xù)函數(shù)，這也說明了二者之間有著密切的關系。因此，將兩者融合在一起的模糊神經(jīng)網(wǎng)絡可以有效的克服兩者的缺點，提高整個網(wǎng)絡的性能。譬如；神經(jīng)網(wǎng)絡可以降低透明程度，使它們更接近于模

12、糊系統(tǒng)；而模糊系統(tǒng)可以提高自適應性，更接近于神經(jīng)網(wǎng)絡。神經(jīng)網(wǎng)絡與模糊神經(jīng)網(wǎng)絡有力的推動了自適應濾波技術，特別是非線性自適應濾波技術的發(fā)展。事實上，一個神經(jīng)網(wǎng)絡或模糊神經(jīng)網(wǎng)絡本身就可以看作是一個自適應濾波器。第2章線性自適應濾波理論線性自適應濾波理論比非線性自適應濾波理論發(fā)展的比較早、比較成熟。這里只重點介紹基本的最小均方(LMS)年tl最小二乘(LS)自適應濾波器。21最小均方自適應濾波器本節(jié)所討論的LMS算法是應用最廣泛的一類算法，從理論體系上來看，最優(yōu)化方法中的最速下降法是隨機梯度信息處理的一種遞歸算法，在誤差性能未知的情況下，它可以尋求誤差曲面的最小點，可為平穩(wěn)隨機條件下的LMS算法提供

13、若干啟發(fā)性思路，并且是分析算法性能的重要基礎。211最速下降算法最速下降法是一種不用求矩陣逆來解正規(guī)方程組的方法。它通過遞推方式尋求加權矢量的最佳值。雖然在自適應濾波中很少直接使用最速下澤算法，但它構成了其它自適應算法、特別是LMS算法的基礎。圖21表示一個橫向濾波器。圖21橫向濾波器輸入矢量為（21）加權矢量(即濾波器參數(shù)矢量)為 (22)濾波器輸出為 (23)利用圖2-1中輸出信號y(n)與期望信號的d(n)的關系，誤差序列e(n)可以寫成:e(n)=d(n)-y(n) (24)自適應濾波器就是根據(jù)誤差序列8(行)按照某種準則和算法對其系數(shù)w(n)進行調(diào)整，最終使自適應濾波器的目標(代價)

14、函數(shù)達到最小，即最佳濾波狀態(tài)。按照均方誤差(MSE)準則所定義的目標函數(shù)是F(e(n)=(n)=Ee2(n)=Ed2(n)-2d(n)y(n)+y2(n) (2-5) 將式(23)代入上式，得到(n)=Ed2(n)-2Ed(n)wT(n)x(n) +EwT(n)x(n)xT(n)w(n) (2-6)固定濾波器系數(shù)，則目標函數(shù)(26)可寫為(n)= =Ed2(n)-2wT p+wT w (27)式中，R=Ex(n)xT (n) 是輸入信號的自相關矩陣；P=Ed(n)x(n)是期望信號與輸入信號的互相關矢量。假設輸入自相關矩陣R為非奇異的，當R與P均已知時，將式(27)對W求導數(shù)，并令其等于零，可

15、得到使目標函數(shù)最小的最佳濾波參數(shù)W。為W。=R-1P (2-8)這個解稱為維納解，即最佳濾波參數(shù)值。從式(27)可以看出，自適應濾波器的目標函數(shù)是濾波參數(shù)W的二次函數(shù)，因此形成了一個多維的超拋物曲面，二維時好像是一個碗狀的曲面且具有唯一的碗底最小點。這個多維的超拋物曲面通常稱之為自適應濾波器的誤差性能曲面。位于該曲面上的某一點，經(jīng)過自適應調(diào)節(jié)過程，可以朝碗底最小方向移動，最終到達最小點。最速下降法就是實現(xiàn)這種從初始值到最佳值搜索的一種優(yōu)化技術，它利用梯度信息分析白適應濾波性能和最佳濾波狀態(tài)，避免了對輸入信號自相關矩陣R直接求逆。可以想象，沿著減小的方向調(diào)整權值W，應該可以找到最佳值W。，因為梯

16、度的方向是增長最快的方向，所以負的梯度方向就是減少最快的方向，這樣，就可以采用如下的遞推公式來調(diào)整W以尋找W。： (2-9)式中，(n)代表珂時刻孝的梯度，是一個M×1維的矢量，這里M為濾波器濾波權系數(shù)的數(shù)目；u是一個正實常數(shù)，通常被稱為步長或步長因子。根據(jù)梯度定義，(n)可以寫成：將式(27)對W取偏導，可以得到：將式(211)代入式(2-9)可得到最速下降法的遞推公式:有關最速下降法的收斂性，這里只給出其結果。當最速下降法滿足下面條件時是收斂的： 0<<max式中，max是自相關矩陣R的最大特征根。212最小均方算法如上節(jié)所述，要使用最速下降法，就要知道均方誤差性能函

17、數(shù)的梯度的精確值，見式(211)，這就要求輸入信號x(n)和期望信號d(n)平穩(wěn)，并且要求它們的二階統(tǒng)計特性已知。而這是相當復雜的，很多情況下它們是未知的或不完全知道的，因此一般采用梯度的估計值(n)來代替梯度(n)，即最小均方(LMS)算法就是使用瞬時輸出誤差功率的梯度 Ee2(n)作為均方誤差梯度 Ee2(n)的估計值，也就是令將式(215)代入式(2-14)，有式(216)就是LMS算法的遞推公式。自適應LMS算法簡單，既不需要計算輸入信號的相關函數(shù)，又不需要求矩陣的逆，因而得到了廣泛應用。但是，由于LMS算法采用梯度矢量的瞬時估計，它有很大的方差，以至不能獲得最優(yōu)濾波性能。下面給出完整

18、的算法步驟：有關參量：M濾波器抽頭數(shù)；步長；0<<(MPin)-1，Pin=Ex1(n)2初始條件：w(O)=0或者由先驗知識確定計算步驟：對于H=1,2，(1)取x(n)，d(n)(2)濾波y(n)=WT(n)x(n)(3)估計誤差e(n)=d(n)-y(n)(4)更新權向量w(H+1)=w(n)+e(n)x(n)當濾波器的輸入信號為有色隨機過程時，特別是輸入信號為高度相關的情況，大多數(shù)自適應濾波算法的收斂速度都要下降，對于上述典型LMS算法。此問題更加突出。為了提高收斂速度，相繼提出了多種改進的算法。下面給出幾種改進的權值遞推公式：(1)歸一化LMS算法：式中，0<<

19、;1為控制失調(diào)的固定收斂因子；是為了避免XT(n)x(n)過小而導致步長值太大而設置的正常數(shù)。(2)簡化的LMS算法：(3)MLMS算法：以上這幾種改進LMS算法中，前兩種都是交步長方法，后一種采用的是改變梯度估值的方法。除了這幾種方法以外，還有很多改進的算法，比如變換域LMS算法，該算法適用于輸入信號具有高度相關性的情況下；頻域LMS算法，該算法與經(jīng)典梯度下降法相比較有著更好的收斂性；分塊LMS算法，與其它方法相比該算法計算量大為減少；最小高階均方(LMK)算法，該算法是LMS算法的擴展，或者說LMS算法是該算法的特例，當系統(tǒng)噪聲為非高斯分布時，LMK算法要比LMS算法收斂精度高；QR分解L

20、MS算法，該算法適用于橫向延遲線抽頭數(shù)目比較小的情況。其它方法這里不再列舉。22遞歸最小二乘自適應濾波器最小二乘(LS)法是一種典型的有效的數(shù)據(jù)處理方法，既可用于靜態(tài)系統(tǒng)，又可用于動態(tài)系統(tǒng)：既可用于線性系統(tǒng)，又可用于非線性系統(tǒng)；既可用于離線估計，又可用于在線估計。遞歸最小二乘(Recursive Least Square簡寫RLS)是最小乘法的一種快速算法，它包含時間遞歸最小二乘(TRLS)算法和階數(shù)遞歸最小二乘(ORES)算法兩方面內(nèi)容，一般前者適用于動態(tài)系統(tǒng)辨識和在線估計，后者適用于靜態(tài)系統(tǒng)辨識和離線估計。與LMS算法相比，RLS算法有著非?？斓氖諗克俣取D2-2自適應RLS算法采用RLS

21、算法的自適應濾波器如圖2-2所示。輸入信號x(n)，含有N個已知樣本x(1), x(2), x(3)x(N)，期望輸出為d(n)=d(1)，d(2)，d(N)。濾波器輸出為M為濾波器長度，且MN。誤差信號為e(n)=d(n)-y(n) (2-23)按照最小平方準則，設計濾波器目標函數(shù)為將式(2-22)代入式(224)得到定義如下參量：為確定性自相關函數(shù)，表示輸入信號在抽頭k與抽頭m之間兩信號的相關性：為確定性互相關函數(shù)，表示期望響應與在抽頭K輸入信號之間的互相關性:為期望響應序列的能量。將式(2-26)(2-28)代入式(225)，目標函數(shù)可寫為因此有令式(2-30)等于零，得到把它簡化成矩陣

22、形式，有式中，w(n)為M×1維最小平方估計的濾波器系數(shù)矢量，即(n)為延遲線抽頭輸入信號的確定性自相關函數(shù)，是一個M×M維矩陣即(n)為脈沖響應序列與輸入信號之間的確定性互相關函數(shù)M×1維矢量，即假定矩陣(n)是非奇異的，其逆矩陣存在，則由(2-32)可求得式f2，36)就是最+-乘法自適應濾波算法的正規(guī)方程。從式中可以看出，它要求(n)是可逆的矩陣，雖然如此，但是對大多數(shù)應用來說這都是成立的。若對于某應用(n)為降秩，即為不可逆矩陣，則式(2-36可理解為采用了偽逆矩陣。下面推導RLS算法由式(2，36)有根據(jù)式(226)可得到寫成矩陣形式利用矩陣求逆定理再由

23、式（2-39)可求得引入M×M維矩陣和N維矢量K(n)被稱為增益系數(shù)。將式(242)和式(2-43)代入(2-41)得到上式兩邊右乘x(n)用式(243)中分母多項式右乘上式兩邊，整理得到把上式帶入式(245)中，可化簡成下式另外，根據(jù)式(227)有如下遞推關系式寫成矩陣形式式中M×1維矢量d(n)x(n)代表遞歸計算的更新校正項,把式(242)代入式(2-36)得到:再將式(2-49)代入上式，并由式(2-47)可得到將式(2-44)代入式(2-51)中，且根據(jù)式(2-50)有上式就是RLS算法的遞推公式。與LMS算法相比較，兩者的主要差別在于增益系數(shù)，LMS算法簡單的利

24、用輸入矢量乘上常數(shù)，而RLS算法則用較復雜的K(n)。下面給出RLS算法的初始條件以及運算步驟：初始條件：w(O)=0；P(O)=-1(0)=-1I為小的正實數(shù)運算步驟：對于n=1,2，(1) 取d(n)，x(n)(2)(3) 更新濾波器參數(shù)(4) 更新逆矩陣第3章 仿真3.1 基于LMS算法的MATLAB仿真在matlab中輸入以下程序，可得出仿真結果g=100; %統(tǒng)計仿真次數(shù)為gN=1024; %輸入信號抽樣點數(shù)k=128; %濾波器階數(shù)pp=zeros(g,N-k); %將每次獨立循環(huán)的誤差結果存于矩陣pp中，以便后面對其平均u=0.00026; %濾波器收斂因子for q=1:g t

25、=1:N; a=1; s=a*sin(0.05*pi*t); %輸入單信號s figure(1); subplot(411) plot(s); %信號s時域波形 title('信號s時域波形'); xlabel('n'); axis(0,N,-a-1,a+1); xn=awgn(s,5); %加入均值為零的高斯白噪聲 %設置初值 y=zeros(1,N); %輸出信號y y(1:k)=xn(1:k); %將輸入信號xn的前k個值作為輸出y的前k個值 w=zeros(1,k); %設置抽頭加權初值 e=zeros(1,N); %誤差信號 %用LMS算法迭代濾波 for i=(k+1):N XN=xn(i-k+1):(i); y(i)=w*XN' e(i)=s(i)-y(i); w=w+u*e(i)*XN;endpp(q,:)=(e(k+1):N).2;endsubplot(412)plot(xn); %信號s時域波形title('信號s加噪聲后的時域波形');subplot(413)plot(y); %信號s時域波形 title('自適應濾波后的輸出時域波形');subplot(414)plot(e);title(