自適應(yīng)濾波算法的研究分析0001

1、自適應(yīng)濾波算法的研究第 1 章 緒論1.1 課題背景伴隨著移動通信事業(yè)的飛速發(fā)展， 自適應(yīng)濾波技術(shù)應(yīng)用的范圍也日益擴(kuò) 大。早在 20世紀(jì)40年代，就對平穩(wěn)隨機(jī)信號建立了維納濾波理論。 根據(jù)有用 信號和干擾噪聲的統(tǒng)計特性 （自相關(guān)函數(shù)或功率譜 ），用線性最小均方誤差估 計準(zhǔn)則設(shè)計的最佳濾波器， 稱為維納濾波器。 這種濾波器能最大程度地濾除 干擾噪聲，提取有用信號。但是，當(dāng)輸入信號的統(tǒng)計特性偏離設(shè)計條件，則 它就不是最佳的了， 這在實(shí)際應(yīng)用中受到了限制。 到60年代初， 由于空間技 術(shù)的發(fā)展， 出現(xiàn)了卡爾曼濾波理論， 即利用狀態(tài)變量模型對非平穩(wěn)、 多輸入 多輸出隨機(jī)序列作最優(yōu)估計。 現(xiàn)在，卡爾曼濾

2、波器己成功地應(yīng)用到許多領(lǐng)域， 它既可對平穩(wěn)的和非平穩(wěn)的隨機(jī)信號作線性最佳濾波，也可作非線性濾波。 實(shí)質(zhì)上，維納濾波器是卡爾曼濾波器的一個特例。在設(shè)計卡爾曼濾波器時， 必須知道產(chǎn)生輸入過程的系統(tǒng)的狀態(tài)方程和測 量方程，即要求對信號和噪聲的統(tǒng)計特性有先驗(yàn)知識， 但在實(shí)際中， 往往難 以預(yù)知這些統(tǒng)計特性，因此實(shí)現(xiàn)不了真正的最佳濾波。Widrow B等于1967年提出的自適應(yīng)濾波理論，可使自適應(yīng)濾波系統(tǒng)的 參數(shù)自動地調(diào)整而達(dá)到最佳狀況， 而且在設(shè)計時， 只需要很少的或根本不需 要任何關(guān)于信號與噪聲的先驗(yàn)統(tǒng)計知識。 這種濾波器的實(shí)現(xiàn)差不多象維納濾 波器那樣簡單， 而濾波性能幾乎如卡爾曼濾波器一樣好。 因

3、此，近十幾年來， 自適應(yīng)濾波理論和方法得到了迅速發(fā)展。 1自適應(yīng)濾波是一種最佳濾波方法。它是在維納濾波， Kalman濾波等線 性濾波基礎(chǔ)上發(fā)展起來的一種最佳濾波方法。 由于它具有更強(qiáng)的適應(yīng)性和更 優(yōu)的濾波性能。從而在工程實(shí)際中， 尤其在信息處理技術(shù)中得到廣泛的應(yīng)用。自適應(yīng)濾波的研究對象是具有不確定的系統(tǒng)或信息過程。 “不確定” 是 指所研究的處理信息過程及其環(huán)境的數(shù)學(xué)模型不是完全確定的。 其中包含一 些未知因數(shù)和隨機(jī)因數(shù)。任何一個實(shí)際的信息過程都具有不同程度的不確定性， 這些不確定性有 時表現(xiàn)在過程內(nèi)部， 有時表現(xiàn)在過程外部。 從過程內(nèi)部來講， 描述研究對象 即信息動態(tài)過程的數(shù)學(xué)模型的結(jié)構(gòu)和

4、參數(shù)是我們事先不知道的。 作為外部環(huán) 境對信息過程的影響，可以等效地用擾動來表示， 這些擾動通常是不可測的， 它們可能是確定的， 也可能是隨機(jī)的。 此外一些測量噪音也是以不同的途徑 影響信息過程。 2 這些擾動和噪聲的統(tǒng)計特性常常是未知的。面對這些客觀 存在的各種不確定性， 如何綜合處理信息過程， 并使某一些指定的性能指標(biāo) 達(dá)到最優(yōu)或近似最優(yōu)，這就是自適應(yīng)濾波所要解決的問題?？梢姡赃m應(yīng)濾波算法的研究與實(shí)際狀況有著密不可分的關(guān)系， 具有重 要的意義。1.2 國內(nèi)外目前的研究狀況最早人們根據(jù)生物能以各種有效的方式適應(yīng)生存環(huán)境從而使生命力變 強(qiáng)的特性引伸出自適應(yīng)這個概念。 自適應(yīng)濾波器屬于現(xiàn)代濾波

5、器的范疇， 它 是 40 年代發(fā)展起來的自適應(yīng)信號處理領(lǐng)域的一個重要應(yīng)用。 60 年代，美國 B.Windrow 和 Hoff 首先提出了主要應(yīng)用于隨機(jī)信號處理的自適應(yīng)濾波器算 法，從而奠定自適應(yīng)濾波器的發(fā)展。 所謂自適應(yīng)濾波器， 即利用前一時刻已 獲得的濾波器參數(shù)等結(jié)果， 自動地調(diào)節(jié)現(xiàn)時刻的濾波器參數(shù)， 以適應(yīng)信號與 噪聲未知的或隨時間變化的統(tǒng)計特性，從而實(shí)現(xiàn)最優(yōu)濾波。自適應(yīng)信號處理主要是研究結(jié)構(gòu)可變或可調(diào)整的系統(tǒng)， 它可以通過自身 與外界環(huán)境的接觸來改善自身對信號處理的性能。 通常這類系統(tǒng)是時變的非 線性系統(tǒng)， 可以自動適應(yīng)信號傳輸?shù)沫h(huán)境和要求， 無須詳細(xì)知道信號的結(jié)構(gòu) 和實(shí)際知識， 無須

6、精確設(shè)計處理系統(tǒng)本身。 自適應(yīng)系統(tǒng)的非線性特性主要是 由系統(tǒng)對不同的信號環(huán)境實(shí)現(xiàn)自身參數(shù)的調(diào)整來確定的。 自適應(yīng)系統(tǒng)的時變 特性主要是由其自適應(yīng)響應(yīng)或自適應(yīng)學(xué)習(xí)過程來確定的， 當(dāng)自適應(yīng)過程結(jié)束 和系統(tǒng)不再進(jìn)行時， 有一類自適應(yīng)系統(tǒng)可成為線性系統(tǒng)， 并稱為線性自適應(yīng) 系統(tǒng)，因?yàn)檫@類系統(tǒng)便于設(shè)計且易于數(shù)學(xué)處理， 所以實(shí)際應(yīng)用廣泛。 本文研 究的自適應(yīng)濾波器就是這類濾波器。自適應(yīng)信號處理的應(yīng)用領(lǐng)域包括通信、 雷達(dá)、聲納、地震學(xué)、導(dǎo)航系統(tǒng)、生物醫(yī)學(xué)和工業(yè)控制等。 3自適應(yīng)濾波器出現(xiàn)以后，發(fā)展很快。由于設(shè)計簡單、性能最佳，自適應(yīng) 濾波器是目前數(shù)字濾波器領(lǐng)域是活躍的分支，也是數(shù)字濾波器研究的熱點(diǎn)。 主要自

7、適應(yīng)濾波器有：遞推最小二乘 (RLS)濾波器、最小均方差 (LMS) 濾波 器、格型濾波器、無限沖激響應(yīng) (IIR)濾波器。其中 LMS濾波器和 RLS濾波 器具有穩(wěn)定的自適應(yīng)行為而且算法簡單， 收斂性能良好。 將作為本文研究的 重點(diǎn)。自適應(yīng)濾波器是相對固定濾波器而言的，固定濾波器屬于經(jīng)典濾波器， 它濾波的頻率是固定的， 自適應(yīng)濾波器濾波的頻率則是自動適應(yīng)輸入信號而 變化的，所以其適用范圍更廣。 在沒有任何關(guān)于信號和噪聲的先驗(yàn)知識的條 件下，自適應(yīng)濾波器利用前一時刻已獲得的濾波器參數(shù)來自動調(diào)節(jié)現(xiàn)時刻的 濾波器參數(shù)， 以適應(yīng)信號和噪聲未知或隨機(jī)變化的統(tǒng)計特性， 從而實(shí)現(xiàn)最優(yōu) 濾波。自適應(yīng)濾波器是

8、以最小均方誤差為準(zhǔn)則， 由自適應(yīng)算法通過調(diào)整濾波器 系數(shù)，以達(dá)到最優(yōu)濾波的時變最佳濾波器。 設(shè)計自適應(yīng)濾波器時， 可以不必 預(yù)先知道信號與噪聲的自相關(guān)函數(shù)， 在濾波過程中， 即使噪聲與信號的自相 關(guān)函數(shù)隨時間緩慢變化， 濾波器也能自動適應(yīng)， 自動調(diào)節(jié)到滿足均方誤差最 小的要求。自適應(yīng)濾波器主要由參數(shù)可調(diào)的數(shù)字濾波器和調(diào)整濾波器系數(shù)的 自適應(yīng)算法兩部分構(gòu)成自適應(yīng)濾波器的一般結(jié)構(gòu)。 實(shí)際上，自適應(yīng)濾波器是 一種能夠自動調(diào)整本身參數(shù)的特殊維納濾波器， 在設(shè)計時不需要實(shí)現(xiàn)知道關(guān) 于輸入信號和噪聲的統(tǒng)計特性的知識， 它能夠在自己的工作過程中逐漸 “了 解”或估計出所需的統(tǒng)計特性， 并以此為依據(jù)自動調(diào)整自

9、己的參數(shù)， 以達(dá)到 最佳濾波效果。一旦輸入信號的統(tǒng)計特性發(fā)生變化， 它又能夠跟蹤這種變化， 自動調(diào)整參數(shù)，使濾波器性能重新達(dá)到最佳。 4第 2 章 自適應(yīng)濾波的原理及應(yīng)用2.1 引言在對隨機(jī)信號處理過程中經(jīng)常用到的是維納濾波器和卡爾曼濾波器兩 種濾波器。維納( Weiner) 濾波，它根據(jù)平穩(wěn)隨機(jī)信號的全部過去和當(dāng)前的觀 察數(shù)據(jù)來估計信號的當(dāng)前值， 在最小均方差的條件下得到系統(tǒng)的傳遞函數(shù)或 者沖擊響應(yīng)，它是一種最優(yōu)線性濾波方法， 參數(shù)是固定的， 適用于平穩(wěn)隨機(jī) 信號。卡爾曼濾波， 它是依據(jù)當(dāng)前時刻數(shù)據(jù)的觀測值和前一時刻對該時刻的 預(yù)測值進(jìn)行遞推數(shù)據(jù)處理的濾波算法。 它自動調(diào)節(jié)本身的沖擊響應(yīng)特性

10、， 或 者說，自動的調(diào)節(jié)數(shù)字濾波器的系數(shù)， 以適應(yīng)信號變化的特性， 從而達(dá)到最 優(yōu)化濾波。它的參數(shù)是時變的，適用于非平穩(wěn)隨機(jī)信號。然而，只有對信號 噪聲的統(tǒng)計特性先驗(yàn)已知的情況下， 這兩種濾波器才能獲得最優(yōu)濾波。 可是， 在實(shí)際應(yīng)用中， 常常無法得到這些統(tǒng)計特性的先驗(yàn)知識； 或者，統(tǒng)計特性是 隨時間變化的。 因此，用維納或卡爾曼濾波器實(shí)現(xiàn)不了最優(yōu)濾波。 在這種情 況下，自適應(yīng)能夠提供卓越的濾波性能。 52.2 自適應(yīng)濾波器的基本原理所謂自適應(yīng)濾波， 就是利用前一時刻己獲得的濾波器參數(shù)等結(jié)果， 自動 的調(diào)節(jié)現(xiàn)時刻的濾波器參數(shù)， 以適應(yīng)信號和噪聲未知的或隨時間變化的統(tǒng)計 特性，從而實(shí)現(xiàn)最優(yōu)濾波。

11、自適應(yīng)濾波器實(shí)質(zhì)上就是一種能調(diào)節(jié)其自身傳輸 特性以達(dá)到最優(yōu)化的維納濾波器。 自適應(yīng)濾波器不需要關(guān)于輸入信號的先驗(yàn) 知識，計算量小，特別適用于實(shí)時處理。由于無法預(yù)先知道信號和噪聲的特性或者它們是隨時間變化的， 僅僅用 FIR和IIR兩種具有固定濾波系數(shù)的濾波器無法實(shí)現(xiàn)最優(yōu)濾波。在這種情況 下，必須設(shè)計自適應(yīng)濾波器，以跟蹤信號和噪聲的變化。自適應(yīng)濾波器是以最小均方誤差為準(zhǔn)則， 由自適應(yīng)算法通過調(diào)整濾波器 系數(shù)，以達(dá)到最優(yōu)濾波的時變最佳濾波器。 設(shè)計自適應(yīng)濾波器時， 可以不必 預(yù)先知道信號與噪聲的自相關(guān)函數(shù)， 在濾波過程中， 即使噪聲與信號的自相 關(guān)函數(shù)隨時間緩慢變化， 濾波器也能自動適應(yīng)， 自動調(diào)

12、節(jié)到滿足均方誤差最 小的要求。自適應(yīng)濾波器主要由參數(shù)可調(diào)的數(shù)字濾波器和調(diào)整濾波器系數(shù)的 自適應(yīng)算法兩部分構(gòu)成自適應(yīng)濾波器。參數(shù)可調(diào)數(shù)字濾波器可以是FIR濾波器或 IIR數(shù)字濾波器，也可以是格形濾波器 6圖2-1示出了自適應(yīng)濾波器的一般結(jié)構(gòu)。圖 2-1 自適應(yīng)濾波原理圖圖中， x(n) 為輸入信號， y(n)為輸出信號， d(n) 為參考信號或期望信 號，e(n)則是d(n) 和y(n)的誤差信號。自適應(yīng)濾波器的濾波器系數(shù)受誤差 信號e(n) 控制，根據(jù) e( n)的值和自適應(yīng)算法自動調(diào)整。一個自適應(yīng)濾波器的完整規(guī)范是由如下三項(xiàng)所組成的：(1) 應(yīng)用 在過去十年中，自適應(yīng)技術(shù)在更多的應(yīng)用場合 (

13、比如回波消 除、色散信道的均衡、系統(tǒng)辨識、信號增強(qiáng)、自適應(yīng)波束形成、噪聲消除一 級控制領(lǐng)域等 ) 取得了成功。研究自適應(yīng)濾波器的各種應(yīng)用本文會簡單考慮 一些應(yīng)用例子。(2) 自適應(yīng)濾波器結(jié)構(gòu) 自適應(yīng)濾波器可以用許多不同結(jié)構(gòu)來實(shí)現(xiàn)。結(jié) 構(gòu)的選取會營銷到處理的計算復(fù)雜度 (即每次迭代的算數(shù)操作數(shù)目 ) ，還會對 達(dá)到期望性能標(biāo)準(zhǔn)所需要的迭代次數(shù)產(chǎn)生影響。 從根本上講主要有兩類自適 應(yīng)數(shù)字濾波器結(jié)構(gòu) ( 這是根據(jù)其沖激響應(yīng)的形式來劃分的 ) ，即有限長沖擊響 應(yīng)(FIR)濾波器和無限長沖激響應(yīng) (IIR)濾波器。 FIR濾波器通常利用非遞歸結(jié) 構(gòu)來實(shí)現(xiàn)，而 IIR 濾波器則利用遞歸結(jié)構(gòu)來實(shí)現(xiàn)。自適應(yīng)

14、 FIR濾波器結(jié)構(gòu)：應(yīng) 用最廣泛的自適應(yīng) FIR濾波器結(jié)構(gòu)是橫向?yàn)V波器，也成為抽頭延遲線，它利 用正規(guī)直接形式實(shí)現(xiàn)全零點(diǎn)傳輸函數(shù)，二不采用反饋環(huán)節(jié)。對于這種結(jié)構(gòu)， 輸出信號 y(n)是濾波器洗漱的線性組合， 它產(chǎn)生具有惟一最優(yōu)解的二次均方 誤差函數(shù)。為了得到相對于橫向?yàn)V波器結(jié)構(gòu)來說更好的性能 (這些性能是用 計算復(fù)雜度、收斂速度和有限字長特征等來描述的 )自適應(yīng) IIR濾波器結(jié)構(gòu)： 自適應(yīng) IIR濾波器采用得最多的結(jié)構(gòu)是標(biāo)準(zhǔn)直接形式結(jié)構(gòu)，因?yàn)樗膶?shí)現(xiàn)和 分析都很簡單。然而，采用遞歸自適應(yīng)濾波會存在一些內(nèi)在的問題 (這些問 題是由結(jié)構(gòu)決定的，比如要求對極點(diǎn)的穩(wěn)定性進(jìn)行監(jiān)視 )，而且收斂速度很 慢

15、。為了克服這些問題，人們提出了不同的結(jié)構(gòu)形式。(3) 算法 其中算法是為了使某個預(yù)先確定的準(zhǔn)則達(dá)到最小化，而自適 應(yīng)地調(diào)整濾波器系數(shù)的方法。算法是通過定義搜索方法 ( 或者最小化算法 ) 、 目標(biāo)函數(shù)和無償信號的特性來確定的。 算法的選擇據(jù)定了整個自適應(yīng)過程的 幾個重要因素，比如優(yōu)解的存在性、有偏最優(yōu)解和計算復(fù)雜度等。 72.3 自適應(yīng) IIR 濾波器自適應(yīng)濾波器出現(xiàn)以后，發(fā)展很快。由于設(shè)計簡單、性能最佳，自適應(yīng) 濾波器是目前數(shù)字濾波器領(lǐng)域是活躍的分支，也是數(shù)字濾波器研究的熱點(diǎn)。 主要自適應(yīng)濾波器有： 遞推最小二乘 ( RLS)濾波器、最小均方差 ( LMS )濾波 器、格型濾波器、無限沖激響

16、應(yīng) ( IIR)濾波器。其中 RLS 濾波器具有穩(wěn)定的 自適應(yīng)行為而且算法簡單，收斂性能良好。實(shí)際情況中， 由于信號和噪聲的統(tǒng)計特性常常未知或無法獲知， 這就為 自適應(yīng)濾波器提供廣闊的應(yīng)用空間、 系統(tǒng)辨識、噪聲對消、自適應(yīng)譜線增強(qiáng)、 通信信道的自適應(yīng)均衡、 線性預(yù)測、自適應(yīng)天線陣列等是自適應(yīng)濾波器的主 要應(yīng)用領(lǐng)域。自適應(yīng)有限沖激響應(yīng) ( FIR)濾波器由于其收斂性和穩(wěn)定性十分簡單，現(xiàn) 已有相當(dāng)完善的自適應(yīng)算法， 在信號處理領(lǐng)域， 獲得了廣泛應(yīng)用。 但由于它 是非遞歸結(jié)構(gòu)，沖激響應(yīng)為有限長，當(dāng)用于較高精度匹配的實(shí)際物理系統(tǒng)時， 所需階次可能相當(dāng)大，因而導(dǎo)致結(jié)構(gòu)復(fù)雜，運(yùn)算量大。自適應(yīng)IIR 濾波器

17、是一個具有無限沖激響應(yīng)的遞歸濾波器， 它的一個最重要的優(yōu)點(diǎn)是， 與相同系 數(shù)個數(shù)的自適應(yīng) FIR濾波器相比有更好的性能，這是因?yàn)檩敵龅姆答伿褂邢?數(shù)量的系數(shù)產(chǎn)生了無限沖激響應(yīng)， 使得零點(diǎn)與極點(diǎn)模型濾波器的輸出比起僅 有零點(diǎn)的濾波器的輸出能更有效地逼近期望響應(yīng)信號。 例如，一個有足夠高 階數(shù)的自適應(yīng) IIR 濾波器可以精確地逼近一未知的零點(diǎn)與極點(diǎn)系數(shù)闊，而一 個自適應(yīng) FIR濾波器只能近似逼近這一系統(tǒng)。反之，要達(dá)到相同性能， IIR濾 波器所需要的系數(shù)個數(shù)一般比 FIR濾波器少得多，正是由于這一潛在的計算 量的優(yōu)勢，近十年來，自適應(yīng) IIR 濾波器的研究一直非常活躍，出現(xiàn)了一批 比較成熟的算法。

18、可以預(yù)測，在許多應(yīng)用中，自適應(yīng) IIR 濾波器將取代正被 廣泛使用的自適應(yīng) FIR濾波器。 8應(yīng)該指出的是， 與自適應(yīng) FIR濾波器相比，自適應(yīng) IIR濾波器在減少計算 量的同時也付出了一定的代價。 由于反饋的存在， 算法的收斂時間加大， 其 收斂性和穩(wěn)定性分析都十分復(fù)雜， 這是需要注意繼續(xù)研究的問題。 目前，在 相同濾波性能條件下，自適應(yīng) IIR 濾波器的收斂性己可優(yōu)于自適應(yīng) FIR濾波 器。根據(jù)誤差的不同表示，自適應(yīng) IIR 濾波器又可分為兩種形式：方程誤差 ( Equation-Error) 形式和輸出誤差 ( Output-Error) 形式。在很大程度上方程誤差自適應(yīng) IIR濾波器在

19、很像一個自適應(yīng) FIR濾波器， 他們之間的主要區(qū)別在與方程誤差自適應(yīng) IIR 濾波器就是一個零點(diǎn)一極點(diǎn)模 型，而自適應(yīng) FIR 濾波器是一個嚴(yán)格全零點(diǎn)模型。而輸出誤差形式的自適應(yīng) IIR 濾波器的算法比方程誤差 IIR 濾波器的算法要復(fù)雜的多。輸出誤差方法中 的濾波器輸出僅由觀測輸入來產(chǎn)生期望響應(yīng)。2.4 自適應(yīng)濾波器的應(yīng)用近十幾年來， 自適應(yīng)濾波理論和方法得到了迅速的發(fā)展， 究其原因是因 為自適應(yīng)濾波器相比于其他一般的濾波器在濾波性能、設(shè)計實(shí)現(xiàn)的難易程 度、對外部環(huán)境的復(fù)雜程度的適應(yīng)能力和對系統(tǒng)先驗(yàn)統(tǒng)計知識的依賴程度等 方面都顯現(xiàn)出強(qiáng)大的優(yōu)勢。 自適應(yīng)濾波器具有很強(qiáng)的自學(xué)習(xí)、 自跟蹤能力和

20、算法的簡單易實(shí)現(xiàn)性， 它在噪化信號的檢測增強(qiáng)， 噪聲干擾的抵消， 通信系 統(tǒng)的自適應(yīng)均衡，圖象的自適應(yīng)增強(qiáng)復(fù)原以及未知系統(tǒng)的自適應(yīng)參數(shù)辯識等 方面都有廣泛的應(yīng)用。 在本節(jié)中， 我們將討論輸入信號和期望信號的一些可 能選擇，并討論這些選擇是如何與應(yīng)用聯(lián)系在一起的。2.4.1 信號增強(qiáng)器自適應(yīng)濾波器的一個簡單應(yīng)用就是信號增強(qiáng)器， 它被用來檢測或增強(qiáng)淹 沒在寬度噪聲中的窄帶隨機(jī)信號。對于信號增強(qiáng)的情況，信號 x(k) 受噪聲 n1(k )的污染，而且與噪聲相關(guān)的信號 n2 (k )是可以得到的 (即可測量的 )。如 果n2(k) 作為自適應(yīng)濾波器的輸入， 而將受到噪聲污染的信號作為期望信號， 則當(dāng)濾

21、波收斂以后，其輸出誤差就是信號的增強(qiáng)形式。 圖 2-2 說明了一種信 號增強(qiáng)的典型配置。 9e(k)2.4.2 系統(tǒng)辨識器 在系統(tǒng)辨識應(yīng)用中， 期望信號是未知系統(tǒng)受某個寬帶信號激勵時產(chǎn)生的 輸出，在大多數(shù)情況下， 輸入是白噪聲信號。 寬帶信號同時也被用來作為圖2-3 所示的自適應(yīng)濾波器的輸入。當(dāng)輸出 MSE 達(dá)到最小時，自適應(yīng)濾波器 就代表了未知系統(tǒng)的模型。2.4.3 信道均衡器 信道均衡器的作用是在信道通帶內(nèi)形成一個信道傳輸函數(shù)的逆， 而在通 帶之外它的增益則很小或者為零。 因而，由信道和均衡器級聯(lián)組成的系統(tǒng)在 通帶內(nèi)有基本均勻的振幅特性， 而帶外基本為零， 相位響應(yīng)在帶內(nèi)是頻 率的線性函數(shù)

22、。 如果條件滿足， 聯(lián)合的沖激響應(yīng)就是辛格函數(shù)， 故符號間干 擾可被消除。自適應(yīng)調(diào)整也解決了信道本身未知、 時變的特性所帶來的困難。在信道均衡應(yīng)用中， 將發(fā)送的受信道失真影響的原始信號作為自適應(yīng)濾 波器的輸入信號，而期望信號是原始信號的時延形式，如圖 2-4 所示。通常情況下，輸入信號的時延形式在接收端是可以得到的， 采用形式是標(biāo)準(zhǔn)的訓(xùn) 練信號。當(dāng) MSE 達(dá)到最小時，就表明自適應(yīng)濾波器代表了信道的逆模型 （均 衡器 ）。e(k)圖 2-4 信道均衡器2.4.4 信號預(yù)測器最后，對于預(yù)測情形，期望信號是自適應(yīng)濾波器輸入信號的前向（有時可能是后向 ）形式，如圖 2-5 所示。當(dāng)濾波器收斂以后，自

23、適應(yīng)濾波器就代 表了輸入信號的模型，而且可以用來作為輸入信號的預(yù)測器模型。圖 2-5 信號預(yù)測器第 3 章 LMS 自適應(yīng)濾波算法分析3.1 引言LMS算法是 1960年由Widrow 和Hoff提出的最小均方誤差 (LMS) 算法， LMS 算法是基于估計梯度的最速下降算法的， 由于采用粗糙的梯度估計值得 到的，從而其算法性能欠佳，應(yīng)用范圍受限，但是因?yàn)槠渚哂杏嬎懔啃?、?于實(shí)現(xiàn)等優(yōu)點(diǎn)而在實(shí)踐中被廣泛采用。 典型的應(yīng)用領(lǐng)域有系統(tǒng)識別、 信號處 理和自適應(yīng)控制。 LMS 算法的基本原理是基于最速下降法， 即沿著權(quán)值的梯 度估值的負(fù)方向進(jìn)行搜索， 達(dá)到權(quán)值最優(yōu)， 實(shí)現(xiàn)均方誤差最小意義下的自適 應(yīng)

24、濾波。初始收斂速度、 時變系統(tǒng)跟蹤能力及穩(wěn)態(tài)失調(diào)是衡量自適應(yīng)濾波算 法優(yōu)劣的三個重要的技術(shù)指標(biāo)。 由于主輸入端不可避免地存在干擾噪聲， 自 適應(yīng)濾波算法將產(chǎn)生參數(shù)失調(diào)噪聲。 干擾噪聲越大， 則引起的失調(diào)噪聲就越 大。減小步長因子產(chǎn)可降低自適應(yīng)濾波算法的穩(wěn)態(tài)失調(diào)， 提高算法的收斂精 度。153.2 最小均方差 (LMS) 算法LMS 算法的判據(jù)是最小均方誤差，即理想信號 d(n) 與濾波器輸出 y(n) 之差e(n)的平方值的期望值最小，并且根據(jù)這個判據(jù)來修改權(quán)系數(shù) wi(n) 由 此產(chǎn)生的算法稱為最小均方算法 (LMS) 。絕大多數(shù)對自適應(yīng)濾波器的研究是 基于由 Widrow 提出的 LMS

25、算法。這是因?yàn)?LMS 算法的設(shè)計和實(shí)現(xiàn)都比較簡單，在很多應(yīng)用場合都非常適用。 16(3-1)(3-2) e(n) 寫作(3-3)(3-4)令N 階 FIR 濾波器的抽頭系數(shù)為 wi ( n) ，濾波器的輸入和輸出分別為 x(n) 和 y(n)，則 FIR 橫向?yàn)V波器方程可表示為：Ny(n)wi (n)x(n i)i1令d(n) 代表“所期望的響應(yīng)” ，并定義誤差信號：Ne(n) d(n) y(n) d(n)wi (n)x(n i)i1 采用向量形式表示權(quán)系數(shù)及輸入 w和 X (n) ，可以將誤差信號 e(n) d(n) W TX(n) d(n) XT (n)W 誤差的平方為：2 2 T T

26、T e2(n) d2(n) 2d(n)XT(n)W WT X(n)XT(n)W 上式兩邊取數(shù)學(xué)期望后，得均方誤差：E e2 (n) Ed2(n) 2Ed(n)XT(n)W WTEX(n)XT (n)W (3-5) 定義互相關(guān)函數(shù)向量：RTXd Ed(n)XT (n)(3-6)和自相關(guān)函數(shù)矩陣：RXX EX(n)XT (n)(3-7)所以均方誤差可表述為：Ee2(n) Ed 2(n) 2RTXdW WTRXXW(3-8)這表明均方誤差是權(quán)系數(shù)向量 W 的二次函數(shù)，它是一個凹的拋物形曲 面，是具有唯一最小值的函數(shù)。 調(diào)節(jié)權(quán)系數(shù)使均方誤差為最小， 相當(dāng)于沿拋 物形曲面下降找最小值?？梢杂锰荻确▉砬笤?/p>

27、最小值。將式(3-8)對權(quán)系數(shù) W 求導(dǎo)數(shù)，得到均方誤差函數(shù)的梯度：(n) E e2( n)EeW(n) ,., EeW(n)2RXd 2RXXWW1WNXd XX (3-9)令 (n) =0，即可以求出最佳權(quán)系數(shù)向量：Wopt RXX1 RXd(3-10)將Wopt 代入式(3-8)，得最小均方誤差：Ee2(n) min E d2 (n) RTXdWopt(3-11)利用式(3-11)求最佳權(quán)系數(shù)向量的精確解需要知道 Rxx和 Rxd的先驗(yàn)統(tǒng)計 知識，而且還需要進(jìn)行矩陣求逆等運(yùn)算。 Widrow 和 Hoff 提出了一種在這些 先驗(yàn)統(tǒng)計知識未知時求 Wopt 的近似值的方法，習(xí)慣上稱之為 W

28、idrow-Hoff LMS 算法。這種算法的根據(jù)是最優(yōu)化方法中的最速下降法。根據(jù)這個最速 下降法，“下一時刻” 權(quán)系數(shù)向量 W(n 1)應(yīng)該等于“現(xiàn)時刻”權(quán)系數(shù)向量 W(n) 加上一個負(fù)均方誤差梯度 (n)的比例項(xiàng)，即W(n 1) W(n) (n)(3-12)式中的 是一個控制收斂速度與穩(wěn)定性的常數(shù)，稱之為收斂因子。不難看出， LMS 算法有兩個關(guān)鍵：梯度 (n) 的計算以及收斂因子 的 選擇。精確計算梯度 (n) 是十分困難的。一種粗略的但是卻十分有效的計算(n)的近似方法是：直接取 e2 (n)作為均方誤差 Ee2(n) 的估計值，即 e2 (n) 2e(n) e(n) (3-13) 式

29、中的 e(n) 為：e(n) d(n) W T(n)X(n)X(n) (3-14)將(4-14)代入式 (4-13)中，得到梯度估值：(n) 2e(n)X(n) (3-15) 于是， Widrow-Hoff LMS 算法最終為：W(n 1) W(n) 2 e(n)X(n)(3-16)3.3 最小均方差 (LMS) 算法的性能分析LMS 算法的性能準(zhǔn)則是采用瞬時平方誤差性能函數(shù) |e(k)|2 代替均方誤 差性能函數(shù) E|e(k)|2 ，其實(shí)質(zhì)是以當(dāng)前輸出誤差、當(dāng)前參考信號和當(dāng)前權(quán) 系數(shù)求得下個時刻的權(quán)系數(shù)。其輸出信號 y(k) 、輸出誤差 e(k)及權(quán)系數(shù)W(k)的計算公式為： 17 y(k)

30、 W(k)XT (k) e(k) d(k) y(k) W(k 1) W(n) 2 e(k)X(k) (3-17) d(k) x(k) n(k)k為迭代次數(shù)， M 為濾波器的階數(shù)。 d(k)表示第 k時刻的輸入信號矢量 式中，式中， X(k) 表示參考信號的信號矢量：X(k) n(k),n(k 1) n(k M 1) (3-18) y(k)、e(k) 分別表示第 k時刻的輸出信號與輸出誤差， W(k)表示k時刻 權(quán)系數(shù)矢量：W(k) W(k,0),W(k,1)W(k,M 1) (3-19)表示 LMS 算法步長收斂因子。自適應(yīng)濾波器收斂的條件是：10 (3-20) max其中 max是輸入信號的

31、自相關(guān)矩陣 R 的最大特征值。 的選取必須在收斂速 度和失調(diào)之間取得較好的折中，既要具有較快的收斂速度 ,又要使穩(wěn)態(tài)誤差 最小。它控制了算法穩(wěn)定性和自適應(yīng)速度， 如果 很小， 算法的自適應(yīng)速度 會很慢；如果 很大，算法會變得不穩(wěn)定。由于 LMS 算法結(jié)構(gòu)簡單、計算 量小、穩(wěn)定性好，因此被廣泛應(yīng)用于系統(tǒng)辨識、 信號增強(qiáng)、 自適應(yīng)波束形成、 噪聲消除以及控制領(lǐng)域等。在最小均方差 ( LMS )算法中，步長因子 的取值對算法的性能有著非常 重要的影響，這些影響包括：算法的穩(wěn)定性、算法的收斂速度、算法的擾動 和失調(diào)。以下我們針對 在這三方面的影響分別進(jìn)行討論。 為減小失調(diào)， 需 要設(shè)置較小的步長因子，

32、這會使算法的收斂速度降低，這構(gòu)成了一對矛盾。 因此在考慮算法的總體性能時， 必須在這兩個性能之間加以折中。 從收斂速 度的角度考慮， 步長因子 應(yīng)該盡可能大， 但較大的 取值卻會加重算法的 失調(diào)。 LMS 算法采用瞬時的采樣值對梯度進(jìn)行估計，由于噪聲的影響，總 會是會伴隨著估計的誤差， 這將對算法帶來直接的影響。 這些影響主要表現(xiàn) 為算法的失調(diào)， 而失調(diào)的嚴(yán)重程度， 則和 的取值存在直接關(guān)系。 失調(diào)是指 由于梯度估計偏差的存在， 在算法收斂后，均方誤差并不無窮趨近于最小值， 而是呈現(xiàn)出在最小值附近隨機(jī)的波動特性，而權(quán)值亦不無窮趨近于最優(yōu)權(quán) 值，而是在最優(yōu)權(quán)值附近呈現(xiàn)隨機(jī)的波動 。關(guān)于 LMS

33、算法的收斂速度，將討論兩點(diǎn)：第一，對一個特定的信號環(huán) 境，收斂速度和步長因子 有何關(guān)系。第二，信號環(huán)境本身的特性，對收斂 速度有何影響。 從收斂速度的角度考慮， 步長因子 應(yīng)該盡可能大， 再看信 號環(huán)境，即 Rxx 的特性對算法收斂性能的影響如果當(dāng)特征值的分布范圍較大， 即最大特征值和最小特征值之比較大時， 公比的取值幅度也將比較大， 算法 的總的收斂速度將會變得比較慢。傳統(tǒng)的LMS算法確實(shí)結(jié)構(gòu)簡單、計算量小且穩(wěn)定性好， 因此被廣泛地應(yīng) 用于自適應(yīng)控制、 雷達(dá)、系統(tǒng)辨識及信號處理等領(lǐng)域。 但是固定步長的 LMS 自適應(yīng)算法在收斂速率、跟蹤速率及權(quán)失調(diào)噪聲之間的要求是相互矛盾的， 為了克服這一缺

34、點(diǎn)， 人們研究出了各種各樣的變步長 LMS的改進(jìn)算法。 盡管 各種改進(jìn)算法的原理不同， 但變步長 LMS自適應(yīng)算法基本上遵循如下調(diào)整原 則：即在初始收斂階段或未知系統(tǒng)參數(shù)發(fā)生變化時， 步長應(yīng)比較大， 以便有 較快的收斂速度或?qū)r變系統(tǒng)的跟蹤速度； 而在算法收斂后， 不管主輸人端 干擾信號有多大，都應(yīng)保持很小的調(diào)整步長以達(dá)到很小的穩(wěn)態(tài)失調(diào)噪聲。第 4 章 RLS 自適應(yīng)濾波算法分析4.1 引言最小二乘 (LS，Least-square)算法旨在期望信號與模型濾波器輸出之差的 平方和達(dá)到最小。 當(dāng)每次迭代中接受到輸入好的新采樣值時， 可以采用遞歸 形式求解最小二乘問題，得到遞歸最小二乘 (RLS，

35、recursive least-square)算 法。RLS算法能實(shí)現(xiàn)快速收斂，即使是在輸入信號相關(guān)矩陣的特征值擴(kuò)展比 較大的情況下。 當(dāng)工作與變換環(huán)境中時， 這類算法具有極好的性能， 但其實(shí) 現(xiàn)都以增加計算復(fù)雜度和穩(wěn)定問題為代價。4.2 遞歸最小二乘 ( RLS)算法這一節(jié)主要介紹遞歸最小二乘法 (RLS)算法是一種快速收斂的算法，該 算法判決依據(jù)是直接處理接受數(shù)據(jù)， 使其二次性能指數(shù)函數(shù)最小， 而前面所述的 LMS 算法則是使平方誤差的期望值最小。設(shè)計出的自適應(yīng)濾波器，通過調(diào)節(jié)濾波器參數(shù) Wi ，使得基于過去的觀 測樣本而得到的觀測信號 s(n) 在某種意義上最逼近原信號 s( n) 。此

36、時，一方 面，恢復(fù)誤差：(n) s(n) WT X(n)(4-1)另一方面，可以將 W T X ( n)視作為 x(n) 的預(yù)測。因此可定義預(yù)測誤差： e(n) x(n) WT X(n)(4-2)設(shè)計自適應(yīng)濾波器的目的自然是希望使恢復(fù)誤差(n) 最小。但是由于真實(shí)信號 s(n) 未知，故 ( n)是不可觀測的或無法計算的。 與此相反，預(yù)測誤差 e(n) 卻是可觀測的，它與恢復(fù)誤差的關(guān)系為：e(n) (n) n(n) (4-3) 而噪聲序列 n(n) 是獨(dú)立的，因此不可觀測的恢復(fù)誤差 (n) 的最小化等 價于可觀測的預(yù)測誤差 e(n) 的最小化。(n,W) nW W i 1ni x(i) WTX

37、(i)22 ni x(i) WTi1X(i) X(i) 0(4-5)可得到等價關(guān)系式：nnn i X(i)XT (i)Wn ix(i)X(i)(4-6)i1i1n若令：R(n)n iX(i)XT (i)in 1(4-7)U(n) n i x(i)X(i)i1(4-8)則式 (4-6)可簡寫為：R(n)W(n) U (n)(4-9)假定 R(n) 是非奇異的，則：1W(n) R 1(n)U (n)(4-10)2(n,W) n i e(i)2 (4-4)i1的最小化。式中， 為遺忘因子，通常取 01。由這就是濾波器濾波參數(shù)的公式，之所以記作 W (n) ，是因?yàn)?W隨著時間而改具體的，考慮到 n變

38、。式 (5-8)叫做最佳濾波器系數(shù)的 Yule-Walker 方程。依據(jù)式 (5-10)來調(diào)整 濾波器參數(shù)有兩處不便。 第一，需要矩陣求逆及矩陣乘法等運(yùn)算， 因而計算 量大。第二， W (n)與預(yù)測誤差 e(n) 之間也未建立任何關(guān)系，不能達(dá)到根據(jù) 預(yù)測誤差 e(n) 來調(diào)整濾波器參數(shù)的要求。(非平穩(wěn)或時變 )預(yù)測誤差 e(n) 由e(n) x(n) WT (n 1)X(n) (4-11) 表示。利用此公式，可以將式 (5-7)的U ( n)改寫作(4-12)注意到WT(i 1)X(i)X(i) X(i)XT(i)W(i 1)和式(5-11)，用 R1(n)式乘 上式后得到：nnW(n) R1

39、(n) n iX(i)XT(i)W(i 1) R1(n) n iXT(i)e(i) W1(n) W2(n)i1 i 1(4-13) 為了簡化第一項(xiàng) W1(n) 的表達(dá)，并建立 W(n) 與W(n 1)之間的關(guān)系，一 種合理的想法是認(rèn)為 n 1 時刻及其以前時刻的濾波器參數(shù)相同，即：W(0) W(1) .W(n 1)這樣，利用式 (5-7)及上述假定，就有nW1(n) R 1(n) n iX(i)XT (i)W(n 1) W(n 1) (4-14) 另一方面，為了簡化 W2(n) 的表達(dá)，一種合理的想法就是：認(rèn)為遺忘因 子 0 。這相當(dāng)于，只有本時刻的結(jié)果被記憶下來，而將以前的各時刻的 結(jié)果全部

40、遺忘。從而，有下列的簡化結(jié)果：nW2(n) R1(n) 0n iXT(i)e(i) R 1(n)XT(n)e(n)(4-15)i1將式(4-13)和(4-14)代入(4-12)，則得1TW(n) W(n 1) R 1(n)X T (n)e(n)(4-16)式(4-15)描述了一個濾波器參數(shù)受其輸入誤差 e(n) 控制的自適應(yīng)濾波算 法，被稱作遞歸最小二乘 (RLS)。為了實(shí)現(xiàn)遞推計算，還要解決逆矩陣 R 1(n) 的遞推計算問題。為此，我 們先引入一個著名的結(jié)果矩陣求逆引理。矩陣求逆引理：若 A 是非奇異的，則：T 1 1 1 T 1 1 T 1(A BCT) 1 A1 A1B(I CTA1B

41、) 1CTA1(4-17)由R(n)的定義式 (4-7)，顯然有R(n) R(n 1) X(n)X T(n)(4-18)R 1(n)X(n)XT(n)R 1(n 1)1 X T(n)R 1(n 1)X(n)(4-19)對它應(yīng)用矩陣求逆引理，得：R 1(n) R 1(n 1)綜上所分析，遞歸最小二乘法自適應(yīng)濾波 (RLS) 算法如下所示算法初始化： 18W(0) 0R(0) IFor k=1 to n final do :e(n) x(n) WT (n 1)X(n)1 T 1(4-20)R1(n) R1(n 1) R 1(n)XT (n)X1T(n)R1(n 1) 1 X T(n)R 1(n 1

42、)X(n)W(n) W(n 1) R 1(n)XT (n)e(n)4.3 遞歸最小二乘 (RLS) 算法的性能分析RLS(遞推最小二乘法 )算法的關(guān)鍵是用二乘方的時間平均的最小化鋸帶 最小均方準(zhǔn)則， 并按時間進(jìn)行迭代計算。 對于非平穩(wěn)信號的自適應(yīng)處理， 最 合適的方法是采用最小二乘自適應(yīng)濾波器。它使誤差的總能量最小。 RLS算 法的優(yōu)點(diǎn)是收斂速度快， 其收斂性能與輸入信號的頻譜特性無關(guān)， 但其缺點(diǎn) 是計算復(fù)雜度很高， 對于N階的濾波器， RLS算法的計算量為 O(N2)1,2 為了 對非平穩(wěn)信號進(jìn)行跟蹤， RLS算法引入了數(shù)加權(quán)遺忘因子 。該遺忘因子的 引入，使 RLS 算法能夠?qū)Ψ瞧椒€(wěn)信號進(jìn)

43、行跟蹤。 19由于設(shè)計簡單、性能最佳，其中 RLS 濾波器具有穩(wěn)定的自適應(yīng)行為而 且算法簡單，收斂性能良好。這里討論 RLS算法收斂特性兩個方面的問題： 一是從均值的意義上討論 W?(n) 的收斂性；二是從均方值的意義上討論誤差 e(n) 的收斂性。為了討論 進(jìn)行這樣的討論，必須對輸入過程的類別作出規(guī)定?？紤]隨即機(jī)回歸模型：Md(n)w0x(n i 1) V(n) (4-21)i1其中 x(n)是零均值過程 V (n)是均值為零 ,方差為 2N的高斯白噪聲序列。 其中 EW?(n) 的收斂性對公式 d(n) XT(n)W0 V(n) ，其中W0 w01w0MT 。而可以寫出：nq(n)n iX

44、(i)X T(i)W0 V(i) (4-22)i1 當(dāng) (n) ，W?(n) 滿足：T 1 T 1W(n) AT (n) (n)A(n) AT(n) (n)b(n) RX1(n)q(n)(4-23)將其寫成如下形式：Rx(n) rx (n) nI (4-24) 其中n rx(n)n iX(i)XT (n)(4-25)i1將式 (4-22)和式 (4-24)帶入式 (4-23)中得： nW?(n) rx(n)nI 1rx(n)W0n i X(i)V(i) (4-26)i1故EW?(n) rx(n)nI 1rx(n)W0rx 1(n) rx 1(n) nIrx 1(n)rx (n)W0W0 rx

45、1(n) nW0(4-27)假定輸入過程呈各態(tài)歷經(jīng)的平穩(wěn)隨機(jī)過程，對于 =1 的情況，當(dāng) n 很 大時，有Rx 1 X(i)X T(i) rx(n)(4-28)n i 1 n其中Rx表示輸入矢量 X(i)的M M 組合平相關(guān)矩陣，所以 EW?(n) W0Rx 1W0(4-29)n由此可見，當(dāng) n時， EW?(n) W0 ，故濾波器的權(quán)矢量個估計是無偏的。還有 Ee2(n) 的收斂性e(n) d(n) W?T (n)X(n)d(n) W0TX(n) (W0 W?(n)T X(n)V(n) W0 W?(n)T X(n) 考慮到 X(n) 與V (n)的不相關(guān)性，所以E e2 (n) V2 E(W0

46、 W?(n)T X(n)X T ( n)(W0 W?(n) 根據(jù)矩陣跡的性質(zhì)，加權(quán)矢量的均方誤差又可寫成E e2 (n) V2 trEC?(n)C?T(n)Rx(4-30)其中 C?(n) W0 W?( n), Rx EX(n)XT (n)。 由W?(n)=(A T(n)(n)A(n)-1AT(n)(n)b(n) 現(xiàn)令V(n) v(1)v(n)T ，則：V(n) b(n) A(n)W0(4-31)將式(5-31)帶入式 (5-30)中得W(n) AT(n) (n) A(n) 1AT (n) (n)V(n) A( n)W0 C?(n) W0 W?(n) AT(n) (n) A( n) 1 AT(

47、n) (n)V (n) 因此E C(n)CT(n) E AT(n) (n)A(n) 1AT(n) (n)V(n)VT(n) (n)A(n) AT(n) (n)A(n) 1 因?yàn)?X(n)與V(n) 的不相關(guān)，則上式變?yōu)椋篍C?(n)C?T (n) EV (n)V T (n) E AT (n) (n)A(n) 1AT(n) 2 ( n) A(n) AT (n) (n)A(n) 1V 2E AT (n) (n)A(n) 1AT(n) 2 (n) A(n) AT (n) ( n) A(n) 1 (5-32)對于 n 時有采用這些近似則式 (5-33)可劃簡為：AT (n)A(n0 nRxnAT (n) (n)A(n) Rxn j (4-33)j1nAT(n) 2(n)A(n) Rx ( n j )2 j1由式(4-30)可知E e2 (n)V2 trEC?(n)C?T(n)Rxnnj2()tr V2 j 1nI( n j )2j1(4-34)根