自適應(yīng)濾波算法的研究

PAGE27自適應(yīng)濾波算法的研究第1章緒論1.1課題背景伴隨著移動(dòng)通信事業(yè)的飛速發(fā)展，自適應(yīng)濾波技術(shù)應(yīng)用的范圍也日益擴(kuò)大。早在20世紀(jì)40年代，就對(duì)平穩(wěn)隨機(jī)信號(hào)建立了維納濾波理論。根據(jù)有用信號(hào)和干擾噪聲的統(tǒng)計(jì)特性(自相關(guān)函數(shù)或功率譜)，用線性最小均方誤差估計(jì)準(zhǔn)則設(shè)計(jì)的最佳濾波器，稱為維納濾波器。這種濾波器能最大程度地濾除干擾噪聲，提取有用信號(hào)。但是，當(dāng)輸入信號(hào)的統(tǒng)計(jì)特性偏離設(shè)計(jì)條件，則它就不是最佳的了，這在實(shí)際應(yīng)用中受到了限制。到60年代初，由于空間技術(shù)的發(fā)展，出現(xiàn)了卡爾曼濾波理論，即利用狀態(tài)變量模型對(duì)非平穩(wěn)、多輸入多輸出隨機(jī)序列作最優(yōu)估計(jì)。現(xiàn)在，卡爾曼濾波器己成功地應(yīng)用到許多領(lǐng)域，它既可對(duì)平穩(wěn)的和非平穩(wěn)的隨機(jī)信號(hào)作線性最佳濾波，也可作非線性濾波。實(shí)質(zhì)上，維納濾波器是卡爾曼濾波器的一個(gè)特例。在設(shè)計(jì)卡爾曼濾波器時(shí)，必須知道產(chǎn)生輸入過程的系統(tǒng)的狀態(tài)方程和測(cè)量方程，即要求對(duì)信號(hào)和噪聲的統(tǒng)計(jì)特性有先驗(yàn)知識(shí)，但在實(shí)際中，往往難以預(yù)知這些統(tǒng)計(jì)特性，因此實(shí)現(xiàn)不了真正的最佳濾波。WidrowB等于1967年提出的自適應(yīng)濾波理論，可使自適應(yīng)濾波系統(tǒng)的參數(shù)自動(dòng)地調(diào)整而達(dá)到最佳狀況，而且在設(shè)計(jì)時(shí)，只需要很少的或根本不需要任何關(guān)于信號(hào)與噪聲的先驗(yàn)統(tǒng)計(jì)知識(shí)。這種濾波器的實(shí)現(xiàn)差不多象維納濾波器那樣簡(jiǎn)單，而濾波性能幾乎如卡爾曼濾波器一樣好。因此，近十幾年來，自適應(yīng)濾波理論和方法得到了迅速發(fā)展。[1]自適應(yīng)濾波是一種最佳濾波方法。它是在維納濾波，Kalman濾波等線性濾波基礎(chǔ)上發(fā)展起來的一種最佳濾波方法。由于它具有更強(qiáng)的適應(yīng)性和更優(yōu)的濾波性能。從而在工程實(shí)際中，尤其在信息處理技術(shù)中得到廣泛的應(yīng)用。自適應(yīng)濾波的研究對(duì)象是具有不確定的系統(tǒng)或信息過程?！安淮_定”是指所研究的處理信息過程及其環(huán)境的數(shù)學(xué)模型不是完全確定的。其中包含一些未知因數(shù)和隨機(jī)因數(shù)。任何一個(gè)實(shí)際的信息過程都具有不同程度的不確定性，這些不確定性有時(shí)表現(xiàn)在過程內(nèi)部，有時(shí)表現(xiàn)在過程外部。從過程內(nèi)部來講，描述研究對(duì)象即信息動(dòng)態(tài)過程的數(shù)學(xué)模型的結(jié)構(gòu)和參數(shù)是我們事先不知道的。作為外部環(huán)境對(duì)信息過程的影響，可以等效地用擾動(dòng)來表示，這些擾動(dòng)通常是不可測(cè)的，它們可能是確定的，也可能是隨機(jī)的。此外一些測(cè)量噪音也是以不同的途徑影響信息過程。[2]這些擾動(dòng)和噪聲的統(tǒng)計(jì)特性常常是未知的。面對(duì)這些客觀存在的各種不確定性，如何綜合處理信息過程，并使某一些指定的性能指標(biāo)達(dá)到最優(yōu)或近似最優(yōu)，這就是自適應(yīng)濾波所要解決的問題。可見，自適應(yīng)濾波算法的研究與實(shí)際狀況有著密不可分的關(guān)系，具有重要的意義。1.2國(guó)內(nèi)外目前的研究狀況最早人們根據(jù)生物能以各種有效的方式適應(yīng)生存環(huán)境從而使生命力變強(qiáng)的特性引伸出自適應(yīng)這個(gè)概念。自適應(yīng)濾波器屬于現(xiàn)代濾波器的范疇，它是40年代發(fā)展起來的自適應(yīng)信號(hào)處理領(lǐng)域的一個(gè)重要應(yīng)用。60年代，美國(guó)B.Windrow和Hoff首先提出了主要應(yīng)用于隨機(jī)信號(hào)處理的自適應(yīng)濾波器算法，從而奠定自適應(yīng)濾波器的發(fā)展。所謂自適應(yīng)濾波器，即利用前一時(shí)刻已獲得的濾波器參數(shù)等結(jié)果，自動(dòng)地調(diào)節(jié)現(xiàn)時(shí)刻的濾波器參數(shù)，以適應(yīng)信號(hào)與噪聲未知的或隨時(shí)間變化的統(tǒng)計(jì)特性，從而實(shí)現(xiàn)最優(yōu)濾波。自適應(yīng)信號(hào)處理主要是研究結(jié)構(gòu)可變或可調(diào)整的系統(tǒng)，它可以通過自身與外界環(huán)境的接觸來改善自身對(duì)信號(hào)處理的性能。通常這類系統(tǒng)是時(shí)變的非線性系統(tǒng)，可以自動(dòng)適應(yīng)信號(hào)傳輸?shù)沫h(huán)境和要求，無須詳細(xì)知道信號(hào)的結(jié)構(gòu)和實(shí)際知識(shí)，無須精確設(shè)計(jì)處理系統(tǒng)本身。自適應(yīng)系統(tǒng)的非線性特性主要是由系統(tǒng)對(duì)不同的信號(hào)環(huán)境實(shí)現(xiàn)自身參數(shù)的調(diào)整來確定的。自適應(yīng)系統(tǒng)的時(shí)變特性主要是由其自適應(yīng)響應(yīng)或自適應(yīng)學(xué)習(xí)過程來確定的，當(dāng)自適應(yīng)過程結(jié)束和系統(tǒng)不再進(jìn)行時(shí)，有一類自適應(yīng)系統(tǒng)可成為線性系統(tǒng)，并稱為線性自適應(yīng)系統(tǒng)，因?yàn)檫@類系統(tǒng)便于設(shè)計(jì)且易于數(shù)學(xué)處理，所以實(shí)際應(yīng)用廣泛。本文研究的自適應(yīng)濾波器就是這類濾波器。自適應(yīng)信號(hào)處理的應(yīng)用領(lǐng)域包括通信、雷達(dá)、聲納、地震學(xué)、導(dǎo)航系統(tǒng)、生物醫(yī)學(xué)和工業(yè)控制等。[3]自適應(yīng)濾波器出現(xiàn)以后，發(fā)展很快。由于設(shè)計(jì)簡(jiǎn)單、性能最佳，自適應(yīng)濾波器是目前數(shù)字濾波器領(lǐng)域是活躍的分支，也是數(shù)字濾波器研究的熱點(diǎn)。主要自適應(yīng)濾波器有：遞推最小二乘(RLS)濾波器、最小均方差(LMS)濾波器、格型濾波器、無限沖激響應(yīng)(IIR)濾波器。其中LMS濾波器和RLS濾波器具有穩(wěn)定的自適應(yīng)行為而且算法簡(jiǎn)單，收斂性能良好。將作為本文研究的重點(diǎn)。自適應(yīng)濾波器是相對(duì)固定濾波器而言的，固定濾波器屬于經(jīng)典濾波器，它濾波的頻率是固定的，自適應(yīng)濾波器濾波的頻率則是自動(dòng)適應(yīng)輸入信號(hào)而變化的，所以其適用范圍更廣。在沒有任何關(guān)于信號(hào)和噪聲的先驗(yàn)知識(shí)的條件下，自適應(yīng)濾波器利用前一時(shí)刻已獲得的濾波器參數(shù)來自動(dòng)調(diào)節(jié)現(xiàn)時(shí)刻的濾波器參數(shù)，以適應(yīng)信號(hào)和噪聲未知或隨機(jī)變化的統(tǒng)計(jì)特性，從而實(shí)現(xiàn)最優(yōu)濾波。自適應(yīng)濾波器是以最小均方誤差為準(zhǔn)則，由自適應(yīng)算法通過調(diào)整濾波器系數(shù)，以達(dá)到最優(yōu)濾波的時(shí)變最佳濾波器。設(shè)計(jì)自適應(yīng)濾波器時(shí)，可以不必預(yù)先知道信號(hào)與噪聲的自相關(guān)函數(shù)，在濾波過程中，即使噪聲與信號(hào)的自相關(guān)函數(shù)隨時(shí)間緩慢變化，濾波器也能自動(dòng)適應(yīng)，自動(dòng)調(diào)節(jié)到滿足均方誤差最小的要求。自適應(yīng)濾波器主要由參數(shù)可調(diào)的數(shù)字濾波器和調(diào)整濾波器系數(shù)的自適應(yīng)算法兩部分構(gòu)成自適應(yīng)濾波器的一般結(jié)構(gòu)。實(shí)際上，自適應(yīng)濾波器是一種能夠自動(dòng)調(diào)整本身參數(shù)的特殊維納濾波器，在設(shè)計(jì)時(shí)不需要實(shí)現(xiàn)知道關(guān)于輸入信號(hào)和噪聲的統(tǒng)計(jì)特性的知識(shí)，它能夠在自己的工作過程中逐漸“了解”或估計(jì)出所需的統(tǒng)計(jì)特性，并以此為依據(jù)自動(dòng)調(diào)整自己的參數(shù)，以達(dá)到最佳濾波效果。一旦輸入信號(hào)的統(tǒng)計(jì)特性發(fā)生變化，它又能夠跟蹤這種變化，自動(dòng)調(diào)整參數(shù)，使濾波器性能重新達(dá)到最佳。[4]第2章自適應(yīng)濾波的原理及應(yīng)用2.1引言在對(duì)隨機(jī)信號(hào)處理過程中經(jīng)常用到的是維納濾波器和卡爾曼濾波器兩種濾波器。維納(Weiner)濾波，它根據(jù)平穩(wěn)隨機(jī)信號(hào)的全部過去和當(dāng)前的觀察數(shù)據(jù)來估計(jì)信號(hào)的當(dāng)前值，在最小均方差的條件下得到系統(tǒng)的傳遞函數(shù)或者沖擊響應(yīng)，它是一種最優(yōu)線性濾波方法，參數(shù)是固定的，適用于平穩(wěn)隨機(jī)信號(hào)。卡爾曼濾波，它是依據(jù)當(dāng)前時(shí)刻數(shù)據(jù)的觀測(cè)值和前一時(shí)刻對(duì)該時(shí)刻的預(yù)測(cè)值進(jìn)行遞推數(shù)據(jù)處理的濾波算法。它自動(dòng)調(diào)節(jié)本身的沖擊響應(yīng)特性，或者說，自動(dòng)的調(diào)節(jié)數(shù)字濾波器的系數(shù)，以適應(yīng)信號(hào)變化的特性，從而達(dá)到最優(yōu)化濾波。它的參數(shù)是時(shí)變的，適用于非平穩(wěn)隨機(jī)信號(hào)。然而，只有對(duì)信號(hào)噪聲的統(tǒng)計(jì)特性先驗(yàn)已知的情況下，這兩種濾波器才能獲得最優(yōu)濾波。可是，在實(shí)際應(yīng)用中，常常無法得到這些統(tǒng)計(jì)特性的先驗(yàn)知識(shí)；或者，統(tǒng)計(jì)特性是隨時(shí)間變化的。因此，用維納或卡爾曼濾波器實(shí)現(xiàn)不了最優(yōu)濾波。在這種情況下，自適應(yīng)能夠提供卓越的濾波性能。[5]2.2自適應(yīng)濾波器的基本原理所謂自適應(yīng)濾波，就是利用前一時(shí)刻己獲得的濾波器參數(shù)等結(jié)果，自動(dòng)的調(diào)節(jié)現(xiàn)時(shí)刻的濾波器參數(shù)，以適應(yīng)信號(hào)和噪聲未知的或隨時(shí)間變化的統(tǒng)計(jì)特性，從而實(shí)現(xiàn)最優(yōu)濾波。自適應(yīng)濾波器實(shí)質(zhì)上就是一種能調(diào)節(jié)其自身傳輸特性以達(dá)到最優(yōu)化的維納濾波器。自適應(yīng)濾波器不需要關(guān)于輸入信號(hào)的先驗(yàn)知識(shí)，計(jì)算量小，特別適用于實(shí)時(shí)處理。由于無法預(yù)先知道信號(hào)和噪聲的特性或者它們是隨時(shí)間變化的，僅僅用FIR和IIR兩種具有固定濾波系數(shù)的濾波器無法實(shí)現(xiàn)最優(yōu)濾波。在這種情況下，必須設(shè)計(jì)自適應(yīng)濾波器，以跟蹤信號(hào)和噪聲的變化。自適應(yīng)濾波器是以最小均方誤差為準(zhǔn)則，由自適應(yīng)算法通過調(diào)整濾波器系數(shù)，以達(dá)到最優(yōu)濾波的時(shí)變最佳濾波器。設(shè)計(jì)自適應(yīng)濾波器時(shí)，可以不必預(yù)先知道信號(hào)與噪聲的自相關(guān)函數(shù)，在濾波過程中，即使噪聲與信號(hào)的自相關(guān)函數(shù)隨時(shí)間緩慢變化，濾波器也能自動(dòng)適應(yīng)，自動(dòng)調(diào)節(jié)到滿足均方誤差最小的要求。自適應(yīng)濾波器主要由參數(shù)可調(diào)的數(shù)字濾波器和調(diào)整濾波器系數(shù)的自適應(yīng)算法兩部分構(gòu)成自適應(yīng)濾波器。參數(shù)可調(diào)數(shù)字濾波器可以是FIR濾波器或IIR數(shù)字濾波器，也可以是格形濾波器[6]圖2-1示出了自適應(yīng)濾波器的一般結(jié)構(gòu)。未知系統(tǒng)自適應(yīng)濾波圖2-1自適應(yīng)濾波原理圖未知系統(tǒng)自適應(yīng)濾波圖中，為輸入信號(hào)，為輸出信號(hào)，為參考信號(hào)或期望信號(hào)，則是和的誤差信號(hào)。自適應(yīng)濾波器的濾波器系數(shù)受誤差信號(hào)控制，根據(jù)的值和自適應(yīng)算法自動(dòng)調(diào)整。一個(gè)自適應(yīng)濾波器的完整規(guī)范是由如下三項(xiàng)所組成的：(1)應(yīng)用在過去十年中，自適應(yīng)技術(shù)在更多的應(yīng)用場(chǎng)合(比如回波消除、色散信道的均衡、系統(tǒng)辨識(shí)、信號(hào)增強(qiáng)、自適應(yīng)波束形成、噪聲消除一級(jí)控制領(lǐng)域等)取得了成功。研究自適應(yīng)濾波器的各種應(yīng)用本文會(huì)簡(jiǎn)單考慮一些應(yīng)用例子。(2)自適應(yīng)濾波器結(jié)構(gòu)自適應(yīng)濾波器可以用許多不同結(jié)構(gòu)來實(shí)現(xiàn)。結(jié)構(gòu)的選取會(huì)營(yíng)銷到處理的計(jì)算復(fù)雜度(即每次迭代的算數(shù)操作數(shù)目)，還會(huì)對(duì)達(dá)到期望性能標(biāo)準(zhǔn)所需要的迭代次數(shù)產(chǎn)生影響。從根本上講主要有兩類自適應(yīng)數(shù)字濾波器結(jié)構(gòu)(這是根據(jù)其沖激響應(yīng)的形式來劃分的)，即有限長(zhǎng)沖擊響應(yīng)(FIR)濾波器和無限長(zhǎng)沖激響應(yīng)(IIR)濾波器。FIR濾波器通常利用非遞歸結(jié)構(gòu)來實(shí)現(xiàn)，而IIR濾波器則利用遞歸結(jié)構(gòu)來實(shí)現(xiàn)。自適應(yīng)FIR濾波器結(jié)構(gòu)：應(yīng)用最廣泛的自適應(yīng)FIR濾波器結(jié)構(gòu)是橫向?yàn)V波器，也成為抽頭延遲線，它利用正規(guī)直接形式實(shí)現(xiàn)全零點(diǎn)傳輸函數(shù)，二不采用反饋環(huán)節(jié)。對(duì)于這種結(jié)構(gòu)，輸出信號(hào)是濾波器洗漱的線性組合，它產(chǎn)生具有惟一最優(yōu)解的二次均方誤差函數(shù)。為了得到相對(duì)于橫向?yàn)V波器結(jié)構(gòu)來說更好的性能(這些性能是用計(jì)算復(fù)雜度、收斂速度和有限字長(zhǎng)特征等來描述的)自適應(yīng)IIR濾波器結(jié)構(gòu)：自適應(yīng)IIR濾波器采用得最多的結(jié)構(gòu)是標(biāo)準(zhǔn)直接形式結(jié)構(gòu)，因?yàn)樗膶?shí)現(xiàn)和分析都很簡(jiǎn)單。然而，采用遞歸自適應(yīng)濾波會(huì)存在一些內(nèi)在的問題(這些問題是由結(jié)構(gòu)決定的，比如要求對(duì)極點(diǎn)的穩(wěn)定性進(jìn)行監(jiān)視)，而且收斂速度很慢。為了克服這些問題，人們提出了不同的結(jié)構(gòu)形式。(3)算法其中算法是為了使某個(gè)預(yù)先確定的準(zhǔn)則達(dá)到最小化，而自適應(yīng)地調(diào)整濾波器系數(shù)的方法。算法是通過定義搜索方法(或者最小化算法)、目標(biāo)函數(shù)和無償信號(hào)的特性來確定的。算法的選擇據(jù)定了整個(gè)自適應(yīng)過程的幾個(gè)重要因素，比如優(yōu)解的存在性、有偏最優(yōu)解和計(jì)算復(fù)雜度等。[7]2.3自適應(yīng)IIR濾波器自適應(yīng)濾波器出現(xiàn)以后，發(fā)展很快。由于設(shè)計(jì)簡(jiǎn)單、性能最佳，自適應(yīng)濾波器是目前數(shù)字濾波器領(lǐng)域是活躍的分支，也是數(shù)字濾波器研究的熱點(diǎn)。主要自適應(yīng)濾波器有：遞推最小二乘(RLS)濾波器、最小均方差(LMS)濾波器、格型濾波器、無限沖激響應(yīng)(IIR)濾波器。其中RLS濾波器具有穩(wěn)定的自適應(yīng)行為而且算法簡(jiǎn)單，收斂性能良好。實(shí)際情況中，由于信號(hào)和噪聲的統(tǒng)計(jì)特性常常未知或無法獲知，這就為自適應(yīng)濾波器提供廣闊的應(yīng)用空間、系統(tǒng)辨識(shí)、噪聲對(duì)消、自適應(yīng)譜線增強(qiáng)、通信信道的自適應(yīng)均衡、線性預(yù)測(cè)、自適應(yīng)天線陣列等是自適應(yīng)濾波器的主要應(yīng)用領(lǐng)域。自適應(yīng)有限沖激響應(yīng)(FIR)濾波器由于其收斂性和穩(wěn)定性十分簡(jiǎn)單，現(xiàn)已有相當(dāng)完善的自適應(yīng)算法，在信號(hào)處理領(lǐng)域，獲得了廣泛應(yīng)用。但由于它是非遞歸結(jié)構(gòu)，沖激響應(yīng)為有限長(zhǎng)，當(dāng)用于較高精度匹配的實(shí)際物理系統(tǒng)時(shí)，所需階次可能相當(dāng)大，因而導(dǎo)致結(jié)構(gòu)復(fù)雜，運(yùn)算量大。自適應(yīng)IIR濾波器是一個(gè)具有無限沖激響應(yīng)的遞歸濾波器，它的一個(gè)最重要的優(yōu)點(diǎn)是，與相同系數(shù)個(gè)數(shù)的自適應(yīng)FIR濾波器相比有更好的性能，這是因?yàn)檩敵龅姆答伿褂邢迶?shù)量的系數(shù)產(chǎn)生了無限沖激響應(yīng)，使得零點(diǎn)與極點(diǎn)模型濾波器的輸出比起僅有零點(diǎn)的濾波器的輸出能更有效地逼近期望響應(yīng)信號(hào)。例如，一個(gè)有足夠高階數(shù)的自適應(yīng)IIR濾波器可以精確地逼近一未知的零點(diǎn)與極點(diǎn)系數(shù)闊，而一個(gè)自適應(yīng)FIR濾波器只能近似逼近這一系統(tǒng)。反之，要達(dá)到相同性能，IIR濾波器所需要的系數(shù)個(gè)數(shù)一般比FIR濾波器少得多，正是由于這一潛在的計(jì)算量的優(yōu)勢(shì)，近十年來，自適應(yīng)IIR濾波器的研究一直非?；钴S，出現(xiàn)了一批比較成熟的算法。可以預(yù)測(cè)，在許多應(yīng)用中，自適應(yīng)IIR濾波器將取代正被廣泛使用的自適應(yīng)FIR濾波器。[8]應(yīng)該指出的是，與自適應(yīng)FIR濾波器相比，自適應(yīng)IIR濾波器在減少計(jì)算量的同時(shí)也付出了一定的代價(jià)。由于反饋的存在，算法的收斂時(shí)間加大，其收斂性和穩(wěn)定性分析都十分復(fù)雜，這是需要注意繼續(xù)研究的問題。目前，在相同濾波性能條件下，自適應(yīng)IIR濾波器的收斂性己可優(yōu)于自適應(yīng)FIR濾波器。根據(jù)誤差的不同表示，自適應(yīng)IIR濾波器又可分為兩種形式：方程誤差(Equation-Error)形式和輸出誤差(Output-Error)形式。在很大程度上方程誤差自適應(yīng)IIR濾波器在很像一個(gè)自適應(yīng)FIR濾波器，他們之間的主要區(qū)別在與方程誤差自適應(yīng)IIR濾波器就是一個(gè)零點(diǎn)一極點(diǎn)模型，而自適應(yīng)FIR濾波器是一個(gè)嚴(yán)格全零點(diǎn)模型。而輸出誤差形式的自適應(yīng)IIR濾波器的算法比方程誤差I(lǐng)IR濾波器的算法要復(fù)雜的多。輸出誤差方法中的濾波器輸出僅由觀測(cè)輸入來產(chǎn)生期望響應(yīng)。2.4自適應(yīng)濾波器的應(yīng)用近十幾年來，自適應(yīng)濾波理論和方法得到了迅速的發(fā)展，究其原因是因?yàn)樽赃m應(yīng)濾波器相比于其他一般的濾波器在濾波性能、設(shè)計(jì)實(shí)現(xiàn)的難易程度、對(duì)外部環(huán)境的復(fù)雜程度的適應(yīng)能力和對(duì)系統(tǒng)先驗(yàn)統(tǒng)計(jì)知識(shí)的依賴程度等方面都顯現(xiàn)出強(qiáng)大的優(yōu)勢(shì)。自適應(yīng)濾波器具有很強(qiáng)的自學(xué)習(xí)、自跟蹤能力和算法的簡(jiǎn)單易實(shí)現(xiàn)性，它在噪化信號(hào)的檢測(cè)增強(qiáng)，噪聲干擾的抵消，通信系統(tǒng)的自適應(yīng)均衡，圖象的自適應(yīng)增強(qiáng)復(fù)原以及未知系統(tǒng)的自適應(yīng)參數(shù)辯識(shí)等方面都有廣泛的應(yīng)用。在本節(jié)中，我們將討論輸入信號(hào)和期望信號(hào)的一些可能選擇，并討論這些選擇是如何與應(yīng)用聯(lián)系在一起的。2.4.1信號(hào)增強(qiáng)器自適應(yīng)濾波器的一個(gè)簡(jiǎn)單應(yīng)用就是信號(hào)增強(qiáng)器，它被用來檢測(cè)或增強(qiáng)淹沒在寬度噪聲中的窄帶隨機(jī)信號(hào)。對(duì)于信號(hào)增強(qiáng)的情況，信號(hào)受噪聲的污染，而且與噪聲相關(guān)的信號(hào)是可以得到的(即可測(cè)量的)。如果作為自適應(yīng)濾波器的輸入，而將受到噪聲污染的信號(hào)作為期望信號(hào)，則當(dāng)濾波收斂以后，其輸出誤差就是信號(hào)的增強(qiáng)形式。圖2-2說明了一種信號(hào)增強(qiáng)的典型配置。[9]自適應(yīng)濾波器+自適應(yīng)濾波器+圖2-2信號(hào)增強(qiáng)。其中和是彼此相關(guān)的噪聲函數(shù)2.4.2系統(tǒng)辨識(shí)器在系統(tǒng)辨識(shí)應(yīng)用中，期望信號(hào)是未知系統(tǒng)受某個(gè)寬帶信號(hào)激勵(lì)時(shí)產(chǎn)生的輸出，在大多數(shù)情況下，輸入是白噪聲信號(hào)。寬帶信號(hào)同時(shí)也被用來作為圖2-3所示的自適應(yīng)濾波器的輸入。當(dāng)輸出MSE達(dá)到最小時(shí)，自適應(yīng)濾波器就代表了未知系統(tǒng)的模型。2.4.3信道均衡器信道均衡器的作用是在信道通帶內(nèi)形成一個(gè)信道傳輸函數(shù)的逆，而在通帶之外它的增益則很小或者為零。因而，由信道和均衡器級(jí)聯(lián)組成的系統(tǒng)在通帶內(nèi)有基本均勻的振幅特性，而帶外基本為零，相位響應(yīng)在帶內(nèi)是頻率的線性函數(shù)。如果條件滿足，聯(lián)合的沖激響應(yīng)就是辛格函數(shù)，故符號(hào)間干擾可被消除。自適應(yīng)調(diào)整也解決了信道本身未知、時(shí)變的特性所帶來的困難。在信道均衡應(yīng)用中，將發(fā)送的受信道失真影響的原始信號(hào)作為自適應(yīng)濾波器的輸入信號(hào)，而期望信號(hào)是原始信號(hào)的時(shí)延形式，如圖2-4所示。通常情況下，輸入信號(hào)的時(shí)延形式在接收端是可以得到的，采用形式是標(biāo)準(zhǔn)的訓(xùn)練信號(hào)。當(dāng)MSE達(dá)到最小時(shí)，就表明自適應(yīng)濾波器代表了信道的逆模型(均衡器)。未知系統(tǒng)未知系統(tǒng)自適應(yīng)濾波器＋＋自適應(yīng)濾波器＋信道圖2-3系統(tǒng)辨識(shí)器＋自適應(yīng)濾波器＋信道圖2-4信道均衡器2.4.4信號(hào)預(yù)測(cè)器最后，對(duì)于預(yù)測(cè)情形，期望信號(hào)是自適應(yīng)濾波器輸入信號(hào)的前向(有時(shí)可能是后向)形式，如圖2-5所示。當(dāng)濾波器收斂以后，自適應(yīng)濾波器就代表了輸入信號(hào)的模型，而且可以用來作為輸入信號(hào)的預(yù)測(cè)器模型。自適應(yīng)自適應(yīng)濾波器＋圖2-5信號(hào)預(yù)測(cè)器第3章LMS自適應(yīng)濾波算法分析3.1引言LMS算法是1960年由Widrow和Hoff提出的最小均方誤差(LMS)算法，LMS算法是基于估計(jì)梯度的最速下降算法的，由于采用粗糙的梯度估計(jì)值得到的，從而其算法性能欠佳，應(yīng)用范圍受限，但是因?yàn)槠渚哂杏?jì)算量小、易于實(shí)現(xiàn)等優(yōu)點(diǎn)而在實(shí)踐中被廣泛采用。典型的應(yīng)用領(lǐng)域有系統(tǒng)識(shí)別、信號(hào)處理和自適應(yīng)控制。LMS算法的基本原理是基于最速下降法，即沿著權(quán)值的梯度估值的負(fù)方向進(jìn)行搜索，達(dá)到權(quán)值最優(yōu)，實(shí)現(xiàn)均方誤差最小意義下的自適應(yīng)濾波。初始收斂速度、時(shí)變系統(tǒng)跟蹤能力及穩(wěn)態(tài)失調(diào)是衡量自適應(yīng)濾波算法優(yōu)劣的三個(gè)重要的技術(shù)指標(biāo)。由于主輸入端不可避免地存在干擾噪聲，自適應(yīng)濾波算法將產(chǎn)生參數(shù)失調(diào)噪聲。干擾噪聲越大，則引起的失調(diào)噪聲就越大。減小步長(zhǎng)因子產(chǎn)可降低自適應(yīng)濾波算法的穩(wěn)態(tài)失調(diào)，提高算法的收斂精度。[15]3.2最小均方差(LMS)算法LMS算法的判據(jù)是最小均方誤差，即理想信號(hào)與濾波器輸出之差的平方值的期望值最小，并且根據(jù)這個(gè)判據(jù)來修改權(quán)系數(shù)由此產(chǎn)生的算法稱為最小均方算法(LMS)。絕大多數(shù)對(duì)自適應(yīng)濾波器的研究是基于由Widrow提出的LMS算法。這是因?yàn)長(zhǎng)MS算法的設(shè)計(jì)和實(shí)現(xiàn)都比較簡(jiǎn)單，在很多應(yīng)用場(chǎng)合都非常適用。[16]令階FIR濾波器的抽頭系數(shù)為，濾波器的輸入和輸出分別為和，則FIR橫向?yàn)V波器方程可表示為：(3-1)令代表“所期望的響應(yīng)”，并定義誤差信號(hào)：(3-2)采用向量形式表示權(quán)系數(shù)及輸入和，可以將誤差信號(hào)寫作(3-3)誤差的平方為：(3-4)上式兩邊取數(shù)學(xué)期望后，得均方誤差：(3-5)定義互相關(guān)函數(shù)向量：(3-6)和自相關(guān)函數(shù)矩陣：(3-7)所以均方誤差可表述為：(3-8)這表明均方誤差是權(quán)系數(shù)向量的二次函數(shù)，它是一個(gè)凹的拋物形曲面，是具有唯一最小值的函數(shù)。調(diào)節(jié)權(quán)系數(shù)使均方誤差為最小，相當(dāng)于沿拋物形曲面下降找最小值。可以用梯度法來求該最小值。將式(3-8)對(duì)權(quán)系數(shù)求導(dǎo)數(shù)，得到均方誤差函數(shù)的梯度：(3-9)令=0，即可以求出最佳權(quán)系數(shù)向量：(3-10)將代入式(3-8)，得最小均方誤差：(3-11)利用式(3-11)求最佳權(quán)系數(shù)向量的精確解需要知道和的先驗(yàn)統(tǒng)計(jì)知識(shí)，而且還需要進(jìn)行矩陣求逆等運(yùn)算。Widrow和Hoff提出了一種在這些先驗(yàn)統(tǒng)計(jì)知識(shí)未知時(shí)求的近似值的方法，習(xí)慣上稱之為Widrow-HoffLMS算法。這種算法的根據(jù)是最優(yōu)化方法中的最速下降法。根據(jù)這個(gè)最速下降法，“下一時(shí)刻”權(quán)系數(shù)向量應(yīng)該等于“現(xiàn)時(shí)刻”權(quán)系數(shù)向量加上一個(gè)負(fù)均方誤差梯度的比例項(xiàng)，即(3-12)式中的是一個(gè)控制收斂速度與穩(wěn)定性的常數(shù)，稱之為收斂因子。不難看出，LMS算法有兩個(gè)關(guān)鍵：梯度的計(jì)算以及收斂因子的選擇。精確計(jì)算梯度是十分困難的。一種粗略的但是卻十分有效的計(jì)算的近似方法是：直接取作為均方誤差的估計(jì)值，即(3-13)式中的為：(3-14)將(4-14)代入式(4-13)中，得到梯度估值：(3-15)于是，Widrow-HoffLMS算法最終為：(3-16)3.3最小均方差(LMS)算法的性能分析LMS算法的性能準(zhǔn)則是采用瞬時(shí)平方誤差性能函數(shù)|e(k)|2代替均方誤差性能函數(shù)E{|e(k)|2}，其實(shí)質(zhì)是以當(dāng)前輸出誤差、當(dāng)前參考信號(hào)和當(dāng)前權(quán)系數(shù)求得下個(gè)時(shí)刻的權(quán)系數(shù)。其輸出信號(hào)、輸出誤差及權(quán)系數(shù)的計(jì)算公式為：[17](3-17)為迭代次數(shù)，M為濾波器的階數(shù)。表示第時(shí)刻的輸入信號(hào)矢量式中，式中，表示參考信號(hào)的信號(hào)矢量：(3-18)、分別表示第時(shí)刻的輸出信號(hào)與輸出誤差，W(k)表示時(shí)刻權(quán)系數(shù)矢量：(3-19)表示LMS算法步長(zhǎng)收斂因子。自適應(yīng)濾波器收斂的條件是：(3-20)其中是輸入信號(hào)的自相關(guān)矩陣R的最大特征值。的選取必須在收斂速度和失調(diào)之間取得較好的折中，既要具有較快的收斂速度,又要使穩(wěn)態(tài)誤差最小。它控制了算法穩(wěn)定性和自適應(yīng)速度，如果很小，算法的自適應(yīng)速度會(huì)很慢；如果很大，算法會(huì)變得不穩(wěn)定。由于LMS算法結(jié)構(gòu)簡(jiǎn)單、計(jì)算量小、穩(wěn)定性好，因此被廣泛應(yīng)用于系統(tǒng)辨識(shí)、信號(hào)增強(qiáng)、自適應(yīng)波束形成、噪聲消除以及控制領(lǐng)域等。在最小均方差(LMS)算法中，步長(zhǎng)因子的取值對(duì)算法的性能有著非常重要的影響，這些影響包括：算法的穩(wěn)定性、算法的收斂速度、算法的擾動(dòng)和失調(diào)。以下我們針對(duì)在這三方面的影響分別進(jìn)行討論。為減小失調(diào)，需要設(shè)置較小的步長(zhǎng)因子，這會(huì)使算法的收斂速度降低，這構(gòu)成了一對(duì)矛盾。因此在考慮算法的總體性能時(shí)，必須在這兩個(gè)性能之間加以折中。從收斂速度的角度考慮，步長(zhǎng)因子應(yīng)該盡可能大，但較大的取值卻會(huì)加重算法的失調(diào)。LMS算法采用瞬時(shí)的采樣值對(duì)梯度進(jìn)行估計(jì)，由于噪聲的影響，總會(huì)是會(huì)伴隨著估計(jì)的誤差，這將對(duì)算法帶來直接的影響。這些影響主要表現(xiàn)為算法的失調(diào)，而失調(diào)的嚴(yán)重程度，則和的取值存在直接關(guān)系。失調(diào)是指由于梯度估計(jì)偏差的存在，在算法收斂后，均方誤差并不無窮趨近于最小值，而是呈現(xiàn)出在最小值附近隨機(jī)的波動(dòng)特性，而權(quán)值亦不無窮趨近于最優(yōu)權(quán)值，而是在最優(yōu)權(quán)值附近呈現(xiàn)隨機(jī)的波動(dòng)。關(guān)于LMS算法的收斂速度，將討論兩點(diǎn)：第一，對(duì)一個(gè)特定的信號(hào)環(huán)境，收斂速度和步長(zhǎng)因子有何關(guān)系。第二，信號(hào)環(huán)境本身的特性，對(duì)收斂速度有何影響。從收斂速度的角度考慮，步長(zhǎng)因子應(yīng)該盡可能大，再看信號(hào)環(huán)境，即的特性對(duì)算法收斂性能的影響如果當(dāng)特征值的分布范圍較大，即最大特征值和最小特征值之比較大時(shí)，公比的取值幅度也將比較大，算法的總的收斂速度將會(huì)變得比較慢。傳統(tǒng)的LMS算法確實(shí)結(jié)構(gòu)簡(jiǎn)單、計(jì)算量小且穩(wěn)定性好，因此被廣泛地應(yīng)用于自適應(yīng)控制、雷達(dá)、系統(tǒng)辨識(shí)及信號(hào)處理等領(lǐng)域。但是固定步長(zhǎng)的LMS自適應(yīng)算法在收斂速率、跟蹤速率及權(quán)失調(diào)噪聲之間的要求是相互矛盾的，為了克服這一缺點(diǎn)，人們研究出了各種各樣的變步長(zhǎng)LMS的改進(jìn)算法。盡管各種改進(jìn)算法的原理不同，但變步長(zhǎng)LMS自適應(yīng)算法基本上遵循如下調(diào)整原則：即在初始收斂階段或未知系統(tǒng)參數(shù)發(fā)生變化時(shí)，步長(zhǎng)應(yīng)比較大，以便有較快的收斂速度或?qū)r(shí)變系統(tǒng)的跟蹤速度；而在算法收斂后，不管主輸人端干擾信號(hào)有多大，都應(yīng)保持很小的調(diào)整步長(zhǎng)以達(dá)到很小的穩(wěn)態(tài)失調(diào)噪聲。第4章RLS自適應(yīng)濾波算法分析4.1引言最小二乘(LS，Least-square)算法旨在期望信號(hào)與模型濾波器輸出之差的平方和達(dá)到最小。當(dāng)每次迭代中接受到輸入好的新采樣值時(shí)，可以采用遞歸形式求解最小二乘問題，得到遞歸最小二乘(RLS，recursiveleast-square)算法。RLS算法能實(shí)現(xiàn)快速收斂，即使是在輸入信號(hào)相關(guān)矩陣的特征值擴(kuò)展比較大的情況下。當(dāng)工作與變換環(huán)境中時(shí)，這類算法具有極好的性能，但其實(shí)現(xiàn)都以增加計(jì)算復(fù)雜度和穩(wěn)定問題為代價(jià)。4.2遞歸最小二乘(RLS)算法這一節(jié)主要介紹遞歸最小二乘法(RLS)算法是一種快速收斂的算法，該算法判決依據(jù)是直接處理接受數(shù)據(jù)，使其二次性能指數(shù)函數(shù)最小，而前面所述的LMS算法則是使平方誤差的期望值最小。設(shè)計(jì)出的自適應(yīng)濾波器，通過調(diào)節(jié)濾波器參數(shù)，使得基于過去的觀測(cè)樣本而得到的觀測(cè)信號(hào)在某種意義上最逼近原信號(hào)。此時(shí)，一方面，恢復(fù)誤差：(4-1)另一方面，可以將視作為的預(yù)測(cè)。因此可定義預(yù)測(cè)誤差：(4-2)設(shè)計(jì)自適應(yīng)濾波器的目的自然是希望使恢復(fù)誤差最小。但是由于真實(shí)信號(hào)未知，故是不可觀測(cè)的或無法計(jì)算的。與此相反，預(yù)測(cè)誤差卻是可觀測(cè)的，它與恢復(fù)誤差的關(guān)系為：(4-3)而噪聲序列是獨(dú)立的，因此不可觀測(cè)的恢復(fù)誤差的最小化等價(jià)于可觀測(cè)的預(yù)測(cè)誤差的最小化。具體的，考慮到(4-4)的最小化。式中，為遺忘因子，通常取。由(4-5)可得到等價(jià)關(guān)系式：(4-6)若令：(4-7)(4-8)則式(4-6)可簡(jiǎn)寫為：(4-9)假定是非奇異的，則：(4-10)這就是濾波器濾波參數(shù)的公式，之所以記作，是因?yàn)殡S著時(shí)間而改變。式(5-8)叫做最佳濾波器系數(shù)的Yule-Walker方程。依據(jù)式(5-10)來調(diào)整濾波器參數(shù)有兩處不便。第一，需要矩陣求逆及矩陣乘法等運(yùn)算，因而計(jì)算量大。第二，與預(yù)測(cè)誤差之間也未建立任何關(guān)系，不能達(dá)到根據(jù)預(yù)測(cè)誤差來調(diào)整濾波器參數(shù)的要求。(非平穩(wěn)或時(shí)變)預(yù)測(cè)誤差由(4-11)表示。利用此公式，可以將式(5-7)的改寫作(4-12)注意到和式(5-11)，用式乘上式后得到：(4-13)為了簡(jiǎn)化第一項(xiàng)的表達(dá)，并建立與之間的關(guān)系，一種合理的想法是認(rèn)為時(shí)刻及其以前時(shí)刻的濾波器參數(shù)相同，即：…….這樣，利用式(5-7)及上述假定，就有(4-14)另一方面，為了簡(jiǎn)化的表達(dá)，一種合理的想法就是：認(rèn)為遺忘因子。這相當(dāng)于，只有本時(shí)刻的結(jié)果被記憶下來，而將以前的各時(shí)刻的結(jié)果全部遺忘。從而，有下列的簡(jiǎn)化結(jié)果：(4-15)將式(4-13)和(4-14)代入(4-12)，則得(4-16)式(4-15)描述了一個(gè)濾波器參數(shù)受其輸入誤差控制的自適應(yīng)濾波算法，被稱作遞歸最小二乘(RLS)。為了實(shí)現(xiàn)遞推計(jì)算，還要解決逆矩陣的遞推計(jì)算問題。為此，我們先引入一個(gè)著名的結(jié)果——矩陣求逆引理。矩陣求逆引理：若是非奇異的，則：(4-17)由的定義式(4-7)，顯然有(4-18)對(duì)它應(yīng)用矩陣求逆引理，得：(4-19)綜上所分析，遞歸最小二乘法自適應(yīng)濾波(RLS)算法如下所示算法初始化：[18]Fork=1tonfinaldo: (4-20)4.3遞歸最小二乘(RLS)算法的性能分析RLS(遞推最小二乘法)算法的關(guān)鍵是用二乘方的時(shí)間平均的最小化鋸帶最小均方準(zhǔn)則，并按時(shí)間進(jìn)行迭代計(jì)算。對(duì)于非平穩(wěn)信號(hào)的自適應(yīng)處理，最合適的方法是采用最小二乘自適應(yīng)濾波器。它使誤差的總能量最小。RLS算法的優(yōu)點(diǎn)是收斂速度快，其收斂性能與輸入信號(hào)的頻譜特性無關(guān)，但其缺點(diǎn)是計(jì)算復(fù)雜度很高，對(duì)于N階的濾波器，RLS算法的計(jì)算量為O(N2)[1,2]為了對(duì)非平穩(wěn)信號(hào)進(jìn)行跟蹤，RLS算法引入了數(shù)加權(quán)遺忘因子λ。該遺忘因子的引入，使RLS算法能夠?qū)Ψ瞧椒€(wěn)信號(hào)進(jìn)行跟蹤。[19]由于設(shè)計(jì)簡(jiǎn)單、性能最佳，其中RLS濾波器具有穩(wěn)定的自適應(yīng)行為而且算法簡(jiǎn)單，收斂性能良好。這里討論RLS算法收斂特性兩個(gè)方面的問題：一是從均值的意義上討論的收斂性；二是從均方值的意義上討論誤差的收斂性。為了討論進(jìn)行這樣的討論，必須對(duì)輸入過程的類別作出規(guī)定。考慮隨即機(jī)回歸模型：(4-21)其中是零均值過程是均值為零,方差為的高斯白噪聲序列。其中的收斂性對(duì)公式，其中。而可以寫出：(4-22)當(dāng)，滿足：(4-23)將其寫成如下形式：(4-24)其中(4-25)將式(4-22)和式(4-24)帶入式(4-23)中得：(4-26)故(4-27)假定輸入過程呈各態(tài)歷經(jīng)的平穩(wěn)隨機(jī)過程，對(duì)于=1的情況，當(dāng)n很大時(shí)，有(4-28)其中表示輸入矢量的組合平相關(guān)矩陣，所以(4-29)由此可見，當(dāng)時(shí)，，故濾波器的權(quán)矢量個(gè)估計(jì)是無偏的。還有的收斂性考慮到與的不相關(guān)性，所以根據(jù)矩陣跡的性質(zhì)，加權(quán)矢量的均方誤差又可寫成(4-30)其中由=(AT(n)Λ(n)A(n))-1AT(n)Λ(n)b(n)現(xiàn)令，則：(4-31)將式(5-31)帶入式(5-30)中得因此因?yàn)榕c的不相關(guān)，則上式變?yōu)椋?5-32)對(duì)于時(shí)有采用這些近似則式(5-33)可劃簡(jiǎn)為：(4-33)由式(4-30)可知(4-34)根據(jù)自適應(yīng)濾波器失調(diào)量的定義(4-35)在不加權(quán)的情況下，(4-36)在加權(quán)情況下，(4-37)