自適應(yīng)濾波器原理-帶圖帶總結(jié)word版

1、第二章 自適應(yīng)濾波器原理2.1 基本原理2.1.1 自適應(yīng)濾波器的發(fā)展在解決線性濾波問(wèn)題的統(tǒng)計(jì)方法中，通常假設(shè)已知有用信號(hào)及其附加噪聲的某些統(tǒng)計(jì)參數(shù)（例如，均值和自相關(guān)函數(shù)），而且需要設(shè)計(jì)含噪數(shù)據(jù)作為其輸入的線性濾波器，使得根據(jù)某種統(tǒng)計(jì)準(zhǔn)則噪聲對(duì)濾波器的影響最小。實(shí)現(xiàn)該濾波器優(yōu)化問(wèn)題的一個(gè)有用方法是使誤差信號(hào)（定義為期望響應(yīng)與濾波器實(shí)際輸出之差）的均方值最小化。對(duì)于平穩(wěn)輸入，通常采用所謂維納濾波器（Wiener filter）的解決方案。該濾波器在均方誤差意義上使最優(yōu)的。誤差信號(hào)均方值相對(duì)于濾波器可調(diào)參數(shù)的曲線通常稱為誤差性能曲面。該曲面的極小點(diǎn)即為維納解。維納濾波器不適合于應(yīng)對(duì)信號(hào)和/或噪聲

2、非平穩(wěn)問(wèn)題。在這種情況下，必須假設(shè)最優(yōu)濾波器為時(shí)變形式。對(duì)于這個(gè)更加困難的問(wèn)題，十分成功的一個(gè)解決方案使采用卡爾曼濾波器（Kalman filter）。該濾波器在各種工程應(yīng)用中式一個(gè)強(qiáng)有力的系統(tǒng)。維納濾波器的設(shè)計(jì)要求所要處理的數(shù)據(jù)統(tǒng)計(jì)方面的先驗(yàn)知識(shí)。只有當(dāng)輸入數(shù)據(jù)的統(tǒng)計(jì)特性與濾波器設(shè)計(jì)所依賴的某一先驗(yàn)知識(shí)匹配時(shí)，該濾波器才是最優(yōu)的。當(dāng)這個(gè)信息完全未知時(shí)，就不可能設(shè)計(jì)維納濾波器，或者該設(shè)計(jì)不再是最優(yōu)的。而且維納濾波器的參數(shù)是固定的。在這種情況下，可采用的一個(gè)直接方法是“估計(jì)和插入過(guò)程”。該過(guò)程包含兩個(gè)步驟，首先是“估計(jì)”有關(guān)信號(hào)的統(tǒng)計(jì)參數(shù)，然后將所得到的結(jié)果“插入（plug into）”非遞歸公

3、式以計(jì)算濾波器參數(shù)。對(duì)于實(shí)時(shí)運(yùn)算，該過(guò)程的缺點(diǎn)是要求特別精心制作，而且要求價(jià)格昂貴的硬件。為了消除這個(gè)限制，可采用自適應(yīng)濾波器（adaptive filter）。采用這樣一種系統(tǒng)，意味著濾波器是自設(shè)計(jì)的，即自適應(yīng)濾波器依靠遞歸算法進(jìn)行其計(jì)算，這樣使它有可能在無(wú)法獲得有關(guān)信號(hào)特征完整知識(shí)的環(huán)境下，玩完滿地完成濾波運(yùn)算。該算法將從某些預(yù)先確定的初始條件集出發(fā)，這些初始條件代表了人們所知道的上述環(huán)境的任何一種情況。我們還發(fā)現(xiàn)，在平穩(wěn)環(huán)境下，該運(yùn)算經(jīng)一些成功迭代后收斂于某種統(tǒng)計(jì)意義上的最優(yōu)維納解。在非平穩(wěn)環(huán)境下，該算法提供了一種跟蹤能力，即跟蹤輸入數(shù)據(jù)統(tǒng)計(jì)特性隨時(shí)間的變化，只要這種變化時(shí)足夠緩慢的。4

4、0年代，N.維納用最小均方原則設(shè)計(jì)最佳線性濾波器，用來(lái)處理平穩(wěn)隨機(jī)信號(hào)，即著名的維納濾波器。60年代，R.E.卡爾曼創(chuàng)立最佳時(shí)變線性濾波設(shè)計(jì)理論，用來(lái)處理非平穩(wěn)隨機(jī)信號(hào)，即著名的卡爾曼濾波器。70 年代，美國(guó)B.Windrow和Hoff提出了處理隨機(jī)信號(hào)的自適應(yīng)濾波器算法，彌補(bǔ)了維納、卡爾曼濾波器的致命缺陷：必須事先知道待處理信號(hào)的統(tǒng)計(jì)特性（如自相關(guān)函數(shù)），才能計(jì)算出最佳的濾波器系數(shù)Wopt，否則，維納、卡爾曼濾波器無(wú)法判定為最佳。 一個(gè)自適應(yīng)算法的好壞取決于以下一個(gè)或多個(gè)因素Error! Reference source not found.： 收斂速率：它定義為算法在平穩(wěn)輸入時(shí)響應(yīng)足夠接近

5、地收斂于均方誤差意義上的最優(yōu)維納解。 失調(diào)：這個(gè)參數(shù)提供了自適應(yīng)濾波器的最終均方誤差與維納濾波器所產(chǎn)生的最小均方誤差之間偏離程度的一個(gè)定量測(cè)量。 跟蹤：當(dāng)自適應(yīng)算法運(yùn)行在非平穩(wěn)條件下，該算法需要跟蹤環(huán)境的統(tǒng)計(jì)量變化。然而，算法的跟蹤性能受到兩個(gè)相互矛盾的特性的影響：即收斂速率和由算法噪聲引起的穩(wěn)態(tài)波動(dòng)。 魯棒性：對(duì)于一個(gè)魯棒的自適應(yīng)濾波器，小的擾動(dòng)只會(huì)產(chǎn)生小的估計(jì)誤差。這些擾動(dòng)來(lái)源于各種因素，包括來(lái)自濾波器內(nèi)部或外部的因素。 計(jì)算量：主要包括三方面（a）完成算法一次完整迭代所需要的運(yùn)算量（即乘法、除法、加法和減法）；（b）存儲(chǔ)數(shù)據(jù)和程序所需要的存儲(chǔ)器位置的大小；（c）在計(jì)算機(jī)上對(duì)算法編程所需要

6、的投資。 結(jié)構(gòu)：涉及算法的信息流結(jié)構(gòu)以及硬件實(shí)現(xiàn)的方式。例如，其結(jié)構(gòu)呈現(xiàn)高度模塊化、并行或并發(fā)的算法很適應(yīng)于使用超大規(guī)模集成電路（VLSI）實(shí)現(xiàn)。 數(shù)值特性：當(dāng)一個(gè)算法數(shù)值實(shí)現(xiàn)時(shí)，將產(chǎn)生由量化誤差引起的不精確性，特別存在人們所關(guān)心的兩種基本問(wèn)題：數(shù)值穩(wěn)定性和數(shù)值精確性問(wèn)題。數(shù)值穩(wěn)定性是自適應(yīng)算法的固有的特征。數(shù)值精確性由樣本值和濾波器系數(shù)的位數(shù)確定。當(dāng)某種算法對(duì)其數(shù)字實(shí)現(xiàn)的字長(zhǎng)變化不敏感時(shí)，就說(shuō)該自適應(yīng)濾波器算法的數(shù)值魯棒。2.1.2 自適應(yīng)濾波器的研究方法自適應(yīng)濾波問(wèn)題不存在唯一地解決方法。自適應(yīng)濾波用戶面臨的挑戰(zhàn)包括：首先要了解各種自適應(yīng)濾波算法的能力和限制；其次把了解到得知識(shí)用于選擇合適

7、的算法以滿足各自的應(yīng)用需要。自適應(yīng)濾波器基本上存在如下兩種不同的推導(dǎo)方法。隨機(jī)梯度法隨機(jī)梯度法（stochastic gradient approach）使用抽頭延遲線或者橫向?yàn)V波器作為實(shí)現(xiàn)自適應(yīng)濾波器的構(gòu)造基礎(chǔ)。對(duì)于平穩(wěn)輸入情況，代價(jià)函數(shù)（也稱為性能指標(biāo)）定義為均方誤差（即期望響應(yīng)與橫向?yàn)V波器輸出之差的均方值）。代價(jià)函數(shù)恰好是橫向?yàn)V波器中抽頭權(quán)值的二次函數(shù)。該抽頭權(quán)值的均方誤差函數(shù)可看做是具有唯一確定的極小點(diǎn)的多維拋物面。我們把這個(gè)拋物面稱為誤差性能曲面；對(duì)于該曲面的極小點(diǎn)的抽頭權(quán)值定義了最優(yōu)維納解。為了推導(dǎo)更新自適應(yīng)橫向?yàn)V波器抽頭權(quán)值的遞歸算法，我們分兩步進(jìn)行這項(xiàng)工作。首先，使用迭代方法求

8、解維納-霍夫方程（Wiener-Hopf equation）；迭代過(guò)程以最優(yōu)化理論中人們所熟知的最速下降法（method of steepest descent）為基礎(chǔ)。這個(gè)方法需要使用梯度向量，其值取決于兩個(gè)參量：橫向?yàn)V波器中抽頭輸入的自相關(guān)矩陣以及期望響應(yīng)與該抽頭輸入之間的互相關(guān)向量。其次，我們使用這些相關(guān)的瞬態(tài)值，以便導(dǎo)出梯度向量的估計(jì)值，推導(dǎo)中假設(shè)該向量是隨機(jī)的?；谏鲜鏊枷氲乃惴ǎǔ７Q為最小均方（LMS，least-mean-square）算法。當(dāng)橫向?yàn)V波器運(yùn)行在實(shí)數(shù)據(jù)的情況下，該算法大體上可描述為：（抽頭權(quán)向量更新值）=（老的抽頭權(quán)向量值）+（學(xué)習(xí)速率常數(shù)）（抽頭輸入向量）（誤差

9、信號(hào)）其中誤差信號(hào)定義為期望響應(yīng)與抽頭輸入向量所產(chǎn)生的橫向?yàn)V波器實(shí)際向量之差。LMS算法很簡(jiǎn)單，而且在正確條件下可獲得滿意的性能。其主要缺點(diǎn)是收斂速率相當(dāng)緩慢，而且對(duì)抽頭輸入相關(guān)矩陣條件數(shù)（矩陣的條件數(shù)定義為其最大特征值與最小特征值之比）的變化比較敏感。即使這樣，LMS算法仍然十分流行且應(yīng)用廣泛。在非平穩(wěn)環(huán)境下，誤差性能曲面的方向隨時(shí)間連續(xù)變化。在這種情況下，LMS算法有一個(gè)連續(xù)跟蹤誤差性能曲面極小點(diǎn)的附加任務(wù)。實(shí)際上，只要輸入數(shù)據(jù)變化比LMS算法學(xué)習(xí)速率來(lái)的慢時(shí)，就會(huì)發(fā)生跟蹤問(wèn)題。隨機(jī)梯度方法也用于格型結(jié)構(gòu)。產(chǎn)生的自適應(yīng)算法叫做梯度自適應(yīng)格型（GAL gradient adaptive la

10、ttice）算法。LMS和GAL算法是自適應(yīng)濾波器隨機(jī)梯度族的兩個(gè)成員，而且迄今為止，LMS仍然是這個(gè)家族中最流行的一員。最小二乘估計(jì)第二種自適應(yīng)濾波算法以最小二乘法為基礎(chǔ)。根據(jù)這個(gè)方法，我們對(duì)加權(quán)誤差平方和形式的代價(jià)函數(shù)進(jìn)行最小化，其中誤差或殘差定義為期望響應(yīng)與實(shí)際濾波器輸出之差。最小二乘法可用塊估計(jì)或遞歸估計(jì)來(lái)表示。在塊估計(jì)中，輸入數(shù)據(jù)以等長(zhǎng)度塊的形式排列，而且一塊一塊地對(duì)輸入數(shù)據(jù)進(jìn)行濾波處理；而在遞歸估計(jì)中，一個(gè)樣值一個(gè)樣值地對(duì)感興趣的估計(jì)（例如，橫向?yàn)V波器的抽頭權(quán)值）進(jìn)行更新。通常，遞歸估計(jì)比塊估計(jì)要求較少的存儲(chǔ)量，這就是為什么在實(shí)際中遞歸估計(jì)的使用要多得多的原因。遞歸最小二乘（RLS

11、，Recursive least-squares）可看作卡爾曼濾波的一個(gè)特例?？柭鼮V波器著名的特點(diǎn)是引入狀態(tài)概念，它是對(duì)特定時(shí)刻加到濾波器抽頭的所有輸入的一個(gè)度量。于是，在卡爾曼濾波算法的核心部分，殘?jiān)谝环N遞推關(guān)系，它可用文字表述為：（狀態(tài)遞推值）=（舊的狀態(tài)值）+（卡爾曼增益）（新息向量）其中新息向量表示在計(jì)算時(shí)刻進(jìn)入濾波過(guò)程的新的信息。由此可見(jiàn)，卡爾曼變量與RLS變量之間存在一一對(duì)應(yīng)關(guān)系。由此，可以從大量卡爾曼濾波器文獻(xiàn)中選擇一些方法用來(lái)設(shè)計(jì)最小二乘估計(jì)的自適應(yīng)濾波器。RLS算法具有隨增加的計(jì)算復(fù)雜度，其中是權(quán)值個(gè)數(shù)，復(fù)雜度為：，故也稱為算法Error! Reference source

12、 not found.，相反，LMS是算法，其計(jì)算復(fù)雜度隨線性增加；當(dāng)很大時(shí)，從硬件實(shí)現(xiàn)的觀點(diǎn)看，算法的計(jì)算復(fù)雜度將會(huì)變得不可接受。另外，諸如LMS算法等隨機(jī)梯度算法是模型無(wú)關(guān)的，而RLS是模型相關(guān)的，這意味著其跟蹤能力可能比大量的隨機(jī)梯度算法族來(lái)得差。2.2 自適應(yīng)濾波器的結(jié)構(gòu)濾波算法的運(yùn)行涉及兩個(gè)基本過(guò)程：（1）濾波過(guò)程，用來(lái)對(duì)一系列的輸入數(shù)據(jù)產(chǎn)生輸出響應(yīng)；（2）自適應(yīng)過(guò)程，其目的是提供濾波過(guò)程中可調(diào)參數(shù)自適應(yīng)控制的一種機(jī)制（算法）。這兩個(gè)過(guò)程相互影響地工作。自然，濾波過(guò)程結(jié)構(gòu)的選擇總體山對(duì)算法的運(yùn)行具有深刻的影響。一 橫向?yàn)V波器橫向?yàn)V波器Error! Reference source n

13、ot found.也稱為抽頭延遲線濾波器或有限脈沖響應(yīng)濾波器，它由圖2.1所示的三個(gè)基本單元組成：（a）單位延遲單元；（b）乘法器；（c）加法器。濾波器中延遲單元的個(gè)數(shù)確定了脈沖響應(yīng)的持續(xù)時(shí)間。延遲單元個(gè)數(shù)（如圖中M所示），通常稱為濾波器的階數(shù)。在該圖中，每個(gè)延遲單元永延遲算子表示。特別地，當(dāng)對(duì)進(jìn)行運(yùn)算時(shí)，其結(jié)果輸出為。濾波器中每個(gè)乘法器的作用是用濾波器系數(shù)也成抽頭權(quán)值（tap weight）乘以與其相連接的抽頭輸入。于是，連接到第k個(gè)抽頭輸入的乘法器產(chǎn)生的輸出，其中是抽頭權(quán)值，k=0,1,M,星號(hào)表示復(fù)數(shù)共軛。這里假設(shè)抽頭輸入和抽頭權(quán)值都是復(fù)數(shù)。濾波器中加法器的合并作用是對(duì)各個(gè)乘法器輸出求和

14、，并產(chǎn)生總的濾波器輸出。對(duì)于所示的橫向?yàn)V波器，其輸出為 (2-1)上式叫做有限卷積和，因?yàn)樗鼘V波器的有限脈沖響應(yīng)與濾波器輸入卷積以便產(chǎn)生濾波器的輸出。圖2.1橫向?yàn)V波器7二 格型濾波器格型濾波器Error! Reference source not found.具有模塊結(jié)構(gòu)。這種模塊結(jié)構(gòu)由一系列獨(dú)立的基本節(jié)（即級(jí)）組成，每一級(jí)具有格型的形式。圖2.2表示由M級(jí)組成的格型濾波器，M為濾波器階數(shù)。圖中表示出的第m級(jí)格型濾波器由下列一組一對(duì)輸入輸出關(guān)系描述： (2-2) (2-3)式中m=1,2，M，M為濾波器階數(shù)。是第m級(jí)前向預(yù)測(cè)誤差，是第m級(jí)后向預(yù)測(cè)誤差。叫做第m級(jí)反射系數(shù)。前向預(yù)測(cè)誤差定義為

15、輸入與基于m個(gè)過(guò)去輸入，.，所作出的預(yù)測(cè)值之差。相應(yīng)地，后向預(yù)測(cè)誤差定義為輸入與基于m個(gè)未來(lái)輸入，所作出的預(yù)測(cè)值之差?？紤]圖中第1級(jí)輸入的條件，我們有 (2-4)式中為n時(shí)刻格型預(yù)測(cè)器的輸入。于是，從上式的初始條件出發(fā)并給定一組發(fā)射系數(shù)，則可由格型預(yù)測(cè)器一級(jí)一級(jí)地向前推進(jìn)，最終確定出一對(duì)輸出和。圖2.2格型濾波器Error! Reference source not found.對(duì)于有統(tǒng)計(jì)過(guò)程獲得的相關(guān)輸入序列, ,后向預(yù)測(cè)誤差，組成一個(gè)非相關(guān)隨機(jī)變量序列。再則，兩個(gè)隨機(jī)變量序列之間在如下意義上存在著一一對(duì)應(yīng)關(guān)系：如果給定其中的一個(gè)，可以唯一地確定另一個(gè)，反之亦然。因此，后向預(yù)測(cè)誤差，的線性組

16、合可給出期望響應(yīng)序列的一個(gè)估計(jì)，如圖5下半部所示。與其估計(jì)值之間的差表示估計(jì)誤差。這里描述的過(guò)程稱為聯(lián)合過(guò)程估計(jì)。當(dāng)然，也可以直接應(yīng)用輸入序列, 產(chǎn)生期望響應(yīng)估計(jì)。然而，圖中所示的間接法具有簡(jiǎn)化抽頭權(quán)值計(jì)算的優(yōu)點(diǎn)，因?yàn)樗昧斯烙?jì)中所采用的后向預(yù)測(cè)誤差的非相關(guān)特性。三 脈動(dòng)陣列脈動(dòng)陣列Error! Reference source not found.（systolic array）表示并行計(jì)算網(wǎng)絡(luò)，它非常適合于映射大量重要的代數(shù)計(jì)算，諸如矩陣乘法、三角化和反向替代；脈動(dòng)陣列的基本處理單元有兩種：邊界單元和內(nèi)部單元，其功能畫(huà)在圖2.3和圖2.4中。 圖2.3 邊界單元Error! Refere

17、nce source not found. 圖2.4內(nèi)部單元Error! Reference source not found.在每一種情況下，參數(shù)r表示存儲(chǔ)在單元中的一個(gè)數(shù)值。邊界單元的作用產(chǎn)生等于u/r（即輸入u除以存儲(chǔ)在單元中的數(shù)r）的輸出。內(nèi)部單元的作用有兩方面：(a)永存儲(chǔ)在單元中的r乘以輸入s（來(lái)自頂部），再?gòu)牡诙€(gè)輸入（來(lái)自左邊）中減去乘積rs，從而產(chǎn)生差u-rs作為該單元右邊的輸出；(b)不用交替地向下發(fā)送第一個(gè)輸入s。脈動(dòng)陣列結(jié)構(gòu)提供了模塊化、局部互連、高度流水線和同步并行處理；其中同步借助于全球時(shí)鐘獲得。2.3 自適應(yīng)濾波器的應(yīng)用自適應(yīng)濾波器具有在未知環(huán)境下良好運(yùn)行并跟蹤時(shí)

18、變輸入統(tǒng)計(jì)量的能力，使得自適應(yīng)濾波器稱為信號(hào)處理和自動(dòng)控制應(yīng)用的強(qiáng)有力手段，實(shí)際上，自適應(yīng)濾波器已經(jīng)成功的應(yīng)用于通信、雷達(dá)、聲納、地震學(xué)和生物學(xué)工程等領(lǐng)域。盡管這些應(yīng)用在特性方面千變?nèi)f化，但它們都有一個(gè)共同的基本特征：用輸入向量和期望響應(yīng)來(lái)計(jì)算估計(jì)誤差，并用該誤差一次控制一組可調(diào)濾波器系數(shù)。取決于采用的濾波器結(jié)構(gòu)，可調(diào)系數(shù)可取抽頭權(quán)值、反射系數(shù)或旋轉(zhuǎn)參數(shù)等形式。然而，自適應(yīng)濾波器各種應(yīng)用之間的本質(zhì)不同在于期望響應(yīng)的獲取方式不同。據(jù)此，自適應(yīng)濾波器可應(yīng)用于以下方面：a 辨識(shí)，系統(tǒng)辨識(shí)模型如圖2.5所示 圖2.5辨識(shí)在該應(yīng)用中，自適應(yīng)濾波器用來(lái)提供一個(gè)在某種意義上都能夠最好擬合未知裝置的線性模型。該裝置和自適應(yīng)濾波器有相同的激勵(lì)。該裝置的輸出提供作為自適應(yīng)濾波器的期望響應(yīng)。如果該裝置具有動(dòng)態(tài)特性，則自適應(yīng)濾波器所提供的模型將是時(shí)變的。b 逆模型，逆模型的示意圖如圖2.6所示圖2.6 逆模型在該應(yīng)用中，自適應(yīng)濾波器的作用是提供一個(gè)逆模型，該模型可在某種意義上最好擬合待測(cè)系統(tǒng)。理想地，在線性系統(tǒng)的情況下，該逆模型具有等于待測(cè)系統(tǒng)轉(zhuǎn)移函數(shù)，使得二者的組合構(gòu)成一個(gè)理想的傳輸媒介。該系統(tǒng)輸入的延遲構(gòu)成自適應(yīng)濾波器的期望響應(yīng)。在某些應(yīng)用中，該系統(tǒng)輸