自適應(yīng)濾波器

自適應(yīng)濾波器第1頁，課件共77頁，創(chuàng)作于2023年2月第2頁，課件共77頁，創(chuàng)作于2023年2月最優(yōu)第3頁，課件共77頁，創(chuàng)作于2023年2月6.1匹配濾波器第4頁，課件共77頁，創(chuàng)作于2023年2月第5頁，課件共77頁，創(chuàng)作于2023年2月第6頁，課件共77頁，創(chuàng)作于2023年2月證明：第7頁，課件共77頁，創(chuàng)作于2023年2月第8頁，課件共77頁，創(chuàng)作于2023年2月最優(yōu)濾波最優(yōu)數(shù)字濾波器的兩條現(xiàn)實約束（1）濾波器是線性的，以使對濾波器的數(shù)學(xué)分析更為簡便；（2）濾波器是離散時間的，這將使得濾波器可以采用數(shù)字硬件或軟件來實現(xiàn)；維納濾波器：濾波器系數(shù)固定,是適用于平穩(wěn)隨機情況下的最優(yōu)濾波;卡爾曼濾波器：濾波器系數(shù)時變,是適用于非平穩(wěn)隨機情況下的最優(yōu)濾波.這兩種最優(yōu)濾波器設(shè)計的前提：必須事先知道所處理信號的統(tǒng)計特性(數(shù)學(xué)期望,相關(guān)函數(shù)等)。遺憾的是,在實際應(yīng)用中常常無法預(yù)先得知信號的統(tǒng)計特性或所處理信號的統(tǒng)計特性是隨時間變化的第9頁，課件共77頁，創(chuàng)作于2023年2月6.2維納濾波器第10頁，課件共77頁，創(chuàng)作于2023年2月第11頁，課件共77頁，創(chuàng)作于2023年2月第12頁，課件共77頁，創(chuàng)作于2023年2月該式表明：已知期望信號d(n)與觀測信號u(n)的互相關(guān)矩陣r，觀測信號u(n)的自相關(guān)矩陣R,通過求逆和矩陣乘法，可得最佳濾波器wopt若濾波器長度M較大，則計算量大，存儲空間也要大。M是由實驗所要求的精度來決定。第13頁，課件共77頁，創(chuàng)作于2023年2月第14頁，課件共77頁，創(chuàng)作于2023年2月第15頁，課件共77頁，創(chuàng)作于2023年2月第16頁，課件共77頁，創(chuàng)作于2023年2月第17頁，課件共77頁，創(chuàng)作于2023年2月第18頁，課件共77頁，創(chuàng)作于2023年2月第19頁，課件共77頁，創(chuàng)作于2023年2月第20頁，課件共77頁，創(chuàng)作于2023年2月第21頁，課件共77頁，創(chuàng)作于2023年2月最小均方誤差：第22頁，課件共77頁，創(chuàng)作于2023年2月6.3卡爾曼濾波器第23頁，課件共77頁，創(chuàng)作于2023年2月6.3.1預(yù)備知識卡爾曼濾波的前提：要用狀態(tài)空間法表征系統(tǒng)第24頁，課件共77頁，創(chuàng)作于2023年2月第25頁，課件共77頁，創(chuàng)作于2023年2月第26頁，課件共77頁，創(chuàng)作于2023年2月狀態(tài)方程輸出方程第27頁，課件共77頁，創(chuàng)作于2023年2月第28頁，課件共77頁，創(chuàng)作于2023年2月第29頁，課件共77頁，創(chuàng)作于2023年2月6.3.2基于狀態(tài)空間法的卡爾曼濾波器第30頁，課件共77頁，創(chuàng)作于2023年2月第31頁，課件共77頁，創(chuàng)作于2023年2月6.3.3卡爾曼濾波器的遞推算法第32頁，課件共77頁，創(chuàng)作于2023年2月6.3.3卡爾曼濾波器的遞推算法第33頁，課件共77頁，創(chuàng)作于2023年2月第34頁，課件共77頁，創(chuàng)作于2023年2月第35頁，課件共77頁，創(chuàng)作于2023年2月第36頁，課件共77頁，創(chuàng)作于2023年2月第37頁，課件共77頁，創(chuàng)作于2023年2月第38頁，課件共77頁，創(chuàng)作于2023年2月第39頁，課件共77頁，創(chuàng)作于2023年2月小結(jié)維納濾波器的參數(shù)是固定的,適用于平穩(wěn)隨機情況下的最優(yōu)濾波;卡爾曼濾波器的參數(shù)是時變的,適用于非平穩(wěn)隨機情況下的最優(yōu)濾波.這兩種濾波器設(shè)計的前提：必須擁有事先知道信號和噪聲的統(tǒng)計特性(數(shù)學(xué)期望,相關(guān)函數(shù)等)。遺憾的是,在實際應(yīng)用中常常無法預(yù)先得到信號的統(tǒng)計特性或信號的統(tǒng)計特性是隨時間變化的.而如果輸入信號的統(tǒng)計特性未知,或者輸入信號的統(tǒng)計特性隨時間變化,只能使用自適應(yīng)濾波器。它能夠自動地迭代調(diào)節(jié)自身的濾波器參數(shù),以滿足某種準(zhǔn)則的要求,從而實現(xiàn)最優(yōu)濾波.所處理信號的統(tǒng)計特性未知,調(diào)整自身參數(shù)到最佳的過程——"學(xué)習(xí)過程".所處理信號的統(tǒng)計特性變化,調(diào)整自身參數(shù)到最佳的過程——"跟蹤過程"因此自適應(yīng)濾波器具有學(xué)習(xí)能力和跟蹤能力.第40頁，課件共77頁，創(chuàng)作于2023年2月6.4.自適應(yīng)濾波器6.4.1引言①第41頁，課件共77頁，創(chuàng)作于2023年2月6.4.1引言②第42頁，課件共77頁，創(chuàng)作于2023年2月6.4.1引言③自適應(yīng)濾波器的定義第43頁，課件共77頁，創(chuàng)作于2023年2月第6章自適應(yīng)濾波器

自適應(yīng)濾波器：根據(jù)所處理信號的變化，使用自適應(yīng)算法來改變?yōu)V波器的參數(shù)和結(jié)構(gòu)。通常，不改變?yōu)V波器的結(jié)構(gòu)，而只改變?yōu)V波器的系數(shù)，即其系數(shù)是由自適應(yīng)算法不斷更新的時變系數(shù)，自動連續(xù)地適應(yīng)于所處理信號，以獲得期望響應(yīng)。第44頁，課件共77頁，創(chuàng)作于2023年2月6.1引言自適應(yīng)的概念：生物能以各種有效方式適應(yīng)周圍環(huán)境，從而使生命力變強。40年代，N.維納用最小均方原則設(shè)計最佳線性濾波器，用來處理平穩(wěn)隨機信號，即著名的維納濾波器。60年代，，R.E.卡爾曼創(chuàng)立最佳時變線性濾波設(shè)計理論，用來處理非平穩(wěn)隨機信號，即著名的卡爾曼濾波器。70年代，美國B.Windrow和Hoff提出了處理隨機信號的自適應(yīng)濾波器算法，彌補了維納、卡爾曼濾波器的致命缺陷：必須事先知道待處理信號的統(tǒng)計特性（如自相關(guān)函數(shù)），才能計算出最佳的濾波器系數(shù)Wopt，否則，維納、卡爾曼濾波器無法判定為最佳。自適應(yīng)濾波器：利用前一時刻已獲得的濾波器系數(shù)，自動地調(diào)節(jié)現(xiàn)時刻的濾波器系數(shù)，以適應(yīng)所處理隨機信號的時變統(tǒng)計特性，實現(xiàn)最優(yōu)濾波。6.1.1自適應(yīng)濾波器的發(fā)展史第45頁，課件共77頁，創(chuàng)作于2023年2月6.1.2自適應(yīng)濾波器的分類按濾波器的結(jié)構(gòu)來分：遞歸型（最佳遞歸估計-卡爾曼濾波）非遞歸型（最佳非遞歸估計-維納濾波）按實現(xiàn)方式來分：模擬式自適應(yīng)濾波器（抑制某些單頻干擾）數(shù)字式自適應(yīng)濾波器（常用，需用軟件實現(xiàn)）自適應(yīng)FIR濾波器的分類(非遞歸型)：自適應(yīng)橫向濾波器自適應(yīng)格型濾波器自適應(yīng)對稱橫向濾波器第46頁，課件共77頁，創(chuàng)作于2023年2月6.1.2自適應(yīng)濾波器的分類按復(fù)雜度來分：線性自適應(yīng)濾波器非線性自適應(yīng)濾波器（包括Volterra濾波器和基于神經(jīng)網(wǎng)絡(luò)的自適應(yīng)濾波器。信號處理能力更強，但計算也更復(fù)雜。）值得注意的是：自適應(yīng)濾波器系統(tǒng)--時變性的，非線性。非線性：系統(tǒng)根據(jù)所處理信號特點不斷調(diào)整自身的濾波器系數(shù)。時變性：系統(tǒng)的自適應(yīng)響應(yīng)/學(xué)習(xí)過程。所以，自適應(yīng)濾波器可自動適應(yīng)信號的傳輸環(huán)境，無須詳細(xì)知道信號的結(jié)構(gòu)和特征參數(shù)，無須精確設(shè)計濾波器本身。線性自適應(yīng)濾波器的兩個階段：①學(xué)習(xí)階段：根據(jù)輸入信號的特點，濾波器系數(shù)被持續(xù)修改調(diào)整，直到得最優(yōu)系數(shù)。②工作階段：濾波器系數(shù)保持不變(成為線性系統(tǒng))，進行濾波。便于設(shè)計、易于數(shù)學(xué)處理，實際應(yīng)用廣泛。第47頁，課件共77頁，創(chuàng)作于2023年2月線性自適應(yīng)濾波器的兩部分：自適應(yīng)濾波器的結(jié)構(gòu)自適應(yīng)權(quán)調(diào)整算法自適應(yīng)濾波器的結(jié)構(gòu)有FIR和IIR兩種。FIR濾波器是非遞歸系統(tǒng)，即當(dāng)前輸出樣本僅是過去和現(xiàn)在輸入樣本的函數(shù)，其系統(tǒng)沖激響應(yīng)h(n)是一個有限長序列，除原點外，只有零點沒有極點。具有很好的線性相位，無相位失真，穩(wěn)定性比較好。IIR濾波器是遞歸系統(tǒng)，即當(dāng)前輸出樣本是過去輸出和過去輸入樣本的函數(shù)，其系統(tǒng)沖激響應(yīng)h(n)是一個無限長序列。IIR系統(tǒng)的相頻特性是非線性的，穩(wěn)定性也不能得到保證。唯一可取的就是實現(xiàn)階數(shù)較低，計算量較少；硬件的巨大發(fā)展，使得工程師更關(guān)心系統(tǒng)的穩(wěn)定性，而不在乎那么一丁點計算量的減少。因此，自適應(yīng)濾波器常采用FIR結(jié)構(gòu)。可分為：橫向型、對稱橫向型、格型第48頁，課件共77頁，創(chuàng)作于2023年2月線性自適應(yīng)濾波器的兩部分：自適應(yīng)濾波器的結(jié)構(gòu)自適應(yīng)權(quán)調(diào)整算法自適應(yīng)權(quán)調(diào)整算法可分為兩類最基本算法：①最小均方誤差(LMS)算法：使濾波器的實際輸出與期望輸出之間的均方誤差最小.LMS算法的基礎(chǔ)是最陡下降法(SteepestDescentMethod),1959年，威德諾等提出，下一時刻權(quán)系數(shù)矢量=“現(xiàn)時刻”權(quán)系數(shù)矢量+負(fù)比例系數(shù)的均方誤差函數(shù)梯度。當(dāng)權(quán)系數(shù)達到穩(wěn)定（最佳權(quán)系數(shù)）時,則均方誤差達到極小值。LMS算法有兩個關(guān)鍵:梯度的計算以及收斂因子的選擇。通常，將單個誤差樣本的平方作為均方誤差的估計值LMS算法是一種遞推過程,表示要經(jīng)過足夠的迭代次數(shù)后,權(quán)系數(shù)才會逐步逼近最佳權(quán)系數(shù),從而計算得到最佳濾波輸出,即噪聲得到最好抑制.存在問題：收斂速度。抽頭延遲線的非遞歸型自適應(yīng)濾波器算法的收斂速度，取決于輸入信號自相關(guān)矩陣特征值的離散程度。當(dāng)特征值離散較大時，自適應(yīng)過程收斂速度較慢。格型結(jié)構(gòu)的自適應(yīng)算法則收斂較快。遞歸型結(jié)構(gòu)的自適應(yīng)算法是非線性的，收斂可疑。②遞推最小二乘(RLS)算法：使估計誤差的加權(quán)平方和最小.第49頁，課件共77頁，創(chuàng)作于2023年2月6.5.2LMS自適應(yīng)算法維納濾波器的尋優(yōu)以最小均方誤差為準(zhǔn)則；LMS自適應(yīng)濾波的尋優(yōu)就在最小均方誤差的基礎(chǔ)上稍作改動：目標(biāo)函數(shù)：均方誤差E{|e(k)|2}瞬時平方誤差|e(k)|2其實質(zhì)：以當(dāng)前輸出誤差、當(dāng)前參考信號和當(dāng)前權(quán)系數(shù)求得下個時刻的權(quán)系數(shù)。最小均方算法：LeastMeanSquares第50頁，課件共77頁，創(chuàng)作于2023年2月回顧：最陡下降法1）依據(jù)：wiener濾波器的均方誤差曲面J(w)是權(quán)矢量w的二次函數(shù)，不存在局部最小點。2）方法：從任意初始值w(0)出發(fā)，沿J(w)的負(fù)梯度方向(最陡下降方向)按一定步長進行迭代搜索至最小點。

權(quán)矢量隨n變化的軌跡在每個時刻n都正交于J(n)(等高線)；第51頁，課件共77頁，創(chuàng)作于2023年2月回顧：維納濾波器的系數(shù)—使均方誤差最小第52頁，課件共77頁，創(chuàng)作于2023年2月第53頁，課件共77頁，創(chuàng)作于2023年2月證明第54頁，課件共77頁，創(chuàng)作于2023年2月第55頁，課件共77頁，創(chuàng)作于2023年2月第56頁，課件共77頁，創(chuàng)作于2023年2月第57頁，課件共77頁，創(chuàng)作于2023年2月6.5.3RLS自適應(yīng)算法

遞歸最小二乘法：RecursiveLeastSquares最小二乘法：無需假定輸入是寬帶平穩(wěn)過程，收斂快。①問題的描述：在n時刻巳知一組輸入數(shù)據(jù)x(1)，x(2)，…..，x(n)一組需要的響應(yīng)設(shè)計一個M階的濾波器(估計器)，使它n時刻的輸出第58頁，課件共77頁，創(chuàng)作于2023年2月②最小二乘問題的分類：回顧：最小二乘法第59頁，課件共77頁，創(chuàng)作于2023年2月最小二乘法：第60頁，課件共77頁，創(chuàng)作于2023年2月③正交性原理：按誤差平方和最小化原則，可得：最小二乘法：第61頁，課件共77頁，創(chuàng)作于2023年2月最小二乘法：第62頁，課件共77頁，創(chuàng)作于2023年2月6.5.3RLS自適應(yīng)算法遞歸最小二乘法的預(yù)備知識：第63頁，課件共77頁，創(chuàng)作于2023年2月①第64頁，課件共77頁，創(chuàng)作于2023年2月②第65頁，課件共77頁，創(chuàng)作于2023年2月RLS算法隨n趨向無限大，權(quán)系數(shù)按均值收斂于最佳值；但，對于有限的n，由于δ的引入，RLS算法是有偏估計。權(quán)系數(shù)的均方誤差隨最小特征值的減小而增大，因此，R特征值的散布度加大，會使RLS權(quán)系數(shù)的收斂性能變差；

權(quán)系數(shù)的均方誤差隨n的增加而線性減小，所以，RLS算法權(quán)系數(shù)按均方漸近收斂于最佳值。

RLS算法經(jīng)過n=2M次迭代，即可使均方誤差達到最小誤差的1.5倍，而LMS算法達此水平至少需20M次迭代。因此，RLS比LMS至少快一個數(shù)量級。第66頁，課件共77頁，創(chuàng)作于2023年2月

RLS算法的均方誤差收斂特性與R的特征值散布無關(guān)。

RLS收斂快的原因在于采用類似歸一化步長。

若n趨于無限大，在不考慮量化誤差的條件下，RLS算法無失調(diào)。而LMS始終存在與步長有關(guān)的失調(diào)。

RLS算法的主要問題：每次迭代中的計算量與階數(shù)M的平方成正比。雖然比之最小二乘法(