自適應(yīng)濾波器演示文稿

自適應(yīng)濾波器演示文稿第一頁(yè)，共九十二頁(yè)。（優(yōu)選）自適應(yīng)濾波器第二頁(yè)，共九十二頁(yè)。設(shè)計(jì)維納和卡爾濾波器，要求已知關(guān)于信號(hào)和噪聲統(tǒng)計(jì)特性的先驗(yàn)知識(shí)。但在許多情況下人們對(duì)此并不知道或知道甚少，某些情況下這些統(tǒng)計(jì)特性還是時(shí)變的。處理上述這類信號(hào)需要采用自適應(yīng)濾波器。自適應(yīng)信號(hào)處理器分為兩大類，一類是自適應(yīng)天線，另一類是自適應(yīng)濾波器。本章主要討論自適應(yīng)濾波器的工作原理、基本原理、重要算法和典型應(yīng)用。第三頁(yè)，共九十二頁(yè)。3.1自適應(yīng)濾波原理自適應(yīng)濾波器由參數(shù)可調(diào)的數(shù)字濾波器和自適應(yīng)算法兩部分組成，如下圖：d(n)x(n)e(n)y(n)-+參數(shù)可調(diào)數(shù)字Filter自適應(yīng)算法Σ與參考信號(hào)比較經(jīng)過(guò)自適應(yīng)算法對(duì)Filter參數(shù)進(jìn)行調(diào)整。自適應(yīng)算法的原則：最終使e(n)均方值最小！自適應(yīng)濾波器是一種能自動(dòng)調(diào)整本身參數(shù)的特殊維納濾波器。它在設(shè)計(jì)時(shí)，不需先知道輸入信號(hào)和噪聲的統(tǒng)計(jì)特性。它能在自己工作中逐漸學(xué)會(huì)or估計(jì)出所需的統(tǒng)計(jì)特性。并以此依據(jù)自動(dòng)調(diào)整自己的參數(shù)以達(dá)到最佳濾波的目的。第四頁(yè)，共九十二頁(yè)。自適應(yīng)濾波器常見(jiàn)的例子：1.自適應(yīng)預(yù)測(cè)：（可用于語(yǔ)音編碼、譜估計(jì)、信號(hào)白化等）輸入信號(hào)是s(n),輸出響應(yīng)是預(yù)測(cè)值期望響應(yīng)d(n)是n+D時(shí)刻的信號(hào)值第五頁(yè)，共九十二頁(yè)。2.自適應(yīng)建模（a）（b）（a）是正向建模，（b）是逆向建模。在正向建模中，自適應(yīng)處理器調(diào)整自己的權(quán)值，使得輸出響應(yīng)y(n)盡可能逼近未知系統(tǒng)的輸出d(n)。在逆向建模中，自適應(yīng)處理器調(diào)整自己的權(quán)值以成為被建模系統(tǒng)的逆系統(tǒng)，即把被建模系統(tǒng)的輸出轉(zhuǎn)換成為輸入信號(hào)的延時(shí)。第六頁(yè)，共九十二頁(yè)。3.自適應(yīng)干擾器傳感器陣列接收到目標(biāo)信號(hào)，導(dǎo)向延時(shí)使其預(yù)定觀測(cè)方向上波束增益最大。固定目標(biāo)信號(hào)濾波器輸出為自適應(yīng)處理器輸出是噪聲的估計(jì)，并用來(lái)抵消常用于波束形成器。第七頁(yè)，共九十二頁(yè)。設(shè)計(jì)自適應(yīng)濾波器時(shí)，首先要確定濾波器的結(jié)構(gòu)（FIR，IIR或格形結(jié)構(gòu)），然后設(shè)計(jì)自適應(yīng)算法以調(diào)整濾波器參數(shù)，其目標(biāo)是使某一特定的代價(jià)函數(shù)最小化。（本章選擇均方誤差為代價(jià)函數(shù)）第八頁(yè)，共九十二頁(yè)。3.2自適應(yīng)線性組合器自適應(yīng)線性組合器是一種參數(shù)可自適應(yīng)調(diào)整的有限沖激響應(yīng)數(shù)字濾波器，具有非遞歸結(jié)構(gòu)形式，分析實(shí)現(xiàn)簡(jiǎn)單。在大多數(shù)自適應(yīng)信號(hào)處理中得到廣泛應(yīng)用。自適應(yīng)線性組合器的一般形式：第九頁(yè)，共九十二頁(yè)。輸入信號(hào)矢量：輸入信號(hào)和輸出信號(hào)之間的關(guān)系式為：對(duì)單輸入情況：對(duì)多輸入情況：還可表示為：自適應(yīng)線性組合器按照誤差信號(hào)均方值（or平均功率）最小的準(zhǔn)則（即③）來(lái)自動(dòng)調(diào)整權(quán)矢量，選擇什么信號(hào)作為參考響應(yīng)，要根據(jù)不同的應(yīng)用要求來(lái)確定。第十頁(yè)，共九十二頁(yè)。3.3均方誤差性能曲面由上面①②③三式，得均方誤差表示式：將④式進(jìn)一步寫成：均方誤差是權(quán)矢量W的各分量的二次函數(shù)，即若將該式展開(kāi)，則W各分量只有一次和二次項(xiàng)存在，的圖形一定是L+1維空間向中一個(gè)中間下凹的超拋物面，有唯一最低點(diǎn)min，該曲面稱為均方誤差性能曲面。第十一頁(yè)，共九十二頁(yè)。當(dāng)輸入w(n)只有兩個(gè)元素時(shí)，可得到如圖的自適應(yīng)濾波器：自適應(yīng)過(guò)程，即自動(dòng)調(diào)整權(quán)系數(shù)w(n)，使均方誤差達(dá)到最小值的過(guò)程，相當(dāng)于沿性能曲面往下搜索達(dá)最低點(diǎn)的過(guò)程。最常用的搜索方法是梯度法，因此，性能曲面的梯度是一個(gè)很重要的概念。ξ第十二頁(yè)，共九十二頁(yè)。均方誤差性能曲面的梯度為：，讓得此式表明：當(dāng)W偏離最佳值W*一個(gè)數(shù)值

，將比大一個(gè)數(shù)值第十三頁(yè)，共九十二頁(yè)。3.4二次性能曲面的基本性質(zhì)平穩(wěn)隨機(jī)信號(hào)的統(tǒng)計(jì)特性是不隨時(shí)間變化的。因此，其性能曲面在坐標(biāo)系中是固定不變或“剛性”的。自適應(yīng)過(guò)程就是從性能曲面上某點(diǎn)（初始狀態(tài)）開(kāi)始，沿著曲面向下搜索最低點(diǎn)的過(guò)程。但對(duì)非平穩(wěn)隨機(jī)信號(hào)來(lái)說(shuō)，這種性能曲面是“晃動(dòng)的”、“模糊的”自適應(yīng)過(guò)程，不僅要求沿性能曲面向下搜索最低點(diǎn)，而且還對(duì)最低點(diǎn)進(jìn)行跟蹤。我們這里只討論平穩(wěn)隨機(jī)過(guò)程，且為方便理解，只討論兩個(gè)權(quán)系數(shù)W0和W1的自適應(yīng)線性組合。此時(shí)性能曲面是三維空間中的一個(gè)拋物面。第十四頁(yè)，共九十二頁(yè)。現(xiàn)用一個(gè)與平面平行與其相距的平面切割該拋物面，交線在平面上投影是一個(gè)橢圓。如圖：橢圓中心為，它是性能曲面最低點(diǎn)的投影。如果用若干個(gè)與平面距離不同的平行平面來(lái)切割性能曲面，交線投影將是一組中心同在W*的橢圓。它們各與一個(gè)確定的相對(duì)應(yīng)。因此稱為等均方誤差線or等高線。第十五頁(yè)，共九十二頁(yè)。等高線方程：由得：常數(shù)若將堅(jiān)持原點(diǎn)平移至，得到權(quán)偏移矢量全標(biāo)系等高線方程：常數(shù)（可由得到）這是一組同心橢圓，中心位于新坐標(biāo)原點(diǎn)V=0。將上面討論推廣到L+1個(gè)權(quán)系數(shù)的情況不難想象，等高線將是L+1維空間中的一組同心超橢圓，橢圓中主位于坐標(biāo)系的原點(diǎn)。這組同心超橢圓有L+1個(gè)主軸，它們也是均方誤差曲面的主軸。

第十六頁(yè)，共九十二頁(yè)。是R的特征值矩陣：可由R的特征方程det[R-aI]=0解出。第十七頁(yè)，共九十二頁(yè)。最終得：由此總結(jié)出二次性能曲面的三個(gè)基本性質(zhì)：主軸是R的特征矢量。（1）輸入信號(hào)自相關(guān)矩陣R的特征矢量

確定了性能曲面的主軸;（2）因此它定義的旋轉(zhuǎn)系統(tǒng)

就是橢圓的主軸系統(tǒng)。（3）R的特征值給出了性能曲面沿主軸的二階導(dǎo)數(shù)值。第十八頁(yè)，共九十二頁(yè)。3.5最陡下降法前面分析知，自適應(yīng)線性組合器的均方誤差性能曲面是權(quán)系數(shù)的二次函數(shù)，但在實(shí)際應(yīng)用中，性能曲面的參數(shù)甚至解析式都是未知的。因此，只能由已測(cè)數(shù)據(jù)，采用某種算法對(duì)性能曲面自動(dòng)進(jìn)行搜索。尋找最低點(diǎn)，從而得到最佳權(quán)矢量。牛頓法和最陡下降法是兩種著名的方法，牛頓法在數(shù)學(xué)上有重要意義，但實(shí)現(xiàn)很困難。因此，我們只介紹最陡下降法，它在工程上易于實(shí)現(xiàn)。最陡下降法是沿性能曲面最陡方向向下搜索曲面最低點(diǎn)。曲面的最陡下降是曲面的負(fù)梯度方向。這是一個(gè)迭代搜索過(guò)程。第十九頁(yè)，共九十二頁(yè)。最陡下降法迭代計(jì)算權(quán)矢量公式為：是控制搜索步長(zhǎng)的參數(shù)-----稱為自適應(yīng)增益常數(shù)或稱為收斂因子（常數(shù)）。將梯度公式代入上式，得：方程由計(jì)算很困難，一般將w坐標(biāo)通過(guò)平移坐標(biāo)，通過(guò)旋轉(zhuǎn)到主坐標(biāo)第二十頁(yè)，共九十二頁(yè)。即：由于它們之間沒(méi)有耦合，所以可分別由初始權(quán)值進(jìn)行迭代運(yùn)算求解，可得：第二十一頁(yè)，共九十二頁(yè)。即：為確保算法收斂，有，即收斂到V的原點(diǎn)，即W的W*點(diǎn)。因此必須保證可以由給定的求由R的特征值在此范圍內(nèi)選??！這樣計(jì)算仍比較繁鎖，可采用直接估計(jì)的方法，讓R矩陣的跡：第二十二頁(yè)，共九十二頁(yè)。也可由輸入信號(hào)取樣值進(jìn)行估計(jì)：由于實(shí)際自適應(yīng)F中調(diào)整參數(shù)是可將上面結(jié)果返回到自然坐標(biāo)系去，以看清W(n)的自適應(yīng)調(diào)整規(guī)律。由有：利用恒等式有：

從而取第二十三頁(yè)，共九十二頁(yè)。3.6學(xué)習(xí)曲線和收斂速度在自適應(yīng)調(diào)整權(quán)系數(shù)的過(guò)程中，均方誤差是迭代n次數(shù)的函數(shù)，稱為學(xué)習(xí)曲線?！摺噙@就是最陡下降法學(xué)習(xí)曲線的表達(dá)式，收斂條件約為：第二十四頁(yè)，共九十二頁(yè)。收斂速度的快慢，用時(shí)間常數(shù)來(lái)說(shuō)明：有三個(gè)常用時(shí)間常數(shù)⒈權(quán)系數(shù)衰減時(shí)間常數(shù)：第一就是，權(quán)系數(shù)衰減時(shí)間常數(shù)：定義：即衰減為的倍時(shí)，所經(jīng)歷的迭代次數(shù)即為。通常其中第二十五頁(yè)，共九十二頁(yè)。⒉學(xué)習(xí)曲線時(shí)間常數(shù)其物理意義：衰減為-的倍所需迭代次數(shù)。3.自適應(yīng)時(shí)間常數(shù)

·（Samples樣本數(shù)or取樣周期）即：將迭代次數(shù)用其取樣間隔來(lái)度量。

第二十六頁(yè)，共九十二頁(yè)。3.7自適應(yīng)的最小均方算法最陡下降法，每次迭代都需要知道性能曲面上某點(diǎn)的梯度值，而實(shí)際上梯度值只能根據(jù)觀測(cè)數(shù)據(jù)進(jìn)行估計(jì)。LMS算法是一種很有用的估計(jì)梯度的方法。它的突出優(yōu)點(diǎn)是計(jì)算量小，且不脫線計(jì)算，只要知道輸入信號(hào)和參考響應(yīng)。LMS算法核心思想是用平方誤差代替均方誤差。LMS算法的基本關(guān)系式→第二十七頁(yè)，共九十二頁(yè)。LMS算法調(diào)整權(quán)系數(shù)時(shí)不需要進(jìn)行平方運(yùn)算和統(tǒng)計(jì)平均運(yùn)算，因而實(shí)現(xiàn)起來(lái)很簡(jiǎn)單。下圖為兩個(gè)權(quán)系數(shù)的自適應(yīng)線性組合器采用LMS算法的計(jì)算流程圖：d(n)

e(n)y(n)++++++2μ第二十八頁(yè)，共九十二頁(yè)。第二十九頁(yè)，共九十二頁(yè)。而最陡下降法梯度公式：說(shuō)明：LMS算法得到的權(quán)矢量的期望值與最陡下降法權(quán)矢量本身一樣，因此，當(dāng)收斂條件或滿足時(shí)，隨迭代次數(shù)趨近于無(wú)窮，LMS權(quán)矢量的期望值將趨近于最佳權(quán)矢量。第三十頁(yè)，共九十二頁(yè)。3.8權(quán)矢量噪聲LMS算法之所以簡(jiǎn)單，主要是因?yàn)樗鼘?duì)梯度矢量各分量的估計(jì)是根據(jù)單個(gè)數(shù)據(jù)取樣值得到，沒(méi)有進(jìn)行平均。也正因此相當(dāng)于使梯度估計(jì)中存在噪聲。梯度估計(jì)的噪聲矢量用N(n)表示，有：協(xié)方差：

均值為0，協(xié)方差=自相關(guān)函數(shù)，又不相關(guān)第三十一頁(yè)，共九十二頁(yè)。將上式變換到主軸坐標(biāo)系：∴這是計(jì)算噪聲的協(xié)方差公式。下面考慮自適應(yīng)調(diào)整權(quán)矢量這程中，梯度估計(jì)噪聲的影響，即LMS對(duì)權(quán)矢量的影響。平移坐標(biāo)系V：平移坐標(biāo)系V’：←由噪聲產(chǎn)生第三十二頁(yè)，共九十二頁(yè)。用歸納法求上式，即得：另推：這就是LMS算法中梯度估計(jì)噪聲在穩(wěn)態(tài)權(quán)矢量中引起的噪聲。

←穩(wěn)態(tài)解第三十三頁(yè)，共九十二頁(yè)。3.9失調(diào)量梯度估計(jì)噪聲的存在，使得收斂后的穩(wěn)態(tài)權(quán)矢量在最佳權(quán)矢量附近隨機(jī)起伏，這意味著穩(wěn)態(tài)均方誤差值總是大于最小均方誤差，且在附近隨機(jī)地改變。如下圖：將這種偏移量的期望值稱為：超量均方誤差，用“超量MSE”表示。第三十四頁(yè)，共九十二頁(yè)。變換到主軸坐標(biāo)系，超量超量將代入，可得近似公式：超量均方誤差是度量這種性能損失的一個(gè)量（權(quán)系數(shù)在最佳解附近隨機(jī)變動(dòng)）。另一個(gè)度量自適應(yīng)性能損失的量是失調(diào)量。用M表示超量第三十五頁(yè)，共九十二頁(yè)。失調(diào)量和收斂速度這兩個(gè)量要折衷加以考慮，學(xué)習(xí)曲線時(shí)間常數(shù)為：根據(jù)上式可將R的跡寫成：得到：上式說(shuō)明了失調(diào)量、學(xué)習(xí)曲線時(shí)間常數(shù)以及權(quán)系數(shù)的個(gè)數(shù)三者之間的關(guān)系式。在特征值未知的情況下，這個(gè)近似式對(duì)于設(shè)計(jì)自適應(yīng)系統(tǒng)很有用的。在所有特征值相等時(shí)：第三十六頁(yè)，共九十二頁(yè)。3.10自適應(yīng)的遞歸最小二乘方（RLS）算法1.特征：FIR維納濾波器的一種時(shí)間遞歸算法嚴(yán)格以最小二乘方準(zhǔn)則為依據(jù)的算法收斂速度快應(yīng)用于：快速信道均衡實(shí)時(shí)系統(tǒng)辨識(shí)時(shí)間序列分析缺點(diǎn)：每次迭代計(jì)算量大，N階的FIR計(jì)算量曾經(jīng)一度受到限制，近來(lái)有大的發(fā)展。2.RLS算法：用二乘方的時(shí)間平均的最小化準(zhǔn)則取代最小均方準(zhǔn)則，并按時(shí)間進(jìn)行計(jì)算。第三十七頁(yè)，共九十二頁(yè)。具體說(shuō)：是要對(duì)初始時(shí)刻到當(dāng)前時(shí)刻所有誤差的平方進(jìn)行平均并使其最小化，再按照這一準(zhǔn)則確定FIR濾波器的權(quán)系數(shù)矢量W。即其中：——期望響應(yīng)——是N階FIR的輸出響應(yīng)對(duì)于非平穩(wěn)輸入信號(hào)，為了能很好的進(jìn)行跟蹤，常引入一個(gè)指數(shù)加權(quán)因子對(duì)式進(jìn)行修正：第三十八頁(yè)，共九十二頁(yè)。

—遺忘因子（的正數(shù)）舊數(shù)據(jù)的權(quán)值按指數(shù)規(guī)律衰減，越舊對(duì)影響越小，忘性越大。求偏導(dǎo)這是最小二乘方準(zhǔn)則所對(duì)應(yīng)的正交方程。上式經(jīng)整理后得：或定義：第三十九頁(yè)，共九十二頁(yè)。則標(biāo)準(zhǔn)方程可寫為簡(jiǎn)化形式：該方程的解為：都與時(shí)間n有關(guān)，所以w是n的函數(shù)3.迭代算法將兩式寫成迭代形式第四十頁(yè)，共九十二頁(yè)。同理：由利用矩陣恒等式則上式可寫成：第四十一頁(yè)，共九十二頁(yè)。將上兩式代入并利用上式得到式中增益誤差上式具有卡爾曼濾波器的形式。是根據(jù)及以前所有數(shù)據(jù)得到的最佳權(quán)值，根據(jù)它來(lái)預(yù)測(cè)應(yīng)該是合理的?？蓪⒃鲆婀綄懗傻谒氖?yè)，共九十二頁(yè)。上式與LMS算法的差別在于權(quán)矢量校正項(xiàng)中出現(xiàn)了因子。由于R(n)是自相關(guān)矩陣的一種量度，因此，因子的出現(xiàn)使得RLS算法具有快速收斂的性質(zhì)。RLS算法步驟如下：（1）在時(shí)刻n，已獲得w(n-1)、T(n-1)和d(n),x(n)也已存儲(chǔ)在濾波器的延時(shí)部件中。（2）計(jì)算出T(n),w(n),k(n)和e(n|n-1)，并得到濾波器輸出響應(yīng)y(n)和誤差e(n)，即第四十三頁(yè)，共九十二頁(yè)。（3）進(jìn)入第n+1次迭代遺忘因子的選取的值對(duì)算法影響最大。算法的有效記憶長(zhǎng)度用來(lái)度量，定義為越小對(duì)應(yīng)的越小，意味著對(duì)信號(hào)的非平穩(wěn)跟蹤性能越好。太小，會(huì)小于信號(hào)的每個(gè)平穩(wěn)的有效時(shí)間，不能充分利用所有已經(jīng)獲取的取樣數(shù)據(jù)。結(jié)果，算出的將會(huì)受到嚴(yán)重噪聲影響。對(duì)平穩(wěn)信號(hào)，最佳值為1。例子：第四十四頁(yè)，共九十二頁(yè)。

是一個(gè)零均值，方差為1的白噪聲，顯然是由這個(gè)白噪聲激勵(lì)一個(gè)二階自回歸模型產(chǎn)生。這里：模型參數(shù)權(quán)系數(shù)逐漸收斂于-1.6的過(guò)渡過(guò)程曲線LMS自適應(yīng)參數(shù)權(quán)系數(shù)收斂后出現(xiàn)較大噪聲。，在計(jì)算最佳數(shù)據(jù)時(shí)沒(méi)有充分利用能夠獲得的全部取樣數(shù)據(jù)。

第四十五頁(yè)，共九十二頁(yè)。3.11IIR遞推結(jié)構(gòu)自適應(yīng)濾波器的LMS算法

在一種實(shí)用場(chǎng)合，常為了提高精度，F(xiàn)IR自適應(yīng)型的濾波器要求階數(shù)很高。而用IIR遞推結(jié)構(gòu)通常只用低階（二階）就夠了。有些情況下必須用IIR遞歸結(jié)構(gòu)。如：某些通信信道等效于一個(gè)FIR濾波器，其傳輸函數(shù)為：在接收端：為了補(bǔ)償多徑效應(yīng)引起的失真，常設(shè)計(jì)一個(gè)的自適應(yīng)濾波器。（顯然這是一個(gè)IIR自適應(yīng)濾波器）第四十六頁(yè)，共九十二頁(yè)。IIR自適應(yīng)濾波器的主要優(yōu)點(diǎn)是可以大幅度減少計(jì)算量，具有諧振和銳截止特性，但也有以下缺點(diǎn)：（1）由于遞歸結(jié)構(gòu)存在反饋支路，故在自適應(yīng)過(guò)程中有可能使極點(diǎn)移到單位圓外，使濾波器失去穩(wěn)定。（2）搜索全局極小值的工作比較復(fù)雜和困難為克服點(diǎn)一個(gè)缺點(diǎn)，采取措施限制濾波器的參數(shù)取值范圍，克服第二個(gè)缺點(diǎn)的辦法是尋求好的自適應(yīng)算法，以便在復(fù)雜的性能曲面上能夠正確搜索全局最低點(diǎn)。已證明：具有足夠多零點(diǎn)和極點(diǎn)的自適應(yīng)遞歸濾波器，其性能曲面可以是單模的，而不是多模的。這意味著，增加權(quán)系數(shù)的個(gè)數(shù)能夠移去性能曲面的局部極小值。第四十七頁(yè)，共九十二頁(yè)。IIR濾波器差分方程為：

可以是單輸入的，也可以是多輸入的。定義兩個(gè)新矢量—復(fù)合權(quán)矢量和復(fù)合數(shù)據(jù)矢量。于是差分方程可寫成矢量形式：誤差：第四十八頁(yè)，共九十二頁(yè)。與FIR自適應(yīng)的LMS算法類似。梯度估計(jì)為：令：由差分方程知：第四十九頁(yè)，共九十二頁(yè)。于是，梯度估計(jì)可寫成：對(duì)權(quán)矢量進(jìn)行迭代調(diào)整的公式現(xiàn)在為：這里用對(duì)角矩陣M代替自適應(yīng)增益常數(shù)，即：第五十頁(yè)，共九十二頁(yè)。由于現(xiàn)在性能曲面是非二次的，因此，對(duì)應(yīng)于每個(gè)權(quán)系數(shù)有一個(gè)收斂參數(shù)，對(duì)應(yīng)于每個(gè)權(quán)系數(shù)有一個(gè)收斂參數(shù)v，L+1個(gè)是相同的，L個(gè)v各不相同，這些收斂參數(shù)可以是時(shí)變的。于是，IIR自適應(yīng)濾波器的LMS算法總結(jié)如下：第五十一頁(yè)，共九十二頁(yè)。3.12自適應(yīng)濾波器計(jì)算舉例有一個(gè)自適應(yīng)線性組合器，如下圖：設(shè)在開(kāi)關(guān)S打開(kāi)和閉合的兩種情況下，求解：（1）性能曲面函數(shù)，并畫出圖形（2）求最佳權(quán)值（3）求最小均方誤差第五十二頁(yè)，共九十二頁(yè)。解：開(kāi)關(guān)S斷開(kāi)時(shí)：（1）（2）（3）第五十三頁(yè)，共九十二頁(yè)。開(kāi)關(guān)閉合時(shí)：（1）（2）（3）第五十四頁(yè)，共九十二頁(yè)。3.13自適應(yīng)濾波器的數(shù)字實(shí)現(xiàn)自適應(yīng)濾波器通常分為模擬實(shí)現(xiàn)和數(shù)字實(shí)現(xiàn)兩類。模擬實(shí)現(xiàn)自適應(yīng)濾波器主要采用電荷耦合器件、聲表面波器件等技術(shù)，具有功耗低、尺寸小和重量輕等優(yōu)點(diǎn)，但動(dòng)態(tài)范圍和精度等指標(biāo)難以提高。因此自適應(yīng)濾波器以數(shù)字實(shí)現(xiàn)為主。1.LMS算法自適應(yīng)濾波器的直接實(shí)現(xiàn)自適應(yīng)濾波器的計(jì)算主要包括：（1）計(jì)算可調(diào)數(shù)字濾波器的輸出。通常較多采用FIR橫向結(jié)構(gòu)，主要計(jì)算輸入序列與濾波權(quán)系數(shù)序列的線性卷積。（2）完成自適應(yīng)算法，通常選用LMS算法，主要計(jì)算輸入信號(hào)與誤差之積，并對(duì)權(quán)系數(shù)進(jìn)行修正，以實(shí)現(xiàn)權(quán)系數(shù)的迭代運(yùn)算。第五十五頁(yè)，共九十二頁(yè)。LMS算法FIR橫向結(jié)構(gòu)自適應(yīng)濾波器數(shù)字實(shí)現(xiàn)的方框圖如下：第五十六頁(yè)，共九十二頁(yè)。3.14最小二乘自適應(yīng)濾波器

最陡下降法要求知道性能曲面上各點(diǎn)的梯度，而實(shí)際中梯度是未知的。LMS算法要求輸入信號(hào)和期望信號(hào)都是平穩(wěn)的，或者要求輸入和期望信號(hào)的統(tǒng)計(jì)特性在較長(zhǎng)時(shí)間內(nèi)基本保持不變或變化緩慢。但是，實(shí)際中遇到的信號(hào)不可能滿足這種要求。對(duì)于非平穩(wěn)信號(hào)的自適應(yīng)處理，最合適的方法是采用最小二乘自適應(yīng)濾波器。設(shè)在當(dāng)前時(shí)刻n已獲得n個(gè)數(shù)據(jù)，現(xiàn)要用一個(gè)m階FIR濾波器對(duì)數(shù)據(jù)進(jìn)行濾波，是濾波器的輸出成為某個(gè)期望信號(hào)的最小二乘估計(jì)。則濾波器的輸出，即期望信號(hào)的估計(jì)值為：第五十七頁(yè)，共九十二頁(yè)。估計(jì)誤差：估計(jì)誤差的平均加權(quán)：這里，是加權(quán)因子，其值為。對(duì)于越新的數(shù)據(jù)，加權(quán)越重。求和范圍有以下4種不同的情況：（1），計(jì)算全部誤差的平方加權(quán)和。意味著已知數(shù)據(jù)段的前后都添加了零取樣值，這種方法稱為相關(guān)法。（2），計(jì)算前一部分誤差的平方加權(quán)和。意味著只在已知數(shù)據(jù)段的前面添加零取樣值，這種方法稱為前加窗法。第五十八頁(yè)，共九十二頁(yè)。（3），計(jì)算后一部分誤差的平方加權(quán)和。意味著只在已知數(shù)據(jù)段后添加零取樣值，這種方法稱為后加窗法。（4），計(jì)算中間一部分誤差的平方加權(quán)和。意味著在數(shù)據(jù)前后都沒(méi)有添加零取樣值。這種方法稱為協(xié)方差法。若分別定義誤差矢量、期望矢量、權(quán)矢量和數(shù)據(jù)矩陣如下：第五十九頁(yè)，共九十二頁(yè)。則估計(jì)誤差可寫成：估計(jì)誤差的平方加權(quán)可寫成：為簡(jiǎn)化推到，假設(shè)，于是得到：第六十頁(yè)，共九十二頁(yè)。求對(duì)的偏導(dǎo)數(shù)，并令偏導(dǎo)數(shù)為零，得到一個(gè)代數(shù)方程，解此方程得到：上式①②即是最小二乘濾波器的最佳系數(shù)矢量或最佳權(quán)矢量。可得到d(n)的最小二乘估計(jì)為：上式是對(duì)整個(gè)期望矢量的估計(jì)，而不僅僅是對(duì)其中一個(gè)分量d(n)的估計(jì)。第六十一頁(yè)，共九十二頁(yè)。2.投影矩陣和正交投影矩陣上式表明：d(n)在上的投影是，這個(gè)投影的計(jì)算方法是用一個(gè)矩陣左乘矢量d(n)，表示為：其中：上式簡(jiǎn)稱為的投影矩陣。得到誤差矢量：稱為對(duì)的正交投影矩陣第六十二頁(yè)，共九十二頁(yè)。3.15最小二乘格形自適應(yīng)算法1.前向預(yù)測(cè)和后向預(yù)測(cè)前向預(yù)測(cè)值：前向預(yù)測(cè)誤差：在前加窗情況下，前向預(yù)測(cè)誤差平方和為：第六十三頁(yè)，共九十二頁(yè)。令m階前向預(yù)測(cè)誤差矢量、當(dāng)前數(shù)據(jù)矢量x(n)、前向預(yù)測(cè)系數(shù)矢量以及數(shù)據(jù)矩陣分別為：于是，有：第六十四頁(yè)，共九十二頁(yè)。根據(jù)矢量空間的概念，由的列矢量對(duì)x(n)所作的最小二乘（最佳）前向預(yù)測(cè)是x(n)在上的投影，即式中，是的投影矩陣，有m階前向預(yù)測(cè)誤差矢量是x(n)對(duì)投影補(bǔ)

其中是的正交投影矩陣。第六十五頁(yè)，共九十二頁(yè)。后向預(yù)測(cè)值：后向預(yù)測(cè)誤差值：令m階后向預(yù)測(cè)誤差矢量、后向預(yù)測(cè)矢量，后向預(yù)測(cè)系數(shù)矢量以及數(shù)據(jù)矩陣分別為:第六十六頁(yè)，共九十二頁(yè)。則有：由矢量空間的概念，有：第六十七頁(yè)，共九十二頁(yè)。

預(yù)測(cè)誤差矢量的范數(shù)的平方即預(yù)測(cè)誤差功率，稱為預(yù)測(cè)誤差剩余。前向和后向預(yù)測(cè)誤差剩余分別定義為：第六十八頁(yè)，共九十二頁(yè)。2.預(yù)測(cè)誤差濾波器的格型結(jié)構(gòu)m+1階前向預(yù)測(cè)誤差：如果把看成是將列矢量附加到的最后一列的后面得到的，并令那么有第六十九頁(yè)，共九十二頁(yè)?？傻玫角跋蝾A(yù)測(cè)誤差按階遞推計(jì)算公式：同理，可得到后向預(yù)測(cè)誤差的階更新公式：第七十頁(yè)，共九十二頁(yè)。3.LSL自適應(yīng)算法LSL自適應(yīng)算法流程如下：（1）初始化（2）迭代計(jì)算（按時(shí)間n=1,2,…)第七十一頁(yè)，共九十二頁(yè)。（3）迭代計(jì)算（按階m=0,1,…,M-1）

同階的嵌套著按時(shí)間進(jìn)行迭代計(jì)算，M是給定的濾波器的階。第七十二頁(yè)，共九十二頁(yè)。4.LSL自適應(yīng)算法的性能一個(gè)2階自回歸隨機(jī)過(guò)程，信號(hào)模型為：采用LSL自適應(yīng)濾波器作為預(yù)測(cè)器，得到對(duì)信號(hào)模型的兩個(gè)參數(shù)的估計(jì)值：結(jié)論：LSL算法很明顯地比LMS算法收斂得更快。采用LSL自適應(yīng)算法時(shí)，前向和后向預(yù)測(cè)誤差剩余初始值的選取，對(duì)于模型參數(shù)的收斂性能是有影響的。第七十三頁(yè)，共九十二頁(yè)。3.16快速橫向?yàn)V波自適應(yīng)算法

快速橫向?yàn)V波自適應(yīng)算法通過(guò)引入橫向?yàn)V波算子，并利用該算子的時(shí)間更新關(guān)系來(lái)實(shí)現(xiàn)有關(guān)的4個(gè)濾波器的參數(shù)的更新，從而達(dá)到橫向自適應(yīng)濾波器參數(shù)更新的目的。1.FTF算法中涉及到的4個(gè)橫向?yàn)V波器算法。（1）最小二乘橫向?yàn)V波器稱為橫向?yàn)V波算子第七十四頁(yè)，共九十二頁(yè)。（2）前向預(yù)測(cè)誤差濾波器是最小二乘前向預(yù)測(cè)系數(shù)矢量（3）后向預(yù)測(cè)誤差濾波器是最小二乘后向預(yù)測(cè)系數(shù)矢量（4）增益濾波器是增益濾波器的權(quán)矢量矢量第七十五頁(yè)，共九十二頁(yè)。2.橫向?yàn)V波算子的時(shí)間更新橫向?yàn)V波算子的時(shí)間更新關(guān)系式：橫向?yàn)V波算子的時(shí)間更新關(guān)系式：第七十六頁(yè)，共九十二頁(yè)。3.FTF自適應(yīng)算法中的時(shí)間更新關(guān)系（1）最小二乘橫向?yàn)V波器權(quán)矢量的時(shí)間更新（2）增益濾波器權(quán)矢量的時(shí)間更新第七十七頁(yè)，共九十二頁(yè)。（3）前后預(yù)測(cè)誤差濾波器參量的時(shí)間更新（4）后向預(yù)測(cè)誤差濾波器參量的時(shí)間更新第七十八頁(yè)，共九十二頁(yè)。（5）角參量的時(shí)間更新4.FTF自適應(yīng)算法流程（1）初始化：第七十九頁(yè)，共九十二頁(yè)。（2）迭代計(jì)算（按時(shí)間n=1,2…)前向預(yù)測(cè)誤差濾波器參數(shù)N+1階角參量N+1階增益濾波器矢量第八十頁(yè)，共九十二頁(yè)。d.后向預(yù)測(cè)誤差濾波器參量、N階角參量和N階增益濾波器權(quán)矢量（注意：這些參數(shù)的計(jì)算是交叉進(jìn)行的）e.最小二乘橫向自適應(yīng)濾波器參數(shù)第八十一頁(yè)，共九十二頁(yè)。5.FTF自適應(yīng)算法的性能與LMS算法相比較，F(xiàn)TF算法的突出優(yōu)點(diǎn)是它的收斂速度對(duì)數(shù)據(jù)的相關(guān)性不敏感。FTF不僅收斂速度較快，而且收斂性能對(duì)初始參數(shù)（即前向和后向預(yù)測(cè)誤差剩余初始值）的選取不敏感。6.FTF算法計(jì)算量的進(jìn)一步減少用角參量對(duì)增益矢量進(jìn)行歸一化，計(jì)算量可進(jìn)一步減少。定義歸一化增益矢量第八十二頁(yè)，共九十二頁(yè)。歸一化增益矢量的更新角參量的時(shí)間更新第八十三頁(yè)，共九十二頁(yè)。其中通過(guò)下式計(jì)算節(jié)約了很大的計(jì)算量采用歸一化增益矢量的FTF自適應(yīng)算法的計(jì)算流程如下：（1）初始化（2）迭代計(jì)算（按時(shí)間n=1,2,…)a.前向預(yù)測(cè)誤差濾波器參數(shù)第八十四頁(yè)，共九十二頁(yè)。b.