自適應(yīng)信號(hào)處理 課件 ch06線性最小二乘濾波

自適應(yīng)信號(hào)處理線性最小二乘濾波第六章新工科建設(shè)：電子信息類(lèi)系列教材01問(wèn)題的提出問(wèn)題的提出前面幾章討論了最小均方誤差準(zhǔn)則的自適應(yīng)算法。本章開(kāi)始將討論最小二乘準(zhǔn)則下的最佳線性濾波問(wèn)題及其相關(guān)的自適應(yīng)算法。最小均方誤差準(zhǔn)則是在統(tǒng)計(jì)平均的意義下使濾波器輸岀與期望響應(yīng)誤差的平方和最小，在平穩(wěn)的環(huán)境下所得的濾波器是統(tǒng)計(jì)意義下最優(yōu)的。而最小二乘準(zhǔn)則是對(duì)一組數(shù)據(jù)而言的，其使濾波器輸出與期望響應(yīng)誤差的平方和最小。因此，最小均方誤差準(zhǔn)則得到的是對(duì)具有相同統(tǒng)計(jì)特性的一類(lèi)數(shù)據(jù)的最佳濾波器，而最小二乘準(zhǔn)則得到的是對(duì)一組給定數(shù)據(jù)的最佳濾波器。對(duì)同一類(lèi)數(shù)據(jù)來(lái)說(shuō)，最小均方誤差準(zhǔn)則對(duì)不同的數(shù)據(jù)組將得到同樣的最佳濾波器，而最小二乘準(zhǔn)則對(duì)不同的數(shù)據(jù)組將得到不同的最佳濾波器。因此可以說(shuō)最小二乘濾波器具有確定性。本章將討論最小二乘準(zhǔn)則下的最佳線性濾波器及其向量空間分析法。問(wèn)題的提出問(wèn)題的提出問(wèn)題的提出式中的求和范圍有以下4種不同情況。(1)計(jì)算全部誤差的平方加權(quán)和。這就意味著在已知數(shù)據(jù)段的前、后都添加了零取樣值，這種方法稱(chēng)為自相關(guān)法。(2)計(jì)算前一部分誤差的平方加權(quán)和。這就意味著只在已知數(shù)據(jù)段的前面添加了零取樣值，這種方法稱(chēng)為前加窗法。(3)計(jì)算后一部分誤差的平方加權(quán)和。這就意味著只在已知數(shù)據(jù)段的后面添加了零取樣值，這種方法稱(chēng)為后加窗法。(4)計(jì)算中間一部分誤差的平方加權(quán)和。這就意味著在已知數(shù)據(jù)段的前、后都沒(méi)有添加零取樣值。這種方法稱(chēng)為協(xié)方差法。問(wèn)題的提出02線性最小二乘濾波的正則方程線性最小二乘濾波的正則方程1正則方程的推導(dǎo)下面以前加窗法為例來(lái)推導(dǎo)線性最小二乘濾波所滿足的基本方程。對(duì)于上一節(jié)提出的問(wèn)題，我們知道要解決的問(wèn)題是確定滿足最小二乘準(zhǔn)則的橫向?yàn)V波器的最佳抽頭權(quán)值。對(duì)于前加窗法來(lái)說(shuō)，線性最小二乘濾波的代價(jià)函數(shù)為線性最小二乘濾波的正則方程1正則方程的推導(dǎo)線性最小二乘濾波的正則方程1正則方程的推導(dǎo)線性最小二乘濾波的正則方程2正則方程的矩陣形式線性最小二乘濾波的正則方程3根據(jù)數(shù)據(jù)矩陣構(gòu)建的正則方程線性最小二乘濾波的正則方程3根據(jù)數(shù)據(jù)矩陣構(gòu)建的正則方程線性最小二乘濾波的正則方程3根據(jù)數(shù)據(jù)矩陣構(gòu)建的正則方程03線性最小二乘濾波的性能線性最小二乘濾波的性能1正交原理的推論線性最小二乘濾波的性能1正交原理的推論線性最小二乘濾波的性能2最小平方和誤差線性最小二乘濾波的性能2最小平方和誤差線性最小二乘濾波的性能2最小平方和誤差04線性最小二乘濾波的向量空間法分析線性最小二乘濾波的向量空間法分析1向量空間理論在自適應(yīng)信號(hào)處理的研究中，向量空間相關(guān)理論最早是由LeeMorfandFriedlander（1981年）提出的。向量空間法提供了分析某些自適應(yīng)算法（如RLS算法、LSL算法及FTF算法）的有力的數(shù)學(xué)工具。本節(jié)將介紹線性向量空間的一些基本概念，并利用向量空間法來(lái)認(rèn)識(shí)線性最小二乘濾波器，同時(shí)為后續(xù)最小二乘自適應(yīng)算法的推導(dǎo)奠定基礎(chǔ)。線性最小二乘濾波的向量空間法分析1向量空間理論線性最小二乘濾波的向量空間法分析1向量空間理論線性最小二乘濾波的向量空間法分析1向量空間理論線性最小二乘濾波的向量空間法分析2線性空間的子空間線性最小二乘濾波的向量空間法分析3投影矩陣線性最小二乘濾波的向量空間法分析4線性最小二乘濾波的向量空間解釋前面介紹了M階線性橫向?yàn)V波器利用N個(gè)數(shù)據(jù)u(l)，u(2)。。。。(N)對(duì)期望信號(hào)d(1)，d(2)。。。。d(N)進(jìn)行最小二乘估計(jì)的基本問(wèn)題。下面將討論利用向量空間的概念如何來(lái)進(jìn)一步認(rèn)識(shí)線性最小二乘濾波。為了表征數(shù)據(jù)的擴(kuò)充及濾波器的階遞推，這里將可變數(shù)據(jù)長(zhǎng)度用n表示，將濾波器的階數(shù)用m表示則相應(yīng)的線性最小二乘估計(jì)問(wèn)題轉(zhuǎn)化為利用已測(cè)數(shù)據(jù)u(1)，u(2)。。。。。(n)對(duì)期望信號(hào)d(1)d(2)。。。。。d(n)進(jìn)行最小二乘估計(jì)的問(wèn)題。線性最小二乘濾波的向量空間法分析4線性最小二乘濾波的向量空間解釋線性最小二乘濾波的向量空間法分析4線性最小二乘濾波的向量空間解釋線性最小二乘濾波的向量空間法分析4線性最小二乘濾波的向量空間解釋線性最小二乘濾波的向量空間法分析4線性最小二乘濾波的向量空間解釋線性最小二乘濾波的向量空間法分析5線性最小二乘數(shù)據(jù)擴(kuò)充更新關(guān)系最小二乘格型濾波器和快速橫向?yàn)V波器等都需要在新的數(shù)據(jù)到來(lái)時(shí)進(jìn)行更新。本小節(jié)利用向量空間的基本知識(shí)推導(dǎo)最小二乘數(shù)據(jù)向量空間擴(kuò)充更新的通用公式。這種更新的通用公式共有三組，分別為投影矩陣、投影向量和向量?jī)?nèi)積隨著數(shù)據(jù)向量空間的擴(kuò)充所得的新量與相應(yīng)的舊量之間的相互關(guān)系式。靈活地應(yīng)用這種更新的通用公式，就能方便地得到最小二乘遞推中各種參量的更新關(guān)系。線性最小二乘濾波的向量空間法分析5線性最小二乘數(shù)據(jù)擴(kuò)充更新關(guān)系設(shè)目前的數(shù)據(jù)向量空間為（U），與此相應(yīng)的投影矩陣為Pu，正交投影矩陣為Pu1。現(xiàn)在假設(shè)有一個(gè)新的數(shù)據(jù)向量u加入原數(shù)據(jù)向量空間U的基底向量組中。一般地，向量將提供某些新的信息，它們是在u)的基底向量組中沒(méi)有被包含的。由于數(shù)據(jù)子空間從i變化到U，因此需要尋找新的投影矩陣P和正交投影矩陣P，以代替舊的投影矩陣P和正交投影矩陣P。這種更新關(guān)系很容易利用正交向量空間的概念被導(dǎo)出。在一般情況下，向量本身并不能保證是與iu正交的。但是可以利用向量u來(lái)構(gòu)造一個(gè)正交的向量w=P，則U與w構(gòu)成的子空間uw=un。線性最小二乘濾波的向量空間法分析5線性最小二乘數(shù)據(jù)擴(kuò)充更新關(guān)系線性最小二乘濾波的向量空間法分析5線性最小二乘數(shù)據(jù)擴(kuò)充更新關(guān)系線性最小二乘濾波的向量空間法分析6線性最小二乘時(shí)間更新由于最小二乘濾波器根據(jù)到當(dāng)前時(shí)刻為止的所有輸入數(shù)據(jù)，尋求使累計(jì)平方誤差最小的最佳濾波器權(quán)向量，因此隨著新數(shù)據(jù)的不斷到來(lái)，最小二乘濾波器的權(quán)向量應(yīng)及時(shí)進(jìn)行調(diào)整更新以保持最佳狀態(tài)。為此，相關(guān)的矩陣、向量及標(biāo)量必須隨著時(shí)間進(jìn)行更新，其中投影矩