第六章維納濾波器和卡爾曼濾波器

第６章維納濾波器和卡爾曼濾波器6.1離散維納濾波器的時域解6.2離散維納濾波器的域解6.3維納預測器6.4卡爾曼（Kalman）濾波器在實際應用中，有用信號往往會受到一些外界干擾，我們實際觀察到的是受到噪聲干擾了的信號。如何最大限度地抑制噪聲，并將有用信號分離出來，是信號處理中經常遇到的問題。例如，在傳輸或測量信號時，由于信道噪聲或者測量噪聲，接收或測量到的數(shù)據(jù)將與不同。設噪聲是加性的，即如果和的頻譜是分離的，那么設計一個具有恰當頻率特性的線性濾波器即能有效地抑制噪聲并提取信號，這就是前面經典數(shù)字信號處理理論中詳細討論過的數(shù)字濾波器的設計問題。但是如果和的頻譜互相重疊，或者和是隨機信號，它們的頻譜根本就不存在，問題就要復雜得多，這就是本章要討論的內容。

為了從中提取或恢復原始信號，需要設計一種濾波器，對進行濾波，使濾波器的輸出盡可能地逼近，成為的最佳估計，即。這種濾波器稱為最佳濾波器。一般而言，這是信號的最佳估計問題。所謂最佳，使以一定的準則來衡量的。通常有四種準則：最大后驗準則；最大似然準則；均方準則；線性均方準則。采用不同的最佳準則，估計得到的結果可能不同。6.1離散維納濾波器的時域解維納濾波器和卡爾曼濾波豈都是最佳濾波器，其最優(yōu)準則是最小均方誤差準則。維納濾波器是根據(jù)當前和過去的觀察值對當前的信號值進行估計，這是一個估計問題，估計問題按照不同情況可以分為以下三種。濾波（或過濾）。根據(jù)當前和過去的觀察值對當前的信號值進行估計，使。預測（或外推）。根據(jù)過去的觀察值估計當前或未來的信號值，使，其中。內插（或平滑）。根據(jù)過去的觀察值過去的信號值，使，其中。

6.1.1維納濾波器的時域求解方法維納濾波器最初是一個線性時不變系統(tǒng)，最初是對連續(xù)時間信號以模擬濾波器的形式出現(xiàn)的，在這里我們只討論離散維納濾波器。設維納濾波器的單位脈沖響應為，其輸入信號為，輸出信號。如圖6-1所示。一個因果系統(tǒng)，必須是一個因果序列，即由圖6-1可知（6-1）是對信號的最佳估計，用表示估計誤差，則。可以看成是均值為零的隨機變量，其方差就是估計的均方誤差。設計維納濾波器過程就是尋求使(6-2)最小的濾波器單位脈沖響應或系統(tǒng)函數(shù)的表達式。為了討論方便，令則（6-3）式（6-1）可寫成

（6-4）于是（6-5）

現(xiàn)在的問題是需要求的使最小的，將上式對各求偏導數(shù)，并令其等于零，得（6-6）即（6-7）上式說明，均方誤差達到最小值的充要條件是誤差信號與任一進入估計的輸入信號正交，這就是數(shù)學上的正交性原理。也就是說滿足正交性原理與滿足最小均方誤差的條件是等價的。將式（6-3）代回式（6-6）中，得（6-8）即（6-9）或（6-10）

上式稱為維納-霍夫（Wiener-Hopf）方程。從維納-霍夫方程中解出，它就是在最小均方誤差下的最佳。設是一個長度為N因果序列（即是一個長度N為的FIR濾波器），維納-霍夫方程表述為（6-11）分別將代入式（6-11），得

（6-12）定義式（6-12）可以寫成矩陣形式，即（6-13）對上式求逆。得（6-14）上式表明已知期望信號與觀測信號的互相關函數(shù)及觀測信號的自相關函數(shù)時，可以通過矩陣求逆運算，得到維納濾波器的最佳解。但是，直接從時域求解因果維納濾波器，當選擇的濾波器長度N較大時，計算工作量很大，需要計算機的存儲量也很大。如果在計算過程中想增加的長度N來提高逼近程度時，就需要的新N的基礎上重新進行計算。因此，最小均方誤差下的維納濾波器，在時域里求解其FIR濾波器并不是一個有效的方法。6.1.2FIR維納濾波器的均方誤差下面讓我們來研究FIR維納濾波器的最小均方誤差。由式（6-2）得

（6-15）可以看出，均方誤差與濾波器的單位脈沖響應是一個二次函數(shù)關系。由于單位脈沖響應是，為N維向量，因此均方誤差是一個超橢圓拋物形曲面，該曲面有極小點存在。當濾波器工作于最佳狀態(tài)時，均方誤差取得最小值。將式（6-14）代入式（6-15），得到最小均方誤差為（6-16）

6.2離散維納濾波器的z域解對于非因果維納濾波器，有-（6-17）在最小均方誤差準則下，有（6-18）對上式兩邊進行變換，得（6-19）所以，最佳濾波器系統(tǒng)函數(shù)為（6-20）因

假設信號與噪聲不相關，即，則式（6-20）可寫成（6-21）將代入上式，得非因果的維納濾波器的頻率特性為可見，決定于信號與噪聲的功率譜密度，當噪聲為零時，，，信號全部通過；當信號為零時，，，噪聲被全部抑制掉，因此維納濾波器確有濾出噪聲的能力。非因果維納濾波器的幅頻特性如圖6-2所示。

（6-22）當要求維納濾波器的單位樣本響應是一個物理可實現(xiàn)的因果序列時，所得到的維納-霍夫方程式（6-11）將附有的約束條件。在此約束條件下，式（6-11）不能直接轉入z域求解。這使得在要求滿足因果條件下，求解維納-霍夫方程成為一個非常困難的問題。下面我們將利用把進行白化的方法來求維納-霍夫方程的域解。為此，先引入信號模型的概念。任何具有有理功率譜密度的隨機信號都可以看成是由一白色噪聲激勵一物理網絡所形成。也就是說對于隨機信號，我們可以看成是由白噪聲通過一網絡所形成，如圖6-3（a）所示。

白噪聲的自相關函數(shù)為

由圖6-3可知，的功率譜密度可表示為（6-23）

或（6-24）由于是一個最小相移系統(tǒng)的系統(tǒng)函數(shù)，故也是一個因果的最小相移系統(tǒng)，因此可用式（6-24）對進行白化。如圖6-3（b）所示。設計維納濾波器的過程就是求在最小條件下的最佳。我們將分解成兩個串聯(lián)的濾波器和，如圖6-4所示。

因此，維納濾波器的系統(tǒng)函數(shù)的求解轉化為的求解。即（6-25）6.2.1非因果維納濾波器的求解由圖6-4可知（6-26）（6-27）對上式逐項求均值

代入原式得（6-28）可以看出，只有均方誤差的第二項與有關，要使均方誤差為最小，當且僅當（6-29）因此可得的最佳值為（6-30）其z變換為（6-31）

這樣，非因果維納濾波器的最佳解為（6-32）由于（6-33）所以（6-34）與前面所得結果相同。假定信號與噪聲不相關，即當時，有

代入式（6-34），得（6-35）

將代入上式，得（6-36）

下面我們來推導非因果維納濾波器的最小均方誤差。由式（6-28）可得（6-37）利用帕塞伐爾（Parseval）定理可得（6-38）上式第一項是因為因而有上式第二項按帕塞伐爾定理

當時，有將式（6-33）代入式（6-38）得考慮到式（6-34），有（6-39）當信號與噪聲不相關時，考慮到，可得

（6-40）去單位圓為積分圍線，以代入上式得（6-41）由上式可以看出，維納濾波器的最小均方誤差即與輸入信號的功率譜有關，也與噪聲的功率頻譜有關，僅當信號與噪聲的功率譜不相覆蓋時方為零。

6.2.2因果維納濾波器的求解對于因果維納濾波器，要求于是有(6-42)均方誤差為（6-43）要使均方誤差最小，必須有（6-44）

令

有（6-45）又由式（6-33）得到（6-46）所以（6-47）因果維納濾波器的最小均方誤差為利用帕塞伐爾定理，可得（6-48）

比較式（6-39）和式（6-48）因果維納濾波器的最小均方誤差和非因果維納濾波的最小均方誤差具有相同的形式，但二者的計算的表達式是不同的。例6-1已知，為希望得到的信號，為白噪聲，且

求。解：由于噪聲與信號不相關，得到，所以有

又因為，考慮到為因果穩(wěn)定的系統(tǒng)，由單位圓內的零極點組成，由單位圓外的零極點組成，比較上兩式得

1.因果情況

由于，得

令

的極點為0.8和2，考慮到因果性和穩(wěn)定性，的收斂域必包含單位圓，取積分圍線C為單位圓，因C內極點為0.8，根據(jù)留數(shù)定理，得所以利用式（6-48），考慮到，得

取單位圓為積分圍線，上式等于單位圓內的極點的留數(shù)之和，即

濾波前的均方誤差為

所以，通過維納濾波器后均方誤差下降了8/3倍。2.非因果情況令

取單位圓為積分圍線，極點為0.8和0.5，利用留數(shù)定理，得可見，非因果維納濾波器的均方誤差（3/8）要比因果維納濾波器的均方誤差（3/10）要小。

6.3維納預測器維納濾波器是用觀察到的的當前和全部過去數(shù)據(jù)來估計當前值。維納預測器是用觀察到的全部過去數(shù)據(jù)來估計當前或將來的值。使估計值與真值的均方誤差最小。我們知道隨機信號或的任一時刻的取值都是具有偶然性的，即使已知以前它們的全部取值，也不能精確確定當前的取值，更不能確定以后某個時刻的取值。但是我們可以利用數(shù)據(jù)前后的關聯(lián)性，或者利用它們的某些統(tǒng)計特性來估計或預測當前和以后最可能的取值。對于隨機信號，我們可以從它的自相關函數(shù)了解它在任意兩點間的相關的程度，當我們已知其自相關函數(shù)以及在一個點及其全部過去的取值就可以估計或預測它在將來某一點的取值。但式這種預測是利用隨機信號的統(tǒng)計規(guī)律作為依據(jù)的，因此是不能達到精確預測的，也就是說會存在一定的預測誤差。維納預測器是以均方誤差為最小作為預測最優(yōu)的標準。6.3.1維納預測器的計算公式圖6-5表示一個預測器的輸入輸出信號，其中是希望得到的輸出即，而實際得到的輸出的估計值。利用前面維納濾波器估計當前值的結果，我們很容易推廣它們用于預測，得到預測器的計算公式。主要的討論目標仍是求出——預測器的傳遞函數(shù)，以及——預測的均方誤差。維納濾波器與維納預測器的差別僅僅在于，前者所希望的輸出為，后者為。實際的輸出前者為，后者為。因而對于預測器有 （6-49）設計維納預測器的問題就是求條件下的或的問題。為此，令，得

即 （6-50）或 （6-51）如果我們將所希望的輸出用yd表示，則維納濾波器的，因而有

而維納預測器的，因而有

上式的Z變換為 （6-52）及 （6-53）下面我們仍然分成二種情況：因果的和非因果的維納預測器，分別進行討論。(1)非因果的維納預測器非因果的維納預測器是物理不可實現(xiàn)的系統(tǒng)，但它指出了預測器可能得到的最好結果。借用維納濾波器的計算公式，在這里我們可以將其寫成 （6-54）對于維納濾波器對于維納預測器 (N步預測)最小均方誤差為 （6-55）這里。將式(6-52)和式（6-53）代入（6-54）和式（6-55），得 （6-56） （6-57）(2)因果的維納預測器借用因果的維納濾波器的公式，在這里我們將其寫成

對于維納濾波器，對于維納預測器，故物理可實現(xiàn)的維納預測器的傳遞函數(shù)應為 （6-58）最小均方誤差的公式為

（6-59）將式(6-57)與式(6-59)比較可見，二者具有完全相同的形式，只是它們的有所不同，非因果的應按式(6-56)計算，后者應按式(6-58)計算。

6.3.2純預測器純預測是在情況下對的預測。因此對純預測器，，從而有 （6-60）對于因果系統(tǒng)，有 （6-61）及

根據(jù)帕塞伐爾定理

取得

設是B(z)的逆Z變換，利用上式，得 （6-62）上式說明最小均方誤差將隨著N的增大而增大，即預測的距離越遠，預測誤差越大。

例6-2已知

求(1)使均方誤差最小的 (2)最小均方誤差 解：因為所以

由式(6-61)得因果的維納預測器，應有因為

所以

對只取上式中的部分，得

再回到Z域，得所以 （6-63）預測器如圖6-6所示最小均方誤差為

結果說明N越大，誤差越大，如果則沒有誤差。我們是把看成由白噪聲通過產生的，而

故該信號模型可以用一個一階差分方程來表達

即 （6-64）如圖6-7所示。如圖6-7所示。最佳預測就等于乘以當前的s(n)的取值，即有 （6-65）式(6-65)所示的結果，正是式(6-64)中的差分方程在條件下的解。因為按式(6-64)，有

又 所以 因此，式(6-65)的結果等于認為，因而僅由的慣性就能完全決定估計值。而實際上我們并沒有假設時均為零。這個結果只能說明的影響就統(tǒng)計平均來講等于零。實際上從式可知

的均值等于零，正說明的影響就統(tǒng)計平均來講等于零。因此式(6-65)的結論具有普遍適用性，即對于任何的的純預測問題均可適用。當，我們要估計時，只需要考慮系統(tǒng)的慣性而可認為，這樣估計出來的結果將有最小均方誤差。6.3.3一步線性預測器對于純預測問題，有，于是一步線性預測問題是在給定過去p個樣本基礎上，預測當前值，則這就是一步線性預測公式，并常用下列符號表示 （6-66）式中p為階數(shù)，，于是預測誤差為 （6-67）均方預測誤差為為了求得最小均方誤差下的，令即 （6-68）或 （6-69）由式(6-69)可得于是

（6-70）用自相關函數(shù)表示，式(6-68)與式(6-70)變?yōu)? （6-71） （6-72）將上二式寫成矩陣形式，并考慮到得 （6-73）式(6-73)就是有名的Yule-Walker方程，它是由個方程組成的，當已知，時，由(6-73)可以解得這個未知數(shù)。該方程與AR模型功率譜估計得到的方程式（5-28）是一致的，可以利用AR模型參數(shù)的求解方法求解，例如Levinson-Durbin算法。

6.4卡爾曼（Kalman）濾波器維納濾波器與卡爾曼濾波器都解決以最小均方誤差為準則的最佳線性過濾問題，但是，它們解決的方法有很大區(qū)別。維納濾波是根據(jù)全部過去的觀察數(shù)據(jù)來估計信號的當前值，它的解是以均方誤差最小條件下所得到的系統(tǒng)的傳遞函數(shù)或單位樣本響應的形式給出的。而卡爾曼濾波則不需要全部過去的觀察數(shù)據(jù)，它只是根據(jù)前一個估計值和最近一個觀察數(shù)據(jù)來估計信號的當前值。它是用狀態(tài)方程和遞推方法進行估計的，而它的解是以估計值(常常是狀態(tài)變量的估計值)的形式給出的。從信號模型的建立來看，維納濾波的信號模型是從信號與噪聲的相關函數(shù)得到，而卡爾曼濾波的信號模型則是從狀態(tài)方程和量測方程得到。為了得到卡爾曼過濾的信號模型，必須首先討論狀態(tài)方程和量測方程。

6.4.1離散狀態(tài)方程及其解離散狀態(tài)方程的基本形式是 （6-74）其中代表一組狀態(tài)變量組成的多維狀態(tài)矢量，而A，B都是矩陣，它們是由系統(tǒng)的拓撲結構、元件性質和數(shù)值所確定的。是激勵信號。狀態(tài)方程是多維一階的差分方程。當已知初始狀態(tài)，可用遞推的方法得到它的解：

6-75）

其中第一項只與系統(tǒng)本身的特性A和初始狀態(tài)有關，與激勵無關，稱為零輸入響應；第二項只與激勵和系統(tǒng)本身特性有關，而與初始狀態(tài)無關，稱為零狀態(tài)響應。

令。當時，。由此可見，通過可將時的狀態(tài)過渡到任何的狀態(tài)。故稱為過渡矩陣或轉移矩陣。將代入式(6-75)，得 （6-76）這就是式(6-74)的解。當已知初始狀態(tài)、激勵以及A與B矩陣，即可求得。如果用表示起始點的值，則上式中的，即表明從初始狀態(tài)開始遞推。如果，則從開始遞推，從而，有 （6-77）這里代表從狀態(tài)到狀態(tài)的過渡矩陣。如果，就得到一步遞推公式：

由于，代入上式，得 （6-78）其中，因此式(6-78)就是式(6-74)。式(6-78)說明在k時刻的狀態(tài)可以由它前一個時刻的狀態(tài)來求得，即時刻以前各狀態(tài)的影響都已記憶在中了。如果激勵源為白噪聲，即同時系統(tǒng)可以是時變的：，則式(6-78)可寫成

為了書寫方便，將變量k放在下標表示，則上式成為 （6-79）式(6-79)就是我們今后要用到的一步遞推的狀態(tài)方程。

6.4.2量測方程卡爾曼濾波是根據(jù)系統(tǒng)的量測數(shù)據(jù)(或稱觀察數(shù)據(jù))，對系統(tǒng)的運動進行估計。所以除了狀態(tài)方程以外，還需要量測方程。量測系統(tǒng)可以是時不變系統(tǒng)，也可以是時變系統(tǒng)。設量測數(shù)據(jù)和系統(tǒng)的各狀態(tài)變量間作線性關系。如果用表示量測或觀察到的信號矢量序列，則它與狀態(tài)變量的關系可以寫成 （6-80）這個包括信號的真值和噪聲，其中是觀察或量測時引入的誤差，它是一個代表測量誤差的隨機向量。一般可以假定為均值為零的正態(tài)白色噪聲。顯然，的維數(shù)不一定與的維數(shù)相等，因為不一定能量測到所有需要的狀態(tài)參數(shù)。稱為量測矩陣，它是一個的矩陣(m為的維數(shù)，n為的維數(shù))。的維數(shù)當然應該和的維數(shù)一致。

總上，我們觀察或量測到的信號中包括信號真值與噪聲，即 （6-81）實際上式(6-81)與維納濾波中公式

在概念上是一回事，式(6-81)中的信號真值是一個多維矢量，它是狀態(tài)變量各分量的線性組合： （6-82）并且把觀察到的中的噪聲分量看作測量誤差。在維納濾波中我們希望看到的估計值與真值有最小均方誤差。在卡爾曼濾波中我們希望得到的估計矢量與有最小均方誤差。有了也就得到了。這里信號所以要表示為狀態(tài)變量的線性組合，是因為把待求的量表示為狀態(tài)方程中的狀態(tài)變量的線性組合有很多優(yōu)點。由于狀態(tài)方程是一個一階多維的方程，可以用一步遞推法求解，并且變量可以是多維的?？柭鼮V波相對于維納濾波計算上的很多優(yōu)點，正是由于它利用了狀態(tài)方程得到的。由以上的討論可見，我們對所謂量測方程的概念也并不陌生。于是，對于卡爾曼濾波為什么要用量測方程與狀態(tài)方程作為基礎也不難理解。

此時卡爾曼濾波的量測方程與維納濾波的信號方程完全相同，只是在符號表示上有所不同。實際上，卡爾曼濾波公式中的就是維納濾波公式中的，它們都代表觀察到的數(shù)據(jù)。

由量測方程與狀態(tài)方程，即式(6-79)與(6-80)，可以得到卡爾曼濾波在多維時的信號模型如圖6-8(a)所示；圖6-8(b)表示一維時的信號模型。在圖(b)中已將圖(a)中的虛線框用傳遞函數(shù)A(z)表示。圖(a)中的雙線箭頭代表多維矢量的傳輸方向。例6-3仍沿用前面維納濾波中的例子，設，已知

求卡爾曼信號模型中的與。解：因為所以

即 變換到時域： 所以又，因為，所以。

6.4.3卡爾曼濾波器的遞推算法卡爾曼濾波要解決的問題是要尋找在最小均方誤差下的估計值。它的特點是可以用遞推方法計算。具體地講，設已知動態(tài)系統(tǒng)的狀態(tài)方程和量測方程，它們分別為 （6-83） （6-84）式中：--維矩陣；--維矩陣，稱為量測矩陣；---維狀態(tài)向量；--維觀測向量；--維均值為零的白噪聲向量，過程噪聲；--維均值為零的白噪聲向量，量測噪聲。假定：（1）與都是均值為零的正態(tài)白噪聲，且與互不相關，即這里；--對稱非負定陣--對稱正定陣（2）初始狀態(tài)為隨機向量，它與、獨立，其統(tǒng)計特性是給定的從狀態(tài)方程及量測方程可知與是已知的，是測量到的數(shù)據(jù)，當然也是已知的。問題是如何從及來求得。如果沒有與，則從式(6-83)及式(6-84)可以立即求得，也就不存在估計的問題。估計問題的出現(xiàn)正是因為信號與噪聲迭加在一起，而要估計其中信號的真值。如果暫時不考慮與，此時按式(6-81)與(6-82)得到的與分別用與表示，則有 （6-85） （6-86）這里，為的估計值。我們是可以測量(或觀察)到“實際觀察值”，再將與的實際觀察值作比較，它們的差用表示，有 （6-87）偏離而產生，顯然是由于忽略了與所引起。也就是說，隱含了與的信息，或者說隱含了當前的(最新的)觀察值的信息。如果我們將乘以某一

來修正原先的值，會得到更好地估計 （6-88）上式中的變量是多維的，因此，與真值的均方誤差是一個誤差方陣。如果我們能求得這個誤差陣最小條件下的

，然后將此代入式(6-88)，則所得到的就是對的線性最優(yōu)估計?，F(xiàn)在來求均方誤差陣最小條件下的

。用Pk表示均方誤差陣，則有(見第一章)： （6-89）并令 （6-90）式(6-89)中， （6-91）假設都是均值為零的正態(tài)白噪聲，且都是均值為零的正態(tài)白噪聲，且互不相關，即 （6-92） （6-93）這里

在下面的推導中并設初始狀態(tài)與均不相關。上面這些假設是符合一般實際情況的。為了求得Pk作為Hk的函數(shù)，先讓我們求及。將式(6-83)與(6-84)代入式(6-88)，得 （6-94） （6-95）將式(6-95)以及前面這些假設式(6-90)，(6-91))代入式(6-89)，得均方誤差陣Pk為

（6-96）在這九項中

又由于①互不相關，即

因此式(6-96)中第八項與第九項均為零。②按式(6-75)，得

由此可見，而與不相關，故有

按式(6-94)，得

由此可見，，而與及不相關，故有

因此式(6-96)中的第三項、第四項、第六項與第七項均為零。綜上，式(6-96)中只有第一項，第二項和第五項不為零，即 （6-97）又因 （6-98） 由此可見，，而與及不相關，故有

因此式(6-96)中的第三項、第四項、第六項與第七項均為零。綜上，式(6-96)中只有第一項，第二項和第五項不為零，即 （6-97）又因 （6-98） 把代入式(6-96)，得 （6-99）由于是正定陣，可寫成

令 又由于 所以 于是 （6-100）

上式第二項與第三項均與Hk無關，而第一項為半正定矩陣，因此使Pk最小的Hk應滿足條件：

即 （6-101）將式(6-101)代入式(6-100)，得最小均方誤差陣為 （6-102）將式(6-101)代入式(6-88)，即可得均方誤差陣最小條件下的的遞推公式。綜上所述，我們得到下列一組卡爾曼一步遞推公式： （6-103） （6-104） （6-105） （6-106）由式(6-103)可見，當我們已知Hk，利用前一個的估計值與當前的量測值，就可以求得。如果Hk是按式(6-104)計算的，即滿足最小均方誤差陣的Hk，則將此Hk代入式(6-103)，就得到我們所要求的在最小均方誤差陣條件下的。如果初始狀態(tài)的系統(tǒng)特性已知，并令

又 將P0代入式(6-105)可求得，將代入式(6-104)可求得H1，將此H1代入式(6-103)可求得在最小均方誤差條件下的，同時將代入式(6-106)又可求得P1；由P1又可求得，由又可求得H2，由H2又可求得，同時由H2與又可求得P2……；以此類推，這