最優(yōu)估計與濾波課件

最優(yōu)估計與濾波教材-----無參考書-----1、最優(yōu)估計及其應用

賈沛璋、朱征桃編著科學出版社1984年2、現(xiàn)代控制理論基礎謝緒愷編著遼寧人民出版社1980年

3、隨機信號處理與控制基礎羅傳翼編著化工出版社2002年4、隨機信號估計與系統(tǒng)控制徐壽寧編著北京工業(yè)大學出版社2001年最優(yōu)估計與濾波教材-----無1第一章緒論二、本課程的基本要求一、本課程的任務和意義1、首先解決系統(tǒng)控制的數(shù)學模型問題(參數(shù)估計)2、解決隨機系統(tǒng)最優(yōu)控制中的狀態(tài)估計問題

總學時36學時，實驗10學時。1、要求能夠實時采集一個系統(tǒng)的輸入輸出數(shù)據(jù)，并能夠利用離線和在線的算法估計系統(tǒng)參數(shù)。2、利用MATLAB軟件進行卡爾曼濾波的仿真實驗。第一章緒論二、本課程的基本要求一、本課程的任務和2一、系統(tǒng)控制的數(shù)學模型問題系統(tǒng)辨識法機理推導法優(yōu)點：參數(shù)具有物理意義缺點：數(shù)學模型復雜(高階)，在對系統(tǒng)機理了解不多的情況下,不適用優(yōu)點：數(shù)學模型簡單實用，不需要對系統(tǒng)機理了解缺點：參數(shù)不具有物理意義一、系統(tǒng)控制的數(shù)學模型問題系統(tǒng)辨識法機理推導法優(yōu)點：參數(shù)具有3被測系統(tǒng)估計器等價系統(tǒng)uye_計算機系統(tǒng)辨識原理數(shù)據(jù)采集數(shù)據(jù)采集yu被測系統(tǒng)估計器等價系統(tǒng)uye_計算機系統(tǒng)辨識原理數(shù)據(jù)采集數(shù)據(jù)4二、隨機系統(tǒng)最優(yōu)控制中的狀態(tài)估計問題1、狀態(tài)可測、無隨機干擾2、狀態(tài)不可測、無隨機干擾確定性系統(tǒng)的最優(yōu)控制隨機系統(tǒng)的最優(yōu)控制狀態(tài)不可測,有隨機干擾二、隨機系統(tǒng)最優(yōu)控制中的狀態(tài)估計問題1、狀態(tài)可測、無隨機干擾5BA∫C–R-1BTPrBuKKXu1、狀態(tài)可測2、無隨機干擾狀態(tài)反饋1、確定性系統(tǒng)的最優(yōu)控制(狀態(tài)可測，無隨機干擾）--------有限時間的二次型最優(yōu)控制已知狀態(tài)方程BA∫C–R-1BTPrBuKKXu1、狀態(tài)可測2、無隨機干6求解：性能指標邊界條件固定，自由約束條件無約束時，用最小值原理1、作哈密頓函數(shù)求解：性能指標邊界條件固定，自由約束條件無約束時，用最小值原72、建立極值條件由于開集所以即移項得左乘得3、建立正則方程﹛狀態(tài)方程伴隨方程R、B都是已知矩陣，故只要求得λ

，就可求出u*，為求λ必須解正則方程（1）（2）2、建立極值條件由于開集所以即移項得左乘得3、建立正則方程﹛8為了利用線性狀態(tài)反饋的辦法達到最優(yōu)控制的目的，通常希望將λ表達為X的線性函數(shù)即簡記為對（4）求導得代入正則方程得﹛（3）（4）（5）（6）（7）（8）（9）（10）將（4）（5）將(7)→(6)即也即(10)式就是著名的里卡提矩陣微分方程，解這個矩陣微分方程就可解出P.為了利用線性狀態(tài)反饋的辦法達到最優(yōu)控9解里卡提矩陣微分方程必須要有邊界條件,這個邊界條件可由推出,由(3)式可知由于必有解出P→解出λ→解出u*,最后得4、解里卡提方程解里卡提矩陣微分方程必須要有邊界條件,這個邊界條件可由10BA∫C–R-1BTPrBuKu狀態(tài)觀測器1、狀態(tài)不可測2、無隨機干擾K-----狀態(tài)估計值2、確定性系統(tǒng)的最優(yōu)控制(狀態(tài)不可測，無隨機干擾）--------有限時間的二次型最優(yōu)控制BA∫C–R-1BTPrBuKu狀態(tài)觀測器1、狀態(tài)不可測2、11BA∫C–R-1BTPrBuKKu卡爾曼濾波器（狀態(tài)估計器）1、狀態(tài)不可測2、有隨機干擾隨機干擾3、隨機系統(tǒng)的最優(yōu)控制（狀態(tài)不可測，有隨機干擾）隨機干擾BA∫C–R-1BTPrBuKKu卡爾曼濾波器1、狀態(tài)不可測12補充隨機過程簡介§X-1隨機過程例1階躍響應曲線族（連續(xù)型）階躍響應曲線的測試補充隨機過程簡介§X-1隨機過程例13例2射擊運動員訓練成績分布圖（離散型）k···············k···············例2射擊運動員訓練成績分布圖（離散型）k······14§X-2隨機過程的統(tǒng)計描述

由于隨機過程在每一個時刻都是隨機變量，所以，對于隨機變量的所有描述方法也適用于隨機過程。一、分布函數(shù)和概率密度函數(shù)族給定一個隨機過程{X(t)，t∈T}，對于每一固定時刻t∈T，都是一個隨機變量，都存在一維分布函數(shù)；對于每n個固定時刻t1,t2,…，tn∈T，都是n個隨機變量，都存在

n維聯(lián)合分布函數(shù)，即

如果上述分布函數(shù)是連續(xù)可微的，則可以定義隨機過程{X(t)，t∈T}的一維概率密度函數(shù)和

n維聯(lián)合概率密度函數(shù)，即

§X-2隨機過程的統(tǒng)計描述15

由于上述時間t∈T和t1，t2，…，tn是任意的，故與一般的隨機變量不同的是，上述函數(shù)既是隨機變量取值(實值函數(shù))的函數(shù)，也是時間的函數(shù)。對于任意有限個時刻t1，t2，…，tn∈

T，上述分布函數(shù)和概率密度函數(shù)的集合(n=l，2，…)分別稱為有限維概率分布函數(shù)族和有限維概率密度函數(shù)族，簡稱為有限維分布和有限維密度函數(shù)。它們全面地描述了隨機過程。二、數(shù)學期望函數(shù)和方差函數(shù)

從理論上來說，只有當n維分布函數(shù)族(或概率密度函數(shù)族)對所有的n(n=l，2，3,…)都已知，隨機過程才完全被確定。但與隨機變量相類似，對于實際生活中的隨機過程，除了較特殊的情況外，往往較難求n(n=1，2，3，…)維分布函數(shù)族或概率密度函數(shù)族。人們往往更多地使用數(shù)學期望、方差等數(shù)字特征來描述隨機過程。它們盡管不能像有限維分布那樣全面描述隨機過程，但也能分別描述隨機過程各方而的重要特征，而且比較容易求出。

隨機過程{X(t)，t∈T}在每一時刻都是隨機變量，該隨機變量的數(shù)學期望μX(t)=E[X(t)],t∈T

是時間的函數(shù)，定義為該隨機過程的數(shù)學期望函數(shù)(均值函數(shù))，簡稱為期望函數(shù)，它表示隨機過程{X(t)，t∈T}的所有樣本的某種概率平均.

由于上述時間t∈T和t116與一維概率密度有關的數(shù)字特征均值函數(shù)均方值函數(shù)方差函數(shù)與一維概率密度有關的數(shù)字特征均值函數(shù)均方值函數(shù)方差函數(shù)17與二維概率密度有關的數(shù)字特征自相關函數(shù)協(xié)方差函數(shù)與二維概率密度有關的數(shù)字特征自相關函數(shù)協(xié)方差函數(shù)18隨機過程的數(shù)學期望函數(shù)隨機過程{X(t)，t∈T}每一時刻的方差即

定義為該隨機過程的方差函數(shù),它表示隨機過程{X(t)，t∈T}

對于數(shù)學期望函數(shù)μX(t)的偏離程度。隨機過程的數(shù)學期望函數(shù)隨機過程{X(t)，t∈T}每19同樣，可定義隨機過程的其他幾個數(shù)字特征，如均方值函數(shù)（均值函數(shù)為零時的方差函數(shù)）不同隨機過程的方差函數(shù)同樣，可定義隨機過程的其他幾個數(shù)字特征，如均方值函數(shù)（均值函20三、協(xié)方差函數(shù)隨機過程{X（t），T∈T}在某兩個固定時刻t1和t2的狀態(tài)之間的關系可用這兩個時刻狀態(tài)的協(xié)方差來描述，即

這里的t1和t2的函數(shù)CX(t1，t2)，tl，t2∈T稱為隨機過程{X（t），T∈T}的協(xié)方差函數(shù)。例圖(a)中，對于大部分樣本，都有三、協(xié)方差函數(shù)隨機過程{X（21在圖(b)中則不存在上述關系，故由式(1-1)，對于圖中相同的時間間隔，t1~t2，有通常，稱圖(a)的過程X(t)相關性強，意思是不同時刻的狀態(tài)之間聯(lián)系強；而稱圖(b)的過程y(t)相關性弱，意思是不同時刻的狀態(tài)之間聯(lián)系弱。相關性的強弱也可以理解為隨機樣本的變化是緩慢還是激烈。同理，通常t1和t2越接近，則協(xié)方差函數(shù)的值越大，t1和f2時刻狀態(tài)的聯(lián)系越密切；反之，當t1和t2遠離時，通常協(xié)方差函數(shù)趨于零或很小。例:隨機過程的任意兩個狀態(tài)x(t1)與x(t2)相互獨立，試求協(xié)方差函數(shù)。

解兩個獨立隨機變量的聯(lián)合概率密度函數(shù)等于各自的概率密度函數(shù)之積，即故協(xié)方差函數(shù)為

在圖(b)中則不存在上述關系，故由式22依概率收斂于1依概率收斂于123四、相關函數(shù)綜上所述，協(xié)方差函數(shù)CX(t1,t2)表示了隨機過程{X(t)，t∈T}兩狀態(tài)間的統(tǒng)計依賴程度。特別地，當t1=t2=t，則式(1．1)為即同一時刻的協(xié)方差函數(shù)就是方差函數(shù).協(xié)方差函數(shù)CX(t1,t2)可寫為上式中的定義為隨機過程{X(t)，t∈T}的相關函數(shù)四、相關函數(shù)綜上所述，協(xié)方差函數(shù)24五、二階矩過程與相關理論

上述數(shù)字特征中最重要的是數(shù)學期望函數(shù)μX(t)和相關函數(shù)

RX(t)(或協(xié)方差函數(shù))，其他的數(shù)字特征都可以由它們算出。隨機過程的數(shù)學期望函數(shù)稱為過程的一階矩，方差函數(shù)、協(xié)方差函數(shù)和相關函數(shù)稱為過程的二階矩。如果隨機過程{X(t)，t∈T}的一、二階矩存在(即其值有限)，則稱該隨機過程為二階矩過程。從二階矩過程的數(shù)學期望函數(shù)和相關函數(shù)出發(fā)討論過程的性質，而允許不涉及它的n(n=l，2，…)個時刻的n維分布，這種理論稱為隨機過程的相關理論

五、二階矩過程與相關理論25最優(yōu)估計與濾波ppt課件26六、互協(xié)方差函數(shù)和互相關函數(shù)

設X(t)和Y(t)，t是定義在同一樣本空間S和同一參數(shù)集T上的隨機過程，則稱{X(t)，Y(t)，t∈T}為二維隨機過程。對于二維隨機過程{X(t)，Y(t)，t∈T}除了X(t)和Y(t)各自的數(shù)字特征外，最重要的表示X(t)和Y(t)之間統(tǒng)計依存關系的數(shù)字特征是X(t)和Y(t)的互相關函數(shù)即六、互協(xié)方差函數(shù)和互相關函數(shù)27和X（t）和Y（t）的互協(xié)方差函數(shù)即上式可變形為

即互協(xié)方差函數(shù)與互相關函數(shù)之差是一個與t1，t2有關的數(shù)，如果X（t）和Y（t）之一為零均值，則二者相等。互相關函數(shù)和互協(xié)方差函數(shù)表示了隨機過程X（t）在t1時刻的狀態(tài)和Y（t）在t2時刻的狀態(tài)之間的統(tǒng)計依存關系。如果對任意時刻t1，t2，…，tm。和t’1,t’2,…,t’n,(m，n為任意正整數(shù))，由隨機過程X（t）和Y（t）的狀態(tài)所構成的隨機變量的概率密度函數(shù)滿足則稱X（t）和Y（t）是相互獨立的隨機過程.和X（t）和Y（t）的互協(xié)方差函數(shù)即上式可變形為28§X-3正態(tài)隨機過程

二階矩過程中，最重要也是最簡單的就是正態(tài)隨機過程。一、正態(tài)隨機向量

為了討論正態(tài)隨機過程，首先需要復習概率論中學過的正態(tài)隨機向量。例：在概率論中曾討論過二維正態(tài)隨機向量

后一個式子表示其樣本。設Xl和X2的期望分別為μ1和μ2，方差分別為和，X1和X2的相關系數(shù)ρ為

則其概率密度函數(shù)為(1-9)§X-3正態(tài)隨機過程29為了使形式更簡單，設法用矩陣形式來表示上式。X的協(xié)方差矩陣為為了使形式更簡單，設法用矩陣形式來表示上式。X的協(xié)方差矩陣30一般地，如果n維隨機向量X=（x1x2…xn)T的概率密度函數(shù)為

且Cov(X)正定，則稱X為n維正態(tài)隨機向量，記作X~N[μx，Cov(X)]要注意的是，盡管這里有n個隨機標量，但卻只涉及一、二階矩。正態(tài)隨機向量的概率密度函數(shù)式(1.13)與正態(tài)隨機標量的概率密度即

(1.13)具有類似的形式。

一般地，如果n維隨機向量X=（x1x2…x31二、正態(tài)隨機向量的某些性質

n維正態(tài)隨機向量有如下性質n維正態(tài)隨機向量的m(m<n)個分量構成的隨機向量也是正態(tài)隨機向量，且其期望向量和協(xié)方差矩陣分別為二、正態(tài)隨機向量的某些性質的m(m<n)個分量32三、正態(tài)隨機向量過程

如果n維向量隨機過程的概率密度函數(shù)為則稱X(t)為正態(tài)隨機向量過程或簡寫為三、正態(tài)隨機向量過程的概率密度函數(shù)為則稱X(t)為正33§X-4平穩(wěn)隨機過程

一般地，如果對于任意的和任意實數(shù)h，當n維隨機向量與隨機向量

具有相同的概率分布函數(shù)，則稱隨機過程{X(t)，t∈T}是平穩(wěn)隨機過程，簡稱為平穩(wěn)過程(嚴)一、平穩(wěn)過程§X-4平穩(wěn)隨機過程一般地，如果對于34平穩(wěn)過程和非平穩(wěn)過程平穩(wěn)過程和非平穩(wěn)過程35

對于期望函數(shù)緩慢變化的非平穩(wěn)過程，有時可以把它用低通濾波器分解為緩慢變化的確定性曲線(稱為趨勢曲線)和平穩(wěn)過程之和(如下圖)，以便于分析。

分析平穩(wěn)過程比分析非平穩(wěn)過程容易得多，在信號處理與控制領域遇見的基本上也是平穩(wěn)過程，不少實際非平穩(wěn)過程也可以處理成平穩(wěn)過程。對于期望函數(shù)緩慢變化的非平穩(wěn)過程，有時可以36二、廣義平穩(wěn)過程顯然，平穩(wěn)過程X(t)的期望函數(shù)是常數(shù)即E[X(t)]

=常數(shù)而自相關函數(shù)為其中第2個等號利用了X(t)的平穩(wěn)性。上式僅是時間差t2--t1的函數(shù)，記作

滿足式以上兩式的過程，即期望函數(shù)為常數(shù)而自相關函數(shù)僅是時間差的函數(shù)的過程稱為廣義平穩(wěn)過程或寬平穩(wěn)過程，而把一般定義的平穩(wěn)過程稱為嚴平穩(wěn)過程。由于通常只討論二階矩過程，所以一般討論廣義平穩(wěn)過程已經(jīng)足夠了。

廣義平穩(wěn)過程并不一定是嚴平穩(wěn)過程，但對于正態(tài)過程來說，由于正態(tài)過程由其期望函數(shù)和自相關函數(shù)唯一地確定，故廣義平穩(wěn)過程如果是正態(tài)的，則也必是嚴平穩(wěn)過程。

二、廣義平穩(wěn)過程顯然，平穩(wěn)過程X(t)的期望函數(shù)是常37對于兩個平穩(wěn)過程X(t)和Y(t)，如果它們的互相關函數(shù)僅是時間差的函數(shù)，即

則稱X(t)和Y(t)是廣義平穩(wěn)相關的或廣義聯(lián)合平穩(wěn)的。能否把某一實際生活中的隨機過程看做是平穩(wěn)過程，主要靠經(jīng)驗和實驗。對于兩個平穩(wěn)過程X(t)和Y(t)，如果它們的互相關函數(shù)僅是38三、各態(tài)歷經(jīng)過程

如果平穩(wěn)過程X(t)的統(tǒng)計平均值即期望值與其任一樣本的時間平均值相等，即

則稱X(t)的期望值具有遍歷性。上面的橫線表示時間平均。類似地，如果平穩(wěn)過程X(t)的自相關函數(shù)與其任一樣本相應的時間平均值相等，即

則稱X(t)的自相關函數(shù)具有遍歷性。例:隨機相位正弦波，一個樣本的時間平均為三、各態(tài)歷經(jīng)過程如果平穩(wěn)過程X(t39

在實踐中經(jīng)常需要求出某一實際平穩(wěn)過程的期望函數(shù)(常數(shù))和自相關函數(shù)(僅是時間差的函數(shù))。等于例3中的自相關函數(shù)，故其自相關函數(shù)具有遍歷性。期望值和自相關函數(shù)都具有遍歷性的平穩(wěn)過程稱為各態(tài)歷經(jīng)過程。兩個各態(tài)歷經(jīng)過程X(t)和Y(t)的互相關函數(shù)也可以用樣本的時間平均來計算.

能否把某個實際平穩(wěn)過程看做是各態(tài)歷經(jīng)的，主要靠經(jīng)驗和實驗，即看它的任一樣本能否按整體的概率分布經(jīng)歷所有可能的狀態(tài)，亦即能否從一個樣本得到整體的全部統(tǒng)計信息。大量的現(xiàn)實過程都可以近似地看做是各態(tài)歷經(jīng)過程。除了上面的一些例子以外，近似的各態(tài)歷經(jīng)過程還有：某地的歷年降水量、心電圖、腦電圖、電機的電樞電流、機械振動或振動噪聲、電力系統(tǒng)的負荷、地質勘探的地震回波曲線，等等。在實踐中經(jīng)常需要求出某一實際平穩(wěn)40最優(yōu)估計與濾波ppt課件41四、平穩(wěn)過程自相關函數(shù)的性質平穩(wěn)過程的自相關函數(shù)具有一系列重要的性質。(1)顯然有

即平穩(wěn)過程X(t)的自相關函數(shù)在原點的值等于其均方值。如果X(t)為零均值，則自相關函數(shù)在原點的值等于X(t)的方差，即(2)平穩(wěn)過程X(t)的自相關函數(shù)是偶函數(shù)，即證:證畢四、平穩(wěn)過程自相關函數(shù)的性質平穩(wěn)過程的自相關函數(shù)具有一系列重42(3)對任意的τ,有證:對任一樣本，有取期望由性質1，上式為上式中的正負號表示無論取正號或負號，不等式都成立。故證畢(3)對任意的τ,有證:對任一樣本，有取期望由性質1，上式為43

(4)如果對于平穩(wěn)過程X(t)的任一樣本和任意的t都有x(t+T)=x(t)，則稱X(t)為周期性平穩(wěn)過程。容易證明，周期性平穩(wěn)過程的自相關函數(shù)也具有周期性，即

(5)平穩(wěn)過程X(t)，t∈T的自相關函數(shù)是非負定的，即對任意的t1，t2，…，tn∈T和任意實值函數(shù)g(t)，都有

(6)當兩個時刻的間隔充分大時，實際非周期性平穩(wěn)過程X(t)的狀態(tài)通常相互獨立。由三段知，這時X(t)的協(xié)方差函數(shù)(與自相關函數(shù)一樣也僅是時間差τ的函數(shù))為則由2.2節(jié)可知，這時有即趨于期望值的平方。如果進一步，X(t)是零均值的，則上式為

(4)如果對于平穩(wěn)過程X(t)的任一樣本和任意44由以上性質，通常實際非周期性平穩(wěn)信號的自相關函數(shù)大體如下圖

五、平穩(wěn)過程互相關函數(shù)的性質

與自相關函數(shù)的性質類似可證，兩個平穩(wěn)過程X(t)和Y(t)的互相關函數(shù)有如下性質。(1)平穩(wěn)過程X(t)和Y(t)的互相關函數(shù)RXY(τ)既不是τ的奇函數(shù)，也不是τ的偶函數(shù)，而有由以上性質，通常實際非周期性平穩(wěn)信號的自相關函數(shù)大體如下圖45最優(yōu)估計與濾波ppt課件46六、相關函數(shù)應用實例

自相關函數(shù)和互相關函數(shù)是平穩(wěn)過程最基