高斯混合采樣粒子濾波算法.doc

高斯混合采樣粒子濾波算法 貝 葉斯方法為動態(tài)系統(tǒng)的估計(jì)問題提供了一類嚴(yán)謹(jǐn)?shù)慕鉀Q框架。它利用已知的信息建立系統(tǒng)的概率密度函數(shù)可以得到對系統(tǒng)狀態(tài)估計(jì)的最優(yōu)解。對于線性高斯的估計(jì)問 題，期望的概率密度函數(shù)仍是高斯分布，它的分布特性可用均值和方差來描述。卡爾曼濾波器很好地解決了這類估計(jì)問題1。對于非線性系統(tǒng)的估計(jì)問題，最經(jīng) 典并得到廣泛應(yīng)用的方法以擴(kuò)展的卡爾曼濾波為代表，這類方法需要對模型進(jìn)行線性化，同時要求期望的概率密度函數(shù)滿足高斯分布，然而在對實(shí)際系統(tǒng)建模時，模 型往往是非線性非高斯的。此時，最優(yōu)估計(jì)很難實(shí)現(xiàn)。 粒子 （particle）濾波器序列重要性采樣粒子濾波器，是一種適用于強(qiáng)非線性、無高斯約束的基于模擬的統(tǒng)計(jì)濾波器。它利用一定數(shù)量的粒子來表示隨機(jī)變 量的后驗(yàn)概率分布，從而可以近似得到任意函數(shù)的數(shù)學(xué)期望，并且能應(yīng)用于任意非線性隨機(jī)系統(tǒng)。本文介紹一種估計(jì)性能更好的粒子濾波算法高斯混合采樣粒子 濾波器(GMSPPF)，相比通常意義上的粒子濾波算法（SIR-PF），GMSPPF粒子濾波器具有更小的系統(tǒng)狀態(tài)估計(jì)的均方誤差和均值。貝葉斯濾波問題 貝葉斯濾波用概率統(tǒng)計(jì)的方法從已觀察到的數(shù)據(jù)中獲得動態(tài)狀態(tài)空間（DSS）模型參數(shù)。在DSS模型中，包含狀態(tài)和觀測兩個方程。其中狀態(tài)轉(zhuǎn)移方程（State Equation）通常寫作（1）這里，是已知，且是白噪聲獨(dú)立的隨機(jī)序列，而且分布是已知的。觀測方程表達(dá)式寫為（2）這里：是白噪聲序列，獨(dú)立且分布已知。并且滿足。 圖1描述了DSS模型中狀態(tài)轉(zhuǎn)移和似然函數(shù)的關(guān)系。假設(shè)初始時刻系統(tǒng)的狀態(tài)分布已知，k時刻的已知信息序列表示。圖1 動態(tài)狀態(tài)空間模型（DSSM） 這樣，貝葉斯估計(jì)的問題理解為：利用觀測到的信息Yk，求解系統(tǒng)狀態(tài)的概率分布。若系統(tǒng)狀態(tài)的變化是隱馬爾柯夫過程，即當(dāng)前系統(tǒng)的狀態(tài)信息只與上一個時刻的狀態(tài)有關(guān)，可以通過預(yù)測和更新的途徑求解。（3）這里： （4） 假設(shè)xk，wk是相互獨(dú)立的隨機(jī)變量，滿足。于是，參考（1）式可以把（4）式寫為（5） 其中，是采樣函數(shù)。當(dāng)是已知時，xk可以通過確定性方程（1）得到。 依據(jù)貝葉斯準(zhǔn)則，系統(tǒng)狀態(tài)估計(jì)量（6） 其中，（7） 另外，在給定 xk，vk，分布的條件下， yk的條件概率依據(jù)測量方程（2）可以表示為如下形式 （8） 由 （6）式可以看出，后驗(yàn)概率密度包含3個部分。先驗(yàn)概率似然函數(shù)和證據(jù)。如何獲得這三項(xiàng)的近似是貝葉斯濾波的核心問題。更新方程（5）中觀測值 用來對 的先驗(yàn)預(yù)測值修正，從而獲得狀態(tài) 的后驗(yàn)概率。方程（3）和（6）的遞歸關(guān)系構(gòu)成了求解貝葉斯估計(jì)問題的兩個步驟：預(yù)測與更新。如果(1)，(2)中的hk，fk是線性的，且噪聲 wk，vk滿足高斯白噪聲，可以把貝葉斯估計(jì)問題簡化為卡爾曼分析解。但這類問題僅僅是實(shí)際問題中很小的一個部分。對于更多的問題，很難得到分析解。只有 通過對問題的近似線性處理(擴(kuò)展卡爾曼濾波)或其它途徑（蒙特卡洛方法）實(shí)現(xiàn)非線性、非高斯問題的解。依據(jù)后面分析問題需要，這里重點(diǎn)對蒙特卡洛方法積分 進(jìn)行說明。蒙特卡洛方法 在過去的二十多年，蒙特卡洛方法得到了很大的發(fā)展。其優(yōu)點(diǎn)就是用系列滿足條件的采樣點(diǎn)及其權(quán)重來表示后驗(yàn)概率密度。蒙特卡洛方法采用統(tǒng)計(jì)抽樣和估計(jì)對數(shù)學(xué) 問題進(jìn)行求解。按照其用途，可以把蒙特卡洛方法分為三類：蒙特卡洛抽樣、計(jì)算、優(yōu)化。其中，蒙特卡洛抽樣是尋找有效的、方差很小的、用于估計(jì)的抽樣方法。 蒙特卡洛計(jì)算則是設(shè)計(jì)產(chǎn)生滿足特定要求隨機(jī)數(shù)的隨機(jī)發(fā)生器的問題。而蒙特卡洛優(yōu)化是采用蒙特卡洛思想對實(shí)際中的非凸非差分函數(shù)優(yōu)化求解。對于，可以由概率 空間p(x)中抽取N個樣本，用近似值作為的解。大數(shù)定理證明：收斂于，并且滿足條件。這里，是的方差。不同于確定性的數(shù)字計(jì)算，蒙特卡洛近似的一個重要 特點(diǎn)就是估計(jì)的精度獨(dú)立于狀態(tài)空間的維數(shù)。而且，積分估計(jì)的方差與采樣點(diǎn)的個數(shù)成反比。顯然，蒙特卡洛近似方法的關(guān)鍵點(diǎn)有兩個：首先如何由一個樣本空間中 抽取N個采樣點(diǎn)，用來表征后驗(yàn)概率密度。其次就是計(jì)算。 重要性抽樣（Important Sampling）解決了如何借助于已知分布來對實(shí)現(xiàn)有效采樣的問題，由Marshall 1965年提出。當(dāng)數(shù)據(jù)空間十分巨大時，重要性抽樣只對其中“重要”區(qū)域進(jìn)行采樣，節(jié)省了計(jì)算量。對于高維采樣空間模型，如統(tǒng)計(jì)物理學(xué)、貝葉斯統(tǒng)計(jì)量，這 一點(diǎn)尤為重要。重要性抽樣的中心思想是選擇一個覆蓋真實(shí)分布p（x）的建議分布q（x）。這樣， (9)對q（x）作蒙特卡洛抽樣，假設(shè)粒子數(shù)目為N，有 (10)其中，稱為重要性權(quán)重，再作歸一處理，(11)是 歸一化權(quán)重。為了減小估計(jì)的方差，選擇的建議性分布q（x）與p（x）盡可能匹配。通常，建議分布q（x）需要一個長的拖尾，這樣可以解決區(qū)間之外的干 擾。確切的說，匹配的q（x）必須與p（x）f（x）成正比。當(dāng)q（x）與p（x）不匹配時，w（x(i)）是不均勻分布的，在整個遞歸迭代的過程中，存 在大量的權(quán)值極小的樣本，而這些樣本對估計(jì)的貢獻(xiàn)很小。事實(shí)上，權(quán)值較大的少數(shù)樣本決定蒙特卡洛采樣的估計(jì)精度。大量時間損耗在這些“無關(guān)緊要”的粒子計(jì) 算上，即所謂的粒子退化現(xiàn)象（Degeneracy Problem）。目前，標(biāo)準(zhǔn)的粒子濾波器選擇先驗(yàn)概率（Prior）作為建議分布。 對于粒子退化現(xiàn)象，采樣重要性重采樣方法給出了很好的解決途徑。其基本思想就是通過在兩次重要性采樣之間增加重采樣步驟，消除權(quán)值較小的樣本，并對權(quán)值較大的樣本復(fù)制，降低了計(jì)算的復(fù)雜度。在o(N)時間復(fù)雜度范圍內(nèi)可以已排序的均勻分布序列作重采樣處理。 對重采樣（Resampling）處理，新的采樣結(jié)果放在數(shù)組，具體的算法用偽碼語言寫為如下的形式： 步驟1：令這里必須注意是隨機(jī)變量的累計(jì)概率密度序列。 步驟2：初始假設(shè)，當(dāng)， 產(chǎn)生一組序列分布。對一個固定的j，分別用逐一比較，一旦，就可以得到一組新的樣本集合。如此循環(huán)直到。需要說明的是，重采樣方法在消除粒子退化問題的同時，也帶來了其它兩個問題：首先，降低了粒子運(yùn)算并行執(zhí)行的可能性；其次，由于權(quán)值較大的粒子多次被選擇，粒子的多樣性減少。這種情況尤其在小過程噪聲條件下表現(xiàn)更為明顯11。圖2 SIR-PF重要性采樣與重采樣示意圖GMSPPF濾波算法 如前所述，利用序列重要性采樣和重采樣的方法，粒子濾波可以有效的遞歸更新后驗(yàn)概率的分布。但是，由于對粒子未加假設(shè)，大量的粒子在處理非線性、非高斯問 題時出現(xiàn)了計(jì)算的高復(fù)雜性問題。另外，由于少數(shù)權(quán)值較大的粒子反復(fù)被選擇，粒子坍塌明顯。文獻(xiàn)提出了在重要性采樣步驟的建議分布的生成階段“搬運(yùn)”粒子到 似然較高區(qū)域，可以緩解坍塌，同時提高估計(jì)的性能。但是不可避免的是對每一個粒子的后驗(yàn)概率處理，使得計(jì)算的復(fù)雜性進(jìn)一步加劇。鑒于此種情況，這里介紹一 種新穎的高斯混合采樣粒子濾波器（Gaussian Mixture Sigma Point Particle Filter，GMSPPF）。GMSPPF算法利用有限高斯混合模型表征后驗(yàn)概率分布情況，可以通過基于重要性采樣的加權(quán)的后驗(yàn)粒子，借助于加權(quán)的期望 最大化算法（Weighted Expection Maximization）替換標(biāo)準(zhǔn)重采樣步驟，降低粒子坍塌效應(yīng)?；诟咚够旌辖频牟蓸涌柭鼮V波器 根據(jù)最優(yōu)濾波理論，一個概率密度p(x)都可以寫作高斯混合模型（Gaussian Mixture Model）。即，這里，G是高斯分量的個數(shù)，是高斯分量的權(quán)重，是以向量為均值，以p(g)為協(xié)方差矩陣的隨機(jī)向量x的高斯分布。 考慮DSS狀態(tài)轉(zhuǎn)移方程和觀測方程，假設(shè)先驗(yàn)概率及噪聲密度服從高斯混合模型（GMM）。這樣，預(yù)測的先驗(yàn)概率密度滿足，更新后。這里，。在此基礎(chǔ)之上，預(yù)測的先驗(yàn)概率和后驗(yàn)概率對應(yīng)的均值和方差可以通過采樣卡爾曼濾波器（Sigma Point KF）計(jì)算?；谟^測更新的重要性采樣（Important Sampling） 前已敘及重要性抽樣是一種蒙特卡洛方法，即用一組帶有權(quán)值的樣本數(shù)據(jù)來表征隨機(jī)變量的概率密度。利用DSS模型的一階馬爾柯夫本質(zhì)和給定狀態(tài)的觀測值依賴 性，可以推導(dǎo)遞歸的權(quán)值更新方程，這里僅對于給定的粒子而言。在GMSPPF算法中，用GMM近似來。作為建議分布。由于包含了最新的樣本數(shù)據(jù)，使得粒子 聚集在高似然區(qū)域，一定程度減少了粒子坍塌效應(yīng)。另外，使用預(yù)測的先驗(yàn)概率平滑權(quán)值更新方程中的，這是因?yàn)镚MSPPF算法用GMM表示后驗(yàn)概率，本次后 驗(yàn)同時又是下一個時間步的先驗(yàn)概率，GMM模型中高斯核對后驗(yàn)概率做了平滑處理?；谟^測更新步驟的重要性采樣方法中對粒子不作任何假設(shè)，對非線性、非高 斯問題具有很強(qiáng)的魯棒性。采用加權(quán)的EM算法做重采樣和GMM還原 基于觀測更新步驟的重要性采樣輸出是一組加權(quán)的粒子，在標(biāo)準(zhǔn)的粒子濾波器中，這些粒子必須作重采樣處理丟棄小權(quán)值粒子，同時對權(quán)值較大的粒子做放大處理。 通過這種處理，可以有效的防止粒子集合的方差增加太快。不幸的是，重采樣步驟只對當(dāng)觀測似然微弱、大量粒子聚集極少數(shù)粒子副本情況有效。在GMSPPF算 法中，采用加權(quán)的期望最大（Weighted Expection Max