基于新息的神經(jīng)網(wǎng)絡(luò)自適應(yīng)卡爾曼濾波

1、基于新息的神經(jīng)網(wǎng)絡(luò)自適應(yīng)卡爾曼濾波李忠良 , 陳衛(wèi)兵 , 鄒豪杰 , 羅天資 , 張洪波 , 曾光華(湖南工業(yè)大學(xué) 計(jì)算機(jī)與通信學(xué)院, 湖南 株洲 412007摘 要 :卡爾曼濾波是一種基于最小方差的遞推式濾波算法,系統(tǒng)模型和噪聲統(tǒng)計(jì)特性的先驗(yàn)知識(shí)決定了濾波的性能和估計(jì)的準(zhǔn)確性,不精確的先驗(yàn)知識(shí)將導(dǎo)致濾波性能的明顯下降甚至發(fā)散。采用 BP 神經(jīng)網(wǎng)絡(luò)對(duì)系統(tǒng)進(jìn)行辨識(shí),獲得精確的系統(tǒng)狀態(tài)方程,利用新息自適應(yīng)估計(jì)卡爾曼濾波算法中的過程噪聲和測(cè)量噪聲協(xié)方差 矩陣,提出基于新息的神經(jīng)網(wǎng)絡(luò)自適應(yīng)卡爾曼濾波算法。 Matlab 仿真結(jié)果表明,與傳統(tǒng)卡爾曼濾波算法相比, 改進(jìn)的卡爾曼濾波算法獲得了與 原始信號(hào)幾

2、乎 一致的 輸 出 信號(hào) ,噪聲得 到 明顯 抑制 。 同時(shí) ,改進(jìn)的算法不 需要 系統(tǒng)精確的 數(shù)學(xué) 模型, 在實(shí)際 應(yīng)用中 具有可 行性和 普 適性。關(guān)鍵詞 :神經(jīng)網(wǎng)絡(luò) ; 卡爾曼濾波 ; 新息中圖分類號(hào) :TP312 文獻(xiàn)標(biāo)志碼 :A 文章編號(hào) :1673-9833(201101-0105-04Innovation-Based Neural Network Adaptive Kalman Filter AlgorithmLi Zhongliang, Chen Weibing, Zou Haojie, Luo Tianzi, Zhang Hongbo, Zeng Guanghua(Schoo

3、l of Computer and Communication, Hunan University of Technology, Zhuzhou Hunan 412007, China Abstract :Kalman filter is a recursive algorithm based on minimum variance estimation, filtering performance and theestimated accuracy depend on the priori knowledge of system model and noise statistical pro

4、perties, and imprecise prioriknowledge can cause significant degradation even disperse in the filtering performance. BP neural network is used for systemidentification to acquire the precise system equation. The process noise and measurement noise covariance matrix in adaptiveestimated Kalman filter

5、 algorithm is used to propose a new algorithm of innovation-based neural network adaptive Kalman filter.Matlab simulation results show: compared with the traditional Kalman filter algorithm, the output signal obtained through theimproved Kalman filter algorithm is almost identical with the original

6、signal, the noise is significantly suppressed, meanwhile theimproved algorithm does not need accurate system mathematical model, which is effective and available in practical application.Keywords :neural network; Kalman filter; innovation收稿日期 :2010-11-20湖 南 工 業(yè) 大 學(xué) 學(xué) 報(bào)Journal of Hunan University of

7、TechnologyVol.25 No.1Jan. 2011第 25卷 第 1期 2011年 1月0引言卡爾曼(Kalman 濾波是一種基于最小方差估計(jì)的遞推式濾波方法,廣泛用于動(dòng)態(tài)系統(tǒng)分析、估計(jì)、 預(yù) 測(cè)和控制 1。標(biāo)準(zhǔn)的卡爾曼濾波算法,在系統(tǒng)模型、過程噪聲和測(cè)量噪聲的統(tǒng)計(jì)特征都已知的條件下, 能夠 實(shí)現(xiàn) 最 優(yōu) 估計(jì)。 但 在 很多實(shí)際應(yīng) 用 中 ,系統(tǒng) 狀 態(tài)是 先驗(yàn)未 知的, 因此 , 不精確 的統(tǒng)計(jì)特征 會(huì)明顯降低 卡爾 曼濾波 性能 , 甚至造成 濾波 發(fā)散 。 目前 , 國內(nèi)外 學(xué) 者提出了 一系 列 基于標(biāo)準(zhǔn)卡爾曼濾波的 改進(jìn) 算法 來解決 這些問題 , 從而提高 卡爾曼濾波的

8、 精度 和 普適性 。 文 獻(xiàn) 2利 用 新息自適應(yīng) 估計(jì)過程噪聲和測(cè)量噪聲的 協(xié) 方 差 矩陣以達(dá)到提高 濾波 性能 、 防止 濾波 發(fā)散 的 目 的; 文獻(xiàn) 3通過 任意時(shí)刻施行 2次 卡爾曼濾波 來自適應(yīng)調(diào)1062011年湖 南 工 業(yè) 大 學(xué) 學(xué) 報(bào) 整 測(cè)量噪聲 協(xié) 方差, 以提高 濾波 精度 ; 文獻(xiàn) 4提出了 一種基于 協(xié) 方差 匹配技術(shù) 的 Sage-Husa 自適應(yīng) 濾波算 法, 實(shí)現(xiàn) 在 線 估計(jì)噪聲統(tǒng)計(jì)特 性 ; 文獻(xiàn) 5-7引 入模 糊 控制 理論 和 神經(jīng)網(wǎng)絡(luò) 估計(jì)噪聲 協(xié) 方差 矩陣以提高 濾波 精度 。 總 的 來說 , 這些改進(jìn) 算法主要 集中 在估計(jì)噪聲 統(tǒng)計(jì)

9、特 性 方 面 , 對(duì) 提高 卡爾曼濾波 精度 、 防止 濾波 發(fā) 散 具有較 大 應(yīng) 用 價(jià)值 。 但 對(duì) 于 實(shí)際 的 非 線性 系統(tǒng), 很 難獲得 精確 的噪聲統(tǒng)計(jì)特 性來 建立 系統(tǒng)模型, 這 就需 要 綜合考慮 系統(tǒng)模型和噪聲統(tǒng)計(jì)特 性 , 來提高 卡爾曼 濾波的 普適性 和濾波 精度 。 因此 , 本 文從 系統(tǒng) 建 模的 角 度 , 利 用 神經(jīng)網(wǎng)絡(luò) 良 好 的 非 線性性 和 建 模 功 能 , 提 出 一種基于 新息 的 神經(jīng)網(wǎng)絡(luò)自適應(yīng) Kalman 濾波算法。1卡爾曼濾波原理和神經(jīng)網(wǎng)絡(luò)系統(tǒng) 1.1卡爾曼濾波卡爾曼濾波主要 解決 在 帶加 性 噪聲信 號(hào) x (t =s (t

10、 +n (t 中提 取有 用信 號(hào) s (t 的 問題 。 實(shí)際應(yīng) 用 中 , 先 將 系 統(tǒng) 離 散 化 ,用 離 散 化后 的差分方程 來 描述連續(xù) 系統(tǒng)。卡爾曼濾波 離 散狀 態(tài)方程 由 過程方程(1和測(cè)量 方程(2 描述 :x k = Ak x k -1 + wk -1,(1 y k = H k x k + v k 。(2 式(1和(2 中 :x k 為 k 時(shí)刻 系統(tǒng) 狀 態(tài)向量;y k 為 k 時(shí)刻 系統(tǒng) 觀 測(cè)向量;w k 為 k 時(shí)刻 過程噪聲, v k 為 k 時(shí)刻 測(cè)量噪聲, 它 們 都是 均值 為 零 的 高 斯 噪聲;A k 為 k 時(shí)刻 系統(tǒng) 狀 態(tài) 轉(zhuǎn)移 矩陣 ;

11、H k 為 k 時(shí)刻 觀 測(cè) 矩陣 。假設(shè) 系統(tǒng)的過程噪聲和測(cè)量噪聲都是 均值 為 零且 互 不 相關(guān) 的 高 斯白 噪聲, 其 k 時(shí)刻協(xié) 方差 矩陣 分 別 為 Q k 和 R k 。 結(jié)合 過程方程(1和測(cè)量方程(2, Kalman 濾波算法 可表示 為 公 式(3 (7 :,(3,(4 , (5 , (6 。 (7 式(3 (7 中 :為 k 時(shí)刻 預(yù)測(cè) 狀態(tài)向量,為 k -1時(shí)刻 濾波估計(jì) 狀態(tài)向量, 為 k 時(shí)刻 預(yù)測(cè)估計(jì) 值 的 協(xié) 方差 矩陣, 為 k -1時(shí)刻 濾波估計(jì) 狀 態(tài)向量的 協(xié) 方差 矩陣, 表示 k 時(shí)刻 的濾波 增益 矩陣 。因此 ,在系統(tǒng)模型、 初始 狀 態(tài)

12、及 噪聲統(tǒng)計(jì)特 性 已 知的 情況 下, Kalman 濾波 可持續(xù) 遞推下 去并 實(shí)現(xiàn) 最 優(yōu) 估計(jì)。 1.2神經(jīng)網(wǎng)絡(luò)系統(tǒng)辨識(shí)系統(tǒng) 辨識(shí) 8是在 輸 入和 輸 出 數(shù)據(jù) 的基 礎(chǔ)上 , 從 一 組給定 的模型 類 中 , 確 定 一 個(gè) 與 所 測(cè)系統(tǒng) 等價(jià) 的模 型?；?神經(jīng)網(wǎng)絡(luò) 的系統(tǒng) 辨識(shí) , 指選擇合 適 的 神經(jīng)網(wǎng) 絡(luò) 模型 對(duì)被辨識(shí) 系統(tǒng) 進(jìn)行 正 向 或逆 向 建 模,通過 對(duì)輸 入 輸 出 數(shù)據(jù) 進(jìn)行 訓(xùn)練得 到 權(quán)值 和 閾值 , 建立相 應(yīng) 的系 統(tǒng)模型, 實(shí) 質(zhì)上就 是 選擇合 適 的 神經(jīng)網(wǎng)絡(luò) 模型 來 逼近 實(shí)際 的系統(tǒng)。 神經(jīng)網(wǎng)絡(luò) 系統(tǒng) 辨識(shí)具有 不 要 求 建

13、立 實(shí)際 系統(tǒng)的 辨識(shí) 格 式、良 好 的 非 線性 映射 能 力 及 強(qiáng) 大的 黑 箱 建 模 能 力 等 優(yōu) 點(diǎn) ,在系統(tǒng) 辨識(shí) 領(lǐng)域 得 到 廣泛 應(yīng) 用。2神經(jīng)網(wǎng)絡(luò) Kalman 濾波算法解決 Kalman 濾波噪聲統(tǒng)計(jì)特 性 最 有 效 的方法是 采用 自適應(yīng) 算法, 常 用的 有 多 模型 自適應(yīng) 算法和基于 新 息 的 自適應(yīng) 估計(jì)算法。 本 文 的基于 新息 的 神經(jīng)網(wǎng)絡(luò)自 適應(yīng) Kalman 濾波算法, 其 基 本 思想 是, 首 先利 用 反 向 傳播 網(wǎng)絡(luò) (back propagation network, BP 進(jìn)行 系統(tǒng) 辨 識(shí)建 模, 訓(xùn)練 出 模型 參 數(shù) A

14、k 和 H k , 再 利 用 新息自適應(yīng) 調(diào)整 過程噪聲 協(xié) 方差 矩陣 Q 和測(cè)量噪聲 協(xié) 方差 矩陣 R 。 2.1神經(jīng)網(wǎng)絡(luò)系統(tǒng)辨識(shí)理論 上 已 經(jīng) 證 明 3層 BP 神經(jīng)網(wǎng)絡(luò) 可 以實(shí)現(xiàn)任意 非 線性 關(guān) 系的 映射 9, 本 文 采 用 3層 BP 神經(jīng)網(wǎng)絡(luò) 對(duì) 系統(tǒng) 進(jìn)行 辨識(shí) 。 神經(jīng)網(wǎng)絡(luò) 隱層 的 層 數(shù) 和 神經(jīng) 元 個(gè)數(shù)對(duì) 系統(tǒng) 辨識(shí) 影響 較 大, 如果層 數(shù) 和 神經(jīng) 元 個(gè)數(shù)設(shè) 置 較 大, 會(huì) 增 大 運(yùn) 算量, 降低 效率 ; 設(shè) 置 較 小 又 會(huì) 影響 模型的 精 度 。一 般當(dāng) 輸 入 層 神經(jīng) 元 數(shù) 為 n , 隱層 神經(jīng) 元 個(gè)數(shù)取 經(jīng)驗(yàn) 值 2n

15、+1, 如果 辨識(shí) 的模型 效果 不 好 , 再 對(duì) 神經(jīng)網(wǎng) 絡(luò)進(jìn)行 訓(xùn)練 , 根 據(jù) 步長 和 誤 差 結(jié) 果 確 定 適 當(dāng) 的 隱層層 數(shù) 和 神經(jīng) 元 個(gè)數(shù) 。下 面 以 一 個(gè) 實(shí) 例 說明 辨識(shí) 的過程,已知 單 輸 入 單 輸 出 系統(tǒng), 輸 入 /輸 出 樣 本 信 號(hào) 為 X , Y , 從中 取 一 組 作 為 訓(xùn)練 樣 本 P 0, T 0, 剩 下的 作 為 仿真樣 本 x , y 。 1 根 據(jù) 經(jīng)驗(yàn)先 設(shè)定 隱層 神經(jīng) 元 個(gè)數(shù) 為 3, 建立 3層 BP 神經(jīng)網(wǎng)絡(luò) :net=newff(minmax(P 0,3,1, tansig , purelin , trai

16、nlm , learngdm , mse ; 2 設(shè)定訓(xùn)練 步 數(shù) 、 性能 參 數(shù) 、學(xué) 習(xí)速率 和最大 訓(xùn)練 時(shí) 間 等 ;3 取訓(xùn)練 樣 本對(duì) 剛 建立 的 網(wǎng)絡(luò)進(jìn)行 訓(xùn)練 、學(xué) 習(xí) :net=train(net, P0, T0 ;4 取 仿真 輸 入 樣 本 x , 對(duì)訓(xùn)練 網(wǎng)絡(luò)進(jìn)行 仿真 :辨 識(shí) 第 1期 107李忠良, 等 基于 新息 的 神經(jīng)網(wǎng)絡(luò)自適應(yīng) 卡爾曼濾波y =sim(net,x ; 5與 仿真 期 望樣 本 y 進(jìn)行 對(duì) 比 , 檢 驗(yàn) 系統(tǒng)的準(zhǔn) 確 性 , 如果誤 差 較 大, 重 新 設(shè) 置參 數(shù) 和 樣 本數(shù) 進(jìn)行 訓(xùn)練 , 直 到達(dá)到 滿 意 效果 。 神經(jīng)網(wǎng)

17、絡(luò)經(jīng) 過 訓(xùn)練后得 到精確 的 權(quán)值 和 閾值 , 而 各層 的 傳 遞 函 數(shù) 已知, 這 樣 就建立 了 系統(tǒng)的 數(shù) 學(xué)模 型, 繼 而 知 道 系統(tǒng)的 傳 輸 函 數(shù) ,通過 調(diào) 用 Matlab 內(nèi) 部 函 數(shù) tf2ss 可 以 得 到 系統(tǒng) 空間 狀 態(tài) 函 數(shù) 模型, 從而 得 到 A k 和 H k 。 2.2基于新息的噪聲協(xié)方差自適應(yīng)估計(jì) 在 Kalman 濾波 中 ,噪聲 協(xié) 方差 包括 過程噪聲 協(xié) 方 差 矩陣 Q 和測(cè)量噪聲 協(xié) 方差 矩陣 R , Q 和 R 的 精確度 直接影響 Kalman 的濾波 性能 , 本 文 采 用 新息來自適應(yīng) 估計(jì) Q 和 R 。 k

18、 時(shí)刻新息:。(8 k 時(shí)刻新息協(xié)方差: 。 (9 由 式(4和(7 得 到 Q k -1的 表 達(dá) 式, 穩(wěn) 定 濾波 時(shí) 均 方 誤 差估計(jì) 趨 于 0, 得 Q k -1近 似為:。 (10 將 式(9 代 入式(5 , 再代入 可化 簡為 , 從而 可得 基于 新息 的過程噪聲 協(xié) 方差 矩陣 Q 的 自適應(yīng) 估計(jì): 。 (11 由 式(9 變形即 可得 到 基于 新息 的測(cè)量噪聲 協(xié) 方 差 矩陣 R 的 自適應(yīng)估計(jì): 。 (12 根 據(jù) 式(11和(12 ,標(biāo)準(zhǔn) Kalman 濾波算法 可 以 改 寫 成 與 新息 相關(guān) 的 表 達(dá) 式。 這 樣 ,在 應(yīng) 用 時(shí) 就 間接 地處

19、理了 噪聲統(tǒng)計(jì) 帶 來 的 問題 , 再 結(jié)合 神經(jīng)網(wǎng)絡(luò) 辨識(shí) 的 精確 參 數(shù) A k 和 H k , 就 能 使 改進(jìn) 的 Kalman 濾波 實(shí)現(xiàn) 最 優(yōu) 估計(jì)。 3仿真結(jié)果 以 正 弦 波信 號(hào) y =sin t 作 為 仿真 對(duì) 象 ,在濾波 中 視 為 未 知模型。分 別 在模型 不精確 、噪聲特 性不精 準(zhǔn) 及 基于 新息神經(jīng)網(wǎng)絡(luò) Kalman 3個(gè) 條件下 進(jìn)行 仿真 , 結(jié) 果 如圖 14所示 。圖 1中 , a 是 原 始 的 純凈 的 正 弦 輸 入信 號(hào) (周 期 T =2, 幅 值 為 1 ,用于 仿真 對(duì) 比 ; b 是 加 入噪聲 污染 的 輸 入信 號(hào) ,用于模

20、 擬 現(xiàn)實(shí) 的 輸 入 環(huán)境 。圖 2是在系統(tǒng)模型 不精確 ,噪聲 協(xié) 方差 取 固 定值 時(shí) , 經(jīng) 過 Kalman 濾波 后 的 仿真 輸 出 波 形 。 由 圖 2可 知, 輸 出 信 號(hào) 中 有 明顯 的噪聲信 號(hào) , 無 法 讀 取 周 期,測(cè)量 出 幅 值 大 約只 有 0.8, 相 位也 發(fā) 生 了 一 定 的 偏 移 , 這 與 前 面 理論 分析的 結(jié) 果 相 符 。圖 3是 采 用 神經(jīng)網(wǎng)絡(luò) 對(duì) 系統(tǒng)模型 進(jìn)行 辨識(shí) ,噪聲 統(tǒng)計(jì)特 性 沒 有 進(jìn)行實(shí)時(shí) 修 正 , 取 某 一 時(shí)刻 的過程噪聲 和測(cè)量噪聲 協(xié) 方差 陣時(shí) , 經(jīng) 過 Kalman 濾波 后 的 仿真 輸

21、 出 波 形 。由 圖 3可 知, 輸 出 波 形 的 周 期 T=2, 幅 值 約 為 1.3, 相 位 未發(fā) 生 偏 移 。 顯 然 , 經(jīng) 過 Kalman 濾波 后 , 有 一 定 的 效果 。 輸 出 波 形 較 規(guī)則 , 也沒 有 明顯 的噪聲 污染現(xiàn)a 純凈 信 號(hào)b 加 噪聲信 號(hào) 圖 1輸入信號(hào) Fig. 1Input signals圖 2模型不精確時(shí)的 Kalman 輸出Fig. 2Kalman output of imprecise model圖 3噪聲協(xié)方差不精確時(shí)的 Kalman 輸出 Fig. 3Kalman output of imprecise noise co

22、variance1082011年湖 南 工 業(yè) 大 學(xué) 學(xué) 報(bào) 象 , 但 是 由 于 未 對(duì) 噪聲統(tǒng)計(jì)特 性自適應(yīng)調(diào)整 ,在 輸 出 波 形 峰 值 處 發(fā) 生 了明顯 的 失 真 。圖 4是用 BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行 系統(tǒng) 辨識(shí) 的 情況 下, 利 用 改進(jìn) 的基于 新息 Kalman 濾波 后 的 仿真 輸 出 波 形 。 由 圖 4可 知,濾波 后 的波 形比 較 平滑 , 輸 出 信 號(hào) 周 期 T =2,幅 值 為 1, 相 位 未發(fā) 生 偏 移 。 這 表 明 , 經(jīng) 過 Kalman 濾波 后 ,噪聲 得 到明顯 抑 制,濾波 性能 良 好 。 4結(jié)論本 文利 用 神經(jīng)網(wǎng)絡(luò) 良 好

23、 的系統(tǒng) 辨識(shí) 能 力 , 對(duì) 改進(jìn)的基于 新息自適應(yīng) Kal m an 濾波模型 參 數(shù) 進(jìn)行 修 正 。 Matlab 仿真 結(jié) 果 表 明 ,與 傳 統(tǒng)的模型 不 清晰 、噪聲特 性不明確時(shí) 的 Kalmam 濾波 相 比 , 改進(jìn) 后 的 Kalman 濾 波 輸 出 結(jié) 果 與 原 始 信 號(hào) 幾乎 相 同 ,濾波 性能明顯提 高 。 改進(jìn) 后 的算法 無 需 知 道 系統(tǒng)的 數(shù) 學(xué)模型,在 非 線 性 隨 機(jī)系統(tǒng) 中 也 不 需 要 進(jìn)行線性 化 , 直接 通過 BP 神經(jīng) 網(wǎng)絡(luò)進(jìn)行 暗 箱 建 模, 弱 化 了 Kalman 濾波的條件, 增 強(qiáng) 了 Kalman 濾波 應(yīng) 用的

24、 普適性 。 參考文獻(xiàn):1付夢(mèng)印 ,鄧志紅 , 張 繼 偉 . Kalman濾波 理論 及其 在 導(dǎo)航 系 統(tǒng) 中 的 應(yīng) 用 M. 北京 :科 學(xué) 出 版社 , 2003:2, 5.Fu Mengyin, Deng Zhihong, Zhang Jiwei. Kalman FilteringTheory and Its Application in Navigation SystemM.Beijing :Science Press, 2003:2, 5.2覃 方 君 , 許江寧 ,李 安 , 等 . 基于 新息自適應(yīng) 卡爾曼濾波的 加 速 度 計(jì)信 號(hào) 降 噪 J. 數(shù)據(jù) 采 集 與 處 理

25、 , 2009, 24(2:227-231.Qin Fangjun, Xu Jiangning, Li An, et al. Innovation-BasedAdaptive Kalman Filter for Accelerometer Signal De-NoisingJ. Journal of Data Acquisition and processing, 2009, 24(2:227-231.3王 向 華 , 覃 征,楊 新 宇 , 等 . 基于 兩 次 Kalman 濾波的 觀 測(cè)噪聲 自適應(yīng)調(diào)整 算法 J. 系統(tǒng)工程與 電子 技術(shù) , 2010,32(2:232-234.Wang

26、 Xianghua, Qin Zheng, Yang Xinyu, et al. AdaptiveAlgorithm for Adjusting Observation Noises Based on Double-Kalman FilterJ. System Engineering and Electronics, 2010, 32(2:232-234.4魯 平 ,趙 龍 , 陳 哲 . 改進(jìn) 的 Sage-Husa 自適應(yīng) 濾波 及 其 應(yīng) 用 J. 系統(tǒng) 仿真 學(xué)報(bào), 2007, 19(15:3503-3505.Lu Ping , Zhao Long, Chen Zhe. Improved Sage-HusaAdaptive Filtering and Its ApplicationJ. Journal of SystemSimulation , 2007, 19(15:3503-3505. 5EI Madbouly E E, Abdalla A E , EI Banby G M. FuzzyAdaptive Kalman Filter for Multi-Sensor SystemC/ IEEEConfer