遞推最小二乘辨識

1、 遞推最小二乘法遞推最小二乘法(RLS) 上一節(jié)中已經(jīng)給出了LS法的一次成批型算法,即在獲得所有系統(tǒng)輸入輸出檢測數(shù)據(jù)之后,利用LS估計式一次性計算出估計值. 成批型LS法在具體使用時不僅計算量大,占用內(nèi)存多,而且不能很好適用于在線辨識. 隨著控制科學(xué)和系統(tǒng)科學(xué)的發(fā)展,迫切需要發(fā)展一種遞推參數(shù)估計算法,以能實現(xiàn)實時在線地進行辨識系統(tǒng)模型參數(shù)以供進行實時控制和預(yù)報,如 在線估計 自適應(yīng)控制和預(yù)報 時變參數(shù)辨識 故障監(jiān)測與診斷 仿真等. 遞推辨識算法的思想可以概括成 新的參數(shù)估計值=舊的參數(shù)估計值+修正項 即新的遞推參數(shù)估計值是在舊的遞推估計值的基礎(chǔ)上修正而成,這就是遞推的概念. 遞推算法不僅可減少

2、計算量和存儲量,而且能實現(xiàn)在線實時辨識. 遞推算法的特性 本講主要講授遞推最小二乘(Recursive Least-square, RLS)法的思想及推導(dǎo)過程,主要內(nèi)容為: 遞推算法遞推算法 加權(quán)加權(quán)RLS法和漸消記憶法和漸消記憶RLS法法1 遞推算法遞推算法 遞推算法就是依時間順序,每獲得一次新的觀測數(shù)據(jù)就修正一次參數(shù)估計值,隨著時間的推移,便能獲得滿意的辨識結(jié)果. RLS法即為上一節(jié)的成批型LS算法的遞推化，即將成批型LS算法化成依時間順序遞推計算即可。 該工作是1950年由Plackett完成的。 下面討論無加權(quán)因素時的一般LS法的遞推算法的推導(dǎo). 即將成批型算法化LLLLY)(1LS等

3、效變換成如下所示的隨時間演變的遞推算法.新的參數(shù)估計值=舊的參數(shù)估計值+修正項 (1) 遞推算法具有良好的在線學(xué)習(xí)、自適應(yīng)能力，在 系統(tǒng)辨識 自適應(yīng)控制 在線學(xué)習(xí)系統(tǒng) 數(shù)據(jù)挖掘等方面有廣泛的應(yīng)用。 設(shè)在k-1時刻和k時刻,系統(tǒng)的參數(shù)估計結(jié)果為11111)() 1-(kkkkkYkkkkkY)()(1其中 和 分別為根據(jù)前k次和前k-1次觀測/采樣數(shù)據(jù)得到的LS參數(shù)估計值.LLLLY)(1LS)(k) 1-(k YL=y(1), y(2), ., y(L)T L= (0), (1), ., (L-1)T, L(na+nb),-,- )-(,),1-()-(,),1-() 1-(11bannbab

4、baankukunkykyk受控XAR模型：A(z-1)y(k)=B(z-1)u(k)+w(k)baniiiniiizbzzaz1111)(1)(BAYL= L +WLYk-1=y(1), y(2), ., y(k-1)Tk= (0), (1), ., (k-1)T= (k-1)T1kYk=y(1), y(2), ., y(k)T= y(k)T1kY11111)() 1-(kkkkkYkkkkkY)()(1q 首先,假定在第k-1次遞推中,我們已計算好參數(shù)估計值 在第k次遞推時,我們已獲得新的觀測數(shù)據(jù)向量 (k-1)和y(k),則記k-1= (0), (1), ., (k-2)T 仔細(xì)考察上述

5、LS法,可以知道,該算法進行遞推化的關(guān)鍵是算法中的矩陣求逆的遞推計算問題. 因此,下面先討論該逆矩陣的遞推計算.) 1-(k1 遞推算法遞推算法(4/12) 令 1-1 -1 -)1-()1-()(kkkkkP)2()()(1-kkkP將k展開,故有1-1 -1 -)1-() 1-(kkkk)3()1-() 1-() 1-(1-1-kkkP 為便于逆矩陣遞推算式的推導(dǎo),下面引入如下矩陣反演公式(設(shè)A和C為可逆方陣)(A+BCD)-1=A-1-A-1B(C-1+DA-1B)-1DA-1 (4) 該公式可以證明如下:由于(A+BCD)A-1-A-1B(C-1+DA-1B)-1DA-1=I-B(C-

6、1+DA-1B)-1DA-1+BCDA-1-BCDA-1B(C-1+DA-1B)-1DA-1=I-BI-C(C-1+DA-1B)+CDA-1B(C-1+DA-1B)-1DA-1=I因此,矩陣反演公式(4)成立.q 下面討論參數(shù)估計值 的遞推計算.由上一講的一般LS估計式 由式(3)和矩陣反演公式(4),可得P(k)的如下遞推計算式1)-() 1-()1-(1)-() 1-(1)1-(1)-(-1)-()(1kkkkkkkkkPPPPPkkkkkkkkYPY)()()(1-有)()()(1-kkkkYP(5)1)-() 1-(1)-() 1-(1) 1-() 1-(1)-(-kkkkkkkPPP

7、I該乘積為標(biāo)量)3()1-() 1-() 1-()(1-1-kkkkPP)(k(A+BCD)-1=A-1-A-1B(C-1+DA-1B)-1DA-1 即)() 1-()1-()()(1kykkkkkYP)() 1-() 1-()(1kykkkkYP)() 1-() 1-() 1-()(1kykkkkPP)() 1-() 1-()1-() 1-(-)()(1kykkkkkkPP)6()1-() 1-(-)()1-()() 1-(kkkykkkP利用公式)()()(1-kkkkYP利用公式P(k)=P-1(k-1)+(k-1)T(k-1)-1q 將式(5)和(6)整理可得如下RLS估計算法表示)8

8、(1)-() 1-(1)-() 1-(1) 1-() 1-(1)-(-)()7()1-() 1-(-)()1-()() 1-()(kkkkkkkkkkkykkkkPPPIPP其中的計算順序為先計算P(k),然后再計算 .)(k 有時,為計算方便并便于理解,上述RLS估計算法又可表示為)11() 1-(1)-() 1-(1) 1-(1)-()()10(1)-()1-()(-)()9()1-() 1-(-)()() 1-()(kkkkkkkkkkkkkykkkPPKPKIPK其中K(k)稱為增益向量；令 上述算法的計算順序為 先計算K(k-1), 然后再分別計算 和P(k-1).)(k)8(1)-

9、() 1-(1)-() 1-(1) 1-() 1-(1)-(-)()7()1-() 1-(-)()1-()() 1-()(kkkkkkkkkkkykkkkPPPIPP預(yù)報誤差，) 1-() 1-()( kkky 表示基于k-1時刻的歷史數(shù)據(jù)對y(k)的預(yù)報值。 值得指出的是矩陣P(k)是一個對稱、非增的矩陣. 若在遞推計算過程中破壞了P(k)的對稱性,隨著遞推的推進,計算(辨識)誤差將越來越大,并將導(dǎo)致辨識不一致收斂. 為了保證計算過程中P(k)矩陣始終是對稱的,算法中的P(k)的計算可采用下面的計算式,以保證不破壞P(k)矩陣的對稱性.)1-(1)-() 1-(1)()(-1)-()(kkk

10、kkkkPKKPP1)-()1-()(-)(kkkkPKIPq 綜上所述,RLS法的基本計算步驟可總結(jié)如下:1. 確定被辨識系統(tǒng)模型的結(jié)構(gòu),以及多項式A(z-1)和B(z-1)的階次;2. 設(shè)定遞推參數(shù)初值 ,P(0);3. 采樣獲取新的觀測數(shù)據(jù)y(k)和u(k),并組成觀測數(shù)據(jù)向量 (k-1);4. 用式(7)(8)或(9)(11)所示的RLS法計算當(dāng)前參數(shù)遞推估計值 ;5. 采樣次數(shù)k加1,然后轉(zhuǎn)回到第3步驟繼續(xù)循環(huán).0)()(kq 下面關(guān)于該RLS算法,有關(guān)于其實現(xiàn)問題的如下討論: 遞推初始值選取遞推初始值選取 成批成批LS與與RLS的比較的比較 信號充分豐富信號充分豐富與與系統(tǒng)充分激勵

11、系統(tǒng)充分激勵 數(shù)據(jù)飽和數(shù)據(jù)飽和A. 遞推初始值選取遞推初始值選取q 在遞推辨識中,如何選取遞推計算中的 和P(k)的初值是一個相當(dāng)重要的問題. 一般來說,有如下兩種選取方法:(1) 選取 各元素為零或較小的參數(shù),P(0)=I,其中為充分大的實數(shù)（1051010）;(2) 先將大于所需辨識的參數(shù)個數(shù)的L組數(shù)據(jù),利用成批型的LS法求取參數(shù)估計值 LS和協(xié)方差陣P(L),并將這些量作為遞推估計的初值.)(k)0(B. LS法和法和RLS法的比較法的比較q LS法和RLS法的比較 LS法是一次完成算法,適于離線辯識,要記憶全部測量數(shù)據(jù),程序長; RLS法是遞推算法,適于在線辯識和時變過程, 需要記憶的

12、數(shù)據(jù)少,程序簡單; RLS法用粗糙初值時,如若N(即樣本數(shù)少)較小時,估計精度不如LS法.C. 信號充分豐富與系統(tǒng)充分激勵信號充分豐富與系統(tǒng)充分激勵 對于所有學(xué)習(xí)系統(tǒng)與自適應(yīng)系統(tǒng),信號充分豐富(系統(tǒng)充分激勵)是非常重要的. 若系統(tǒng)沒有充分激勵,則學(xué)習(xí)系統(tǒng)與自適應(yīng)系統(tǒng)就不能一致收斂. 不一致收斂則意味著所建模型存在未建模動態(tài)或模型誤差較大,這對模型的應(yīng)用帶來巨大隱患. 如對自適應(yīng)控制,未建模動態(tài)可能導(dǎo)致系統(tǒng)崩潰. 為保證學(xué)習(xí)系統(tǒng)與自適應(yīng)系統(tǒng)一致收斂,則所產(chǎn)生的系統(tǒng)的學(xué)習(xí)樣本數(shù)據(jù)(系統(tǒng)輸入輸出信號)應(yīng)具有盡可能多的模態(tài),其頻帶要足夠?qū)?而且其信號強度不能以指數(shù)律衰減. 這樣才能保證系統(tǒng)具有充分激勵

13、,所測取的信號數(shù)據(jù)是充分豐富的,相關(guān)性矩陣P(k)不為病態(tài).D. 數(shù)據(jù)飽和數(shù)據(jù)飽和 在辨識遞推計算過程中,協(xié)方差矩陣P(k)隨著遞推的進程將衰減很快,此時算法的增益矩陣K(k)也急劇衰減,使得新數(shù)據(jù)失去對參數(shù)估計值的修正能力. 這種現(xiàn)象稱為數(shù)據(jù)飽和. 因此需要考慮修正方案,以保持新數(shù)據(jù)對參數(shù)估計值的一定的修正能力,使得能得到更準(zhǔn)確的參數(shù)估計值,或能適應(yīng)對慢時變參數(shù)的辨識. 避免數(shù)據(jù)飽和,適應(yīng)慢時變參數(shù)的修正方案主要有: 遺忘因子法遺忘因子法 通過對不同時刻的數(shù)據(jù)賦予一定的加權(quán)系數(shù),使得對舊數(shù)據(jù)逐漸遺忘,加強新數(shù)據(jù)對當(dāng)前辨識結(jié)果的影響,從而避免協(xié)方差矩陣P(k)與增益矩陣K(k)急劇衰減而失去對

14、參數(shù)估計的修正能力,使算法始終保持較快的收斂速度. 遺忘因子法在后面將重點討論. 協(xié)方差重調(diào)協(xié)方差重調(diào) 即在指定的時刻重新調(diào)整協(xié)方差矩陣P(k)至某一給定值,避免協(xié)方差矩陣P(k)與增益矩陣K(k)急劇衰減而失去對參數(shù)估計的修正能力,使算法始終保持較快的收斂速度. 協(xié)方差修正協(xié)方差修正 為了防止矩陣P(k)趨于零,當(dāng)參數(shù)估計值超過某閾值時,矩陣P(k)自動加上附加項Q,避免協(xié)方差矩陣P(k)急劇衰減. 限定記憶法限定記憶法 限定記憶法依賴于有限長度的數(shù)據(jù),每增加一個新的數(shù)據(jù)信息,就要去掉一個老數(shù)據(jù)的信息,數(shù)據(jù)長度始終保持不變. 限定記憶法通過兩步遞推過程來實現(xiàn): 一步遞推為將需要去掉的歷史數(shù)據(jù)

15、從辨識中通過遞推來將其影響去掉. 另一步即為前面介紹的RLS,其作用為根據(jù)新數(shù)據(jù)進行遞推辨識.2 加權(quán)加權(quán)RLS法和漸消記憶法和漸消記憶RLS法法q 前面討論了不考慮加權(quán)因素時的一般LS法的遞推算法. 若考慮到觀測數(shù)據(jù)的可信度和重要性以及噪聲分布w(k)對估計值的影響等,為得到較佳的參數(shù)估計值,在實時辨識中需引入 加權(quán)加權(quán)RLS法法和 漸消記憶漸消記憶RLS法法. 下面將不加推導(dǎo)的給出上述遞推算法,其具體推導(dǎo)過程作為作業(yè), 可仿照前面的一般RLS法的推導(dǎo)過程自己完成.一、加權(quán)遞推最小二乘法一、加權(quán)遞推最小二乘法q 考慮到補償各種因素對參數(shù)估計值的影響,設(shè)在第k次的加權(quán)因子取為k, 即加權(quán)矩陣為

16、k=diag1,2, ., k,此時加權(quán)RLS法為)14() 1-(1)-() 1-() 1-(1)-()()13( (0)1),-()1-()(-)()12()1-() 1-(-)()() 1()(1kkkkkkkkkkkkkykkkkPPKIPPKIPKq 加權(quán)RLS法的計算順序為先計算K(k),然后再分別計算 和P(k). 其算法步驟類似于上述的RLS法的算法步驟.其中協(xié)方差陣為1)()(kkkkP)(k二、帶遺忘因子的漸消記憶遞推最小二乘法二、帶遺忘因子的漸消記憶遞推最小二乘法q 在使用RLS法的實時辨識中,隨著k的增大,矩陣P(k)將逐漸趨近于零陣而出現(xiàn)數(shù)據(jù)飽和,即新數(shù)據(jù)將逐漸失去對

17、參數(shù)估計值的影響力. 此外,許多實際工程和社會系統(tǒng)的模型參數(shù)隨系統(tǒng)環(huán)境和內(nèi)外擾動而緩慢變化,為能跟蹤好這些緩慢時變的參數(shù),需逐步賜除老數(shù)據(jù)對估計值的影響. 因此上一節(jié)的RLS法并不適用于這類具有時變參數(shù)的系統(tǒng)的參數(shù)估計. 為降低老數(shù)據(jù)的影響力,增加新數(shù)據(jù)提供的信息量,下面引入帶遺忘因子的漸消記憶RLS法.q 在遞推計算過程中。每當(dāng)取得一組新數(shù)據(jù)，就把以前所有的數(shù)據(jù)都乘上一個加權(quán)因子,01,此時有： 令 則）15()1-() 1-() 1-()(11kkkkPP)16()() 1-() 1-() 1-()()() 1-() 1-()()(11kykkkkkykkkkkPPYPk= (k-1)T1kYk= y(k)T1kY21-1 -1 -)1-()1-()(kkkkkPq 類似于本講第一部分中的RLS法的推導(dǎo),有如下帶遺忘因子的漸消記憶RLS算法)19() 1-(1)-() 1-() 1-(1)-()()18(0)1),-()1-()(-1)()17()1-() 1-(-)()() 1-()(kkkkkkkkkkkkkykkkPPKIPPKIPK其中的計算順序和算法步驟