梯度校正參數(shù)辯識方法課件

1、梯度校正參數(shù)辯識方法1.梯度校正參數(shù)辯識方法26.1 引言6.2 確定性問題的梯度校正參數(shù)辨識方法確定性問題的梯度校正參數(shù)辨識方法 6.3 隨機性問題的梯度校正參數(shù)辨識方法隨機性問題的梯度校正參數(shù)辨識方法6.4 6.4 狀態(tài)方程的參數(shù)辨識狀態(tài)方程的參數(shù)辨識 6.5 6.5 差分方程的參數(shù)辨識差分方程的參數(shù)辨識6.6 6.6 隨機逼近法隨機逼近法梯度校正參數(shù)辯識方法36.1 引言引言最小二乘類參數(shù)辯識遞推算法最小二乘類參數(shù)辯識遞推算法n新的參數(shù)估計值新的參數(shù)估計值=老的參數(shù)估計值老的參數(shù)估計值+增益矩陣增益矩陣 新息新息梯度校正參數(shù)辨識的遞歸算法的結構如同上式，但其基本梯度校正參數(shù)辨識的遞歸算法

2、的結構如同上式，但其基本思想與最小二乘類算法不同，它是通過沿著如下準則函數(shù)思想與最小二乘類算法不同，它是通過沿著如下準則函數(shù)的負梯度方向，逐步修正模型參數(shù)估計值，直至準則函數(shù)的負梯度方向，逐步修正模型參數(shù)估計值，直至準則函數(shù)達到最?。哼_到最小：其中其中 代表模型輸出與系統(tǒng)輸出的偏代表模型輸出與系統(tǒng)輸出的偏差。差。 min),(21)()()(2kkkJh h)()()(kkykT梯度校正參數(shù)辯識方法4本章主要討論的問題：本章主要討論的問題：n確定性問題的梯度校正參數(shù)辨識方法；確定性問題的梯度校正參數(shù)辨識方法；n隨機性問題的梯度校正參數(shù)辨識方法；隨機性問題的梯度校正參數(shù)辨識方法；n梯度校正參數(shù)辨

3、識方法在動態(tài)過程辨識梯度校正參數(shù)辨識方法在動態(tài)過程辨識中的應用；中的應用；n隨機逼近法。隨機逼近法。梯度校正參數(shù)辯識方法56.2 確定性問題的梯度校正參數(shù)辯識方法確定性問題的梯度校正參數(shù)辯識方法確定性問題的輸入和輸出都是可以準確的測量，沒有噪聲。確定性問題的輸入和輸出都是可以準確的測量，沒有噪聲。設過程的輸出設過程的輸出參數(shù)參數(shù) 的線性組合的線性組合n如果輸出如果輸出 和輸入和輸入 是可是可以準確測量的，則以準確測量的，則 式過程稱作確定性過程式過程稱作確定性過程)(tyN,21NNthththty)()()()(2211)(ty)(,),(),(21thththN梯度校正參數(shù)辯識方法6n確定

4、性過程確定性過程置置0TNTNthththth,)(,),(),()(2121過程過程 ( )h k( )y k梯度校正參數(shù)辯識方法7若過程參數(shù)的真值記作若過程參數(shù)的真值記作則則在離散時間點可寫成在離散時間點可寫成其中其中00)()(thtyT0)()(khkyTTNkhkhkhkh)(,),(),()(21梯度校正參數(shù)辯識方法8例如例如用差分方程描述的確定性過程用差分方程描述的確定性過程可以化成可以化成)() 1()(1nkyakyakyn)() 1(1nkubkubnnnbbbaaankukunkykykh,)(,),1(),(,),1()(2121梯度校正參數(shù)辯識方法9現(xiàn)在的問題現(xiàn)在的問

5、題如何利用輸入輸出數(shù)據(jù)如何利用輸入輸出數(shù)據(jù) 和和確定參數(shù)確定參數(shù) 在在 時刻的估計值時刻的估計值使準則函數(shù)使準則函數(shù)式中式中)(kh)(kyk)(kmin| ),(21| )()(2)(kkkJ)()(),(khkyk梯度校正參數(shù)辯識方法10解決上述問題的方法解決上述問題的方法可以是梯度校正法，通俗地說最速下降法可以是梯度校正法，通俗地說最速下降法沿著沿著 的負梯度方向不斷修正的負梯度方向不斷修正 值值直至直至 達到最小值達到最小值)(J)(k)(J梯度校正參數(shù)辯識方法11 梯度校正參數(shù)辨識方法的參數(shù)估計遞推形式可梯度校正參數(shù)辨識方法的參數(shù)估計遞推形式可以由下式給出以由下式給出 n - 維的對

6、稱陣，稱作加權陣維的對稱陣，稱作加權陣n - 準則函數(shù)準則函數(shù) 關于關于 的梯度的梯度)(|)()()() 1(kJgradkRkk)(Jgrad)(kRN)(J梯度校正參數(shù)辯識方法12n當準則函數(shù)當準則函數(shù) 取取 式時式時)(J)(2)(),(21|)(kkkddJgrad)(),(khkk)()()()(khkkhky梯度校正參數(shù)辯識方法13 式可寫成式可寫成 - - 確定性問題的確定性問題的梯度校正參數(shù)估計遞推公式梯度校正參數(shù)估計遞推公式n其中權矩陣的選擇至關重要，它的作用是用來控制其中權矩陣的選擇至關重要，它的作用是用來控制各輸入分量對參數(shù)估計值的影響程度。各輸入分量對參數(shù)估計值的影響

7、程度。)()()()()()() 1(kkhkykhkRkk梯度校正參數(shù)辯識方法14n權矩陣權矩陣 的作用是用來控制各輸入分量的作用是用來控制各輸入分量對參數(shù)估計的影響程度的，一般地，我們對參數(shù)估計的影響程度的，一般地，我們選擇權矩陣的形式為選擇權矩陣的形式為 n只要適當選擇只要適當選擇 ，就能控制各輸入分量，就能控制各輸入分量 對參數(shù)估計值的影響。例如，如果選擇對參數(shù)估計值的影響。例如，如果選擇n意味著輸入分量意味著輸入分量 對參數(shù)估計值的影對參數(shù)估計值的影響較響較 弱，顯然這種情況弱，顯然這種情況 對參數(shù)估對參數(shù)估計值的影響最小。如果選擇計值的影響最小。如果選擇 n則各輸入分量的加權值相同

8、，它們對參數(shù)則各輸入分量的加權值相同，它們對參數(shù)估計值的影響是相同的。估計值的影響是相同的。)(,),(),()()(21kkkdiagkckRN)(kR R)(kiNikii, 2 , 1; 10 ,)()(1khi)(khi)(khNIkkkdiagN)(,),(),(21梯度校正參數(shù)辯識方法15定理定理6.1: 確定性問題的梯度校正參數(shù)辨識確定性問題的梯度校正參數(shù)辨識方法的參數(shù)估計遞推公式為：方法的參數(shù)估計遞推公式為：并且權矩陣選取如下形式：并且權矩陣選取如下形式：)()()()()()() 1(kkkykkkkR Rhh)(,),(),()()(21kkkdiagkckNR R如何合理

9、地選擇權矩陣，由下面的定理給出。如何合理地選擇權矩陣，由下面的定理給出。梯度校正參數(shù)辯識方法16如果如果R (k)滿足如下條件：滿足如下條件：（1）（2）N個個 中至少存在一個中至少存在一個 ，使得，使得或或（3）), 2 , 1()(0NikHiL)() 1()()() 1()(kkkkkkiiimmm)() 1()() 1(kkkkiimmNiiikhkkc12)()(2)(0)(ki)(km梯度校正參數(shù)辯識方法17 （4） 與與 不正交不正交 那么不管參數(shù)估計值的初始值如何選那么不管參數(shù)估計值的初始值如何選取，參數(shù)估計值取，參數(shù)估計值 總是大范圍一致漸近總是大范圍一致漸近收斂的，即收斂的

10、，即注意：注意：條件條件1確定了權的選擇范圍，條件確定了權的選擇范圍，條件2是推導條件是推導條件3的前提，條件的前提，條件3是保證參數(shù)是保證參數(shù)估計全局一致收斂的條件。估計全局一致收斂的條件。 )(kh)(k0)(limkk)()(0kk梯度校正參數(shù)辯識方法證明思路證明思路根據(jù)定義，參數(shù)估計值的偏差為根據(jù)定義，參數(shù)估計值的偏差為可得可得)()(0kk)()()()() 1(kkhkhkIkR R設標量函數(shù)設標量函數(shù)NiiimkkkkkV12)()()(),(可以證明可以證明V是上述動態(tài)方程的是上述動態(tài)方程的Lyapunov 函數(shù)，利用函數(shù)，利用Lyapunov穩(wěn)定性定理可以證明，當條件（穩(wěn)定性

11、定理可以證明，當條件（2）、（）、（3）成立時，上述方程在平衡狀態(tài)成立時，上述方程在平衡狀態(tài) 點上是大范圍一點上是大范圍一致漸近穩(wěn)定的。致漸近穩(wěn)定的。0)(k梯度校正參數(shù)辯識方法（a） ，對于所有的，對于所有的 ；（b） ，對于所有的，對于所有的 ；（c）當）當 時，有時，有 ；（d） ，對，對所有的所有的 。 由定理給定的條件可知（由定理給定的條件可知（a）、（）、（b）和（）和（c）一）一定滿足。定滿足。0),(kkV0 0)(k0),(kkV0 0)(k)(k),(kkV0),( 1),1(,kkVkkVkV0 0)(k梯度校正參數(shù)辯識方法20權矩陣的選擇權矩陣的選擇 一般的選擇一般的選

12、擇或者或者20)(,),(),()()()(2112ckkkdiagkhkckRNNiii2)()(khckRI I梯度校正參數(shù)辯識方法21最佳權矩陣的選擇（最佳權矩陣的選擇（Lyapunov最佳權矩陣）最佳權矩陣） )(,),(),()()(1)(2112kkkdiagkhkkNNiiiR R梯度校正參數(shù)辯識方法22 注意注意n權矩陣權矩陣 的作用是控制各輸入分量對參數(shù)估的作用是控制各輸入分量對參數(shù)估計的影響程度；計的影響程度；n若若 與與 正交，或正交，或k大于一定的值后大于一定的值后 與與 正交，則得不到全局穩(wěn)定性，即正交，則得不到全局穩(wěn)定性，即 時，時， 不趨于零。不趨于零。)(kR

13、R)(k)(kh)(k)(khk)(k梯度校正參數(shù)辯識方法236.3 隨機性問題的梯度校正參數(shù)辯識方法隨機性問題的梯度校正參數(shù)辯識方法n隨機性問題的提法隨機性問題的提法n確定性問題的梯度校正法與其他辯識方法相比確定性問題的梯度校正法與其他辯識方法相比n最大的優(yōu)點：計算簡單最大的優(yōu)點：計算簡單n缺點：如果過程的輸入輸出含有噪聲，這種方法不能用缺點：如果過程的輸入輸出含有噪聲，這種方法不能用n隨機性問題的梯度校正法隨機性問題的梯度校正法n特點：計算簡單，可用于在線實時辯識特點：計算簡單，可用于在線實時辯識n缺陷：事先必須知道噪聲的一階矩和二階矩統(tǒng)計特性缺陷：事先必須知道噪聲的一階矩和二階矩統(tǒng)計特性

14、梯度校正參數(shù)辯識方法24隨機性問題隨機性問題梯度校正參數(shù)辯識方法25n設過程的輸出設過程的輸出n模型參數(shù)模型參數(shù) 的線性組合的線性組合n輸入輸出數(shù)據(jù)含有測量噪聲輸入輸出數(shù)據(jù)含有測量噪聲)(kyN,21NNkhkhkhky)()()()(2211Nikskhkxkwkykziii, 2 , 1),()()()()()(梯度校正參數(shù)辯識方法26n其中其中n 和和 為零均值的不相關隨機噪聲為零均值的不相關隨機噪聲)(kw)(ksijijiksksEsiji, 0,)()(2梯度校正參數(shù)辯識方法27置置則則NNNNkskskskskhkhkhkhkxkxkxkx,)(,),(),()()(,),(),

15、()()(,),(),()(21212121)()()()()()(kwkhkzkskhkx梯度校正參數(shù)辯識方法28現(xiàn)在的問題現(xiàn)在的問題利用輸入輸出數(shù)據(jù)利用輸入輸出數(shù)據(jù) 和和確定參數(shù)確定參數(shù) 在在 時刻的估計值時刻的估計值使準則函數(shù)使準則函數(shù)其中其中)(kx)(kzk)(kmin| ),(21| )()(2)(kkkJ)()(),(kxkzk梯度校正參數(shù)辯識方法29隨機性辨識問題的分類隨機性辨識問題的分類第一類隨機性辨識問題第一類隨機性辨識問題要求測量噪聲要求測量噪聲w(k)是統(tǒng)計獨立的是統(tǒng)計獨立的)(ks)(kz)( kh)( kx)( ky)( kz)( kx)(kz)(k)( kw)(

16、kh)(ks)( ky)( kw)( kz)(kz)(kz)(k)( kx)( kx梯度校正參數(shù)辯識方法30 此問題滿足以下條件此問題滿足以下條件（1） ；即；即 與與 相互獨立，相互獨立， 的方差不必已知；的方差不必已知；（2） ， 為正定為正定常數(shù)矩陣，不必已知；常數(shù)矩陣，不必已知；（3）輸入向量的測量噪聲）輸入向量的測量噪聲 是零均值，協(xié)方差是零均值，協(xié)方差為為 的不相關離散隨機向量，且與的不相關離散隨機向量，且與 和和 是統(tǒng)計獨立的。即是統(tǒng)計獨立的。即0)()(kwkEh h)(kh h)(kw)(kw)()( )()()(kkEkkkEh hh hh hh h0)()(0)()()(

17、,)()(0)(22221kkEkwkEdiagkkEkEssssNs sh hs ss ss ss s已知)(kss)(kh)(kw梯度校正參數(shù)辯識方法31 第二類問題第二類問題測量噪聲測量噪聲w(k)中有一部分分量與中有一部分分量與h(k)是相關是相關的。的。)(ks)(kz)( kh)( kx)( ky)( kz)( kx)(kz)(k)( kw)( kwd)( kwm)( kr)( kr)(ks)( kh)( kx)( kx)( ky)( kw)(k)(kz)(kz)( kz)( kwm)( kwd梯度校正參數(shù)辯識方法32 此問題滿足以下條件此問題滿足以下條件（1） ；其中；其中 是測

18、量噪聲是測量噪聲 ， 是擾動噪聲，擾動噪聲通過動態(tài)環(huán)節(jié)與是擾動噪聲，擾動噪聲通過動態(tài)環(huán)節(jié)與 相關。已相關。已知知 ，其方差不必先知。，其方差不必先知。（2） ， 為正定常為正定常數(shù)矩陣，不必已知；數(shù)矩陣，不必已知；（3）輸入向量的測量噪聲）輸入向量的測量噪聲 是零均值，協(xié)方差為是零均值，協(xié)方差為 的不相關離散隨機向量，且與的不相關離散隨機向量，且與 和和 是統(tǒng)計獨立的。是統(tǒng)計獨立的。即即0)()(0)()()(,)()(0)(22221kkEkwkEdiagkkEkEssssNs sh hs ss ss ss s已知)()()(kwkwkwdm)(kwm)(kwd)(kh h0)(kwE)()

19、( )()()(kkEkkkEh hh hh hh h)(kss)(kh)(kw梯度校正參數(shù)辯識方法33第三類隨機性辨識問題第三類隨機性辨識問題此問題不僅此問題不僅 與與 相關，而且相關，而且 也和也和 相關。相關。)(kw)(kh h)(kh h)(k梯度校正參數(shù)辯識方法第三類隨機性辨識問題第三類隨機性辨識問題34)(ks)(kz)( kh)( kx)( ky)( kz)( kx)(kz)(k)( kw)( kwd)( kwm)( kr)( kr)(ks)( kh)( kx)( kx)( ky)( kw)(k)(kz)(kz)( kz)( kwm)( kwd)(k梯度校正參數(shù)辯識方法35隨機

20、性問題的梯度校正參數(shù)辨識方法隨機性問題的梯度校正參數(shù)辨識方法基本思想與確定性問題一樣，也是利用最速下降基本思想與確定性問題一樣，也是利用最速下降法原理，從給定的初始值法原理，從給定的初始值 出發(fā)，沿著準則函出發(fā)，沿著準則函數(shù)數(shù) 的負梯度方向修正參數(shù)估計值的負梯度方向修正參數(shù)估計值 ，直至，直至準則函數(shù)準則函數(shù) 達到最小值達到最小值 ?；竟剑??；竟剑?（A）注意，此式給出的參數(shù)估計是漸近有偏估計，注注意，此式給出的參數(shù)估計是漸近有偏估計，注意步長選擇的原則是使第一、二類隨機性辨識問意步長選擇的原則是使第一、二類隨機性辨識問題的條件（條件方差）：題的條件（條件方差）： 滿足。滿足。)()(

21、)()()()()(kkkzkkklkx xx xR R)()( )()()(kkEkkkEh hh hh hh h)0()(J)(k)(J)(J梯度校正參數(shù)辯識方法36定理定理6.2：對于第二類隨機性辨識問題，利用：對于第二類隨機性辨識問題，利用（A）式所獲得的參數(shù)估計值是漸近有偏的估）式所獲得的參數(shù)估計值是漸近有偏的估計值，即：計值，即：其中：其中： 是過程的真實參數(shù)，且是過程的真實參數(shù)，且0021)()()(limTkEsk)()( )()()(,)()()()(222221kkEkkkEdiagkkEkwkETNssssh hh hh hh hs ss sh h0梯度校正參數(shù)辯識方法3

22、7推論推論6.1：對于第一類隨機性辨識問題，當輸入：對于第一類隨機性辨識問題，當輸入向量不含測量噪聲時，利用（向量不含測量噪聲時，利用（A）式所獲得的）式所獲得的參數(shù)估計值是漸近無偏的估計值，即參數(shù)估計值是漸近無偏的估計值，即0)(limkEk梯度校正參數(shù)辯識方法381.第一類隨機性辨識問題的梯度校正漸近第一類隨機性辨識問題的梯度校正漸近無偏估計算法無偏估計算法由第一類問題的條件，由第一類問題的條件， 有，因此有，因此而而02T01)()(limskkE)()()()()(0kEkRkRkElkEs因此，修正（因此，修正（A）式，在（）式，在（A）式的右邊增加一項）式的右邊增加一項 )()(k

23、kRs)()()()(0kEkRkElkE梯度校正參數(shù)辯識方法39此時有：此時有：即即 是是 的漸近無偏估計。由此可以得到第一的漸近無偏估計。由此可以得到第一類隨機性辨識問題的梯度校正漸近無偏估計算類隨機性辨識問題的梯度校正漸近無偏估計算法如下：法如下： （P）注意：注意： 是已知的，是已知的，l步長的選擇必須滿足條件步長的選擇必須滿足條件（2）。）。 0)(limkEk)(k0)()()()()()()()(kkkzkkRkkRlksx xx xI Is梯度校正參數(shù)辯識方法402. 第二類隨機性辨識問題的梯度校正漸近無第二類隨機性辨識問題的梯度校正漸近無偏估計算法偏估計算法由第二類問題的條件

24、，有由第二類問題的條件，有 ，為了獲得參數(shù)，為了獲得參數(shù)的漸近無偏估計，必須在（的漸近無偏估計，必須在（A）式中增加兩項，）式中增加兩項，即需要增加即需要增加 ： 和和 兩項。于是可得兩項。于是可得第二類隨機性辨識問題的梯度校正漸近無偏估計第二類隨機性辨識問題的梯度校正漸近無偏估計算法如下：算法如下：注意：此時要求注意：此時要求 和和 已知。已知。02T)()(kkRs2)(TkR)()()()()()()()()(2kkkzkkRTkRkkRlksx xx xI Is)()(2kwkETh h（B） 梯度校正參數(shù)辯識方法41如果如果 與與 之間具有以下的線性關系：之間具有以下的線性關系：其中

25、：其中： 是是N維向量，維向量，M是是n階方陣。階方陣。 此時可用此時可用 來估計來估計 ，即取，即取 ，由此，由此，（B）式可以寫成：）式可以寫成：此時有：此時有：因此（因此（C）式可以作為第二類隨機性辨識問題的梯度校正漸近）式可以作為第二類隨機性辨識問題的梯度校正漸近無偏估計算法，此時的無偏估計算法，此時的 和和M為參變量，由實際問題可以唯為參變量，由實際問題可以唯一確定。一確定。02MT)(kM2T)(2kMT)()()()()()()()()()(kkkzkkRkRkMkRkRlksx xx xI I0)(limkEk0)()(2kwkETh h（C） 梯度校正參數(shù)辯識方法423. 步

26、長間隔的選擇步長間隔的選擇選擇的基本原則：選擇的基本原則：使輸入向量使輸入向量 與參數(shù)估計值與參數(shù)估計值 不相關。不相關。由估計式（由估計式（P）和（）和（C），我們有：），我們有：其中其中 代表函數(shù)關系代表函數(shù)關系 當當 時：時：當當 時時 )(kh h)(k)(),(),(),()(kwkkkflks sh h)(f0k)0(),0(),0(),0()0(),0(),0(),0()(1wgwfls sh hs sh hlk )(),(),(),0(),0(),0(),0()(),(),(),0(),0(),0(),0()(),(),(),()2(2lwllwglwllwflwlllfls

27、sh hs sh hs sh hs sh hs sh h梯度校正參數(shù)辯識方法43以此類推，得到：以此類推，得到：由此可知，由此可知， 時刻的參數(shù)估計值時刻的參數(shù)估計值 與時刻與時刻 以前的信息，即輸入向量以前的信息，即輸入向量 、輸入測量噪、輸入測量噪聲聲 及輸出測量噪聲及輸出測量噪聲 是相關的。是相關的。)(),(),(,),0(),0(),0(),0()(),(),(),()(lmlwlmllmlwglmlwlmllmllmlfmlms sh hs sh hs sh hmlk )(klk )(,),0(lk h hh h)(,),0(lk s ss s)(,),0(lkww梯度校正參數(shù)辯識

28、方法44由此，選擇步長間隔由此，選擇步長間隔l使輸入向量使輸入向量 與參數(shù)估計值與參數(shù)估計值 不相關的問題，可以轉變成選擇步長間隔不相關的問題，可以轉變成選擇步長間隔l使使 與時刻與時刻 以前的信息不相關的問題。以前的信息不相關的問題。根據(jù)第一、二類隨機性辨識問題的條件，已知根據(jù)第一、二類隨機性辨識問題的條件，已知 與與 時刻以前的時刻以前的 和和 是不相關的，所以只是不相關的，所以只要選擇要選擇l，使得，使得 與與 不相關，就可以使得條件（不相關，就可以使得條件（2）成立，保證估計式（成立，保證估計式（P）和（）和（C）都是漸近無偏估計）都是漸近無偏估計。)(kh h)(k)(kh h)(l

29、k )(kh h)(lk )(is slkiiw, 2 , 1),()(kh h)(lk h h梯度校正參數(shù)辯識方法45結論：選擇結論：選擇l，必須使得輸入向量，必須使得輸入向量 與與 統(tǒng)計不相關。統(tǒng)計不相關。一般做法：過程是一般做法：過程是n階的差分方程形式，則步階的差分方程形式，則步長長l選擇不能低于階次選擇不能低于階次n。)(kh h)(lk h h梯度校正參數(shù)辯識方法464.權矩陣的選擇權矩陣的選擇估計式（估計式（P）和（）和（C）是第一、二類隨機性辨識問題的漸）是第一、二類隨機性辨識問題的漸近無偏估計式，只要選擇步長近無偏估計式，只要選擇步長l，使得，使得 與與 不相不相關即可。但此

30、時估計式并不是均方一致估計或依概率一關即可。但此時估計式并不是均方一致估計或依概率一致估計，即有：致估計，即有：但但 (D)兩式不一定成立。兩式不一定成立。 0)(limkEk1)(lim)(lim0200 0kPkEkk)(kh h)(lk h h梯度校正參數(shù)辯識方法47問題：如何選擇權矩陣使得（問題：如何選擇權矩陣使得（D）式成立？）式成立？定理定理6.3：假設步長選擇滿足：假設步長選擇滿足 與與 不不相關，且相關，且如果權矩陣選擇如下形式如果權矩陣選擇如下形式 )()()( )()()()()(2222kkwkEkkkkEkwEx xx xx xx x)(kh h)(lk h h)(,)

31、,(),()()(21kkkdiagkckRN（E）梯度校正參數(shù)辯識方法48滿足：滿足：則由（則由（P）和（）和（C）給出的參數(shù)估計值）給出的參數(shù)估計值 在在均方意義下一致收斂或依概率均方意義下一致收斂或依概率1收斂。收斂。121)(,)(0)(lim, 0)(dim, 2 , 1,)(0kkkHiLkckckckkcNNik)(lk 梯度校正參數(shù)辯識方法49注意：注意：n條件（條件（E）是比較弱的條件，一般問題都）是比較弱的條件，一般問題都能滿足；能滿足；n 中的中的 可取可取n可以分段選擇可以分段選擇 ，加快收斂速度。，加快收斂速度。)(kR)(kc0, 121,1)(kpkkcp)(kR

32、梯度校正參數(shù)辯識方法506.4 狀態(tài)方程的參數(shù)辨識（梯度校正法）狀態(tài)方程的參數(shù)辨識（梯度校正法）要解決的關鍵問題：為了處理第二類隨機辨識問題，要解決的關鍵問題：為了處理第二類隨機辨識問題，其梯度校正漸近無偏遞推估計算法為：其梯度校正漸近無偏遞推估計算法為：其中：其中： ，用，用 來估計來估計 ，其中其中 ，因此如何選擇參變量，因此如何選擇參變量 和方和方陣陣M是用此方法的關鍵。是用此方法的關鍵。)()()()()()()()()()(kkkzkkRkRkMkRkRlksx xx xI I)()(2kwkETh h)(kM2T02MT梯度校正參數(shù)辯識方法51考慮考慮SISO過程，狀態(tài)方程描述如下

33、：過程，狀態(tài)方程描述如下： （A）其中：其中：)()()()()() 1(kkykkukAkx xc cd db bx xx x121100001000010aaaaAnnn0, 0, 1 ,2121c cd db bnndddbbb 為均值為零，方差為為均值為零，方差為 的白噪聲；的白噪聲； 為噪聲模型的參為噪聲模型的參數(shù)，為已知；數(shù)，為已知； 和和 為未知待辨識的參數(shù)。為未知待辨識的參數(shù)。)(k2d dAb b梯度校正參數(shù)辯識方法52設輸入、輸出變量設輸入、輸出變量 和和 對應的測量值可以記對應的測量值可以記為：為：其中：其中： 和和 分別為均值為零、方差為分別為均值為零、方差為 和和 的

34、的白噪聲，且白噪聲，且 和和 統(tǒng)計獨立。統(tǒng)計獨立。)(ku)(ky)()()()()()(kskukxkwkykz)(ks)(kw2s2w)(kw)(ks s梯度校正參數(shù)辯識方法53將狀態(tài)方程（將狀態(tài)方程（A）變換為差分方程，我們有：）變換為差分方程，我們有：其中：其中：)() 1()() 1()() 1()(111nkdkdnkbkubnkyakyakynnnb bb bPbbbn,21d dd dPdddn,211011121121aaaaaaPnn梯度校正參數(shù)辯識方法54若記：若記：則有：則有： )(,),1()()()()() 1()()()(,),1(),(,),1()(,)(,),

35、1(),(,),1()()(,),1(),(,),1()(111nkkkkkwnkdkdkwkenksksnkwkwkbbaankxkxnkzkzknkukunkykyknnnd ds sx xh h)()()()()()(kekkzkkkh hs sh hx x梯度校正參數(shù)辯識方法55這樣就將狀態(tài)方程模型辨識問題化為第二類隨機這樣就將狀態(tài)方程模型辨識問題化為第二類隨機梯度校正參數(shù)辨識問題，因此可得參數(shù)的漸近無梯度校正參數(shù)辨識問題，因此可得參數(shù)的漸近無偏估計算法：偏估計算法：)()()()()()()()()()(kkkzkkRkRkMkRkRlksx xx xI I)2()2(2200)()

36、(nnnsnwsIIkkEs ss snikkkpkkkdiagkkRHiLnp2 , 2 , 1,)()()(0, 121)(,),(),(1)(221并且參變量并且參變量 和方陣和方陣M滿足：滿足：02)()(h hMkekET梯度校正參數(shù)辯識方法 注意：向量注意：向量 可由輸入、輸出測量數(shù)據(jù)可由輸入、輸出測量數(shù)據(jù) 和和 獲得；步長獲得；步長l取大于取大于n的值，以保證的值，以保證 和和 不相關。不相關。)(kx x)(x)(z)(kh h)(lk h h梯度校正參數(shù)辯識方法下面討論參變量下面討論參變量 和方陣和方陣M的具體求法的具體求法:(1) 求解狀態(tài)方程（求解狀態(tài)方程（A）得：）得：

37、及輸出變量及輸出變量kiikkiiuAAk1)1() 1()0()(d db bx xx xkiikkiiuAAky1)1() 1()0()(d db bc cx xc c梯度校正參數(shù)辯識方法58(2) 確定確定 與與 的函數(shù)關系。的函數(shù)關系。由（由（B）及（）及（1）的結果，注意到白噪聲）的結果，注意到白噪聲 和和 的統(tǒng)計特性，我們有：的統(tǒng)計特性，我們有：)(kw)(kd dd dd dc c0 , 0 , 0)() 1()() 1(2111121112211121212111niiiiniiniiiniinkiikdddddddPdddkiEAkekyE)()(kekEh h0梯度校正參數(shù)

38、辯識方法d dd dd dc c0 , 0 , 0 , 0 )() 1()() 2(3111131212121222122212212niiiiniiniiiniiiniinkiikdddddddddPdddkiEAkekyEd dd dd dc c0 , 0 , 0 , 0)() 1()() 1(11211121121212111iiiiiniiinnkiinkdddddddPdkiEAkenkyE0)()(kenkyE梯度校正參數(shù)辯識方法將上面的式子寫成矩陣形式，即有：將上面的式子寫成矩陣形式，即有： 其中：02)()(h hMkekET1)2(1112121112niniiniiinii

39、idddddd0 0梯度校正參數(shù)辯識方法0000001121133112121123122111122iiiniiniiiniiiniiniiiniiiniidddddddddddddM梯度校正參數(shù)辯識方法n上面的矩陣上面的矩陣M為為2n階對稱矩陣，并且可階對稱矩陣，并且可由噪聲模型參數(shù)向量由噪聲模型參數(shù)向量 唯一確定，參數(shù)唯一確定，參數(shù) 亦可由噪聲模型參數(shù)向量亦可由噪聲模型參數(shù)向量 唯一確定。唯一確定。d dd d梯度校正參數(shù)辯識方法7.5 差分方程的參數(shù)辨識差分方程的參數(shù)辨識下面直接辨識差分方程模型：下面直接辨識差分方程模型：所有關于噪聲的假設同上一節(jié)，并且噪聲模型的所有關于噪聲的假設同上

40、一節(jié)，并且噪聲模型的參數(shù)已知，同上一節(jié)的推導過程一樣，由：參數(shù)已知，同上一節(jié)的推導過程一樣，由：)() 1()() 1()() 1()(111nkdkdnkbkubnkyakyakynnnkiikiiuAAky1)1() 1()0()(d db bc cx xc c梯度校正參數(shù)辯識方法因此，有：因此，有：d dd dd dc cd dd dc c1132211111110 ,)() 1()() 1()() 1(PddddkiEPAkiEAkekyEnnkiikkiik梯度校正參數(shù)辯識方法d dd dd dc cd dd dc c143221122120 , 0 ,)() 1()() 1()()

41、2(PdddkiEPAkiEAkekyEnkiikkiik梯度校正參數(shù)辯識方法d dd dd dc cd dd dc c1211111110 , 0 , 0 , 0 ,)() 1()() 1()() 1(PdkiEPAkiEAkenkyEnnkiinknkiink梯度校正參數(shù)辯識方法最后，我們得到：最后，我們得到：1)2(11431132220, 0 ,0, 0 ,0 ,)()(nnnnnPdPdddPddddkekET0 0d dd dd dh h梯度校正參數(shù)辯識方法注意：當注意：當 時，上式時，上式 不能化為待辨識參數(shù)不能化為待辨識參數(shù)的線性形式，因此不能確定參變量的線性形式，因此不能確定

42、參變量 和方陣和方陣M。此時，如果在上式中，利用。此時，如果在上式中，利用 代替代替P，則直接用以下算法：，則直接用以下算法：估計模型參數(shù)估計模型參數(shù) 。3n2T)(kPP)()()()()()()()()(2kkkzkkRTkRkkRlksx xx xI I梯度校正參數(shù)辯識方法n當當 ，上式，上式 可以化為待辨識參數(shù)的線性可以化為待辨識參數(shù)的線性形式，因此可以利用算法形式，因此可以利用算法 n估計模型參數(shù)估計模型參數(shù) 。3n2T)()()()()()()()()()(kkkzkkRkRkMkRkRlksx xx xI I梯度校正參數(shù)辯識方法例如：當例如：當 時，我們有：時，我們有：因此有：因

43、此有：3n133211212121111122111121,101001,101001ddadadaddaddPaaaaPaaaPd dd dh hMddddaddddPdPddkekET000000000, 0 ,0 ,)()(31311322121313222梯度校正參數(shù)辯識方法其中：0 , 0 , 0 , 0 ,3132212dddddd0000000000031ddM,321321bbbaaa梯度校正參數(shù)辯識方法727.5 隨機逼近法隨機逼近法n隨機逼近法隨機逼近法n梯度校正法的一種類型梯度校正法的一種類型n頗受重視的參數(shù)估計方法頗受重視的參數(shù)估計方法梯度校正參數(shù)辯識方法73隨機逼近原

44、理隨機逼近原理n考慮如下模型的辯識問題考慮如下模型的辯識問題n - 均值為零的噪聲均值為零的噪聲n模型的參數(shù)辯識模型的參數(shù)辯識n通過極小化通過極小化 的方差來實現(xiàn)的方差來實現(xiàn)n即求參數(shù)即求參數(shù) 的估計值使下列準則函數(shù)達到極小值的估計值使下列準則函數(shù)達到極小值)()()(kekhkz)(ke)(ke)()(21)(21)(22khkzEkeEJ梯度校正參數(shù)辯識方法74n準則函數(shù)的一階負梯度準則函數(shù)的一階負梯度n令其梯度為零令其梯度為零)()()()(khkzkhEJ ( ) ( )( ) 0E h kz kh k 梯度校正參數(shù)辯識方法75原則上原則上n由由 式可以求得使式可以求得使 的參數(shù)估計值

45、的參數(shù)估計值n但，因為但，因為 的統(tǒng)計性質(zhì)不知道的統(tǒng)計性質(zhì)不知道n因此因此 式實際上還是無法解的式實際上還是無法解的min)(J)(ke梯度校正參數(shù)辯識方法76如果如果 式左邊的數(shù)學期望用平均值來近似式左邊的數(shù)學期望用平均值來近似則有則有這種近似使問題退化成最小二乘問題這種近似使問題退化成最小二乘問題0)()()(11LkkhkzkhLLkLkkzkhkhkh111)()()()(梯度校正參數(shù)辯識方法77研究研究 式的隨機逼近法解式的隨機逼近法解n設設 是標量，是標量， 是對應的隨機變量是對應的隨機變量n 是是 條件下條件下 的概率密度函數(shù)的概率密度函數(shù)n則隨機變量則隨機變量 關于關于 的條件

46、數(shù)學期望為的條件數(shù)學期望為n記作記作n它是它是 的函數(shù)，稱作的函數(shù)，稱作回歸函數(shù)回歸函數(shù)x)(xy)|(xypxyyx)|(|xyydpxyE|)(xyExhx梯度校正參數(shù)辯識方法78對于給定的對于給定的設下列方程，具有唯一的解設下列方程，具有唯一的解當當 函數(shù)的形式及條件概率密度函數(shù)函數(shù)的形式及條件概率密度函數(shù) 都不知道時，求上述方程的解析解是困難的，都不知道時，求上述方程的解析解是困難的，可以利用可以利用隨機逼近法求解。隨機逼近法求解。|)(xyExh)(xh)|(xyp梯度校正參數(shù)辯識方法79n隨機逼近法隨機逼近法n利用變量利用變量 及其對應的隨機變量及其對應的隨機變量n通過迭代計算通過

47、迭代計算n逐步逼近方程（逐步逼近方程（2929）式的解）式的解,21xx),(),(21xyxy梯度校正參數(shù)辯識方法80n常用的常用的迭代算法迭代算法nRobbins Robbins Monro Monro 算法算法nKiefer Kiefer Wolfowitz Wolfowitz 算法算法梯度校正參數(shù)辯識方法Robbins Robbins Monro Monro 算法算法n其中：其中： 稱為收斂因子。如果滿足：稱為收斂因子。如果滿足：n則由（則由（C）確定的）確定的 在均方意義下收斂于方在均方意義下收斂于方程（程（29）式的解。）式的解。 )()()() 1(kxykkxkx （D）121

48、)(;)(0)(lim;,0)(kkkkkkkk)(k)(kx（C）梯度校正參數(shù)辯識方法一般一般 ?。喝。?n另外：當滿足以下條件時另外：當滿足以下條件時n由（由（C）確定的滿足：）確定的滿足：)(kkabkkk)(;1)(0)(inf,0,)(,)();(,)(,)()()(2012121002xhxxxhxxxhxxdcxhxydpxhyxx1)(limPr0 xkxobk梯度校正參數(shù)辯識方法KieferWolfowitz算法：算法：n目的：確定回歸函數(shù)目的：確定回歸函數(shù) 的極值點。的極值點。n若收斂因子若收斂因子 滿足條件（滿足條件（D），則由（），則由（E）確）確定的收斂到回歸函數(shù)的極

49、值點。定的收斂到回歸函數(shù)的極值點。)()()() 1(kxdxdykkxkx)(k)(xh（E）梯度校正參數(shù)辯識方法n考察準則函數(shù)考察準則函數(shù) 的極值問題，若的極值問題，若 在點上在點上 取得極值取得極值 ，則，則 的迭代算法為：的迭代算法為：n若收斂因子滿足條件（若收斂因子滿足條件（D），則），則 在均方意在均方意義下收斂于真值義下收斂于真值 ，即，即)()()()() 1(kJkkk)(J)(J0)()(lim00kkEk0（F）)(k梯度校正參數(shù)辯識方法隨機逼近參數(shù)估計方法隨機逼近參數(shù)估計方法考察參數(shù)辨識問題：考察參數(shù)辨識問題：設準則函數(shù)為：設準則函數(shù)為：其中：其中： 為標量函數(shù)；為標量

50、函數(shù)； 表示時刻表示時刻k以前的輸入以前的輸入輸出數(shù)據(jù)集合。輸出數(shù)據(jù)集合。)()()(kekkzh h),()(khEJD D)(hkD D（G）梯度校正參數(shù)辯識方法準則函數(shù)的一階負梯度為：準則函數(shù)的一階負梯度為：則參數(shù)辨識問題（則參數(shù)辨識問題（G）可以歸結為求解以下方程）可以歸結為求解以下方程由隨機逼近原理，可得：由隨機逼近原理，可得：其中其中 為滿足條件（為滿足條件（D）的收斂因子。）的收斂因子。),(),()(kkhEJD Dq qD D0 0D Dq q),(k),1()() 1()(kkkkkD Dq q)(k梯度校正參數(shù)辯識方法若具體的準則函數(shù)?。喝艟唧w的準則函數(shù)取：n則有：則有：

51、n下面考察以下參數(shù)辨識問題：下面考察以下參數(shù)辨識問題：n其中：其中： 是均值為零，方差為是均值為零，方差為 的白噪聲的白噪聲，輸入輸出帶有噪聲，即，輸入輸出帶有噪聲，即)()(21)(21)(22h hkkzEkeEJ)1()()()()() 1()(kkkzkkkkh hh h)()()()()(11kvkuzBkyzA)()()()()()(kskukxkwkykz)(kv2v（H）梯度校正參數(shù)辯識方法n其中其中 和和 分別是均值為零，方差為分別是均值為零，方差為 和和 的白噪聲，并且的白噪聲，并且 、 、 和和 兩兩兩兩不相關，且不相關，且令：令：bbaannnnzbzbzbzBzazazazA2211122111)(1)()(ks)(kw2s2w)(kv)(ks)(kw)(ku)()()()()()(,)(,),1(),(,),1()(112121kvkszBkwzAkebbbaaankxkxnkzkzkbannbah h梯度校正參數(shù)辯識方法則模型（則模型（H）化為最小二乘格式：）化為最小二乘格式：其中的噪聲具有以下性質(zhì)：其中的噪聲具有以下性質(zhì)：取