極大似然參數(shù)辨識(shí)方法

1、2 極大似然參數(shù)辨識(shí)方法極大似然參數(shù)估計(jì)方法是以觀測(cè)值的出現(xiàn)概率為最大作為準(zhǔn)則的，這是一種很普遍的參數(shù)估計(jì)方法，在系統(tǒng)辨識(shí)中有著廣泛的應(yīng)用。2.1 極大似然原理設(shè)有離散隨機(jī)過(guò)程與未知參數(shù)有關(guān)，假定已知概率分布密度。如果我們得到n個(gè)獨(dú)立的觀測(cè)值，則可得分布密度，,。要求根據(jù)這些觀測(cè)值來(lái)估計(jì)未知參數(shù)，估計(jì)的準(zhǔn)則是觀測(cè)值的出現(xiàn)概率為最大。為此，定義一個(gè)似然函數(shù) （2.1.1） 上式的右邊是n個(gè)概率密度函數(shù)的連乘，似然函數(shù)L是的函數(shù)。如果L達(dá)到極大值，的出現(xiàn)概率為最大。因此，極大似然法的實(shí)質(zhì)就是求出使L達(dá)到極大值的的估值。為了便于求，對(duì)式（2.1.1）等號(hào)兩邊取對(duì)數(shù)，則把連乘變成連加，即 （2.1.2

2、）由于對(duì)數(shù)函數(shù)是單調(diào)遞增函數(shù)，當(dāng)L取極大值時(shí)，lnL也同時(shí)取極大值。求式（2.1.2）對(duì)的偏導(dǎo)數(shù)，令偏導(dǎo)數(shù)為0，可得 （2.1.3）解上式可得的極大似然估計(jì)。 2.2 系統(tǒng)參數(shù)的極大似然估計(jì)設(shè)系統(tǒng)的差分方程為 （2.2.1）式中 因?yàn)槭窍嚓P(guān)隨機(jī)向量，故（2.2.1）可寫(xiě)成 （2.2.2）式中 （2.2.3） （2.2.4）是均值為0的高斯分布白噪聲序列。多項(xiàng)式，和中的系數(shù)和序列的均方差都是未知參數(shù)。設(shè)待估參數(shù) （2.2.5）并設(shè)的預(yù)測(cè)值為 （2.2.6）式中為預(yù)測(cè)誤差；，為，的估值。預(yù)測(cè)誤差可表示為 （2.2.7）或者 = （2.2.8）因此預(yù)測(cè)誤差滿足關(guān)系式 （2.2.9）式中假定預(yù)測(cè)誤差服

3、從均值為0的高斯分布，并設(shè)序列具有相同的方差。因?yàn)榕c，和有關(guān)，所以是被估參數(shù)的函數(shù)。為了書(shū)寫(xiě)方便，把式（2.2.9）寫(xiě)成 （2.2.10） （2.2.11）或?qū)懗?（2.2.12）令k=n+1,n+2,n+N,可得的N個(gè)方程式，把這N個(gè)方程式寫(xiě)成向量-矩陣形式 （2.2.13）式中 , , 因?yàn)橐鸭俣ㄊ蔷禐?的高斯噪聲序列，高斯噪聲序列的概率密度函數(shù)為 （2.2.14）式中y為觀測(cè)值，和m為y的方差和均值，那么 （2.2.15）對(duì)于符合高斯噪聲序列的極大似然函數(shù)為 （2.2.16）或 （2.2.17）對(duì)上式（2.2.17）等號(hào)兩邊取對(duì)數(shù)得 （2.2.18） 或?qū)憺?（2.2.19）求對(duì)的偏導(dǎo)

4、數(shù)，令其等于0，可得 （2.2.20）則 （2.2.21）式中 （2.2.22）越小越好，因?yàn)楫?dāng)方差最小時(shí)，最小，即殘差最小。因此希望的估值取最小 （2.2.23）因?yàn)槭剑?.2.10）可理解為預(yù)測(cè)模型，而e(k)可看做預(yù)測(cè)誤差。因此使式（2.2.22）最小就是使誤差的平方之和最小，即使對(duì)概率密度不作任何假設(shè)，這樣的準(zhǔn)則也是有意義的。因此可按J最小來(lái)求的估計(jì)值。由于e(k)式參數(shù)的線性函數(shù)，因此J是這些參數(shù)的二次型函數(shù)。求使最大的，等價(jià)于在式（2.2.10）的約束條件下求使J為最小。由于J對(duì)是非線性的，因而求J的極小值問(wèn)題并不好解，只能用迭代方法求解。求J極小值的常用迭代算法有拉格朗日乘子法和

5、牛頓-拉卜森法。下面介紹牛頓-拉卜森法。整個(gè)迭代計(jì)算步驟如下：(1)確定初始的值。對(duì)于中的可按模型 （2.2.24）用最小二乘法來(lái)求，而對(duì)于中的可先假定一些值。(2)計(jì)算預(yù)測(cè)誤差 （2.2.25）給出 并計(jì)算 （2.2.26）(3)計(jì)算J的梯度 和海賽矩陣 ,有 （2.2.27）式中 （2.2.28）即 （2.2.29）同理可得 （2.2.30） （2.2.31）將式（2.2.29）移項(xiàng)化簡(jiǎn)，有 （2.2.32）因?yàn)?（2.2.33）由求偏導(dǎo)，故 （2.2.34）將（2.2.34）代入（2.2.32），所以 （2.2.35）所以得 （2.2.36）同理可得（2.2.30）和（2.2.31）為

6、（2.2.37） （2.2.38）根據(jù)（2.2.36）構(gòu)造公式 （2.2.39）將其代入（2.2.36），可得 (2.2.40）消除可得 （2.2.41）同理可得（2.2.37）和（2.2.38）式 （2.2.42） （2.2.43）式（2.2.29）、式（2.2.30）和式（2.2.31）均為差分方程，這些差分方程的初始條件為0，可通過(guò)求解這些差分方程，分別求出e(k)關(guān)于的全部偏導(dǎo)數(shù)，而這些偏導(dǎo)數(shù)分別為，和的線性函數(shù)。下面求關(guān)于的二階偏導(dǎo)數(shù)，即 （2.2.44） 當(dāng)接近于真值時(shí)，e(k)接近于0。在這種情況下，式（2.2.44）等號(hào)右邊第2項(xiàng)接近于0，可近似表示為 （2.2.45）則利用式（2.2.45）計(jì)算比較簡(jiǎn)單。(4)按牛頓-拉卜森計(jì)算的新估值，有 （2.2.46）重復(fù)(2)至(4)的計(jì)算步驟，經(jīng)過(guò)r次迭代計(jì)算之后可得，近一步迭代計(jì)算可得 （2.2.47）如果 （2.2.48）則可停止計(jì)算，否則繼續(xù)迭代計(jì)算。式（2.2.48）表明，當(dāng)殘差方差的計(jì)算誤差小于