3.1最小二乘法

1、國防科學技術(shù)大學航天與材料工程學院國防科學技術(shù)大學航天與材料工程學院2011-11-5 參數(shù)估計是根據(jù)試驗測得的樣本推參數(shù)估計是根據(jù)試驗測得的樣本推斷未知參數(shù)的數(shù)值，包括參數(shù)估計斷未知參數(shù)的數(shù)值，包括參數(shù)估計準則準則和估計和估計算法算法。l 準則準則：最小二乘、最大似然、最小方差、最小風險、最：最小二乘、最大似然、最小方差、最小風險、最小預(yù)報均方誤差等。小預(yù)報均方誤差等。l 算法算法：迭代算法、遞推算法。：迭代算法、遞推算法。什么是參數(shù)估計？什么是參數(shù)估計？ 3.1 最小二乘估計準則3.2 最小二乘估計迭代算法3.3 最小二乘估計遞推算法本章的學習目的本章的學習目的1、掌握最小二乘參數(shù)辨識方法

2、的基本原理2、掌握常用的最小二乘辨識方法3、熟練應(yīng)用最小二乘參數(shù)辨識方法進行模型參數(shù)辨識4、能夠編程實現(xiàn)最小二乘參數(shù)辨識一、最小二乘法簡介一、最小二乘法簡介二、標準最小二乘估計二、標準最小二乘估計三、加權(quán)最小二乘估計三、加權(quán)最小二乘估計最小二乘法奠定了系統(tǒng)辨識參數(shù)估計理論的基石，美國著名統(tǒng)計學家斯蒂格勒甚至說“最小二乘法于數(shù)理統(tǒng)計科學正如微積分之于最小二乘法于數(shù)理統(tǒng)計科學正如微積分之于數(shù)學數(shù)學?！睘槭裁匆獙W習最小二乘法？為什么要學習最小二乘法？1801年初，天文學家皮亞齊發(fā)現(xiàn)了谷神星。1801年末，天文愛好者奧博斯，在高斯預(yù) 言的時間里，再次發(fā)現(xiàn)谷神星。1802年高斯又成功地預(yù)測了智神星的軌道

3、。 高斯自己獨創(chuàng)了一套行星軌道計算 理論。 高斯僅用1小時就算出了谷神星的 軌道形狀，并進行了預(yù)測1794年，高斯提出了最小二乘的思想。最小二乘法是怎么來的？最小二乘法是怎么來的？1777.4.30-1853.2.23一、最小二乘法簡介一、最小二乘法簡介二、標準最小二乘估計二、標準最小二乘估計三、加權(quán)最小二乘估計三、加權(quán)最小二乘估計離散型線性系統(tǒng)觀測方程：其中 為觀測矢量， 是待估參數(shù)；測量噪聲 為零均值白噪聲，觀測矩陣 。YVH1mYR1nR1mVRm nRH觀測數(shù)據(jù):用最小二乘法確定a, b 通過計算確定某些經(jīng)驗公式類型的方法通過計算確定某些經(jīng)驗公式類型的方法:), 1 ,0(),(niy

4、xii),2, 1(,11niyyyxxxiiiiii令,) 1 (定值若iixybxay則考慮,lnln)2(定值若iixybxay 則考慮,ln)3(定值若iixyxbaye則考慮axbylnlnln轉(zhuǎn)化為axbylnln轉(zhuǎn)化為每次得到 i 個觀測量，進行 j 次觀測，這里有 m=ij ，若觀測方程有解，則要求mn，實際上我們遇到的大量問題都滿足這一條件。(1)(2)( )m nhhHRh j準則函數(shù)如下：求使J最小的 ，即得估計值 。T minJHYHY為什么叫為什么叫“最小二乘最小二乘”？最小二乘的思想就是尋找一個最小二乘的思想就是尋找一個 的估計的估計值值 ，使得各次測量的，使得各次

5、測量的 與由估計與由估計 確定的量測估計確定的量測估計 之差的平方和最小。之差的平方和最小。), 1(miYiiiHY “最小二乘最小二乘”的的基本思想是什么？基本思想是什么？ 最小二乘估計是在殘差二乘方準則函數(shù)極小意義下的最優(yōu)估計 因準則函數(shù)是二次型，因此，求其最小值，可令 ，在 存在的情況下， 則有： 其中 稱之為信息矩陣。信息矩陣為正定Hermite二次型矩陣。/0JT1T1TH HH YBH YTBH HT1H H性質(zhì)：1、無偏估計2、估計誤差3、殘差4、協(xié)方差矩陣E ()lrYH1T1TCov( )E()vvB H R H BRVV 一致性一致性有效性有效性漸進漸進正態(tài)性正態(tài)性例子：

6、通過試驗確定熱敏電阻阻值和溫度間的關(guān)系 當測量沒有任何誤差時，僅需2個測量值。 每次測量總是存在隨機誤差。btaR 使使 最小最小 /* minimax problem */ |max1iiNiRy太復(fù)雜太復(fù)雜 使使 最小最小NiiiRy1|不可導(dǎo)，求解困難不可導(dǎo)，求解困難 使使 最小最小miiiRy12|測量誤差的平方和最小測量誤差的平方和最小常見做法常見做法：根據(jù)最小二乘的準則有NiiiNiibtaRvJ1212min)(NiiiibbNiiiaatbtaRbJbtaRaJ110)(20)(2套用公式/0J762.702 a4344. 3bCt 70168.943RbtaR 最小二乘參數(shù)辨

7、識方法可以估計系統(tǒng)方程的參數(shù)，其觀測誤差的二次型函數(shù)可以檢驗實驗操作人員的操作技能。 深入思考： 最為檢驗操作技能的標準，它是否是完備的？ 觀測誤差的二次型函數(shù)：T minJHYHY一、最小二乘法簡介一、最小二乘法簡介二、標準最小二乘估計二、標準最小二乘估計三、加權(quán)最小二乘估計三、加權(quán)最小二乘估計為什么還要學習為什么還要學習加權(quán)最小二乘估計？加權(quán)最小二乘估計？ 一般最小二乘估計精度不高的原因之一是對測量數(shù)據(jù)同等對待 各次測量數(shù)據(jù)很難在相同的條件下獲得的 有的測量值置信度高，有的測量值置信度低的問題 對不同置信度的測量值采用加權(quán)的辦法分別對待 置信度高的，權(quán)重取得大些；置信度低的，權(quán)重取的小些準

8、則函數(shù)取為：其中 為對角正定加權(quán)陣。TwwJHYW HYm mWR加權(quán)最小二乘估計值為：其中 。如果已知測量噪聲為零均值白噪聲，加權(quán)最小二乘參數(shù)估計值的協(xié)方差矩陣：1TwwB H WYTwBH W H1T1Cov()wwvwB H WRWHBu ，這種加權(quán)最小二乘估計就是一般的最小二乘估計。u ，這種加權(quán)最小二乘估計稱為馬爾可夫最小二乘估計。u ，這種加權(quán)最小二乘估計稱為漸消記憶最小二乘估計。u 加權(quán)最小二乘估計僅用于事先能夠估計方程誤差對參數(shù)估計的影響。1vWR) 10 , 0(raarWkIW 例3.2：兩儀器不相關(guān)，同時測量物理量x，得值y1和y2 ，已知儀器誤差均值為零，方差分別為r和

9、4r，即D(v1)=r， D(v2)=4r ，估計物理量，并求出估計值的方差。解：首先寫出觀測方程：YVH12yYy11H004vrRr最小二乘估計：1T1T11122221,1()yH HH Yyyy加權(quán)最小二乘估計：4151T41125512501,10wwyB H WYyyy54()Covr45()wCovru離散線性系統(tǒng)觀測方程u最小二乘估計準則u最小二乘的解u最小二乘解的統(tǒng)計特性u加權(quán)最小二乘的解作業(yè)：例題：3.1，3.2，3.3，3.4；習題：3-1，3-2，3-3。參考書目Gauss, Carl Friedrich, Translated by G. W. Stewart. 19

10、95. Theory of the Combination of Observations Least Subject to Errors: Part One, Part Two, Supplement. Philadelphia: Society for Industrial and Applied Mathematics.Plackett, R. L. 1949. A Historical Note on the Method of Least Squares. Biometrika. 36:458460.Stephen M. Stiger, Gauss and the Invention of Least Squares. The Annals of Statistics, Vol.9, No.3(May,1981),465-474.Plackett, Robin L. 1972. The Discovery of the Method of Least Squares. Plackett, Robin L. 1972. The Discovery of the Method of Lea