第四章參數(shù)的最小二乘法估計(jì)

1、第四章 最小二乘法與組合測(cè)量1概述最小二乘法是用于數(shù)據(jù)處理和誤差估計(jì)中的一個(gè)很得力的數(shù)學(xué)工具。對(duì)于從事精密科學(xué)實(shí)驗(yàn)的人們來(lái)說(shuō)，應(yīng)用最小乘法來(lái)解決一些實(shí)際問(wèn)題，仍是目前必不可少的手段。例如，取重復(fù)測(cè)量數(shù)據(jù)的算術(shù)平均值作為測(cè)量的結(jié)果，就是依據(jù)了使殘差的平方和為最小的原則，又如，在本章將要用最小二乘法來(lái)解決一類組合測(cè)量的問(wèn)題。另外，常遇到用實(shí)驗(yàn)方法來(lái)擬合經(jīng)驗(yàn)公式，這是后面一章回歸分析方法的內(nèi)容，它也是以最小二乘法原理為基礎(chǔ)。最小二乘法的發(fā)展已經(jīng)經(jīng)歷了200多年的歷史，它最先起源于天文和大地測(cè)量的需要，其后在許多科學(xué)領(lǐng)域里獲得了廣泛應(yīng)用，特別是近代矩陣?yán)碚撆c電子計(jì)算機(jī)相結(jié)合，使最小二乘法不斷地發(fā)展而久

2、盛不衰。本章只介紹經(jīng)典的最小二乘法及其在組合測(cè)量中的一些簡(jiǎn)單的應(yīng)用，一些深入的內(nèi)容可參閱專門的書籍和文獻(xiàn)。2最小二乘法原理最小二乘法的產(chǎn)生是為了解決從一組測(cè)量值中尋求最可信賴值的問(wèn)題。對(duì)某量測(cè)量一組數(shù)據(jù)，假設(shè)數(shù)據(jù)中不存在系統(tǒng)誤差和粗大誤差，相互獨(dú)立，服從正態(tài)分布，它們的標(biāo)準(zhǔn)偏差依次為：記最可信賴值為，相應(yīng)的殘差。測(cè)值落入的概率。根據(jù)概率乘法定理，測(cè)量同時(shí)出現(xiàn)的概率為顯然，最可信賴值應(yīng)使出現(xiàn)的概率P為最大，即使上式中頁(yè)指數(shù)中的因子達(dá)最小，即權(quán)因子：即權(quán)因子，則再用微分法，得最可信賴值 即加權(quán)算術(shù)平均值這里為了與概率符號(hào)區(qū)別，以表示權(quán)因子。特別是等權(quán)測(cè)量條件下，有：以上最可信賴值是在殘差平方和或加

3、權(quán)殘差平方和為最小的意義下求得的，稱之為最小二乘法原理。它是以最小二乘方而得名。為從一組測(cè)量數(shù)據(jù)中求得最佳結(jié)果，還可使用其它原理。例如（1）最小絕對(duì)殘差和法：（2）最小最大殘差法：（3）最小廣義權(quán)差法：以上方法隨著電子計(jì)算機(jī)的應(yīng)用才逐漸引起注意，但最小二乘法便于解析，至今仍用得最廣泛。3.線性參數(shù)最小二乘法先舉一個(gè)實(shí)際遇到的測(cè)量問(wèn)題，為精密測(cè)定三個(gè)電容值:采用的測(cè)量方案是，分別等權(quán)、獨(dú)立測(cè)得,列出待解的數(shù)學(xué)模型。 =0.3 =-0.4 +=0.5+=-0.3這是一個(gè)超定方程組，即方程個(gè)數(shù)多于待求量個(gè)數(shù)，不存在唯一的確定解，事實(shí)上，考慮到測(cè)量有誤差，記它們的測(cè)量誤差分別為，按最小二乘法原理分別對(duì)

4、求偏導(dǎo)數(shù)，令它們等于零，得如下的確定性方程組。(-0.3)+(+-0.5)=0(+0.4)+(+0.3)=0(+-0.5)+(+0.3)=0可求出唯一解=0.325,=-0.425, =0.150這組解稱之為原超定方程組的最小二乘解。以下，一般地討論線性參數(shù)測(cè)量方程組的最小二乘解及其精度估計(jì)。一、正規(guī)方程組設(shè)線性測(cè)量方程組的一般形式為： 即式中，有n個(gè)直接測(cè)得值，t個(gè)待求量。nt,各等權(quán)，無(wú)系統(tǒng)誤差和粗大誤差。固含有測(cè)量誤差，每個(gè)測(cè)量方程都不嚴(yán)格成立，故有相應(yīng)的測(cè)量殘差方程組 實(shí)測(cè)值待估計(jì)量，最佳估計(jì)值，最可信賴值最可信賴的“y”值。按最小二乘法原理，待求的應(yīng)滿足上式分別對(duì)求偏導(dǎo)數(shù)，且令其等于

5、零，經(jīng)推導(dǎo)得 正規(guī)方程組式中，分別為如下列向量和分別為如下兩列向量的內(nèi)積：=正規(guī)方程組有如下特點(diǎn)：（1）主對(duì)角線系數(shù)是測(cè)量方程組各列系數(shù)的平方和，全為正數(shù)。（2）其它系數(shù)關(guān)于主對(duì)角線對(duì)稱（3）方程個(gè)數(shù)等于待求量個(gè)數(shù)，有唯一解。由此可見(jiàn)，線性測(cè)量方程組的最小二乘解歸結(jié)為對(duì)線性正規(guī)方程組的求解。 為了便于進(jìn)一步討論問(wèn)題，下面借助矩陣工具給出正規(guī)方程組的矩陣形式。記列向量 和nt階矩陣則測(cè)量方程組可記為： 一般意義下的方程組測(cè)量殘差方程組記為當(dāng)估計(jì)出的已經(jīng)是最可信賴的值，則是的最佳結(jié)果。最小二乘原理記為利用矩陣的導(dǎo)數(shù)及其性質(zhì)有令，得正規(guī)方程組的矩陣形式。展開(kāi)系數(shù)矩陣和列向量，可得代數(shù)形式的正規(guī)方程組

6、。上述和矩陣的導(dǎo)數(shù)有關(guān)，因此，我們來(lái)分析“矩陣最小二乘法”。二、矩陣最小二乘法1. 矩陣的導(dǎo)數(shù)設(shè)階矩陣。)n階列向量（n+1階矩陣）和t階列向量與的轉(zhuǎn)置（行向量）記為與.關(guān)于向量的標(biāo)量函數(shù)。定義如下幾個(gè)導(dǎo)數(shù)。（1）矩陣對(duì)標(biāo)量的導(dǎo)數(shù)矩陣內(nèi)A元素是的函數(shù)，對(duì)矩陣的導(dǎo)數(shù)，定義為各元素對(duì)的導(dǎo)數(shù)，構(gòu)成新的導(dǎo)數(shù)矩陣。若是變量的函數(shù)，則定義 (E-1)（2）標(biāo)量函數(shù)對(duì)向量的導(dǎo)數(shù)標(biāo)量函數(shù)，對(duì)列向量的導(dǎo)數(shù)，等于標(biāo)量函數(shù)對(duì)向量的組成元素的導(dǎo)數(shù)組成的列向量（行向量的轉(zhuǎn)置） (E-2)標(biāo)量函數(shù)，對(duì)行向量的導(dǎo)數(shù)，等于標(biāo)量函數(shù)對(duì)向量的組成元素的導(dǎo)數(shù)組成的行向量。 (E-3) （3）行（列）向量對(duì)列（行）向量的導(dǎo)數(shù)行向量對(duì)

7、列向量的導(dǎo)數(shù)等于行向量各組成元素，對(duì)列向量各組成元素分別求得 (E-4) (E-5)關(guān)于矩陣的導(dǎo)數(shù)有如下性質(zhì)：（1）矩陣A和B乘積對(duì)標(biāo)量x的導(dǎo)數(shù) (E-6)（2）常數(shù)陣的導(dǎo)數(shù)為零矩陣。 (E-7)（3）向量關(guān)于自身轉(zhuǎn)置向量的導(dǎo)數(shù)為單位方陣。 (E-8)（4）向量與向量轉(zhuǎn)置乘積的導(dǎo)數(shù) (E-9) (E-10)（5）關(guān)于常數(shù)矩陣與向量乘積的導(dǎo)數(shù) (E-11) (E-12) (E-13) (E-14)利用（E-1）、（E-4）、和（E-5）三個(gè)定義式，容易證明式（E-6）、（E-7）、（E-8）、和（E-11）、（E-11）成立。以下證明式（E-9）注意到式（E-2）和式（E-4）即， 標(biāo)量對(duì)列向量

8、求導(dǎo) (E-2)行向量對(duì)列向量求導(dǎo) (E-4)式（E-9） 左類似地，可以證得式（E-10）成立。再證明式（E-13）注意到是關(guān)于的標(biāo)量函數(shù)，由式（E-2）知，只需證明由于 所以式（E-13）左2. 正規(guī)方程設(shè)線性測(cè)量方程組與基殘差方程組分別為 (E-15) (E-16)式中為階常數(shù)矩陣，為t階待求向量，是已知的階的測(cè)量向量，（注意均是已測(cè)量所得），是n階殘差向量。由最小二乘原理求 （矩陣性質(zhì)(E-9)式）注意到式（E-7）即常數(shù)陣的導(dǎo)數(shù)為零矩陣。 注意到式（E-11）即，故所以令得正規(guī)方程組的矩陣形式 (E-18)當(dāng)滿秩的情形，可求出 (E-19)一般地，可從式（E-15）出發(fā)，用穩(wěn)定的數(shù)值

9、解法，計(jì)算A的廣義逆陣得 (E-20)要進(jìn)一步去研究此問(wèn)題，可參閱有關(guān)近代矩陣分析及其數(shù)值方法的專著3待求量的協(xié)方差矩陣。已知測(cè)量向量協(xié)方差矩陣。=式中，為的方差：為與的協(xié)的方差：這里，假設(shè)為等精度、獨(dú)立測(cè)量的結(jié)果，有利用式（E-19）待求量X的協(xié)方差所以 (E-21)4.最小二乘法解的最佳性可以證明，在等精度、獨(dú)立和無(wú)系統(tǒng)誤差的測(cè)量條件下，最小二乘法的解具有唯一性、無(wú)偏性、有效性和充分性。證明：.唯一性因測(cè)量方程相互獨(dú)立，且nt,則滿秩，式（E-18）有唯一解.無(wú)偏性對(duì)的估計(jì)式（E-19）求數(shù)學(xué)期望。.有效性設(shè)另有的無(wú)偏估計(jì)則有故 又而 引入單位向量其中第行為1，其它為0與的方差分別為以下證

10、其中第一等式利用了，是一常數(shù)，故。最后得證的方差最小，即的有效性成立。.充分性y取到了測(cè)量樣本中的所有信息，故按（E-18）式求得的估計(jì)量，顯然也是充分的。正是由于最小二乘法的解具有最佳性，所以，最小二乘法在精密測(cè)量的各個(gè)領(lǐng)域獲得廣泛應(yīng)用。三、精度估計(jì)對(duì)測(cè)量數(shù)據(jù)的最小二乘法處理，其最終結(jié)果不僅要給出待求量的最可信賴值，還要確定其可信賴程度，即估計(jì)其精度。具體內(nèi)容包含有兩方面：一是估計(jì)直接測(cè)量結(jié)果的精度；二是估計(jì)待求量的精度。1直接測(cè)量結(jié)果的精度估計(jì)對(duì)t個(gè)未知量的線性測(cè)量方程組 進(jìn)行n次獨(dú)立的等精度測(cè)量，得其殘余誤差標(biāo)準(zhǔn)偏差。如果服從正態(tài)分布，那么服從分布，其自由度n-t，有變量的數(shù)學(xué)期望，以S

11、代。即有 令t=1，由上式又導(dǎo)出了Bessel公式。2待求量的精度估計(jì)按照誤差傳播的觀點(diǎn)，估計(jì)量的精度取決于直接測(cè)量數(shù)據(jù)的精度以及建立它們之間聯(lián)系的測(cè)量方程組?？汕蟠罅康膮f(xié)方差（見(jiàn)二3）矩陣各元素可由矩陣求逆得，也可由下列各方程組分別解得。 (5-51)是直接測(cè)量數(shù)據(jù)的標(biāo)準(zhǔn)差，可按估計(jì)待求量的方差 (5-52)矩陣中對(duì)角元素就是誤差傳播系數(shù)。待求量與的相關(guān)系數(shù)?，F(xiàn)在，可以解決本節(jié)開(kāi)始提出的測(cè)量問(wèn)題例5-1 為精密測(cè)定1號(hào)、2號(hào)和3號(hào)電容器的電容，進(jìn)行了等權(quán)獨(dú)立、無(wú)系統(tǒng)誤差的測(cè)量。測(cè)得1號(hào)電容值=0.3，2號(hào)電容值=-0.4，1號(hào)和3號(hào)并聯(lián)電容值=0.5，2號(hào)和3號(hào)并聯(lián)電容值=-0.3。試用最

12、小二乘法求及其標(biāo)準(zhǔn)差。解：列出殘差方程組為計(jì)算方便，將數(shù)據(jù)列表如下：11000.31000.3000002010-0.4000010-0.40031010.51010.500010.54011-0.3000011-0.31-0.32010.821-0.720.2按上表計(jì)算正規(guī)方程組各系數(shù)和常數(shù)項(xiàng)后，列出正規(guī)方程組解出=0.325,=-0.425,=0.150代入殘差方程組，計(jì)算按式（5-51），求出=0.75, =0.75, =1按式（5-52），求出，最后得1號(hào)、2號(hào)和3號(hào)電容器的精密電容值,，也可以用矩陣形式，這里顯然： 這樣可求得求逆陣：則由求得 由，可得寫出結(jié)果。4 非線性參數(shù)的最小二

13、乘法在例5-1中，除了進(jìn)行4次測(cè)量外，又對(duì)1號(hào)和2號(hào)電容器的串聯(lián)電容進(jìn)行測(cè)量，測(cè)得，方差仍為，那么如何處理呢？簡(jiǎn)單的辦法是把它線性化。所謂線性化，就是在未知量的附近，按泰勒級(jí)數(shù)展開(kāi)取一次項(xiàng)，然后按線性參數(shù)最小二乘法進(jìn)行迭代求解。線性化的具體步驟如下：設(shè)測(cè)量殘差方程組 (4-1)取的初始近似值記 (4-2)則有 令 (4-3)， (4-4)于是得線性化殘差方程組 (4-5)作法：按線性參數(shù)最小二乘法解得，以至，將此作為新的，按式（4-2），式（4-3），式（4-4）和式（4-5）進(jìn)行反復(fù)迭代求解，直至符合精度要求為止。例5-2 在例5-1的基礎(chǔ)上，再增加一次測(cè)量串聯(lián)電容，測(cè)得=0.14。試用最小

14、二乘法求及其標(biāo)準(zhǔn)差解：先列出測(cè)量方程組=0.3 =-0.4 +=0.5 +=-0.3對(duì)前4個(gè)線性測(cè)量方程組，按例5-1求出解，作為初次近似解在(0.325,-0.425,0.150)附近，取泰勒展開(kāi)的一階近似， 寫出線性化殘差方程組整理得正規(guī)方程組解出取的二次近似值重復(fù)上述過(guò)程再求出。依次迭代結(jié)果如表所示。迭代次數(shù)00000.325-0.4250.1501-0.0473-0.03630.04180.278-0.4610.1922-0.0713-0.03730.05430.206-0.4990.2463-0.0472-0.05550.02640.159-0.5040.27340.001980.0

15、0105-0.006280.161-0.4940.2665-0.00113-0.001420.001270.160-0.4950.26860.0003150.000419-0.0003670.160-0.4950.267可見(jiàn)，經(jīng)6次迭代，精度已達(dá)10-3，滿足要求即可結(jié)束迭代。5 組合測(cè)量問(wèn)題所謂組合測(cè)量，是指直接或間接測(cè)量一組被測(cè)量的不同組合值，從它們相互組合所依賴的若干函數(shù)關(guān)系中，確定出各被測(cè)量的最佳估計(jì)值。組合測(cè)量的問(wèn)題常用最小二乘法，以上兩節(jié)所舉精密測(cè)量電容值的問(wèn)題就是一例。本節(jié)再介紹幾個(gè)實(shí)例，以進(jìn)一步說(shuō)明組合測(cè)量方法的特點(diǎn)。例4-3 如圖所示，要求檢定線紋尺0,1,2,3刻線間的距離

16、x1,x2,x3。已知用組全測(cè)量法測(cè)得圖所示刻線間隙的各種組合量。L1=1.01, L2=0.98, L3=1.02L4=2.02,L5=1.98,L6=3.03解：按前述方法，可以解得x1=1.028(0.011)，x2=0.983(0.011)，x3=1.013(0.011)這里，著重說(shuō)明組合測(cè)量方法的優(yōu)點(diǎn)。本例對(duì)刻度間隔x1,x2與x3分別測(cè)了3次，總共測(cè)量6次。若不采用組合測(cè)量，按每刻度間隔重復(fù)測(cè)量3次計(jì)，共需作9次測(cè)量，比組合測(cè)量法多測(cè)3次。如果待檢定的刻度間隔遠(yuǎn)多于3個(gè)。那么可以類似分析得出，采用組合測(cè)量法可以大大減少測(cè)量次數(shù)，提高測(cè)量的工作效率。本例測(cè)量方程的個(gè)數(shù)是6，待求量的個(gè)

17、數(shù)是3。假設(shè)。按有。如果測(cè)量方程減少為4個(gè)，那么有。如果兩種情形的誤差傳播系數(shù)相近，那么按式估計(jì)，前者比后者小一倍。這說(shuō)明，增加組合測(cè)量的個(gè)數(shù)，往往可以提高測(cè)量結(jié)果的精度。這與增加重復(fù)測(cè)量次數(shù)提高測(cè)量精度的結(jié)論是一致的。例4-4 測(cè)量平面三角形的三個(gè)角，得，。假設(shè)各測(cè)量值權(quán)分別為1,2,3，求A，B，C的最佳估計(jì)值。解：本例有一個(gè)約束條件A+B+C=180o這類約束條件容易消去，將C=180o-A-B代入即可另外，在計(jì)算中應(yīng)注意將角、度、分、秒值化度。列出不等權(quán)的測(cè)量方程組：A=48.0933,w1=1B=60.4233,w2=2A+B=109.298,w3=3按下表運(yùn)算，寫出不等權(quán)的正規(guī)方程組