第五章 線性參數(shù)最小二乘法處理(1)

1、第五章線性參數(shù)的最小二乘法處理線性參數(shù)的最小二乘法處理2012E = h =m+ A0hAU = -ee220012eU =m頻率i(1014Hz) 8.214 7.408 6.879 5.490 5.196截止電壓U0i(V)1.790 1.436 1.242 0.688 0.5603SLOPE函數(shù)函數(shù)4主要內(nèi)容(Least Squares)最小二乘法最小二乘法歷歷 史史原理原理(線性參數(shù)線性參數(shù))等精度測(cè)量等精度測(cè)量LS的正規(guī)方程的正規(guī)方程不等精度測(cè)量不等精度測(cè)量LS的正規(guī)方程的正規(guī)方程非線性參數(shù)非線性參數(shù)LS的正規(guī)方程的正規(guī)方程LS與算術(shù)平均值原理的關(guān)系與算術(shù)平均值原理的關(guān)系測(cè)量數(shù)據(jù)的精

2、度估計(jì)測(cè)量數(shù)據(jù)的精度估計(jì)LS估計(jì)量的精度估計(jì)估計(jì)量的精度估計(jì)5一、最小二乘概述一、最小二乘概述(歷史歷史) 最小二乘法最小二乘法Least Squares(LS),Least Squares(LS),又稱(chēng)最小平方法又稱(chēng)最小平方法 是一是一種數(shù)學(xué)優(yōu)化技術(shù)。它通過(guò)最小化誤差的平方和尋找數(shù)據(jù)的最種數(shù)學(xué)優(yōu)化技術(shù)。它通過(guò)最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配。佳函數(shù)匹配。LSLS最初于最初于17941794年被高斯年被高斯(Carl Friedrich (Carl Friedrich Gauss) Gauss) 所描述所描述( (非出版物非出版物) )，但是他直到，但是他直到18091809年才將年才

3、將LSLS發(fā)表于發(fā)表于天體運(yùn)動(dòng)論天體運(yùn)動(dòng)論一書(shū)中。一書(shū)中。1801年，意大利天文學(xué)家皮亞齊年，意大利天文學(xué)家皮亞齊(Giuseppe Piazzi)發(fā)現(xiàn)了第一顆小行發(fā)現(xiàn)了第一顆小行星谷神星。經(jīng)過(guò)星谷神星。經(jīng)過(guò)40天的跟蹤觀測(cè)后，由于谷神星運(yùn)行至太陽(yáng)背后，使得天的跟蹤觀測(cè)后，由于谷神星運(yùn)行至太陽(yáng)背后，使得皮亞齊失去了谷神星的位置。隨后全世界的科學(xué)家利用皮亞齊的觀測(cè)數(shù)皮亞齊失去了谷神星的位置。隨后全世界的科學(xué)家利用皮亞齊的觀測(cè)數(shù)據(jù)開(kāi)始尋找谷神星，但是根據(jù)大多數(shù)人計(jì)算的結(jié)果來(lái)尋找谷神星都沒(méi)有據(jù)開(kāi)始尋找谷神星，但是根據(jù)大多數(shù)人計(jì)算的結(jié)果來(lái)尋找谷神星都沒(méi)有結(jié)果。時(shí)年結(jié)果。時(shí)年24歲的高斯也計(jì)算了谷神星的

4、軌道。德國(guó)天文學(xué)家馮歲的高斯也計(jì)算了谷神星的軌道。德國(guó)天文學(xué)家馮扎克扎克( Franz Xaver von Zach)和奧伯斯和奧伯斯(Heinrich Wilhelm Matthus Olbers)根據(jù)根據(jù)高斯計(jì)算出來(lái)的軌道重新發(fā)現(xiàn)了谷神星。高斯計(jì)算出來(lái)的軌道重新發(fā)現(xiàn)了谷神星。6正態(tài)分布正態(tài)分布( (高斯分布高斯分布) )“數(shù)據(jù)結(jié)合數(shù)據(jù)結(jié)合”(data(datacombination)combination)的問(wèn)題的問(wèn)題最小二乘法最小二乘法7勒讓德勒讓德(Adrien-Marie Legendre )(Adrien-Marie Legendre )于于18051805年首次公開(kāi)發(fā)表了年首次公

5、開(kāi)發(fā)表了LSLS。8YX22(1)(2)()iiiibx - y + ad =b + 1d = y - a+ bx二、最小二乘原理二、最小二乘原理9o為確定為確定t個(gè)未知量個(gè)未知量 的估計(jì)量的估計(jì)量 分別直接測(cè)量分別直接測(cè)量n個(gè)直接量個(gè)直接量 ，得測(cè)量數(shù)據(jù)，得測(cè)量數(shù)據(jù) 。tXXX,21txxx,21nYYY,21tnllln,21heAe0hAU -eehde設(shè)設(shè)Ace 0iU10 設(shè)直接測(cè)量量設(shè)直接測(cè)量量 的估計(jì)值為的估計(jì)值為 ，則有，則有12,nY YY12,ny yy1112221212( ,)( ,)( ,)ttnntyf x xxyfx xxyfx xx由此得測(cè)量數(shù)據(jù)由此得測(cè)量數(shù)據(jù)

6、的殘余誤差的殘余誤差12, ,nl ll111122221212( ,)( ,)( ,)ttnnntlf x xxlfx xxlfx xx殘差方程式殘差方程式0u = c+d11 若若 不存在系統(tǒng)誤差，相互獨(dú)立并服從正態(tài)不存在系統(tǒng)誤差，相互獨(dú)立并服從正態(tài)分布，標(biāo)準(zhǔn)差分別為分布，標(biāo)準(zhǔn)差分別為 ，則，則 出現(xiàn)在出現(xiàn)在相應(yīng)真值附近相應(yīng)真值附近 區(qū)域內(nèi)的概率為區(qū)域內(nèi)的概率為12, ,nl ll12,n 12,nddd22(2)1(1,2, )2iiiiiPedin由概率論可知，各測(cè)量數(shù)據(jù)同時(shí)出現(xiàn)在相應(yīng)區(qū)域的概率由概率論可知，各測(cè)量數(shù)據(jù)同時(shí)出現(xiàn)在相應(yīng)區(qū)域的概率為為221(2)1211212niiinin

7、ninPPed dd 12, ,nl ll12測(cè)量值測(cè)量值 已經(jīng)出現(xiàn)，有理由認(rèn)為這已經(jīng)出現(xiàn)，有理由認(rèn)為這n n個(gè)測(cè)量值個(gè)測(cè)量值出現(xiàn)于相應(yīng)區(qū)間的概率出現(xiàn)于相應(yīng)區(qū)間的概率P P應(yīng)為最大。應(yīng)為最大。待求量最可信賴(lài)待求量最可信賴(lài)12, ,nl ll2221222212nn最小最小由于結(jié)果只是接近真值的估計(jì)值，因此上述條件應(yīng)表由于結(jié)果只是接近真值的估計(jì)值，因此上述條件應(yīng)表示為示為2221222212nn最小最小要使要使P P最大，應(yīng)有最大，應(yīng)有體溫咽喉頭疼咳嗽胸痛咯血 CT13等精度測(cè)量的等精度測(cè)量的LSLS原理：原理：2222121nnii最小最小不等精度測(cè)量的不等精度測(cè)量的LSLS原理：原理：222

8、21 1221nnniiipppp最小最小最小二乘原理：最小二乘原理：測(cè)量結(jié)果的最可信賴(lài)值應(yīng)使殘余誤差平方和（或加權(quán)殘余誤差平方和）最小。22212n12n111(:)pp. p =.12n(=)= .14三、等精度測(cè)量的線性參數(shù)三、等精度測(cè)量的線性參數(shù)LS原理原理線性參數(shù)的測(cè)量方程和相應(yīng)的估計(jì)量為：線性參數(shù)的測(cè)量方程和相應(yīng)的估計(jì)量為：11111221221122221122ttttnnnnttYa Xa Xa XYa Xa Xa XYa Xa Xa X111 11221221 122221 122ttttnnnnttya xa xa xya xa xa xya xa xa x殘差方程為殘差方

9、程為1111 112212221 122221 122()()()ttttnnnnnttla xa xa xla xa xa xla xa xa x15令令111211112222122212ttnnnnnntaaalxlxaaaLXVAlxaaa 則殘差方程的矩陣表達(dá)式為則殘差方程的矩陣表達(dá)式為VLAX等精度測(cè)量最小二乘原理的矩陣形式：等精度測(cè)量最小二乘原理的矩陣形式：TTV VLAXLAX最?。ǎ?（） 最小16不等精度測(cè)量最小二乘原理的矩陣形式：不等精度測(cè)量最小二乘原理的矩陣形式：思路一：思路一：2211222222000000000 00 0n nnnppPp權(quán)矩陣權(quán)矩陣TTV PVL

10、AXP LAX最小（）（） 最小四、不等精度測(cè)量的線性參數(shù)四、不等精度測(cè)量的線性參數(shù)LS原理原理17思路二：不等精度思路二：不等精度 等精度等精度ip11111111121211222221212222221122ttttnnnnnnnnntntplpap xap xap xplpap xap xap xplpap xap xap xiil1ia2iaita則有：則有：TTVVLA XLA X最?。ǎ?（） 最小18誤差方程按誤差方程按LSLS原理轉(zhuǎn)化得到的有確定解的代數(shù)方程組原理轉(zhuǎn)化得到的有確定解的代數(shù)方程組一、等精度測(cè)量線性參數(shù)一、等精度測(cè)量線性參數(shù)LS處理的正規(guī)方程處理的正規(guī)方程1111

11、 112212221 122221 122ttttnnnnnttla xa xa xla xa xa xla xa xa x22212n最小21121()0()0niiniinxx正規(guī)方程：正規(guī)方程：19正規(guī)方程：正規(guī)方程：111 112211111221 1222211111 1221111nnnniiiiiiiittiiiinnnniiiiiiiittiiiinnnnit iitiitiitittiiiia la a xa a xa a xa la a xa a xa a xa la a xa a xa a x特點(diǎn)：特點(diǎn)：主對(duì)角線分布著平方項(xiàng)系數(shù)，正數(shù)主對(duì)角線分布著平方項(xiàng)系數(shù)，正數(shù)相對(duì)于主

12、對(duì)角線對(duì)稱(chēng)分布的各系數(shù)兩兩相等相對(duì)于主對(duì)角線對(duì)稱(chēng)分布的各系數(shù)兩兩相等20看正規(guī)方程組中第看正規(guī)方程組中第r r個(gè)方程：個(gè)方程：1 12211110nnnnir iiriiriirittiiiia la a xa a xa a x11220rrnrnaaa則正規(guī)方程可寫(xiě)成則正規(guī)方程可寫(xiě)成11 1212112122221122000nnnnttntnaaaaaaaaa0TA V 即即正規(guī)方程的矩陣形式正規(guī)方程的矩陣形式21將將 代入到中，得代入到中，得VLAX0TA V 0TTA LA AXTTA AXA L()T-1TX = A AA L22等精度測(cè)量線性參數(shù)的等精度測(cè)量線性參數(shù)的LS處理一般步

13、驟處理一般步驟列出殘差方程式確定各變量對(duì)應(yīng)的數(shù)據(jù)根據(jù)正規(guī)方程 求解()、 、LXA()T-1TX = A AA LTTA AX = A L23iii = l - y例例5.15.1： 根據(jù)截止電壓根據(jù)截止電壓 和入射光頻率和入射光頻率 的關(guān)系計(jì)算普朗克常數(shù)的關(guān)系計(jì)算普朗克常數(shù)解：解：1 1）列出殘差方程）列出殘差方程()iilcd0Uh頻率i(1014Hz) 8.214 7.408 6.879 5.490 5.196截止電壓U0i(V)1.790 1.436 1.242 0.688 0.5600hAUee0ucd191.602 10eC,hAdcee 令令為為兩兩個(gè)個(gè)待待估估計(jì)計(jì)參參量量242

14、)2)確定各變量對(duì)應(yīng)的數(shù)據(jù)確定各變量對(duì)應(yīng)的數(shù)8.214 101.7901 7.408 101.4361.2421 6.879 100.6881 5.490 100.5601 5.196 10cLXAd 3)3)根據(jù)根據(jù) 求解求解TTA AXA L251151.531()4.030 10TTcXA AA Ld 所以：所以：15341.5312.4534.030 106.456 10AcAJehdhJ Se 26二、不等精度測(cè)量線性參數(shù)二、不等精度測(cè)量線性參數(shù)LS處理的正規(guī)處理的正規(guī) 方程方程21niiip最小21121()0()0niiiniiinpxpx由此可得不等精

15、度測(cè)量線性參數(shù)由此可得不等精度測(cè)量線性參數(shù)LS處理的處理的正規(guī)方程：正規(guī)方程：27111 112211111221 1222211111 1221111nnnniiiiiiiiiiiittiiiinnnniiiiiiiiiiiittiiiinnnniit iiitiiitiiitittiiiip a lp a a xp a a xp a a xp a lp a a xp a a xp a a xp a lp a a xp a a xp a a x整理得：整理得：1 11 1221211 121222221 11222000nnnnnnttnntnp ap ap ap ap ap ap ap a

16、p a28即即0TA PV 不等精度的正規(guī)方程不等精度的正規(guī)方程將將 代入上式，得代入上式，得VLAX0TTA PLA PAXTTA PAXA PL()T-1TX = A PAA PL29不等精度測(cè)量線性參數(shù)的不等精度測(cè)量線性參數(shù)的LS處理一般步驟處理一般步驟列出殘差方程式確定各變量對(duì)應(yīng)的數(shù)據(jù)根據(jù)正規(guī)方程 求解TTA PAX = A PL()、 、 、n nL XA P()T-1TX = A PAA PL確定各式的權(quán)22212n12n111:pp. p =.30iii = l - y例例 5.2 5.2 某測(cè)量過(guò)程有誤差方程式及相應(yīng)的標(biāo)準(zhǔn)差：某測(cè)量過(guò)程有誤差方程式及相應(yīng)的標(biāo)準(zhǔn)差： 112121

17、223123412451256.44()0.068.60(2)0.0610.81 (3)0.0813.22(4)0.0815.27(5)0.08xxxxxxxxxx試求試求 的最可信賴(lài)值。的最可信賴(lài)值。12,x x解：解：1)1)確定各式的權(quán)確定各式的權(quán)12345222221234511111:16:16:9:9:9ppppp313)3)根據(jù)根據(jù) 求解求解2)2)確定各變量對(duì)應(yīng)數(shù)據(jù)確定各變量對(duì)應(yīng)數(shù)據(jù)126.441 18.601 210.811 313.221 415.271 5xLXAx16 0 0 0 00 16 0 0 00 0 9 0 00 0 0 9 00 0 0 0 9n nP112

18、4.186()2.227TTxXA PAA PLxTTA PAX = A PL32在n階行列式中，把元素 所在的第i行和第j列劃去后，留下來(lái)的n-1階行列式叫做元素 的余子式，記作 ；記 ， 叫做元素 的代數(shù)余子式。33111212122212.nnnnnnaaaaaaAaaa112111222212.nnTnnnnaaaaaaAaaa( 1)ijiji jAM ijaijaijMijAija由行列式 中各元素的代數(shù)余子式所構(gòu)成的矩陣稱(chēng)為矩陣 的伴隨矩陣，記為 。AA*A1112121222*12.nnnnnnAAAAAAAAAA1*1AAA34初等矩陣：由單位矩陣E經(jīng)過(guò)一次初等變換得到的矩陣。三種初等變換： 1、對(duì)調(diào)兩行或?qū)φ{(diào)兩列； 2、以數(shù)k0乘某行或某列； 3、以數(shù)k乘某行(列)