第五章線性參數(shù)的最小二乘法處理yj課件

第五章

線性參數(shù)的最小二乘法處理1第五章

線性參數(shù)的最小二乘法處理1設(shè)有一金屬尺，在溫度t時(shí)長(zhǎng)度可表示為yt=y0（1+t）,

其中，y0為溫度零度時(shí)的精確長(zhǎng)度。為金屬材料的線膨脹系數(shù)，求y0與的最可信賴值及其精度估計(jì)。

設(shè)a=y0，b=y0,則有yt=a+bt。在理論上，有引題:求標(biāo)準(zhǔn)米尺線膨脹系數(shù)

從中任選兩個(gè)方程可解得a、b,從而確定y0、α。線性參數(shù)的最小二乘法處理由于測(cè)量誤差的存在，需要n>22設(shè)有一金屬尺，在溫度t時(shí)長(zhǎng)度可表示為yt=y0（1+t）,但是事實(shí)上，不可避免地存在測(cè)量誤差。設(shè)在t1，t2，t3……….tn溫度條件下分別測(cè)得金屬尺的長(zhǎng)度是l1，l2，l3……….ln，則有誤差方程

最小二乘法a、b及

y0、α線性參數(shù)的最小二乘法處理3但是事實(shí)上，不可避免地存在測(cè)量誤差。設(shè)在t1，t2幾何解釋

對(duì)應(yīng)于ti的測(cè)量數(shù)據(jù)li,i=1,2,…,nyott1t2…

…

tn殘余誤差：a、b的最可信賴值為什么？怎樣求a

和b？精度估計(jì)？線性參數(shù)的最小二乘法處理4幾何解釋對(duì)應(yīng)于ti的測(cè)量數(shù)據(jù)li,i=1,2,…,nyo第一節(jié)最小二乘法原理第二節(jié)正規(guī)方程第三節(jié)精度估計(jì)第四節(jié)組合測(cè)量的最小二乘法處理線性參數(shù)的最小二乘法處理5第一節(jié)最小二乘法原理線性參數(shù)的最小二乘法處理5大綱要求掌握最小二乘原理。掌握正規(guī)方程:等精度測(cè)量線性參數(shù)的最小二乘處理不等精度測(cè)量線性參數(shù)的最小二乘處理掌握最小二乘精度估計(jì)方法。線性參數(shù)的最小二乘法處理6大綱要求掌握最小二乘原理。線性參數(shù)的最小二乘法處理6若測(cè)量數(shù)據(jù),不存在系統(tǒng)誤差和粗大誤差，相互獨(dú)立，且服從正態(tài)分布,其標(biāo)準(zhǔn)差為

則各測(cè)量結(jié)果出現(xiàn)于相應(yīng)真值附近區(qū)域內(nèi)的概率分別為：

第一節(jié)最小二乘法原理

各誤差相互獨(dú)立，由概率乘法定理，各測(cè)量數(shù)據(jù)同時(shí)分別出現(xiàn)在相應(yīng)區(qū)域的概率應(yīng)為：

理論分析

7若測(cè)量數(shù)據(jù),不存在系統(tǒng)誤差和粗大誤差，相互獨(dú)等精度測(cè)量：根據(jù)概率論的最大或然原理，由于測(cè)量值已經(jīng)出現(xiàn)，有理由認(rèn)為這n個(gè)測(cè)量值出現(xiàn)于相應(yīng)區(qū)間的概率P為最大。要使P最大，應(yīng)有由于結(jié)果只是接近真值的估計(jì)值，因此上述條件應(yīng)為引入權(quán)pi理論分析

第一節(jié)最小二乘法原理

8等精度測(cè)量：根據(jù)概率論的最大或然原理，由于測(cè)量值必須指出:上述最小二乘原理是在測(cè)量誤差無(wú)偏、正態(tài)分布和相互獨(dú)立的條件下推導(dǎo)出的，但在不嚴(yán)格服從正態(tài)分布的情形下也常被使用。實(shí)際上，按誤差或殘差平方和為最小進(jìn)行統(tǒng)計(jì)推斷已形成一種準(zhǔn)則。最小二乘原理:測(cè)量結(jié)果的最可信賴值應(yīng)使殘余誤差平方和（或加權(quán)殘余誤差平方和）最小。第一節(jié)最小二乘法原理

9必須指出:上述最小二乘原理是在測(cè)量誤差無(wú)偏、正態(tài)分布和相互獨(dú)

為確定t個(gè)不可直接測(cè)量的未知量的估計(jì)量，可對(duì)與該t個(gè)未知量有函數(shù)關(guān)系的直接測(cè)量量Y進(jìn)行n次測(cè)量，得測(cè)量數(shù)據(jù)（n>t）并設(shè)有如下函數(shù)關(guān)系：

設(shè)直接量Y1,Y2,…,Yn的估計(jì)量分別為y1,y2,…,yn，則有：

第一節(jié)最小二乘法原理

10為確定t個(gè)不可直接測(cè)量的未知量誤差方程(殘差方程)：

最小二乘法

等精度測(cè)量：不等精度測(cè)量：第一節(jié)最小二乘法原理

11誤差方程(殘差方程)：最小二乘法等精度測(cè)量：不等精度測(cè)矩陣形式

實(shí)測(cè)值矩陣

估計(jì)值矩陣

殘差矩陣

誤差方程系數(shù)矩陣

矩陣形式

誤差方程第一節(jié)最小二乘法原理

12矩陣形式實(shí)測(cè)值矩陣估計(jì)值矩陣殘差矩陣誤差方程矩陣形誤差方程的矩陣形式

1）等精度測(cè)量線性參數(shù)的最小二乘原理的矩陣形式

或

其中：矩陣形式

2）不等精度測(cè)量線性參數(shù)的最小二乘原理的矩陣形式

或

第一節(jié)最小二乘法原理

13誤差方程的矩陣形式1）等精度測(cè)量線性參數(shù)的最小二乘原理的矩矩陣形式

不等精度

等精度第一節(jié)最小二乘法原理

14矩陣形式不等精度等精度第一節(jié)最小二乘法原理14第二節(jié)正規(guī)方程一、等精度測(cè)量線性參數(shù)最小二乘法的正規(guī)方程二、不等精度測(cè)量線性參數(shù)最小二乘法的正規(guī)方程三、非線性參數(shù)最小二乘法處理的正規(guī)方程（略）四、最小二乘法與算術(shù)平均值的關(guān)系

15第二節(jié)正規(guī)方程一、等精度測(cè)量線性參數(shù)最小二乘法的正規(guī)方正規(guī)方程為了獲得更可靠的結(jié)果，測(cè)量次數(shù)n總要多余未知參數(shù)的個(gè)數(shù)t，即所得誤差方程式的個(gè)數(shù)總要多余未知數(shù)的個(gè)數(shù)。一般代數(shù)解方程法無(wú)法求解。最小二乘法可由誤差方程得到有確定解的代數(shù)方程組，從而求解未知參數(shù)。這個(gè)具有確定解的代數(shù)方程組稱為最小二乘法估計(jì)的正規(guī)方程。（或稱為法方程）16正規(guī)方程為了獲得更可靠的結(jié)果，測(cè)量次數(shù)n總要多余未知參數(shù)的個(gè)線性參數(shù)最小二乘法處理程序根據(jù)問(wèn)題列出誤差方程式按最小二乘法原理，利用求極值的方法由誤差方程得到正規(guī)方程求解正規(guī)方程，得到待求估計(jì)量給出精度估計(jì)17線性參數(shù)最小二乘法處理程序根據(jù)問(wèn)題列出誤差方程式17第二節(jié)正規(guī)方程

一、等精度測(cè)量線性參數(shù)最小二乘處理的正規(guī)方程且連續(xù)多元函數(shù)I(x1,x2,…,xn)的極值條件18第二節(jié)正規(guī)方程一、等精度測(cè)量線性參數(shù)最小二乘處理的正規(guī)方正規(guī)方程特點(diǎn)：

系數(shù)矩陣是對(duì)稱陣；主對(duì)角線分布著平方項(xiàng)系數(shù)，正數(shù)第二節(jié)正規(guī)方程

19正規(guī)方程特點(diǎn)：系數(shù)矩陣是對(duì)稱陣；第二節(jié)正規(guī)方程19看正規(guī)方程組中第r個(gè)方程：則正規(guī)方程可寫成即正規(guī)方程的矩陣形式20看正規(guī)方程組中第r個(gè)方程：則正規(guī)方程可寫成即正規(guī)方程的矩陣形將代入，得矩陣形式第二節(jié)正規(guī)方程

21將代入，得矩陣形式第二節(jié)正規(guī)方程21的數(shù)學(xué)期望這里

Y=[Y1,

Y2,…,

Yn]T,X=[X1,

X2,…,

Xn]T

C=ATA

可見(jiàn)為X的無(wú)偏估計(jì)。

第二節(jié)正規(guī)方程

22的數(shù)學(xué)期望這里C=ATA可見(jiàn)為X的無(wú)偏估計(jì)。第例1已知銅棒的長(zhǎng)度和溫度之間具有線性關(guān)系：，為獲得０℃時(shí)銅棒的長(zhǎng)度和銅的線膨脹系數(shù)，現(xiàn)測(cè)得不同溫度下銅棒的長(zhǎng)度，如下表，求，的最可信賴值。例題1020304050602000.362000.722000.82001.072001.482000.60解：1）列出誤差方程23例1已知銅棒的長(zhǎng)度和溫度之間具有線性關(guān)系：例題10203按照最小二乘的矩陣形式計(jì)算則有：令為兩個(gè)待估參量，則誤差方程為24按照最小二乘的矩陣形式計(jì)算則有：令那么：25那么：25例2在串聯(lián)諧振回路中，已知Y=ωL－1/ωC,式中ω，Y，L，C分別是外加電信號(hào)的角頻率和回路的電抗、電感、電容，不同角頻率時(shí)的電抗測(cè)量值li如下表，求L、C的最可信賴值。ωi521li0.80.2-0.3例題第二節(jié)正規(guī)方程

26例2在串聯(lián)諧振回路中，已知Y=ωL－1/ωC,式中ω解：令b=-1/C，則有誤差vi=li-(Lωi+b/ωi)。L、b是兩個(gè)待估計(jì)參數(shù)。正規(guī)方程為例題i

ai1

ai2

ai1ai1

ai2ai2

ai1ai2ai1li

ai2li

123

50.2250.04140.1620.540.2510.40.111111-0.3-0.3Σ301.2934.1-0.04第二節(jié)正規(guī)方程

27解：令b=-1/C，則有誤差vi=li-(Lωi+b/ω例題解得第二節(jié)正規(guī)方程

28例題解得第二節(jié)正規(guī)方程28作代換：二、不等精度測(cè)量線性參數(shù)最小二乘法處理的正規(guī)方程

把不等精度測(cè)量線性參數(shù)最小二乘法處理轉(zhuǎn)化為等精度測(cè)量問(wèn)題。29作代換：二、不等精度測(cè)量線性參數(shù)最小二乘法處理的正規(guī)方程把由此可得不等精度測(cè)量線性參數(shù)最小二乘處理的正規(guī)方程：30由此可得不等精度測(cè)量線性參數(shù)最小二乘處理的30整理得：31整理得：31即不等精度的正規(guī)方程將代入上式，得（待測(cè)量Ｘ的無(wú)偏估計(jì)）32即不等精度的正規(guī)方程將代入上式，得（待測(cè)量Ｘ的無(wú)偏例5.2某測(cè)量過(guò)程有誤差方程式及相應(yīng)的標(biāo)準(zhǔn)差：試求的最可信賴值。解：首先確定各式的權(quán)第二節(jié)正規(guī)方程

33例5.2某測(cè)量過(guò)程有誤差方程式及相應(yīng)的標(biāo)準(zhǔn)差：試求作代換：iai1

ai2

li

a’i1

a’i2

l’i

12345

4116.444425.764128.604834.4031310.814932.4331413.2141239.6331515.2741545.81

第二節(jié)正規(guī)方程

34作代換：iai1ai2i

12345

161616103.04103.04166432137.60275.209812797.29291.87914436118.98475.92922545137.34687.15

59530156594.341833.18例題x1=4.186x2=2.227第二節(jié)正規(guī)方程

35i11616三、非線性參數(shù)最小二乘處理的正規(guī)方程針對(duì)非線性函數(shù)其測(cè)量誤差方程為令，現(xiàn)將函數(shù)在處展開(kāi)，則有36三、非線性參數(shù)最小二乘處理的正規(guī)方程針對(duì)非線性函數(shù)其測(cè)量誤差將上述展開(kāi)式代入誤差方程，令則誤差方程轉(zhuǎn)化為線性方程組于是可解得，進(jìn)而可得。近似值37將上述展開(kāi)式代入誤差方程，令則誤差方程轉(zhuǎn)化為線性方程組于是可四、最小二乘法與算術(shù)平均值的關(guān)系

為確定一個(gè)量X的估計(jì)值x，對(duì)它進(jìn)行n次直接測(cè)量，得到n個(gè)數(shù)據(jù),相應(yīng)的權(quán)分別為，則誤差方程為運(yùn)用最小二乘法的正規(guī)方程為

有誤差方程知ai=1，因此有

這正是不等精度測(cè)量的加權(quán)算術(shù)平均值！算術(shù)平均值原理可以看作是最小二乘法原理的特例。38四、最小二乘法與算術(shù)平均值的關(guān)系為確定一個(gè)量X的估計(jì)值x，第三節(jié)精度估計(jì)一、直接測(cè)量數(shù)據(jù)的精度估計(jì)

二、最小二乘估計(jì)量的精度估計(jì)

給出估計(jì)量x1,x2,…,xt的精度。39第三節(jié)精度估計(jì)一、直接測(cè)量數(shù)據(jù)的精第三節(jié)精度估計(jì)

一、測(cè)量數(shù)據(jù)精度估計(jì)(一）等精度測(cè)量數(shù)據(jù)的精度估計(jì)可以證明是自由度為(n－t)的變量。對(duì)包含t個(gè)未知線性參數(shù)的Y()進(jìn)行n次等精度測(cè)量得l1,l2,…,ln

，由殘差v1,v2,…,vn得標(biāo)準(zhǔn)差σ的估計(jì)量。根據(jù)變量的性質(zhì)，有vi互相獨(dú)立，且服從正態(tài)分布40第三節(jié)精度估計(jì)一、測(cè)量數(shù)據(jù)精度估計(jì)(一）等精度測(cè)量數(shù)據(jù)的則可取作為的無(wú)偏估計(jì)量。因此測(cè)量數(shù)據(jù)的標(biāo)準(zhǔn)差的估計(jì)量為測(cè)量次數(shù)未知量個(gè)數(shù)殘差平方和當(dāng)t=1時(shí)？

第三節(jié)精度估計(jì)

41則可取作為的無(wú)偏估計(jì)量。因此測(cè)量數(shù)據(jù)的標(biāo)準(zhǔn)差的估計(jì)iωilivi1

50.8-0.0191220.20.063331-0.3-0.0275例5.2試求例2中電抗的測(cè)量精度解：已知?dú)堄嗾`差方程為：

vi=li-(0.182ωi-1/2.2ωi)。第三節(jié)精度估計(jì)

42iωilivi150.8-0.0191220.20.063(二)不等精度測(cè)量數(shù)據(jù)的精度估計(jì)

一、直接測(cè)量數(shù)據(jù)的精度估計(jì)

測(cè)量數(shù)據(jù)的單位權(quán)標(biāo)準(zhǔn)差

未知量個(gè)數(shù)方程個(gè)數(shù)加權(quán)殘差平方和當(dāng)t=1時(shí)？

第三節(jié)精度估計(jì)

43(二)不等精度測(cè)量數(shù)據(jù)的精度估計(jì)一、直接測(cè)量數(shù)據(jù)二、最小二乘估計(jì)量的精度估計(jì)

最小二乘法所確定的估計(jì)量x1,x2,…,xt的精度取決于測(cè)量數(shù)據(jù)l1,l2,…,ln的精度和線性方程組所給出的函數(shù)關(guān)系。

第三節(jié)精度估計(jì)

44二、最小二乘估計(jì)量二、最小二乘估計(jì)量的精度估計(jì)

1、等精度測(cè)量時(shí)估計(jì)量的精度估計(jì)

設(shè)有n×n協(xié)方差矩陣這里，Dlii為li的方差,Dlii=E[(li-Eli)2]=σi2；Dlij為li與lj的協(xié)方差,Dlij=E[(li-Eli)(lj-Elj)]=ρijσiσj,i≠j.若l1,l2,…,ln是等精度獨(dú)立測(cè)量的結(jié)果，則有且相關(guān)系數(shù)ρij＝０。第三節(jié)精度估計(jì)

45二、最小二乘估計(jì)量對(duì)于估計(jì)量x1,x2,…,xt，其協(xié)方差矩陣為二、最小二乘估計(jì)量的精度估計(jì)

第三節(jié)精度估計(jì)

46對(duì)于估計(jì)量x1,x2,…,xt，其協(xié)方差矩陣為二、最小二乘估二、最小二乘估計(jì)量的精度估計(jì)

設(shè)因此，有第三節(jié)精度估計(jì)

47二、最小二乘估計(jì)量解：已知正規(guī)方程為例5.3試求例題5.1中電感和電容估計(jì)量的精度。有估計(jì)量L、b的標(biāo)準(zhǔn)差為測(cè)量數(shù)據(jù)的標(biāo)準(zhǔn)差為σ=0.0716而C=-1/b，σC=?第三節(jié)精度估計(jì)

48解：已知正規(guī)方程為例5.3試求例題5.1中電感和電容估二、最小二乘估計(jì)量的精度估計(jì)

2、不等精度測(cè)量估計(jì)量的精度估計(jì)

第三節(jié)精度估計(jì)

49二、最小二乘估計(jì)量第四節(jié)

組合測(cè)量（combinedmeasurement）的最小二乘法處理50第四節(jié)

組合測(cè)量（combinedmeasurement）組合測(cè)量基本概念組合測(cè)量是通過(guò)直接測(cè)量待測(cè)參數(shù)的各種組合量（一般是等精度測(cè)量），然后對(duì)這些測(cè)量數(shù)據(jù)進(jìn)行處理，從而求得待測(cè)參數(shù)的估計(jì)值，并給出其精度估計(jì)。第四節(jié)組合測(cè)量的最小二乘法處理

例如要測(cè)量x,y,z三個(gè)量，可以采用如下組合測(cè)量組合測(cè)量的優(yōu)點(diǎn)是既能提高測(cè)量精度又能減少測(cè)量次數(shù)。若x,y,z三個(gè)量單獨(dú)測(cè)量，每個(gè)測(cè)量4次的話，總共需測(cè)12次。若用組合測(cè)量，三個(gè)量都還是各測(cè)了4次，但總測(cè)量次數(shù)只有7次，較前減少了5次，而又能達(dá)到同樣的目的。x=l1y=l2z=l3

x+y=l4y+z=l5x+z=l6x+y+z=l751組合測(cè)量基本概念組合測(cè)量是通過(guò)直接測(cè)量待測(cè)參數(shù)的各種組合量（組合測(cè)量基本概念通常組合測(cè)量數(shù)據(jù)是用最小二乘法進(jìn)行處理，它是最小二乘法在精密測(cè)試中的一種重要應(yīng)用。t個(gè)被測(cè)量(t>1)

n個(gè)誤差方程式

求解n種組合(n>t)測(cè)得

最小二乘法第四節(jié)組合測(cè)量的最小二乘法處理

52組合測(cè)量基本概念t個(gè)被測(cè)量(t>1)n個(gè)誤差方程式求解n【例題】要求檢定絲紋尺0，1，2，3刻線間的距離x1,x2,x3.已知用組合測(cè)量法測(cè)得圖所示刻線間隙的各種組合量。試用最小二乘法求x1,x2,x3

及其標(biāo)準(zhǔn)偏差。第四節(jié)組合測(cè)量的最小二乘法處理

53【例題】要求檢定絲紋尺0，1，2，3刻線間的距離x1,x2直接測(cè)量各組合量Li，得首先列出誤差方程0123xxx123LLLLLL123456第四節(jié)組合測(cè)量的最小二乘法處理

54直接測(cè)量各組合量Li，得首先列出誤差方程0123xxx123由于由此可得：第四節(jié)組合測(cè)量的最小二乘法處理

55由于由此可得：第四節(jié)組合測(cè)量的最小二乘法處理55則有第四節(jié)組合測(cè)量的最小二乘法處理

56則有第四節(jié)組合測(cè)量的最小二乘法處理56那么，測(cè)量數(shù)據(jù)的標(biāo)準(zhǔn)差為將最佳估計(jì)值代入誤差方程中，得到求估計(jì)量的精度估計(jì)第四節(jié)組合測(cè)量的最小二乘法處理

57那么，測(cè)量數(shù)據(jù)