最小二乘法綜述及舉例

1、最小二乘法綜述及算例一最小二乘法的歷史簡(jiǎn)介1801年，意大利天文學(xué)家朱賽普皮亞齊發(fā)現(xiàn)了第一顆小行星谷神星。經(jīng)過40天的跟蹤觀測(cè)后，由于谷神星運(yùn)行至太陽背后，使得皮亞齊失去了谷神星的位置。隨后全世界的科學(xué)家利用皮亞齊的觀測(cè)數(shù)據(jù)開始尋找谷神星，但是根據(jù)大多數(shù)人計(jì)算的結(jié)果來尋找谷神星都沒奧爾伯斯根據(jù)有結(jié)果。時(shí)年24歲的高斯也計(jì)算了谷神星的軌道。奧地利天文學(xué)家海因里希 高斯計(jì)算出來的軌道重新發(fā)現(xiàn)了谷神星。中。隨著現(xiàn)代電子計(jì)算高斯使用的最小二乘法的方法發(fā)表于1809年他的著作大體運(yùn)動(dòng)論經(jīng)過兩百余年后，最小二乘法已廣泛應(yīng)用與科學(xué)實(shí)驗(yàn)和工程技術(shù)中， 機(jī)的普及與發(fā)展，這個(gè)方法更加顯示出其強(qiáng)大的生命力。 二最小

2、二乘法原理最小二乘法的基本原理是：成對(duì)等精度測(cè)得的一組數(shù)據(jù)xi,yi(i =1,2,.,n),是找出一條最佳的擬合曲線，似的這條曲線上的個(gè)點(diǎn)的值與測(cè)量值的差的平方和在所有擬合曲線中最小。設(shè)物理量y與1個(gè)變量xi,x2,.,xi間的依賴關(guān)系式為：y= f (xi,x2,., xi；a0, ai,., an)。其中a0,a1,.,an是n +l個(gè)待定參數(shù),記s = £ (v y )其中vi是測(cè)量值，vi是由己求得的i Wao，ai，.，an以及實(shí)驗(yàn)點(diǎn)(xi,xi2,.,xii；vi)(i =1,2,.,m)得出的函數(shù)值y = f (xi1, xi2,.,xil; a0, a1,., an

3、)。在設(shè)計(jì)實(shí)驗(yàn)時(shí)，為了減小誤差，常進(jìn)行多點(diǎn)測(cè)量，使方程式個(gè)數(shù)大于待定參數(shù)的個(gè)數(shù) ， 此時(shí)構(gòu)成的方程組稱為矛盾方程組。通過最小二乘法轉(zhuǎn)化后的方程組稱為正規(guī)方程組(此時(shí)方程式的個(gè)數(shù)與待定參數(shù)的個(gè)數(shù)相等)。我們可以通過正規(guī)方程組求出 a最小二乘法又稱曲線擬合，所謂“擬合”即不要求所作的曲線完全通過所有的數(shù)據(jù)點(diǎn) ， 只要求所得的曲線能反映數(shù)據(jù)的基本趨勢(shì)。三曲線擬合曲線擬合的幾何解釋：求一條曲線，使數(shù)據(jù)點(diǎn)均在離此曲線的上方或下方不遠(yuǎn)處。(1) 一元線性擬合設(shè)變量y與x成線性關(guān)系y=a0+ax,先已知m個(gè)實(shí)驗(yàn)點(diǎn)xi,vi(i = 1,2,.,m),求兩個(gè)未知參數(shù)a0, a1 °m2: s令 s

4、= £ (y a0axi)，則 a0,a應(yīng)滿足 丁 = 0,i =0,1。；ais=一2£ （y-a。qx） =0:a0 i 4:s疽/=-2 （yi _a。_axi） =0：aii 4化簡(jiǎn)得一 ai.m .1a m iAXi =mmyi imma" 乂a1' xiyi Li 1-.從中解出m xyx、yii A i 1ai 二mmim xiLt xi舊i4mma0=m：y-mLxi（2）多元線性擬合設(shè)變量y與n個(gè)變量X，淪."xKn芝1）的內(nèi)在聯(lián)系是線性的，即有下式ny = a。土 a1 xjj ±設(shè)xj的第i次測(cè)量值為xij ,對(duì)應(yīng)

5、的函數(shù)值為yi =（1,2,-,m）,則偏差平方和2m匕ms =、yi _y= '、 y -a。-axi =1i=1為使S去得最小值的方程組- mi -a0 _ ax = 0j1旦=2 -a。i d- m：STn.=-2源 yi -a。二 ajxj x” =0a1i* .j-m竺=一2£L an i 4即yi _a0 ajxij xin = 0n m ma0 -1.1j 1 J 1mnZ xka0+£ i =1j =1k=1,2,.,n。（4）mxij a = ' vz m*mZ xijxk 切=Z xiky<i =i/i m將實(shí)驗(yàn)數(shù)據(jù)（xj,yi）代

6、入（4）式，即得a0,a1,.,an。（3）多項(xiàng)式擬合科學(xué)實(shí)驗(yàn)后得到一組數(shù)據(jù)時(shí)，常會(huì)遇到因變量y與自變量x之間根本不存在線性關(guān)系。此可以考慮用一個(gè)n次多項(xiàng)式來擬合y與x之間的函數(shù)關(guān)系。n對(duì)于n多項(xiàng)式y(tǒng)=£ aix1，令x =x¥j =0,1,.,n）,則可將其化為線性形式：i =0ny = ao 、ajxj皂對(duì)于i=1,2,.,m個(gè)實(shí)驗(yàn)點(diǎn)有xj =x?，代入（3）式有n / mmma+£ iZ xij1aj =£ yj皂7注 ik = 1,2,., nmn ，mmZ xkao +Z ZxijxikOj =£ Xkyjj a、m從而得出多項(xiàng)式的最

7、小二乘法擬合的方程n / m mX X x* ¥i=，xky k=0,1,.,ni 注i 旦 )i =1寫成矩陣的形式即為mmm飛< mmZ xiz2xi.n£為zymi=1mi=1mi=1mmzxiz x2z3xi.寸n +Z xa1zxiyii Mi 土i 4im.i注.m.m.m.m<an J.mzn 為寸n Hf2- xiznd2 x.2 n2- Xzn 為yi<i MiMii經(jīng)JLi蘭J從中可以解出ao, ai,.,an。（4）指數(shù)函數(shù)擬合此時(shí)擬合函數(shù)具有形式 y=aebx （a, b為待定系數(shù)）。兩端取自然對(duì)數(shù)有In y = In a bx （

8、*）令 Y = In y bo = In a則（*）式化為線性形式Y(jié) =b。十bx再利用（1）式和（2）式，即可求出bo,b。從而有a = e。故y = e"*'。四最小二乘法應(yīng)用舉例例：已知某銅棒的電阻與溫度關(guān)系為：R = R0 +ot -t。實(shí)驗(yàn)測(cè)得7組數(shù)據(jù)（見表1）如下:試用最小二乘法求出參量 Ro、a以及確定它們的誤差。表1t / C19.125.130.136.040.045.150.1Rt /76.3077.8079.7580.8082.3583.9085.10此例中只有兩個(gè)待定的參量 R0和a,為得到它們的最佳系數(shù)， 所需要的數(shù)據(jù)有n、£ X、W y、

9、W Xi2、£ y和£ XiYi六個(gè)累加數(shù)，為此在沒有常用的科學(xué)型計(jì)算器時(shí)，通過列表計(jì)算的方式來進(jìn)行，這對(duì)提高計(jì)算速度將會(huì)有極大的幫助（參見表2）,并使工作有條理與不易出錯(cuò)。其中表內(nèi)雙線右邊的計(jì)算是為了確定R。和a的誤差項(xiàng)用的。表2it/ C(Xi )Rt / Q (yi )t X t(x2i )RtX Rt (y2i )t x Rt(為 yi )R計(jì)算/ Q。/ QV2 X 10-4119.176.30364.85821.71457.376.26+0.0416225.177.80630.06052.81952.877.99-0.19361330.179.75906.063

10、60.12400.579.43+0.321024436.080.801296.06528.62908.881.13-0.331089540.082.351600.06781.53294.082.28+0.0749645.183.902034.07039.23783.983.75+0.15225750.185.102510.07242.04263.585.19-0.0981n =7£ Xi =245.5Z V =566.00一 2£ Xi =9340.8Z y：=45826，x yi =20060.8寸2z Vi =一一 -42845X10根據(jù)表2中所求得的數(shù)據(jù)，代入公式(1

11、2)則可得：:7 20060.8 -245.5 566.001472.6。八 =k =20.287881 / C7 9340.8 -(245.5)25115.35566.00245.5R0 =b = 0.28788 = 70.76078"77把測(cè)量數(shù)據(jù)代入式（13）和（15）中可求出相關(guān)系數(shù)xb x' yin212212 _一 Xi - (._ Xi) ._ yi - (._ yi ) nn20060.8-245.5 566.007(245.5)2(566.00)29340.8 (45826)=kx2 -1e Xi)2n= 0.28788、y2 -1T yi)2n(245.5

12、)29340.8 7 2 =0.99757(566.00)245826 7說明：電阻Rt與溫度t的線性關(guān)系良好，所以取Ro的有效數(shù)字與 R對(duì)齊，即R°= 70.7心;又因?yàn)閠7-11 = 31.0 C, R7 Ri = 8.800，取k有效數(shù)字為以上兩個(gè)差值中較少的位數(shù)3位，則k = 0.288Q/P。由此可以得到電阻與溫度的相關(guān)關(guān)系為：Rt =70.76 0.288t按補(bǔ)充資料中的公式計(jì)算k和b的不確定度，可得Sy = SRtsk =s：n 2Sy2845 10 x0.239(")7 -20.239,=0.239 x(9340.8 竺55-.70.03699 =0.0088("/ C)=0.0088 一 J9340'8 = 0.33(0) n7故R0 =(70.76 ±0.33)Q =(70.8 ±0.3)。，:=(0.2879 一 0.009)" / C = (0.288 一 0