《小二乘法二、小結(jié)》

1、一、最小二乘法一、最小二乘法二、小結(jié)二、小結(jié) 第七節(jié)第七節(jié) 最小二乘法最小二乘法 在工程問題中，常常需要根據(jù)兩個(gè)變量的在工程問題中，常常需要根據(jù)兩個(gè)變量的幾組實(shí)驗(yàn)數(shù)值幾組實(shí)驗(yàn)數(shù)值實(shí)驗(yàn)數(shù)據(jù)，來找出這兩個(gè)變實(shí)驗(yàn)數(shù)據(jù)，來找出這兩個(gè)變量的函數(shù)關(guān)系的近似表達(dá)式通常把這樣得到量的函數(shù)關(guān)系的近似表達(dá)式通常把這樣得到的函數(shù)的近似表達(dá)式叫做的函數(shù)的近似表達(dá)式叫做經(jīng)驗(yàn)公式經(jīng)驗(yàn)公式. .一、最小二乘法(least square method)問題：如何得到經(jīng)驗(yàn)公式，常用的方法是什么？問題：如何得到經(jīng)驗(yàn)公式，常用的方法是什么？ 為了弄清某企業(yè)利潤和產(chǎn)值的函數(shù)關(guān)系，為了弄清某企業(yè)利潤和產(chǎn)值的函數(shù)關(guān)系，我們把該企業(yè)從我們

2、把該企業(yè)從19921992年到年到20012001年間的利潤年間的利潤y y和產(chǎn)和產(chǎn)值值x x的統(tǒng)計(jì)數(shù)據(jù)列表如下的統(tǒng)計(jì)數(shù)據(jù)列表如下：年年份份 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 產(chǎn)產(chǎn)值值ix(萬萬元元) 4.92 5.00 4.93 4.90 4.90 4.95 4.98 4.99 5.02 5.02 利利潤潤iy (萬萬元元) 1.67 1.70 1.68 1.66 1.66 1.68 1.69 1.70 1.70 1.71 試試根根據(jù)據(jù)上上面面的的統(tǒng)統(tǒng)計(jì)計(jì)數(shù)數(shù)據(jù)據(jù)建建立立y和和x之之間間的的經(jīng)經(jīng)驗(yàn)驗(yàn)公公式式)(xfy . .

3、實(shí)例一 觀 察 可 以 認(rèn)觀 察 可 以 認(rèn)為為)(xfy 是線性函數(shù)是線性函數(shù), ,并設(shè)并設(shè),)(baxxf 其中其中a和和b是待定常數(shù)是待定常數(shù). . 如圖，在坐標(biāo)紙上畫出如圖，在坐標(biāo)紙上畫出這些點(diǎn)，這些點(diǎn)，解解首先確定首先確定)(xf的類型的類型. . 因?yàn)檫@些點(diǎn)本來不在一條直線上，我們只因?yàn)檫@些點(diǎn)本來不在一條直線上，我們只能要求選取這樣的能要求選取這樣的 ，使得，使得 在在 處的函數(shù)值與實(shí)驗(yàn)數(shù)據(jù)處的函數(shù)值與實(shí)驗(yàn)數(shù)據(jù) 相相差都很小差都很小ba,baxxf )(1021,xxx1021,yyyty90. 492. 494. 498. 496. 400. 502. 565. 167. 169

4、. 171. 173. 175. 1就是要使偏差就是要使偏差 )10, 2 , 1()( ixfyii都很小都很小.因此可以考慮選取常數(shù)因此可以考慮選取常數(shù) ，使得，使得 ba, 1012)(iiibaxyM定義定義這種根據(jù)偏差的平方和為最小的條件來選這種根據(jù)偏差的平方和為最小的條件來選擇常數(shù)擇常數(shù) 的方法叫做的方法叫做最小二乘法最小二乘法ba,這種確定常數(shù)的方法是通常所采用的這種確定常數(shù)的方法是通常所采用的.最小來保證每個(gè)偏差的絕對(duì)值都很小最小來保證每個(gè)偏差的絕對(duì)值都很小M把看成自變量把看成自變量 和和 的一個(gè)二元函數(shù)，的一個(gè)二元函數(shù)，ab那么問題就可歸結(jié)為求函數(shù)那么問題就可歸結(jié)為求函數(shù) 在

5、哪在哪些點(diǎn)處取得最小值些點(diǎn)處取得最小值.),(baMM 101101; 0)(2, 0)(2iiiiiiibaxybMxbaxyaM令令即即 101101. 0)(, 0)(iiiiiiibaxyxbaxy將括號(hào)內(nèi)各項(xiàng)進(jìn)行整理合并，并把未知數(shù)將括號(hào)內(nèi)各項(xiàng)進(jìn)行整理合并，并把未知數(shù) 和和 分離出來，便得分離出來，便得ab)1(.10,1011011011011012 iiiiiiiiiiiybxayxxbxa計(jì)算得計(jì)算得,61.49101 iix,13.2461012 iix,86.16101 iiy65.83101 iiiyx代入方程組（代入方程組（1）得）得 .86.161061.49,65.

6、8361.4913.246baba解此方程組，得到解此方程組，得到.0049. 0,3389. 0 ba這樣便得到所求經(jīng)驗(yàn)公式為這樣便得到所求經(jīng)驗(yàn)公式為)2(.0049. 03389. 0)( xxfy由（由（2）式算出的函數(shù)值）式算出的函數(shù)值 與實(shí)測的與實(shí)測的有一定的偏差有一定的偏差.現(xiàn)列表比較如下：現(xiàn)列表比較如下：)(ixfiy年份年份 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 實(shí)測實(shí)測iy 1.67 1.70 1.68 1.66 1.66 1.68 1.69 1.70 1.70 1.71 算得算得)(ixf 1.6723 1.69

7、94 1.6757 1.6655 1.6655 1.6825 1.6926 1.6960 1.7062 1.7062 偏差偏差 -0.0023 0.0006 0.0043 -0.0055 -0.0055 -0.0025 -0.0026 0.004 -0.0062 0.0038 偏差的平方和偏差的平方和 偏差的平方根偏差的平方根 4106653. 1 M0129. 0 M我們把我們把 稱為稱為均方誤差均方誤差，它的大小在一定，它的大小在一定程度上反映了用經(jīng)驗(yàn)公式來近似表達(dá)原來函數(shù)關(guān)程度上反映了用經(jīng)驗(yàn)公式來近似表達(dá)原來函數(shù)關(guān)系的近似程度的好壞系的近似程度的好壞M 在研究單分子化學(xué)反應(yīng)速度時(shí)，得到下

8、列數(shù)據(jù)：在研究單分子化學(xué)反應(yīng)速度時(shí)，得到下列數(shù)據(jù)：6.58.912.216.622.731.041.957.6242118151296387654321ii iy其中其中 表示從實(shí)驗(yàn)開始算起的時(shí)間表示從實(shí)驗(yàn)開始算起的時(shí)間 ， 表示表示 時(shí)刻反應(yīng)物的量試定出經(jīng)驗(yàn)公式時(shí)刻反應(yīng)物的量試定出經(jīng)驗(yàn)公式 y).( fy 解解)( fy 由化學(xué)反應(yīng)速度的理論知道，由化學(xué)反應(yīng)速度的理論知道， 應(yīng)是應(yīng)是指數(shù)函數(shù)：指數(shù)函數(shù)：, mkey 其中其中 和和 是待定常數(shù)是待定常數(shù).km實(shí)例二實(shí)例二由于由于所以仿照例所以仿照例1中的討論中的討論,通過求方程組通過求方程組)3(lg8,lg81818181812 iiiii

9、iiiiiiybayba 的解的解,把把 確定出來確定出來.ba,lgbay 討論：討論：通過計(jì)算得通過計(jì)算得,10881 ii ,1836812 ii , 3 .10lg81 iiy.122lg81 iiiy 將他們代入方程組（將他們代入方程組（3）得）得 . 3 .108108,1221081836baba解這方程組，得解這方程組，得 .8964. 1lg,045. 04343. 0kbma.78.78,1036. 0 km因此所求經(jīng)驗(yàn)公式為因此所求經(jīng)驗(yàn)公式為.78.781036. 0 ey二、小結(jié)用的一種用的一種，其中最小二乘法是常，其中最小二乘法是常作曲線擬合有多種方法作曲線擬合有多種方法，給定平面上一組點(diǎn)給定平面上一組點(diǎn)), 3 , 2 , 1(),(niyxii 最小二乘法的原理：最小二乘法的原理： 達(dá)到最小達(dá)到最小，使，使求求 niiibatyMtf12)()(注意：計(jì)算機(jī)與數(shù)據(jù)擬合注意：計(jì)算機(jī)與數(shù)據(jù)擬合（參看高等數(shù)學(xué)實(shí)驗(yàn)課講義郭錫伯徐安農(nóng)編）（參看高等數(shù)學(xué)實(shí)驗(yàn)課講義郭錫伯徐安農(nóng)編）練練 習(xí)習(xí) 題題:(%)0的數(shù)據(jù)如下表的數(shù)據(jù)如下表與與，由實(shí)驗(yàn)測得，由實(shí)驗(yàn)測得為為，其溶解