第2章最小二乘法ppt課件

1、1曲線擬合的最小二乘法曲線擬合的最小二乘法 1 引引 言言 在科學(xué)實(shí)驗(yàn)和生產(chǎn)實(shí)踐中，經(jīng)常要從一組實(shí)在科學(xué)實(shí)驗(yàn)和生產(chǎn)實(shí)踐中，經(jīng)常要從一組實(shí)驗(yàn)數(shù)據(jù)驗(yàn)數(shù)據(jù) 出發(fā)，尋求函數(shù)出發(fā)，尋求函數(shù)y = f(x)的一個(gè)近似表達(dá)式的一個(gè)近似表達(dá)式y(tǒng)=x）（稱為經(jīng)驗(yàn)公式）。）（稱為經(jīng)驗(yàn)公式）。從幾何上，就是希望根據(jù)給出的從幾何上，就是希望根據(jù)給出的m個(gè)點(diǎn)個(gè)點(diǎn) ，求曲線求曲線 y = f(x) 的一條近似曲線的一條近似曲線 y=x）。因）。因此，這是一個(gè)曲線擬合的問題。此，這是一個(gè)曲線擬合的問題。 多項(xiàng)式插值雖然在一定程度上解決了由函數(shù)多項(xiàng)式插值雖然在一定程度上解決了由函數(shù)表求函數(shù)的近似表達(dá)式問題，但用它來解決這里表

2、求函數(shù)的近似表達(dá)式問題，但用它來解決這里提出的問題，有明顯缺陷。提出的問題，有明顯缺陷。 首先，實(shí)驗(yàn)提供的數(shù)據(jù)通常帶有測試誤差。首先，實(shí)驗(yàn)提供的數(shù)據(jù)通常帶有測試誤差。如要求近似曲線如要求近似曲線y=x嚴(yán)格地通過所給的每嚴(yán)格地通過所給的每個(gè)數(shù)據(jù)點(diǎn)個(gè)數(shù)據(jù)點(diǎn) ，就會(huì)使曲線保持原有的測試誤，就會(huì)使曲線保持原有的測試誤差。當(dāng)個(gè)別數(shù)據(jù)的誤差較大時(shí)，插值效果顯然是差。當(dāng)個(gè)別數(shù)據(jù)的誤差較大時(shí)，插值效果顯然是不理想的。不理想的。 其次，由實(shí)驗(yàn)提供的數(shù)據(jù)往往較多即其次，由實(shí)驗(yàn)提供的數(shù)據(jù)往往較多即m較大），用插值法得到的近似表達(dá)式，明顯地缺較大），用插值法得到的近似表達(dá)式，明顯地缺乏實(shí)用價(jià)值。乏實(shí)用價(jià)值。), 2

3、, 1)(,(miyxii),(yxii),(yxii2因此，怎樣從給定的一組數(shù)據(jù)出發(fā)，在某個(gè)函數(shù)類中尋求一個(gè)“最好的函數(shù)x來擬合這組數(shù)據(jù)，是一個(gè)值得討論的問題。 隨著擬合效果“好”、“壞標(biāo)準(zhǔn)的不同，解決此類問題的方法也不同。這里介紹一種最常用的曲線擬合方法，即最小二乘法。2 什么是最小二乘法 如前所述，在一般情況下，我們不能要求近似曲線 y=fx嚴(yán)格地通過所有數(shù)據(jù)點(diǎn) ，亦即不能要求所有擬合曲線函數(shù)在 xi 處的偏差亦稱殘差）都嚴(yán)格地趨于零。但是，為了使近似曲線盡量反映所給數(shù)據(jù)點(diǎn)的變化趨勢，要求 i 都較小還是需要的。達(dá)到這一目標(biāo)的途徑很多，常見的有： (1)選取x），使偏差絕對(duì)值之和最小，即

4、 ),(yxiimin)(11miiimiiyx), 2 , 1()(miyxiii(2.1)3 (2) 選取x），使偏差最大絕對(duì)值最小，即 (2.2) (3)選取x），使偏差平方和最小，即 (2.3) 為了方便計(jì)算、分析與應(yīng)用，我們較多地根據(jù)“偏差平方和最小的原則稱為最小二乘原則來選取擬合曲線y=x） 按最小二乘原則選擇擬合曲線的方法，稱為 最小二乘法。 本章要著重討論的線性最小二乘問題，其基本提法是：對(duì)于給定數(shù)據(jù)表 x x1 x2 xm y y1 y2 ym min)(maxmax11iimiimiyxmin)(2112imiimiiyx4要求在某個(gè)函數(shù)類 （其中nm中尋求一個(gè)函數(shù) (2.

5、4)使*(x)滿足條件 (2.5) 式中 是函數(shù)類 中任一函數(shù)。 滿足關(guān)系式2.5的函數(shù) ，稱為上述最小二乘問題的最小二乘解 。 由上可知，用最小二乘法解決實(shí)際問題包含兩個(gè)基本環(huán)節(jié)：先根據(jù)所給數(shù)據(jù)點(diǎn)的變化趨勢與問題的實(shí)際背景確定函數(shù)類 ,即確定所具有的形式；然后按最小二乘法原則2.3求取最小二乘解 ，即確定其系數(shù) 。 )(,),(),(10 xxxn)()()()(*1*1xaxaxaxnno)()()()(1100 xxxxnnaaa)(x)(x)(x), 1 , 0(*nkakmiiimixiiyxyx121)(2*)(min)(5最小二乘解的求法最小二乘解的求法 由最小二乘解由最小二乘解

6、2.4應(yīng)滿足條件應(yīng)滿足條件2.5知，點(diǎn)知，點(diǎn) 是多元函數(shù)是多元函數(shù)的極小點(diǎn)，從而的極小點(diǎn)，從而 滿足方程組滿足方程組 即即),(*1*0naaa2110)(),( minokiikknyxaaaaS*1*0,naaa0kaS),2 , 1 , 0(nk0)(.)()()(11001iinniimiikyxaxaxax6亦即 若對(duì)任意的函數(shù)h(x)和g(x) ，引入記號(hào) 則上述方程組可以表示成 寫成矩陣形式即 imiikinmiiknimiikmiiikyxxxaxxaxxa)()()(.)()()()(11111100miiixgxhgh1)()(),(), 1 , 0)(,(),(.),()

7、,(1100nkfaaaknknkk),(),(),(),(.),(.),(.),(.),(),(),(.),(),(101010111010 1000fffaaannnnnnnn(3.1)(3.2)7 方程組(3.2)稱為法方程組。當(dāng) 線性無關(guān)時(shí)，可以證明它有唯一解并且相應(yīng)的函數(shù)(2.4)就是滿足條件(2.5)的最小二乘解。 綜上分析可得 定理1 對(duì)任意給定的一組實(shí)驗(yàn)數(shù)據(jù) (其中 互異),在函數(shù)類 ( 線性無關(guān)中,存在唯一的函數(shù)使得關(guān)系式(2.5)成立，并且其系數(shù) 可以通過解方程組(3.2)得到。 作為曲線擬合的一種常用的情況，若討論的是代數(shù)多項(xiàng)式擬合，即取 則由(3.1)知)(),.,()

8、,(10 xxxn*11*00,.,nnaaaaaa), 2 , 1)(,(miyxiiix)()(),.(),(10mnxxxnn,.,10)(.)()(*1*10*0*xaxaxann),.,1 , 0(*niainnxxxxx)(,.,)(, 1)(108故相應(yīng)的法方程組為 下面，通過兩個(gè)具體的例子來說明用最小二乘法解決實(shí)際的問題的具體步驟與某些技巧 。nkjxxxmikjimikijikj, 1 , 0,),(11), 1 , 0(),(1nkyxfmiikikmiinimiiimiinminiminiminiminimiimiiminimiiyxyxyaaaxxxxxxxxm1111

9、0121111112111.(3.3)9例例 1 某種鋁合金的含鋁量為某種鋁合金的含鋁量為 ，其熔解溫度為，其熔解溫度為 c，由實(shí)驗(yàn)測得，由實(shí)驗(yàn)測得 與與 的數(shù)據(jù)如表的數(shù)據(jù)如表3-1左邊三列。使用最小二乘法建立左邊三列。使用最小二乘法建立 與與 之間的之間的 經(jīng)驗(yàn)公式。經(jīng)驗(yàn)公式。解解 根據(jù)前面的討論，解決問題的過程如下：根據(jù)前面的討論，解決問題的過程如下： （1） 將表中給出的數(shù)據(jù)點(diǎn)將表中給出的數(shù)據(jù)點(diǎn) 描繪在坐標(biāo)紙上，描繪在坐標(biāo)紙上， 如圖如圖3-1所示。所示。 （2） 確定擬合曲線的形式。由圖確定擬合曲線的形式。由圖3-1可以看出，六個(gè)點(diǎn)位于一條可以看出，六個(gè)點(diǎn)位于一條 直線的附近，故可以選

10、用線性函數(shù)直線來擬合這組實(shí)直線的附近，故可以選用線性函數(shù)直線來擬合這組實(shí)驗(yàn)驗(yàn) 數(shù)據(jù)，即令數(shù)據(jù)，即令180圖 3-1y30026022030507090 xy0)6 , 2 , 1)(,(iyxii%xxxyy10 其中a,b為待定常數(shù)。 （3） 建立法方程組。由于問題歸結(jié)為一次多項(xiàng)式擬合問題， 故由 (3.3)知，相應(yīng)的法方程組形如 經(jīng)過計(jì)算表3-1即得確定待定系數(shù)a，b的法方程組 （4解法方程(3.5)得 a=95.3524 , b=2.2337 代入(3.4)即得經(jīng)驗(yàn)公式 y=95.3524+2.2337xbxax)(616161261616iiiiiiiiiiiyxybaxxx3 .10

11、117628.283656 .39614589 .3966baba(3.4)(3.5)(3.6)11 yxiixiyixi2 i 136.91811361.616678.9 246.71972180.899199.9 363.72354057.6914969.5 477.82706052.8421006.0 584.02837056.0023772.0 687.52927656.2525550.0396.6145828365.28101176.3表表 3-112 所得經(jīng)驗(yàn)公式能否較好地反映客觀規(guī)律,還需通過實(shí)踐來檢驗(yàn).由(3.6)式算出的函數(shù)值(稱為擬合值)與實(shí)際值有一定的偏差。由表3-2可以

12、看出，偏差的平方和 ，其平方根稱為均方誤差） 在一定程度上反映了所得經(jīng)驗(yàn)公式的好壞。同時(shí)，由表3-2還可以看出，最大偏差 . 如果認(rèn)為這樣的誤差都允許的話，就可以用經(jīng)驗(yàn)公式(3.6)來計(jì)算含鋁量在36.987.5%之間的溶解度。否則，就要用改變函數(shù)類型或者增加實(shí)驗(yàn)數(shù)據(jù)等方法來建立新的經(jīng)驗(yàn)公式。例 2 在某化學(xué)放應(yīng)里，測得生成物的濃度y%與時(shí)間t的數(shù)據(jù)表見表3-3， 是用最小二乘法建立t與y的經(jīng)驗(yàn)公式 。解 將已知數(shù)據(jù)點(diǎn) 描述在坐標(biāo)紙上，見圖3-2。由圖3-2 及問題的物理背景可以看出，擬合曲線 應(yīng)具下列特點(diǎn)： ), 2 , 1(2337. 23524.95mixyii6704.26612ii1

13、64. 52i22. 3max61ii)16, 2 , 1)(,(iytii)(xy13i12345636.946.763.777.884.087.5177.78199.67237.64269.13282.98290.80181197235270283292-3.222.672.64-0.87-0.02-1.2010.377.136.970.760.00041.4426.6704xiyiyiyyiii2i2i表表 3-214 t12345678y4.006.408.008.809.229.509.709.86t910111213141516y10.0010.2010.3210.4210.501

14、0.5510.5810.60表表 3-3 （1） 曲線隨著t的增加而上升，但上升速度由快到慢。y10504812t16圖圖 3-215（2當(dāng)t=0時(shí)，反應(yīng)還未開始，即y=0; 當(dāng) 時(shí)，y趨于某一常數(shù). 故曲線應(yīng)通過原點(diǎn)(或者當(dāng)t=0時(shí)以原點(diǎn)為極限點(diǎn))，且有一條水平 漸近線。 具有上述特點(diǎn)的曲線很多。選用不同的數(shù)學(xué)模型，可以獲得不同的擬合曲線與經(jīng)驗(yàn)公式。 下面提供兩種方案: 方案1: 想象 是雙曲線型的，并且具有下面的形式 (3.7) 此時(shí)，若直接按最小二乘法原則去確定參數(shù)a和b , 則問題 歸結(jié)為求二元函數(shù) 的極小點(diǎn)，這將導(dǎo)致求解非線性方程組:t)(tybatty2161)(),(iiiiyb

15、attbaS(3.8)160)()(20)()(2161216122iiiiiiiiiiiiybattbattaSybattbattaS給計(jì)算帶來了麻煩?？赏ㄟ^變量替換來將它轉(zhuǎn)化為關(guān)于待定參數(shù)的線.性形函數(shù)。為此，將(3.7)改寫成于是，若引入新變量那么(3.7)式就是tbay1ttyy1,1)1()1()1()1(btay17同時(shí)，由題中所給數(shù)據(jù) 表3-3可以算出新的數(shù)據(jù)表表3-4這樣，問題就歸結(jié)為：根據(jù)數(shù)據(jù)表3-4，求形如 的最小二乘解. 參照例1的做法，解方程組)1()1(btayi123161.000000.500000.333330.062500.250000.156250.1250

16、00.09434ttii1)1(yyii1)1(161)1()1(161)1(1612)1(161)1(161)1()(16iiiiiiiiiiiytybattt表表 3-418既得 a=80.6621, b=161.6822代入(3.7) ,既得經(jīng)驗(yàn)公式 (3.9) 方案2： 想象 具有指數(shù)形式 為了求參數(shù)a和b 時(shí)，避免求解一個(gè)非線形方程組，對(duì)上式兩邊取對(duì)數(shù) 此時(shí)，若引入新變量 并記A= lna,B=b,則上式就是 6822.1616621.80tty)(ty)0, 0(/baaeytbtbay lnlnttyy1,ln)2()2()2()2(BtAy(3.10)19又由數(shù) 表3-3可算出

17、新的數(shù)據(jù)表3-5。 表 3-5于是將問題歸為：根據(jù)數(shù)據(jù)表3-5，求形如 的最小二乘解。參照方案1，寫出相應(yīng)的法方程組并解之，即得 A=-4.4807，B=-1.0567于是i123161.000000.500000.333330.062501.386291.856302.079442.36085ttii1)2(yyiiln)2(tyBA)2()2(0567. 1011325. 0BbaeA，20故得另一個(gè)經(jīng)驗(yàn)公式 將兩個(gè)不同的經(jīng)驗(yàn)公式 (3.9)和(3.11) 進(jìn)行比較表3-6），從均方誤差與最大偏差這兩個(gè)不同角度看，后者均優(yōu)于前者。因此，在解決實(shí)際問題時(shí)，常常要經(jīng)過反復(fù)分析，多次選擇，計(jì)算與比較，才能獲得好的數(shù)學(xué)模型。 表 3-6 下面以常用的多項(xiàng)式擬合為例，說明最小二乘法在電子計(jì)算機(jī)上實(shí)現(xiàn)的步驟。 ety0567. 1011325. 0經(jīng)驗(yàn)公式均方誤差最大偏差（3.9）式（3.11) 式31019. 131034. 0310568. 0310277. 0(3.11)21 設(shè)有一組實(shí)驗(yàn)數(shù)據(jù) ，今要用最小二乘法求一 n(nm)次多項(xiàng)式曲線來擬合這組數(shù)據(jù)。顯然，求 的實(shí)質(zhì)就是要確定其系數(shù) 。 由前面討論可知，問題可歸結(jié)為建立和求解法方程組(3.3). 為了便于編制程序并減少工作量，引入矩陣則法方程組(3.3)的系數(shù)矩陣用A表示和右端向量用b表示分別為:),.,2 , 1