最小二乘法的基本原理和多項式擬合-Read

1、最小二乘法的基本原理和多項式擬合一最小二乘法的基本原理從整體上考慮近似函數(shù)P(X)同所給數(shù)據(jù)點(Xi，Yi)(i=0,1,m)誤差ri =p(Xi)yi(i=0,1，,m)的大小，常用的方法有以卜二種:一是誤差,即誤差向量ri = p(Xi)-yi(i=0,1,m)絕對值的最大值 嗯ri,即誤差向量r的1 mT'、r -60，。，rm)的oo氾數(shù)；二是誤差絕對值的和Tm 2 ' ri范數(shù)；三是誤差平方和 一 的算術(shù)平方根，即誤差向量r的2范數(shù)；前兩種 方法簡單、自然，但不便于微分運算，后一種方法相當于考慮2范數(shù)的平方,mx -2ri因此在曲線擬合中常采用誤差平方和 一 體大小。

2、來 度量誤差ri(i=0 , 1,，m)的整數(shù)據(jù)擬合的具體作法是：對給定數(shù)據(jù)(Xi，yi)(i=0,1,，m),在取定的函數(shù)類中，求P(X)wG,使誤差ri =p(Xi)-yi(i=0,1，,m)的平方和最小，即 mmri2pg) - yi F = mini =0= i =0從幾何意義上講，就是尋求與給定點(Xi，yi)(i=0,1,m)的距離平方和為最 小的曲線 y = p(x)(圖6-1)。函數(shù)p(X)稱為擬合 函數(shù)或最小二乘解，求擬 合函數(shù)p(X)的方法稱為曲線擬合的最小二乘法。在曲線擬合中，函數(shù)類中可有不同的選取方法.二多項式擬合假設(shè)給定數(shù)據(jù)點(Xi，yi)(i=0,1，,m),為所有

3、次數(shù)不超過n(nMm)的多項式構(gòu)nPn (X) = ，成的函數(shù)類，現(xiàn)求一k=0mk akXe 9，使得/nI =£ tn(Xi) -Yi 2 =£i =6kakXi - Yi當擬合函數(shù)為多項式時，稱為多項式擬合，滿足式(2=min(1)1)的Pn(X)稱為最小二乘擬合多項式。特別地，當n=1時，稱為線性擬合或直線擬合。顯然I VC akxk 一 yi)2i -0 k -0為a0,ai,an的多元函數(shù)，因此上述問題即為求1 =I(a0,ai,an)的極值 問題。 由多元函數(shù)求極值的必要條件，得:Im n=2" G akXik 7i)xj =0, i =0 k =0j

4、 =0,1,nC Xij k)ak = ' Xijyi,j =0,1, ,n(3)是關(guān)于e1,小的線性方程組，用矩陣表示為m“ Xii =0m、Xii =0 m - 2Xii =0m n XL Xii=0 m- n + 工Xii =0.a。1aim、yi=0m'、Xi yii =0mV n乙Xii=0m n 1Xii :0m 2nXii =0©n1mV n乙 Xi yii=0式(3)或式(4)稱為正規(guī)方程組或法方程組?？梢宰C明，方程組(4)的系數(shù)矩陣是一個對稱正定矩陣,故存在唯一解。從式(4)中解出ak(k=0,1,，n),從而可得多項式nPn(X) - akXkk=

5、0(5)可以證明，式(5)中的Pn(X)滿足式(1),即Pn(X)為所求的擬合多項式。我mv bn(Xi) - yi f們把T稱為最小二乘擬合多項式Pn(X)的平方誤差，記作mr|l2 =£ tn (Xi) - yi 22i =0由式(2)可得2 mnmr|2 y：a。Xikyi)i =0k=0i =0(6)多項式擬合的一般方法可歸納為以下幾步:(1)由已知數(shù)據(jù)畫出函數(shù)粗略的圖形 一一散點圖，確定擬合多項式的次數(shù) n；mm' Xij(j =0,1,2n)、Xijyi(j =0,1,2n)列表計算和口(3)寫出正規(guī)方程組，求出a0,a1,4；nPn(X)一的卜(4)寫出擬合多項

6、式揖 o在實際應(yīng)用中，n<m或nEm；當n = m時所得的擬合多項式就是拉格朗日或牛 頓插值多項式。例1測得銅導(dǎo)線在溫度T（C）時的電阻R（C）如表6-1 ,求電阻R與溫度T 的近似函數(shù)關(guān)系。i0123456Ti(C)19.125.030.136.040.045.150.0RS)76.3077.8079.2580.8082.3583.9085.10解 畫出散點圖（圖6-2）,可見測得的數(shù)據(jù)接近一條直線，故取n=1,擬合函數(shù)為R =a0 a1T列表如下iTiRiTi2TiR019.176.30364.811457.330125.077.80625.001945.000230.179.259

7、06.012385.425336.080.801296.002908.800440.082.351600.003294.000545.183.902034.013783.890650.085.102500.004255.000E245.3565.59325.8320029.445正規(guī)方程組為7245.3 a0 _565.5245.3 9325.83 a1120029.445解方程組得-ao = 70.572,a1 = 0.921故得R與T的擬合直線為R =70.572 0.921T利用上述關(guān)系式，可以預(yù)測不同溫度時銅導(dǎo)線的電阻值。例如，由R=0得T=-242.5 ,即預(yù)測溫度 T=-242.5

8、 C時，銅導(dǎo)線無電阻。 80 *6-2例2例2已知實驗數(shù)據(jù)如下表i012345678Xi1345678910V1054211234試用最小二乘法求它的二次擬合多項式 解設(shè)擬合曲線方程為2y = a0 aixa?x列表如下IXiV2Xi3Xi4XiXV2Xi yi011011110101359278115452 1441664 125616r 64352251256251050461362161296636571493432401749682645121409616P 12879381729656127243810410010001000040400E5332381301725317147102

9、5得正規(guī)方程組952381a032523813017a1 = 147381 3017 25317忸2二 025解得a0 =13.4597,a1 - -3.6053 a2 = 0.2676故擬合多項式為2y =13.4597-3.6053 0.2676x2*三最小二乘擬合多項式而存在唯一性定理1 設(shè)節(jié)點X0，X1，Xn互異，則法方程組（4）的解存在唯一。證 由克萊姆法則，只需證明方程組（4）的系數(shù)矩陣非奇異即可。用反證法，設(shè)方程組（4）的系數(shù)矩陣奇異，則其所對應(yīng)的齊次方程組-mim+1 Z Xi i -0mmzL2X Z Xi i衛(wèi)T aammn n +Xi£ x J衛(wèi)i =0m 1-

10、 mnn£ Xi1工Vi-0ai=0mmkn卅£ Xia1工 Xi yii:z0aai=0!mk2n£ Xian_1mk n工Xi yi=0_一_i=0_(7)有非零解。式（7）可寫為n mj =0,1,，n(8).二（.二 X，）ak =。,k衛(wèi)i衛(wèi)將式（8）中第j個方程乘以aj（j=0,1，n）,然后將新得到的n+1個方程左 n n m工 aj |£ Q xr）ak0 =0 右兩端分別相加，得j41因為 nn mm n nm nnm' aj、Xij k）ak -、 、 akajX： k c Q ajXij）（- ak） - ' h （

11、為）2 j 0k =0 i =0i =0 j =0 k =0i =0 j =0k=0i =0其中一 nPn（x） =>，akXk k=0 所以pn（Xi） = O （i=0,i,m）Pn（X）是次數(shù)不超過n的多項式，它有m+1>n個相異零點，由代數(shù)基本定理，必 須有a。= ai = % = 0 ,與齊次方程組有非零解的假設(shè)矛盾。因此正規(guī)方程組（4） nPn（X）=、akXk 必有唯一解。定理2 設(shè)a0，ai， ，an是正規(guī)萬程組（4）的解，則k=0是滿足式（1）的最小二乘擬合多項式。 n _. . kQn（X） bkX證 只需證明，對任意一組數(shù)b0,b1， ，bn組成的多項式&qu

12、ot; ，包有mmQ Qn(Xi) yi F 至工【Pn(Xi) yi F i =0i=0即可。 mm、bn (Xi) -yj -Pn(Xi) -yi P ififmm二'：Qn (Xi) - Pn(Xi)2X Qn(Xi) - Pn(Xi)】Pn(Xi) - i =0i =0m n-0 2一二(bji=0 j =0aj)XijakXk-yi 1_k 0n=江 l(bj =0j -ajmIi =0k akXi因為ak(k=0,1,，n)是正規(guī)方程組(4)的解，所以滿足式(2),因此有 mm“ Qn(Xi) -Yi 2Ipn(Xi) -Yi 2 0 0i =0i=0故Pn(X)為最小二乘

13、擬合多項式。*四多項式擬合中克服正規(guī)方程組的病態(tài)在多項式擬合中，當擬合多項式的次數(shù)較高時，其正規(guī)方程組往往是病態(tài)的。而正規(guī)方程組系數(shù)矩陣的階數(shù)越高，病態(tài)越嚴重；擬合節(jié)點分布的區(qū)間 L，%1偏離原點越遠，病態(tài)越嚴重；Xi(i=0,1,，m)的數(shù)量級相差越大，病態(tài)越嚴重。為了克服以上缺點，一般采用以下措施：盡量少作高次擬合多項式，而作不同的分段低次擬合；不使用原始節(jié)點作擬合，將節(jié)點分布區(qū)間作平移，使新的節(jié)點Xi關(guān)于原點對稱，可大大降低正規(guī)方程組的條件數(shù)，從而減低病態(tài)程度。平移公式為：X。 XmXi -Xi -一2i =0,1, ,m對平移后的節(jié)點Xi(i=0,1,，m),再作壓縮或擴張?zhí)幚恚簒 =

14、 pXi , i =0,1，m(10)P =2r (m 1) % (X)2r其中 '/i=0, (r是擬合次數(shù))(11)經(jīng)過這樣調(diào)整可以使K”的數(shù)量級不太大也不太小，特別對于等距節(jié)點 X =x0 +ih (i =0,1，m),作式(10)和式(11)兩項變換后，其正規(guī)方程 組的系數(shù)矩陣設(shè) 為A,則對14次多項式擬合，條件數(shù)都不太大，都可以得到 滿意的結(jié)果。變換后的條件數(shù)上限表如下：擬合次數(shù)1234cond2 (A)=1<9.9<50.3<435在實際應(yīng)用中還可以利用正交多項式求擬合多項式。一種方法是構(gòu)造離散正交 多項式；另一種方法是利用切比雪夫節(jié)點求出函數(shù)值后再使用正交多項式。這兩種方法都使正規(guī)方程 組的系數(shù)矩陣為對角矩陣，從而避免了正規(guī)方程組的病態(tài)。 我們只介紹第一種，見第三節(jié)。例如 m=19, X0 =328,h=1, X1 = X0+ih , i=0,1,，19,即節(jié)點 分布在328,347, 作二次多項式擬合時直接用Xi構(gòu)造正規(guī)方程組系數(shù)矩陣A0,計算可得cond2(A0) =2.25 1016嚴重病態(tài)，擬合結(jié)果完全不能用 作平移變換328 347xi 二 Xi二i =0,1, ,19用x構(gòu)造正規(guī)方程組系數(shù)矩陣 A ,計算可得cond2(A) =4.483868 1016比8nd2 (