最小二乘法的基本原理和多項式擬合

最小二乘法的基本原理和多項式擬合一最小二乘法的基本原理從整體上考慮近似函數(shù)P（X）同所給數(shù)據(jù)點（人，yj）（i=o,i,…,m）誤差r.—嗆）.（i=0,1m）i—y.r.P(X.)i=i-y.（i=0,1，…,m）絕對值的最大值maxr，即誤差向量imim》仃/、Tr=（rm）的X—范數(shù)；二是誤差絕對值的和7，即誤差向量r的1mZri2i范數(shù)；三是誤差平方和7的算術(shù)平方根，即誤差向量r的2—范數(shù)；前兩種方法簡單、自然，但不便于微分運算，后一種方法相當(dāng)于考慮2—范數(shù)的平方，m送；rir因此在曲線擬合中常采用誤差平方和V來度量誤差r（i=o,1,…，m）的整i體大小。數(shù)據(jù)擬合的具體作法是：對給定數(shù)據(jù)（x,y）（i=0,1，…，m），在取定的函ii數(shù)類「中，求P（X），［使誤差ri二P（x.）-y.（i=0丄…,m）的平方和最小，即m/m7〔P（X.）-y.F二miniJiFi=0_i=0從幾何意義上講，就是尋求與給定點（x,y）（i=0,1,…,m）的距離平方和為最小ii的曲線y二P（x）（圖6-1）。函數(shù)P（x）稱為擬合函數(shù)或最小二乘解，求擬合函數(shù)P（x）的方法稱為曲線擬合的最小二乘法?？捎胁煌倪x取方法.可有不同的選取方法.6-16-1二多項式擬合假設(shè)給定數(shù)據(jù)點（X.，y.）（i=0丄…,m），為所有次數(shù)不超過n（n'm）的多項式構(gòu)

nP（X）二送akXnkk成的函數(shù)類，現(xiàn)求一心,使得I=送bmn(XI=送bmn(Xi)—yi2i=0V.k=0aXk-y=m|inkii丿1）當(dāng)擬合函數(shù)為多項式時，稱為多項式擬合，滿足式（1）的Pn（x）稱為最小二乘擬合多項式。特別地，當(dāng)n=1時，稱為線性擬合或直線擬合。i￡i￡i￡i￡顯然I7('akXk-yi)2kki2i-0k-0ikj=0,1,,n為a。旳…an的多元函數(shù)，因此上述問題即為求1=1(%片「魯j=0,1,,n：lmnk：aj=2、CakX：-yj燈=0,nm(遲X.+)aA￡Xy,j=0,1,,nnm(遲X.+)aA￡Xy,j=0,1,,nkz0iz0iz03)是關(guān)于a0炸…am+1ao1ain的線性方程組，用矩陣表示為m-廠1'Xi???ZXin1瓦yiii=0ii=0mi=0mX2…ZX1n41im送XiyiZv.ii=0i=0i=0mmmVn-Xii=0—n1Xii、-2nXiii=0i=0i=0式(3)或式(4)稱為正規(guī)方程組或法方程組?？梢宰C明，方程組(4)故存在唯一解。的系數(shù)矩陣是一個對稱正定矩陣，從式⑷中解出a(k=0,1，…，n)，從而可得多項式knPn(x)-'akXk心(5)可以證明，式(5)中的Pn(x)滿足式⑴，即卩Pn(x)為所求的擬合多項式。我瓦bn(Xi)-yi2(、們把i￡稱為最小二乘擬合多項式Pn(X)的平方誤差，記作12mr||2Dn(Xi)-yii=0r|：八y：-、a"x：%)i=ok=ei多項式擬合的一般方法可歸納為以下幾步:(1)由已知數(shù)據(jù)畫出函數(shù)粗略的圖形散點圖，確定擬合多項式的次數(shù)n由式(2)可得⑵列表計算m乞xij(j=0,1，，m2n)ZXiyiiji和i=°i=°j=0,1，，2n)8080-■-⑶寫出正規(guī)方程組，求出a0已,…魯；nP(x)八akXknkk（出4）擬寫k=0。在實際應(yīng)用中，n::m或n乞m；當(dāng)n=m時所得的擬合多項式就是拉格朗日或牛頓插值多項式。例1測得銅導(dǎo)線在溫度t「c）時的電阻RD如表6-1，求電阻R與溫度T的近似函數(shù)關(guān)i系。■i0123456T(C)19125.0301―36040045.1500R.(⑵i76.3077.8079.2580.8082.3583.9085.10解畫出散點冬（冬6-2），可見測期得的數(shù)據(jù);接近一條直線，故取n=1，擬合函數(shù)為列表如下R=a0a"iT.iRiiT.12TRi01917630364.811457.330125.077.80625.001945.000230.179.25906.012385.425336.080.801296.002908.800440.082.351600.003294.000545.183.902034.013783.890650.085.102500.004255.000E245.3565.59325.8320029.445規(guī)方程組為7245.3a0_565.50245.39325.83a,一20029.445解方程組得玄=70.572,a,=0.921故得R與T的擬合直線為R=70.572+0.92仃利用上述關(guān)系式，可以預(yù)測不同溫度時銅導(dǎo)線的電阻值。例如，由R=0得T=-242?5，即預(yù)測溫度T=-242.5C時，銅導(dǎo)線無電阻。30■306-2

例2例2已知實驗數(shù)據(jù)如下表■i012345678Xii1345678910y1054211234試用取小一乘法求文它的二次擬合多項式解設(shè)擬合曲線方程為2y二a。aixa2X列表如下1XiiXX2iX.iX.i0110111101013592781154521441664:25616F6435225T25625105046136216129663657149343240174968264512「409616P12879381729656127243810410010001000040400E53323813017253171471025得止規(guī)方程呈組952381a032523813017印=147'381301725317-」J025」解得a0=13.4597,a1--3.6053a2=0.2676故擬合多項式為y=13.4597-3.6053+0.2676x2*三最小二乘擬合多項式的存在唯一性定理1設(shè)節(jié)點X,X,,X互異，則法方程組（4）的解存在唯一。證由克萊姆法則，01n只需證明方程組（4）的系數(shù)矩陣非奇異即可。用反證法,設(shè)方程組（4）的系數(shù)矩陣奇異,則其所對應(yīng)的齊次方程組|m+1Xi..i=0mZX

iJOZXi27aXi有非零解。式（7）可寫為zmXii1送yini=0|m+1Xi..i=0mZX

iJOZXi27aXi有非零解。式（7）可寫為zmXii1送yini=0；a〕7Zx.iaimZXiyi\Jii=0i-a7寸丁2-_amn遲x.i=0n_1遲Xy..7iinm、('Xijk)ak=0,k衛(wèi)i=0j=0,1/',n(8)將式（8）中第j個方程乘以aj(j=0,1，…n），然后將新得到的n+1個方程左nnm

jk遲a」產(chǎn)億x廣）ak0「0因為右兩端分別相加，得冋上￡7送1a*（瓦攀總卜送送送akQ.X廣邁（瓦a：X.）=E咕⑷了kjkikj衛(wèi)k=0i=0其中「izOjzOkzOi=0j=0k=0i=0所以Pn（X

ni）P（X）是次數(shù)不超過n的多項式,nnP(X)二為akXnkkkTO（j=0,i,?…,m）它有m+1>n個相異零點,由代數(shù)基本定理，必須有k=0，與齊次方程組有非零解的假設(shè)矛盾。因此正規(guī)方程組（4）aaa必有唯一解。定理2設(shè)aoa，,a是正規(guī)方程組（4）的解，貝U1n是滿足式（1）的最小二乘擬合多項式。n(X)=三akXkk=0bb.bQ證只需證明，對任意一組數(shù)b0b1，，bn組成的多項式X)n=瓦

心，kbkXk恒有m送Qn(Xim）—yiP上瓦【Pn（Xi）—yiF即可。i=0i=0送1Qn(X)-yF-遲〔PjXj-y」2i=0i=0m=Qn(Xi)ni)i=0mPn(Xj)22、Qn(Xj—nj2ni=0-Pn(Xj)l〔Pn(Xj)-％1nj)lnj02「?i=0j=0aj)Xij”akXk-yi_k=0二江《、mIi=0akXky.xjI因為ak（k=0,1，…，n）是正規(guī)方程組（4）的解，所以滿足式（2），因此有mm'Qn（Xi）—yif—7〔Pn（Xi）—yif_0i衛(wèi)7i故Pn（X）為最小二乘擬合多項式。*四多項式擬合中克服正規(guī)方程組的病態(tài)在多項式擬合中，當(dāng)擬合多項式的次數(shù)較高時，其正規(guī)方程組往往是病態(tài)的。而且正規(guī)方程組系數(shù)矩陣的階數(shù)越高，病態(tài)越嚴(yán)重；擬合節(jié)點分布的區(qū)間X0，xm】偏離原點越遠(yuǎn)，病態(tài)越嚴(yán)重；X（i=0,i,…，m）的數(shù)量級相差越大，病態(tài)越嚴(yán)重。i為了克服以上缺點，一般采用以下措施：盡量少作高次擬合多項式，而作不同的分段低次擬合；不使用原始節(jié)點作擬合，將節(jié)點分布區(qū)間作平移，使新的節(jié)點人關(guān)于原點對稱，可大大降低正規(guī)方程組的條件數(shù)，從而減低病態(tài)程度。平移公式為：X—衛(wèi)x,i=0,1,,mTOC\o"1-5"\h\zi=Xim_2（9）對平移后的節(jié)點x（i=0,1，?…m）,再作壓縮或擴張?zhí)幚恚篿x=pXi,i=0,1,,m（10）p=“（m+1）/送（X?）2r其中八7,（r是擬合次數(shù)）（11）經(jīng)過這樣調(diào)整可以使X.的數(shù)量級不太大也不太小，特別對于等距節(jié)點ih（i二01,…,m）,i=X0作式（10）和式（11）兩項變換后，其正規(guī)方程組的系數(shù)矩陣設(shè)為A,則對14次多項式擬合,條件數(shù)都不太大,都可以得到滿意的結(jié)果。變換后的條件數(shù)上限表如下：擬合次數(shù)1234cond2(A)=1<9.9<50.3<435在實際應(yīng)用中還可以利用正交多項式求擬合多項式。一種方法是構(gòu)造離散正交多項式；另一種方法是利用切比雪夫節(jié)點求出函數(shù)值后再使用正交多項式。這兩種方法都使正規(guī)方程組的系數(shù)矩陣為對角矩陣,從而避免了正規(guī)方程組的病態(tài)。我們只介紹第一種,見第三節(jié)。例如m=19,Xo-BZS'hTM^Xo+ih,i=0,1，…，19,即節(jié)點分布在[328,347],作二次多項式擬合時①直接用Xj構(gòu)造正規(guī)方程組系數(shù)矩陣A0，計算可得cond2（A））=2.2510216嚴(yán)重病態(tài)，擬合結(jié)果完全不能用Xi=xXi=xi3283472i=0,1,,19②作平移變換川X構(gòu)造正規(guī)方程組系數(shù)矩陣Ai,計算可得cond2(A)=4.48386810216比cond2(A