最小二乘法求二次方程系數(shù)

1、例1:二次方程式計(jì)算Y二a+aix+a2x2y=-63+2.4x+1.3x2下表為自動(dòng)計(jì)算系數(shù)，給出9組x和y的數(shù)值，自動(dòng)計(jì)算出系數(shù)。Xy:廠2x3x4xyx2y11-2.6111-2.6-2.6123.748167.414.81312.69278137.8113.41424.1166425696.4385.61538.2251256251919551654.93621612963291976.41774.24934324015193635.81896.16451240967696150.419120.681729656110859768.6求和945421.82852025153333033

2、22997.4945285421.8452852025303328520251533322997.4系數(shù)系數(shù)值aO-6.30:yal2.40896.10a21.30原理與多項(xiàng)式擬合說明附后。第一節(jié)最小二乘法的基本原理和多項(xiàng)式擬合一最小二乘法的基本原理從整體上考慮近似函數(shù)（X）同所給數(shù)據(jù)點(diǎn)CSX）（i二0,1,m）誤差n%（i=0,1,m）的大小，常用的方法有以下三種：一是誤差匚=（兀）-X（i二0,1,）絕對(duì)值的最大值觀協(xié)I,即誤差向量y|r|2（4G乙丿的oo范數(shù)；二是誤差絕對(duì)值的和1,即誤差向量r的1一范數(shù)；三是誤差平方和O匸0的算術(shù)平方根，即誤差向量r的2范數(shù)；前兩種方法簡(jiǎn)單、自然，但不

3、便于微分運(yùn)算,后一種方法相當(dāng)于考慮2范數(shù)的平方,因此在曲線擬合中常采用誤差平方和O匸0來(lái)度量誤差（1=0,1,，m）的整體大小。數(shù)據(jù)擬合的具體作法是：對(duì)給定數(shù)據(jù)（EJ）（i二0,1,，m）,在取定的函數(shù)類中，求P（x）w，使誤差八=卩匕）一）：（i二0,1，,m）的平方和最小，即tnm斥Sp（）-z2=nmi/=0二/=0從幾何意義上講，就是尋求與給定點(diǎn)（i二0,1,m）的距離平方和為最小的曲線?=（圖6-1）e函數(shù)“（X）稱為擬合函數(shù)或最小二乘解，求擬合函數(shù)（X）的方法稱為曲線擬合的最小二乘法。在曲線擬合中，函數(shù)類可有不同的選取方法.二多項(xiàng)式擬合假設(shè)給定數(shù)據(jù)點(diǎn)（兀必）（i二0,1,m）,為所

4、有次數(shù)不超過（心加）的多項(xiàng)式構(gòu)H成的函數(shù)類，現(xiàn)求一Z，使得mm（n、1=工山斤-X=min1=0/=oJt=o）當(dāng)擬合函數(shù)為多項(xiàng)式時(shí)，稱為多項(xiàng)式擬合，滿足式（1）的幾（X）稱為最小二乘擬合多項(xiàng)式。特別地，當(dāng)n-1時(shí)，稱為線性擬合或直線擬合。顯然/=(!*丘一汀1=0k=0為5的多元函數(shù)，因此上述問題即為求/=/(%,%心)的極值問題。由多元函數(shù)求極值的必要條件，得=2(代#-xW=o,Cttz=oA=0丿=0丄異式(3)或式(4)稱為正規(guī)方程組或法方程組。可以證明，方程組(4)的系數(shù)矩陣是一個(gè)對(duì)稱正定矩陣,從式(4)中解出務(wù)(k二0,1,，n),從而可得多項(xiàng)式91k=O故存在唯一解。hntmo

5、4”的線性方程組，用矩陣表示為7+1mm1=0mftt1=0mmD1=0mSv-S+1r=0r=0=0-r=0mmma”m匸0S稱為最小二乘擬合多項(xiàng)式幾(X)的平方誤差，記作m1=0由式(2)可得ntnntMAD；5（工燈）1=0i=01=0多項(xiàng)式擬合的一般方法可歸納為以下幾步：(1)由已知數(shù)據(jù)畫出函數(shù)粗略的圖形一散點(diǎn)圖，確定擬合多項(xiàng)式的次數(shù)n；mtn/(y=o,l,-,2/7)工對(duì)(J=0,1,2”)列表計(jì)算“和匸。寫出正規(guī)方程組，求出”勺,色；H寫出擬合多項(xiàng)式丟o75在實(shí)際應(yīng)用中，加或9”；當(dāng)i時(shí)所得的擬合多項(xiàng)式就是拉格朗日或牛頓插值多項(xiàng)式。例1測(cè)得銅導(dǎo)線在溫度人（C）時(shí)的電阻&（）如表6

6、T,求電阻R與溫度T的近似函數(shù)關(guān)系。10123456TiCO19.125.030.136.040.045.150.0尺(G)76.3077.8079.2580.8082.3583.9085.10列表如下解畫出散點(diǎn)圖（圖6-2）,可見測(cè)得的數(shù)據(jù)接近一條直線，故取嚴(yán)1,擬合函數(shù)為IR,T；TK019.176.30364.811457.330125.077.80625.001945.000230.179.25906.012385.425336.080.801296.002908.800440.082.351600.003294.000545.183.902034.013783.890650.085.

7、102500.004255.000E245.3565.59325.8320029.445R=c.+cij正規(guī)方程組為7245.3do565.5245.39325.8320029.445解方程組得ci0=70.572,=0.921故得R與T的擬合直線為/?=70.572+0.9217利用上述關(guān)系式，可以預(yù)測(cè)不同溫度時(shí)銅導(dǎo)線的電阻值。例如，由R二0得T二-242.5,即預(yù)測(cè)溫度T二-242.59時(shí)，銅導(dǎo)線無(wú)電阻。85-801030506-2例2例2已知實(shí)驗(yàn)數(shù)據(jù)如下表I01234567813456789101054211234試用最小二乘法求它的二次擬合多項(xiàng)式。解設(shè)擬合曲線方程為y=a0+cx+a.

8、x2列表如下IXiX廠心.01101111010135927811545244166425616643522512562510504613621612966365714934324017496826451240961612879381729656127243810410010001000040400S53323813017253171471025得正規(guī)方程組952381_32523813017=147381301725317a2_1025解得a0=13.4597,=3.6053a2=0.2676故擬合多項(xiàng)式為y=13.4597-3.6053+0.2676x2*三最小二乘擬合多項(xiàng)式的存在唯一性定

9、理1設(shè)節(jié)點(diǎn)心，山,，?；ギ?，則法方程組(4)的解存在唯一。證由克萊姆法則，只需證明方程組(4)的系數(shù)矩陣非奇異即可。用反證法，設(shè)方程組(4)的系數(shù)矩陣奇異，則其所對(duì)應(yīng)的齊次方程組in+1ntD1=0mXz=omo;/=0ntm工護(hù)L廣）代；=0其中k=Qr=O皿用=(勺用)(務(wù)斤)=幾(兀)fn個(gè)相異零點(diǎn)，由代數(shù)基本定理，必須有。=6二=,與齊次方程組有非零解的假設(shè)矛盾。因此正規(guī)方程組（4）TOC o 1-5 h zpn（x）=Yakxk必有唯一解。定理2設(shè)他衛(wèi)是正規(guī)方程組（4）的解，則&是滿足式（1）的最小二乘擬合多項(xiàng)式。證只需證明，對(duì)任意一組數(shù)S就組成的多項(xiàng)式mmEfe-a)-xnpna)

10、-z?1=01=0即可。mmEfena)-x2-S幾(兀)-z-2Z=0/=0mni=Sou)-Pna)F+2工Qna)-幾a)幾U)-%/=0f=oniitno+2工工血-勺f=oy=o因?yàn)?（k二0,1，n）是正規(guī)方程組（4）的解，所以滿足式（2）,因此有ntntEfena）-）：-pt,（兀）-xFo1=01=0故幾（x）為最小二乘擬合多項(xiàng)式。*四多項(xiàng)式擬合中克服正規(guī)方程組的病態(tài)在多項(xiàng)式擬合中，當(dāng)擬合多項(xiàng)式的次數(shù)較高時(shí)，其正規(guī)方程組往往是病態(tài)的。而且正規(guī)方程組系數(shù)矩陣的階數(shù)越高，病態(tài)越嚴(yán)重；擬合節(jié)點(diǎn)分布的區(qū)間bo,心】偏離原點(diǎn)越遠(yuǎn)，病態(tài)越嚴(yán)重；兀（i二0,1,，m）的數(shù)量級(jí)相差越大，病態(tài)

11、越嚴(yán)重。為了克服以上缺點(diǎn)，一般采用以下措施：盡量少作高次擬合多項(xiàng)式，而作不同的分段低次擬合；不使用原始節(jié)點(diǎn)作擬合，將節(jié)點(diǎn)分布區(qū)間作平移，使新的節(jié)點(diǎn)兀關(guān)于原點(diǎn)對(duì)稱，可大大降低正規(guī)方程組的條件數(shù)，從而減低病態(tài)程度。平移公式為：x=r一一上、i=0丄,72（9）對(duì)平移后的節(jié)點(diǎn)兀（i二0,1,，m）,再作壓縮或擴(kuò)張?zhí)幚恚篨：=pxi.（二0丄，加（10）廠（加+1）/丈（兀尸其中V/=o,（r是擬合次數(shù)）（門）經(jīng)過這樣調(diào)整可以使x：的數(shù)量級(jí)不太大也不太小，特別對(duì)于等距節(jié)點(diǎn)兀.。+仏=0丄,7）,作式（10）和式（11）兩項(xiàng)變換后，其正規(guī)方程組的系數(shù)矩陣設(shè)為A,則對(duì)14次多項(xiàng)式擬合，條件數(shù)都不太大，都可

12、以得到滿意的結(jié)果。變換后的條件數(shù)上限表如下：擬合次數(shù)1234cond2(A)=19.950.3435在實(shí)際應(yīng)用中還可以利用正交多項(xiàng)式求擬合多項(xiàng)式。一種方法是構(gòu)造離散正交多項(xiàng)式；另一種方法是利用切比雪夫節(jié)點(diǎn)求出函數(shù)值后再使用正交多項(xiàng)式。這兩種方法都使正規(guī)方程組的系數(shù)矩陣為對(duì)角矩陣，從而避免了正規(guī)方程組的病態(tài)。我們只介紹第一種，見第三節(jié)。例如m=19,xo=328fh=1,Ji=xo+ih,i=0,1f-,19,即節(jié)點(diǎn)分布在328,347,作二次多項(xiàng)式擬合時(shí)直接用“構(gòu)造正規(guī)方程組系數(shù)矩陣人。，計(jì)算可得cond2（A0）=2.25xlO16嚴(yán)重病態(tài)，擬合結(jié)果完全不能用。作平移變換328+3472心0丄,19用兀構(gòu)造正規(guī)方程組系數(shù)矩陣九，計(jì)算可得co”/（A）=4.483868xlO16比condA.）降低了13個(gè)數(shù)量級(jí)，病態(tài)顯著改