最小二乘法的基本原理和多項式擬合

1、最小二乘法的基本原理和多項式擬合最小二乘法的基本原理從整體上考慮近似函數同所給數據點(島n)(i=0,1,m)誤差(i=0,1,m)的大小，常用的方法布以卜三種:一是誤差(i=0,1,m)絕對值的最大值 颼汴,即誤差向量"優(yōu)八。)的8 范數；二是誤差絕對值的和 !,即誤差向量r的1一范數；三是誤差平方潞和M 的算術平方根，即誤差向量r的2范數；前兩種方法簡單、自然，但不便于微分運算，后一種方法相當于考慮2范數的平方，因此在曲線擬合中常采用潞誤差平方和;來度量誤差”(i=0 ,1,，m)的整體大小。數據擬合的具體作法是：對給定數據(i=0,1,，m),在取定的函數類力中，求雙次

2、9; ,使誤差廣P(均)- M (i=0,1，,m)的平方和最小,即-mm從幾何意義上講，就是尋求與給定點(百，必)(i=0,1,m)的距離平方和為最 小的曲線/二Pl)(圖6-1)。函數稱為擬合函數或最小二乘解，求擬合函數PH)的方法稱為曲線擬合的最小二乘在曲線擬合函數類4可有不同的選取方法.61二多項式擬合假設給定數據點 偽，M)(i=0,1,m),為所有次數不超過 雇方«陽的多項式構成的函數類，現求一怨使得當擬合函數為多項式時，稱為多項式擬合，滿足式(=min1)的巴 稱為最小二乘擬合多項式。特別地，當n=1時，稱為線性擬合或直線擬合。 顯然A的多元函數，因此上述問題即為求/

3、= ,(為也I”)的極值 問題。由多元函數求極值的必要條件，得j二。工潭(2)彳二2£(£白苫-不岡二0, 孫 3-0 5工0鏟M二工小i.（3）是關于“。，勺的線性方程組，用矩陣表示為外£方i-ti骯2-0£球.?-0*.2-01-0式（3）或式（4）稱為正規(guī)方程組或法方程組?？梢宰C明，方程組（4）的系數矩陣是一個對稱正定矩陣, （4）中解出"（k=0,1，n）,從而可得多項式外（X）二工也,故存在唯一解從式(5)餐乙餐我們把可以證明，式（5）中的P1'）滿足式（1）,即Pm W為所求的擬合多項式。K西）-， ， 一、八一、i-0稱為

4、最小二乘擬合多項式名J刃的平方誤差，記作由式（2）可得(6)H = 2>”工42>%）2-0 上 2-0多項式擬合的一般方法可歸納為以下幾步：由已知數據畫出函數粗略的圖形-一散點圖，確定擬合多項式的次數n；列表計算三n網二心 ,及）和 i-0；寫出正規(guī)方程組，求出二P < x） = »h#寫出擬合多項式在實際應用中，/<期或N4期；當月二期時所得的擬合多項式就是拉格朗日或牛頓 插值多項式。例1測得銅導線在溫度Z（C）時的電阻&（口如表6-1 ,求電阻R與溫度T的 近似函數關系。i0123456芯(C)19.125.030.136.040.045.150

5、.076.3077.879.2580.882.3583.985.1解 畫出散點圖（圖6-2）,可見測得的數據接近一條直線，故取 n=1,擬合函數為 列表如下i019.176.30364.811457.330125.077.80625.001945.000230.179.25906.012385.425336.080.801296.002908.800440.082.351600.003294.000545.183.902034.013783.890650.085.102500.004255.000245.3565.59325.8320029.445正規(guī)方程組為解方程組得故得R與T的擬合直線為利

6、用上述關系式，可以預測不同溫度時銅導線的電阻值。例如，由R=0得T=-242.5 ,即預測溫度T=-242.5 C時，銅導線無電阻。6-2例2已知實驗數據如下表i0123456781r 3456789101054211234試用最小二乘法求它的二次擬合多項式 解設擬合曲線方程為廣&+旬工+才列表如下I01r 1011110r 10135927811545244166425616643522512562510P 5046136216129663657r 496826451240961612879381729656127243810410010001000040r

7、 40053323813017253171471025得正規(guī)方程組 解得故擬合多項式為*三最小二乘擬合多項式的存在唯一性定理1 設節(jié)點工。內，“再 互異,則法方程組（4）的解存在唯一。證 由克萊姆法則，只需證明方程組（4）的系數矩陣非奇異即可。用反證法，設方程組（4）的系數矩陣奇異，則其所對應的齊次方程組二螳i-0EZM 曲乙J-0,w+£7二出2-0二槨1-0有非零解。式（7）可寫為工必二產）4二0.1-0 i-0將式（8）中第j個方程乘以勺（j=0,1,（8），n）,然后將新得到的n+1個方程左右兩端分別相加，得網二0因為其中jo所以力二0 （i=0,1,m）入（X）是次數不超過

8、n的多項式，它有m+1> n個相異零點，由代數基本定理，必須,與齊次方程組有非零解的假設矛盾。因此正規(guī)方程組（4）必有唯一解。定理2設弧/是正規(guī)方程組（4）的解，則 . 是滿 足式（1）的最小二乘擬合多項式。j >>QGbX瓦/證 只需證明，對任意一組數 %9，'''，為組成的多項式% ，包有即可。因為% （k=0,1,，n）是正規(guī)方程組（4）的解，所以滿足式（2）,因此有 故入 為最小二乘擬合多項式。*四多項式擬合中克服正規(guī)方程組的病態(tài)在多項式擬合中，當擬合多項式的次數較高時，其正規(guī)方程組往往是病態(tài)的。而且正規(guī)方程組系數矩陣的階數越高，病態(tài)越嚴重；擬

9、合節(jié)點分布的區(qū)間麗，X偏離原點越遠，病態(tài)越嚴重；（i=0,1, .為了克服以上缺點,m）的數量級相差越大，病態(tài)越嚴重。 一般采用以下措施：盡量少作高次擬合多項式，而作不同的分段低次擬合;不使用原始節(jié)點作擬合，將節(jié)點分布區(qū)間作平移，使新的節(jié)點 稱，可大大降低正規(guī)方程組的條件數，從而減低病態(tài)程度。%關于原點對平移公式為:對平移后的節(jié)點既（i=0,1,，m）,再作壓縮或擴張?zhí)幚恚盒径?，i二0工，身（10）尸=加+1）/工（產其中 In , （r是擬合次數） （11）經過這樣調整可以使X；的數量級不太大也不太小，特別對于等距節(jié)點%二/ +協 。=Q1麗,作式（10）和式（11）兩項變換后，其正規(guī)方程

10、組的 系數矩陣設為A,則對14次多項式擬合，條件數都不太大，都可以得到滿意的 結果。變換后的條件數上限表如下：擬合次數1234=1<9.9<50.3<435在實際應用中還可以利用正交多項式求擬合多項式。一種方法是構造離散正交多項式；另一種方法是利用切比雪夫節(jié)點求出函數值后再使用正交多項式。這兩種方法都使正規(guī)方程 組的系數矩陣為對角矩陣，從而避免了正規(guī)方程組的病態(tài)。我們 只介紹第一種，見第三節(jié)。例如 m=19,% =328,h=1,1l0+ih, i=0,1,，19,即節(jié)點 分布在328,347, 作二次多項式擬合時直接用4構造正規(guī)方程組系數矩陣 4 ,計算可得嚴重病態(tài)，擬合結果完全不能用。作平移變換用均構造正規(guī)方程組系數矩陣 4 ,計算可得比“劉力（4）降低了 13個數量級，病態(tài)顯著改善，擬合效果較好。取