最小二乘法的基本原理和多項式擬合

1、數 值 分 析2013年12月最小二乘法的基本原理和多項式擬合摘 要：隨著科技發(fā)展和社會進步，尤其是計算機大范圍的普及，計算機應用逐漸由大規(guī)?？茖W計算的海量數據處理轉向日常學習中遇到的小型數據的處理與計算，這就產生了解決各種實際問題需要的各種應用程序，特別是在電磁檢驗實驗中的應用更為廣泛。最小二乘法（又稱最小平方法）是一種數學優(yōu)化技術，是利用最小化誤差的平方和尋找數據的最佳函數匹配的一種計算方法1，本文對最小二乘法進行了深入細致的研究，利用Matlab語言編制程序和數學知識相結合，通過實驗數據的輸入，實現多項式和曲線擬合的輸出，并利用設計的程序實現了一些實際問題的求解和處理。關鍵詞：最小二乘法

2、，曲線擬合，多項式一、前言曲線擬合又稱作函數逼近，是求近似函數的一類數值方法它不要求近似函數在每個節(jié)點處與函數值相同，只要求其盡可能的反映給定數據點的基本趨勢以及某種意義上的無限“逼近”在需要對一組數據進行處理、篩選時，我們往往會選擇合理的數值方法，而曲線擬合在實際應用中也倍受青睞采用曲線擬合處理數據時，一般會考慮到誤差的影響，于是我們往往基于殘差的平方和最小的準則選取擬合曲線的方法，這便是經常所說的曲線擬合的最小二乘法通過對一些文獻的分析和整理，不僅有數據處理（數據采集），還有模型建立，可以了解到曲線擬合的最小二乘法的應用領域較為廣泛。二、最小二乘法法的介紹1），最小二乘法的基本原理從整體上

3、考慮近似函數同所給數據點 (i=0,1,m)誤差 (i=0,1,m)的大小，常用的方法有以下三種：一是誤差 (i=0,1,m)絕對值的最大值，即誤差 向量的范數；二是誤差絕對值的和，即誤差向量r的1范數；三是誤差平方和的算術平方根，即誤差向量r的2范數；前兩種方法簡單、自然，但不便于微分運算 ，后一種方法相當于考慮 2范數的平方，因此在曲線擬合中常采用誤差平方和來 度量誤差 (i=0，1，m)的整體大小。數據擬合的具體作法是：對給定數據 (i=0,1,，m)，在取定的函數類中,求,使誤差(i=0,1,m)的平方和最小，即 =從幾何意義上講，就是尋求與給定點 (i=0,1,m)的距離平方和為最小

4、的曲線（圖6-1）。函數稱為擬合 函數或最小二乘解，求擬合函數的方法稱為曲線擬合的最小二乘法。在曲線擬合中，函數類可有不同的選取方法.612），多項式擬合假設給定數據點 (i=0,1,m)，為所有次數不超過的多項式構成的函數類，現求一,使得 (1)當擬合函數為多項式時，稱為多項式擬合，滿足式（1）的稱為最小二乘擬合多項式。特別地，當n=1時，稱為線性擬合或直線擬合。顯然為的多元函數，因此上述問題即為求的極值 問題。由多元函數求極值的必要條件，得 (2)即 (3)（3）是關于的線性方程組，用矩陣表示為 (4)式（3）或式（4）稱為正規(guī)方程組或法方程組?？梢宰C明，方程組（4）的系數矩陣是一個對稱正

5、定矩陣，故存在唯一解。從式（4）中解出 (k=0,1,，n)，從而可得多項式 (5)可以證明，式（5）中的滿足式（1），即為所求的擬合多項式。我們把稱為最小二乘擬合多項式的平方誤差，記作由式(2)可得 (6)多項式擬合的一般方法可歸納為以下幾步： (1) 由已知數據畫出函數粗略的圖形散點圖，確定擬合多項式的次數n；(2) 列表計算和；(3) 寫出正規(guī)方程組，求出；(4) 寫出擬合多項式。在實際應用中，或；當時所得的擬合多項式就是拉格朗日或牛頓插值多項式。3），最小二乘擬合多項式的存在唯一性定理1 設節(jié)點互異，則法方程組（4）的解存在唯一。證 由克萊姆法則，只需證明方程組（4）的系數矩陣非奇異即

6、可。用反證法，設方程組（4）的系數矩陣奇異，則其所對應的齊次方程組 （7）有非零解。式(7)可寫為 （8）將式（8）中第j個方程乘以 (j=0,1,，n)，然后將新得到的n+1個方程左右兩端分別 相加，得因為其中所以 (i=0,1,m)是次數不超過n的多項式，它有m+1n個相異零點，由代數基本定理，必須有，與齊次方程組有非零解的假設矛盾。因此正規(guī)方程組（4）必有唯一解 。定理2 設是正規(guī)方程組（4）的解，則是滿足式（1）的最小二乘擬合多項式。證 只需證明，對任意一組數組成的多項式，恒有即可。因為 (k=0,1,，n)是正規(guī)方程組（4）的解，所以滿足式（2），因此有故為最小二乘擬合多項式。2 算

7、法實現在化學反應中，由實驗測得分解物濃度與時間的關系如下表1所示表1 濃度（y）與時間( t )的關系實驗數據表t0510152025y01.272.162.863.443.87t303540455055y4.154.374.514.584.624.643思路解答根據題設要求即根據所給數據求一未知的多項式擬合曲線，由于曲線未知，只能通過已知數據去確定待定的多項式參數，進而使數據盡可能的逼近所求曲線最后再通過總誤差比較，取最小誤差對應多項式即可不妨設所求多項式為fiv， 式中表示多項式的最高次數說明：表格(1)中是題設給定的函數值，f0，f1，f2，f5，f9分別表示擬合多項式最高次數m=1,2

8、,3,6,10時的擬合值由于數據不是很多，可以直接用最小二乘法找出最好的擬合曲線具體就是比較總誤差的大小，然后取誤差最小的那條擬合曲線即可當然，可根據均方差和偏差G= 。計算求得同時根據法方程組 或者多項式公式 ，可求出其多項式系數itiyiti2tiyiti3ti4ti5ti6ti2yiti3yi00000000000151.27256.3512562531251562531.75158.752102.1610021.610010000100000100000021621603152.8622542.933755062575937511390625643.59652.54203.444006

9、8.880001600003200000640000001376275205253.8762596.751562539062597656252441406252418.7560468.756304.15900124.5270008100002430000072900000037351120507354.371225152.954287515006255252187518382656255353.25187363.88404.511600180.4640002560000102400000409600000066402656009454.582025206.1911254100625184528

10、12583037656259274.5417352.510504.6225002311250062500003125000001155057750011554.643025255.216637591506255032843752768064062514036771980和33040.47126501386.554311002498375011933625005859321875055274.752431806表a據表a可得一次多項式系數a1=0.0765，a0=1.2667，故可得二次多項式系數a2= 0.0022，a1=0.1992，a0=0.2453，故三次多項式系數a3=0.000032

11、499，a2=-0.0049，a1=0.2557，a0=0.0122，故同理六次和十次多項式擬合曲線 分別為 a. 用matlab繪出多項式擬合的直觀圖： 圖一4總誤差比較與分析：用matlab程序tw計算可得最大偏差和均方差分別為Gw1=1.2677，Gw2=0.2453，Gw3=0.0661，Gw6=0.0188，Gw10=0.0040根據圖一可知一次多項式擬合和二次多項式擬合偏差太大，三次、六次、十次多項式比較貼近真實值，再結合多項式擬合的最大偏差和均方差，可清晰知道十次多項式擬合的數據最小故十次多項式擬合更接近實際值，綜合可知10次多項式擬合曲線比1、2、3和6次擬合更加接近題設所給數

12、據三、參考文獻1 李慶揚，王能超，易大義. 數值分析M.清華大學出版社:2009年：第三章2 姜健飛，胡良劍，唐 儉.數值分析及其MATLAB實驗M.科學出版社：2004年：第四章3 羅建軍， 楊 琦，馮博琴.MATLAB數值分析M.機械工業(yè)出版社：2012年：第三、七章4 張 鐵，閻家斌 數值分析M北京: 冶金工業(yè)出版社，2005第二、三章5 李岳生，黃友謙.數值逼近.人民教育出版社,1978，（3）：36-416 陳杰，張增強，于鋒.MATLAB寶典第3版.北京：電子工業(yè)出版社，2011.1.第六章第二三節(jié)四、附錄t=0 5 10 1520 25 30 35 40 4550 55y=0 1

13、.27 2.16 2.863.44 3.87 4.15 4.374.51 4.584.62 4.64figure(1)plot(t,y,bo)grid onhold onxs0=polyfit(t,y,1);% 插值點，其中1表示一次多項式，即直線a=xs0(1)% 插值求得一次項系數 b=xs0(2)% 插值求得常數項項系數 f0=polyval(xs0,t) % 求得擬合出來的多項式在輸入值為t下的y值xs1=polyfit(t,y,2);% 插值點，其中1表示一次多項式，即直線a=xs1(1) %插值求得二次項系數b=xs1(2) %插值求得一次項系數c=xs1(3) %插值求得常數項系

14、數f1=polyval(xs1,t) % 求得擬合出來的多項式在輸入值為t下的y值xs2=polyfit(t,y,3);a=xs2(1) %插值求得三次項系數b=xs2(2) %插值求得二次項系數c=xs2(3) %插值求得一次項系數d=xs2(4) %插值求得常數項系數f2=polyval(xs2,t) % 求得擬合出來的多項式在輸入值為t下的y值xs5=polyfit(t,y,6);a=xs5(1) %插值求得六次項系數b=xs5(2) %插值求得五次項系數c=xs5(3) %插值求得四次項系數d=xs5(4) %插值求得三次項系數e=xs5(5) %插值求得二次項系數f=xs5(6) %

15、插值求得一次項系數g=xs5(7) %插值求得常數項系數f5=polyval(xs5,t) % 求得擬合出來的多項式在輸入值為t下的y值xs9=polyfit(t,y,10);a=xs9(1) %插值求得十次項系數b=xs9(2) %插值求得九次項系數c=xs9(3) %插值求得八次項系數d=xs9(4) %插值求得七次項系數e=xs9(5) %插值求得六次項系數f=xs9(6) %插值求得五次項系數g=xs9(7) %插值求得四次項系數h=xs9(8)%插值求得三次項系數i=xs9(9)%插值求得二次項系數j=xs9(10)%插值求得一次項系數l=xs9(11)%插值求得常數項系數f9=po

16、lyval(xs9,t) % 求得擬合出來的多項式在輸入值為t下的y值plot(t,f0,r-) %用紅色畫出通過數據點而擬合出來的曲線hold onplot(t,f1,g) %用綠色畫出通過數據點而擬合出來的曲線hold onplot(t,f2,b-) %用藍色畫出通過數據點而擬合出來的曲線hold onplot(t,f5,k-) %用黑色畫出通過數據點而擬合出來的曲線hold onplot(t,f9,m-) %紫紅色畫出通過數據點而擬合出來的曲線hold onlegend(數據點(ti,yi),一次多項式擬合曲線,二次多項式擬合曲線,三次多項式擬合,六次多項式擬合,十次多項式擬合) G1=

17、abs(y-f0)Gw1=max(G1)G2=abs(y-f1)Gw2=max(G2)G3=abs(y-f2)Gw3=max(G3)G6=abs(y-f5)Gw6=max(G6)G10=abs(y-f9)Gw10=max(G10)E1=sqrt(sum(y-f0).2)E2=sqrt(sum(y-f1).2)E3=sqrt(sum(y-f2).2)E6=sqrt(sum(y-f5).2)E10=sqrt(sum(y-f9).2)xlabel(時間t), ylabel(濃度y),title(化學反應中，實驗測得分解物濃度與時間的關系)五、心得體會經過一個學期數值分析的學習，讓我有很深刻的感悟。數

18、值分析是一門重視算法和原理的學科，它的內容更接近實際，像最小二乘法擬合，求解線性方程組的解等，使數學理論更有實際意義。學習了數值分析才知道，對于以前解方程組，對矩陣的求解可能會產生100%的誤差，一個100%的誤差幾乎就是一個錯解，完全顛覆了以前的認識。學習數值分析之后，必須要學會尋找一種算法把誤差降低到最小，以便于解決問題。數值分析讓我有了“以點帶面”的思想，這里的“點”是根本，是主線。在第二章以拉格朗日插值、牛頓插值為主線，逐步展開介紹埃爾米特插值、分段低次插值和三次養(yǎng)條插值。只要把拉格朗日插值和牛頓插值基本原理方法理解透，其它的就容易掌握了。第三章函數逼近，最常用的就是通過構造一個多項式函數與已知函數或一串離散數據點進行擬合，直到使逼近效果令人滿意為止，這種思想在迭代法中有很深刻的體現。第六七章主要以迭代法為主線，來求解線