最小二乘法的基本原理和多項(xiàng)式擬合

1、數(shù) 值 分 析2013年12月最小二乘法的基本原理和多項(xiàng)式擬合摘 要：隨著科技發(fā)展和社會(huì)進(jìn)步，尤其是計(jì)算機(jī)大范圍的普及，計(jì)算機(jī)應(yīng)用逐漸由大規(guī)模科學(xué)計(jì)算的海量數(shù)據(jù)處理轉(zhuǎn)向日常學(xué)習(xí)中遇到的小型數(shù)據(jù)的處理與計(jì)算，這就產(chǎn)生了解決各種實(shí)際問(wèn)題需要的各種應(yīng)用程序，特別是在電磁檢驗(yàn)實(shí)驗(yàn)中的應(yīng)用更為廣泛。最小二乘法（又稱最小平方法）是一種數(shù)學(xué)優(yōu)化技術(shù)，是利用最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配的一種計(jì)算方法1，本文對(duì)最小二乘法進(jìn)行了深入細(xì)致的研究，利用Matlab語(yǔ)言編制程序和數(shù)學(xué)知識(shí)相結(jié)合，通過(guò)實(shí)驗(yàn)數(shù)據(jù)的輸入，實(shí)現(xiàn)多項(xiàng)式和曲線擬合的輸出，并利用設(shè)計(jì)的程序?qū)崿F(xiàn)了一些實(shí)際問(wèn)題的求解和處理。關(guān)鍵詞：最小二乘法

2、，曲線擬合，多項(xiàng)式一、前言曲線擬合又稱作函數(shù)逼近，是求近似函數(shù)的一類數(shù)值方法它不要求近似函數(shù)在每個(gè)節(jié)點(diǎn)處與函數(shù)值相同，只要求其盡可能的反映給定數(shù)據(jù)點(diǎn)的基本趨勢(shì)以及某種意義上的無(wú)限“逼近”在需要對(duì)一組數(shù)據(jù)進(jìn)行處理、篩選時(shí)，我們往往會(huì)選擇合理的數(shù)值方法，而曲線擬合在實(shí)際應(yīng)用中也倍受青睞采用曲線擬合處理數(shù)據(jù)時(shí)，一般會(huì)考慮到誤差的影響，于是我們往往基于殘差的平方和最小的準(zhǔn)則選取擬合曲線的方法，這便是經(jīng)常所說(shuō)的曲線擬合的最小二乘法通過(guò)對(duì)一些文獻(xiàn)的分析和整理，不僅有數(shù)據(jù)處理（數(shù)據(jù)采集），還有模型建立，可以了解到曲線擬合的最小二乘法的應(yīng)用領(lǐng)域較為廣泛。二、最小二乘法法的介紹1），最小二乘法的基本原理從整體上

3、考慮近似函數(shù)同所給數(shù)據(jù)點(diǎn) (i=0,1,m)誤差 (i=0,1,m)的大小，常用的方法有以下三種：一是誤差 (i=0,1,m)絕對(duì)值的最大值，即誤差 向量的范數(shù)；二是誤差絕對(duì)值的和，即誤差向量r的1范數(shù)；三是誤差平方和的算術(shù)平方根，即誤差向量r的2范數(shù)；前兩種方法簡(jiǎn)單、自然，但不便于微分運(yùn)算 ，后一種方法相當(dāng)于考慮 2范數(shù)的平方，因此在曲線擬合中常采用誤差平方和來(lái) 度量誤差 (i=0，1，m)的整體大小。數(shù)據(jù)擬合的具體作法是：對(duì)給定數(shù)據(jù) (i=0,1,，m)，在取定的函數(shù)類中,求,使誤差(i=0,1,m)的平方和最小，即 =從幾何意義上講，就是尋求與給定點(diǎn) (i=0,1,m)的距離平方和為最小

4、的曲線（圖6-1）。函數(shù)稱為擬合 函數(shù)或最小二乘解，求擬合函數(shù)的方法稱為曲線擬合的最小二乘法。在曲線擬合中，函數(shù)類可有不同的選取方法.612），多項(xiàng)式擬合假設(shè)給定數(shù)據(jù)點(diǎn) (i=0,1,m)，為所有次數(shù)不超過(guò)的多項(xiàng)式構(gòu)成的函數(shù)類，現(xiàn)求一,使得 (1)當(dāng)擬合函數(shù)為多項(xiàng)式時(shí)，稱為多項(xiàng)式擬合，滿足式（1）的稱為最小二乘擬合多項(xiàng)式。特別地，當(dāng)n=1時(shí)，稱為線性擬合或直線擬合。顯然為的多元函數(shù)，因此上述問(wèn)題即為求的極值 問(wèn)題。由多元函數(shù)求極值的必要條件，得 (2)即 (3)（3）是關(guān)于的線性方程組，用矩陣表示為 (4)式（3）或式（4）稱為正規(guī)方程組或法方程組?？梢宰C明，方程組（4）的系數(shù)矩陣是一個(gè)對(duì)稱正

5、定矩陣，故存在唯一解。從式（4）中解出 (k=0,1,，n)，從而可得多項(xiàng)式 (5)可以證明，式（5）中的滿足式（1），即為所求的擬合多項(xiàng)式。我們把稱為最小二乘擬合多項(xiàng)式的平方誤差，記作由式(2)可得 (6)多項(xiàng)式擬合的一般方法可歸納為以下幾步： (1) 由已知數(shù)據(jù)畫(huà)出函數(shù)粗略的圖形散點(diǎn)圖，確定擬合多項(xiàng)式的次數(shù)n；(2) 列表計(jì)算和；(3) 寫(xiě)出正規(guī)方程組，求出；(4) 寫(xiě)出擬合多項(xiàng)式。在實(shí)際應(yīng)用中，或；當(dāng)時(shí)所得的擬合多項(xiàng)式就是拉格朗日或牛頓插值多項(xiàng)式。3），最小二乘擬合多項(xiàng)式的存在唯一性定理1 設(shè)節(jié)點(diǎn)互異，則法方程組（4）的解存在唯一。證 由克萊姆法則，只需證明方程組（4）的系數(shù)矩陣非奇異即

6、可。用反證法，設(shè)方程組（4）的系數(shù)矩陣奇異，則其所對(duì)應(yīng)的齊次方程組 （7）有非零解。式(7)可寫(xiě)為 （8）將式（8）中第j個(gè)方程乘以 (j=0,1,，n)，然后將新得到的n+1個(gè)方程左右兩端分別 相加，得因?yàn)槠渲兴?(i=0,1,m)是次數(shù)不超過(guò)n的多項(xiàng)式，它有m+1n個(gè)相異零點(diǎn)，由代數(shù)基本定理，必須有，與齊次方程組有非零解的假設(shè)矛盾。因此正規(guī)方程組（4）必有唯一解 。定理2 設(shè)是正規(guī)方程組（4）的解，則是滿足式（1）的最小二乘擬合多項(xiàng)式。證 只需證明，對(duì)任意一組數(shù)組成的多項(xiàng)式，恒有即可。因?yàn)?(k=0,1,，n)是正規(guī)方程組（4）的解，所以滿足式（2），因此有故為最小二乘擬合多項(xiàng)式。2 算

7、法實(shí)現(xiàn)在化學(xué)反應(yīng)中，由實(shí)驗(yàn)測(cè)得分解物濃度與時(shí)間的關(guān)系如下表1所示表1 濃度（y）與時(shí)間( t )的關(guān)系實(shí)驗(yàn)數(shù)據(jù)表t0510152025y01.272.162.863.443.87t303540455055y4.154.374.514.584.624.643思路解答根據(jù)題設(shè)要求即根據(jù)所給數(shù)據(jù)求一未知的多項(xiàng)式擬合曲線，由于曲線未知，只能通過(guò)已知數(shù)據(jù)去確定待定的多項(xiàng)式參數(shù)，進(jìn)而使數(shù)據(jù)盡可能的逼近所求曲線最后再通過(guò)總誤差比較，取最小誤差對(duì)應(yīng)多項(xiàng)式即可不妨設(shè)所求多項(xiàng)式為fiv， 式中表示多項(xiàng)式的最高次數(shù)說(shuō)明：表格(1)中是題設(shè)給定的函數(shù)值，f0，f1，f2，f5，f9分別表示擬合多項(xiàng)式最高次數(shù)m=1,2

8、,3,6,10時(shí)的擬合值由于數(shù)據(jù)不是很多，可以直接用最小二乘法找出最好的擬合曲線具體就是比較總誤差的大小，然后取誤差最小的那條擬合曲線即可當(dāng)然，可根據(jù)均方差和偏差G= 。計(jì)算求得同時(shí)根據(jù)法方程組 或者多項(xiàng)式公式 ，可求出其多項(xiàng)式系數(shù)itiyiti2tiyiti3ti4ti5ti6ti2yiti3yi00000000000151.27256.3512562531251562531.75158.752102.1610021.610010000100000100000021621603152.8622542.933755062575937511390625643.59652.54203.444006

9、8.880001600003200000640000001376275205253.8762596.751562539062597656252441406252418.7560468.756304.15900124.5270008100002430000072900000037351120507354.371225152.954287515006255252187518382656255353.25187363.88404.511600180.4640002560000102400000409600000066402656009454.582025206.1911254100625184528

10、12583037656259274.5417352.510504.6225002311250062500003125000001155057750011554.643025255.216637591506255032843752768064062514036771980和33040.47126501386.554311002498375011933625005859321875055274.752431806表a據(jù)表a可得一次多項(xiàng)式系數(shù)a1=0.0765，a0=1.2667，故可得二次多項(xiàng)式系數(shù)a2= 0.0022，a1=0.1992，a0=0.2453，故三次多項(xiàng)式系數(shù)a3=0.000032

11、499，a2=-0.0049，a1=0.2557，a0=0.0122，故同理六次和十次多項(xiàng)式擬合曲線 分別為 a. 用matlab繪出多項(xiàng)式擬合的直觀圖： 圖一4總誤差比較與分析：用matlab程序tw計(jì)算可得最大偏差和均方差分別為Gw1=1.2677，Gw2=0.2453，Gw3=0.0661，Gw6=0.0188，Gw10=0.0040根據(jù)圖一可知一次多項(xiàng)式擬合和二次多項(xiàng)式擬合偏差太大，三次、六次、十次多項(xiàng)式比較貼近真實(shí)值，再結(jié)合多項(xiàng)式擬合的最大偏差和均方差，可清晰知道十次多項(xiàng)式擬合的數(shù)據(jù)最小故十次多項(xiàng)式擬合更接近實(shí)際值，綜合可知10次多項(xiàng)式擬合曲線比1、2、3和6次擬合更加接近題設(shè)所給數(shù)

12、據(jù)三、參考文獻(xiàn)1 李慶揚(yáng)，王能超，易大義. 數(shù)值分析M.清華大學(xué)出版社:2009年：第三章2 姜健飛，胡良劍，唐 儉.數(shù)值分析及其MATLAB實(shí)驗(yàn)M.科學(xué)出版社：2004年：第四章3 羅建軍， 楊 琦，馮博琴.MATLAB數(shù)值分析M.機(jī)械工業(yè)出版社：2012年：第三、七章4 張 鐵，閻家斌 數(shù)值分析M北京: 冶金工業(yè)出版社，2005第二、三章5 李岳生，黃友謙.數(shù)值逼近.人民教育出版社,1978，（3）：36-416 陳杰，張?jiān)鰪?qiáng)，于鋒.MATLAB寶典第3版.北京：電子工業(yè)出版社，2011.1.第六章第二三節(jié)四、附錄t=0 5 10 1520 25 30 35 40 4550 55y=0 1

13、.27 2.16 2.863.44 3.87 4.15 4.374.51 4.584.62 4.64figure(1)plot(t,y,bo)grid onhold onxs0=polyfit(t,y,1);% 插值點(diǎn)，其中1表示一次多項(xiàng)式，即直線a=xs0(1)% 插值求得一次項(xiàng)系數(shù) b=xs0(2)% 插值求得常數(shù)項(xiàng)項(xiàng)系數(shù) f0=polyval(xs0,t) % 求得擬合出來(lái)的多項(xiàng)式在輸入值為t下的y值xs1=polyfit(t,y,2);% 插值點(diǎn)，其中1表示一次多項(xiàng)式，即直線a=xs1(1) %插值求得二次項(xiàng)系數(shù)b=xs1(2) %插值求得一次項(xiàng)系數(shù)c=xs1(3) %插值求得常數(shù)項(xiàng)系

14、數(shù)f1=polyval(xs1,t) % 求得擬合出來(lái)的多項(xiàng)式在輸入值為t下的y值xs2=polyfit(t,y,3);a=xs2(1) %插值求得三次項(xiàng)系數(shù)b=xs2(2) %插值求得二次項(xiàng)系數(shù)c=xs2(3) %插值求得一次項(xiàng)系數(shù)d=xs2(4) %插值求得常數(shù)項(xiàng)系數(shù)f2=polyval(xs2,t) % 求得擬合出來(lái)的多項(xiàng)式在輸入值為t下的y值xs5=polyfit(t,y,6);a=xs5(1) %插值求得六次項(xiàng)系數(shù)b=xs5(2) %插值求得五次項(xiàng)系數(shù)c=xs5(3) %插值求得四次項(xiàng)系數(shù)d=xs5(4) %插值求得三次項(xiàng)系數(shù)e=xs5(5) %插值求得二次項(xiàng)系數(shù)f=xs5(6) %

15、插值求得一次項(xiàng)系數(shù)g=xs5(7) %插值求得常數(shù)項(xiàng)系數(shù)f5=polyval(xs5,t) % 求得擬合出來(lái)的多項(xiàng)式在輸入值為t下的y值xs9=polyfit(t,y,10);a=xs9(1) %插值求得十次項(xiàng)系數(shù)b=xs9(2) %插值求得九次項(xiàng)系數(shù)c=xs9(3) %插值求得八次項(xiàng)系數(shù)d=xs9(4) %插值求得七次項(xiàng)系數(shù)e=xs9(5) %插值求得六次項(xiàng)系數(shù)f=xs9(6) %插值求得五次項(xiàng)系數(shù)g=xs9(7) %插值求得四次項(xiàng)系數(shù)h=xs9(8)%插值求得三次項(xiàng)系數(shù)i=xs9(9)%插值求得二次項(xiàng)系數(shù)j=xs9(10)%插值求得一次項(xiàng)系數(shù)l=xs9(11)%插值求得常數(shù)項(xiàng)系數(shù)f9=po

16、lyval(xs9,t) % 求得擬合出來(lái)的多項(xiàng)式在輸入值為t下的y值plot(t,f0,r-) %用紅色畫(huà)出通過(guò)數(shù)據(jù)點(diǎn)而擬合出來(lái)的曲線hold onplot(t,f1,g) %用綠色畫(huà)出通過(guò)數(shù)據(jù)點(diǎn)而擬合出來(lái)的曲線hold onplot(t,f2,b-) %用藍(lán)色畫(huà)出通過(guò)數(shù)據(jù)點(diǎn)而擬合出來(lái)的曲線hold onplot(t,f5,k-) %用黑色畫(huà)出通過(guò)數(shù)據(jù)點(diǎn)而擬合出來(lái)的曲線hold onplot(t,f9,m-) %紫紅色畫(huà)出通過(guò)數(shù)據(jù)點(diǎn)而擬合出來(lái)的曲線hold onlegend(數(shù)據(jù)點(diǎn)(ti,yi),一次多項(xiàng)式擬合曲線,二次多項(xiàng)式擬合曲線,三次多項(xiàng)式擬合,六次多項(xiàng)式擬合,十次多項(xiàng)式擬合) G1=

17、abs(y-f0)Gw1=max(G1)G2=abs(y-f1)Gw2=max(G2)G3=abs(y-f2)Gw3=max(G3)G6=abs(y-f5)Gw6=max(G6)G10=abs(y-f9)Gw10=max(G10)E1=sqrt(sum(y-f0).2)E2=sqrt(sum(y-f1).2)E3=sqrt(sum(y-f2).2)E6=sqrt(sum(y-f5).2)E10=sqrt(sum(y-f9).2)xlabel(時(shí)間t), ylabel(濃度y),title(化學(xué)反應(yīng)中，實(shí)驗(yàn)測(cè)得分解物濃度與時(shí)間的關(guān)系)五、心得體會(huì)經(jīng)過(guò)一個(gè)學(xué)期數(shù)值分析的學(xué)習(xí)，讓我有很深刻的感悟。數(shù)

18、值分析是一門(mén)重視算法和原理的學(xué)科，它的內(nèi)容更接近實(shí)際，像最小二乘法擬合，求解線性方程組的解等，使數(shù)學(xué)理論更有實(shí)際意義。學(xué)習(xí)了數(shù)值分析才知道，對(duì)于以前解方程組，對(duì)矩陣的求解可能會(huì)產(chǎn)生100%的誤差，一個(gè)100%的誤差幾乎就是一個(gè)錯(cuò)解，完全顛覆了以前的認(rèn)識(shí)。學(xué)習(xí)數(shù)值分析之后，必須要學(xué)會(huì)尋找一種算法把誤差降低到最小，以便于解決問(wèn)題。數(shù)值分析讓我有了“以點(diǎn)帶面”的思想，這里的“點(diǎn)”是根本，是主線。在第二章以拉格朗日插值、牛頓插值為主線，逐步展開(kāi)介紹埃爾米特插值、分段低次插值和三次養(yǎng)條插值。只要把拉格朗日插值和牛頓插值基本原理方法理解透，其它的就容易掌握了。第三章函數(shù)逼近，最常用的就是通過(guò)構(gòu)造一個(gè)多項(xiàng)式函數(shù)與已知函數(shù)或一串離散數(shù)據(jù)點(diǎn)進(jìn)行擬合，直到使逼近效果令人滿意為止，這種思想在迭代法中有很深刻的體現(xiàn)。第六七章主要以迭代法為主線，來(lái)求解線