最小二乘法的基本原理和多項(xiàng)式擬合

數(shù)值分析2013年12月最小二乘法的根本原理和多項(xiàng)式擬合摘要：隨著科技開展和社會(huì)進(jìn)步，尤其是計(jì)算機(jī)大范圍的普及，計(jì)算機(jī)應(yīng)用逐漸由大規(guī)?？茖W(xué)計(jì)算的海量數(shù)據(jù)處理轉(zhuǎn)向日常學(xué)習(xí)中遇到的小型數(shù)據(jù)的處理與計(jì)算，這就產(chǎn)生了解決各種實(shí)際問(wèn)題需要的各種應(yīng)用程序，特別是在電磁檢驗(yàn)實(shí)驗(yàn)中的應(yīng)用更為廣泛。最小二乘法〔又稱最小平方法〕是一種數(shù)學(xué)優(yōu)化技術(shù)，是利用最小化誤差的平方和尋找數(shù)據(jù)的最正確函數(shù)匹配的一種計(jì)算方法[1]，本文對(duì)最小二乘法進(jìn)行了深入細(xì)致的研究，利用Matlab語(yǔ)言編制程序和數(shù)學(xué)知識(shí)相結(jié)合，通過(guò)實(shí)驗(yàn)數(shù)據(jù)的輸入，實(shí)現(xiàn)多項(xiàng)式和曲線擬合的輸出，并利用設(shè)計(jì)的程序?qū)崿F(xiàn)了一些實(shí)際問(wèn)題的求解和處理。關(guān)鍵詞：最小二乘法，曲線擬合，多項(xiàng)式一、前言曲線擬合又稱作函數(shù)逼近，是求近似函數(shù)的一類數(shù)值方法．它不要求近似函數(shù)在每個(gè)節(jié)點(diǎn)處與函數(shù)值相同，只要求其盡可能的反映給定數(shù)據(jù)點(diǎn)的根本趨勢(shì)以及某種意義上的無(wú)限“逼近”．在需要對(duì)一組數(shù)據(jù)進(jìn)行處理、篩選時(shí)，我們往往會(huì)選擇合理的數(shù)值方法，而曲線擬合在實(shí)際應(yīng)用中也倍受青睞．采用曲線擬合處理數(shù)據(jù)時(shí)，一般會(huì)考慮到誤差的影響，于是我們往往基于殘差的平方和最小的準(zhǔn)那么選取擬合曲線的方法，這便是經(jīng)常所說(shuō)的曲線擬合的最小二乘法．通過(guò)對(duì)一些文獻(xiàn)的分析和整理，不僅有數(shù)據(jù)處理〔數(shù)據(jù)采集〕，還有模型建立，可以了解到曲線擬合的最小二乘法的應(yīng)用領(lǐng)域較為廣泛。二、最小二乘法法的介紹1〕，最小二乘法的根本原理從整體上考慮近似函數(shù)同所給數(shù)據(jù)點(diǎn)(i=0,1,…,m)誤差(i=0,1,…,m)的大小，常用的方法有以下三種：一是誤差(i=0,1,…,m)絕對(duì)值的最大值，即誤差向量的∞—范數(shù)；二是誤差絕對(duì)值的和，即誤差向量r的1—范數(shù)；三是誤差平方和的算術(shù)平方根，即誤差向量r的2—范數(shù)；前兩種方法簡(jiǎn)單、自然，但不便于微分運(yùn)算，后一種方法相當(dāng)于考慮2—范數(shù)的平方，因此在曲線擬合中常采用誤差平方和來(lái)度量誤差(i=0，1，…，m)的整體大小。數(shù)據(jù)擬合的具體作法是：對(duì)給定數(shù)據(jù)(i=0,1,…，m)，在取定的函數(shù)類中,求,使誤差(i=0,1,…,m)的平方和最小，即=從幾何意義上講，就是尋求與給定點(diǎn)(i=0,1,…,m)的距離平方和為最小的曲線〔圖6-1〕。函數(shù)稱為擬合函數(shù)或最小二乘解，求擬合函數(shù)的方法稱為曲線擬合的最小二乘法。在曲線擬合中，函數(shù)類可有不同的選取方法.6—12〕，多項(xiàng)式擬合假設(shè)給定數(shù)據(jù)點(diǎn)(i=0,1,…,m)，為所有次數(shù)不超過(guò)的多項(xiàng)式構(gòu)成的函數(shù)類，現(xiàn)求一,使得(1)當(dāng)擬合函數(shù)為多項(xiàng)式時(shí)，稱為多項(xiàng)式擬合，滿足式〔1〕的稱為最小二乘擬合多項(xiàng)式。特別地，當(dāng)n=1時(shí)，稱為線性擬合或直線擬合。［顯然為的多元函數(shù)，因此上述問(wèn)題即為求的極值問(wèn)題。由多元函數(shù)求極值的必要條件，得(2)即(3)〔3〕是關(guān)于的線性方程組，用矩陣表示為(4)式〔3〕或式〔4〕稱為正規(guī)方程組或法方程組?？梢宰C明，方程組〔4〕的系數(shù)矩陣是一個(gè)對(duì)稱正定矩陣，故存在唯一解。從式〔4〕中解出(k=0,1,…，n)，從而可得多項(xiàng)式(5)可以證明，式〔5〕中的滿足式〔1〕，即為所求的擬合多項(xiàng)式。我們把稱為最小二乘擬合多項(xiàng)式的平方誤差，記作由式(2)可得(6)多項(xiàng)式擬合的一般方法可歸納為以下幾步：(1)由數(shù)據(jù)畫出函數(shù)粗略的圖形——散點(diǎn)圖，確定擬合多項(xiàng)式的次數(shù)n；(2)列表計(jì)算和；(3)寫出正規(guī)方程組，求出；(4)寫出擬合多項(xiàng)式。在實(shí)際應(yīng)用中，或；當(dāng)時(shí)所得的擬合多項(xiàng)式就是拉格朗日或牛頓插值多項(xiàng)式。3〕，最小二乘擬合多項(xiàng)式的存在唯一性定理1設(shè)節(jié)點(diǎn)互異，那么法方程組〔4〕的解存在唯一。證由克萊姆法那么，只需證明方程組〔4〕的系數(shù)矩陣非奇異即可。用反證法，設(shè)方程組〔4〕的系數(shù)矩陣奇異，那么其所對(duì)應(yīng)的齊次方程組〔7〕有非零解。式(7)可寫為〔8〕將式〔8〕中第j個(gè)方程乘以(j=0,1,…，n)，然后將新得到的n+1個(gè)方程左右兩端分別相加，得因?yàn)槠渲兴?i=0,1,…,m)是次數(shù)不超過(guò)n的多項(xiàng)式，它有m+1＞n個(gè)相異零點(diǎn)，由代數(shù)根本定理，必須有，與齊次方程組有非零解的假設(shè)矛盾。因此正規(guī)方程組〔4〕必有唯一解。定理2設(shè)是正規(guī)方程組〔4〕的解，那么是滿足式〔1〕的最小二乘擬合多項(xiàng)式。證只需證明，對(duì)任意一組數(shù)組成的多項(xiàng)式，恒有即可。因?yàn)?k=0,1,…，n)是正規(guī)方程組〔4〕的解，所以滿足式〔2〕，因此有故為最小二乘擬合多項(xiàng)式。2算法實(shí)現(xiàn)在化學(xué)反響中，由實(shí)驗(yàn)測(cè)得分解物濃度與時(shí)間的關(guān)系如下表1所示表1濃度〔y〕與時(shí)間(t)的關(guān)系實(shí)驗(yàn)數(shù)據(jù)表t0510152025y01.272.162.863.443.87t303540455055y4.154.374.514.584.624.643思路解答根據(jù)題設(shè)要求即根據(jù)所給數(shù)據(jù)求一未知的多項(xiàng)式擬合曲線，由于曲線未知，只能通過(guò)數(shù)據(jù)去確定待定的多項(xiàng)式參數(shù)，進(jìn)而使數(shù)據(jù)盡可能的逼近所求曲線．最后再通過(guò)總誤差比擬，取最小誤差對(duì)應(yīng)多項(xiàng)式即可．不妨設(shè)所求多項(xiàng)式為[fiv]，式中表示多項(xiàng)式的最高次數(shù)．說(shuō)明：表格(1)中是題設(shè)給定的函數(shù)值，f0，f1，f2，f5，f9分別表示擬合多項(xiàng)式最高次數(shù)m=1,2,3,6,10時(shí)的擬合值．由于數(shù)據(jù)不是很多，可以直接用最小二乘法找出最好的擬合曲線．具體就是比擬總誤差的大小，然后取誤差最小的那條擬合曲線即可．當(dāng)然，可根據(jù)均方差和偏差G=。計(jì)算求得．同時(shí)根據(jù)法方程組或者多項(xiàng)式公式，可求出其多項(xiàng)式系數(shù)itiyiti^2tiyiti^3ti^4ti^5ti^6ti^2yiti^3yi00000000000151.27256.3512562531251562531.75158.752102.1610021.610010000100000100000021621603152.8622542.933755062575937511390625643.59652.54203.4440068.880001600003200000640000001376275205253.8762596.751562539062597656252441406252418.7560468.756304.15900124.5270008100002430000072900000037351120507354.371225152.954287515006255252187518382656255353.25187363.88404.511600180.4640002560000102400000409600000066402656009454.582025206.191125410062518452812583037656259274.5417352.510504.6225002311250062500003125000001155057750011554.643025255.216637591506255032843752768064062514036771980和33040.47126501386.554311002498375011933625005859321875055274.752431806表a據(jù)表a可得一次多項(xiàng)式系數(shù)a1=0.0765，a0=1.2667，故可得二次多項(xiàng)式系數(shù)a2=—0.0022，a1=0.1992，a0=0.2453，故三次多項(xiàng)式系數(shù)a3=0.000032499，a2=-0.0049，a1=0.2557，a0=0.0122，故同理六次和十次多項(xiàng)式擬合曲線分別為用matlab繪出多項(xiàng)式擬合的直觀圖：圖一4總誤差比擬與分析：用matlab程序[tw]計(jì)算可得最大偏差和均方差分別為Gw1=1.2677，Gw2=0.2453，Gw3=0.0661，Gw6=0.0188，Gw10=0.0040根據(jù)圖一可知一次多項(xiàng)式擬合和二次多項(xiàng)式擬合偏差太大，三次、六次、十次多項(xiàng)式比擬貼近真實(shí)值，再結(jié)合多項(xiàng)式擬合的最大偏差和均方差，可清晰知道十次多項(xiàng)式擬合的數(shù)據(jù)最小故十次多項(xiàng)式擬合更接近實(shí)際值，綜合可知10次多項(xiàng)式擬合曲線比1、2、3和6次擬合更加接近題設(shè)所給數(shù)據(jù)．三、參考文獻(xiàn)[1]李慶揚(yáng)，王能超，易大義.數(shù)值分析[M].清華大學(xué)出版社:2009年：第三章[2]姜健飛，胡良劍，唐儉.數(shù)值分析及其MATLAB實(shí)驗(yàn)[M].科學(xué)出版社：2004年：第四章[3]羅建軍，楊琦，馮博琴.MATLAB數(shù)值分析[M].機(jī)械工業(yè)出版社：2012年：第三、七章[4]張鐵，閻家斌．?dāng)?shù)值分析［M］．北京:冶金工業(yè)出版社，2005．第二、三章[5]李岳生，黃友謙.數(shù)值逼近.人民教育出版社,1978，〔3〕：36-41[6]陳杰，張?jiān)鰪?qiáng)，于鋒.MATLAB寶典[第3版].北京：電子工業(yè)出版社，2011.1.第六章第二三節(jié)四、附錄t=[ 05 10 15 20 2530 35 40 45 50 55]y=[ 01.272.162.86 3.443.874.154.37 4.514.58 4.624.64]figure(1)plot(t,y,'bo')gridonholdonxs0=polyfit(t,y,1);%插值點(diǎn)，其中1表示一次多項(xiàng)式，即直線a=xs0(1)%插值求得一次項(xiàng)系數(shù)b=xs0(2)%插值求得常數(shù)項(xiàng)項(xiàng)系數(shù)f0=polyval(xs0,t)%求得擬合出來(lái)的多項(xiàng)式在輸入值為t下的y值xs1=polyfit(t,y,2);%插值點(diǎn)，其中1表示一次多項(xiàng)式，即直線a=xs1(1)%插值求得二次項(xiàng)系數(shù)b=xs1(2)%插值求得一次項(xiàng)系數(shù)c=xs1(3)%插值求得常數(shù)項(xiàng)系數(shù)f1=polyval(xs1,t)%求得擬合出來(lái)的多項(xiàng)式在輸入值為t下的y值xs2=polyfit(t,y,3);a=xs2(1)%插值求得三次項(xiàng)系數(shù)b=xs2(2)%插值求得二次項(xiàng)系數(shù)c=xs2(3)%插值求得一次項(xiàng)系數(shù)d=xs2(4)%插值求得常數(shù)項(xiàng)系數(shù)f2=polyval(xs2,t)%求得擬合出來(lái)的多項(xiàng)式在輸入值為t下的y值xs5=polyfit(t,y,6);a=xs5(1)%插值求得六次項(xiàng)系數(shù)b=xs5(2)%插值求得五次項(xiàng)系數(shù)c=xs5(3)%插值求得四次項(xiàng)系數(shù)d=xs5(4)%插值求得三次項(xiàng)系數(shù)e=xs5(5)%插值求得二次項(xiàng)系數(shù)f=xs5(6)%插值求得一次項(xiàng)系數(shù)g=xs5(7)%插值求得常數(shù)項(xiàng)系數(shù)f5=polyval(xs5,t)%求得擬合出來(lái)的多項(xiàng)式在輸入值為t下的y值xs9=polyfit(t,y,10);a=xs9(1)%插值求得十次項(xiàng)系數(shù)b=xs9(2)%插值求得九次項(xiàng)系數(shù)c=xs9(3)%插值求得八次項(xiàng)系數(shù)d=xs9(4)%插值求得七次項(xiàng)系數(shù)e=xs9(5)%插值求得六次項(xiàng)系數(shù)f=xs9(6)%插值求得五次項(xiàng)系數(shù)g=xs9(7)%插值求得四次項(xiàng)系數(shù)h=xs9(8)%插值求得三次項(xiàng)系數(shù)i=xs9(9)%插值求得二次項(xiàng)系數(shù)j=xs9(10)%插值求得一次項(xiàng)系數(shù)l=xs9(11)%插值求得常數(shù)項(xiàng)系數(shù)f9=polyval(xs9,t)%求得擬合出來(lái)的多項(xiàng)式在輸入值為t下的y值plot(t,f0,'r-')%用紅色畫出通過(guò)數(shù)據(jù)點(diǎn)而擬合出來(lái)的曲線holdonplot(t,f1,'g')%用綠色畫出通過(guò)數(shù)據(jù)點(diǎn)而擬合出來(lái)的曲線holdonplot(t,f2,'b-')%用藍(lán)色畫出通過(guò)數(shù)據(jù)點(diǎn)而擬合出來(lái)的曲線holdonplot(t,f5,'k-')%用黑色畫出通過(guò)數(shù)據(jù)點(diǎn)而擬合出來(lái)的曲線holdonplot(t,f9,'m-')%紫紅色畫出通過(guò)數(shù)據(jù)點(diǎn)而擬合出來(lái)的曲線holdonlegend('數(shù)據(jù)點(diǎn)(ti,yi)','一次多項(xiàng)式擬合曲線','二次多項(xiàng)式擬合曲線','三次多項(xiàng)式擬合','六次多項(xiàng)式擬合','十次多項(xiàng)式擬合')G1=abs(y-f0)Gw1=max(G1)G2=abs(y-f1)Gw2=max(G2)G3=abs(y-f2)Gw3=max(G3)G6=abs(y-f5)Gw6=max(G6)G10=abs(y-f9)Gw10=max(G10)E1=sqrt(sum((y-f0).^2))E2=sqrt(sum((y-f1).^2))E3=sqrt(sum((y-f2).^2))E6=sqrt(sum((y-f5).^2))E10=sqrt(sum((y-f9).^2))xlabel('時(shí)間t'),ylabel('濃度y'),title('化學(xué)反響中，實(shí)驗(yàn)測(cè)得分解物濃度與時(shí)間的關(guān)系')五、心得體會(huì)經(jīng)過(guò)一個(gè)學(xué)期數(shù)值分析的學(xué)習(xí)，讓我有很深刻的感悟。數(shù)值分析是一門重視算法和原理的學(xué)科，它的內(nèi)容更接近實(shí)際，像最小二乘法擬合，求解線性方程組的解等，使數(shù)學(xué)理論更有實(shí)際意義。學(xué)習(xí)了數(shù)值分析才知道，對(duì)于以前解方程組，對(duì)矩陣的求解可能會(huì)產(chǎn)生100%的誤差，一個(gè)100%的誤差幾乎就是一個(gè)錯(cuò)解，完全顛覆了以前的認(rèn)識(shí)。學(xué)習(xí)數(shù)值分析之后，必須要學(xué)會(huì)尋找一種算法把誤差降低到最小，以便于解決問(wèn)題。數(shù)值分析讓我有了“以點(diǎn)帶面”的思想，這里的“點(diǎn)”是根本，是主線。在第二章以拉格朗日插值、牛頓插值為主線，逐步展開介紹埃爾米特插值、分段低次插值和三次養(yǎng)條插值。只要把拉格朗日插值和牛頓插值根本原理方法理解透，其它的就容易掌握了。第三章函數(shù)逼近，最常用的就是通過(guò)構(gòu)造一個(gè)多項(xiàng)式函數(shù)與函數(shù)或一串離散數(shù)據(jù)點(diǎn)進(jìn)行擬合，直到使逼近效果令人滿意為止，這種思想在迭代法中有很深刻的表達(dá)。第六七章主要以迭代法為主線，來(lái)求解線性方程和非線性方程。在學(xué)習(xí)過(guò)程中只要