函數(shù)逼近與曲線擬合的最小二乘法

函數(shù)逼近與曲線擬合的最小二乘法1第一頁，共二十九頁，編輯于2023年，星期日本節(jié)內(nèi)容曲線擬合曲線擬合基本概念最小二乘算法最小二乘擬合多項式2第二頁，共二十九頁，編輯于2023年，星期日給出一組離散點，確定一個簡單函數(shù)近似原函數(shù)，多項式插值提供了一種處理手段。然而，在實際問題中，給出的結(jié)點處的離散數(shù)據(jù)或多或少的都帶有誤差，插值要求多項式嚴格通過這些插值結(jié)點，無形之中就將這些點處的誤差保留下來；尤其是當結(jié)點數(shù)目較多時，誤差可能累積起來，從而對最終近似效果產(chǎn)生較大影響（這正是高次插值產(chǎn)生Runge現(xiàn)象的一個主要原因）；此外，即便給出的結(jié)點處的離散數(shù)據(jù)較為精確，但由于插值條件的限制，也導致多項式插值僅僅在處理結(jié)點附近的函數(shù)值近似問題時較為有效，即插值的局部近似效果好，整體逼近效果差。這些都促使我們考慮一種函數(shù)逼近的新方法——曲線擬合。3第三頁，共二十九頁，編輯于2023年，星期日曲線擬合能否找到一個簡單易算的p(x)

，使得f(x)

p(x)已知f(x)

在某些點的函數(shù)值：xx0x1…xm

f(x)y0y1…ym但是

m

通常很大

yi

本身是測量值，不準確，即yi

f(xi)

這時不要求p(xi)=yi,而只要

p(xi)yi總體上盡可能小

4第四頁，共二十九頁，編輯于2023年，星期日

使最小

使最小曲線擬合

p(xi)yi總體上盡可能小

使最小

常見做法太復雜不可導，求解困難最小二乘法：目前最好的曲線擬合算法5第五頁，共二十九頁，編輯于2023年，星期日最小二乘曲線擬合的最小二乘問題這個問題實質(zhì)上是最佳平方逼近問題的離散形式。

可以將求連續(xù)函數(shù)的最佳平方逼近函數(shù)的方法直接用于求解該問題。已知函數(shù)值表(

xi,yi

)，在函數(shù)空間

中求S*(x)

，使得其中i

是點xi處的權(quán)。6第六頁，共二十九頁，編輯于2023年，星期日最小二乘求解對任意S(x)

=span{0,1,,n}，可設(shè)

S(x)=a00+a11+···+

ann(x)則求S*(x)等價于求下面的多元函數(shù)的最小值點k=0,1,…,n最小值點7第七頁，共二十九頁，編輯于2023年，星期日最小二乘求解(k=0,1,…,n)這里的內(nèi)積是離散帶權(quán)內(nèi)積，即，法方程G法方程8第八頁，共二十九頁，編輯于2023年，星期日要使法方程有唯一解a0,a1,…,an,就要求矩陣G非奇異.必須指出,0(x),1(x),…,n(x)在[a,b]上線性無關(guān)不能推出矩陣G非奇異.例如,令0(x)=sinx,1(x)=sin2x,x[0,2],顯然{0(x),1(x)}在[0,2]上線性無關(guān),但若取點xk=k,k=0,1,2(n=1,m=2),那么有0(xk)=1(xk)=0,k=0,1,2,由此得出G==0(0,0)(0,1)(1,0)(1,1)為保證系數(shù)矩陣G非奇異，必須加上另外的條件.定義設(shè)0(x),1(x),…n(x)C[a,b]的任意線性組合在點集{xi,i=0,l,...,m}(mn)上至多只有n個不同的零點,則稱0(x),1(x),…,n(x)在點集{xi,i=0,l,...,m}上滿足哈爾(Haar)條件.

可以證明,如果0(x),1(x),…n(x)C[a,b]在{xi}0m上滿足哈爾(Haar)條件,則法方程的系數(shù)矩陣G非奇異.9第九頁，共二十九頁，編輯于2023年，星期日最小二乘求解設(shè)法方程的解為：a0*,a1*,,an*,則

S*(x)=a0*

0+a1*

1+···+

an*

n(x)結(jié)論S*(x)是

f(x)在中的最小二乘解10第十頁，共二十九頁，編輯于2023年，星期日舉例最小二乘問題中，如何選擇數(shù)學模型很重要，即如何選取函數(shù)空間=span{0,1,,n}，通常需要根據(jù)物理意義，或所給數(shù)據(jù)的分布情況來選取合適的數(shù)學模型。11第十一頁，共二十九頁，編輯于2023年，星期日多項式擬合＝Hn=span{1,x,...,xn},即i=xi,

則相應的法方程為此時

為f(x)的n

次最小二乘擬合多項式多項式最小二乘曲線擬合12第十二頁，共二十九頁，編輯于2023年，星期日例7已知一組實驗數(shù)據(jù)如下，求它的擬合曲線.

解將所給數(shù)據(jù)在坐標紙上標出，見圖3-5.圖3-5選線性函數(shù)作擬合曲線令這里故13第十三頁，共二十九頁，編輯于2023年，星期日解得法方程所求擬合曲線為多項式擬合的Matlab現(xiàn)程序其中輸入?yún)?shù)為要擬合的數(shù)據(jù)，為擬合多項式的次數(shù)，輸出參數(shù)為擬合多項式的系數(shù).上例的Matlab多項式擬合x=[11233345];f=[444.566688.5];aa=poly(x,f,1);y=polyval(aa,x);plot(x,f,’r+’,x,y,’k’)xlabel(‘x’);ylabel(‘y’);gtext(‘y=s1(x)’）14第十四頁，共二十九頁，編輯于2023年，星期日例：用來擬合，w1解：0(x)=1，1(x)=x，2(x)=x27623)(463||||484,||||1==-=BcondBB正交多項式與最小二乘擬合15第十五頁，共二十九頁，編輯于2023年，星期日例：連續(xù)型擬合中，取則

Hilbert陣！改進：若能取函數(shù)族={0(x),1(x),…,n(x),…}，使得任意一對i(x)和j(x)兩兩（帶權(quán)）正交，則B就化為對角陣！這時直接可算出ak=16第十六頁，共二十九頁，編輯于2023年，星期日正交多項式擬合帶權(quán)正交（離散情形）給定點集以及各點的權(quán)系數(shù)，如果函數(shù)族滿足則稱關(guān)于點集帶權(quán)正交若0,1,,n是多項式，則可得正交多項式族17第十七頁，共二十九頁，編輯于2023年，星期日正交多項式擬合用正交多項式做最小二乘設(shè)多項式

p0,p1,,pn關(guān)于點集x0,x1,,xm帶權(quán)0,1,,m正交，則f(x)

在Hn

中的最小二乘擬合多項式為其中k=0,1,…,n誤差離散形式的2-范數(shù)18第十八頁，共二十九頁，編輯于2023年，星期日正交多項式的構(gòu)造給定和權(quán)系數(shù)，如何構(gòu)造正交多項式族可以證明：關(guān)于點集帶權(quán)正交三項遞推公式：k=1,…,n-1其中(k=0,1,…,n-1

)(k=1,2,…,n-1

)19第十九頁，共二十九頁，編輯于2023年，星期日幾點注記可以將構(gòu)造正交多項式族、解法方程、形成擬合多項式穿插進行；

n可以事先給定，或在計算過程中根據(jù)誤差來決定；該方法非常適合編程實現(xiàn)，只用遞推公式，并且當逼近次數(shù)增加時，只要將相應地增加程序中的循環(huán)次數(shù)即可。該方法是目前多項式擬合最好的計算方法，有通用程序。20第二十頁，共二十九頁，編輯于2023年，星期日例：用來擬合，w1解：通過正交多項式0(x),1(x),2(x)求解設(shè))()()(221100xaxaxayjjj++=1)(0=xj229),(),(0000==jjjya25),(),(00001==jjjjax25)()()(011-=-=xxxxjaj537),(),(1111==jjjya25),(),(11112==jjjjax45),(),(00111==jjjjb55)(45)()25()(2012+-=--=xxxxxxjjj21),(),(2222==jjjya與前例結(jié)果一致。注：手算時也可用待定系數(shù)法確定函數(shù)族。21第二十一頁，共二十九頁，編輯于2023年，星期日三、可線性化的非線性最小二乘擬合曲線擬合問題的關(guān)鍵在于四點，其一是確定恰當擬合函數(shù)類型（這是最重要也是最困難的一點）；其二是確定最佳擬合的標準（例如最小二乘原理）；其三是確定擬合函數(shù)中的待定參數(shù)（利用函數(shù)極值理論建立并求解方程組）；其四是對擬合效果進行評價（如：利用偏差平方和、均方差等）。在前兩目的學習中，我們看到最終確定擬合函數(shù)中的系數(shù)是利用線性方程組的求解來實現(xiàn)，因此我們將其稱作是線性最小二乘擬合。若待定系數(shù)的確定需要用到非線性方程組，則稱為是非線性最小二乘擬合。這類問題由于牽涉到非線性方程組的求解，因此變得有些困難。然而不少非線性擬合問題都可以利用某些手段（如變量代換）將其轉(zhuǎn)化為線性擬合問題。22第二十二頁，共二十九頁，編輯于2023年，星期日例3：在某化學反應里,測得生成物濃度y%與時間t的數(shù)據(jù)如下，試建立y關(guān)于t的經(jīng)驗公式t=1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16y=4.00,6.40,8.00,8.80,9.22,9.50,9.70,9.86,10.00,10.20,10.32,10.42,10.50,10.55,10.58,10.60解：第一步：畫出生成物濃度與反應時間的散點圖第二步：確定擬合函數(shù)類型。作為例題我們直接給出下面兩種函數(shù)：（1）指數(shù)函數(shù)形式（2）雙曲函數(shù)形式其中，a，b是待定系數(shù)23第二十三頁，共二十九頁，編輯于2023年，星期日第三步：確定最佳擬合