數(shù)值分析課件函數(shù)逼近與最小二乘法

數(shù)值分析課件函數(shù)逼近與最小二乘法第一頁，共五十二頁，編輯于2023年，星期三函數(shù)逼近

問題

數(shù)值計算中經(jīng)常要計算函數(shù)值，如計算機中計算基本初等函數(shù)及其他特殊函數(shù)；(連續(xù)情形)

當函數(shù)只在有限點集上給定函數(shù)值，要在包含該點集的區(qū)間上用公式給出函數(shù)的簡單表達式.(離散情形)

這些都涉及到在已知區(qū)間上用簡單函數(shù)逼近已知復雜函數(shù)或未知函數(shù)的問題，這就是函數(shù)逼近問題

插值方法就是一種逼近，要求在給定的節(jié)點處P(x)與f(x)相等（甚至導數(shù)值相等），因此在節(jié)點附近，逼近效果較好，而在遠離節(jié)點的地方，由Runge現(xiàn)象知道，有時效果會很差。第二頁，共五十二頁，編輯于2023年，星期三函數(shù)逼近

由觀測得到的實驗數(shù)據(jù)不可避免地帶有誤差，甚至是較大的誤差，此時要求近似函數(shù)P(x)過全部已知點，相當于保留全部數(shù)據(jù)誤差，所以使用插值法不合理。

對逼近函數(shù)P(x)不必要求過給定的點，只要求總體上盡可能小，即要求P(x)盡可能反映給定數(shù)據(jù)點的總體趨勢，在某種意義（要求或標準）下與函數(shù)最“逼近”。函數(shù)逼近問題可敘述為：對函數(shù)類A中給定的函數(shù)f(x)

，需要在另一類較簡單的便于計算的函數(shù)類B

（B∈A）中，找一個函數(shù)P(x)，使P(x)與f(x)

之差在某種度量意義下達到最小。第三頁，共五十二頁，編輯于2023年，星期三最常見的兩種度量標準

一致逼近（均勻逼近）以作為度量誤差f(x)-P(x)的

“大小”標準。平方逼近（均方逼近）

以作為度量誤差f(x)-P(x)的

“大小”標準。

第四頁，共五十二頁，編輯于2023年，星期三預備知識線性空間、線性相關、線性無關基、維數(shù)、有限維空間與無限維空間常見線性空間：Rn、Hn、C[a,b]、Cm[a,b]賦范線性空間C[a,b]2-范數(shù)：-范數(shù)：1-范數(shù)：線性空間C[a,b]

，f(x)C[a,b]

第五頁，共五十二頁，編輯于2023年，星期三

，等號當且僅當u=0時成立內(nèi)積空間內(nèi)積空間設

X是數(shù)域K(R或C)上的線性空間，對

u,v

X有K中的一個數(shù)(u,v)

與之對應，且滿足

稱

(u,v)為X

上的內(nèi)積，定義了內(nèi)積的線性空間稱為內(nèi)積空間

u,v

正交(u,v)=0第六頁，共五十二頁，編輯于2023年，星期三內(nèi)積空間定理設

X是一個內(nèi)積空間，對

u,v

X有Cauchy-Schwarz不等式定理設

X是內(nèi)積空間，u1,u2,,un

X，定義矩陣則G

非奇異當且僅當

u1,u2,,un線性無關。Gram矩陣第七頁，共五十二頁，編輯于2023年，星期三內(nèi)積內(nèi)積導出范數(shù)：例：Rn上的內(nèi)積：導出的范數(shù)為加權內(nèi)積給定正實數(shù)1,2,,n,定義正實數(shù)

1,2,,n

稱為加權系數(shù)第八頁，共五十二頁，編輯于2023年，星期三內(nèi)積例：Cn上的內(nèi)積：加權內(nèi)積1,2,,n

為正實數(shù)例：C[a,b]

上的內(nèi)積：第九頁，共五十二頁，編輯于2023年，星期三權函數(shù)權函數(shù)設(x)

是[a,b]

上的非負函數(shù)，滿足，存在且為有限值對[a,b]上的任意非負連續(xù)函數(shù)g(x)，則稱(x)

是[a,b]

上一個權函數(shù)

[a,b]

可以是無限區(qū)間，即a,b可以是無窮大權函數(shù)與定義區(qū)間有關若，則(k=0,1,2,…)第十頁，共五十二頁，編輯于2023年，星期三常見的權函數(shù)常見的權函數(shù)第十一頁，共五十二頁，編輯于2023年，星期三帶權內(nèi)積帶權內(nèi)積設(x)

是[a,b]

上的權函數(shù)，f(x),

g(x)

C[a,b]導出范數(shù)性質(zhì)設0,1,,nC[a,b]，則0,1,,n線性無關當且僅當det(G)0，其中第十二頁，共五十二頁，編輯于2023年，星期三正交函數(shù)族定義設f(x),

g(x)

C[a,b]，(x)

是[a,b]

上的權函數(shù)，若則稱f(x)

與g(x)

在[a,b]

上帶權(x)正交定義若函數(shù)族0(x),1(x),,n(x)C[a,b]滿足則稱{k(x)}

是[a,b]

上帶權(x)的正交函數(shù)族若所有Ak=1

，則稱為標準正交函數(shù)族

第十三頁，共五十二頁，編輯于2023年，星期三舉例例：三角函數(shù)系

1，cosx，sinx，sin2x，cos2x，…在[-,]

上是帶權(x)=1

的正交函數(shù)族證：(m,n=1,2,3,…)(m,n=0,1,2,…)第十四頁，共五十二頁，編輯于2023年，星期三正交多項式定義設n(x)

是首項系數(shù)不為0的n次多項式，若則稱為[a,b]

上帶權(x)

正交稱n(x)

為n

次正交多項式設是[a,b]

上帶權(x)的正交多項式族，則n(x)在(a,b)內(nèi)有n

個不同的零點性質(zhì)1第十五頁，共五十二頁，編輯于2023年，星期三正交多項式性質(zhì)2設是[a,b]

上帶權(x)的正交多項式族，則對p(x)Hn-1，有性質(zhì)3設是首項系數(shù)為1的正交多項式族，則有其中0(x)=1,1(x)=x，，

n=1,2,…第十六頁，共五十二頁，編輯于2023年，星期三

只要給定區(qū)間[a,b]及權函數(shù)ρ(x),均可由一族線性無關的冪函數(shù)

{1,x,…,xn,…}

利用逐個正交化手續(xù)(Gram-Schmidt正交化方法)：構(gòu)造出正交多項式序列

。第十七頁，共五十二頁，編輯于2023年，星期三正交多項式Legendre多項式

Chebyshev多項式第二類Chebyshev多項式

Laguerre多項式

Hermite多項式幾類重要的正交多項式第十八頁，共五十二頁，編輯于2023年，星期三Legendre多項式

Pn(x)

的首項xn的系數(shù)為：Legendre多項式在[-1,1]

上帶權(x)=1

的正交多項式稱為勒讓德多項式x[-1,1]，n=1,2,…記號：P0,P1,P2,...

則是首項系數(shù)為1的勒讓德多項式令第十九頁，共五十二頁，編輯于2023年，星期三Legendre多項式勒讓德多項式有以下性質(zhì)：(1)正交性：(3)遞推公式：其中

P0(x)=1,P1(x)=x，n=1,2,…

(4)Pn(x)

在(-1,1)內(nèi)有n

個不同的零點(2)奇偶性：(5)P2n(x)只含偶次冪，P2n+1(x)只含奇次冪第二十頁，共五十二頁，編輯于2023年，星期三Legendre多項式第二十一頁，共五十二頁，編輯于2023年，星期三函數(shù)逼近記Hn為所有次數(shù)不超過n

的多項式組成的集合，給定函數(shù)f(x)C[a,b]，若P*(x)Hn

使得則稱P*(x)為f(x)在C[a,b]上的最佳逼近多項式最佳逼近取不同的范數(shù)，就可以定義不同的最佳逼近方式第二十二頁，共五十二頁，編輯于2023年，星期三函數(shù)逼近最佳平方逼近最佳一致逼近第二十三頁，共五十二頁，編輯于2023年，星期三曲線擬合能否找到一個簡單易算的p(x)

，使得f(x)

p(x)已知f(x)

在某些點的函數(shù)值：xx0x1…xmf(x)y0y1…ym但是

m

通常很大

yi

本身是測量值，不準確，即yi

f(xi)

這時不要求p(xi)=yi,而只要

p(xi)yi總體上盡可能小

第二十四頁，共五十二頁，編輯于2023年，星期三

使最小

使最小曲線擬合

p(xi)yi總體上盡可能小

使最小

常見做法太復雜不可導，求解困難最小二乘法：目前最好的多項式曲線擬合算法第二十五頁，共五十二頁，編輯于2023年，星期三最小二乘曲線擬合的最小二乘問題這個問題實質(zhì)上是最佳平方逼近問題的離散形式。

可以將求連續(xù)函數(shù)的最佳平方逼近函數(shù)的方法直接用于求解該問題。已知函數(shù)值表(

xi,yi

)，在函數(shù)空間

中求S*(x)

，使得其中i

是點xi處的權。第二十六頁，共五十二頁，編輯于2023年，星期三注最小二乘問題中，如何選擇數(shù)學模型很重要，即如何選取函數(shù)空間=span{0,1,,n}，通常需要根據(jù)物理意義，或所給數(shù)據(jù)的分布情況來選取合適的數(shù)學模型。第二十七頁，共五十二頁，編輯于2023年，星期三最小二乘求解對任意S(x)

=span{0,1,,n}，可設

S(x)=a00+a11+···+

ann(x)則求S*(x)等價于求下面的多元函數(shù)的最小值點k=0,1,…,n最小值點第二十八頁，共五十二頁，編輯于2023年，星期三最小二乘求解(k=0,1,…,n)這里的內(nèi)積是離散帶權內(nèi)積，即，法方程G法方程第二十九頁，共五十二頁，編輯于2023年，星期三最小二乘求解法方程存在唯一解det(G)0Haar條件0,1,,n的任意線性組合在點集x0,x1,,xm上至多只有n

個不同的零點，則稱0,1,,n

在點集x0,x1,,xm上滿足Haar條件0,1,,n線性無關mn若0,1,,n

C[a,b]

在點集x0,x1,,xm上滿足Haar條件，則法方程的解存在唯一第三十頁，共五十二頁，編輯于2023年，星期三最小二乘求解設法方程的解為：a0*,a1*,,an*,則

S*(x)=a0*

0+a1*

1+···+

an*

n(x)結(jié)論S*(x)是f(x)在中的最小二乘解第三十一頁，共五十二頁，編輯于2023年，星期三舉例例：給定函數(shù)值表，求f(x)的最小二乘擬合函數(shù)S*(x)

i123456789

13456789101054211234解：將所給數(shù)據(jù)點畫在坐標紙上，如圖可以看出第三十二頁，共五十二頁，編輯于2023年，星期三即有這些點大致在一條拋物線上。設擬合曲線方程為相應的正規(guī)方程組為第三十三頁，共五十二頁，編輯于2023年，星期三于是可得因而所求擬合多項式為

第三十四頁，共五十二頁，編輯于2023年，星期三多項式擬合＝Hn=span{1,x,...,xn},即i=xi,

則相應的法方程為此時

為

f(x)的n

次最小二乘擬合多項式多項式最小二乘曲線擬合第三十五頁，共五十二頁，編輯于2023年，星期三舉例例：求下面數(shù)據(jù)表的二次最小二乘擬合多項式得法方程xi00.250.500.751.00f(xi)1.00001.28401.64872.11702.7183解：設二次擬合多項式為解得所以此組數(shù)據(jù)的二次最小二乘擬合多項式為(1)

若題目中沒有給出各點的權值i，默認為i=1

(2)該方法不適合n

較大時的情形（病態(tài)問題）第三十六頁，共五十二頁，編輯于2023年，星期三正交多項式擬合帶權正交（離散情形）給定點集以及各點的權系數(shù)，如果函數(shù)族滿足則稱關于點集帶權正交若0,1,,n是多項式，則可得正交多項式族第三十七頁，共五十二頁，編輯于2023年，星期三正交多項式擬合用正交多項式做最小二乘設多項式

p0,p1,,pn關于點集x0,x1,,xm帶權0,1,,m正交，則f(x)

在Hn

中的最小二乘擬合多項式為其中k=0,1,…,n誤差離散形式的2-范數(shù)第三十八頁，共五十二頁，編輯于2023年，星期三正交多項式的構(gòu)造給定和權系數(shù)，如何構(gòu)造正交多項式族可以證明：關于點集帶權正交三項遞推公式：k=1,…,n-1其中(k=0,1,…,n-1

)(k=1,2,…,n-1

)第三十九頁，共五十二頁，編輯于2023年，星期三幾點注記可以將構(gòu)造正交多項式族、解法方程、形成擬合多項式穿插進行；

n可以事先給定，或在計算過程中根據(jù)誤差來決定；該方法非常適合編程實現(xiàn)，只用遞推公式，并且當逼近次數(shù)增加時，只要將相應地增加程序中的循環(huán)次數(shù)即可。該方法是目前多項式擬合最好的計算方法，有通用程序。第四十頁，共五十二頁，編輯于2023年，星期三舉例例：給定數(shù)據(jù)點及權系數(shù)，求二次最小二乘擬合多項式xi00.50.60.70.80.91.0yi1.001.751.962.192.442.713.00i1111111解：通過直接計算，可得Matlab正交多項式最小二乘擬合函數(shù):polyfit(x,y,n)Matlab曲線擬合工具箱：cftool第四十一頁，共五十二頁，編輯于2023年，星期三非線性最小二乘有時需要其它函數(shù)，如，等擬合給定的數(shù)據(jù)，這時建立的法方程是一個非線性方程組，稱這類擬合問題為非線性最小二乘問題。xi1.001.251.501.752.00yi5.105.796.537.458.46xi0.10.20.30.40.50.60.70.8yi0.61.11.61.82.01.91.71.3例：用指數(shù)函數(shù)擬合下面的數(shù)據(jù)例：用函數(shù)擬合表中的數(shù)據(jù)第四十二頁，共五十二頁，編輯于2023年，星期三可化為線性擬合問題的常見函數(shù)類擬合函數(shù)類型 變量代換 化成的擬合函數(shù)對于一些較特殊的非線性擬合函數(shù)類型，可以通過適當?shù)淖兞看鷵Q后化為線性最小二乘問題

第四十三頁，共五十二頁，編輯于2023年，星期三非線性擬合舉例在某化學反應里，根據(jù)實驗所得生成物的濃度與時間關系數(shù)據(jù)見下表，求濃度y與時間t的擬合曲線y=F(t)：

ti12345678yi(*10-3)

4.006.408.08.809.229.509.709.86ti910111213141516yi(*10-3)10.010.210.3210.4210.5210.5510.5810.6061086422yx1816141210840將數(shù)據(jù)標在坐標紙上如圖第四十四頁，共五十二頁，編輯于2023年，星期三（1）取擬合函數(shù)為雙曲型

可見y關于參數(shù)a,b是非線性的為確定a,b可令：

則擬合函數(shù)化為y=a+bt，而將數(shù)據(jù)(ti,yi)相應地變，如下表：ti11/21/31/41/51/61/71/8yi(*10-3)0.25000.156250.125600.113640.108460.105260.103090.10142ti1/91/101/111/121/131/141/151/16yi(*10-3)0.101420.098040.096900.095970.095240.094790.094520.09434第四十五頁，共五十二頁，編輯于2023年，星期三（2）取擬合函數(shù)為指數(shù)型

第四十六頁，共五十二頁，編輯于2023年，星期三同擬合函數(shù)為雙曲線型過程類似，先由(ti,yi)算出相應的(ti,yi)，然后進行多項式擬合，解得a=4