數(shù)值分析課件函數(shù)逼近與最小二乘法

數(shù)值分析課件函數(shù)逼近與最小二乘法第一頁，共五十二頁，編輯于2023年，星期三函數(shù)逼近

問題

數(shù)值計(jì)算中經(jīng)常要計(jì)算函數(shù)值，如計(jì)算機(jī)中計(jì)算基本初等函數(shù)及其他特殊函數(shù)；(連續(xù)情形)

當(dāng)函數(shù)只在有限點(diǎn)集上給定函數(shù)值，要在包含該點(diǎn)集的區(qū)間上用公式給出函數(shù)的簡單表達(dá)式.(離散情形)

這些都涉及到在已知區(qū)間上用簡單函數(shù)逼近已知復(fù)雜函數(shù)或未知函數(shù)的問題，這就是函數(shù)逼近問題

插值方法就是一種逼近，要求在給定的節(jié)點(diǎn)處P(x)與f(x)相等（甚至導(dǎo)數(shù)值相等），因此在節(jié)點(diǎn)附近，逼近效果較好，而在遠(yuǎn)離節(jié)點(diǎn)的地方，由Runge現(xiàn)象知道，有時(shí)效果會(huì)很差。第二頁，共五十二頁，編輯于2023年，星期三函數(shù)逼近

由觀測得到的實(shí)驗(yàn)數(shù)據(jù)不可避免地帶有誤差，甚至是較大的誤差，此時(shí)要求近似函數(shù)P(x)過全部已知點(diǎn)，相當(dāng)于保留全部數(shù)據(jù)誤差，所以使用插值法不合理。

對逼近函數(shù)P(x)不必要求過給定的點(diǎn)，只要求總體上盡可能小，即要求P(x)盡可能反映給定數(shù)據(jù)點(diǎn)的總體趨勢，在某種意義（要求或標(biāo)準(zhǔn)）下與函數(shù)最“逼近”。函數(shù)逼近問題可敘述為：對函數(shù)類A中給定的函數(shù)f(x)

，需要在另一類較簡單的便于計(jì)算的函數(shù)類B

（B∈A）中，找一個(gè)函數(shù)P(x)，使P(x)與f(x)

之差在某種度量意義下達(dá)到最小。第三頁，共五十二頁，編輯于2023年，星期三最常見的兩種度量標(biāo)準(zhǔn)

一致逼近（均勻逼近）以作為度量誤差f(x)-P(x)的

“大小”標(biāo)準(zhǔn)。平方逼近（均方逼近）

以作為度量誤差f(x)-P(x)的

“大小”標(biāo)準(zhǔn)。

第四頁，共五十二頁，編輯于2023年，星期三預(yù)備知識線性空間、線性相關(guān)、線性無關(guān)基、維數(shù)、有限維空間與無限維空間常見線性空間：Rn、Hn、C[a,b]、Cm[a,b]賦范線性空間C[a,b]2-范數(shù)：-范數(shù)：1-范數(shù)：線性空間C[a,b]

，f(x)C[a,b]

第五頁，共五十二頁，編輯于2023年，星期三

，等號當(dāng)且僅當(dāng)u=0時(shí)成立內(nèi)積空間內(nèi)積空間設(shè)

X是數(shù)域K(R或C)上的線性空間，對

u,v

X有K中的一個(gè)數(shù)(u,v)

與之對應(yīng)，且滿足

稱

(u,v)為X

上的內(nèi)積，定義了內(nèi)積的線性空間稱為內(nèi)積空間

u,v

正交(u,v)=0第六頁，共五十二頁，編輯于2023年，星期三內(nèi)積空間定理設(shè)

X是一個(gè)內(nèi)積空間，對

u,v

X有Cauchy-Schwarz不等式定理設(shè)

X是內(nèi)積空間，u1,u2,,un

X，定義矩陣則G

非奇異當(dāng)且僅當(dāng)

u1,u2,,un線性無關(guān)。Gram矩陣第七頁，共五十二頁，編輯于2023年，星期三內(nèi)積內(nèi)積導(dǎo)出范數(shù)：例：Rn上的內(nèi)積：導(dǎo)出的范數(shù)為加權(quán)內(nèi)積給定正實(shí)數(shù)1,2,,n,定義正實(shí)數(shù)

1,2,,n

稱為加權(quán)系數(shù)第八頁，共五十二頁，編輯于2023年，星期三內(nèi)積例：Cn上的內(nèi)積：加權(quán)內(nèi)積1,2,,n

為正實(shí)數(shù)例：C[a,b]

上的內(nèi)積：第九頁，共五十二頁，編輯于2023年，星期三權(quán)函數(shù)權(quán)函數(shù)設(shè)(x)

是[a,b]

上的非負(fù)函數(shù)，滿足，存在且為有限值對[a,b]上的任意非負(fù)連續(xù)函數(shù)g(x)，則稱(x)

是[a,b]

上一個(gè)權(quán)函數(shù)

[a,b]

可以是無限區(qū)間，即a,b可以是無窮大權(quán)函數(shù)與定義區(qū)間有關(guān)若，則(k=0,1,2,…)第十頁，共五十二頁，編輯于2023年，星期三常見的權(quán)函數(shù)常見的權(quán)函數(shù)第十一頁，共五十二頁，編輯于2023年，星期三帶權(quán)內(nèi)積帶權(quán)內(nèi)積設(shè)(x)

是[a,b]

上的權(quán)函數(shù)，f(x),

g(x)

C[a,b]導(dǎo)出范數(shù)性質(zhì)設(shè)0,1,,nC[a,b]，則0,1,,n線性無關(guān)當(dāng)且僅當(dāng)det(G)0，其中第十二頁，共五十二頁，編輯于2023年，星期三正交函數(shù)族定義設(shè)f(x),

g(x)

C[a,b]，(x)

是[a,b]

上的權(quán)函數(shù)，若則稱f(x)

與g(x)

在[a,b]

上帶權(quán)(x)正交定義若函數(shù)族0(x),1(x),,n(x)C[a,b]滿足則稱{k(x)}

是[a,b]

上帶權(quán)(x)的正交函數(shù)族若所有Ak=1

，則稱為標(biāo)準(zhǔn)正交函數(shù)族

第十三頁，共五十二頁，編輯于2023年，星期三舉例例：三角函數(shù)系

1，cosx，sinx，sin2x，cos2x，…在[-,]

上是帶權(quán)(x)=1

的正交函數(shù)族證：(m,n=1,2,3,…)(m,n=0,1,2,…)第十四頁，共五十二頁，編輯于2023年，星期三正交多項(xiàng)式定義設(shè)n(x)

是首項(xiàng)系數(shù)不為0的n次多項(xiàng)式，若則稱為[a,b]

上帶權(quán)(x)

正交稱n(x)

為n

次正交多項(xiàng)式設(shè)是[a,b]

上帶權(quán)(x)的正交多項(xiàng)式族，則n(x)在(a,b)內(nèi)有n

個(gè)不同的零點(diǎn)性質(zhì)1第十五頁，共五十二頁，編輯于2023年，星期三正交多項(xiàng)式性質(zhì)2設(shè)是[a,b]

上帶權(quán)(x)的正交多項(xiàng)式族，則對p(x)Hn-1，有性質(zhì)3設(shè)是首項(xiàng)系數(shù)為1的正交多項(xiàng)式族，則有其中0(x)=1,1(x)=x，，

n=1,2,…第十六頁，共五十二頁，編輯于2023年，星期三

只要給定區(qū)間[a,b]及權(quán)函數(shù)ρ(x),均可由一族線性無關(guān)的冪函數(shù)

{1,x,…,xn,…}

利用逐個(gè)正交化手續(xù)(Gram-Schmidt正交化方法)：構(gòu)造出正交多項(xiàng)式序列

。第十七頁，共五十二頁，編輯于2023年，星期三正交多項(xiàng)式Legendre多項(xiàng)式

Chebyshev多項(xiàng)式第二類Chebyshev多項(xiàng)式

Laguerre多項(xiàng)式

Hermite多項(xiàng)式幾類重要的正交多項(xiàng)式第十八頁，共五十二頁，編輯于2023年，星期三Legendre多項(xiàng)式

Pn(x)

的首項(xiàng)xn的系數(shù)為：Legendre多項(xiàng)式在[-1,1]

上帶權(quán)(x)=1

的正交多項(xiàng)式稱為勒讓德多項(xiàng)式x[-1,1]，n=1,2,…記號：P0,P1,P2,...

則是首項(xiàng)系數(shù)為1的勒讓德多項(xiàng)式令第十九頁，共五十二頁，編輯于2023年，星期三Legendre多項(xiàng)式勒讓德多項(xiàng)式有以下性質(zhì)：(1)正交性：(3)遞推公式：其中

P0(x)=1,P1(x)=x，n=1,2,…

(4)Pn(x)

在(-1,1)內(nèi)有n

個(gè)不同的零點(diǎn)(2)奇偶性：(5)P2n(x)只含偶次冪，P2n+1(x)只含奇次冪第二十頁，共五十二頁，編輯于2023年，星期三Legendre多項(xiàng)式第二十一頁，共五十二頁，編輯于2023年，星期三函數(shù)逼近記Hn為所有次數(shù)不超過n

的多項(xiàng)式組成的集合，給定函數(shù)f(x)C[a,b]，若P*(x)Hn

使得則稱P*(x)為f(x)在C[a,b]上的最佳逼近多項(xiàng)式最佳逼近取不同的范數(shù)，就可以定義不同的最佳逼近方式第二十二頁，共五十二頁，編輯于2023年，星期三函數(shù)逼近最佳平方逼近最佳一致逼近第二十三頁，共五十二頁，編輯于2023年，星期三曲線擬合能否找到一個(gè)簡單易算的p(x)

，使得f(x)

p(x)已知f(x)

在某些點(diǎn)的函數(shù)值：xx0x1…xmf(x)y0y1…ym但是

m

通常很大

yi

本身是測量值，不準(zhǔn)確，即yi

f(xi)

這時(shí)不要求p(xi)=yi,而只要

p(xi)yi總體上盡可能小

第二十四頁，共五十二頁，編輯于2023年，星期三

使最小

使最小曲線擬合

p(xi)yi總體上盡可能小

使最小

常見做法太復(fù)雜不可導(dǎo)，求解困難最小二乘法：目前最好的多項(xiàng)式曲線擬合算法第二十五頁，共五十二頁，編輯于2023年，星期三最小二乘曲線擬合的最小二乘問題這個(gè)問題實(shí)質(zhì)上是最佳平方逼近問題的離散形式。

可以將求連續(xù)函數(shù)的最佳平方逼近函數(shù)的方法直接用于求解該問題。已知函數(shù)值表(

xi,yi

)，在函數(shù)空間

中求S*(x)

，使得其中i

是點(diǎn)xi處的權(quán)。第二十六頁，共五十二頁，編輯于2023年，星期三注最小二乘問題中，如何選擇數(shù)學(xué)模型很重要，即如何選取函數(shù)空間=span{0,1,,n}，通常需要根據(jù)物理意義，或所給數(shù)據(jù)的分布情況來選取合適的數(shù)學(xué)模型。第二十七頁，共五十二頁，編輯于2023年，星期三最小二乘求解對任意S(x)

=span{0,1,,n}，可設(shè)

S(x)=a00+a11+···+

ann(x)則求S*(x)等價(jià)于求下面的多元函數(shù)的最小值點(diǎn)k=0,1,…,n最小值點(diǎn)第二十八頁，共五十二頁，編輯于2023年，星期三最小二乘求解(k=0,1,…,n)這里的內(nèi)積是離散帶權(quán)內(nèi)積，即，法方程G法方程第二十九頁，共五十二頁，編輯于2023年，星期三最小二乘求解法方程存在唯一解det(G)0Haar條件0,1,,n的任意線性組合在點(diǎn)集x0,x1,,xm上至多只有n

個(gè)不同的零點(diǎn)，則稱0,1,,n

在點(diǎn)集x0,x1,,xm上滿足Haar條件0,1,,n線性無關(guān)mn若0,1,,n

C[a,b]

在點(diǎn)集x0,x1,,xm上滿足Haar條件，則法方程的解存在唯一第三十頁，共五十二頁，編輯于2023年，星期三最小二乘求解設(shè)法方程的解為：a0*,a1*,,an*,則

S*(x)=a0*

0+a1*

1+···+

an*

n(x)結(jié)論S*(x)是f(x)在中的最小二乘解第三十一頁，共五十二頁，編輯于2023年，星期三舉例例：給定函數(shù)值表，求f(x)的最小二乘擬合函數(shù)S*(x)

i123456789

13456789101054211234解：將所給數(shù)據(jù)點(diǎn)畫在坐標(biāo)紙上，如圖可以看出第三十二頁，共五十二頁，編輯于2023年，星期三即有這些點(diǎn)大致在一條拋物線上。設(shè)擬合曲線方程為相應(yīng)的正規(guī)方程組為第三十三頁，共五十二頁，編輯于2023年，星期三于是可得因而所求擬合多項(xiàng)式為

第三十四頁，共五十二頁，編輯于2023年，星期三多項(xiàng)式擬合＝Hn=span{1,x,...,xn},即i=xi,

則相應(yīng)的法方程為此時(shí)

為

f(x)的n

次最小二乘擬合多項(xiàng)式多項(xiàng)式最小二乘曲線擬合第三十五頁，共五十二頁，編輯于2023年，星期三舉例例：求下面數(shù)據(jù)表的二次最小二乘擬合多項(xiàng)式得法方程xi00.250.500.751.00f(xi)1.00001.28401.64872.11702.7183解：設(shè)二次擬合多項(xiàng)式為解得所以此組數(shù)據(jù)的二次最小二乘擬合多項(xiàng)式為(1)

若題目中沒有給出各點(diǎn)的權(quán)值i，默認(rèn)為i=1

(2)該方法不適合n

較大時(shí)的情形（病態(tài)問題）第三十六頁，共五十二頁，編輯于2023年，星期三正交多項(xiàng)式擬合帶權(quán)正交（離散情形）給定點(diǎn)集以及各點(diǎn)的權(quán)系數(shù)，如果函數(shù)族滿足則稱關(guān)于點(diǎn)集帶權(quán)正交若0,1,,n是多項(xiàng)式，則可得正交多項(xiàng)式族第三十七頁，共五十二頁，編輯于2023年，星期三正交多項(xiàng)式擬合用正交多項(xiàng)式做最小二乘設(shè)多項(xiàng)式

p0,p1,,pn關(guān)于點(diǎn)集x0,x1,,xm帶權(quán)0,1,,m正交，則f(x)

在Hn

中的最小二乘擬合多項(xiàng)式為其中k=0,1,…,n誤差離散形式的2-范數(shù)第三十八頁，共五十二頁，編輯于2023年，星期三正交多項(xiàng)式的構(gòu)造給定和權(quán)系數(shù)，如何構(gòu)造正交多項(xiàng)式族可以證明：關(guān)于點(diǎn)集帶權(quán)正交三項(xiàng)遞推公式：k=1,…,n-1其中(k=0,1,…,n-1

)(k=1,2,…,n-1

)第三十九頁，共五十二頁，編輯于2023年，星期三幾點(diǎn)注記可以將構(gòu)造正交多項(xiàng)式族、解法方程、形成擬合多項(xiàng)式穿插進(jìn)行；

n可以事先給定，或在計(jì)算過程中根據(jù)誤差來決定；該方法非常適合編程實(shí)現(xiàn)，只用遞推公式，并且當(dāng)逼近次數(shù)增加時(shí)，只要將相應(yīng)地增加程序中的循環(huán)次數(shù)即可。該方法是目前多項(xiàng)式擬合最好的計(jì)算方法，有通用程序。第四十頁，共五十二頁，編輯于2023年，星期三舉例例：給定數(shù)據(jù)點(diǎn)及權(quán)系數(shù)，求二次最小二乘擬合多項(xiàng)式xi00.50.60.70.80.91.0yi1.001.751.962.192.442.713.00i1111111解：通過直接計(jì)算，可得Matlab正交多項(xiàng)式最小二乘擬合函數(shù):polyfit(x,y,n)Matlab曲線擬合工具箱：cftool第四十一頁，共五十二頁，編輯于2023年，星期三非線性最小二乘有時(shí)需要其它函數(shù)，如，等擬合給定的數(shù)據(jù)，這時(shí)建立的法方程是一個(gè)非線性方程組，稱這類擬合問題為非線性最小二乘問題。xi1.001.251.501.752.00yi5.105.796.537.458.46xi0.10.20.30.40.50.60.70.8yi0.61.11.61.82.01.91.71.3例：用指數(shù)函數(shù)擬合下面的數(shù)據(jù)例：用函數(shù)擬合表中的數(shù)據(jù)第四十二頁，共五十二頁，編輯于2023年，星期三可化為線性擬合問題的常見函數(shù)類擬合函數(shù)類型 變量代換 化成的擬合函數(shù)對于一些較特殊的非線性擬合函數(shù)類型，可以通過適當(dāng)?shù)淖兞看鷵Q后化為線性最小二乘問題

第四十三頁，共五十二頁，編輯于2023年，星期三非線性擬合舉例在某化學(xué)反應(yīng)里，根據(jù)實(shí)驗(yàn)所得生成物的濃度與時(shí)間關(guān)系數(shù)據(jù)見下表，求濃度y與時(shí)間t的擬合曲線y=F(t)：

ti12345678yi(*10-3)

4.006.408.08.809.229.509.709.86ti910111213141516yi(*10-3)10.010.210.3210.4210.5210.5510.5810.6061086422yx1816141210840將數(shù)據(jù)標(biāo)在坐標(biāo)紙上如圖第四十四頁，共五十二頁，編輯于2023年，星期三（1）取擬合函數(shù)為雙曲型

可見y關(guān)于參數(shù)a,b是非線性的為確定a,b可令：

則擬合函數(shù)化為y=a+bt，而將數(shù)據(jù)(ti,yi)相應(yīng)地變，如下表：ti11/21/31/41/51/61/71/8yi(*10-3)0.25000.156250.125600.113640.108460.105260.103090.10142ti1/91/101/111/121/131/141/151/16yi(*10-3)0.101420.098040.096900.095970.095240.094790.094520.09434第四十五頁，共五十二頁，編輯于2023年，星期三（2）取擬合函數(shù)為指數(shù)型

第四十六頁，共五十二頁，編輯于2023年，星期三同擬合函數(shù)為雙曲線型過程類似，先由(ti,yi)算出相應(yīng)的(ti,yi)，然后進(jìn)行多項(xiàng)式擬合，解得a=4