數(shù)值分析第六章函數(shù)逼近

Lagrange插值與最小二乘

近的圖像描述

方法1:

用3次Lagrange插值多項(xiàng)式近似x,y的函數(shù)關(guān)系.xi2468yi1.12.84.97.2為什么要用最小二乘

近.例

給定一組實(shí)驗(yàn)數(shù)據(jù)如下求x,y的函數(shù)關(guān)系.

方法2:

用直線來近似x,y的函數(shù)關(guān)系.34

用直線

y=a0+a1x

來反映x,y之間的函數(shù)關(guān)系.如何選取a0,a1?才能使直線最好地反映數(shù)據(jù)點(diǎn)的基本趨勢?i

yi

(a0

a1

xi

)iyi

(,

,,

)T1

2n

殘差向量

殘差

衡量近似函數(shù)好壞的標(biāo)準(zhǔn)：殘差向量的大小(1)

使殘差的絕對值之和最小,即i

|na0

,a1

a0

,a1i

1min

||||1

min

|(2)

使殘差的最大絕對值最小,即ia0

,a1

a0

,a1min

||||

minmax

|i

|(3)

使殘差的平方和最小,即nii

1222a0

,a1

a0

,a1|

|min

||

||

min最佳平方

近或數(shù)據(jù)擬合的最小二乘法最佳一致

近6nii

12y

(a0

a1

xi

)達(dá)到最小.最小二乘一次多項(xiàng)式擬合問題:

給定n個(gè)數(shù)據(jù)點(diǎn)(xi

,

yi

)

(i=1,

2,

…,

n)xi

x1

x2

xnyi

y1

y2

yn求直線y=a0+a1x

使得§1

數(shù)據(jù)擬合的最小二乘法7ni

1

令F

(a0

,a1

)

yi

(a0

a1

xi

)

2則原問題等價(jià)

a0,

a1使F(a0,

a1)達(dá)到最小.a1i

1a0

F

0

n2

yi

a0

a1

xi

xi利用多元F

函數(shù)取極值的必要條件得

0

n

2

yi

a0

a1

xi

i

1

ni

ininnnx

yx

a

x

a

i

11

i

1

2i

0

i

1

i

1

0na

x

a

y

i

1

ii

1正則方程組8,1002yxxniyni

ixynxinixxSSx

,nS

S

2a

nSxy

Sx

SynS

S

2a

Sxx

Sy

Sxy

Sxxy

S

1

a

xx

S

n

S

a

x y

,

SS

x

,

S

yi

1i

1i

1i

1設(shè)

S

由上式求得a0,

a1,

代入

y=a0+a1x得到最小二乘擬合(直線)一次多項(xiàng)式.9xi2468yi1.12.84.97.2例

給定一組實(shí)驗(yàn)數(shù)據(jù)如下求x,y的函數(shù)關(guān)系.解Sx

2

4

6

8

20Sxx

22

42

62

82

120

0

1

120a

120a

100.4.

a

1.02y

1.02

x

1.1Sy

1.1

2.8

4.9

7.2

16Sxy

2

1.1

4

2.8

6

4.9

8

7.2

100.4正則方程組4a0

20a1

16,

a0

1.1直線擬合誤差很大10拋物線擬合效果更好ni

1y

(a

a

x

a

x2

)2i

0

1

i

2

i達(dá)到最小.最小二乘二次多項(xiàng)式擬合問題:

給定n個(gè)數(shù)據(jù)點(diǎn)(xi

,

yi

)

(i=1,

2,

…,

n)xi

x1

x2

xnyi

y1

y2

yn求

y

a

a x

a

x2

,

使得0

1

211ni

12i2y

(a

a

x

a

x

)0

1

i

2

i

令F

(a0

,a1

,a2

)則原問題等價(jià)

a0,

a1

,

a2,

使F(a0,

a1,

a2

)達(dá)到最小.利用多元函數(shù)取極值的必要條件得aFaF

a

x

a2

2

a1

xi2

i

a

x

xi22122

i0i

1n0

2

y

i

a0

a1

xi2

i

a

x

xii

1ni0

0

2y

ai

1F

0

n2

yi

a0

a1

xi12

ni i

nn

nninnyxx

ya

xxx

xn

i

12i

ii

1y

ii

1n2

i

1

a0

i

1

xi

1a

i3

x4i

i

12ii

13i

1n2ii

12xx

i

i

i

1

i

1n

n正則方程組

用Cholesky分解法求此對稱正定陣

用

函數(shù)

z

=

A\r

由上式求得a0,a1,a2,得到最小二乘擬合二次多項(xiàng)式13

nni i

i

innnni

nix

y

x

y

aaa

n

i

1i i3i

1x2

y

y

ii

1n3

1i10i

16

i

1i

1x5

2a

x4x3i

1x24

i

1i

1nxin

nix

x23ii

1ni

1n

xi

1ni

1ni

1ni

i

i

ii

1

i

1n

ni

xi

5i

1i

1ni01

i

a

a

x

a

x2

a

x3

)22

i

3

inF

(a0

,a1

,a2

,

a3

)

(

yi

1最小二乘三次多項(xiàng)式擬合P

(

x)

a

a x

a

x2

a

x33

0

1

2

3正則方程組415

n

n

xi

i

1nn

xii

1n

x2ii

1nn

ni

ixm

yi

1

a0

i

1n

m1

a

nxi

1

xi

yi

i

1

i

1n

nam

i

xiyi

i

1i

1i

1i

1ni

a

a

x

a

xm

)20

1

i

m

iF

(a0

,

a1

,,am

)

(

yi

1最小二乘m次多項(xiàng)式擬合(m<n)P

(

x)

a

a x

a

xmm

0

1

m正則方程組指數(shù)擬合如果數(shù)據(jù)點(diǎn)(xi

,

yi

)

(i=1,

2,

…,

n)的分布近似指數(shù)

曲線,

則可考慮用指數(shù)函數(shù)y

beax去擬合數(shù)據(jù).但是這是一個(gè)關(guān)于a,b的非線性模型,故應(yīng)通過適當(dāng)變換,將其化為線性模型,然后利用最小二乘法求解.為此,對指數(shù)函數(shù)兩端取對數(shù),得ln

y

ln

b

ax16這表明(xi

,lnyi

)(i=1,2,…,n)的分布近似于直線,求出此數(shù)據(jù)組的最小二乘擬合直線~y

a0

a1x則數(shù)據(jù)組(xi

,

yi

)(i=1,

2,

…,

n)的最小二乘擬合指數(shù)曲線為y

e

~y

ea0

a1

x

ea0

ea1

x17yi4678例

給定一組實(shí)驗(yàn)數(shù)據(jù)如下xi

1

2

32

3

67532求x,y的函數(shù)關(guān)系.

(1)作散點(diǎn)分布圖18點(diǎn)的分布近似為拋物線

(2)確定近似表達(dá)式設(shè)擬合曲線為二次多項(xiàng)式y(tǒng)

P

(

x)

a

a x

a

x22

0

1

219n

7,

(3)建立正則方程組7i

1i

x

31,7

179,i

12ix7

1171,i

13ix7

8147,i

14ix7i

1i

y

28,7i

1i

i

x

y

121,72

635,i

1i

iy

x故正則方程組為20

635

28

1

a2

7

31 179

a0

31

179

1171a

121

(4)求解正則方程組得a0

1.3182,

a1

3.4318,

a3

0.3864,故所求擬合曲線為y

P2

(

x)

1.3182

3.4318

x

0.3864x2

.yi4678例

給定一組實(shí)驗(yàn)數(shù)據(jù)如下xi

1

2

32

3

67532求x,y的函數(shù)關(guān)系.解法:polyfit([1,

2,

3,

4,

6,

7,

8],

[2,

3,

6,

7,

5,

3,

2],

2)ans=-0.38643.4318-1.31822122例測得一發(fā)射源的發(fā)射強(qiáng)度I

與時(shí)間t

的一組數(shù)據(jù)如0.20.30.40.50.60.70.83.162.381.751.341.000.740.56下tiIi試用最小二乘法確定I

與t

的函數(shù)關(guān)系.tI

(1)作散點(diǎn)分布圖可以考慮用指數(shù)函數(shù)近似ti

列數(shù)據(jù)表0.2

0.30.40.50.60.70.80.5798l

1.1506

0.8671

0.5596

0.2927

0

0.3011

解法:polyfit([0.2,

0.3,

0.4,

0.5,

0.6,

0.7,

0.8],…[1.1506,

0.8671,

0.5596,

0.2927,

0,

-0.3011, -0.5798],

1)ans=-2.88831.728323求數(shù)據(jù)組的最小二乘擬合函數(shù)的步驟

(1)由給定數(shù)據(jù)確定近似函數(shù)的表達(dá)式,一般可通過描點(diǎn)觀察或經(jīng)驗(yàn)估計(jì)得到.

(2)按最小二乘原則確定表達(dá)式中的參數(shù),即由殘差平方和最小導(dǎo)出正則方程組,求解得參數(shù).24

實(shí)際問題中,

由于各點(diǎn)的觀測數(shù)據(jù)精度或重方差,即確定參數(shù)的準(zhǔn)要性不同,常常引入則為:使得ni

12i

i最小,

其中i

(i=1,

2,

…,

n)為

系數(shù).25函數(shù)內(nèi)積設(shè)

f(x),

g

(x)是區(qū)間[a,

b]上的連續(xù)函數(shù),

定義f

與g

的內(nèi)積為:26f

(

x)g(

x)dx.ba(

f

,

g)

§2

正交多項(xiàng)式函數(shù)正交27設(shè)

f(x),

g

(x)是區(qū)間[a,

b]上的連續(xù)函數(shù),

若

f與g

的內(nèi)積為0,

則稱

f

與

g

在區(qū)間[a,

b]上正交.f

(

x)g(

x)dx

0.[a,b]ba上正交f與g在區(qū)間正交函數(shù)系如果函數(shù)系f1

(x),f2

(x),,fn

(x),滿足280,

j

k,(

j,

k

0,1,2,)

kbaf

j

(

x)

fk

(

x)dx

f

,

f

j

k,

j

k則稱此函數(shù)系為區(qū)間[a,

b]上的正交函數(shù)系.

特別地,若k=1

(

k=0,

1,

2,…),

則稱其為標(biāo)準(zhǔn)正交函數(shù)系例如三角函數(shù)系291,cos

x,sin

x,cos

2

x,sin

2

x,,cos

nx,sin

nx,就是區(qū)間[－,]上的正交函數(shù)系.正交多項(xiàng)式系如果正交函數(shù)系中函數(shù)均為代數(shù)多項(xiàng)式,則稱其為正交多項(xiàng)式系.區(qū)間[－1, 1]上的正交多項(xiàng)式系(Legendre多項(xiàng)式)

一般表達(dá)式12(n

0,1,2,)x

1

nd

n2n

n!

dxnPn(

x)

具體表達(dá)式0P

(

x)

1,P1(

x)

x,1222(3

x

1),P

(

x)

123033(5

x

3

x

),P

(

x)

.31

2112n

10,

n

m,

n

mPn(

x)Pm

(

x)dx

Pn,

Pm

Legendre多項(xiàng)式的性質(zhì)(1)

{Pn

(x)}是區(qū)間[1,1]上的正交函數(shù)系,且

(2)

Legendre多項(xiàng)式滿足遞推公式(n

1,2,)(n

1)Pn1(

x)

(2n

1)

xPn(

x)

nPn1(

x)任意區(qū)間上的正交多項(xiàng)式系當(dāng)x在區(qū)間[a,b]上變化時(shí),令x

b

a

b

a

t,2

2對應(yīng)的

t

在[－1,

1]上變化,

則b

an

nP

(t

),即P

2

x

(b

a)是區(qū)間[a,b]上的正交多項(xiàng)式系.32[0,1]區(qū)間上的正交多項(xiàng)式系t

2

x

10P~

(

x)

1,1P~

(

x)

t

2x

1,1233~222(3t

1)

6

x

6x

1,P

(

x)

§3

函數(shù)的最佳平方

近最小平方線性多項(xiàng)式

近設(shè)f

(x)是區(qū)間[a,b]上的連續(xù)函數(shù),求線性多項(xiàng)式函數(shù)(x)=a0+a1x

使得,2abbaf

(

x)

(a0

a1

x)2dx為最小.f

(

x)

(

x)

dx

(x)稱為函數(shù)f(x)在區(qū)間[a,b]上的一次最佳平方近多項(xiàng)式.即求a0,a1使得20

1babaf

(

x)

g(

x)dx.f

(

x)

(a

a x)2dx

ming(x

)線性多項(xiàng)式34

解法ba20f

(

x)

(a

a1

x)

dx0

1設(shè)

F

(a

,a

)

由題意可知,

求

f(x)的一次最佳平方多項(xiàng)式等價(jià)二元函數(shù)

F

的最小值.由F

0,

F

0

得a001a12

f

(

x)

(a

a x)(1)dx

0,ba2

f

(

x)

(a0

a1

x)(

x)dx

0.ba35化簡得02.xf

(

x)dx

a

1

ax

dxxdxbab

f

(

x)dx

abaabab1dxxdxabx,1

x,x

x,

f

a1

或者1,1

1,xa0

1,

f

正則方程組36例求f

(x)

cosx在[0,1]上的一次最佳平方近多項(xiàng)式解0(1,1)

,121

10xdx

1dx

1,

(1,

x)

,13102x

dx

(

x,

x)

10cosxdx

0,,1022x

cos

xdx

(

x,

f

)

2

01

21

3

a1

1

2

a0

(1,

f

)

正則方

1程組為.1

022

2a

24

2.4317a

12

1.2159f

(x)的一次最佳平方近多項(xiàng)式為1.2159

2.4317

x.37二次最佳平方

近多項(xiàng)式設(shè)f(x)是區(qū)間[a,b]上的連續(xù)函數(shù),求二次多項(xiàng)式函數(shù)(x)=a0+a1x+a2x2

使得,(x)稱為函數(shù)f(x)在區(qū)間[a,b]上的二次最佳平方近多項(xiàng)式.

2220

1babaf

(

x

)

g(

x)

dx.dx2f

(

x)

(a

a x

a

x

)

ming(x

)二次多項(xiàng)式38

解法0

1

2abf

(

x)

(a

a x

a

x2

)2dx0

1

2設(shè)

F

(a

,a

,a

)

由題意可知,求f(x)的二次最佳平方多項(xiàng)式等價(jià)于求三元函數(shù)F的最小值由

F

0,

F

0,

F

0得22102f

(

x)

(a

a x

a

xa0

a1

a2b2210)(1)dx

0,)(

x)dx

0,a x

a

xaba2392210a x

a

x

)(

x

)dx

0.2f

(

x)

(a

2f

(

x)

(a

ba243232

0

1