曲線擬合的最小二乘法教學課件

2023/10/11第三章曲線擬合的最小二乘法§1曲線擬合與最小二乘法

§2

多項式擬合函數(shù)§3

用正交多項式最小二乘法

§4

矛盾方程組的最小二乘法

2023/10/12§1曲線擬合與最小二乘法

當我們得到的實驗數(shù)據(jù)是準確值時，可以用代數(shù)插值的方法，求出原函數(shù)的近似表達式。經(jīng)常由觀察或測試可得到y(tǒng)=f(x)的一組離散數(shù)據(jù)：

但是，這組離散數(shù)據(jù)由觀察或測試得到，往往并非完全精確，如果用插值的方法來逼近，效果就不會太好。

這時可以考慮用最小二乘法進行數(shù)據(jù)擬合，給出逼近曲線。其特點是：所求的逼近曲線不一定經(jīng)過這些離散點，但卻盡可能的靠近原曲線。(xi,yi),yi=f(xi),i=0,1,…,m離散點的最佳平方逼近-幾何上稱為曲線擬合(curvefitting)2023/10/13最小二乘擬合曲線2023/10/14三次樣條函數(shù)插值曲線2023/10/15Lagrange插值曲線2023/10/16一、數(shù)據(jù)擬合的最小二乘法的思想

已知離散數(shù)據(jù)：(xi,yi),i=0,1,2,…,m,假設(shè)我們用函數(shù)逼近函數(shù)f(x)，則兩個函數(shù)在每一個點xi都會產(chǎn)生一個誤差：我們希望所求的逼近函數(shù)在每一個xi

處所產(chǎn)生的誤差δi

的絕對值|δi|達最小。但這樣分別考慮太困難，所以我們應考慮整體誤差2023/10/17應該使整體達最?。ㄕ`差的平方和最?。?。

通過這種度量標準求得擬合曲線的方法，就稱作曲線擬合的最小二乘法(最小二乘逼近)。

按照以上思想求f(x)的擬合曲線（逼近函數(shù)）時，首先需要確定出f(x)

所屬的函數(shù)類，然后進一步求出具體函數(shù)，具體按照以下步驟進行。2023/10/18二、最小二乘法擬合曲線的步驟第二步：根據(jù)圖示判斷點(xi,yi)所反映的函數(shù)類，確定曲線所屬的函數(shù)類型，例如多項式函數(shù)類、三角函數(shù)類、指數(shù)函數(shù)類、對數(shù)函數(shù)類等。假設(shè)所確定的函數(shù)類的基函數(shù)為第一步：根據(jù)如下已知點的坐標，在坐標系里描點則所求的函數(shù)可以表示為：只要確定了系數(shù)，就可以求出擬合曲線。經(jīng)驗公式2023/10/19第三步：對于其整體誤差所求的解應該使以上二次函數(shù)達到極小，由極值原理應有：令：2023/10/110這樣由及求得整理為2023/10/111令則有這樣就給出了求解方程組：離散內(nèi)積2023/10/112同樣稱其為法方程組。解法方程組求得便得到最小二乘擬合曲線為了便于求解，我們再對法方程組的導出作進一步分析。2023/10/113得到法方程組系數(shù)矩陣第j行的元素為：由2023/10/114于是法方程組的系數(shù)矩陣可寫為：將右端第二個矩陣記為：2023/10/115則系數(shù)矩陣可以表示為：此外，關(guān)于法方程組的右端項（常數(shù)項）：2023/10/116由得到2023/10/117最后可以將法方程組表示為：其中這樣可以較快寫出法方程組來。2023/10/118如果所求得最小二乘擬合函數(shù)為n次多項式，則：這時：誤差：證：法方程組的系數(shù)矩陣為2023/10/120例3.1根據(jù)如下離散數(shù)據(jù)擬合曲線并估計誤差

x1234678y2367532解:step1:

描點

12345678

7654321*******

step2:

從圖形可以看出擬合曲線為一條拋物線：

step3:

根據(jù)基函數(shù)給出法方程組§2多項式擬合函數(shù)2023/10/121由得到即又求得法方程組為：2023/10/122解得：求得擬合二次多項式函數(shù)誤差為：先計算出擬合函數(shù)值：得到：或者：xi1234678p21.72724.00015.50026.22755.36373.77261.40872023/10/123

解：在坐標軸描點例3.2根據(jù)如下離散數(shù)據(jù)擬合曲線并估計誤差

xi-3-2-10123

yi4230-1-2-5從離散點的圖形上看不出原函數(shù)屬于哪一類型，一般多采用多項式擬合，在此我們用二次多項式擬合。2023/10/124根據(jù)如下離散數(shù)據(jù)給出法方程組xi-3-2-10123yi4230-1-2-5這時求得得到法方程組2023/10/125所求二次擬合曲線為

擬合曲線的均方偏差為由解得：2023/10/126

擬合曲線在實際中有廣泛應用，特別在實驗、統(tǒng)計等方面是如此。通常，由一組試驗或觀測取得數(shù)據(jù)，這些數(shù)據(jù)先在平面上標出，然后確定擬合曲線的類型。

例如，電阻與導線的長度呈線性關(guān)系，如何確定具體的線性表示式，可通過對不同長度的導線測試電阻所得數(shù)據(jù)作擬合曲線而得。

對于某些具體問題，有時擬合曲線的類型是已知的，所對應的公式也叫做經(jīng)驗公式，只需確定曲線的具體參數(shù)即可。

下面給出一個已知經(jīng)驗公式，如何確定其中參數(shù)的例子。2023/10/127例3.3對如下數(shù)據(jù)作形如y=aebx

的擬合曲線

解:由于函數(shù)集合Φ={aebx|a,b∈R}

不是一線性空間，因此直接作擬合曲線是困難的。

為了便于計算，在函數(shù)y=aebx

兩端分別取對數(shù)得到這時，需要將原函數(shù)表進行轉(zhuǎn)換如下令

z=lny,A=lna,B=b,則

z=A+Bxlny=lna+bxxi12345678yi15.320.527.436.649.165.687.8117.62023/10/128對z=A+Bx

作線性擬合曲線，取這時xi12345678yi15.320.527.436.649.165.687.8117.6xi12345678zi2.723.023.313.603.894.184.484.772023/10/129得正則方程組解得

于是有擬合曲線為：§3用正交多項式作最小二乘法2023/10/133例3.4利用最小二乘法解下列超定（矛盾）方程組

解:超定方程組很難得到一組值使得每一個方程都成立。一般情況下用盡量使每一個方程都近似成立的一組值作為超定方程的近似解。這時最小二乘法就可以用于解這類方程。

采用最小二乘法，考慮如下的誤差函數(shù)：獨立方程數(shù)多于變量數(shù)§4矛盾方程組的最小二乘法2023/10/134所求的最小二乘解應該滿足2023/10/135同理可得：令偏導數(shù)等于零2023/10/136法方程組為：解此方程組得最小二乘解：

x1=-0.3141x2=0.1333x3=0.02692023/10/137關(guān)于法方程組的獲得，可以用更簡便的方法，先將方程組用矩陣表示

簡化為

兩邊同乘以系數(shù)矩陣的轉(zhuǎn)置矩陣，就得到所需要的法方程組：

具體計算結(jié)果如下：2023/10/138與前面計算的法方程組相同，解值得最小二乘解x1=-0.3141x2=0.1333x3=0.02692023/10/139最小二乘曲線擬合矛盾方程組求最小二乘解矛盾方程組的最小二乘解2023/10/140本節(jié)(§1)問題1、最小二乘法擬合曲線的步驟是什么？

2、如何根據(jù)離散數(shù)據(jù)寫出法方程組？2023/10/1413、最小二乘法擬合曲線的平方誤差如何計算？例3.5確定經(jīng)驗公式中的參數(shù)，使之

與下列數(shù)據(jù)擬合xi0.10.20.30.40.50.6yi0.1720.3230.4840.6901.0001.5792023/10/142解:該問題的求解，可以將其化為線性函數(shù)進行由得到令則則再令2023/10/143函數(shù)值轉(zhuǎn)化為xi0.10.20.30.40.50.6yi0.1720.3230.4840.6901.0001.579xi0.10.20.30.40.50.6yi5.8143.0962.0661.4491.0000.633這時，法方程組的系數(shù)矩陣按下式計算2023/10/1442023/10/145由計算出法方程組2023/10/146解得a0=6.0631a1=-0.0474a2=-10.0748利用得到最后得到2023/10/147§5最佳逼近問題一、函數(shù)的逼近方法關(guān)于函數(shù)的n次多項式逼近方法，已知有下面的幾種：1.Taylor展式如果誤差為2023/10/1482.插值多項式

同為n次多項式，哪一個逼近效果更好呢？這時可以建立一個度量標準來進行度量。在所建立的度量標準之下，就可以給出最佳的n次逼近多項式。注：除了用多項式來逼近一個函數(shù)f(x),也可以用其它具有某種共同特征的函數(shù)來逼近f(x)

，并求出其相應的最佳逼近。例如，2023/10/1493.最佳逼近問題

給定函數(shù)空間X

中的一個子集合

Φ

，對于某一已知函數(shù)f(x)∈X，在Φ

中尋求一個函數(shù)p(x)作為函數(shù)f(x)關(guān)于某個度量標準下的最佳逼近函數(shù),

稱之為最佳逼近問題。X

本章我們主要考慮連續(xù)函數(shù)空間X=C[a,b]上的最佳逼近問題，這時的子集合Φ可以取為由具有某種共同特征的函數(shù)組成，例如多項式函數(shù)、三角函數(shù)、指數(shù)函數(shù)、分式有理函數(shù)等。

同時，還需要給出連續(xù)函數(shù)空間上的一個度量標準，下面先通過內(nèi)積給出平方范數(shù)。p(x)從總體上更能反映f(x)的特性或總體上其偏差按某種度量達到最小2023/10/150二、連續(xù)函數(shù)的平方范數(shù)

已知所有連續(xù)函數(shù)構(gòu)成的集合C[a,b]是一個線性空間，對于C[a,b]中的任意函數(shù)

f(x)、g(x)

，定義實數(shù)可以證明此實數(shù)滿足性質(zhì)：這時，稱

(f,g)

為

f(x)

與

g(x)的內(nèi)積。(1).(f,g)=(g,

f);(2).(αf,g)=α(

f,g),α∈R;(3).(f+g,h)=(f,h)+(g,h);(4).(f,f)≥0,當且僅當f=0時(f,f)=0

2023/10/151為函數(shù)

f(x)

的平方（歐氏）范數(shù)，且滿足以下性質(zhì)：

給出了函數(shù)的范數(shù)，便給出了函數(shù)的一個度量標準，在此度量標準之下，就可以找出f(x)

在不同函數(shù)類中的最佳逼近。下面就來考慮這一最佳逼近問題的解決。并稱（3.1）（1）‖f‖2≥0,‖f‖2

=0,當且僅當

f=0

；（2）‖cf‖2=|c|‖f‖2;

（3）‖f+g‖2≤‖f‖2+‖g‖2;

無窮范數(shù)2023/10/152柯西—施瓦茨不等式2023/10/153基函數(shù)§6函數(shù)的最佳平方逼近一、公式的推導

對于連續(xù)函數(shù)空間

C[a,b]

中的元素f(x)

及其子空間所謂

f(x)

在Φ

中的最佳平方逼近，就是存在使得對于一切都有：廣義多項式有限維2023/10/154不等式

說明所求的滿足等式：其中(3.2)由于pn*(x)是由其系數(shù)c0*

,c1*,…,cn*唯一確定的，因此，只要我們求出了滿足(3.2)的c0*

,c1*,…,cn*

，就可以求出f(x)最佳平方逼近：投影2023/10/155(3.3)構(gòu)造多元函數(shù)根據(jù)則這時等式(3.4)意味著(3.5)2023/10/156(3.5)(3.3)的極小值點。(3.4)也就是說，求出滿足等式(3.4)的

pn*(x)

，等價于求出滿足等式(3.5)的c0*

,c1*

,…,cn*

。

由(3.5)可知

c0*

,c1*

,…,cn*是n+1

元二次函數(shù)函數(shù)2023/10/157而n+1元函數(shù)在區(qū)間

(-∞,+∞)

上具有一階連續(xù)導函數(shù)，因此根據(jù)極值原理，在最小值點

c0*

,c1*

,…,cn*處：而于是即2023/10/158利用內(nèi)積可以得到這是一個含有n+1個變量的方程組，具體形式為：2023/10/159再寫成矩陣形式為2023/10/160這是關(guān)于n+1個變量c0,c1

,…,cn

的線性方程組，并稱其為法方程組，或者正規(guī)方程組。

解此方程組，就可以得到c0*

,c1*

,…,cn*

，也就得到了f(x)

的最佳平方逼近：

格拉姆(Gram)矩陣最佳平方逼近函數(shù)存在惟一2023/10/161二、誤差估計最佳平方逼近的平方誤差為由方程組可得對于最佳逼近解2023/10/162于是，最佳平方逼近的平方誤差為如果(3.6)則稱(3.6)為f(x)

的在[a,b]上的最佳平方逼近n次多項式。n較大時，法方程組出現(xiàn)病態(tài)（Hilbert矩陣）,可取基函數(shù)為正交基函數(shù)（如三角函數(shù)）2023/10/163*求連續(xù)函數(shù)最佳平方逼近的步驟*1.給定[a,b]上的連續(xù)函數(shù)f(x),

及子空間2.利用內(nèi)積給出法方程組2023/10/1643.求出法方程組的解c0*

,c1*

,…,cn*,得到最佳平方逼近4.求出平方誤差稱為均方誤差2023/10/165

例3.6求