最小二乘法與曲線擬合.ppt

如果已知函數(shù)f(x)在若干點(diǎn)xi(i=1,2,n)處 的值yi,便可根據(jù)插值原理來建立插值多項(xiàng)式作為f(x)的近似。但在科學(xué)實(shí)驗(yàn)和生產(chǎn)實(shí)踐中，往往會遇到這樣一種情況，即節(jié)點(diǎn)上的函數(shù)值并不是很精確的，這些函數(shù)值是由實(shí)驗(yàn)或觀測得到的數(shù)據(jù)，不可避免地帶有測量誤差，如果要求所得的近似函數(shù)曲線精確無誤地通過所有的點(diǎn)(xi,yi),就會使曲線保留著一切測試誤差。,最小二乘法與曲線擬合,為此,我們希望從給定的數(shù)據(jù)(xi,yi)出發(fā),構(gòu)造一個近似函數(shù) ,不要求函數(shù) 完全通過所有的數(shù)據(jù)點(diǎn)，只要求所得的近似曲線能反映數(shù)據(jù)的基本趨勢， 如圖5-7所示。,圖5-7 曲線擬合示意圖,也就是說擬合函數(shù) 在xi處的偏差(亦稱殘差） 不都嚴(yán)格地等于零。即為矛盾方程組。,曲線擬合函數(shù) 不要求嚴(yán)格地通過所有數(shù)據(jù)點(diǎn),但是,為了使近似曲線能盡量反映所給數(shù)據(jù)點(diǎn)的 變化趨勢,要求 按某種度量標(biāo)準(zhǔn)最小。若記向量,即要求向量 的某種范數(shù) 最小,如 的1-范數(shù) 或-范數(shù),即,為最小。這種要求誤差（偏差）平方和最小的擬合稱為曲線擬合的最小二乘法。,為了便于計(jì)算、分析與應(yīng)用，通常要求 的2-范數(shù),實(shí)質(zhì)仍然是求矛盾方程組的最小二乘解。,作擬合直線,（1）直線擬合,該直線不是通過所有的數(shù)據(jù)點(diǎn) , 而是使偏差平方和,設(shè)已知數(shù)據(jù)點(diǎn) , 分布大致為一條直線。,為最小，,其中每組數(shù)據(jù)與擬合曲線的偏差為,根據(jù)最小二乘原理，應(yīng)取 和 使 有極小值，,故 和 應(yīng)滿足下列條件：,解法一：,即得如下正規(guī)方程組,求解該方程組，解得,代人 即得擬合曲線。,也可將條件帶入構(gòu)成矛盾方程組,其中,利用,解法二：,即得如下正規(guī)方程組,求解該方程組，解得,代人 即得擬合曲線。,例：某種合成纖維的強(qiáng)度與其拉伸倍數(shù)有直接關(guān)系，下表是實(shí)際測定的24個纖維樣品的強(qiáng)度與相應(yīng)拉伸倍數(shù)的記錄。試確定這種關(guān)系。,（提示：將拉伸倍數(shù)作為x, 強(qiáng)度作為y, 在座標(biāo)紙上標(biāo)出各點(diǎn)，可以發(fā)現(xiàn)什么?）,解：設(shè) y=a+bx,從上圖中可以看出強(qiáng)度與拉伸倍數(shù)大致成線形關(guān)系， 可用一條直線來表示兩者之間的關(guān)系。,則：,解得： a=0.15 , b=0.859 直線方程為：y=0.15+0.859x,計(jì)算出它的正規(guī)方程得,1 2 3 4 1.36 1.37 1.95 2.28 14.094 16.844 18.475 20.963,用最小二乘法求以上數(shù)據(jù)的擬合函數(shù),例 設(shè)有某實(shí)驗(yàn)數(shù)據(jù)如下：,解:把表中所給數(shù)據(jù)畫在坐標(biāo)紙上,將會看到數(shù)據(jù)點(diǎn)的分布可以用一條直線來近似地描述,設(shè)所求的擬合直線為,則正規(guī)方程組為,解得,即得擬合直線,將以上數(shù)據(jù)代入上式正規(guī)方程組,得,其中,（2）多項(xiàng)式擬合 有時(shí)所給數(shù)據(jù)點(diǎn)的分布并不一定近似地呈一條直線,這時(shí)仍用直線擬合顯然是不合適的,可用多項(xiàng)式擬合。,對于給定的一組數(shù)據(jù)， 尋求次數(shù)不超過m (mn ) 的多項(xiàng)式，,來擬合所給定的數(shù)據(jù)，與線性擬合類似，使偏差的 平方和,為最小,由于Q可以看作是關(guān)于 ( j=0,1,2, m)的多元函數(shù), 故上述擬合多項(xiàng)式的構(gòu)造問題可歸結(jié)為多元函數(shù)的極值問題。令,得,即有,這是關(guān)于系數(shù) 的線性方程組,正則方程組,也可利用矛盾方程組來做,即有,利用,1 2 3 4 5 6 0 1 2 3 4 5 5 2 1 1 2 3,用最小二乘法求一個多項(xiàng)式擬合這組數(shù)據(jù),例 設(shè)某實(shí)驗(yàn)數(shù)據(jù)如下：,解：將已給數(shù)據(jù)點(diǎn)描在坐標(biāo)系中，可以看出這些點(diǎn) 接近一條拋物線，因此設(shè)所求的多項(xiàng)式為,由法方程組（5.46）, n=6, 經(jīng)計(jì)算得,其法方程組為,解之得,所求的多項(xiàng)式為,例1 設(shè)函數(shù)y=f(x)的離散數(shù)據(jù)如下表所示,試用二次多項(xiàng)式擬和上述數(shù)據(jù),解：設(shè),則,由 可得,例：試用最小二乘法求形如 的多項(xiàng)式，使之與下列數(shù)據(jù)擬合。,解：,由題目可知：,由 可得,（3）可化為線性擬合的非線性擬合,1 2 3 4 5 6 0 0.5 1 1.5 2 2.5 2.0 1.0 0.9 0.6 0.4 0.3,用最小二乘法求擬合曲線,例 設(shè)某實(shí)驗(yàn)數(shù)據(jù)如下:,解:將已給數(shù)據(jù)點(diǎn)描在坐標(biāo)系中下圖所示,可以看出這些點(diǎn)接近指數(shù)曲線,因而可取指數(shù)函數(shù) 作為擬合函數(shù)：,對函數(shù) 兩邊取對數(shù)得.,令,則就得到線性模型,得,則正規(guī)方程組為,其中,將以上數(shù)據(jù)代入上式正規(guī)方程組，得,解得,由 得,于是得到擬合指數(shù)函數(shù)為,由 得,有些非線性擬合曲線可以通過適當(dāng)?shù)淖兞刻鎿Q轉(zhuǎn)化為線性曲線，從而用線性擬合進(jìn)行處理，對于一個實(shí)際的曲線擬合問題，一般先按觀測值在直角坐標(biāo)平面上描出散點(diǎn)圖，看一看散點(diǎn)的分布同哪類曲線圖形接近，然后選用相接近的曲線擬合方程。再通過適當(dāng)