最小二乘法的基本原理和多項(xiàng)式擬合

1、第一節(jié) 最小二乘法的基本原理和多項(xiàng)式擬合一 最小二乘法的基本原理從整體上考慮近似函數(shù)p( x) 同所給數(shù)據(jù)點(diǎn) ( xi, yi ) (i=0,1, ,m) 誤差rip( xi )yi (i=0,1,m)的大小，常用的方法有以下三種：一是誤差rip( xi )yi (i=0,1,max ri，即誤差 向量,m) 絕對值的最大值 0 i mmr( r0 , r1 ,rm ) T的 范數(shù)；二是誤差絕對值的和i 0ri，即誤差向量 r 的 1m2rir 的 2范數(shù)；前兩種范數(shù)；三是誤差平方和i 0的算術(shù)平方根，即誤差向量方法簡單、自然，但不便于微分運(yùn)算，后一種方法相當(dāng)于考慮2 范數(shù)的平方，因此在曲線擬

2、合中常采用誤差平方和體大小。m2rii 0來 度量誤差 ri (i=0 ， 1， m)的整數(shù)據(jù)擬合的具體作法是：對給定數(shù)據(jù)(xi , yi )(i=0,1,， m)，在取定的函數(shù)類中 , 求 p(x), 使誤差 rip( xi ) yi (i=0,1,m) 的平方和最小，即m2m2rip(xi ) yimini 0= i 0從幾何意義上講，就是尋求與給定點(diǎn) ( xi , yi ) (i=0,1, ,m) 的距離平方和為最小的曲線y p( x) （圖 6-1 ）。函數(shù) p( x) 稱為擬合 函數(shù)或最小二乘解，求擬合函數(shù) p( x) 的方法稱為曲線擬合的最小二乘法。在曲線擬合中，函數(shù)類可有不同的選

3、取方法 .61二 多項(xiàng)式擬合假設(shè)給定數(shù)據(jù)點(diǎn) (xi , yi ) (i=0,1,m) ，nak xkpn ( x)成的函數(shù)類，現(xiàn)求一k0m2mnIpn (xi )yii 0i 0k 0為所有次數(shù)不超過 n(n,使得2a x kyimink i(1)m) 的多項(xiàng)式構(gòu)當(dāng)擬合函數(shù)為多項(xiàng)式時(shí)，稱為多項(xiàng)式擬合，滿足式（ 1）的 pn ( x) 擬合多項(xiàng)式。特別地，當(dāng) n=1 時(shí)，稱為線性擬合或直線擬合。稱為最小二乘顯然mnI(ak xikyi ) 2i0k 0為 a0 , a1 ,an 的多元函數(shù)，因此上述問題即為求II (a0 , a1 ,an ) 的極值 問題。由多元函數(shù)求極值的必要條件，得Imna

4、k xikyi ) xi j2(0,j0,1, ,na ji 0k0(2)即nmm(xijk)akxij yi,j 0,1, , n(3)k 0i0i 0（ 3）是關(guān)于 a0 , a1 ,an 的線性方程組，用矩陣表示為mmxinmm1xia0yimi 0i 0i0mma1mxixi2xin 1xi yii0i 0i0i0mmmanmxin yixinxin 1xi2n(4)i0i0i 0i 0式（ 3）或式（ 4）稱為正規(guī)方程組或法方程組?？梢宰C明，方程組（ 4）的系數(shù)矩陣是一個(gè)對稱正定矩陣，故存在唯一解。從式（ 4）中解出 ak (k=0,1,， n) ，從而可得多項(xiàng)式nak xkpn (

5、x)k0(5)可以證明，式（ 5）中的 pn (x) 滿足式（ 1），即 pn (x) 為所求的擬合多項(xiàng)式。我m2pn ( xi )yipn ( x) 的平方誤差，記作們把 i 0稱為最小二乘擬合多項(xiàng)式2m2pn ( xi ) yir 2i 0由式 (2) 可得mnm2yi2ak ( xik yi )r 2(6)i 0k 0i 0多項(xiàng)式擬合的一般方法可歸納為以下幾步：(1) 由已知數(shù)據(jù)畫出函數(shù)粗略的圖形 散點(diǎn)圖，確定擬合多項(xiàng)式的次數(shù) n；mm(2)xij( j0,1,2n)xij yi( j 0,1, ,2n)列表計(jì)算 i 0和 i 0；(3)寫出正規(guī)方程組，求出 a0 , a1 ,an ；n

6、ak xk(4)pn ( x)寫出擬合多項(xiàng)式k0。在實(shí)際應(yīng)用中， nm或 nm ；當(dāng) nm時(shí)所得的擬合多項(xiàng)式就是拉格朗日或牛頓插值多項(xiàng)式。例 1 測得銅導(dǎo)線在溫度 Ti ( ) 時(shí)的電阻 Ri ( ) 如表 6-1 ，求電阻 R 與溫度 T 的近似函數(shù)關(guān)系。i0123456Ti ( )19.125.030.136.040.045.150.0Ri ()76.3077.8079.2580.8082.3583.9085.10解畫出散點(diǎn)圖（圖 6-2 ），可見測得的數(shù)據(jù)接近一條直線，故取n=1，擬合函數(shù)為R a0a1T列表如下iTiRiTi 2Ti Ri019.176.30364.811457.330

7、125.077.80625.001945.000230.179.25906.012385.425336.080.801296.002908.800440.082.351600.003294.000545.183.902034.013783.890650.085.102500.004255.000245.3565.59325.8320029.445正規(guī)方程組為7245.3 a0565.5245.3 9325.83 a120029.445解方程組得a070.572,a1 0.921故得 R 與 T 的擬合直線為R 70.572 0.921T利用上述關(guān)系式，可以預(yù)測不同溫度時(shí)銅導(dǎo)線的電阻值。例如，由

8、 R=0得 T=-242.5 ，即預(yù)測溫度 T=-242.5 時(shí)，銅導(dǎo)線無電阻。6-2例 2例 2已知實(shí)驗(yàn)數(shù)據(jù)如下表i012345678xi1345678910yi1054211234試用最小二乘法求它的二次擬合多項(xiàng)式。解 設(shè)擬合曲線方程為ya0a1 xa2 x2列表如下Ixiyixi2xi3xi4xi yixi2 yi0110111101013592781154524416642561664352251256251050461362161296636571493432401749682645124096161287938172965612724381041001000100004040053

9、323813017253171471025得正規(guī)方程組952381a032523813017a1147381301725317a21025解得a013.4597,a13.6053a20.2676故擬合多項(xiàng)式為y13.45973.60530.2676x 2* 三 最小二乘擬合多項(xiàng)式的存在唯一性定理 1設(shè)節(jié)點(diǎn) x0 , x1 , xn 互異，則法方程組（ 4）的解存在唯一。證 由克萊姆法則，只需證明方程組（ 4）的系數(shù)矩陣非奇異即可。用反證法，設(shè)方程組（ 4）的系數(shù)矩陣奇異，則其所對應(yīng)的齊次方程組mmmm1xixina0yimi0i0i0ximxi2mxin 1a1mxi yii 0i0i 0i0

10、mmmanmxin yixinxin 1xi2n（7）i 0i 0i0i 0有非零解。式 (7)可寫為nm(xi jk) ak0,j 0,1, n（ 8）k 0i0將式（ 8）中第 j個(gè)方程乘以 a j (j=0,1,， n) ，然后將新得到的n+1 個(gè)方程左nnm右兩端分別 相加，得a j(xi j k ) ak 00j0k 0i 0pn ( x)因?yàn)閚nmm n nmnnma j(xij k )akak a j xi j k( a j xij )( ak xik )pn ( xi ) 2j 0k 0 i 0i 0 j 0 k 0i 0j 0k 0i 0其中：npn ( x)ak xkk0所

11、以pn ( xi ) 0 (i=0,1,m)pn (x) 是次數(shù)不超過n 的多項(xiàng)式，它有 m+1n 個(gè)相異零點(diǎn)， 由代數(shù)基本定理， 必須有 a0a1an0 ，與齊次方程組有非零解的假設(shè)矛盾。 因此正規(guī)方程組（4）n必有唯一解 。定理 2設(shè) a0, a1,pn ( x)ak xk, an 是正規(guī)方程組（4）的解，則k 0是滿足式（ 1）的最小二乘擬合多項(xiàng)式。nbk xk只需證明，對任意一組數(shù) b0, b1 , bn 組成的多項(xiàng)式Q n (x)證k0，恒有m2m2i 0Qn ( xi ) yii 0pn ( xi ) yi即可。m2m2Qn (xi ) yipn (xi ) yii 0i 0mmQ

12、n ( xi ) pn (xi ) 22Qn (xi ) pn ( xi ) pn ( xi ) yii 0i0m nnnmn0 2(b ja j )xi jak xikyi2b j a jak xikyixi ji 0 j 0k 0j 0i 0k 0因?yàn)?ak (k=0,1,， n) 是正規(guī)方程組（ 4）的解，所以滿足式（ 2），因此有m2m2Q n (xi ) yipn (xi ) yi0i0i 0故為最小二乘擬合多項(xiàng)式。* 四 多項(xiàng)式擬合中克服正規(guī)方程組的病態(tài)在多項(xiàng)式擬合中， 當(dāng)擬合多項(xiàng)式的次數(shù)較高時(shí)， 其正規(guī)方程組往往是病態(tài)的。 而且：正規(guī)方程組系數(shù)矩陣的階數(shù)越高，病態(tài)越嚴(yán)重；擬合節(jié)點(diǎn)

13、分布的區(qū)間 x0 , xm 偏離原點(diǎn)越遠(yuǎn)，病態(tài)越嚴(yán)重； xi (i=0,1, ， m)的數(shù)量級(jí)相差越大，病態(tài)越嚴(yán)重。為了克服以上缺點(diǎn)，一般采用以下措施：盡量少作高次擬合多項(xiàng)式，而作不同的分段低次擬合；不使用原始節(jié)點(diǎn)作擬合，將節(jié)點(diǎn)分布區(qū)間作平移，使新的節(jié)點(diǎn) xi 關(guān)于原 點(diǎn)對稱，可大大降低正規(guī)方程組的條件數(shù)，從而減低病態(tài)程度。平移公式為：xixix0xm,i 0,1, m2(9)對平移后的節(jié)點(diǎn) xi (i=0,1,， m), 再作壓縮或擴(kuò)張?zhí)幚恚簒ipxi,i 0,1,m（ 10）m(xi ) 2rp 2r (m 1), （r 是擬合次數(shù)）（11）其中i 0經(jīng)過這 樣調(diào) 整可以使xi 的數(shù) 量級(jí)

14、 不太 大也不太 小， 特別 對于 等距節(jié)點(diǎn)xi x0 ih(i 0,1, m) ，作式（ 10）和式（ 11）兩項(xiàng)變換后，其正規(guī)方程組的系數(shù)矩陣設(shè)為 A，則對 1 4 次多項(xiàng)式擬合，條件數(shù)都不太大，都可以得到滿意的結(jié)果。變換后的條件數(shù)上限表如下：擬合次數(shù)1234cond2 ( A)=1<9.9<50.3<435在實(shí)際應(yīng)用中還可以利用正交多項(xiàng)式求擬合多項(xiàng)式。 一種方法是構(gòu)造離散正交多項(xiàng)式；另一種方法是利用切比雪夫節(jié)點(diǎn)求出函數(shù)值后再使用正交多項(xiàng)式。 這兩種方法都使正規(guī)方程 組的系數(shù)矩陣為對角矩陣， 從而避免了正規(guī)方程組的病態(tài)。我們只介紹第一種，見第三節(jié)。例如 m=19, x0 =328,h=1, x1= x0 +ih ，i=0,1, ，19，即節(jié)點(diǎn) 分布在328,347 ，作二次多項(xiàng)式擬合時(shí)直接用 xi 構(gòu)造正規(guī)方程組系數(shù)矩陣A0 ，計(jì)算可得cond2 (A0 )2.25 1016嚴(yán)重病態(tài)，擬合結(jié)果完全不能用。 作平移變換xxi328 347,i0,1,19i2用xi構(gòu)造正規(guī)方程組系數(shù)矩陣A1，計(jì)算可得cond2 (A1 )4.483868 1016比 cond2 ( A0 ) 降低了 13 個(gè)數(shù)量級(jí)，病態(tài)顯著改善，擬合效果較好。 取壓