第六章 最小二乘法及曲線擬合

1、第六章 最小二乘法與曲線擬合l目的目的( (曲線擬合曲線擬合):):已知一組測(cè)量數(shù)據(jù) ，尋找變量 與 的函數(shù)關(guān)系的近似表達(dá)式 。（尋找變化規(guī)律）l插值法缺陷插值法缺陷: :(1)插值多項(xiàng)式通過(guò)了所有的點(diǎn) ，引入了測(cè)量數(shù)據(jù)的觀測(cè)誤差；(2)當(dāng)測(cè)量數(shù)據(jù)較多時(shí)，插值多項(xiàng)式不穩(wěn)定，計(jì)算工作量巨大，缺乏實(shí)用價(jià)值 ), 2 , 1(),(niyxiixy),(iiyx xy第六章 最小二乘法與曲線擬合鋁球散射聲場(chǎng)指向性第六章 最小二乘法與曲線擬合 對(duì)觀測(cè)數(shù)據(jù)序列 來(lái)說(shuō)，不可避免地會(huì)含有誤差。這樣觀測(cè)數(shù)據(jù)序列就無(wú)法同時(shí)滿足函數(shù) ，所以只能按照某種最優(yōu)標(biāo)準(zhǔn)，構(gòu)造一個(gè)逼近函數(shù) 來(lái)最優(yōu)得靠近采樣數(shù)據(jù)，即向量 與的

2、誤差或距離最小。按照這種誤差最小原則構(gòu)造的逼近函數(shù)稱(chēng)為擬合函數(shù)擬合函數(shù)，構(gòu)造擬合函數(shù)的過(guò)程稱(chēng)為曲線擬合曲線擬合。,niyxii, 2 , 1 , xfy x Tnxxx,21Tnyyy,21第六章 最小二乘法與曲線擬合 從給定的一組實(shí)驗(yàn)數(shù)據(jù) 出發(fā)，尋求一個(gè)逼近函數(shù) ，使得逼近函數(shù)從總體上總體上來(lái)說(shuō)產(chǎn)生的偏差按照某種方法度量能達(dá)到最小而又不一定過(guò)全部的實(shí)驗(yàn)數(shù)據(jù)點(diǎn) ，這就是曲線擬合法曲線擬合法。最常用的曲線擬合法就是本章所要介紹的最小二乘曲線擬合法最小二乘曲線擬合法。 插值和擬合是構(gòu)造逼近函數(shù)的兩種方法。曲線擬合問(wèn)題的特點(diǎn)在于，被確定的曲線原則上并不要求通過(guò)給定的數(shù)據(jù)點(diǎn)，而只是要求盡可能從給定點(diǎn)附

3、近通過(guò)。插值法確定的曲線要求通過(guò)所有給定數(shù)據(jù)點(diǎn)，對(duì)于含有觀測(cè)誤差的數(shù)據(jù)來(lái)說(shuō)，不通過(guò)給定數(shù)據(jù)點(diǎn)的原則顯然更為合適。因?yàn)檫@樣的處理，可以部分地抵消數(shù)據(jù)中含有的觀測(cè)誤差，從總體上與實(shí)際函數(shù)曲線更為符合。 ), 2 , 1(),(niyxii)(xy),(iiyx1 用最小二乘法求解矛盾方程組用最小二乘法求解矛盾方程組 用近似曲線 來(lái)擬合測(cè)量數(shù)據(jù) ，其擬合好壞的好壞的判斷標(biāo)準(zhǔn)判斷標(biāo)準(zhǔn)（向量之間的誤差或距離）：通過(guò)選擇 ，使得它在 處的函數(shù)值 與測(cè)量數(shù)據(jù) 相差都很小，即要使偏差偏差（也稱(chēng)殘差殘差） 都很小。有不同衡量方法用各點(diǎn)誤差絕對(duì)值的和表示用各點(diǎn)誤差模值的最大值表示)(xy)21( ),(,n,iy

4、xii)(xix), 2 , 1( )(nixi), 2 , 1( niyi), 2 , 1( )(niyxiii niiiyxR01 iiniyxR0max1 用最小二乘法求解矛盾方程組用最小二乘法求解矛盾方程組 用各點(diǎn)誤差的平方和表示上式中 稱(chēng)為均方誤差。由于計(jì)算均方誤差的最小值易于實(shí)現(xiàn)而被廣泛采用。 這種“偏差平方和最小偏差平方和最小”的原則稱(chēng)為最小二乘原則最小二乘原則，而按最小二乘原則擬合曲線的方法稱(chēng)為最小二乘法最小二乘法或稱(chēng)最小二乘最小二乘曲線擬合法曲線擬合法。 niiiyxR0222R1 用最小二乘法求解矛盾方程組用最小二乘法求解矛盾方程組l基函數(shù)基函數(shù)： 一般而言，所求得的擬合函

5、數(shù)可以是不同的函數(shù)類(lèi)函數(shù)類(lèi)，擬合曲線 是由m個(gè)線性無(wú)關(guān)函數(shù) 線性組合而成，即其中 為待定常數(shù)。線性無(wú)關(guān)函數(shù)組稱(chēng)為基函數(shù)基函數(shù)，常用的基函數(shù)有： 多項(xiàng)式： ； 三角函數(shù)： ； 指數(shù)函數(shù)： 。 )(x)(,),(),(21xxxm) 1( )()()()(2211nmxaxaxaxmmmaaa,21)(,),(),(21xxxmmxxx, 12mxxxsin,2sin,sinxxxmeee,211 用最小二乘法求解矛盾方程組用最小二乘法求解矛盾方程組 常用基函數(shù)中最簡(jiǎn)單的是多項(xiàng)式基函數(shù)多項(xiàng)式基函數(shù)。在解決實(shí)際問(wèn)題時(shí)，如何選擇適當(dāng)?shù)臄M合曲線類(lèi)型？ 在對(duì)擬合曲線一無(wú)所知的情況下，可以先繪制數(shù)據(jù)的粗略圖

6、形，可大致觀測(cè)出擬合曲線的類(lèi)型。更一般地，可以先對(duì)數(shù)據(jù)進(jìn)行多種曲線類(lèi)型的擬合，并計(jì)算相應(yīng)的均方誤差，用數(shù)學(xué)實(shí)驗(yàn)的方法找出在最小二乘法意義下的誤差最小的擬合函數(shù)。 1 用最小二乘法求解矛盾方程組用最小二乘法求解矛盾方程組舉例舉例：設(shè)平面上有5個(gè)點(diǎn)的觀測(cè)數(shù)據(jù)，對(duì)應(yīng)的為畫(huà)出分布圖形。 47. 5 , 9,02. 5 , 8,50. 3 , 5,98. 2 , 4,01. 2 , 20123456789100123456xy1 用最小二乘法求解矛盾方程組用最小二乘法求解矛盾方程組 可以看出，這5個(gè)點(diǎn)大致分布在一條直線上，因此可以用線性函數(shù)來(lái)表示：上面5組數(shù)據(jù)大致滿足如下方程組：式中 為待定參數(shù)。 bx

7、ay47. 5902. 5850. 3598. 2401. 22babababababa,1 用最小二乘法求解矛盾方程組用最小二乘法求解矛盾方程組 確定 的最簡(jiǎn)單方法是選點(diǎn)法，即在給定的5個(gè)點(diǎn)中，任選兩個(gè)構(gòu)造直線。也就是從上述5個(gè)等式中任選2個(gè)聯(lián)立即可解出 。例如選擇前兩個(gè)點(diǎn)可得 ，解為選擇4、5點(diǎn)可得 ，解為ba,ba,98. 2401. 22baba485. 0040. 1ba47. 5902. 58baba45. 042. 1ba1 用最小二乘法求解矛盾方程組用最小二乘法求解矛盾方程組 為減小解的變化，可以采用平均法，即把上述5式分為2組，并分別求平均，然后聯(lián)立求解 ，例如分為如下兩組

8、兩式聯(lián)立得到 ，解為由于觀測(cè)數(shù)據(jù)帶有誤差，而且表達(dá)式本身也是近似的，所以上例中得到各組 值是有差異的，無(wú)法使無(wú)法使5 5個(gè)等式同時(shí)成立個(gè)等式同時(shí)成立。ba,4867. 3547. 5998. 2401. 22babababa26. 45 . 602. 5850. 35bababa26. 45 . 64867. 35baba5155. 09092. 0baba,1 用最小二乘法求解矛盾方程組用最小二乘法求解矛盾方程組 在實(shí)際問(wèn)題中，只要給出的觀測(cè)點(diǎn)數(shù)大于待定參數(shù)的個(gè)數(shù)，根據(jù)觀測(cè)數(shù)據(jù)得到的方程組就會(huì)出現(xiàn)互相矛盾的現(xiàn)象，稱(chēng)為矛盾方程組矛盾方程組。曲線擬合中的參數(shù)確定問(wèn)題，實(shí)質(zhì)上就是解矛盾方程組的問(wèn)題

9、解矛盾方程組的問(wèn)題。選點(diǎn)法和平均法只是求解矛盾方程組的最初等方法，解不唯一，而且無(wú)法衡量哪個(gè)解最好，怎么找到最好解等問(wèn)題尚不明確，一般情況下僅用于粗略估值。1 用最小二乘法求解矛盾方程組用最小二乘法求解矛盾方程組l矛盾方程組（超定方程組）矛盾方程組（超定方程組）： 方程式的個(gè)數(shù)多于未知數(shù)的個(gè)數(shù)時(shí)，方程組往往無(wú)解，此類(lèi)方程組稱(chēng)為矛盾方程組矛盾方程組。 即 nmnmnnmmmmbxaxaxabxaxaxabxaxaxa22112222212111212111);, 2 , 1( 1nmnibxamjijij1 用最小二乘法求解矛盾方程組用最小二乘法求解矛盾方程組上式是矛盾方程組矛盾方程組，找不到同

10、時(shí)滿足n個(gè)方程的解，只能尋找某種意義下的近似解近似解。這種近似解不是相對(duì)精確解的近似，而是指尋找各未知數(shù)的一組值，使方程組中的各方程式近各方程式近似相等似相等。此即為用最小二乘法求解矛盾方程組的基本思想基本思想。l偏差偏差：l衡量近似解的近似程度的標(biāo)準(zhǔn)衡量近似解的近似程度的標(biāo)準(zhǔn)：按最小二乘原則，使偏差的平方和最小如果 的取值使上式的值達(dá)到最小，則稱(chēng)這組值是矛盾方程組的最優(yōu)近似解最優(yōu)近似解。);, 2 , 1(1nmnibxaimjjiji), 2 , 1(mjxj niimjjijniibxaQ121121 用最小二乘法求解矛盾方程組用最小二乘法求解矛盾方程組l最優(yōu)近似解的求解最優(yōu)近似解的求解

11、： 偏差平方和最小的必要條件：等價(jià)條件等價(jià)條件：), 2 , 1(0mkxQk022221111111 niiikmjjniikijniiikmjjikijikniimjjijkbaxaabaxaaabxaxQ1 用最小二乘法求解矛盾方程組用最小二乘法求解矛盾方程組極值條件極值條件：上面具有m個(gè)未知量m個(gè)方程式的線性方程組稱(chēng)為對(duì)應(yīng)于矛盾方程組的法方程組法方程組（也稱(chēng)為正規(guī)方程組正規(guī)方程組）?？梢钥闯觯ǚ匠探M的解就是矛盾方程組的最優(yōu)解。矛盾方程組最優(yōu)解的求解就轉(zhuǎn)化為法方程組的求解。), 2 , 1(111mkbaxaaniiikmjjniikij 1 用最小二乘法求解矛盾方程組用最小二乘法求解

12、矛盾方程組按照最小二乘原則（偏差平方和最?。?duì)上例進(jìn)行求解：分別對(duì) 求偏導(dǎo)22251247. 5998. 2401. 22bababaQiiba,098.18285 47. 59298. 24201. 222babababaaQ083.12219028 947. 592498. 242201. 222bababababQ1 用最小二乘法求解矛盾方程組用最小二乘法求解矛盾方程組 兩式聯(lián)立得到線性方程組采用線性方程組的數(shù)值解法對(duì)上述方程組進(jìn)行求解，得到從而構(gòu)造的直線方程為上式就是最小二乘意義下對(duì)5個(gè)數(shù)據(jù)點(diǎn)進(jìn)行擬合得到擬合函數(shù)83.1221902898.18285baba4983. 00058. 1

13、baxy4983. 00058. 11 用最小二乘法求解矛盾方程組用最小二乘法求解矛盾方程組2345678922.533.544.555.5xy1 用最小二乘法求解矛盾方程組用最小二乘法求解矛盾方程組記矛盾方程組可表示為nmnnmmaaaaaaaaa212222111211ATmxxx),(21XTnbbb),(21bbAX 1 用最小二乘法求解矛盾方程組用最小二乘法求解矛盾方程組 極值條件用 表示法方程組第k個(gè)方程中 的系數(shù)，用 表示對(duì)應(yīng)方程式的右端項(xiàng)，則法方程組可表示為式中), 2 , 1(111mkbaxaaniiikmjjniikij kjcjxkd), 2 , 1(1mkdxckmj

14、jkj), 2 , 1(), 2 , 1,(11mkbadmjkaacniiikkniikijkj1 用最小二乘法求解矛盾方程組用最小二乘法求解矛盾方程組 記從而法方程組用矩陣表示為：即矩陣C為對(duì)稱(chēng)陣Tmmmmmmmdddccccccccc),(,21212222111211dC,AACTbAdTdCX bAAXATT1 用最小二乘法求解矛盾方程組用最小二乘法求解矛盾方程組l最小二乘法解矛盾方程組的步驟步驟歸納：（1）計(jì)算 和 ，得法方程組 ；（2）求解解法方程組，得出矛盾方程組的最優(yōu)近似解。按步驟計(jì)算上例。AATbATbAAXATT1、求下列線性方程組的最小二乘解（計(jì)算取4位小數(shù)）。1 用最

15、小二乘法求解矛盾方程組用最小二乘法求解矛盾方程組142462353114221212121xxxxxxxx2 用多項(xiàng)式作最小二乘曲線擬合 取基函數(shù)它們的線性組合 為 的m次多項(xiàng)式，按照最小二乘原理，即是要通過(guò)給定的數(shù)據(jù) ，確定系數(shù) ，使得在各個(gè)點(diǎn)上的偏差平方和最小。mmxxxxxxx)(,)(,)(, 1)(2210) 1()(2210nmxaxaxaaxPmm)(xPx), 2 , 1(),(niyxiija2 用多項(xiàng)式作最小二乘曲線擬合將n對(duì)數(shù)據(jù) 代入，得到一個(gè)具有m+1個(gè)未知數(shù) 的n個(gè)方程的矛盾方程組：矩陣形式為：),(iiyxjanmnmnnmmmmyxaxaxaayxaxaxaayx

16、axaxaa22102222221011212110YA 2 用多項(xiàng)式作最小二乘曲線擬合式中其法方程組為：法方程組是關(guān)于m+1個(gè)未知量 的線性方程組，只要系數(shù)行列式不等于零，就可求得矛盾方程組的唯一一組最優(yōu)近似解，從而求得所給數(shù)據(jù)的最小二乘擬合多項(xiàng)式mnnnmmxxxxxxxxx222221211111Amaaa10nyyy21YYAAATT), 2 , 1 , 0(mjaj2 用多項(xiàng)式作最小二乘曲線擬合l解的存在性解的存在性： 由于 互異，故矩陣 的m+1個(gè)列向量線性無(wú)關(guān)，秩為m+1，對(duì)于任意m+1維非零列向量 ， ，由從而 為對(duì)稱(chēng)正定矩陣，非奇異。所以方程組有唯一解。nxxx,21AX0A

17、X 0)()(AXAXAXAXTTTAAT2 用多項(xiàng)式作最小二乘曲線擬合niminiminiminiminiminiiniiniiniminiiniimnnnmmmmnmmnnxxxxxxxxxxxnxxxxxxxxxxxxxxxxxxxxx1212111111312111212323322221211212222121 1111111AAT2 用多項(xiàng)式作最小二乘曲線擬合nimiiniiiniiiniinmnmmnnxyxyxyyyyyxxxxxxxxx1121121212222121111YAT2 用多項(xiàng)式作最小二乘曲線擬合l計(jì)算步驟：計(jì)算步驟：（1）計(jì)算 和 ，得法方程組 。（2）解法方程

18、組，得出最優(yōu)解，最小二乘數(shù)據(jù)擬合多項(xiàng)式為：AATbATbAAXATTmmxaxaxaaxP*2*2*1*0)(2 用多項(xiàng)式作最小二乘曲線擬合例例1 通過(guò)實(shí)驗(yàn)數(shù)據(jù)獲得如下數(shù)據(jù)：用最小二乘法求多項(xiàng)式曲線，使與此數(shù)據(jù)組相擬合（計(jì)算取4位小數(shù)）解解：（1）作散點(diǎn)分布圖 從圖可以看出，點(diǎn)的分布近似為拋物線。（2）確定近似表達(dá)式 設(shè)擬合曲線為二次多項(xiàng)式ixiy23675322210 xaxaay2 用多項(xiàng)式作最小二乘曲線擬合（3）建立法方程組8147117117911711793117931714131213121121niiniiniiniiniiniiniiniiTxxxxxxxxnAA2 用多項(xiàng)式作最小二乘曲線擬合635121281211niiiniiiniiTxyxyxYA6351212881471171179117117931179317210aaa法方程組為：2 用多項(xiàng)式作最小二乘曲線擬合（4）求解法方程組所求擬合曲線為 3185. 10a4321. 31a3864. 02a23864. 04321. 33185. 1xxy2 用多項(xiàng)式作最小二乘曲線擬合例例2 在物理實(shí)驗(yàn)中，測(cè)得電壓與