曲線擬合的最小二乘法市公開(kāi)課金獎(jiǎng)市賽課一等獎(jiǎng)?wù)n件

第3章曲線擬合最小二乘法

給出一組離散點(diǎn)，擬定一個(gè)函數(shù)迫近原函數(shù)，插值是這樣一個(gè)手段。在實(shí)際中，數(shù)據(jù)不可避免會(huì)有誤差，插值函數(shù)會(huì)將這些誤差也包括在內(nèi)。因此，我們需要一個(gè)新迫近原函數(shù)手段：①不要求過(guò)全部點(diǎn)（能夠消除誤差影響）；②盡也許表現(xiàn)數(shù)據(jù)趨勢(shì)，靠近這些點(diǎn)。第1頁(yè)第1頁(yè)

有時(shí)候，問(wèn)題本身不要求結(jié)構(gòu)函數(shù)過(guò)所有點(diǎn)。如：5個(gè)風(fēng)景點(diǎn)，要修一條公路S使得S為直線，且到所有風(fēng)景點(diǎn)距離和最小。先講些預(yù)備知識(shí)

對(duì)如上2類問(wèn)題，有一個(gè)共同數(shù)學(xué)提法：找函數(shù)空間上函數(shù)g，使得g到f距離最小。第2頁(yè)第2頁(yè)向量范數(shù)映射：滿足：①非負(fù)性②齊次性③三角不等式稱該映射為向量一個(gè)范數(shù)預(yù)備知識(shí)我們定義兩點(diǎn)距離為：定義第3頁(yè)第3頁(yè)常見(jiàn)范數(shù)有：定理（范數(shù)等價(jià)性）：設(shè)為任意兩種范數(shù)，則存在與x無(wú)關(guān)正常數(shù)c1和c2，使得第4頁(yè)第4頁(yè)定義：函數(shù)f，g關(guān)于離散點(diǎn)列離散內(nèi)積為：慣用范數(shù)等價(jià)關(guān)系：第5頁(yè)第5頁(yè)定義：函數(shù)f離散范數(shù)為提醒：該種內(nèi)積，范數(shù)定義與向量2－范數(shù)一致我們還能夠定義函數(shù)離散范數(shù)為：第6頁(yè)第6頁(yè)f(x)為定義在區(qū)間[a,b]上函數(shù)，為區(qū)間上n+1個(gè)互不相同點(diǎn)，為給定某一函數(shù)類。求上函數(shù)g(x)滿足f(x)和g(x)距離最小假如這種距離取為2－范數(shù)話，稱為最小二乘問(wèn)題曲線擬合最小二乘問(wèn)題定義第7頁(yè)第7頁(yè)下面我們來(lái)看看最小二乘問(wèn)題：求使得最小設(shè)最小則即關(guān)于系數(shù)第8頁(yè)第8頁(yè)由于它關(guān)于系數(shù)最小，因此有：即第9頁(yè)第9頁(yè)寫(xiě)成矩陣形式有：法方程由線性無(wú)關(guān)性，知道該方程存在唯一解第10頁(yè)第10頁(yè)①第一步：函數(shù)空間基，然后列出法方程②第一步：函數(shù)空間基，然后列出法方程例：第11頁(yè)第11頁(yè)第一步：函數(shù)空間基，然后列出法方程第12頁(yè)第12頁(yè)由，能夠先做第13頁(yè)第13頁(yè)求解一個(gè)矛盾方程組，計(jì)算是在均方誤差極小意義下解也就是最小二乘問(wèn)題。我們有：矛盾方程組恒有解，且矛盾方程組求解第14頁(yè)第14頁(yè)定義：矩陣范數(shù)矩陣范數(shù)，是由向量范數(shù)定義矩陣范數(shù)和條件數(shù)矩陣范數(shù)也是等價(jià)第15頁(yè)第15頁(yè)相應(yīng)于3種常見(jiàn)向量范數(shù)，有3種矩陣范數(shù)列和最大值行和最大值矩陣范數(shù)一些性質(zhì)：①②③④⑤第16頁(yè)第16頁(yè)定理：若為特性值，則證：x為A特性向量#證畢定義：譜半徑易知：第17頁(yè)第17頁(yè)條件數(shù)和病態(tài)矩陣定義：條件數(shù)表示某種范數(shù)設(shè)，引入誤差后，解引入誤差，則第18頁(yè)第18頁(yè)注意到由于：第19頁(yè)第19頁(yè)條件數(shù)很小條件數(shù)表示了對(duì)誤差放大率同樣，類似有第20頁(yè)第20頁(yè)注：普通判斷矩陣是否病態(tài)，并不計(jì)算A1，而由經(jīng)驗(yàn)得出。行列式很大或很小（如一些行、列近似相關(guān)）；元素間相差大數(shù)量級(jí)，且無(wú)規(guī)則；主元消去過(guò)程中出現(xiàn)小主元；特性值相差大數(shù)量級(jí)。準(zhǔn)確解為例計(jì)算cond(A)2。A1=第21頁(yè)第21頁(yè)解：考察A

特性根39206>>1

測(cè)試病態(tài)程度：給一個(gè)擾動(dòng)，其相對(duì)誤差