第九節(jié) 曲線擬合最小二乘法

1、內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院 吳開騰吳開騰 制作制作最小二乘法最小二乘法最小二乘解的求法最小二乘解的求法加權(quán)最小二乘法加權(quán)最小二乘法主要內(nèi)容主要內(nèi)容問題的提出問題的提出內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院 吳開騰吳開騰 制作制作一、問題的提法一、問題的提法怎樣從給定的一組數(shù)據(jù)出發(fā)，在某個函數(shù)類中怎樣從給定的一組數(shù)據(jù)出發(fā)，在某個函數(shù)類中尋找一個尋找一個“最好最好”的函數(shù)來擬合這組數(shù)據(jù)。的函數(shù)來擬合這組數(shù)據(jù)。二、目二、目 的的在科學(xué)實(shí)驗(yàn)和生產(chǎn)實(shí)踐中，經(jīng)常要從一組實(shí)驗(yàn)數(shù)據(jù)在科學(xué)實(shí)驗(yàn)和生產(chǎn)實(shí)踐中，經(jīng)常要從一組實(shí)驗(yàn)數(shù)據(jù)出發(fā)，尋找函數(shù)出發(fā)，尋找函數(shù)y

2、=f(x)的一個近似公式（稱為經(jīng)驗(yàn)公的一個近似公式（稱為經(jīng)驗(yàn)公式）。已有的多項(xiàng)式插值法解決這類問題有明顯的式）。已有的多項(xiàng)式插值法解決這類問題有明顯的缺陷：實(shí)驗(yàn)數(shù)據(jù)有誤差；實(shí)驗(yàn)數(shù)據(jù)量大等。缺陷：實(shí)驗(yàn)數(shù)據(jù)有誤差；實(shí)驗(yàn)數(shù)據(jù)量大等。三、方三、方 法法曲線擬合方法曲線擬合方法.內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院 吳開騰吳開騰 制作制作一、基本概念：殘差一、基本概念：殘差(1,2,)iiieyyiN二、殘差的選取方法（原則）二、殘差的選取方法（原則）1、選取、選取 ，使偏差絕對值之和最小，即，使偏差絕對值之和最小，即)(x11minNNiiiiieyy擬合的目的：使得殘差最小，

3、其中擬合的目的：使得殘差最小，其中 為所要找為所要找的函數(shù)。的函數(shù)。( )yx內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院 吳開騰吳開騰 制作制作3、選取、選取 ，使偏差平方之和最小，即，使偏差平方之和最小，即)(x2、選取、選取 ，使偏差最大絕對值最小，即，使偏差最大絕對值最小，即)(x2211minNNiiiiieyymaxmaxminiiiiieyy內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院 吳開騰吳開騰 制作制作三、最小二乘原則（方法）三、最小二乘原則（方法）1、定義：使、定義：使“偏差平方和最小偏差平方和最小”的原則的原則稱為最小二乘原則。稱為最小二

4、乘原則。2、定義：按照最小二乘原則選取擬合曲、定義：按照最小二乘原則選取擬合曲線的方法，稱為線的方法，稱為最小二乘法最小二乘法。內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院 吳開騰吳開騰 制作制作3、線性最小二乘問題的提法、線性最小二乘問題的提法對給定數(shù)據(jù)表對給定數(shù)據(jù)表要求在某個函數(shù)類要求在某個函數(shù)類 中尋求一個函數(shù)（中尋求一個函數(shù)（線性構(gòu)成線性構(gòu)成）使使 滿足條件滿足條件1212NNx x xxy y yy01( ),( ),( )()mxxxmN *0011( )( )( )( )mmxaxaxax)(*x22( )11 ( )min ( )NNiiiixiixyxy式中，

5、式中， 是函數(shù)類是函數(shù)類 中中任一函數(shù)。任一函數(shù)。0 01 1( )( )( )( )m mxaxaxax 內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院 吳開騰吳開騰 制作制作滿足上述關(guān)系式的函數(shù)滿足上述關(guān)系式的函數(shù) ，稱為上述最小二乘，稱為上述最小二乘問題的問題的最小二乘解最小二乘解。)(*x如何求解最小二乘問題？如何求解最小二乘問題？22( )11 ( )min ( )(*)NNiiiixiixyxy1、確定函數(shù)類、確定函數(shù)類 原則：根據(jù)實(shí)際問題與所給數(shù)據(jù)點(diǎn)的變化規(guī)律；原則：根據(jù)實(shí)際問題與所給數(shù)據(jù)點(diǎn)的變化規(guī)律；有兩個基本環(huán)節(jié)有兩個基本環(huán)節(jié)2、求解如下方程：、求解如下方程：內(nèi)

6、江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院 吳開騰吳開騰 制作制作一、求解的基本原理：極小值原理一、求解的基本原理：極小值原理點(diǎn)點(diǎn) 是多元函數(shù)是多元函數(shù)的極小值點(diǎn)，從而有的極小值點(diǎn)，從而有 滿足方程組滿足方程組20110(,)( )NmmkkiiikS a aaaxy 01(,)ma aa01,ma aa0,(0,1,)kSkma內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院 吳開騰吳開騰 制作制作二、正則（法）方程組二、正則（法）方程組0001000101111101( , ) ( , )( ,)( , )( , ) ( , )( ,)( , )(*)( , )

7、 ( , )( ,)( , )mmmmmmnmafafaf 如果定義如果定義:對任意函數(shù)對任意函數(shù) 和和 ，引入記號，引入記號( )h x( )g x1( , )( ) ( )Niiih gh x g x內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院 吳開騰吳開騰 制作制作三、定理（最小二乘解的存在唯一性定理）三、定理（最小二乘解的存在唯一性定理）對于給定的一組實(shí)驗(yàn)數(shù)據(jù)對于給定的一組實(shí)驗(yàn)數(shù)據(jù) ( 互異，互異， ）, 在函數(shù)類在函數(shù)類 （ 且且 線性無關(guān)）線性無關(guān)）中，存在唯一的函數(shù)中，存在唯一的函數(shù)使得關(guān)系式（使得關(guān)系式（*）成立，并且其系數(shù)）成立，并且其系數(shù) 可以通過解法方程組

8、（可以通過解法方程組（*）得到。）得到。( ,)iix yix1,2,iN01 ( ), ( ),( )mxxx01( ),( ),( )mxxxmN*0011( )( )( )( )mmxaxaxax*01,ma aa內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院 吳開騰吳開騰 制作制作作為一種應(yīng)用，擬合曲線假設(shè)為代數(shù)曲線，即取作為一種應(yīng)用，擬合曲線假設(shè)為代數(shù)曲線，即取:01( )1,( ),( )mmxxxxx則有：則有：11(,)( ,0,1,)NNjkj kjkiiiiix xxj km 11(,)(0,1,)NNkj kkiiiiifx yxkm四、應(yīng)用分析四、應(yīng)用分析

9、內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院 吳開騰吳開騰 制作制作于是正則（法）方程組為：于是正則（法）方程組為：11102111111121111NNNmiiiiiiNNNNmiiiiiiiiinNNNNmmmmiiiiiiiiiNxxyaxxxax yaxxxx y內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院 吳開騰吳開騰 制作制作五、應(yīng)用舉例五、應(yīng)用舉例說明最小二乘法解決實(shí)際問題的具體步驟和某些技巧。說明最小二乘法解決實(shí)際問題的具體步驟和某些技巧。例例1(補(bǔ)充補(bǔ)充) 某種鋁合金的含鋁量為某種鋁合金的含鋁量為x(),其熔解溫度為其熔解溫度為y（0C），由實(shí)

10、驗(yàn)測得），由實(shí)驗(yàn)測得x與與y的數(shù)據(jù)如下表左邊的三列。試的數(shù)據(jù)如下表左邊的三列。試用最小二乘法建立用最小二乘法建立x與與y的經(jīng)驗(yàn)公式。的經(jīng)驗(yàn)公式。解：解：1、將、將數(shù)據(jù)數(shù)據(jù)進(jìn)行描圖觀察；進(jìn)行描圖觀察；2、確定擬合曲線的形式。這里根據(jù)所描圖形分析，、確定擬合曲線的形式。這里根據(jù)所描圖形分析，擬合曲線接近于一直線，故可用擬合曲線接近于一直線，故可用進(jìn)行擬進(jìn)行擬合這組數(shù)據(jù)；合這組數(shù)據(jù)；3、建立法方程組；、建立法方程組；4、解法方程組；、解法方程組；5、檢驗(yàn)擬合值與實(shí)測值之間的偏差（、檢驗(yàn)擬合值與實(shí)測值之間的偏差（）：）：內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院 吳開騰吳開騰 制作制

11、作內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院 吳開騰吳開騰 制作制作內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院 吳開騰吳開騰 制作制作616161261616iiiiiiiiiiiyxybaxxx法方程組法方程組3 .10117628.283656 .39614589 .3966baba對應(yīng)的代數(shù)方程組：對應(yīng)的代數(shù)方程組：內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院 吳開騰吳開騰 制作制作在以多項(xiàng)式在以多項(xiàng)式作為擬合函作為擬合函數(shù)（曲線）數(shù)（曲線）時，最小二時，最小二乘法的計算乘法的計算機(jī)實(shí)現(xiàn)步驟機(jī)實(shí)現(xiàn)步驟為右框圖。為右框圖。六、程序六、程序

12、化化內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院 吳開騰吳開騰 制作制作1、實(shí)際問題的解決中測得的數(shù)據(jù)并不都是等精度、等、實(shí)際問題的解決中測得的數(shù)據(jù)并不都是等精度、等地位的。顯然，對于精度高、地位重的數(shù)據(jù)應(yīng)該以足夠地位的。顯然，對于精度高、地位重的數(shù)據(jù)應(yīng)該以足夠的重視，在計算時，給以足夠的、更大的權(quán)重，在這種的重視，在計算時，給以足夠的、更大的權(quán)重，在這種情況下，求給定的數(shù)據(jù)的擬合曲線，情況下，求給定的數(shù)據(jù)的擬合曲線，2、利用最小二乘法原則上解決了最小二乘法意義下的、利用最小二乘法原則上解決了最小二乘法意義下的曲線擬合問題，但在實(shí)際問題的解決時，曲線擬合問題，但在實(shí)際問題的解決時，n往往很大，往往很大，法方程組往往是病態(tài)的，因而給求解帶來了一定的困難，法方程組往往是病態(tài)的，因而給求解帶來了一定的困難，為了解決這一問題，近年來，產(chǎn)生了一些新方法來克服為了解決這一問題，近年來，產(chǎn)生了一些新方法來克服這一困難，利用正交函數(shù)（正交多項(xiàng)式）作多項(xiàng)式的擬這一困難，利用正交函數(shù)（正交多項(xiàng)式）作多項(xiàng)式的擬合。合。小結(jié)小結(jié)內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院內(nèi)江師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)