曲線擬合算法研究及分析

曲線擬合算法研究及分析作者姓名郭騰騰專業(yè)信息與計(jì)算科學(xué)指導(dǎo)教師姓名田霞專業(yè)技術(shù)職務(wù)副教授作者姓名郭騰騰專業(yè)信息與計(jì)算科學(xué)指導(dǎo)教師姓名田霞專業(yè)技術(shù)職務(wù)副教授目錄摘要………………1第一章曲線擬合算法的簡(jiǎn)介………………2什么是曲線擬合算法………………2曲線擬合的大體思想………………2曲線擬合的概念……………………2

可化為線性擬合的非線性擬合……3第二章曲線擬合算法的研究………………4

曲線擬合的國內(nèi)外研究現(xiàn)狀………4曲線擬合的目的及意義…………4曲線擬合的國內(nèi)外研究現(xiàn)狀……5曲線擬合研究設(shè)計(jì)內(nèi)容…………5

曲線擬合的最小二乘法……………6最小二乘法的大體原理和多項(xiàng)式擬合…………6一般最小二乘擬合………………11最小二乘擬合多項(xiàng)式的存在唯一性……………13多項(xiàng)式擬合中克服正規(guī)方程組的病態(tài)…………14第三章曲線擬合算法的評(píng)價(jià)……………16參考文獻(xiàn)…………18致謝………………19附錄………………20摘要判斷最佳擬合那個(gè)數(shù)據(jù)的曲線的一個(gè)方式是通過找到誤差的平均值分析絕對(duì)誤差。平均誤差越小方程擬合的越好。分析這條曲線的另一個(gè)辦法是找到均方誤差。咱們用均方誤差代替平均誤差。一樣，均方誤差越小，方程擬合的越好。平均誤差和均方誤差之間最主要的不同是均方誤差考慮那些遠(yuǎn)離預(yù)測(cè)值的數(shù)據(jù)值。換句話說，遠(yuǎn)離預(yù)測(cè)值的數(shù)據(jù)對(duì)均方誤差的影響要比平均誤差更大。這是因?yàn)楫?dāng)一個(gè)兩位數(shù)取平方時(shí)，若是他們沒有被平方，他們的差會(huì)變大。統(tǒng)計(jì)學(xué)家們一般在分析頂用均方誤差，所以咱們也用均方誤差。在這里，通過對(duì)曲線擬合算法的進(jìn)一步研究，咱們對(duì)這一算法有了更深刻地熟悉，并運(yùn)用最小二乘法的原理，用列主元消去法編程實(shí)現(xiàn)了用改良的平方根法求正規(guī)方程組。關(guān)鍵詞：曲線擬合最小二乘法列主元消去法平方根法ABSTRACTOnewaytojudgehowwellthecurvefitsthedataistoanalyzetheabsoluteerrorbyfindingthemeanoftheerror.Thesmallerthemeanerror,thebetterthefitofequation.Anotherwaytoanalyzethecurveistofindthemeansquareerror.Insteadoffindingthemeanoftheerror,wefindthemeanofsquaringtheerror.Again,thesmallerthemeansquareerror,thebetterthefitofequation.Themaindifferencebetweenmeanerrorandmeansquareerroristhatthemeansquareerrortakescaremoreofanaccountfordatavaluesthatarefartherawayfromthepredictionvalues.Inotherwords,datathatfallsfarfromitspredictorhasalargereffectonthemeansquareerrorthanthemeanerror.Becausetwonumbers'differencesbecomegreaterwhentwonumbersaresquared.GenerallyStatisticiansusethesquaremeanerrorinanalyses,sowewilltoo.Here,Wehaveabettercomprehensionforthealgorithmbytakingdeeplyresearch，andtaketheLeastsquaremethodandColumnprincipleeliminationmethodtosolvethenormalequationsbyusingimprovedSquareRootMethod.Keywords:Curvefitting;Leastsquaremethod;Columnprincipleeliminationmethod;SquareRootMethod第一章曲線擬合算法的簡(jiǎn)介什么是曲線擬合算法1.1.1曲線擬合的大體思想曲線擬合用持續(xù)曲線近似地刻畫或比擬平面上離散點(diǎn)組所表示的坐標(biāo)之間的函數(shù)關(guān)系的一種數(shù)據(jù)處置方式。用解析表達(dá)式逼近離散數(shù)據(jù)的一種方式。在科學(xué)實(shí)驗(yàn)或社會(huì)活動(dòng)中，通過實(shí)驗(yàn)或觀測(cè)取得量x與y的一組數(shù)據(jù)對(duì)(x,y),i1,2,??????m，其中各x是彼此不同的。人們希望用一類與數(shù)據(jù)的背景材iii料規(guī)律相適應(yīng)的解析表達(dá)式，y=f(x,c)來反映量x與y之間的依賴關(guān)系，即在必然意義下“最佳”地逼近或擬合已知數(shù)據(jù)。f(x,c)常稱作擬合模型,式中c=(c1,c2,…cn)是一些待定參數(shù)。當(dāng)c在f中線性出現(xiàn)時(shí)，稱為線性模型，不然稱為非線性模型。有許多衡量擬合優(yōu)度的標(biāo)準(zhǔn)，最常常利用的一種做法是選擇參數(shù)c使得擬合模型與實(shí)際觀測(cè)值在各點(diǎn)的殘差(或離差)ek=yk—f(xk,c)的加權(quán)平方和達(dá)到最小，現(xiàn)在所求曲線稱作在加權(quán)最小二乘意義下對(duì)數(shù)據(jù)的擬合曲線。有許多求解擬合曲線的成功方式，對(duì)于線性模型一般通過成立和求解方程組來肯定參數(shù)，從而求得擬合曲線。至于非線性模型，則要借助求解非線性方程組或用最優(yōu)化方式求得所需參數(shù)才能取得擬合曲線，有時(shí)稱之為非線性最小二乘擬合。實(shí)際工作中，變量間未必都有線性關(guān)系，如服藥后血藥濃度與時(shí)刻的關(guān)系；疾病療效與療程長(zhǎng)短的關(guān)系；毒物劑量與致死率的關(guān)系等常呈曲線關(guān)系。對(duì)于某些非線性的資料能夠通過簡(jiǎn)單的變量變換使之直線化，如此就可以夠按最小二乘法原理求出變換后變量的直線方程，在實(shí)際工作中常利用此直線方程繪制資料的標(biāo)準(zhǔn)工作曲線，同時(shí)按照需要可將此直線方程還原為曲線方程，實(shí)現(xiàn)對(duì)資料的曲線擬合。在實(shí)際問題中，如何由測(cè)量的數(shù)據(jù)設(shè)計(jì)和肯定“最切近”的擬合曲線？關(guān)鍵在于選擇適當(dāng)?shù)臄M合曲線類型，有時(shí)按照專業(yè)知識(shí)和工作經(jīng)驗(yàn)即可肯定擬合曲線類型；在對(duì)擬合曲線一無所知的情形下，不妨先繪制數(shù)據(jù)的粗略圖形，或許從中觀測(cè)出擬合曲線的類型；更一般地，對(duì)數(shù)據(jù)進(jìn)行多種曲線類型的擬合，并計(jì)算均方誤差，用數(shù)學(xué)實(shí)驗(yàn)的方式找出在最小二乘法意義下的誤差最小的擬合函數(shù)。判斷最佳擬合那個(gè)數(shù)據(jù)的曲線的一個(gè)方式是通過找到誤差的平均值，分析絕對(duì)誤差。平均誤差越小方程擬合的越好。分析這條曲線的另一個(gè)辦法是找到均方誤差。咱們用均方誤差代替找平均誤差。一樣，均方誤差越小，方程擬合的越好。平均誤差和均方誤差之間最主要的不同是均方誤差考慮那些遠(yuǎn)離預(yù)測(cè)值的數(shù)據(jù)值。換句話說，遠(yuǎn)離預(yù)測(cè)值的數(shù)據(jù)對(duì)均方誤差的影響要比平均誤差更大。這是因?yàn)楫?dāng)一個(gè)兩位數(shù)取平方時(shí)，若是他們沒有被平方，他們的差會(huì)變大。1.1.2曲線擬合的概念曲線擬合(curvefitting)是指選擇適當(dāng)?shù)那€類型來擬合觀測(cè)數(shù)據(jù)，并用擬合的曲線方程分析兩變量間的關(guān)系。曲線擬合的方式很多。實(shí)際工作中，變量間未必都有線性關(guān)系，如服藥后血藥濃度與時(shí)刻的關(guān)系；疾病療效與療程長(zhǎng)短的關(guān)系；毒物劑量與致死率的關(guān)系等常呈曲線關(guān)系。對(duì)于某些非線性的資料能夠通過簡(jiǎn)單的變量變換使之直線化，如此就可以夠按最小二乘法原理求出變換后變量的直線方程，在實(shí)際工作中常利用此直線方程繪制資料的標(biāo)準(zhǔn)工作曲線，同時(shí)按照需要可將此直線方程還原為曲線方程，實(shí)現(xiàn)對(duì)資料的曲線擬合。在實(shí)際問題中，如何由測(cè)量的數(shù)據(jù)設(shè)計(jì)和肯定“最切近”的擬合曲線？關(guān)鍵在于選擇適當(dāng)?shù)臄M合曲線類型，有時(shí)按照專業(yè)知識(shí)和工作經(jīng)驗(yàn)即可肯定擬合曲線類型；在對(duì)擬合曲線一無所知的情形下，不妨先繪制數(shù)據(jù)的粗略圖形，或許從中觀測(cè)出擬合曲線的類型；更一般地，對(duì)數(shù)據(jù)進(jìn)行多種曲線類型的擬合，并計(jì)算均方誤差，用數(shù)學(xué)實(shí)驗(yàn)的方式找出在最小二乘法意義下的誤差最小的擬合函數(shù)。曲線擬合用持續(xù)曲線近似地刻畫或比擬平面上離散點(diǎn)組所表示的坐標(biāo)之間的函數(shù)關(guān)系的一種數(shù)據(jù)處置方式。用解析表達(dá)式逼近離散數(shù)據(jù)的一種方式。在科學(xué)實(shí)驗(yàn)或社會(huì)活動(dòng)中，通過實(shí)驗(yàn)或觀測(cè)取得量x與y的一組數(shù)據(jù)對(duì)(xi,yi)(i=1，2,…m),其中各xi是彼此不同的。人們希望用一類與數(shù)據(jù)的背景材料規(guī)律相適應(yīng)的解析表達(dá)式，y=f(x,c)來反映量x與y之間的依賴關(guān)系，即在必然意義下“最佳”地逼近或擬合已知數(shù)據(jù)°f(x,c)常稱作擬合模型，式中c=(c1,c2,...cn)是一些待定參數(shù)。當(dāng)c在f中線性出現(xiàn)時(shí)，稱為線性模型，不然稱為非線性模型。有許多衡量擬合優(yōu)度的標(biāo)準(zhǔn)，最常常利用的一種做法是選擇參數(shù)c使得擬合模型與實(shí)際觀測(cè)值在各點(diǎn)的殘差(或離差)ek=yk—f(xk,c)的加權(quán)平方和達(dá)到最小，現(xiàn)在所求曲線稱作在加權(quán)最小二乘意義下對(duì)數(shù)據(jù)的擬合曲線。有許多求解擬合曲線的成功方式，對(duì)于線性模型一般通過成立和求解方程組來肯定參數(shù)，從而求得擬合曲線。至于非線性模型，則要借助求解非線性方程組或用最優(yōu)化方式求得所需參數(shù)才能取得擬合曲線，有時(shí)稱之為非線性最小二乘擬合。可化為線性擬合的非線性擬合有些非線性擬合曲線能夠通過適當(dāng)?shù)淖兞刻鎿Q轉(zhuǎn)化為線性曲線，從而用線性擬合進(jìn)行處置。對(duì)于一個(gè)實(shí)際的曲線擬合問題，一般先按觀測(cè)值在直角坐標(biāo)平面上描出散點(diǎn)圖，看一看散點(diǎn)同哪類曲線圖形接近，然后選用相接近的曲線擬合方程。再通過適當(dāng)?shù)淖兞刻鎿Q轉(zhuǎn)化為線性擬合問題，按線性擬合解出后再還原為原變量所表示的曲線擬合方程。表1-1列舉了幾類經(jīng)適當(dāng)變換化為線性擬合求解的曲線擬合方程及變換關(guān)系。表1-1曲線擬合方程及變換方式曲線擬合方程變換關(guān)系變換后線性擬合方程y=axby二Iny,x二Inxy=a曲線擬合方程變換關(guān)系變換后線性擬合方程y=axby二Iny,x二Inxy=a+bx(a=Ina)y=ax+cxy=—ax+b—1—1y=,x=yxy=a+bx1y=—ax+b-1

y=-yy=b+axy=ax2+bx+c-1

y=-yy=ax2+bx+cyy=ax2+bx+cy=ax2+bx+c數(shù)據(jù)接近于直線，故宜采用線性函數(shù)y=a+bx擬合；數(shù)據(jù)散布接近于拋物線，可采用二次多項(xiàng)式y(tǒng)=a+ax+ax2擬合；數(shù)據(jù)散布特點(diǎn)是開始曲線上升較快隨后012仕逐漸變慢，宜采用雙曲線型函數(shù)y=^^或指數(shù)型函數(shù)y=ae-x；數(shù)據(jù)散布特ax+b點(diǎn)是曲線開始下降快，隨后逐漸變慢，宜采用y=^^或y=1或y=ae-bxax+ba+bx2等函數(shù)擬合。第二章曲線擬合算法的研究曲線擬合的國內(nèi)外研究現(xiàn)狀2.1.1曲線擬合的目的及意義實(shí)際工作中，變量間未必都有線性關(guān)系，如服藥后血藥濃度與時(shí)刻的關(guān)系；疾病療效與療程長(zhǎng)短的關(guān)系；毒物劑量與致死率的關(guān)系等常呈曲線關(guān)系。曲線擬合(curvefitting)是指選擇適當(dāng)?shù)那€類型來擬合觀測(cè)數(shù)據(jù)，并用擬合的曲線方程分析兩變量間的關(guān)系。曲線擬合的方式很多。對(duì)于某些非線性的資料能夠通過簡(jiǎn)單的變量變換使之直線化，如此就可以夠按最小二乘法原理求出變換后變量的直線方程，在實(shí)際工作中常利用此直線方程繪制資料的標(biāo)準(zhǔn)工作曲線，同時(shí)按照需要可將此直線方程還原為曲線方程，實(shí)現(xiàn)對(duì)資料的曲線擬合。在實(shí)際問題中，如何由測(cè)量的數(shù)據(jù)設(shè)計(jì)和肯定“最切近”的擬合曲線？關(guān)鍵在于選擇適當(dāng)?shù)臄M合曲線類型，有時(shí)按照專業(yè)知識(shí)和工作經(jīng)驗(yàn)即可肯定擬合曲線類型；在對(duì)擬合曲線一無所知的情形下，不妨先繪制數(shù)據(jù)的粗略圖形，或許從中觀測(cè)出擬合曲線的類型；更一般地，對(duì)數(shù)據(jù)進(jìn)行多種曲線類型的擬合，并計(jì)算均方誤差，用數(shù)學(xué)實(shí)驗(yàn)的方式找出在最小二乘法意義下的誤差最小的擬合函數(shù)?？傊€擬合在實(shí)際問題中應(yīng)用超級(jí)普遍。曲線擬合的國內(nèi)外研究現(xiàn)狀曲線擬合的最小二乘法在應(yīng)用科學(xué)中具有重要作用，它是離散點(diǎn)的最佳平方逼近，由哈爾條件可證明解的存在唯一性，而采用離散點(diǎn)正交多項(xiàng)式可避免解法方程時(shí)出現(xiàn)的病態(tài)問題，為用多項(xiàng)式做最小二乘模型提供了可行的算法。對(duì)于利用曲線擬合算法來預(yù)報(bào)轉(zhuǎn)子位置，從而更準(zhǔn)確地控制各相繞組開通與關(guān)斷的新方式，位置檢測(cè)環(huán)節(jié)是開關(guān)磁阻電動(dòng)機(jī)(SRM)驅(qū)動(dòng)系統(tǒng)的重要組成部份，檢測(cè)到的位置信號(hào)既是繞組開通與關(guān)斷的依據(jù)，也為轉(zhuǎn)速閉環(huán)控制提供了轉(zhuǎn)速信息?；诜峭娤嗉庸膭?lì)脈沖判斷SRM轉(zhuǎn)子位置的方式［1］，成立了最高鼓勵(lì)脈沖頻率的數(shù)學(xué)模型，分析了其對(duì)位置檢測(cè)精度的影響，提出了利用曲線擬合的最小二乘算法來預(yù)報(bào)轉(zhuǎn)子位置以提高控制精度的新方式，從而提高了無位置傳感器SRM驅(qū)動(dòng)系統(tǒng)的運(yùn)行性能［2］。此刻國內(nèi)外許多科學(xué)家都致力于曲線擬合算法的研究，例如，有人發(fā)明提出了一種反問題的運(yùn)算機(jī)曲線擬合方式，該方式包括步驟：將實(shí)際測(cè)試數(shù)據(jù)和缺省模型的理論曲線畫在運(yùn)算機(jī)顯示屏幕的同一圖形顯示區(qū)內(nèi)；判斷缺省模型是不是合理，若是缺省的理論模型與實(shí)測(cè)數(shù)據(jù)的曲線形態(tài)一致，則以為缺省模型合理，不然從頭選擇缺省模型；選擇模型參數(shù)；判斷選擇參數(shù)對(duì)理論曲線形狀的影響，通過可視化操作改變理論曲線的形態(tài)，使之與實(shí)際曲線的形態(tài)一致；判斷曲線位置是不是一致，若不一致則移動(dòng)實(shí)際曲線位置；計(jì)算反問題的解。2.1.3曲線擬合研究設(shè)計(jì)內(nèi)容曲線擬合是用持續(xù)曲線近似地刻畫或比擬平面上離散點(diǎn)組所表示的坐標(biāo)之間的函數(shù)關(guān)系，用解析表達(dá)式逼近離散數(shù)據(jù)的一種方式。在科學(xué)實(shí)驗(yàn)或社會(huì)活動(dòng)中，通過實(shí)驗(yàn)或觀測(cè)取得量x與y的一組數(shù)據(jù)對(duì)(xi,yi)(i=l,2,...m),其中各xi是彼此不同的。人們希望用一類與數(shù)據(jù)的背景材料規(guī)律相適應(yīng)的解析表達(dá)式y(tǒng)=f(x,c)來反映量x與y之間的依賴關(guān)系，即在必然意義下“最佳”地逼近或擬合已知數(shù)據(jù)。f(x,c)常稱作擬合模型，式中c=(c1,c2,...cn)是一些待定參數(shù)。當(dāng)c在f中線性出現(xiàn)時(shí)，稱為線性模型，不然稱為非線性模型。有許多衡量擬合優(yōu)度的標(biāo)準(zhǔn)，最常常利用的一種做法是選擇參數(shù)c使得擬合模型與實(shí)際觀測(cè)值在各點(diǎn)的殘差(或離差)ek=yk—f(xk,c)的加權(quán)平方和達(dá)到最小，現(xiàn)在所求曲線稱作在加權(quán)最小二乘意義下對(duì)數(shù)據(jù)的擬合曲線。對(duì)于線性模型一般通過成立和求解方程組來肯定參數(shù)，從而求得擬合曲線。至于非線性模型，則要借助求解非線性方程組或用最優(yōu)化方式求得所需參數(shù)才能取得擬合曲線，有時(shí)稱之為非線性最小二乘擬合。本課題擬總結(jié)有關(guān)類型的曲線的擬合的各類方式，并對(duì)其給出綜合評(píng)價(jià)，提出新的一種曲線擬合算法或?qū)σ延械乃惴ㄟM(jìn)行改良優(yōu)化，目標(biāo)是比起已有的算法，收斂速度更快，更節(jié)省時(shí)刻。曲線擬合的最小二乘法2.2.1最小二乘法的大體原理和多項(xiàng)式擬合1.最小二乘法的大體原理最小二乘法是一種數(shù)學(xué)優(yōu)化技術(shù)，它通過最小化誤差的平方和找到一組數(shù)據(jù)的最佳函數(shù)匹配。最小二乘法是用最簡(jiǎn)的方式求得一些絕對(duì)不可知的真值，而令誤差平方之和為最小。它通常常利用于曲線擬合。很多其他的優(yōu)化問題也可通過最小化能量或最大化熵用最小二乘形式表達(dá)。比如從最簡(jiǎn)單的一次函數(shù)y=kx+b講起。已知坐標(biāo)軸上有些點(diǎn),,,,(3,,(4,6),,，求通過這些點(diǎn)的圖象的一次函數(shù)關(guān)系式。固然這條直線不可能通過每一個(gè)點(diǎn)，咱們只要做到5個(gè)點(diǎn)到這條直線的距離的平方和最小即可,這這就需要用到最小二乘法的思想?然后就用線性擬合來求。從整體上考慮近似函數(shù)p(x)同所給數(shù)據(jù)點(diǎn)(x,y)(i=0,1,…,m)誤差iir-p(x)一y(i=0,1,…,m)TOC\o"1-5"\h\ziii的大小，常常利用的方式有以下三種：一是誤差r二p(x)-y(i=0,1，…,m)絕對(duì)值iii的最大值max|r，即誤差向量r=(r,r,r)t的*一范數(shù)；二是誤差絕對(duì)值的和i01m0<i<m區(qū)|r，即誤差向量r的1一范數(shù)；三是誤差平方和遲r2的算術(shù)平方根，即誤差iii=0i=0向量r的2—范數(shù)；前兩種方式簡(jiǎn)單、自然，但不便于微分運(yùn)算，后一種方式相當(dāng)于考慮2―范數(shù)的平方，因此在曲線擬合中常采用誤差平方和區(qū)r2來氣宇誤ii=0差r(i=0，1，…，m)的整體大小。i數(shù)據(jù)擬合的具體作法是：對(duì)給定數(shù)據(jù)(x,y)(i=0,1,…，m)，在取定的函數(shù)ii類①中，求p(x)w①，使誤差r=p(x)-y(i=0,1,…,m)的平方和最小，即iii

遲r2二遲[p(x)—y]=miniiii=0i=0從幾何意義上講，就是尋求與給定點(diǎn)(x,y)(i=0丄…,m)的距離平方和為最ii小的曲線y=p(x)(圖2-1)。函數(shù)p(x)稱為擬合函數(shù)或最小二乘解，求擬合函數(shù)p(x)的方式稱為曲線擬合的最小二乘法。在曲線擬合中，函數(shù)類①可有不同的選取方式.圖2-1圖2-12.多項(xiàng)式擬合假設(shè)給定數(shù)據(jù)點(diǎn)(x,y)(i=0,1,…,m),①為所有次數(shù)不超過n(n<m)的多項(xiàng)ii式組成的函數(shù)類，現(xiàn)求一p(x)=工axkw①，使得nkk=0(2-1)I=遲[p(x)—y]二遲(工axk—y)=min(2-1)niikiii=0i=0k=0當(dāng)擬合函數(shù)為多項(xiàng)式時(shí)，稱為多項(xiàng)式擬合，知足式(2-1)的p(x)稱為最小二乘n擬合多項(xiàng)式。特別地，當(dāng)n=1時(shí)，稱為線性擬合或直線擬合。顯然I=遲(工axk—y)kiii=ok=o為a,a,…a的多元函數(shù)，因此上述問題即為求I=I(a,a,…a)的極值問題。01n01n由多元函數(shù)求極值的必要條件，得(2-2)(2-3)—二2遲(工axk—y)xj二0,j=0,1,...,n沁k/ii(2-2)(2-3)/i=0k=0TOC\o"1-5"\h\z工(區(qū)xj+k)a=遲xjy,j=0,1,...,n

ikzik=0i=0i=0(2-3)是關(guān)于a,a,…a的線性方程組，用矩陣表示為01n(2-4)(2-4)(2-4)(2-4)m+1區(qū)xm+1區(qū)xi...￡區(qū)x厶x2￡0…厶xii=0：ii=0：i=0:遲xn區(qū)xn+1...遲:ii=0ii=0i=0ii「a1書y10a.1厶xyii:i=0：an」遲xnyiiLi=o」Xni式(2-3)或式(2-4)稱為正規(guī)方程組或法方程組。能夠證明，方程組(2-4)的系數(shù)矩陣是一個(gè)對(duì)稱正定矩陣，故存在唯一解。從式(2-4)中解出a(k=0,l,…，n),從而可得多項(xiàng)式k(2-5)p(x)=工axk(2-5)TOC\o"1-5"\h\znkk=0能夠證明，式(2-5)中的p(x)知足式(2-1)，即p(x)為所求的擬合多項(xiàng)式。nn咱們把區(qū)［p(x)-y1稱為最小二乘擬合多項(xiàng)式p(x)的平方誤差，記作niini=02=Xtp(x)-y]2niii=0由式(2-2)可得(2-6)i=0H2=區(qū)yi2-^q(區(qū)xik(2-6)i=0多項(xiàng)式擬合的一般方式可歸納為以下幾步:(1)k=0i=多項(xiàng)式擬合的一般方式可歸納為以下幾步:(1)由已知數(shù)據(jù)畫出函數(shù)粗略的圖形一一散點(diǎn)圖，肯定擬合多項(xiàng)式的次數(shù)n；列表計(jì)算區(qū)xj(j=0,1,…,2n)和區(qū)xjy(j=0,1,…,2n)；iiii=0i=0寫出正規(guī)方程組，求出a,a，…,a；01n寫出擬合多項(xiàng)式p(x)=￡axk。nkk=0在實(shí)際應(yīng)用中，n<m或n<m；當(dāng)n=m時(shí)所得的擬合多項(xiàng)式就是拉格朗日或牛頓插值多項(xiàng)式⑶。例1測(cè)得銅導(dǎo)線在溫度T(°C)時(shí)的電阻R(0)如表2-1，求電阻R與溫度Tii的近似函數(shù)關(guān)系。表2-1i012345T(C)iR(⑵i表2-3810表2-3810解畫出散點(diǎn)圖（圖2-2），可見測(cè)得的數(shù)據(jù)接近一條直線，故取n=1,擬合函數(shù)為列表如下表2-2正規(guī)方程組為「a「565.5_0=a1-1丄20029.4457245.3245.39325.83解方程組得a=70.572,a=0.92101故得R與T的擬合直線為R二70.572+0.921T利用上述關(guān)系式，能夠預(yù)測(cè)不同溫度時(shí)銅導(dǎo)線的電阻值。例如，由R=0得T=,即預(yù)測(cè)溫度T=-242.5°C時(shí)，銅導(dǎo)線無電阻。圖2-2例2已知實(shí)驗(yàn)數(shù)據(jù)如下表i01234567xi13456789yi1054211234試用最小二乘法求它的二次擬合多項(xiàng)式。解設(shè)擬合曲線方程為y=a+ax+ax2012列表如下表2-4Ixiyix2ix3ix4ixyiix2yii0110111101013592781154524416642561664352251256251050461362161296636571493432401749682645124096161287938172965612724381041001000100004040053323813017253171471025得正規(guī)方程組_952381］「a_0523813017a=1381301725317a1-2」「32_1471025解得a=13.4597,a=—3.6053,a=0.2676012故擬合多項(xiàng)式為y二13.4597—3.6053+0.2676x22.2.2—般最小二乘擬合多項(xiàng)式擬合形式比較規(guī)范，方式也比較簡(jiǎn)單，但在實(shí)際應(yīng)用中，針對(duì)所討論問題的特點(diǎn)，擬合函數(shù)可能為其他類型，如指數(shù)函數(shù)、有理函數(shù)、三角函數(shù)等，這就是一般最小二乘擬合問題。1.線性最小二乘擬合設(shè)9(x),9(x),??q(x)為n+1個(gè)線性無關(guān)(與向量的線性無關(guān)概念類似)的TOC\o"1-5"\h\z01n持續(xù)函數(shù)，①為9(x),9(x),???9(x)所張成的n+1維線性空間，即由其所有線性01n組合￡a9(x),agR(k=0,1,…,n)組成的集合，記作kkkk=0①二span^9(x),9(x),…,9(x)}01n任取p(x)g①，則p(x)=￡a9(x)，它是關(guān)于a,a，…,a的線性函數(shù)。kk01nk=0對(duì)已知數(shù)據(jù)點(diǎn)(x,y)(i=0,1，…,m)，在①中求一p(x)，使得iiI=￡[p(x)—yj=￡工a9(xI=￡[p(x)—yj=￡工a9(x)-ykkiiLk=02=min(2-7)iii=0i=0這就是一般線性最小二乘擬合問題⑷。同多項(xiàng)式擬合完全類似，上述問題歸結(jié)為多元函數(shù)的極值問題。由多元函數(shù)求極值的必要條件，可得刃=2區(qū)(工a9(x)-y)9(x)=0,j=0,1,...,nljlQak'klji=0k=0(x)p(x)ajiki=另9(x)y,j=0,1,…,njiii=0(2-8)它是關(guān)于

法方程組,

記a,a，…,a的線性方程組，即為一般線性最小二乘擬合的正規(guī)方程組或01n系數(shù)矩陣為對(duì)稱矩陣。9=(9(x),9(x),^9(x))t,k=0,1,…,nkk0k1kma=(a,a，…，a)T,y=(y,y，…，y)T01n01m式(2-8)(9,9)=￡9(x)9(x),j,k=0,1,…,njkjikii=0(9,y)=￡9(x)y,j=0,1,…,njjLLi=0可用矩陣表示為(2-9)(2-9)(2-9)(2-9)~(q,q)(q,q)…(q,q)a「(q,y)—00010n00(q,q)(q,q)…(q,q)a(q,y)1.0i.11n=(q,q)Ln0(q,q)n1…(q,q)nnan」(q,y)n式(2-9)也可表示為(2-10)GtGq=GT(2-10)若是G的列向量組線性無關(guān)，即R(G)=n+1，則正規(guī)方程組(2-9)或(2-10)存在唯一解a=a,a，…,a，從而p(x)=￡a申(x)為知足式(2-7)的最小二乘擬01nkkk=0合函數(shù)。顯然，式(2-9)或式(2-10)的解a=a,a，…,a是超定方程組Ga=y01n的最小二乘解。特別地，當(dāng)取申=xk(k=0,1，…n)時(shí)，即為多項(xiàng)式擬合，所以多項(xiàng)式擬合是k一般最小線性二乘擬合的特殊情形。例3已知一組數(shù)據(jù)如下表，在①二span{1,ex,e-x}中求其擬合函數(shù)。表2-502xiyi解設(shè)擬合函數(shù)為p(x)=a+aex+ae-x012即q(x)=1,*(x)=ex,q(x)=e-x

012代入式(2-10)得120.904842.202542.202542.407150.74082,y=2.615920.670322.830960.606653.054480.548813.288761111.1051711.22140G=11.3498611.4918211.6487211.82212所以「79.639095.29005-「18.3998「GtG=9.6390913.799276.9999,GTy=26.157185.290056.99994.1562713.456872222kk=0解正規(guī)方程組GTGa=GTy得a二1.98614,a二1.01700,a=—1.00304

012故所求擬合曲線為y=1.98614+1.01700ex—1.00304e-x2.2.3最小二乘擬合多項(xiàng)式的存在唯一性定理1設(shè)節(jié)點(diǎn)x,x,…,x互異，則方程組(2-10)的解存在唯一。01n證由克萊姆法則，只需證明方程組(2-10)的系數(shù)矩陣非奇異即可。用反證法，設(shè)方程組(2-10)的系數(shù)矩陣奇異，則其所對(duì)應(yīng)的齊次方程組i=0：iii=i=0：iii=0：VV厶(xn厶(xn+1ii1-i=0i=0XxniX0厶xn+1ii=0：a0a.1—王1X0厶xyiii=0：Xx2nii=0」an」XxnyiiLi=0」(2-11)有非零解。式(2-11)可寫為(2-12)y(Xxj+k)a=0,j=0,1,…,n(2-12)ikk—0i—0將式(2-12)中第j個(gè)方程乘以a.(j=0丄…，n),然后將新取得的n+1個(gè)方程左jjikj=0k=0i=0右兩頭別離相加,得Xa[X(Xxj+kjikj=0k=0i=0因?yàn)閖j=0其中aaxjj=0其中aaxj+kkjii=0j=0k=0axjji丿i=0、j=0丿厶axkkik=0丿上［p(x)『nii=0p(x)=yaxknkk=0所以p(x)—0(i=0,1,…,m)nip(x)是次數(shù)不超過n的多項(xiàng)式，它有m+1>n個(gè)相異零點(diǎn)，由代數(shù)大體定理，n必需有a—a—…a—0，與齊次方程組有非零解的假設(shè)矛盾。因此正規(guī)方程組01n(2-10)必有唯一解。定理2設(shè)a,a，…,a是正規(guī)方程組(2-10)的解，則p(x)=Xaxk是知01nnk

足式（2-7）的最小二乘擬合多項(xiàng)式。證只需證明，對(duì)任意一組數(shù)b,b，…,b組成的多項(xiàng)式Q（x）二工bxk，恒TOC\o"1-5"\h\z01nnkk=0

有區(qū)［Q(x)-y］2'區(qū)［p(x)-y］2niiniii=0i=0即可。區(qū)［Q(x)-y］2—遲［p(x)-y］2niiniii=0i=0=瓦［Q(x)-p(x)］2+2瓦［Qnininininiii=0i=0>0+2瓦工［(b—a)xj］?［^^axk—y］=2^^{(b—a正［(工jjikiijjkiiii=0j=0k=0j=0i=0k=0因?yàn)閍,(k=0,l,…，n)是正規(guī)方程組(2-10)的解，所以知足式(2-8)，因此有k區(qū)［Q(x)-y］2-區(qū)［pniiniii=0i=0故p(x)為最小二乘擬合多項(xiàng)式［5］。n2.2.4多項(xiàng)式擬合中克服正規(guī)方程組的病態(tài)在多項(xiàng)式擬合中，當(dāng)擬合多項(xiàng)式的次數(shù)較高時(shí)，其正規(guī)方程組往往是病態(tài)的。而且正規(guī)方程組系數(shù)矩陣的階數(shù)越高，病態(tài)越嚴(yán)峻；擬合節(jié)點(diǎn)散布的區(qū)間［x,x］偏離原點(diǎn)越遠(yuǎn)，病態(tài)越嚴(yán)峻；0mx（i=0,1，…，m）的數(shù)量級(jí)相差越大，病態(tài)越嚴(yán)峻。i為了克服以上缺點(diǎn)，一般采用以下辦法：盡可能少作高次擬合多項(xiàng)式，而作不同的分段低次擬合；不利用原始節(jié)點(diǎn)作擬合，將節(jié)點(diǎn)散布區(qū)間作平移，使新的節(jié)點(diǎn)齊關(guān)于原點(diǎn)對(duì)i稱，可大大降低正規(guī)方程組的條件數(shù)，從而減低病態(tài)程度。平移公式為：(2-13)(2-14),i=0,1，…,(2-13)(2-14)③對(duì)平移后的節(jié)點(diǎn)x（i=0,1，…，m）,再作緊縮或擴(kuò)張?zhí)幹?ix+=px,i=0,1，…,mii其中pp二,(r是擬合次數(shù))(2-15)pp二,(r是擬合次數(shù))(2-15)2r/(x)2r"'i=0通過如此調(diào)整能夠使x+的數(shù)量級(jí)不太大也不過小，特別對(duì)于等距節(jié)點(diǎn)ix=x+ih(i=0,1,…,m)，作式(2-14)和式(2-15)兩項(xiàng)變換后，其正規(guī)方程組i0的系數(shù)矩陣設(shè)為A,則對(duì)1?4次多項(xiàng)式擬合，條件數(shù)都不太大，都能夠取得滿意的結(jié)果。變換后的條件數(shù)上限表如下：表2-6擬合次數(shù)1234cond2(A)=1<<<435④在實(shí)際應(yīng)用中還能夠利用正交多項(xiàng)式求擬合多項(xiàng)式。一種方式是構(gòu)造離散正交多項(xiàng)式；另一種方式是利用切比雪夫節(jié)點(diǎn)求出函數(shù)值后再利用正交多項(xiàng)式。這兩種方式都使正規(guī)方程組的系數(shù)矩陣為對(duì)角矩陣，從而避免了正規(guī)方程組的病態(tài)性⑹。例4m=19,xo=328,h=1,x1=x°+ih,i=0,1,???，19,即節(jié)點(diǎn)散布在[328,347],作二次多項(xiàng)式擬合時(shí)，直接用x構(gòu)造正規(guī)方程組系數(shù)矩陣A，計(jì)算可得i0cond(A)=2.25x101620嚴(yán)峻病態(tài)，擬合結(jié)果完全不能用。作平移變換TOC\o"1-5"\h\z-328+347.0119x=x-,i=0,1,?T9ii2用x構(gòu)造正規(guī)方程組系數(shù)矩陣A，計(jì)算可得1cond(A)=4.483868x101621比cond(A)降低了13個(gè)數(shù)量級(jí)，病態(tài)顯著改善，擬合效果較好。0取緊縮因子沁0.1498丈(x)41i=0作緊縮變換x+=px,i=0,1,…,19。用x+構(gòu)造正規(guī)方程組系數(shù)矩陣A，計(jì)算可iii2得cond(A)=6.839，又比cond(A)降低了3個(gè)數(shù)量級(jí)，是良態(tài)的方程組，2221擬合效果十分理想。如有必要，在取得的擬合多項(xiàng)式p(x+)中利用原來節(jié)點(diǎn)所n對(duì)應(yīng)的變量X,可寫為小/、//x+x、、Q(x)=p(p-(x-om))nn2仍為一個(gè)關(guān)于X的n次多項(xiàng)式，正是咱們要求的擬合多項(xiàng)式。第三章曲線擬合算法的評(píng)價(jià)曲線擬合用持續(xù)曲線近似地刻畫或比擬平面上離散點(diǎn)組所表示的坐標(biāo)之間的函數(shù)關(guān)系的一種數(shù)據(jù)處置方式。用解析表達(dá)式逼近離散數(shù)據(jù)的一種方式。在科學(xué)實(shí)驗(yàn)或社會(huì)活動(dòng)中，通過實(shí)驗(yàn)或觀測(cè)取得量x與y的一組數(shù)據(jù)對(duì)(比，yi)(i=l,2,…m),其中各xi是彼此不同的。人們希望用一類與數(shù)據(jù)的背景材料規(guī)律相適應(yīng)的解析表達(dá)式，y=f(x,c)來反映量x與y之間的依賴關(guān)系，即在必然意義下“最佳”地逼近或擬合已知數(shù)據(jù)。f(x，c)常稱作擬合模型，式中c=(C],c2，...cn)是一些待定參數(shù)。當(dāng)c在f中線性出現(xiàn)時(shí)，稱為線性模型，不然稱為非線性模型。有許多衡量擬合優(yōu)度的標(biāo)準(zhǔn)，最常常利用的一種做法是選擇參數(shù)c使得擬合模型與實(shí)際觀測(cè)值在各點(diǎn)的殘差(或離差)ek=yk—f(xk，c)的加權(quán)平方和達(dá)到最小，現(xiàn)在所求曲線稱作在加權(quán)最小二乘意義下對(duì)數(shù)據(jù)的擬合曲線。有許多求解擬合曲線的成功方式，對(duì)于線性模型一般通過成立和求解方程組來肯定參數(shù)，從而求得擬合曲線。至于非線性模型，則要借助求解非線性方程組或用最優(yōu)化方式求得所需參數(shù)才能取得擬合曲線，有時(shí)稱之為非線性最小二乘擬合。實(shí)際工作中，變量間未必都有線性關(guān)系，如服藥后血藥濃度與時(shí)刻的關(guān)系；疾病療效與療程長(zhǎng)短的關(guān)系；毒物劑量與致死率的關(guān)系等常呈曲線關(guān)系。對(duì)于某些非線性的資料能夠通過簡(jiǎn)單的變量變換使之直線化，如此就可以夠按最小二乘法原理求出變換后變量的直線方程，在實(shí)際工作中常利用此直線方程繪制資料的標(biāo)準(zhǔn)工作曲線，同時(shí)按照需要可將此直線方程還原為曲線方程，實(shí)現(xiàn)對(duì)資料的曲線擬合。在實(shí)際問題中，如何由測(cè)量的數(shù)據(jù)設(shè)計(jì)和肯定“最切近”的擬合曲線？關(guān)鍵在于選擇適當(dāng)?shù)臄M合曲線類型，有時(shí)按照專業(yè)知識(shí)和工作經(jīng)驗(yàn)即可肯定擬合曲線類型；在對(duì)擬合曲線一無所知的情形下，不妨先繪制數(shù)據(jù)的粗略圖形，或許從中觀測(cè)出擬合曲線的類型；更一般地，對(duì)數(shù)據(jù)進(jìn)行多種曲線類型的擬合，并計(jì)算均方誤差，用數(shù)學(xué)實(shí)驗(yàn)的方式找出在最小二乘法意義下的誤差最小的擬合函數(shù)。對(duì)于解AX=