最小二乘法課程設(shè)計(jì)

最小二乘法（1）第15頁(yè)共15頁(yè)1、前言1、1背景介紹最小二乘法最早是由高斯提出的，這是數(shù)據(jù)處理的一種很有效的統(tǒng)計(jì)方法。高斯用這種方法解決了天文學(xué)方面的問(wèn)題，特別是確定了某些行星和彗星的天體軌跡。這類天體的橢圓軌跡由5個(gè)參數(shù)確定，原則上，只要對(duì)它的位置做5次測(cè)量就足以確定它的整個(gè)軌跡。但由于存在測(cè)量誤差，由5次測(cè)量所確定的運(yùn)行軌跡極不可靠，相反，要進(jìn)行多次測(cè)量，用最小二乘法消除測(cè)量誤差，得到有關(guān)軌跡參數(shù)的更精確的值。最小二乘法近似將幾十次甚至上百次的觀察所產(chǎn)生的高維空間問(wèn)題降到了橢圓軌跡模型的五維參數(shù)空間。最小二乘法普遍適用于各個(gè)科學(xué)領(lǐng)域，它在解決實(shí)際問(wèn)題中發(fā)揮了重要的作用。它在生產(chǎn)實(shí)踐、科學(xué)實(shí)驗(yàn)及經(jīng)濟(jì)活動(dòng)中均有廣泛應(yīng)用。比如說(shuō)，我們引入等效時(shí)間的概念,根據(jù)Arrhenius函數(shù)和指數(shù)函數(shù)研究水化熱化學(xué)反應(yīng)速率隨溫度的變化,最后采用最小二乘法回歸分析試驗(yàn)數(shù)據(jù),確定絕熱溫升和等效時(shí)間的關(guān)系式。1、2問(wèn)題引入為了更好地掌握最小二乘法，我們引入以下兩個(gè)問(wèn)題：(1)假設(shè)已知一組二維數(shù)據(jù)（），（i=1,2,3···n），怎樣確定它的擬合曲線y=f(x)（假設(shè)為多項(xiàng)式形式f(x)=）,使得這些點(diǎn)與曲線總體來(lái)說(shuō)盡量接近？(2)若擬合模型為非多項(xiàng)式形式，怎樣根據(jù)已知的二維數(shù)據(jù)用最小二乘線性擬合確定其系數(shù)，求出曲線擬合函數(shù)？怎樣從給定的二維數(shù)據(jù)出發(fā)，尋找一個(gè)簡(jiǎn)單合理的函數(shù)來(lái)擬合給定的一組看上去雜亂無(wú)章的數(shù)據(jù)，正是我們要解決的問(wèn)題。1、3內(nèi)容簡(jiǎn)介本文主要介紹最小二乘法及其實(shí)現(xiàn)方法，通過(guò)對(duì)其原理的闡述，并以實(shí)例的形式說(shuō)明了如何使用MATLAB函數(shù)求解擬合問(wèn)題。利用算例中的已知二維數(shù)據(jù)，進(jìn)行曲線擬合。具體內(nèi)容如下：(1)最小二乘法的概念(2)最小二乘法的原理及實(shí)現(xiàn)方法(3)最小二乘法的應(yīng)用(4)具體實(shí)例的求解2、最小二乘法的概念在科學(xué)實(shí)驗(yàn)的統(tǒng)計(jì)方法研究中，往往要從一組實(shí)驗(yàn)數(shù)（）（i=1,2,3···m）中尋找自變量x與y之間的函數(shù)關(guān)系y=F(x).由于觀測(cè)數(shù)據(jù)往往不準(zhǔn)確，此時(shí)不要求y=F(x)經(jīng)過(guò)所有點(diǎn)（），而只要求在給定上誤差=F（）（i=1,2,3···m）按某種標(biāo)準(zhǔn)最小。若記=,就是要求向量的范數(shù)最小。如果用最大范數(shù)，計(jì)算上困難較大，通常就采用Euclid范數(shù)作為誤差度量的標(biāo)準(zhǔn)。關(guān)于最小二乘法的一般提法是：對(duì)于給定的一組數(shù)據(jù)（）(i=0,1,…m)要求在函數(shù)空間Φ=span{}中找一個(gè)函數(shù)S*(x)，使加權(quán)的誤差平方和=最小，其中，是[a,b]上的權(quán)函數(shù)，它表示反應(yīng)數(shù)據(jù)（）在實(shí)驗(yàn)中所占數(shù)據(jù)的比重。我們說(shuō)，S(x)=(n<m)這就是一般的最小二乘逼近，用幾何語(yǔ)言說(shuō)就是曲線擬合的最小二乘法。注意這里的，是線性無(wú)關(guān)的。在研究?jī)蓚€(gè)變量之間的關(guān)系時(shí)，可以用回歸分析的方法進(jìn)行分析。當(dāng)確定了描述兩個(gè)變量之間的回歸模型后，就可以使用最小二乘法估計(jì)模型中的參數(shù)，進(jìn)而建立經(jīng)驗(yàn)方程。為了通過(guò)試驗(yàn)數(shù)據(jù)來(lái)估計(jì)參數(shù)的值，可以采用許多統(tǒng)計(jì)方法，而最小二乘法是目前最常用、最基本的。3、最小二乘法的原理及實(shí)現(xiàn)方法3、1最小二乘法的原理簡(jiǎn)單地說(shuō)，最小二乘的思想就是要使得觀測(cè)點(diǎn)和估計(jì)點(diǎn)的距離的平方和達(dá)到最小.這里的“二乘”指的是用平方來(lái)度量觀測(cè)點(diǎn)與估計(jì)點(diǎn)的遠(yuǎn)近（在古漢語(yǔ)中“平方”稱為“二乘”），“最小”指的是參數(shù)的估計(jì)值要保證各個(gè)觀測(cè)點(diǎn)與估計(jì)點(diǎn)的距離的平方和達(dá)到最小.例如，對(duì)于回歸模型y=S(x),若（）（i=1,2,3···m）為收集到的觀測(cè)數(shù)據(jù)，則應(yīng)該用來(lái)估計(jì)，這里是（）（i=1,2,3···m）的估計(jì)值。它們之間距離的平方和就是。進(jìn)而最小二乘估計(jì)量就是使===(*)達(dá)到最小值的參數(shù)。從計(jì)算的角度看，最小二乘法與插值法類似，都是處理數(shù)據(jù)的算法.但從創(chuàng)設(shè)的思想看，二者卻有本質(zhì)的不同。前者尋求一條曲線，使其與觀測(cè)數(shù)據(jù)“最接近”，目的是代表觀測(cè)數(shù)據(jù)的趨勢(shì)；后者則是使曲線嚴(yán)格通過(guò)給定的觀測(cè)數(shù)據(jù)，其目的是通過(guò)來(lái)自函數(shù)模型的數(shù)據(jù)來(lái)近似刻畫(huà)該函數(shù).在觀測(cè)數(shù)據(jù)帶有測(cè)量誤差的情況下，就會(huì)使得這些觀測(cè)數(shù)據(jù)偏離函數(shù)曲線，結(jié)果使得與觀測(cè)數(shù)據(jù)保持一致的插值法不如最小二乘法得到的曲線更符合客觀實(shí)際.3、2最小二乘法的實(shí)現(xiàn)方法3、2、1一般的最小二乘曲線擬合給定一組測(cè)量數(shù)據(jù){（），i=0,1,2,…,m}，基于最小二乘原理，求得變量x和y之間的函數(shù)關(guān)系f(x,A),使它最佳地逼近已知數(shù)據(jù)。其中A=（）是一些待定參數(shù)。為了是問(wèn)題的提法更有一般性，通常把最小二乘法中的都考慮為加權(quán)平方和，即=其中，是[a,b]上的權(quán)函數(shù)，它表示反應(yīng)數(shù)據(jù)（）在實(shí)驗(yàn)中所占數(shù)據(jù)的比重。選擇參數(shù)A使得加權(quán)平方和最小，即求滿足(**)的f*(x)。要使（**）最小，它轉(zhuǎn)換為求多元函數(shù)的極小點(diǎn)問(wèn)題。由求多遠(yuǎn)函數(shù)極值的必要條件，有若記，則可改寫(xiě)為（***）此方程成為法方程。它也可以寫(xiě)成矩陣形式由于，線性無(wú)關(guān)，故,方程組（***）存在唯一解（i=1,2,3···n）,從而得到函數(shù)f(x)的最小二乘法解為可以證明，這樣得到的對(duì)于任何多項(xiàng)式形式的，都有故確實(shí)所求最小二乘解。以上法方程是一種實(shí)現(xiàn)方法，對(duì)于多項(xiàng)式擬合，我們還可以這樣求。設(shè)f(x,A)=,由最小二乘法確定其系數(shù)，假設(shè)每個(gè)數(shù)據(jù)點(diǎn)的權(quán)為1，令最小，則有：（j=0,1,2,…n）即：得方程組：此方程稱為多項(xiàng)式擬合的法方程。令X=Y=A=則得：XA=Y,從而A=3、2、2其他情況的最小二乘法擬合某些情況的非多項(xiàng)式擬合可化為一般情況下的最小二乘法。在這種情況下，我們可通過(guò)變數(shù)變換將其化為線性模型。利用最小二乘線性擬合確定其系數(shù)，再利用逆變換給出原問(wèn)題的曲線擬合函數(shù)。例1：雙曲線1/y=a+(b/x)(a>0)(圖1)我們可令則得，從而利用最小二乘法進(jìn)行線性擬合求出a,b。例2：倒指數(shù)曲線（圖2）為了確定a,b，對(duì)上式兩端取對(duì)數(shù)，得lny=lna+b/x.我們令Y=lny,A=lna,X=1/x,則由（）計(jì)算出（）,從而求出Y=A+Bx,進(jìn)而求出。例3：曲線（圖3）我們對(duì)方程取對(duì)數(shù)，得lny=lna+bx令Y=lny,A=lna,則原問(wèn)題轉(zhuǎn)化為解Y=A+Bx的線性問(wèn)題。除此之外，S型曲線，，以及對(duì)數(shù)曲線等。這些曲線模型都可通過(guò)線性擬合來(lái)求得。:圖1：1/y=a+(b/x)(a>0)圖2：圖34、數(shù)值實(shí)驗(yàn)4、1問(wèn)題提出下面，我們研究這樣一個(gè)算例：已知如下表格，怎樣利用最小二乘法求出擬合曲線？123451.52.53.55.07.54、2問(wèn)題分析光從這些雜亂無(wú)章的數(shù)據(jù)是無(wú)從入手的。于是我們采取以下方法來(lái)分析：（1）畫(huà)出散點(diǎn)圖（圖4），該過(guò)程可利用MATLAB（后面會(huì)詳細(xì)介紹），其具體程序可見(jiàn)附錄中的程序1。圖4：已知算例數(shù)據(jù)的散點(diǎn)圖(2)利用散點(diǎn)圖、已積累的函數(shù)曲線形狀的知識(shí)和試驗(yàn)數(shù)據(jù)，我們可揣測(cè)已知的二維數(shù)據(jù)可用函數(shù)擬合。4.3數(shù)學(xué)模型4.3.1模型的建立根據(jù)問(wèn)題分析，我們建立回歸模型。然后把非線性多項(xiàng)式擬合模型轉(zhuǎn)換為線性問(wèn)題。我們對(duì)方程取對(duì)數(shù)，得lny=lna+bx令Y=lny,A=lna,則原問(wèn)題轉(zhuǎn)化為解Y=A+bx的線性問(wèn)題。即有取對(duì)數(shù)，并令取對(duì)數(shù)，并令Y=lny,A=lna,Y=A+bx這樣的話，問(wèn)題則轉(zhuǎn)換為已經(jīng)以下數(shù)據(jù)，求A,b的問(wèn)題。123451.52.53.55.07.50.4054651180.9162907311.2527629681.6094379122.0149030214.3.2模型首先，我們來(lái)簡(jiǎn)單地了解一下MATLAB這個(gè)軟件。MATLAB是三大數(shù)學(xué)軟件之一，功能強(qiáng)大、簡(jiǎn)單易學(xué)、編程效率高，其擬合解法在解方程和求函數(shù)極值問(wèn)題上是一種有效求解方法。在這里，值得一提的是MATLAB最優(yōu)化工具箱提供了提供了多項(xiàng)式函數(shù)擬合的語(yǔ)句a=polyfit(xdata,ydata,n)其中n表示多項(xiàng)式的最高階數(shù)，xdata,ydata為將要擬合的數(shù)據(jù)，它是用數(shù)組的方式輸入。輸出參數(shù)a為擬合多項(xiàng)式的系數(shù)。多項(xiàng)式x處的擬合值y可用下面程序計(jì)算：y=ployval(a,x)于是，我們通過(guò)MATLAB編程（具體見(jiàn)附錄中的程序2）得出以下結(jié)果：a=0.39120.066250.2798即有Y=0.0662x+0.03912轉(zhuǎn)換為原擬合函數(shù)，則為4.3.3模型由模型求解，我們得出了已知數(shù)據(jù)的擬合函數(shù)為：在這里我們簡(jiǎn)單討論一下最小二乘法的擬合效果。由附錄程序2，我們得出=e1==50.2798換個(gè)角度，我們從圖像（附錄程序2中的圖六）上來(lái)分析，雖然沒(méi)有經(jīng)過(guò)已知數(shù)據(jù)標(biāo)記的所有點(diǎn)，但是已經(jīng)極力逼近，必通過(guò)檢驗(yàn)有達(dá)到最小。綜上所述，通過(guò)最小二乘法，該算例的擬合函數(shù)為，并且有：min=50.27985、總結(jié)最小二乘法是指使因變量估計(jì)值與實(shí)測(cè)值間的相對(duì)誤差平方和為最小。在研究?jī)蓚€(gè)變量之間的關(guān)系時(shí)，我們可以用回歸分析的方法進(jìn)行分析。當(dāng)確定了描述兩個(gè)變量之間的回歸模型后，就可以使用最小二乘法估計(jì)模型中的參數(shù)，進(jìn)而建立數(shù)學(xué)模型，然后通過(guò)MATLAB求解模型。通過(guò)本文實(shí)例模型（非多項(xiàng)式形式）的求解，我們學(xué)會(huì)了怎樣從給定的二維數(shù)據(jù)出發(fā)，尋找一個(gè)簡(jiǎn)單合理的函數(shù)來(lái)擬合給定的一組看上去雜亂無(wú)章的數(shù)據(jù)。如何巧妙地運(yùn)用最小二乘法解決數(shù)據(jù)擬合問(wèn)題，這不僅對(duì)我們?cè)诮窈蟮膶W(xué)習(xí)有一定的幫助，而且在生產(chǎn)實(shí)踐、科學(xué)實(shí)驗(yàn)中也起到了一定的作用。

參考文獻(xiàn)[1]李慶楊主編.數(shù)值方法（第4版）[M].華中科技大學(xué)出版社，2006.[2]鄧建中主編.計(jì)算方法（第二版）[M].交通大學(xué)出版社，2001.[3]劉瓊蓀編.數(shù)學(xué)實(shí)驗(yàn)[M].北京：高等教育出版社,2004年7月.P135-P145.[4]劉衛(wèi)國(guó)等編注．MATLAB程序設(shè)計(jì)教程（第一版）[M]．北京：中國(guó)水利水電出版社，2005：1-300.[5]張明輝王學(xué)輝等編注．MATLAB6.1最新應(yīng)用詳解[M]．北京：中國(guó)水利水電出版社，2001：1-180.[6]姜啟源,謝金星,葉俊編．?dāng)?shù)學(xué)模型（第三版）[M]．北京：高等教育出版社，2005：1-202.

附錄程序1：clear;clc;x=[12345];y=[1.52.53.55.07.5];plot(x,y,'ro');%用圓圈標(biāo)記（）圖5：已知算例數(shù)據(jù)的散點(diǎn)圖程序二：clear;clc;x=[12345];y=[1.52.53.55.07.5];Y=log(y);a=polyfit(x,Y,1)%求一次擬合多項(xiàng)式的系數(shù)Y1=polyval(a,x);%求的一次擬合多項(xiàng)式值e=Y1-y;e1=sum(e.*e);