最小二乘法及其應(yīng)用4頁

1、最小二乘法及其應(yīng)用摘要 最小二乘法是一種數(shù)學(xué)優(yōu)化技術(shù)。它通過最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配。利用最小二乘法可以簡便地求得未知的數(shù)據(jù)，并使得這些求得的數(shù)據(jù)與實(shí)際數(shù)據(jù)之間誤差的平方和為最小。最小二乘法還可用于曲線擬合。其他一些優(yōu)化問題也可通過最小化能量或最大化熵用最小二乘法來表達(dá)。關(guān)鍵字 最小二乘法 經(jīng)驗(yàn)公式 近似計(jì)算1最小二乘法的簡介及其定義1.1關(guān)于最小二乘法的簡介1801年，意大利天文學(xué)家朱賽普·皮亞齊發(fā)現(xiàn)了第一顆小行星谷神星。經(jīng)過40天的跟蹤觀測后，由于谷神星運(yùn)行至太陽背后，使得皮亞齊失去了谷神星的位置。隨后全世界的科學(xué)家利用皮亞齊的觀測數(shù)據(jù)開始尋找谷神星，但是根據(jù)大多

2、數(shù)人計(jì)算的結(jié)果來尋找谷神星都沒有結(jié)果。時(shí)年24歲的高斯也計(jì)算了谷神星的軌道。奧地利天文學(xué)家海因里希·奧爾伯斯根據(jù)高斯計(jì)算出來的軌道重新發(fā)現(xiàn)了谷神星。  高斯使用的最小二乘法的方法發(fā)表于1809年他的著作天體運(yùn)動(dòng)論中。  法國科學(xué)家勒讓德于1806年獨(dú)立發(fā)現(xiàn)“最小二乘法”，但因不為世人所知而默默無聞。  勒讓德曾與高斯為誰最早創(chuàng)立最小二乘法原理發(fā)生爭執(zhí)。  1829年，高斯提供了最小二乘法的優(yōu)化效果強(qiáng)于其他方法的證明，因此被稱為高斯-莫卡夫定理。1.2最小二乘法的定義在科學(xué)研究和實(shí)際工作中,常常會(huì)遇到這樣的

3、問題:給定兩個(gè)變量x, y的m組實(shí)驗(yàn)數(shù)據(jù),如何從中找出這兩個(gè)變量間的函數(shù)關(guān)系的近似解析表達(dá)式(也稱為經(jīng)驗(yàn)公式),使得能對x與y之間的除了實(shí)驗(yàn)數(shù)據(jù)外的對應(yīng)情況作出某種判斷.     這樣的問題一般可以分為兩類:一類是對要對x與y之間所存在的對應(yīng)規(guī)律一無所知,這時(shí)要從實(shí)驗(yàn)數(shù)據(jù)中找出切合實(shí)際的近似解析表達(dá)式是相當(dāng)困難的,俗稱這類問題為黑箱問題;另一類是依據(jù)對問題所作的分析,通過數(shù)學(xué)建模或者通過整理歸納實(shí)驗(yàn)數(shù)據(jù),能夠判定出x與y之間滿足或大體上滿足某種類型的函數(shù)關(guān)系式,其中是n個(gè)待定的參數(shù),這些參數(shù)的值可以通過m組實(shí)驗(yàn)數(shù)據(jù)來確定(一般要求),

4、這類問題稱為灰箱問題.解決灰箱問題的原則通常是使擬合函數(shù)在處的值與實(shí)驗(yàn)數(shù)值的偏差平方和最小,即取得最小值.這種在方差意義下對實(shí)驗(yàn)數(shù)據(jù)實(shí)現(xiàn)最佳擬合的方法稱為"最小二乘法"。2最小二乘法原理在我們研究兩個(gè)變量(x, y)之間的相互關(guān)系時(shí)，通?？梢缘玫揭幌盗谐蓪Φ臄?shù)據(jù)(x1, y1、x2, y2. xm , ym)；將這些數(shù)據(jù)描繪在x -y直角坐標(biāo)系中(如圖1), 若發(fā)現(xiàn)這些點(diǎn)在一條直線附近，可以令這條直線方程如(式1-1)。 Y計(jì)= a0 + a1 X (式1-1) 其中：a0、a1 是任意實(shí)數(shù) 為建立這直線方程就要確定a0和a1，應(yīng)用最小二乘法原理，將實(shí)測值Yi與利用(式1-

5、1)計(jì)算值(Y計(jì)=a0+a1X)的離差(Yi-Y計(jì))的平方和(Yi - Y計(jì))2最小為“優(yōu)化判據(jù)”。 令: = (Yi - Y計(jì))2 (式1-2) 把(式1-1)代入(式1-2)中得: = (Yi - a0 - a1 Xi)2 (式1-3) 當(dāng)(Yi-Y計(jì))平方最小時(shí)，可用函數(shù) 對a0、a1求偏導(dǎo)數(shù)，令這兩個(gè)偏導(dǎo)數(shù)等于零。 m a0 + (Xi ) a1 = Yi (式1-6) (Xi ) a0 + (Xi2 ) a1 = (Xi, Yi) (式1-7) 得到的兩個(gè)關(guān)于a0、 a1為未知數(shù)的兩個(gè)方程組，解這兩個(gè)方程組得出： a0 = (Yi) / m - a1(Xi) / m (式1-8) a

6、1 = Xi Yi - (Xi Yi) / Xi2 - (Xi)2 ) (式1-9) 這時(shí)把a(bǔ)0、a1代入(式1-1)中, 此時(shí)的(式1-1)就是我們回歸的元線性方程即：數(shù)學(xué)模型。 在回歸過程中，回歸的關(guān)聯(lián)式是不可能全部通過每個(gè)回歸數(shù)據(jù)點(diǎn)(x1, y1、 x2, y2.xm,ym),為了判斷關(guān)聯(lián)式的好壞,可借助相關(guān)系數(shù)“R”，統(tǒng)計(jì)量“F”，剩余標(biāo)準(zhǔn)偏差“S”進(jìn)行判斷；“R”越趨近于 1 越好；“F”的絕對值越大越好；“S”越趨近于 0 越好。 R = XiYi - m (Xi / m)(Yi / m)/ SQRXi2 - m (Xi / m)2Yi2 - m (Yi / m)2 (式1-10)

7、 在(式1-1)中，m為樣本容量，即實(shí)驗(yàn)次數(shù)；Xi、Yi分別任意一組實(shí)驗(yàn)X、Y的數(shù)值。微積分應(yīng)用課題一 最小二乘法 從前面的學(xué)習(xí)中, 我們知道最小二乘法可以用來處理一組數(shù)據(jù),可以從一組測定的數(shù)據(jù)中尋求變量之間的依賴關(guān)系, 這種函數(shù)關(guān)系稱為經(jīng)驗(yàn)公式.本課題將介紹最小二乘法的精確定義及如何尋求與之間近似成線性關(guān)系時(shí)的經(jīng)驗(yàn)公式.假定實(shí)驗(yàn)測得變量之間的個(gè)數(shù)據(jù)則在平面上,可以得到個(gè)點(diǎn),這種圖形稱為“散點(diǎn)圖”, 從圖中可以粗略看出這些點(diǎn)大致散落在某直線近旁, 我們認(rèn)為與之間近似為一線性函數(shù),。3應(yīng)用背景在科學(xué)研究和實(shí)際工作中,人們常常會(huì)遇到這樣的問題:給定兩個(gè)變量x, y的m組實(shí)驗(yàn)數(shù)據(jù),如何從中

8、找出這兩個(gè)變量間的函數(shù)關(guān)系的近似解析表達(dá)式使得能對x與y之間的除了實(shí)驗(yàn)數(shù)據(jù)外的對應(yīng)情況作出某種判斷。這樣的問題一般可以分為兩類:一類是對要對x與y之間所存在的對應(yīng)規(guī)律一無所知,這時(shí)要從實(shí)驗(yàn)數(shù)據(jù)中找出切合實(shí)際的近似解析表達(dá)式是相當(dāng)困難的,俗稱這類問題為黑箱問題;另一類是依據(jù)對問題所作的分析,通過數(shù)學(xué)建?；蛘咄ㄟ^整理歸納實(shí)驗(yàn)數(shù)據(jù),能夠判定出x與y之間滿足或大體上滿足某種類型的函數(shù)關(guān)系式,其中是n個(gè)待定的參數(shù),這些參數(shù)的值可以通過m組實(shí)驗(yàn)數(shù)據(jù)來確定,這類問題稱為灰箱問題.解決灰箱問題的原則通常是使擬合函數(shù)在處的值與實(shí)驗(yàn)數(shù)值的偏差平方和最小,即取得最小值.這種在方差意義下對實(shí)驗(yàn)數(shù)據(jù)實(shí)現(xiàn)最佳擬合的方法稱

9、為"最小二乘法"。4實(shí)際應(yīng)用用最小二乘法分析國民經(jīng)濟(jì)的增長趨勢：GDP是衡量國名經(jīng)濟(jì)發(fā)展的重要指標(biāo)，我國近幾年來國名經(jīng)濟(jì)高速發(fā)展，通過最小二乘法我們可以大致做出估計(jì)出國內(nèi)GDP的變化趨勢，通過GDP的發(fā)展我們可以大致分析近幾年我國的經(jīng)濟(jì)發(fā)展趨勢，從而大致估計(jì)國內(nèi)的經(jīng)濟(jì)發(fā)展趨勢以及GDP的增長速率。用最小二乘法求解物理實(shí)驗(yàn)中的問題（超聲光柵測液體聲速）：物理中我們經(jīng)常需要測量比值定義的物理量。物理中當(dāng)多次測量兩個(gè)線性相關(guān)的物理量，對這兩個(gè)物理量我們一般采用最小二乘法的方法進(jìn)行計(jì)算，繼而得到兩個(gè)變量的相關(guān)關(guān)系，而這兩個(gè)變量的比值通常我們所要求的待測物理量。5總結(jié)最小二乘法是一個(gè)比較古老的方法,早在十八世紀(jì),就由首先創(chuàng)立并成功地應(yīng)用于天文觀測和大地測量工作中.此后近三百年來,它己廣泛應(yīng)