最小二乘法的原理及其應(yīng)用說(shuō)課講解

1、精品文檔最小二乘法的原理及其應(yīng)用一、研究背景在科學(xué)研究中，為了揭示某些相關(guān)量之間的關(guān)系，找出其規(guī)律，往往需要做 數(shù)據(jù)擬合，其常用方法一般有傳統(tǒng)的插值法、 最佳一致逼近多項(xiàng)式、最佳平方逼 近、最小二乘擬合、三角函數(shù)逼近、帕德（Pade）逼近等，以及現(xiàn)代的神經(jīng)網(wǎng)絡(luò) 逼近、模糊逼近、支持向量機(jī)函數(shù)逼近、小波理論等。其中，最小二乘法是一種最基本、最重要的計(jì)算技巧與方法。它在建模中有著廣泛的應(yīng)用，用這一理論解決討論問(wèn)題簡(jiǎn)明、 清晰，特別在大量數(shù)據(jù)分析的 研究中具有十分重要的作用和地位。 隨著最小二乘理論不斷的完善，其基本理論 與應(yīng)用已經(jīng)成為一個(gè)不容忽視的研究課題。本文著重討論最小二乘法在化學(xué)生產(chǎn) 以及系

2、統(tǒng)識(shí)別中的應(yīng)用。二、最小二乘法的原理人們對(duì)由某一變量t或多個(gè)變量t1.tn構(gòu)成的相關(guān)變量y感興趣。如彈簧 的形變與所用的力相關(guān)，一個(gè)企業(yè)的盈利與其營(yíng)業(yè)額，投資收益和原始資本有關(guān)。 為了得到這些變量同y之間的關(guān)系，便用不相關(guān)變量去構(gòu)建 y，使用如下函數(shù)模 型q個(gè)相關(guān)變量或p個(gè)附加的相關(guān)變量去擬和。通常人們將一個(gè)可能的、對(duì)不相關(guān)變量t的構(gòu)成都無(wú)困難的函數(shù)類型充作函 數(shù)模型（如拋物線函數(shù)或指數(shù)函數(shù)）。參數(shù)x是為了使所選擇的函數(shù)模型同觀測(cè) 值y相匹配。（如在測(cè)量彈簧形變時(shí)，必須將所用的力與彈簧的膨脹系數(shù)聯(lián)系起 來(lái)）。其目標(biāo)是合適地選擇參數(shù)，使函數(shù)模型最好的擬合觀測(cè)值。一般情況下， 觀測(cè)值遠(yuǎn)多于所選擇的

3、參數(shù)。其次的問(wèn)題是怎樣判斷不同擬合的質(zhì)量。 高斯和勒讓德的方法是，假設(shè)測(cè)量 誤差的平均值為0。令每一個(gè)測(cè)量誤差對(duì)應(yīng)一個(gè)變量并與其它測(cè)量誤差不相關(guān)（隨機(jī)無(wú)關(guān)）。人們假設(shè)，在測(cè)量誤差中絕對(duì)不含系統(tǒng)誤差，它們應(yīng)該是純偶然 誤差，圍繞真值波動(dòng)。除此之外，測(cè)量誤差符合正態(tài)分布，這保證了偏差值在最 后的結(jié)果y上忽略不計(jì)。確定擬合的標(biāo)準(zhǔn)應(yīng)該被重視，并小心選擇，較大誤差的測(cè)量值應(yīng)被賦予較小 的權(quán)。并建立如下規(guī)則：被選擇的參數(shù)，應(yīng)該使算出的函數(shù)曲線與觀測(cè)值之差的 平方和最小。用函數(shù)表示為：mjn工（如-三用歐幾里得度量表達(dá)為：吟口 |必一外-最小化問(wèn)題的精度，依賴于所選擇的函數(shù)模型。三、最小二乘法的應(yīng)用（1）最

4、小二乘法在化學(xué)生產(chǎn)中的應(yīng)用：蔗糖的水解反應(yīng)的實(shí)驗(yàn)該實(shí)驗(yàn)的目的是測(cè)定蔗糖轉(zhuǎn)化的反應(yīng)級(jí)數(shù)、速率常數(shù)。實(shí)驗(yàn)中測(cè)出一組旋 光度（at a ）和時(shí)間t，判斷反應(yīng)級(jí)數(shù)和計(jì)算出速率常數(shù)。若In （at a）t呈線性 關(guān)系，為一級(jí)反應(yīng)，若（冃a ）t呈線性關(guān)系，為二級(jí)反應(yīng)，若（d a ）2t呈 線性關(guān)系，為三級(jí)反應(yīng)。該實(shí)驗(yàn)應(yīng)是一級(jí)反應(yīng)，但由于用目測(cè)法手工作圖，由于 誤差的原因，有時(shí)會(huì)得出一級(jí)或二級(jí)均可以的奇怪結(jié)論， 所以在以往的實(shí)驗(yàn)中把 該反應(yīng)級(jí)數(shù)作為已知條件，只要求學(xué)生求出速率常數(shù)。而用線性最小二乘法擬合 曲線，在計(jì)算機(jī)上處理，即可得出滿意的結(jié)論。原理是，先用線性最小二乘法對(duì) （at a ）曲線進(jìn)行高次擬合

5、，從（at a ）曲線上讀取等間隔時(shí)間t時(shí)的at，作數(shù)據(jù) 勻整，改進(jìn)數(shù)據(jù)的離散性，然后進(jìn)行直線擬合，擬合偏差最小者為該反應(yīng)的反應(yīng) 級(jí)數(shù)。表1為某學(xué)生的實(shí)驗(yàn)數(shù)據(jù)，輸入計(jì)算機(jī)后，進(jìn)行高次擬合，并進(jìn)行數(shù)據(jù)修 勻，得到表2數(shù)據(jù)。本次擬合次數(shù)為7，擬合偏差為0.026,表示擬合較好。表1蔗糖水解反應(yīng)實(shí)驗(yàn)數(shù)據(jù)溫度：20E 氣壓：101325Pa HCI 濃度：3Mat 5.00時(shí)間t/mi n71217273747627792旋光度a t6.376.426.474.712.821.500.00-1.02-2.10表2蔗糖水解反應(yīng)實(shí)驗(yàn)擬合修勻后的數(shù)據(jù)時(shí)間t/min102030405060706.51252.

6、4181-0.5024旋光度a t5.1254.11781.0690-0.1684最后將勻整后的數(shù)據(jù)作直線擬合，一級(jí)擬合偏差平方和最小為0.064,證明蔗糖水解反應(yīng)確為一級(jí)反應(yīng)(2)最小二乘法在系統(tǒng)識(shí)別中的應(yīng)用 1、原理分析系統(tǒng)辨識(shí)是通過(guò)建立動(dòng)態(tài)系統(tǒng)模型，在模型輸入輸出數(shù)據(jù)的基礎(chǔ)上，運(yùn)用辨 識(shí)方法對(duì)模型參數(shù)進(jìn)行辨識(shí)，從而得到一個(gè)與所觀測(cè)的系統(tǒng)在實(shí)際特性上等價(jià)的 系統(tǒng)。應(yīng)用最小二乘法對(duì)系統(tǒng)模型參數(shù)進(jìn)行辨識(shí)的方法有離線辨識(shí)和在線辨識(shí)兩 種。離線辨識(shí)是在采集到系統(tǒng)模型所需全部輸入輸出數(shù)據(jù)后，用最小二乘法對(duì)數(shù)據(jù)進(jìn)行集中處理，從而獲得模型參數(shù)的估計(jì)值；而在線辨識(shí)是一種在系統(tǒng)運(yùn)行過(guò) 程中進(jìn)行的遞推辨識(shí)方法

7、，所應(yīng)用的數(shù)據(jù)是實(shí)時(shí)采集的系統(tǒng)輸入輸出數(shù)據(jù)，應(yīng)用遞推算法對(duì)參數(shù)估計(jì)值進(jìn)行不斷修正，以取得更為準(zhǔn)確的參數(shù)估計(jì)值。由于在線 辨識(shí)方法具有實(shí)時(shí)采集系統(tǒng)輸入輸出數(shù)據(jù)，實(shí)時(shí)辨識(shí)模型參數(shù)，且占據(jù)計(jì)算機(jī)存儲(chǔ)量小的優(yōu)點(diǎn)，因此與離線辨識(shí)相比，在線辨識(shí)方法得到了更為廣泛的應(yīng)用。在 線辨識(shí)的參數(shù)估計(jì)的最小二乘遞推算法如下：A 9 (k+1) = A 9 (k)+K(k+1)y(k+T(k+1F 9 (k) K(k+1) = P(k)x(k+1)1+xT(k+1)P(k)x(k+1)-1P(k+1) = P(k)-K(k+1)xT(k+1)P(k)2遞推初值:A 9 (0)=任意值； P(0) = a I, a取計(jì)算

8、機(jī)容許的最大值。 式中x與y分別為系統(tǒng)的輸入輸出，9為參數(shù)估計(jì)值,K為增益矩陣，P(m) = (xmxm)其最優(yōu)性準(zhǔn)則函數(shù)為mJ =e2(i)i 1其中m為數(shù)據(jù)米集的次數(shù)，e為殘差向量。由于上述遞推算法無(wú)法反映參數(shù)隨時(shí) 間變化的特點(diǎn)，新數(shù)據(jù)被大量的老數(shù)據(jù)所淹沒(méi)，對(duì)于慢時(shí)變參數(shù)的辨識(shí)來(lái)說(shuō)，這 必然得不到跟蹤參數(shù)變化的實(shí)時(shí)估計(jì)，因此又進(jìn)一步有了改進(jìn)的最小二乘遞推算 法，即帶遺忘因子的漸消記憶的遞推算法，該算法貶低老數(shù)據(jù)的作用，強(qiáng)調(diào)新數(shù) 據(jù)的作用，選取遺忘因子入，得到漸消記憶的最小二乘遞推算法如下：a 9 (k+1) = a 9 (k)+K(k+1)y(k+T(k+1)A 9 (k)K(k+1) =

9、 P(k)x(k+1) 入 +xT(k+1)P(k)x(k+1)P(k+1) =1 入P(gk+1)xT(k+1)P(k)遞推初值：a 9 (0)=任意值；P(0) =a 2 I ,a取計(jì)算機(jī)容許的最大值。其最優(yōu)性準(zhǔn)則函數(shù)為:e2(i)其中加權(quán)系數(shù)0<1。入通常在0.9與0.99之間取值2、實(shí)例分析以某微循環(huán)流體系統(tǒng)模型的參數(shù)辨識(shí)為例。我們已經(jīng)得到該系統(tǒng)模型的差 分方程形式，取特定點(diǎn)的壓力波作為模型的輸入，以另一點(diǎn)的壓力波作為模型的 輸出由于我們采集的數(shù)據(jù)是實(shí)時(shí)的，因此用在線辨識(shí)方法。由于建立的微循環(huán) 流體系統(tǒng)模型是一個(gè)單輸入、單輸出的模型，為使參數(shù)估計(jì)的結(jié)果很好地跟蹤參 數(shù)真值的變化，

10、我們采用漸消記憶的最小二乘法對(duì)系統(tǒng)模型參數(shù)進(jìn)行辨識(shí)，即強(qiáng)調(diào)新數(shù)據(jù)的作用，貶低老數(shù)據(jù)的作用。圖1是一組通過(guò)試驗(yàn)測(cè)量所得到的微循環(huán)流體系統(tǒng)輸入、輸出波形以及模 型辨識(shí)參數(shù)的迭代變化波形其中，圖(a)、(b)為實(shí)測(cè)波形。二0 W U 伯 71 ：i(!酹 12 IN精品文檔(.)系統(tǒng)的輸入液形(M系統(tǒng)的輸出被形圖1微循環(huán)流體模型輸入輸出波形圖圖2中(a)圖所示為實(shí)測(cè)的輸入波形，(b)圖為實(shí)測(cè)的輸出波形,(8Q (> JZ a 2A 30 ：to 42luggo rn n IB-«_7«da圖2實(shí)測(cè)波形與擬和波形的比較四、結(jié)語(yǔ)上述實(shí)例可以說(shuō)明，借助計(jì)算機(jī)科學(xué)技術(shù)，用線性最小二乘法可以方便地解 決動(dòng)力學(xué)參數(shù)問(wèn)題。這種方法避免了復(fù)雜的數(shù)學(xué)處理，有效地降低了計(jì)算誤差，結(jié)果更為精確。線性最小二乘法不僅在處理動(dòng)力學(xué)問(wèn)題等物理化學(xué)實(shí)驗(yàn)，也在分析化學(xué)實(shí)驗(yàn)以及化學(xué)學(xué)科的其