最小二乘法與回歸

5化學(xué)計(jì)量學(xué)方法§6.1引言§6.2線性回歸分析§6.3化學(xué)因子分析§6.4人工神經(jīng)網(wǎng)絡(luò)§6.5小波分析§6.6獨(dú)立成分分析§6.7支持向量機(jī)分類與回歸本課程的教學(xué)內(nèi)容最小二乘法與回歸分析化學(xué)因子分析人工神經(jīng)網(wǎng)絡(luò)小波分析獨(dú)立成分分析支持向量機(jī)分類與回歸分析5.2回歸分析及檢驗(yàn)

回歸分析是研究隨機(jī)現(xiàn)象中變量之間關(guān)系的一種數(shù)理統(tǒng)計(jì)方法，它在生產(chǎn)實(shí)踐和科學(xué)研究及實(shí)驗(yàn)中有著廣泛的應(yīng)用。目前在尋找經(jīng)驗(yàn)公式，探索新配方，制定新標(biāo)準(zhǔn)，預(yù)言效果等方面都已取得不少成績。在科學(xué)研究及生產(chǎn)實(shí)驗(yàn)中，常常會(huì)遇到在同一個(gè)事物中有多個(gè)變量存在，而且它們相互關(guān)聯(lián)，相互制約。這種關(guān)聯(lián)和制約表明它們之間客觀存在一定數(shù)學(xué)的或其他的關(guān)系。但要找出它們之間數(shù)學(xué)關(guān)系的數(shù)學(xué)解析式是非常困難的，有時(shí)是不可能的。因此需要用數(shù)量統(tǒng)計(jì)的方法，在大量的試驗(yàn)中，尋找出隱藏在各變量間的統(tǒng)計(jì)規(guī)律性或近似的數(shù)學(xué)模型，這種關(guān)系稱之謂回歸關(guān)系。有回歸關(guān)系的計(jì)算方法及理論叫做回歸分析。

回歸分析的主要內(nèi)容

從一組數(shù)據(jù)出發(fā)，確定這些變量間的定量關(guān)系式；對(duì)這些關(guān)系的可信度進(jìn)行統(tǒng)計(jì)檢驗(yàn)；尋找某一個(gè)應(yīng)變量和哪些自變量有關(guān)，其影響程度如何；利用上述關(guān)系，進(jìn)行預(yù)報(bào)和控制；

選擇較少的試驗(yàn)點(diǎn)，獲得更多的信息，對(duì)試驗(yàn)進(jìn)行較好的設(shè)計(jì)。

5.2.1最小二乘法原理

設(shè)實(shí)測數(shù)據(jù)為(xi,yi)(i=1,2,…,n)，其近似符合函數(shù)y=φ(x,a1,a2,…,am)

(n>m;a1,a2,…,am是待定系數(shù))當(dāng)用測定值x=xi(i=1,2,…,n)代入(4.6-1)可計(jì)算出y值，記作

不要求近似函數(shù)通過全部觀測點(diǎn)，計(jì)算值與實(shí)測值不一定完全相等，之間的差稱為殘差殘差的大小是衡量待定參數(shù)a1,a2,…,am好壞的重要標(biāo)志。

如何確定殘差？殘差和殘差絕對(duì)值和殘差平方和這樣問題就歸納為求多元函數(shù)Q(a1,a2,…,am)

極小值點(diǎn)…解此方程即得參數(shù)aj(j=1,2,…,m)近似函數(shù)

y＝φ(x,a1,a2,…,am)這就是曲線擬合的最小二乘法原理。

應(yīng)用舉例-1問題:改變某有色有機(jī)酸H2L的溶液的pH，測得溶液的吸光度A，計(jì)算該有機(jī)酸的離解常數(shù)Ka1，Ka2。解:根據(jù)吸光度的加和性可得：

Ａ＝ＡH2L'＋ＡHL'＋ＡL'

將它們用[H+]及Ka1、Ka2表示,則有

AH2L、AHL和AL為溶液全部以H2L、HL-或L2-形式存在時(shí)的吸光度。其中AH2L和AL都可由實(shí)驗(yàn)直接測定，因?yàn)樵谧銐蚋叩乃岫认?，有機(jī)酸將全部以H2L形式存在，這時(shí)溶液的吸光度即AH2L；同理,在足夠高的pH值時(shí),測得的吸光度為AL。所以只剩下AHL不易測準(zhǔn)。令

y=(AH2L－A)[H+]2,x1=A[H+],x2=A－AL,x3=－[H+],Ka1=a1,Ka1

Ka2

=a2,AHLKa1=a3這是三元一次方程組,理論上講只要測得三組數(shù)據(jù)(pH1,A1),(pH2,A2)和(pH3,A3),就可以解出三元一次方程組,算出a1，a2和a3。但是在實(shí)驗(yàn)中，常常帶有實(shí)驗(yàn)誤差，只憑三組測量值進(jìn)行計(jì)算會(huì)使結(jié)果很不可靠，所以，通常要測量許多組實(shí)驗(yàn)數(shù)據(jù)pH1,A1pH2,A2;

pH3A3;…;pHn,An,得到n個(gè)方程,因?yàn)閚>>3,該方程組為矛盾方程組,可用最小二乘法求解。上機(jī)作業(yè)用光度法測定間苯二酚的離解常數(shù)Ka1,Ka2,測得溶液的pH和A的數(shù)據(jù)如下:

──────────────────────────

pH2.903.003.103.203.303.403.503.603.70A0.3700.3740.3780.3820.3870.3930.3980.4030.407

──────────────────────────pH4.284.384.464.544.644.724.784.854.91A0.4070.4030.3980.3930.3870.3820.3780.3740.370

──────────────────────────并且測得AH2L=0.353,AL=0.337。

要求：將由實(shí)驗(yàn)測定所得pH和A經(jīng)換算后得到課堂所講y,x,a等形式，編程語言任選；矛盾方程組求解可以編程實(shí)現(xiàn)，或由統(tǒng)計(jì)軟件中的多元線性回歸分析而得；將數(shù)據(jù)預(yù)處理程序及結(jié)果、數(shù)據(jù)處理最后結(jié)果等以附件l形式交送至化學(xué)信息學(xué)網(wǎng)絡(luò)課堂.5.2.2線性回歸分析一元線性回歸通過一組實(shí)驗(yàn)數(shù)據(jù)進(jìn)行最小二乘法回歸處理，求出直線的斜率和截矩，并根據(jù)一定的統(tǒng)計(jì)方法處理，得到較多的統(tǒng)計(jì)信息，對(duì)實(shí)驗(yàn)數(shù)據(jù)線性相關(guān)性進(jìn)行檢驗(yàn)及進(jìn)行預(yù)報(bào)等。

平均值差方和回歸分析結(jié)果回歸方程檢驗(yàn)相關(guān)系數(shù)總差方和(S)=剩余差方和(Q)+回歸差方和(U)

│r│≤1。ｒ越大，表示相關(guān)性越好。r>0,正相關(guān),直線的斜率為正;r<0,負(fù)相關(guān),直線的斜率為負(fù);r=0,不相關(guān),即y與x之間無線性相關(guān)關(guān)系。r值多大,y

與

x之間才有相關(guān)關(guān)系呢?這可由自由度(f)及指定置信水平下的

rf,a值來判斷,這叫

r檢驗(yàn)法。rf,a可以從相關(guān)系數(shù)檢驗(yàn)表中查得。如果r的計(jì)算值大于相同f及指定a下的rf,a，則y與x顯著相關(guān)，否則y與x之間無線性相關(guān)關(guān)系，擬合函數(shù)即失去意義。

F檢驗(yàn)法

在一元線性回歸分析中,fS=n-1,fQ=n-2,FU=1,根據(jù)給定的置信水平α,從F檢驗(yàn)表中查得Fα(fU,fQ)的臨界值,若計(jì)算得到的F值大于Fα(fU,fQ),則y與x之間有線性關(guān)系,否則,無線性相關(guān)關(guān)系。

回歸線的精度

剩余標(biāo)準(zhǔn)偏差σ值越小，表示根據(jù)擬合函數(shù)預(yù)報(bào)的ｙ就越準(zhǔn)確.若在擬合函數(shù)所表示的直線兩側(cè)各畫一條直線y'=a+bx+zσ

y'=a+bx-zσ

可以預(yù)料,在全部可能出現(xiàn)的y值中,當(dāng)z=0.5時(shí),則38.0%的點(diǎn)落在這兩條線所夾的范圍之內(nèi);當(dāng)z=1時(shí),則68.3%的點(diǎn)落在這兩條線所夾的范圍之內(nèi);當(dāng)z=2時(shí),大約有95.4%的點(diǎn)落在這兩條線所夾的范圍內(nèi);當(dāng)z=3時(shí),則99.7%的點(diǎn)落在這兩條線所夾的范圍之內(nèi)。

a,b的變動(dòng)性a,b變動(dòng)性的大小與剩余標(biāo)準(zhǔn)偏差σ的大小及xi

值的波動(dòng)有關(guān),xi

越分散,σa和σb就越小,另外,σa還與測量點(diǎn)數(shù)n有關(guān),n值越大,σa就越小。這就從統(tǒng)計(jì)學(xué)上說明了改進(jìn)實(shí)驗(yàn)的方法。最后，根據(jù)擬合函數(shù)預(yù)報(bào)y時(shí)，還與x有關(guān)，即x越靠近，預(yù)報(bào)就越準(zhǔn)，因此，在計(jì)算時(shí)，一般作內(nèi)插預(yù)報(bào)，而不要任意外推。

應(yīng)用舉例-2某合金鋼的抗拉強(qiáng)度y1(kg/mm2)和延伸率y2與鋼中碳含量x有一定的關(guān)系,其實(shí)驗(yàn)數(shù)據(jù)如下表所示。要求預(yù)報(bào)使此合金鋼抗拉強(qiáng)度y1>32kg/mm2，延伸率y2>33%，且要求有95%的把握滿足上述要求，問含碳量在什么范圍。

合金鋼成分及性能實(shí)測數(shù)據(jù)━━━━━━━━━━━┳━━━━━━━━━━━━x(%)y1(kg/mm2)y2(%)┃x(%)y1(kg/mm2)y2(%)───────────╂────────────0.0340.540.0┃0.1546.040.50.0441.534.5┃0.1648.033.00.0542.541.5┃0.1753.037.00.0643.037.5┃0.1850.036.50.0739.536.0┃0.2052.537.00.0842.040.0┃0.2156.031.00.0942.534.5┃0.2360.032.50.1043.539.0┃0.2456.032.40.1142.531.5┃0.2554.535.50.1249.041.0┃0.2661.533.30.1343.037.5┃0.2959.531.00.1449.040.0┃0.3264.032.0━━━━━━━━━━━┻━━━━━━━━━━━解將例實(shí)測數(shù)據(jù)進(jìn)行線性回歸處理得如下結(jié)果：對(duì)抗拉強(qiáng)度：回歸方程y1=85.6093x+36.02

剩余標(biāo)準(zhǔn)差σ1=2.3673

顯著性檢驗(yàn)F=205.7

相關(guān)系數(shù)r=0.9504

對(duì)延伸率：回歸方程y2=-25.1589x+39.89

剩余標(biāo)準(zhǔn)差σ2=2.7970

顯著性檢驗(yàn)F=12.72

相關(guān)系數(shù)r=0.6050

若有95%的把握滿足題中條件，則應(yīng)

85.6093x+36.02+2×2.3673>3285.6093x+36.02-2×2.3673>32-25.1589x+39.89+2×2.770>33-25.1589x+39.89-2×2.770>33解之得0.0083<x<0.0536因此可以預(yù)測，當(dāng)合金鋼的含碳量在0.0083%到0.0536之間時(shí),可以有95%的把握說其抗拉強(qiáng)度大于32kg/mm2，延伸率大于33%；同理可以計(jì)算得當(dāng)把握要求降至90%時(shí),含碳量范圍變?yōu)?到0.13%之間(含碳量為負(fù)時(shí)沒有實(shí)際意義,舍去該值)。一些可轉(zhuǎn)化為線性回歸的非線性情況

多元線性回歸分析多元線性回歸的數(shù)學(xué)模型y=a0+a1x1+a2x2+…+amxm

由實(shí)驗(yàn)測得n組相互獨(dú)立的實(shí)驗(yàn)數(shù)據(jù)

xi1,xi2,xi3,…,xim,yi

(i=1,2,…,n;n>m)多元線性回歸方程的檢驗(yàn)

總差方和(S)=剩余差方和(Q)+回歸差方和(U)復(fù)相關(guān)系數(shù)方差比剩余標(biāo)準(zhǔn)偏差S的自由度

fS=n-1U的自由度

fU=m

Q的自由度

fQ=n-m-1例7N,透N-二甲赤基-2汪-溴苯刑乙胺票衍生墓物是價(jià)腎上族腺阻欺斷劑柿當(dāng)Y和Z接上順不同勢的取端代基,其生保物活俊性是波不一號(hào)樣的,Y和Z取代紅基的轟結(jié)構(gòu)惰信息喪參數(shù)壩通常檢取其既疏水扯值π和電尚子參內(nèi)數(shù)σ,其結(jié)尿果如設(shè)下表辣所示選。RE瓜GR殖ES哲S饅Mu腦lt貍ip尖le仍l面in練ea可r且re高gr駐es拴si衫on冠u非si背ng幕l加ea沖st鞏s跨qu趁ar骨es連.b料=波RE趣GR翁ES絨S(芽y,化X)尺r鞠et遺ur胞ns餓t叨he總v技ec探to場r惰of擊r多eg脂re疏ss教io窗n找co壟ef完fi癢ci窄en夜ts炎,盞b,in圣t目he婚l楚in網(wǎng)ea本r鈴mo聾de濫l狀y澇=昆X犯b,連(章X掩is觀a握n劃nx曬p盟ma義tr廈ix昨,享y死is焰t