線性回歸分析法

1、一元線性回歸分析和多元線性回歸分析一元線性回歸分析1.簡(jiǎn)單介紹當(dāng)只有一個(gè)自變量時(shí)，稱為一元回歸分析（研究因變量和自變量之間的相關(guān)關(guān)系）；當(dāng)自變量有兩個(gè)或多個(gè)時(shí)，則稱為多元回歸分析（研究因變量和自變量，之間的相關(guān)關(guān)系）。如果回歸分析所得到的回歸方程關(guān)于未知參數(shù)是線性的，則稱為線性回歸分析；否則，稱為非線性回歸分析。在實(shí)際預(yù)測(cè)中，某些非線性關(guān)系也可以通過一定形式的變換轉(zhuǎn)化為線性關(guān)系，所以，線性回歸分析法成為最基本的、應(yīng)用最廣的方法。這里討論線性回歸分析法。2.回歸分析法的基本步驟回歸分析法的基本步驟如下：（1） 搜集數(shù)據(jù)。根據(jù)研究課題的要求，系統(tǒng)搜集研究對(duì)象有關(guān)特征量的大量歷史數(shù)據(jù)。由于回歸分析是

2、建立在大量的數(shù)據(jù)基礎(chǔ)之上的定量分析方法，歷史數(shù)據(jù)的數(shù)量及其準(zhǔn)確性都直接影響到回歸分析的結(jié)果。（2） 設(shè)定回歸方程。以大量的歷史數(shù)據(jù)為基礎(chǔ)，分析其間的關(guān)系，根據(jù)自變量與因變量之間所表現(xiàn)出來的規(guī)律，選擇適當(dāng)?shù)臄?shù)學(xué)模型，設(shè)定回歸方程。設(shè)定回歸方程是回歸分析法的關(guān)鍵，選擇最優(yōu)模型進(jìn)行回歸方程的設(shè)定是運(yùn)用回歸分析法進(jìn)行預(yù)測(cè)的基礎(chǔ)。（3） 確定回歸系數(shù)。將已知數(shù)據(jù)代入設(shè)定的回歸方程，并用最小二乘法原則計(jì)算出回歸系數(shù)，確定回歸方程。這一步的工作量較大。（4） 進(jìn)行相關(guān)性檢驗(yàn)。相關(guān)性檢驗(yàn)是指對(duì)已確定的回歸方程能夠代表自變量與因變量之間相關(guān)關(guān)系的可靠性進(jìn)行檢驗(yàn)。一般有檢驗(yàn)、檢驗(yàn)和檢驗(yàn)三種方法。（5） 進(jìn)行預(yù)測(cè)，

3、并確定置信區(qū)間。通過相關(guān)性檢驗(yàn)后，我們就可以利用已確定的回歸方程進(jìn)行預(yù)測(cè)。因?yàn)榛貧w方程本質(zhì)上是對(duì)實(shí)際數(shù)據(jù)的一種近似描述，所以在進(jìn)行單點(diǎn)預(yù)測(cè)的同時(shí)，我們也需要給出該單點(diǎn)預(yù)測(cè)值的置信區(qū)間，使預(yù)測(cè)結(jié)果更加完善。3. 一元線性回歸分析的數(shù)學(xué)模型用一元線性回歸方程來描述和之間的關(guān)系，即 （=1，2，）（2-1）式中，和分別是自變量和因變量的第觀測(cè)值，和是回歸系數(shù)，是觀測(cè)點(diǎn)的個(gè)數(shù)，為對(duì)應(yīng)于的第觀測(cè)值的隨機(jī)誤差。假設(shè)隨機(jī)誤差滿足如下條件：服從正態(tài)分布；的均值為零，即；的方差等于；各個(gè)間相互獨(dú)立，即對(duì)于任何兩個(gè)隨機(jī)誤差和，其協(xié)方差等于零，即，?；谏鲜黾俣?，隨機(jī)變量的數(shù)學(xué)期望和方差分別是 （2-2）如果不考慮

4、式中的誤差項(xiàng)，我們就得到簡(jiǎn)化的式子 （2-3）該式稱為對(duì)的一元回歸模型或一元回歸方程，其相應(yīng)的回歸分析稱為一元線性回歸分析。依據(jù)這一方程在直角坐標(biāo)系中所作的直線就稱為回歸直線。4. 回歸參數(shù)的估計(jì)回歸模型中的參數(shù)與在一般情況下都是未知數(shù)，必須根據(jù)樣本觀測(cè)數(shù)據(jù)來估計(jì)。確定參數(shù)與值的原則是要使樣本的回歸直線同觀察值的擬合狀態(tài)最好，即要使得偏差最小。為此，可以采用最小二乘法的辦法來解決。對(duì)應(yīng)于每一個(gè)，根據(jù)回歸直線方程式（2-3）可以求出一個(gè)，它就是的一個(gè)估計(jì)值。估計(jì)值和觀測(cè)值之間的偏差。要使模型的擬合狀態(tài)最好，就是說要使個(gè)偏差平方和最小為標(biāo)準(zhǔn)來確定回歸模型。為了方便起見，記，則式（2-1）用矩陣形式

5、表示為 （2-4）設(shè)為誤差的負(fù)估值，稱為的改正數(shù)或殘差，為回歸參數(shù)的估值，則可以寫出類似于參數(shù)平差的誤差方程 （2-5）根據(jù)最小二乘原理，求自由極值，得即 （2-6）將誤差方程（2-5）代入，即得法方程為 （2-7）記，則，于是可得回歸參數(shù)的最小二乘估值為 （2-8）即參數(shù)與的具體表達(dá)形式為 （2-9）求出參數(shù)與以后，就可以得到一元線性回歸模型 （2-10）由此，只要給定了一個(gè)值，就可以根據(jù)回歸模型求得一個(gè)作為實(shí)際值的預(yù)測(cè)值。5. 精度分析對(duì)于給定的，根據(jù)回歸模型就可以求出的預(yù)測(cè)值。但是用來預(yù)測(cè)的精度如何，產(chǎn)生的誤差有多大是我們所關(guān)心的。這里采用測(cè)量上常用的精度指標(biāo)來度量回歸方程的可靠性。一個(gè)

6、回歸模型的精度或剩余標(biāo)準(zhǔn)離差定義式為 （2-11）由于參數(shù)的個(gè)數(shù)是2，觀測(cè)值總數(shù)是，多余觀測(cè)是，因此式中分母是。運(yùn)用估計(jì)平均誤差可以對(duì)回歸方程的預(yù)測(cè)結(jié)果進(jìn)行區(qū)間估計(jì)。若觀察值圍繞回歸直線服從正態(tài)分布，且方差相等，則有68.27%的點(diǎn)落在的范圍內(nèi)，有95.45%的點(diǎn)落在的范圍內(nèi)，有99.73%的點(diǎn)落在的范圍內(nèi)。根據(jù)參數(shù)平差理論可知，的協(xié)因數(shù)矩陣為 （2-12）從而，的方差估值為 （2-13）6. 線性回歸效果的顯著性檢驗(yàn)對(duì)一元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)包括兩個(gè)內(nèi)容：一是線性回歸方程的顯著性檢驗(yàn)；二是對(duì)回歸系數(shù)進(jìn)行統(tǒng)計(jì)推斷。在一元線性回歸分析中，線性回歸效果的好壞取決于與的線性關(guān)系是否密切。若越大，隨

7、的變化趨勢(shì)就越明顯；若越小，隨的變化趨勢(shì)就越不明顯。特別的，當(dāng)時(shí)，意味著與之間不存在線性相關(guān)關(guān)系，所建立的線性回歸方程沒有意義。所以，只有當(dāng)時(shí)，與之間才有線性相關(guān)關(guān)系，所建立的線性回歸方程才有實(shí)際意義。因此，對(duì)線性回歸效果好壞的檢驗(yàn)，就歸結(jié)為對(duì)統(tǒng)計(jì)假設(shè)的檢驗(yàn)。若拒絕，就認(rèn)為線性回歸有意義；若不能拒絕，就認(rèn)為線性回歸無意義。下面介紹兩種檢驗(yàn)方法：檢驗(yàn)法和相關(guān)系數(shù)檢驗(yàn)法。1. 檢驗(yàn)法進(jìn)行F檢驗(yàn)的關(guān)鍵在于確定一個(gè)合適的統(tǒng)計(jì)量及其所服從的分布。當(dāng)原假設(shè)成立時(shí)，根據(jù)F分布的定義可知 （2-14）當(dāng)給定顯著性水平=0.05或0.01，由F分布分位數(shù)值表得臨界值，由樣本觀測(cè)值計(jì)算出統(tǒng)計(jì)量F的實(shí)測(cè)值。若，則以

8、顯著水平拒絕；若則以顯著水平接受。一般按下述標(biāo)準(zhǔn)判斷。（1） 若，則認(rèn)為線性回歸方程效果極顯著。（2） 若，則認(rèn)為線性回歸方程效果顯著。（3） 若，則認(rèn)為線性回歸效果不顯著。2.相關(guān)系數(shù)檢驗(yàn)法相關(guān)系數(shù)檢驗(yàn)法是通過與之間的相關(guān)系數(shù)對(duì)回歸方程的顯著性進(jìn)行檢驗(yàn)的，由樣本觀測(cè)值，即，可以得到相關(guān)系數(shù)的實(shí)測(cè)值為 （2-15）相關(guān)系數(shù)，現(xiàn)作如下進(jìn)一步分析。（1） 當(dāng)時(shí)，因而，此時(shí)線性回歸方程，表明與之間不存在線性相關(guān)關(guān)系。（2） 當(dāng)時(shí)，與之間存在一定的線性相關(guān)關(guān)系，當(dāng)時(shí)，此時(shí)稱與正相關(guān)；當(dāng)時(shí)，此時(shí)稱與負(fù)相關(guān)；當(dāng)越接近于0時(shí)，此時(shí)與的線性關(guān)系越微弱；當(dāng)越接近于1時(shí)，此時(shí)與的線性關(guān)系越強(qiáng)。（3） 當(dāng)=1時(shí)，與

9、完全線性相關(guān)，表明與之間存在確定的線性函數(shù)關(guān)系；當(dāng)r=1時(shí)，稱與正相關(guān)；當(dāng)r=-1時(shí)，稱與負(fù)相關(guān)。當(dāng)給定顯著性水平=0.05或0.01，由 （2-16）來判斷線性回歸方程的效果。若本觀測(cè)值算出的相關(guān)關(guān)系實(shí)測(cè)值，則以顯著性水平的關(guān)系拒絕；若，則以顯著性水平的關(guān)系接受。一般按下述標(biāo)準(zhǔn)判斷。（1） 若，則認(rèn)為線性回歸方程效果極顯著。（2） 若，則認(rèn)為線性回歸方程效果顯著。（3） 若，則認(rèn)為線性回歸效果不顯著。臨界值可由下式確定 （2-17）7. 實(shí)例解算 設(shè)某線性回歸問題的自變量和觀測(cè)值的數(shù)據(jù)如表2-1所示，試求其回歸方程。表2-1序號(hào)12345678910252729323436353942452

10、.82.93.23.23.43.23.33.73.94.2解 回歸方程的建立。由表中數(shù)據(jù)計(jì)算得，于是，就得到一元線性回歸模型計(jì)算值。結(jié)果列于表2-2中。表2-2序號(hào)12345678910252729323436353942452.82.93.23.23.43.23.33.73.94.22.772.903.033.223.353.483.423.683.874.070.030.000.17-0.020.05-0.28-0.120.020.030.13 精度評(píng)定單位權(quán)中誤差為回歸方程系數(shù)中誤差計(jì)算如下。的權(quán)倒數(shù)的方差估值為其中誤差為 顯著性檢驗(yàn)設(shè)原假設(shè)；備選假設(shè)當(dāng)原假設(shè)為真時(shí)，有因多余觀測(cè)（自由度

11、）是8，查表得，顯然，原假設(shè)不成立，所求得的線性回歸效果極顯著。如果本例用相關(guān)系數(shù)檢驗(yàn)法對(duì)線性回歸效果進(jìn)行顯著性檢驗(yàn)，可用式（2-15）計(jì)算，即由式（2-17）計(jì)算相關(guān)系數(shù)臨界值，由于故與的線性（正）相關(guān)關(guān)系極顯著，此結(jié)果與F檢驗(yàn)法得到的結(jié)論完全一致。多元線性回歸分析1.數(shù)學(xué)模型多元線性回歸分析是研究一個(gè)因變量與多個(gè)自變量之間線性相關(guān)關(guān)系的統(tǒng)計(jì)分析方法。多元線性回歸考慮到多個(gè)自變量對(duì)因變量的影響，能夠更真實(shí)地反映現(xiàn)象之間的相互關(guān)系。 假設(shè)一個(gè)隨機(jī)變量與個(gè)非隨機(jī)變量之間存在線性相關(guān)關(guān)系，則它們之間的關(guān)系可以用多元線性回歸模型來表示，即 （3-1）式中，是因變量，（）是自變量，（）是模型的參數(shù)，稱

12、為回歸方程的系數(shù)。是隨機(jī)誤差。與一元線性回歸模型類似，如果多元線性回歸模型中的誤差項(xiàng)服從正態(tài)性，并具有無偏性，則，則 （3-2）由此可見，。2.多元線性回歸方程的確定多元線性回歸模型的參數(shù)（）及在一般情況下都是未知數(shù)，必須根據(jù)樣本觀測(cè)數(shù)據(jù)來估計(jì)。假設(shè)我們進(jìn)行了次觀測(cè)，得組觀測(cè)數(shù)據(jù)（），。它們應(yīng)有的回歸關(guān)系可寫為 （3-3）記，則式（3-3）用矩陣形式表示為 （3-4）與其對(duì)應(yīng)的誤差方程為 （3-5）根據(jù)最小二乘原理，法方程為 （3-6）于是可得回歸參數(shù)的最小二乘估值為 （3-7）其中，當(dāng)求出回歸參數(shù)后，就可以得到多元線性回歸模型 （3-8）由此，只要給定了的值，就可以根據(jù)回歸模型求得作為實(shí)際值

13、的預(yù)測(cè)值。3. 精度分析多元線性回歸模型的中誤差定義式為 （3-9）觀測(cè)值個(gè)數(shù)是，參數(shù)個(gè)數(shù)為，多余觀測(cè)為，因此上式分母為。根據(jù)參數(shù)平差理論可知，的協(xié)因數(shù)矩陣為 （3-10）從而，的方差估值為 （3-11）至于的方差，同樣根據(jù)參數(shù)平差理論可得 （3-12）4.多元線性回歸效果的顯著性檢驗(yàn)與一元線性回歸模型一樣，在得到多元線性回歸模型以后也需要對(duì)模型中所包含的變量是否確實(shí)與因變量之間存在線性相關(guān)關(guān)系，以及回歸模型的擬合效果如何進(jìn)行分析檢驗(yàn)。主要考察與是否具有線性相關(guān)關(guān)系，即需要檢驗(yàn)統(tǒng)計(jì)假設(shè)；不全為零 （3-13）對(duì)于給定的顯著性水平，若拒絕，就認(rèn)為這個(gè)元線性整體回歸效果顯著；若不能拒絕，就認(rèn)為這個(gè)

14、元線性整體回歸效果不顯著。為了進(jìn)行上述檢驗(yàn)，關(guān)鍵在于確定一個(gè)合適的統(tǒng)計(jì)量及其所服從的分布，著眼于統(tǒng)計(jì)量，參考一元線性回歸檢驗(yàn)，多元線性回歸整體檢驗(yàn)統(tǒng)計(jì)量為 （3-14）查表可得。若，則以顯著水平拒絕；若，則以顯著水平接受。需要指出的是，對(duì)于多元回歸來說，線性回歸效果僅說明不全為零，但有可能接近于零。也就是說，多元回歸效果顯著是就總體而言的，并不意味著各自變量對(duì)因變量的影響都是顯著的，因此有必要從原來的回歸方程中剔除那些無顯著性影響的自變量，重新建立更為理想的線性回歸方程。為此，在檢驗(yàn)完整體回歸效果顯著之后，還必須就每個(gè)自變量對(duì)因變量的線性影響是否顯著進(jìn)行檢驗(yàn)，其檢驗(yàn)統(tǒng)計(jì)假設(shè)； （3-15）對(duì)于多項(xiàng)式回歸模型 （3-16）只要設(shè) （3-17）就可以按線性回歸方法進(jìn)行回歸計(jì)算。5.舉例解算以某樓A1點(diǎn)累計(jì)沉降量為因變量，時(shí)間間隔和承受的荷載為自變量進(jìn)行回歸分析，設(shè)時(shí)間間隔為自變量X1，承受的荷載為自變量X2，累計(jì)變化為因變量Y，利用EXCEL軟件的工具中回歸分析功能進(jìn)行回歸分析。經(jīng)計(jì)算得到：如下圖的結(jié)果可得出Y=-0.019X1-0.108X2-0.126（1） 回歸方程的檢驗(yàn)（F檢驗(yàn)） 通過回歸分析可以知道，F(xiàn)統(tǒng)計(jì)量為101.782，取a=0.05，查F分布表可得到自由度為（p,n-p-1）的臨界值為F0.05（2,12）=3.8