《SPSS數(shù)據(jù)分析教程》 ——回歸分析

1、SPSS數(shù)據(jù)分析教程 回歸分析本章學(xué)習(xí)目標(biāo) n掌握線性回歸分析的基本概念n掌握線性回歸的前提條件并能進(jìn)行驗證n掌握線性回歸分析結(jié)果的解釋n掌握多重共線性的判別和處理n能用線性回歸模型進(jìn)行預(yù)測回歸分析的基本概念什么是回歸分析n回歸分析是研究變量之間相關(guān)關(guān)系的一種統(tǒng)計方法 n如果兩個變量之間的Pearson相關(guān)系數(shù)絕對值較大，從散點圖看出變量間線性關(guān)系顯著，那么下一步就是應(yīng)用回歸分析的方法來找出變量之間的線性關(guān)系。n例如，房屋的價格和房屋的面積，地理位置，房齡和房間的個數(shù)都有關(guān)系。又比如，香煙的銷量和許多地理和社會經(jīng)濟(jì)因素有關(guān)，像消費者的年齡，教育，收入，香煙的價格等?；貧w方程n回歸關(guān)系一般用下列

2、方程表示qY=f(X1,X2,Xp)+ ()qY被稱作因變量，或者響應(yīng)變量；而X1,X2,Xp稱作自變量、控制變量、解釋變量或者預(yù)測變量；而f(.)則稱為回歸函數(shù)， 為隨機誤差或隨機干擾，它是一個分布與自變量無關(guān)的隨機變量，我們常假定它是均值為0的正態(tài)變量?；貧w分析的分類n根據(jù)回歸函數(shù)的形式，回歸分析可以分為線性回歸和非線性回歸：q線性回歸： Y= 0 +1 X1+2 X2 + +p Xp + (y)n非線性回歸 如果預(yù)測變量和響應(yīng)變量之間有上頁()所示的關(guān)系，但是不能表示為(y)所示的線性方程的形式，我們稱該回歸關(guān)系為非線性回歸。 回歸術(shù)語n對于有一個響應(yīng)變量的線性回歸，當(dāng)p=1時，我們稱為

3、簡單線性回歸(Simple Linear Regression，或稱為一元線性回歸)，當(dāng) p2 時我們稱為多元線性回歸(Multiple Linear Regression)。 回歸和相關(guān)分析n回歸分析是在相關(guān)分析的基礎(chǔ)上，確定了變量之間的相互影響關(guān)系之后，準(zhǔn)確的確定出這種關(guān)系的數(shù)量方法。因此，一般情況下，相關(guān)分析要先于回歸分析進(jìn)行，確定出變量間的關(guān)系是線性還是非線性，然后應(yīng)用相關(guān)的回歸分析方法。在應(yīng)用回歸分析之前，散點圖分析是常用的探索變量之間相關(guān)性的方法。應(yīng)用回歸分析的步驟q步驟1：寫出研究的問題和分析目標(biāo)q步驟2：選擇潛在相關(guān)的變量q步驟3：收集數(shù)據(jù)q步驟4：選擇合適的擬合模型q步驟5：

4、模型求解q步驟6：模型驗證和評價q步驟7：應(yīng)用模型解決研究問題簡單線性回歸 n簡單線性回歸的形式為：qY = 0 +1 X +q其中變量X為預(yù)測變量，它是可以觀測和控制的；Y為因變量或響應(yīng)變量，它為隨機變量； 為隨機誤差。q通常假設(shè) N(0,2)，且假設(shè)與X無關(guān)?；貧w模型的主要問題n進(jìn)行一元線性回歸主要討論如下問題：(1) 利用樣本數(shù)據(jù)對參數(shù)0, 1和2，和進(jìn)行點估計，得到經(jīng)驗回歸方程(2) 檢驗?zāi)Ｐ偷臄M合程度，驗證Y與X之間的線性相關(guān)的確存在，而不是由于抽樣的隨機性導(dǎo)致的。(3) 利用求得的經(jīng)驗回歸方程，通過X對Y進(jìn)行預(yù)測或控制。簡單回歸方程的求解 n我們希望根據(jù)觀測值估計出簡單回歸方程中的

5、待定系數(shù)0和1，它們使得回歸方程對應(yīng)的響應(yīng)變量的誤差達(dá)到最小，該方法即為最小二乘法。 也就是求解0和1，使得 達(dá)到最小。n把得到的解記為 ,則回歸方程為niiixy121010)(),(SXY1001n或者預(yù)測誤差為nSPSS在輸出回歸系數(shù)的估計值的同時還會給出回歸系數(shù)估計值的標(biāo)準(zhǔn)誤差值；SPSS 還可以給出預(yù)測值和各種預(yù)測誤差iix10y iiiyye 回歸方程擬合程度檢驗n回歸方程的檢驗也就是驗證兩個變量之間的線性關(guān)系的確在統(tǒng)計上顯著。一般進(jìn)行如下的假設(shè)檢驗 ，它包括n 1）常數(shù)項的t檢驗 H0: 0 = 0 常數(shù)項的估計值的標(biāo)準(zhǔn)誤差為 檢驗統(tǒng)計量為： ).(.0es).(.000est回

6、歸系數(shù)顯著性檢驗n2）回歸系數(shù)的顯著性檢驗 H0: 1 =0檢驗統(tǒng)計量為：).(.111est回歸的三個平方和n我們把擬合值和真實值的差值的平方和稱為殘差平方和，記為SSE；把由于采用擬合回歸直線后預(yù)測值較采用響應(yīng)變量均值提高的部分的平方和稱為回歸平方和，記為SSR；真實值和響應(yīng)變量均值的平方和稱為總平方和，記為SST。決定系數(shù)R2n平方和定義n三者之間的關(guān)系為： SST = SSR +SSE R2 = SSR /SSTniiyySST12)(niiyySSR12)(niiiyySSE12)(R2的解釋n決定系數(shù)R2的大小反映了回歸方程能夠解釋的響應(yīng)變量總的變差的比例，其值越大，回歸方程的擬合

7、程度越高。n一般情況下，隨著預(yù)測變量個數(shù)的增大，決定系數(shù)的值也變大，因此在多重回歸分析中，需要反映回歸方程中預(yù)測變量的個數(shù)，即引入了調(diào)整的決定系數(shù)。 回歸模型的顯著性的F檢驗n總平方和SST反映因變量Y的波動程度或者不確定性，在建立了Y對X的回歸方程后，總平方和SST分解成回歸平方和SSR與參差平方和SSE兩部分。其中SSR是由回歸方程確定的，SSE是不能由自變量X解釋的波動，是由X之外的未加控制的因素引起的。這樣，SST中能夠由自變量解釋的部分為SSR，不能由自變量解釋的部分為SSE。這樣回歸平方和越大，回歸的效果越好，據(jù)此構(gòu)造F檢驗統(tǒng)計量殘差均方回歸均方MSEMSRnSSESSRpnSSE

8、pSSRF)2/(1/) 1/(/nSPSS在回歸輸出結(jié)果的ANOVA表中給出SSR，SSE，SST和F統(tǒng)計量的取值，同時給出F值的顯著性值（即p值）。用回歸方程預(yù)測n在一定范圍內(nèi)，對任意給定的預(yù)測變量取值，可以利用求得的擬合回歸方程進(jìn)行預(yù)測。其預(yù)測值為：nSPSS可以提供標(biāo)準(zhǔn)化的預(yù)測值和調(diào)整的預(yù)測值 0100 x簡單線性回歸舉例n一家計算機服務(wù)公司需要了解其用電話進(jìn)行客戶服務(wù)修復(fù)的計算機零部件的個數(shù)和其電話用的時間的關(guān)系。經(jīng)過相關(guān)分析，認(rèn)為二者之間有顯著的線性關(guān)系。下面我們用線性回歸找到這兩個變量之間的數(shù)量關(guān)系。SPSS回歸分析n在SPSS中打開數(shù)據(jù)文件ComputerRepair.sav，

9、變量Units記錄了修復(fù)的零部件的個數(shù)；變量Minuts記錄了服務(wù)所占用的電話時間。n選擇【分析】【回歸】【線性】。把Units選入到自變量框中；把Minuts選入到因變量框中。其他選項保留默認(rèn)值。SPSS回歸分析回歸分析的結(jié)果及其解釋擬合優(yōu)度檢驗多元線性回歸 n實際應(yīng)用中，很多情況要用到多個預(yù)測變量才能更好地描述變量間的關(guān)系，如果這些預(yù)測變量在預(yù)測方程中的系數(shù)為線性，那么回歸方程稱為多元線性回歸方程。就方法的實質(zhì)來說，處理多個預(yù)測變量的方法與處理一個預(yù)測變量的方法基本相同。多元線性回歸的模型 n多元線性回歸的模型為： Y = 0 +1 X1 + 2 X2 + +p Xp +n回歸系數(shù)的估計和

10、簡單線性回歸一樣，仍然應(yīng)用最小二乘法回歸方程的顯著性檢驗 與一元的情形一樣，上面的討論是在響應(yīng)變量Y與預(yù)測變量X之間呈現(xiàn)線性相關(guān)的前提下進(jìn)行的，所求的經(jīng)驗方程是否有顯著意義，還需對X與Y間是否存在線性相關(guān)關(guān)系作顯著性假設(shè)檢驗，與一元類似，回歸方程是否有顯著意義，需要對回歸參數(shù)0,1,p進(jìn)行檢驗。n檢驗每個回歸系數(shù)是否顯著 H0:i =0, i=0,1,2, p 這里和一元線性回歸的檢驗一樣，檢驗統(tǒng)計量為t統(tǒng)計量。n檢驗所有回歸系數(shù)都不顯著,即 H0:0 =1=p 這里的檢驗統(tǒng)計量為MSEMSRpnSSEpSSRF) 1/(/n F檢驗的 被拒絕，并不能說明所有的自變量都對因變量Y有顯著影響，我

11、們希望從回歸方程中剔除那些統(tǒng)計上不顯著的自變量，重新建立更為簡單的線性回歸方程，這就需要對每個回歸系數(shù)做顯著性檢驗。n 即使所有的回歸系數(shù)單獨檢驗統(tǒng)計上都不顯著，而F檢驗有可能顯著，這時我們不能夠說模型不顯著。這時候，尤其需要仔細(xì)對數(shù)據(jù)進(jìn)行分析，可能分析的數(shù)據(jù)有問題，譬如共線性等。0H調(diào)整的R2n隨著自變量個數(shù)的增多，不管增加的自變量是否和因變量的關(guān)系密切與否，R方都會增大；調(diào)整的R方是根據(jù)回歸方程中的參數(shù)的個數(shù)進(jìn)行調(diào)整的R方，它對參數(shù)的增多進(jìn)行懲罰，調(diào)整R方它沒有直觀的解釋意義，它的定義為)1 (111) 1/(SST) 1/(-122RpnnnpnSSER調(diào)整應(yīng)用舉例n數(shù)據(jù)文件perfor

12、mance.sav記錄了一項企業(yè)心理學(xué)研究的數(shù)據(jù)。它調(diào)查了一個大型金融機構(gòu)的雇員，記錄了他們和主管的交互情況的評價和對主管的總的滿意情況。我們希望該調(diào)查來了解主管的某些特征和對他們的總的滿意情況的相互關(guān)系。n打開數(shù)據(jù)文件performance.sav，選擇【分析】【回歸】【線性】，如圖8-3所示。把變量Y選入到因變量框中，把變量X1到X6選入到自變量框中，其他選項保留默認(rèn)值。單擊【確定】。結(jié)果及其解釋n“t”列記錄了各回歸系數(shù)t檢驗的t統(tǒng)計量，而Sig.列記錄了相應(yīng)的顯著性值。這里，只有X1和X3的顯著性值小于0.1，注意到回歸方程的常數(shù)項也不顯著。然而，大部分情況下不顯著的預(yù)測變量都要從回歸方程中移除，而回歸常數(shù)代表了響應(yīng)變量的基本水平，不管顯著與否，大部分情況都保留在回歸方程中。因此，我們可以僅僅考慮Y和X1、X3之間的關(guān)系而忽略其他預(yù)測變量。簡約回歸模型簡約回歸模型結(jié)果及解釋動手練習(xí)數(shù)據(jù)文件world95.sav記錄了1995年統(tǒng)計的各個國家的生育率(fertility)和婦女的平均預(yù)期壽命（