《SPSS數(shù)據(jù)分析教程》 ——回歸分析

1、SPSS數(shù)據(jù)分析教程 回歸分析本章學(xué)習(xí)目標(biāo) n掌握線性回歸分析的基本概念n掌握線性回歸的前提條件并能進(jìn)行驗(yàn)證n掌握線性回歸分析結(jié)果的解釋n掌握多重共線性的判別和處理n能用線性回歸模型進(jìn)行預(yù)測(cè)回歸分析的基本概念什么是回歸分析n回歸分析是研究變量之間相關(guān)關(guān)系的一種統(tǒng)計(jì)方法 n如果兩個(gè)變量之間的Pearson相關(guān)系數(shù)絕對(duì)值較大，從散點(diǎn)圖看出變量間線性關(guān)系顯著，那么下一步就是應(yīng)用回歸分析的方法來(lái)找出變量之間的線性關(guān)系。n例如，房屋的價(jià)格和房屋的面積，地理位置，房齡和房間的個(gè)數(shù)都有關(guān)系。又比如，香煙的銷量和許多地理和社會(huì)經(jīng)濟(jì)因素有關(guān)，像消費(fèi)者的年齡，教育，收入，香煙的價(jià)格等?；貧w方程n回歸關(guān)系一般用下列

2、方程表示qY=f(X1,X2,Xp)+ ()qY被稱作因變量，或者響應(yīng)變量；而X1,X2,Xp稱作自變量、控制變量、解釋變量或者預(yù)測(cè)變量；而f(.)則稱為回歸函數(shù)， 為隨機(jī)誤差或隨機(jī)干擾，它是一個(gè)分布與自變量無(wú)關(guān)的隨機(jī)變量，我們常假定它是均值為0的正態(tài)變量。回歸分析的分類n根據(jù)回歸函數(shù)的形式，回歸分析可以分為線性回歸和非線性回歸：q線性回歸： Y= 0 +1 X1+2 X2 + +p Xp + (y)n非線性回歸 如果預(yù)測(cè)變量和響應(yīng)變量之間有上頁(yè)()所示的關(guān)系，但是不能表示為(y)所示的線性方程的形式，我們稱該回歸關(guān)系為非線性回歸。 回歸術(shù)語(yǔ)n對(duì)于有一個(gè)響應(yīng)變量的線性回歸，當(dāng)p=1時(shí)，我們稱為

3、簡(jiǎn)單線性回歸(Simple Linear Regression，或稱為一元線性回歸)，當(dāng) p2 時(shí)我們稱為多元線性回歸(Multiple Linear Regression)。 回歸和相關(guān)分析n回歸分析是在相關(guān)分析的基礎(chǔ)上，確定了變量之間的相互影響關(guān)系之后，準(zhǔn)確的確定出這種關(guān)系的數(shù)量方法。因此，一般情況下，相關(guān)分析要先于回歸分析進(jìn)行，確定出變量間的關(guān)系是線性還是非線性，然后應(yīng)用相關(guān)的回歸分析方法。在應(yīng)用回歸分析之前，散點(diǎn)圖分析是常用的探索變量之間相關(guān)性的方法。應(yīng)用回歸分析的步驟q步驟1：寫出研究的問(wèn)題和分析目標(biāo)q步驟2：選擇潛在相關(guān)的變量q步驟3：收集數(shù)據(jù)q步驟4：選擇合適的擬合模型q步驟5：

4、模型求解q步驟6：模型驗(yàn)證和評(píng)價(jià)q步驟7：應(yīng)用模型解決研究問(wèn)題簡(jiǎn)單線性回歸 n簡(jiǎn)單線性回歸的形式為：qY = 0 +1 X +q其中變量X為預(yù)測(cè)變量，它是可以觀測(cè)和控制的；Y為因變量或響應(yīng)變量，它為隨機(jī)變量； 為隨機(jī)誤差。q通常假設(shè) N(0,2)，且假設(shè)與X無(wú)關(guān)。回歸模型的主要問(wèn)題n進(jìn)行一元線性回歸主要討論如下問(wèn)題：(1) 利用樣本數(shù)據(jù)對(duì)參數(shù)0, 1和2，和進(jìn)行點(diǎn)估計(jì)，得到經(jīng)驗(yàn)回歸方程(2) 檢驗(yàn)?zāi)Ｐ偷臄M合程度，驗(yàn)證Y與X之間的線性相關(guān)的確存在，而不是由于抽樣的隨機(jī)性導(dǎo)致的。(3) 利用求得的經(jīng)驗(yàn)回歸方程，通過(guò)X對(duì)Y進(jìn)行預(yù)測(cè)或控制。簡(jiǎn)單回歸方程的求解 n我們希望根據(jù)觀測(cè)值估計(jì)出簡(jiǎn)單回歸方程中的

5、待定系數(shù)0和1，它們使得回歸方程對(duì)應(yīng)的響應(yīng)變量的誤差達(dá)到最小，該方法即為最小二乘法。 也就是求解0和1，使得 達(dá)到最小。n把得到的解記為 ,則回歸方程為niiixy121010)(),(SXY1001n或者預(yù)測(cè)誤差為nSPSS在輸出回歸系數(shù)的估計(jì)值的同時(shí)還會(huì)給出回歸系數(shù)估計(jì)值的標(biāo)準(zhǔn)誤差值；SPSS 還可以給出預(yù)測(cè)值和各種預(yù)測(cè)誤差iix10y iiiyye 回歸方程擬合程度檢驗(yàn)n回歸方程的檢驗(yàn)也就是驗(yàn)證兩個(gè)變量之間的線性關(guān)系的確在統(tǒng)計(jì)上顯著。一般進(jìn)行如下的假設(shè)檢驗(yàn) ，它包括n 1）常數(shù)項(xiàng)的t檢驗(yàn) H0: 0 = 0 常數(shù)項(xiàng)的估計(jì)值的標(biāo)準(zhǔn)誤差為 檢驗(yàn)統(tǒng)計(jì)量為： ).(.0es).(.000est回

6、歸系數(shù)顯著性檢驗(yàn)n2）回歸系數(shù)的顯著性檢驗(yàn) H0: 1 =0檢驗(yàn)統(tǒng)計(jì)量為：).(.111est回歸的三個(gè)平方和n我們把擬合值和真實(shí)值的差值的平方和稱為殘差平方和，記為SSE；把由于采用擬合回歸直線后預(yù)測(cè)值較采用響應(yīng)變量均值提高的部分的平方和稱為回歸平方和，記為SSR；真實(shí)值和響應(yīng)變量均值的平方和稱為總平方和，記為SST。決定系數(shù)R2n平方和定義n三者之間的關(guān)系為： SST = SSR +SSE R2 = SSR /SSTniiyySST12)(niiyySSR12)(niiiyySSE12)(R2的解釋n決定系數(shù)R2的大小反映了回歸方程能夠解釋的響應(yīng)變量總的變差的比例，其值越大，回歸方程的擬合

7、程度越高。n一般情況下，隨著預(yù)測(cè)變量個(gè)數(shù)的增大，決定系數(shù)的值也變大，因此在多重回歸分析中，需要反映回歸方程中預(yù)測(cè)變量的個(gè)數(shù)，即引入了調(diào)整的決定系數(shù)。 回歸模型的顯著性的F檢驗(yàn)n總平方和SST反映因變量Y的波動(dòng)程度或者不確定性，在建立了Y對(duì)X的回歸方程后，總平方和SST分解成回歸平方和SSR與參差平方和SSE兩部分。其中SSR是由回歸方程確定的，SSE是不能由自變量X解釋的波動(dòng)，是由X之外的未加控制的因素引起的。這樣，SST中能夠由自變量解釋的部分為SSR，不能由自變量解釋的部分為SSE。這樣回歸平方和越大，回歸的效果越好，據(jù)此構(gòu)造F檢驗(yàn)統(tǒng)計(jì)量殘差均方回歸均方MSEMSRnSSESSRpnSSE

8、pSSRF)2/(1/) 1/(/nSPSS在回歸輸出結(jié)果的ANOVA表中給出SSR，SSE，SST和F統(tǒng)計(jì)量的取值，同時(shí)給出F值的顯著性值（即p值）。用回歸方程預(yù)測(cè)n在一定范圍內(nèi)，對(duì)任意給定的預(yù)測(cè)變量取值，可以利用求得的擬合回歸方程進(jìn)行預(yù)測(cè)。其預(yù)測(cè)值為：nSPSS可以提供標(biāo)準(zhǔn)化的預(yù)測(cè)值和調(diào)整的預(yù)測(cè)值 0100 x簡(jiǎn)單線性回歸舉例n一家計(jì)算機(jī)服務(wù)公司需要了解其用電話進(jìn)行客戶服務(wù)修復(fù)的計(jì)算機(jī)零部件的個(gè)數(shù)和其電話用的時(shí)間的關(guān)系。經(jīng)過(guò)相關(guān)分析，認(rèn)為二者之間有顯著的線性關(guān)系。下面我們用線性回歸找到這兩個(gè)變量之間的數(shù)量關(guān)系。SPSS回歸分析n在SPSS中打開(kāi)數(shù)據(jù)文件ComputerRepair.sav，

9、變量Units記錄了修復(fù)的零部件的個(gè)數(shù)；變量Minuts記錄了服務(wù)所占用的電話時(shí)間。n選擇【分析】【回歸】【線性】。把Units選入到自變量框中；把Minuts選入到因變量框中。其他選項(xiàng)保留默認(rèn)值。SPSS回歸分析回歸分析的結(jié)果及其解釋擬合優(yōu)度檢驗(yàn)多元線性回歸 n實(shí)際應(yīng)用中，很多情況要用到多個(gè)預(yù)測(cè)變量才能更好地描述變量間的關(guān)系，如果這些預(yù)測(cè)變量在預(yù)測(cè)方程中的系數(shù)為線性，那么回歸方程稱為多元線性回歸方程。就方法的實(shí)質(zhì)來(lái)說(shuō)，處理多個(gè)預(yù)測(cè)變量的方法與處理一個(gè)預(yù)測(cè)變量的方法基本相同。多元線性回歸的模型 n多元線性回歸的模型為： Y = 0 +1 X1 + 2 X2 + +p Xp +n回歸系數(shù)的估計(jì)和

10、簡(jiǎn)單線性回歸一樣，仍然應(yīng)用最小二乘法回歸方程的顯著性檢驗(yàn) 與一元的情形一樣，上面的討論是在響應(yīng)變量Y與預(yù)測(cè)變量X之間呈現(xiàn)線性相關(guān)的前提下進(jìn)行的，所求的經(jīng)驗(yàn)方程是否有顯著意義，還需對(duì)X與Y間是否存在線性相關(guān)關(guān)系作顯著性假設(shè)檢驗(yàn)，與一元類似，回歸方程是否有顯著意義，需要對(duì)回歸參數(shù)0,1,p進(jìn)行檢驗(yàn)。n檢驗(yàn)每個(gè)回歸系數(shù)是否顯著 H0:i =0, i=0,1,2, p 這里和一元線性回歸的檢驗(yàn)一樣，檢驗(yàn)統(tǒng)計(jì)量為t統(tǒng)計(jì)量。n檢驗(yàn)所有回歸系數(shù)都不顯著,即 H0:0 =1=p 這里的檢驗(yàn)統(tǒng)計(jì)量為MSEMSRpnSSEpSSRF) 1/(/n F檢驗(yàn)的 被拒絕，并不能說(shuō)明所有的自變量都對(duì)因變量Y有顯著影響，我

11、們希望從回歸方程中剔除那些統(tǒng)計(jì)上不顯著的自變量，重新建立更為簡(jiǎn)單的線性回歸方程，這就需要對(duì)每個(gè)回歸系數(shù)做顯著性檢驗(yàn)。n 即使所有的回歸系數(shù)單獨(dú)檢驗(yàn)統(tǒng)計(jì)上都不顯著，而F檢驗(yàn)有可能顯著，這時(shí)我們不能夠說(shuō)模型不顯著。這時(shí)候，尤其需要仔細(xì)對(duì)數(shù)據(jù)進(jìn)行分析，可能分析的數(shù)據(jù)有問(wèn)題，譬如共線性等。0H調(diào)整的R2n隨著自變量個(gè)數(shù)的增多，不管增加的自變量是否和因變量的關(guān)系密切與否，R方都會(huì)增大；調(diào)整的R方是根據(jù)回歸方程中的參數(shù)的個(gè)數(shù)進(jìn)行調(diào)整的R方，它對(duì)參數(shù)的增多進(jìn)行懲罰，調(diào)整R方它沒(méi)有直觀的解釋意義，它的定義為)1 (111) 1/(SST) 1/(-122RpnnnpnSSER調(diào)整應(yīng)用舉例n數(shù)據(jù)文件perfor

12、mance.sav記錄了一項(xiàng)企業(yè)心理學(xué)研究的數(shù)據(jù)。它調(diào)查了一個(gè)大型金融機(jī)構(gòu)的雇員，記錄了他們和主管的交互情況的評(píng)價(jià)和對(duì)主管的總的滿意情況。我們希望該調(diào)查來(lái)了解主管的某些特征和對(duì)他們的總的滿意情況的相互關(guān)系。n打開(kāi)數(shù)據(jù)文件performance.sav，選擇【分析】【回歸】【線性】，如圖8-3所示。把變量Y選入到因變量框中，把變量X1到X6選入到自變量框中，其他選項(xiàng)保留默認(rèn)值。單擊【確定】。結(jié)果及其解釋n“t”列記錄了各回歸系數(shù)t檢驗(yàn)的t統(tǒng)計(jì)量，而Sig.列記錄了相應(yīng)的顯著性值。這里，只有X1和X3的顯著性值小于0.1，注意到回歸方程的常數(shù)項(xiàng)也不顯著。然而，大部分情況下不顯著的預(yù)測(cè)變量都要從回歸方程中移除，而回歸常數(shù)代表了響應(yīng)變量的基本水平，不管顯著與否，大部分情況都保留在回歸方程中。因此，我們可以僅僅考慮Y和X1、X3之間的關(guān)系而忽略其他預(yù)測(cè)變量。簡(jiǎn)約回歸模型簡(jiǎn)約回歸模型結(jié)果及解釋動(dòng)手練習(xí)數(shù)據(jù)文件world95.sav記錄了1995年統(tǒng)計(jì)的各個(gè)國(guó)家的生育率(fertility)和婦女的平均預(yù)期壽命（