現(xiàn)代統(tǒng)計(jì)方法-多元回歸spss軟件實(shí)際操作過(guò)程全解

1、 第九部分多元線性回歸一、多元線性回歸模型多元線性理論回歸模型的一般形式y(tǒng)=卩+卩x+卩x+卩x+01122ppE(e)=0Var(e)=c2,y),上式可寫成方程組形式n對(duì)n組試驗(yàn)數(shù)據(jù)(xn，怙，,xip，y)(G，B，,X2p，Xn1,怙,XpTOC o 1-5 h zy=卩+卩x+卩x+卩x+e0111212p1p1y=卩+卩x+卩x+卩x+e0121222p2p2y=P0+P,n01xn1P2xn2+Pxpnp+en寫成矩陣形式為y=XP+e其中y1rixiiy=y221xn1xpxp，P=p1，e=(e)1e2x丿penp丿p丿，n丿基本假設(shè)條件(1)rank(X)=p+1n，該假設(shè)

2、條件的成立說(shuō)明自變量x,x，,x不相關(guān)12p(2)E(e)=0i=1,2,ni/、b2i=jCOV(e.,e.)=Ij0i工j、J違反(1)稱為多重共線性，違反(2)稱為序列相關(guān)和異方差。我們將在后面內(nèi)容的討論不滿足條件的處理辦法。(3Je.N(0,b2)i=1,2,.,n(3)p+1，所以有基本假設(shè)np+1。三、多元回歸的顯著性檢驗(yàn)多元回歸的顯著性檢驗(yàn)包括回歸方程的顯著性檢驗(yàn)和回歸系數(shù)的顯著性檢驗(yàn)，兩者既有相同之處，也有不同之處。1.回歸方程顯著性的F檢驗(yàn)多元回歸方程的顯著性檢驗(yàn)就是看自變量x,x，,x從整體上對(duì)隨機(jī)變量y是否有顯著的影響，而提出假設(shè)12pH0：卩1=卩2=Pp=0如果H被接

3、受，則表明隨機(jī)變量y與自變量x,x,x之間的關(guān)系由線性回歸模型表示不合適。012p同一元回歸討論類似，有平方和分解公式工(yi-y)2=工(yi-y)2+工(yi-y.)2iiii簡(jiǎn)寫為SST=SSR+SSE在正態(tài)假設(shè)下，當(dāng)H0成立時(shí)，統(tǒng)計(jì)量F=SSR/pSSE/(n-p-1)F(p,n-p-1)對(duì)給定的檢驗(yàn)水平，檢驗(yàn)規(guī)則為：當(dāng)FF“（p,n-p-1）時(shí)，拒絕H，否則就接受H.vX002.回歸系數(shù)顯著性的t檢驗(yàn)在多元線性回歸中，雖然通過(guò)了回歸方程的顯著性檢驗(yàn)（拒絕H0），但并不意味著每個(gè)自變量對(duì)y的影響都是顯著的，因此要對(duì)每個(gè)自變量進(jìn)行顯著性檢驗(yàn)。而提出假設(shè)H00.=0，j=1,2,p0jj如

4、果H0被接受，則表明自變量x對(duì)隨機(jī)變量y的影響不顯著；如果H0被拒絕，則表明自變量x對(duì)隨機(jī)變量y的影響時(shí)0jj0jj顯著的。由0N(P,b2(XTX)-1)，記(XTX)-1=C=(c)，則N(0,ca2)，j=1,2,p，因此，在假設(shè)H成立下,ijjjjj0jt=.t(n-p-1)佟a，c.jj對(duì)給定的檢驗(yàn)水平X，檢驗(yàn)規(guī)則為：當(dāng)111tX（n-p-1）時(shí)，拒絕H，否則就接受H。X20j0j盡管回歸方程通過(guò)了顯著性檢驗(yàn)，但也會(huì)出現(xiàn)某個(gè)自變量x（甚至于每個(gè)自變量x）對(duì)隨機(jī)變量y的影響不顯著的情況;jj在實(shí)際問(wèn)題中可以刪除一些不顯著的變量（逐步回歸），從而簡(jiǎn)化而突出主要變量；例1本例研究第三產(chǎn)業(yè)對(duì)

5、旅游外匯收入的影響。中國(guó)統(tǒng)計(jì)年鑒把第三產(chǎn)業(yè)劃分為12個(gè)組成部分，分別為x1-農(nóng)林牧漁服務(wù)業(yè)，x-地質(zhì)勘查水利管理業(yè)，x-交通運(yùn)輸倉(cāng)儲(chǔ)和郵電通信業(yè)，x-批發(fā)零售貿(mào)易和餐飲業(yè)，x-金融保險(xiǎn)2345業(yè)，x-房地產(chǎn)業(yè)，x-社會(huì)服務(wù)業(yè)，x-衛(wèi)生體育和社會(huì)福利業(yè)，x-教育文化藝術(shù)和廣播，x-科學(xué)研究和綜合藝678910術(shù)，x-黨政機(jī)關(guān)，x-其他行業(yè)。y-國(guó)際旅游外匯收入（百萬(wàn)美元），自變量單位為億元人民幣。1112執(zhí)行SPSS操作得回歸方程為y=205.552-1.495x+2.649x+1.360 x1212由Anova表可以看到通過(guò)了檢驗(yàn)（12個(gè)自變量作為一個(gè)整體對(duì)因變量影響顯著）。由系數(shù)表可以看到1

6、2個(gè)自變量都沒(méi)有通過(guò)檢驗(yàn)。四、數(shù)據(jù)處理的基本方法1.數(shù)據(jù)標(biāo)準(zhǔn)化對(duì)樣本數(shù)據(jù)x,y,i=1,2,n;j=1,2,p，記ijix.-xiyi-yx*=jij，y*=ij.si-sssj/yy稱x*ijy*，為標(biāo)準(zhǔn)化后的數(shù)據(jù)。其中s/j=沽丫(xj-xj)2為變量xj對(duì)應(yīng)的樣本數(shù)據(jù)的樣本方差，syy=沽丫(yj-y)2l=(y.-y)2，稱為樣本離差。yyji=1i=1i=1n為變量y對(duì)應(yīng)的樣本數(shù)據(jù)的樣本方差。有時(shí)記1丄(x.-x.)2jjijji=12.標(biāo)準(zhǔn)化回歸系數(shù)對(duì)擬合回歸方程y=0+0 x+0 xH0 x，由于y=0+0 x.+0 x2H0 x，兩式相減得中心化回歸方程01122pp01122

7、ppTOC o 1-5 h z夕=0 xf+0 x，0 x1122pp再除以/syy,整理得標(biāo)準(zhǔn)化回歸方程AAAAy*=0*x*+0*x*0*x*1122ppAS八lA其中，0*=-=0.=0.，j=1,2,pJ右JJlJyyyy例1的標(biāo)準(zhǔn)化回歸方程為y*=-0.013xi*+.23x2+.42xi*2AA普通最小二乘估計(jì)0表示在其他變量不變下，自變量x的每單位絕對(duì)變化引起的因變量均值的絕對(duì)變化量，而0*則jjj表示自變量xj的每單位相對(duì)變化(1%)引起的因變量均值的相對(duì)變化量的百分比?？偨Y(jié)普通最小二乘估計(jì)的系數(shù)不具有可比性，如y=200+200 x1+2x2。用標(biāo)準(zhǔn)化回歸系數(shù)解釋變量的相對(duì)重

8、要性就比較理想了，但要注意的是，當(dāng)變量之間具有相關(guān)性時(shí)，會(huì)影響標(biāo)準(zhǔn)化回歸系數(shù)的大小。五、相關(guān)系數(shù)與決定系數(shù)1.簡(jiǎn)單相關(guān)系數(shù)在一元線性回歸中，定義x與y的樣本相關(guān)系數(shù)為lr=xy、:;llxxyy及樣本決定系數(shù)r2，并有r2=5SR=1-5SEr=SST=SST因此，樣本決定系數(shù)r2反映了x與y的相關(guān)關(guān)系，且r2越接近1,表示回歸擬合效果越好，如r2=90%可解釋為，因?yàn)閤的變化而引起y的90%的變化，另10%的變化是由其他因素引起的，或敘述為x解釋了y的90%的變差。類似于上面定義，可定義任意變量x與x的簡(jiǎn)單相關(guān)系數(shù)r和決定系數(shù)及變量x與y的簡(jiǎn)單相關(guān)系數(shù)r和決定系數(shù)ijijiiy1212r2=

9、jr2=iyijlliylliijjiiyy2.復(fù)相關(guān)系數(shù)在多元線性回歸中，類似定義y與x,x,x的樣本復(fù)決定系數(shù)為12pR2=趣=1-亞SSTSST及樣本復(fù)相關(guān)系數(shù)為模:型匯總模型RR方調(diào)整R方標(biāo)準(zhǔn)估計(jì)誤差1.935a.875.792304.680復(fù)相關(guān)系數(shù)R反映了y與一組變量x,x，,x的相關(guān)關(guān)系。例1的R2=0.875,R=0.935。12p實(shí)際問(wèn)題中，當(dāng)然R越接近1越好，但有時(shí)顧及到模型結(jié)構(gòu)的合理解釋，R2能在0.7左右也是可以接受的，當(dāng)樣本容量與自變量的個(gè)數(shù)接近時(shí)，R2很容易接近1,因此不能僅以R2的大小來(lái)決定模型的優(yōu)劣。例2在建立建筑業(yè)降低成本率對(duì)流動(dòng)資金、固定資金、優(yōu)良品率、竣工

10、面積、勞動(dòng)生產(chǎn)率和施工產(chǎn)值的關(guān)系時(shí)，利用數(shù)據(jù)進(jìn)行回歸。從輸出結(jié)果中可以看出，雖然R2=0.92679，但方程沒(méi)有通過(guò)F檢驗(yàn)(p=0.207)。六、偏決定系數(shù)在多元線性回歸分析中，由于自變量之間的相關(guān)性的產(chǎn)生，不但使一些量會(huì)發(fā)生變化，解釋上也有所不同。比如在考慮y與x和x的關(guān)系時(shí)，r2=90%，解釋為x影響了y的90%,x與其他因素一共影響10%，但r2=90%，又說(shuō)明x的12y112121變化有90%是由x引起的，即x通過(guò)x就影響了y的81%，現(xiàn)在再說(shuō)x是影響y的主要因素就不合適了。2211因此，當(dāng)自變量有自相關(guān)時(shí)，y與一組變量x,x，,x的擬合方程中x的回歸系數(shù)0不能完全反映x對(duì)y的內(nèi)在效1

11、2pjjj應(yīng)，而只反映邊際的或部分的效應(yīng)。一項(xiàng)生產(chǎn)任務(wù)由10人完成，甲完成其中10%，如果甲與其他人沒(méi)有協(xié)作，則甲的能力與其他人相當(dāng)，但如果甲有幫助其他人的現(xiàn)象，則甲的能力就不止10%。如何測(cè)算出甲的能力呢？設(shè)總量為，那就是先讓其他9人去生產(chǎn)得產(chǎn)量，然9A-A后將甲加進(jìn)去去生產(chǎn)得產(chǎn)量A，則A-A就是甲的貢獻(xiàn)，或A10A9X100%就是甲的能力。TOC o 1-5 h z10109A余定義記2SSR(x(,x.)-SSR(xjr2=12y2:1SSE(x1)稱為x1已在回歸模型中，y與x2之間的偏決定系數(shù)。同理，設(shè)模型中已含有x，,x時(shí)，再加入x時(shí)，y與x的偏決定系數(shù)為2p11SSE(x，,x)

12、一SSE(x,x，,x)r2=2p+2yh2,3,PSSE(x，,x)2p它反映了在其它變量不變的情況下，x1對(duì)y回歸的邊際貢獻(xiàn)。類似定義偏相關(guān)系數(shù)為偏決定系數(shù)的平方根，其符號(hào)與相應(yīng)的回歸系數(shù)的符號(hào)相同。根據(jù)偏相關(guān)系數(shù)的大小，可以判定哪些自變量對(duì)因變量的影響較大。比如r2r2，則說(shuō)明x對(duì)y的影響要強(qiáng)于xy2:1y1:221例3研究北京市各經(jīng)濟(jì)開(kāi)發(fā)區(qū)經(jīng)濟(jì)發(fā)展與招商投資的關(guān)系，因變量y為各開(kāi)發(fā)區(qū)的銷售收入(百萬(wàn)元)，自變量x1為招商企業(yè)數(shù)目，x2為招商企業(yè)注冊(cè)資本(百萬(wàn)元)，以y對(duì)、x2進(jìn)行二元回歸。SPSS操作：進(jìn)入數(shù)據(jù)編輯器界面，點(diǎn)擊【分析】T【回歸】T【統(tǒng)計(jì)量】，在打開(kāi)的統(tǒng)計(jì)量框中點(diǎn)選【部分

13、相關(guān)和偏相關(guān)】，確定即可。x1和x2共消除了y的84.2%變差。由模型匯總表知：R2=0.842，即y對(duì)和x2進(jìn)行回歸時(shí),由系數(shù)表知：y對(duì)x的決定系數(shù)為r2=(0.807)2=65.1%，偏決定系數(shù)為r2=(0.802)2=64.3%；1y1y1:2同理可得y對(duì)x決定系數(shù)為r2=(0.746)2=55.7%，偏決定系數(shù)為r2=(0.739)2=54.6%。TOC o 1-5 h z2y2y2:1解釋如下：y單獨(dú)對(duì)x回歸時(shí)，x消除了y的r2=(0.807)2=65.1%總變差，加入x后，x又消除了剩余的34.9%中的11y122r2=(0.739)2=54.6%的變差，即消除34.9%X54.6%=19.1%的總變差，因此，共消除65.1%+19.1%=84.2%總變差；y2:1同理，y單獨(dú)對(duì)x回歸時(shí)，x消除了y的r2=(0.746)2=55.7%總變差，加入x后，x又消除了剩余的44.3%中的22y211r2=(0.802)2=64.3%的變差，即消除44.3%X64.3%=28.