第九章2 多元回歸分析

第九章

回歸問(wèn)題第一節(jié)一元線(xiàn)性回歸第二節(jié)多元線(xiàn)性回歸第三節(jié)可化為多元線(xiàn)性回歸的問(wèn)題第四節(jié)曲線(xiàn)回歸§2多元回歸分析一元線(xiàn)性回歸只是回歸分析中的一種特例。若某公司管理人員要預(yù)測(cè)來(lái)年該公司的銷(xiāo)售額y時(shí)，研究認(rèn)為影響銷(xiāo)售額的因素不只是廣告宣傳費(fèi)x1,還有消費(fèi)人群個(gè)人可支配收入x2,價(jià)格x3,研究與發(fā)展費(fèi)用x4,各種投資x5,銷(xiāo)售費(fèi)用x6.————多元回歸問(wèn)題。Yi=b0+b1x1i+b2x2i+…+bpxpi+ξiY1=b0+b1x11+b2x21+…+bpxp1+ξ1Y2=b0+b1x12+b2x22+…+bpxp2+

ξ2…Yn=b0+b1x1n+b2x2n+…+bpxpn+

ξn

令

y11x11x21…xp1Y=y2x=1x12x22…xp2yn1x1nx2n…xpnb0ξ

1b1ξ

2B=…e=…bpξ

n則Y=XB+e一、多元線(xiàn)性回歸模型的基本假定解釋變量x1,x2,…,xp是確定性變量，不是隨機(jī)變量，而且解釋變量之間互不相關(guān)隨機(jī)誤差項(xiàng)具有零均值和同方差

E（ξ

i）=0var(ξ

i)=E(ξ

i-E(ξ

i))2=E(ξ

i)2=σ2隨機(jī)誤差項(xiàng)在不同樣本點(diǎn)之間是相互獨(dú)立的，不存在序列相關(guān)

cov(ξ

i,ξ

j)=0i≠ji,j=1,2,…ncov(ξ

i,ξ

j)=E((ξ

i-E(ξ

i)(ξ

j-E(ξj))=E(ξ

iξ

j)=E(ξ

i)E(ξ

j)=0

隨機(jī)誤差項(xiàng)與解釋變量之間不相關(guān)

cov(xi,ξ

i)=0隨機(jī)誤差項(xiàng)服從零均值，同方差的正態(tài)分布

ξ

i～N(0，σ2)二、建立回歸方程設(shè)令即（最小二乘法）矩陣表示三、多元線(xiàn)性回歸模型的建模方法1.打開(kāi)文件或新建文件2.Analyzeregressionlinear3.建模方法（1）enter:強(qiáng)迫進(jìn)入法—如果因子數(shù)不多且符合多項(xiàng)回歸條件（2）stepwise:逐步選擇法（3）remove:強(qiáng)迫消除法（4）backward:向后剔除法（5）forward:向前引入法

回歸統(tǒng)計(jì)量（1）estimates:顯示回歸系數(shù)及相關(guān)的指標(biāo)（2）confidenceintervals:顯示未標(biāo)準(zhǔn)化回歸系數(shù)的置信區(qū)間（3）covariancematrix:未標(biāo)準(zhǔn)化回歸系數(shù)的方差—協(xié)方差矩陣（4）modelfit:模型檢驗(yàn)

回歸統(tǒng)計(jì)量（5）Rsquaredchange：每引進(jìn)一個(gè)x引起的回歸

（6）descriptive:顯示變量的均值、標(biāo)準(zhǔn)差等（7）Partandpartialcorrelations:偏相關(guān)

（8）collinearitydiagnostics:共線(xiàn)性診斷（9）Durbon_waston:D.w.檢驗(yàn)統(tǒng)計(jì)量Y=0.488+0.576x1+4.769x2-2.145x3(4.245)(2.404)(-2.111)Y=-13534.1+0.209x1-0.06x2+0.763x3+0.141x4-0.855x5+0.227x6(3.292)(-0.416)(2.341)(2.703)(-2.932)(2.595)五、回歸方程的效果的檢驗(yàn)方程顯著性檢驗(yàn)參數(shù)顯著性檢驗(yàn)擬合優(yōu)度檢驗(yàn)（復(fù)相關(guān)系數(shù)、偏相關(guān)系數(shù)）對(duì)假設(shè)理論的檢驗(yàn)鏈接例2中，方差分析表為：Residual-殘差：預(yù)測(cè)值與實(shí)測(cè)值的差y1.方程顯著性檢驗(yàn)(F檢驗(yàn))F檢驗(yàn)是以方差分析為基礎(chǔ),對(duì)回歸總體線(xiàn)性關(guān)系是否顯著的一種假設(shè)檢驗(yàn),是解釋模型中被解釋變量與所有解釋變量之間的線(xiàn)性關(guān)系在總體上是否顯著的方法利用F統(tǒng)計(jì)量進(jìn)行總體線(xiàn)性顯著性檢驗(yàn)的步驟如下:(1)提出關(guān)于P個(gè)總體參數(shù)的假設(shè)

H0:b0=b1=b2=…=bp=0(2)構(gòu)造統(tǒng)計(jì)量

(3)檢驗(yàn)給定顯著性水平α,查F分布表若F>Fα,拒絕H0,表明回歸總體有顯著性關(guān)系.

若F<Fα,接受原假設(shè),表明不存在線(xiàn)性關(guān)系2.參數(shù)顯著性檢驗(yàn)參數(shù)顯著性檢驗(yàn),是對(duì)每個(gè)解釋變量進(jìn)行檢驗(yàn).如果解釋變量對(duì)被解釋變量的影響不顯著,應(yīng)從模型中刪除,如果解釋變量對(duì)被解釋變量的影響顯著,應(yīng)保留在模型中.利用t統(tǒng)計(jì)量進(jìn)行參數(shù)顯著性檢驗(yàn)的步驟如下:(1)假設(shè):H0:bi=0(2)構(gòu)造統(tǒng)計(jì)量:(3)檢驗(yàn)對(duì)給定α,若︱t︱>tα/2,說(shuō)明拒絕原假設(shè)若︱t︱<tα/2,則接受原假設(shè).如果一次t檢驗(yàn)后,模型中存在多個(gè)不重要變量,一般是將t值最小的變量刪除掉,再重新進(jìn)行檢驗(yàn),每次只剔除1個(gè)變量.aii是(X`X)-1主對(duì)角線(xiàn)上第i+1個(gè)元素六、復(fù)相關(guān)系數(shù)和偏相關(guān)系數(shù)復(fù)相關(guān)系數(shù)R是由ESS和TSS構(gòu)造的統(tǒng)計(jì)量，用來(lái)表示回歸方程對(duì)原有數(shù)據(jù)擬合程度的好壞，衡量作為一個(gè)整體的x1,x2,…,xp與y的線(xiàn)性關(guān)系的大小?；貧w方程的擬合優(yōu)度檢驗(yàn)就是要檢驗(yàn)樣本數(shù)據(jù)點(diǎn)聚集在回歸直線(xiàn)周?chē)拿芗潭龋瑥亩u(píng)價(jià)回歸方程對(duì)樣本數(shù)據(jù)的代表程度。由決定系數(shù)R2（有稱(chēng)復(fù)相關(guān)系數(shù)）來(lái)實(shí)現(xiàn)。實(shí)際中，隨著自變量個(gè)數(shù)的不斷增加，必然會(huì)使得R2不斷變化，于是出現(xiàn)的問(wèn)題是，R2變化是由于數(shù)學(xué)習(xí)性決定的，還是確實(shí)是由于引入了好的變量進(jìn)入方程而造成的。因此在作擬合優(yōu)度檢驗(yàn)的判定時(shí)，一般采用調(diào)整的R2，以消除自變量的個(gè)數(shù)以及樣本量的大小對(duì)R2的影響。調(diào)整的R2其它變量被固定后，計(jì)算任意兩個(gè)變量之間的相關(guān)系數(shù)，這種相關(guān)系數(shù)稱(chēng)為偏相關(guān)系數(shù)。簡(jiǎn)單相關(guān)系數(shù)只是一種表面上的數(shù)量的相關(guān)系數(shù)，而并非本質(zhì)的東西。偏相關(guān)系數(shù)才真正反映兩個(gè)變量的本質(zhì)聯(lián)系。Zero-order:零階相關(guān)系數(shù)，計(jì)算所有自變量與因變量間的簡(jiǎn)單相關(guān)系數(shù)。--零階相關(guān),表相關(guān)Partcorrelation:部分相關(guān)，在排除了其他自變量對(duì)xi的影響后，當(dāng)一個(gè)自變量進(jìn)入模型后，復(fù)相關(guān)系數(shù)（回歸模型的決定系數(shù)）的平方增加量。回歸方程的殘差分析殘差序列的正態(tài)性分析殘差序列的隨機(jī)性分析殘差序列的獨(dú)立性分析奇異值診斷異方差診斷回歸分析的假設(shè)條件是否滿(mǎn)足？

返回殘差對(duì)每個(gè)個(gè)案，預(yù)測(cè)值與實(shí)測(cè)值的差標(biāo)準(zhǔn)化殘差：均值為0，標(biāo)準(zhǔn)差為1學(xué)生化殘差：殘差除以殘差的標(biāo)準(zhǔn)差的點(diǎn)估計(jì)值。若隨自變量（因變量）變化，則認(rèn)為方差不齊殘差序列的正態(tài)性分析：通過(guò)繪制標(biāo)準(zhǔn)化殘差序列的帶正態(tài)曲線(xiàn)的直方圖或累計(jì)概率圖來(lái)分析，確定殘差是否接近正態(tài)Analyze->regression->linearPlot子對(duì)話(huà)框中選Histogram或p-p圖返回殘差序列的隨機(jī)性分析：可以繪制殘差序列和對(duì)應(yīng)的預(yù)測(cè)值序列的散點(diǎn)圖。如果殘差序列是隨機(jī)的，那么殘差序列應(yīng)與預(yù)測(cè)值序列無(wú)關(guān)，殘差序列點(diǎn)將隨機(jī)地分布在經(jīng)過(guò)零的一條直線(xiàn)上下（均值為0）。在線(xiàn)性回歸Plots對(duì)話(huà)框中的源變量表中，選擇SRESID（學(xué)生氏殘差—（學(xué)生化殘差:殘差與標(biāo)準(zhǔn)誤之比）做Y軸，選ZPRED（標(biāo)準(zhǔn)化預(yù)測(cè)值）做X軸殘差序列的獨(dú)立性分析：分析殘差序列是否存在后期值與前期值相關(guān)的現(xiàn)象。D.W檢驗(yàn)樣本奇異值的診斷：樣本奇異值是樣本數(shù)據(jù)中那些遠(yuǎn)離均值的樣本數(shù)據(jù)點(diǎn)。它們會(huì)對(duì)回歸方程的擬合產(chǎn)生較大偏差影響。一般認(rèn)為，如果某樣本點(diǎn)對(duì)應(yīng)的標(biāo)準(zhǔn)化殘差的值超出了-3—+3的范圍，就可以判定該樣本數(shù)據(jù)為奇異值。Analyze->regression->statistics->casediagnostics異方差診斷：線(xiàn)性回歸模型要求殘差序列服從等方差的正態(tài)分布一般通過(guò)繪制SRESID與因變量預(yù)測(cè)值的散點(diǎn)圖或計(jì)算SRESID和因變量預(yù)測(cè)值間的相關(guān)系數(shù)。如果殘差序列和預(yù)測(cè)值的平方根成正比例變化，可以對(duì)因變量作開(kāi)方處理；如果殘差序列與預(yù)測(cè)值成比例變化，可以對(duì)因變量取對(duì)數(shù)；如果殘差序列與預(yù)測(cè)值的平方成比例的變化，可以對(duì)因變量求倒數(shù)。還可以用WLS法消除異方差。七、預(yù)測(cè)和控制所謂預(yù)測(cè)就是給定解釋變量x樣本外的某一特征值x0=(1，x10,x20,…,xp0),對(duì)因變量的值y0以及E(y0)進(jìn)行估計(jì)。1、y0的點(diǎn)預(yù)測(cè)：2、y0的（1-α）的預(yù)測(cè)區(qū)間：返回第四節(jié)逐步回歸多元線(xiàn)性回歸中，如何選擇自變量如果自變量選的太少，則自變量對(duì)Y的決定系數(shù)太小，導(dǎo)致過(guò)大的偏差；一般來(lái)講，選的自變量愈多，ESS愈大。把與Y有關(guān)的自變量都選入是不可能的多個(gè)自變量中若對(duì)Y影響不顯著，反而會(huì)因自由度的減少而增大了誤差。自變量間的相關(guān)給回歸方程的實(shí)際解釋上造成麻煩，即多重共線(xiàn)性的影響。最優(yōu)方程的概念：要求進(jìn)入回歸方程的自變量都是顯著的，未進(jìn)入回歸方程的自變量都是不顯著的?；貧w方程的決定系數(shù)：一、“最優(yōu)”回歸方程的選擇目標(biāo)：1.回歸方程中包含盡量多的信息2.回歸方程中包含盡量少的變量方法：逐步剔除的回歸分析方法逐步引入的回歸分析方法“有進(jìn)有出”的回歸分析方法(逐步回歸分析方法)逐步剔除法（backward）1、用全部變量建立一個(gè)回歸方程2、對(duì)每個(gè)變量進(jìn)行檢驗(yàn)，剔除偏回歸平方和最小的變量。3、對(duì)剩余變量再作回歸，再檢驗(yàn)……直至方程中沒(méi)有可剔除的變量為止。逐步引入法（forward）1、將所有自變量分別與因變量建立一元線(xiàn)性回歸方程，比較各自的回歸平方和，將回歸平方和最大的變量引入回歸方程。2、再分別將剩余變量與因變量y、及已引入的變量建立二元線(xiàn)性回歸方程，再比較回歸平方和，選擇回歸平方和最大的變量引入方程。直至方程檢驗(yàn)不顯著為止?！爸鸩教蕹狈ㄅc“逐步引入”法都有明顯的不足之處:(1)“逐步剔除”法計(jì)算量大,且一旦某個(gè)自變量被剔除,沒(méi)有機(jī)會(huì)重新進(jìn)入方程.(2)“逐步引入”法一旦引入某個(gè)變量,