第七章多重共線性

1、第七章第七章 多重共線性多重共線性一、關(guān)于多重共線性對(duì)于模型 Yi=0+1X1i+2X2i+kXki+i i=1,2,n其基本假設(shè)之一是解釋變量是互相獨(dú)立的。如果某兩個(gè)或多個(gè)解釋變量之間出現(xiàn)了相關(guān)性，則稱為多重共線性(Multicollinearity)。如果存在 c1X1i+c2X2i+ckXki=0 i=1,2,n 其中: ci不全為0，則稱為解釋變量間存在則稱為解釋變量間存在完全共線完全共線性性（perfect multicollinearity）。如果存在 c1X1i+c2X2i+ckXki+vi=0 i=1,2,n 其中ci不全為0，vi為隨機(jī)誤差項(xiàng)，則稱為 近似共近似共線性線性（a

2、pproximate multicollinearity）或交互相關(guān)交互相關(guān)(intercorrelated)。注意：注意： 完全共線性的情況并不多見，一般出現(xiàn)的完全共線性的情況并不多見，一般出現(xiàn)的是在一定程度上的共線性，即近似共線性。是在一定程度上的共線性，即近似共線性。（1）多重共線性的性質(zhì)是什么？（2）多重共線性存在的原因及后果怎么樣？（3）在實(shí)際中，如何去發(fā)現(xiàn)多重共線性？（4）消除多重共線性的補(bǔ)救措施有哪些？例如在市場(chǎng)對(duì)雞肉的需求模型中：011223344iiiiiiYXXXXuYi為雞肉的平均需求量；X1為人均支配收入； X2為雞肉的價(jià)格； X3 ，X4分別為豬肉和牛肉的價(jià)格。以兩個(gè)

3、解釋變量X1，X2的線性回歸模型來考察多重共線性的問題 1、參數(shù)的估計(jì)（1）X1，X2是完全線性相關(guān)的，即二者的相關(guān)系數(shù)為1，則回歸分析不能進(jìn)行。 7.1 多重共線性的性質(zhì)多重共線性的性質(zhì)（2）若X1，X2高度相關(guān)，r很大，接近于1，但只要不完全相關(guān)，則r 21，也就是1和2的估計(jì)值是存在的。多重共線性是一個(gè)程度問題若解釋變量?jī)蓛芍g完全不相關(guān)，則不存在該問題；若其中部分解釋變量之間完全相關(guān)，則根本不能用OLS進(jìn)行回歸；若解釋變量之間存在一定程度的線性關(guān)系，則是本章所要解決的多重共線性的問題。 2.參數(shù)的方差因?yàn)楣烙?jì)值的方差為：22212221212()()iiiiixVarxxx x 221

4、22221212()()iiiiixVarxxx x 顯然偏回歸系數(shù)的估計(jì)值的方差與解釋變量之間相關(guān)程度成同方向變化。當(dāng)X1與X2完全相關(guān)時(shí)方差為無窮大，完全不能回歸 ；相關(guān)性越強(qiáng)，分母越趨近于0一、多重共線性存在的原因一、多重共線性存在的原因1.經(jīng)濟(jì)變量之間固有的內(nèi)在聯(lián)系經(jīng)濟(jì)變量之間固有的內(nèi)在聯(lián)系，比如以生產(chǎn)函數(shù)為例：7.2 多重共線性存在的原因及后果多重共線性存在的原因及后果 YAK LY是產(chǎn)值，解釋變量是資金K與勞動(dòng)力L資金規(guī)模和勞動(dòng)力規(guī)模之間有著內(nèi)在的聯(lián)系截面數(shù)據(jù)中的多重共線性，多半是由經(jīng)濟(jì)變量之間的內(nèi)在聯(lián)系所產(chǎn)生的。 2.經(jīng)濟(jì)變量在時(shí)間上有同方向變動(dòng)的趨勢(shì)。經(jīng)濟(jì)變量在時(shí)間上有同方向變

5、動(dòng)的趨勢(shì)。 例如，經(jīng)濟(jì)繁榮時(shí)期，許多經(jīng)濟(jì)變量，如收入、消費(fèi)、儲(chǔ)蓄、投資、就業(yè)等都隨著時(shí)間而趨向增長(zhǎng)； 而在經(jīng)濟(jì)衰退時(shí)期，這些經(jīng)濟(jì)變量都趨向下降。在時(shí)間序列數(shù)據(jù)中，增長(zhǎng)因素或趨向因素是造成多重共線性的主要原因。3.將某些解釋變量的滯后值作為單獨(dú)的新解釋將某些解釋變量的滯后值作為單獨(dú)的新解釋變量包含在模型中。變量包含在模型中。 例如，在消費(fèi)函數(shù)中，解釋變量除了包含現(xiàn)期收入水平外，還包含上期的收入水平，而現(xiàn)期收入的一部分一般由前期值決定。 例如，投資函數(shù)中常常包含現(xiàn)期的期望產(chǎn)量和過去若干期的產(chǎn)量，作為解釋變量。 這類含有變量滯后值的模型稱為滯后模型滯后模型，變量的前后期之值自然是相互關(guān)聯(lián)的。幾乎可以

6、肯定滯后模型中是存在多重共線性的滯后模型中是存在多重共線性的。4.樣本資料的限制樣本資料的限制由于完全符合理論模型所要求的樣本數(shù)據(jù)較難收集，特定樣本可能存在某種程度的多重共線性。 一般經(jīng)驗(yàn)一般經(jīng)驗(yàn)： 時(shí)間序列數(shù)據(jù)時(shí)間序列數(shù)據(jù)樣本：簡(jiǎn)單線性模型，往往存在多重共線性。 截面數(shù)據(jù)截面數(shù)據(jù)樣本：?jiǎn)栴}不那么嚴(yán)重，但多重共線性仍然是存在的。二、多重共線性的后果二、多重共線性的后果（一）完全共線性下的后果（一）完全共線性下的后果1.參數(shù)估計(jì)值不確定2.參數(shù)估計(jì)值的方差無限大（二）不完全多重共線性下的后果（二）不完全多重共線性下的后果 1.多重共線性的理論后果(1) 無偏性是一個(gè)重復(fù)抽樣的性質(zhì)。(2) 普通最

7、小二乘法估計(jì)量的方差最小，并不意味著在任何給定的樣本中普通最小二乘法估計(jì)量的方差會(huì)很小。 （3）多重共線性本質(zhì)上是一個(gè)樣本(回歸)現(xiàn)象。二、多重共線性的后果二、多重共線性的后果（一）完全共線性下的后果（一）完全共線性下的后果1.參數(shù)估計(jì)值不確定2.參數(shù)估計(jì)值的方差無限大（二）不完全多重共線性下的后果（二）不完全多重共線性下的后果 1.多重共線性的理論后果(1) 無偏性是一個(gè)重復(fù)抽樣的性質(zhì)。(2) 普通最小二乘法估計(jì)量的方差最小，并不意味著在任何給定的樣本中普通最小二乘法估計(jì)量的方差會(huì)很小。 （3）多重共線性本質(zhì)上是一個(gè)樣本(回歸)現(xiàn)象。2.實(shí)際后果實(shí)際后果（1）OLS的回歸系數(shù)方差和標(biāo)準(zhǔn)差較大

8、，且與解釋變量之間的線性相關(guān)呈同向變化。即雖即雖然然OLS估計(jì)式仍然是無偏估計(jì)，但這時(shí)估計(jì)估計(jì)式仍然是無偏估計(jì)，但這時(shí)估計(jì)式的方差會(huì)隨共線性程度的提高而增大。式的方差會(huì)隨共線性程度的提高而增大。如果估計(jì)量的標(biāo)準(zhǔn)差增加了，普通最小二乘法估計(jì)量的精確度就下降了。參數(shù)估計(jì)的精確性降低了，因而不能正確判斷各種解釋變量對(duì)被解釋變量的影響的大小。 仍以二元線性模型 y=1x1+2x2+ 為例: 2221221212221222122211121)(1/)()()var(iiiiiiiiiixxxxxxxxxxXX221211rxi2221221)(iiiixxxx恰為X1與X2的線性相關(guān)系數(shù)的平方r2由于

9、 r2 1，故 1/(1- r2 )1多重共線性使參數(shù)估計(jì)值的方差增大重共線性使參數(shù)估計(jì)值的方差增大，1/(1-r2)為方差膨脹因子方差膨脹因子(Variance Inflation Factor, VIF)當(dāng)完全不共線完全不共線時(shí), r2 =0 2121/)var(ix當(dāng)近似共線近似共線時(shí), 0 r2 15.19，故認(rèn)上述糧食生產(chǎn)的總體線性關(guān)系顯著成立。 但X4 、X5 的參數(shù)未通過t檢驗(yàn)，且符號(hào)不正確，故解釋變量間可能存在多重共線性解釋變量間可能存在多重共線性。54321028. 0098. 0166. 0421. 0213. 644.12816XXXXXY (-0.91) (8.39)

10、(3.32) (-2.81) (-1.45) (-0.14) 2 2、檢驗(yàn)簡(jiǎn)單相關(guān)系數(shù)、檢驗(yàn)簡(jiǎn)單相關(guān)系數(shù) 發(fā)現(xiàn)：發(fā)現(xiàn)： X1與X4間存在高度相關(guān)性。列出X1，X2，X3，X4，X5的相關(guān)系數(shù)矩陣：X1X2X3X4X5X11.000.010.640.960.55X20.011.00-0.45-0.040.18X30.64-0.451.000.690.36X40.96-0.040.691.000.45X50.550.180.360.451.00 3 3、找出最簡(jiǎn)單的回歸形式、找出最簡(jiǎn)單的回歸形式 可見，應(yīng)選可見，應(yīng)選第第1 1個(gè)式子個(gè)式子為初始的回歸模型。為初始的回歸模型。分別作Y與X1，X2，X

11、4，X5間的回歸：1576. 464.30867XY (25.58) (11.49) R2=0.8919 F=132.1 DW=1.562699. 018.33821XY (-0.49) (1.14) R2=0.075 F=1.30 DW=0.124380. 00 .31919XY (17.45) (6.68) R2=0.7527 F=48.7 DW=1.115240. 219.28259XY (-1.04) (2.66)R2=0.3064 F=7.07 DW=0.36 4 4、逐步回歸、逐步回歸 將其他解釋變量分別導(dǎo)入上述初始回歸模型，尋找最佳回歸方程。CX1X2X3X4X52RDWY=f(

12、X1)308684.230.88521.56 t 值25.5811.49Y=f(X1,X2)-438714.650.670.95582.01t 值-3.0218.475.16Y=f(X1,X2,X3)-119785.260.41-0.190.97521.53t 值0.8519.63.35-3.57Y=f(X1,X2,X3,X4)-130566.170.42-0.17-0.090.97751.80t 值-0.979.613.57-3.09-1.55Y=f(X1,X3,X4,X5)-126905.220.40-0.200.070.97981.55t 值-0.8717.853.02-3.470.37

13、 回歸方程以回歸方程以Y=f(Y=f(X1，X2，X3) )為最優(yōu)：為最優(yōu)： 5 5、結(jié)論、結(jié)論32119. 041. 026. 511978XXXY 嚴(yán)格地說，實(shí)際模型由于總存在一定程嚴(yán)格地說，實(shí)際模型由于總存在一定程度的共線性，所以每個(gè)參數(shù)估計(jì)量并不度的共線性，所以每個(gè)參數(shù)估計(jì)量并不 真正反映對(duì)應(yīng)變量與被解釋變量之間的真正反映對(duì)應(yīng)變量與被解釋變量之間的結(jié)構(gòu)關(guān)系。結(jié)構(gòu)關(guān)系。 當(dāng)模型存在共線性，將某個(gè)共線性變量去當(dāng)模型存在共線性，將某個(gè)共線性變量去掉，剩余變量的參數(shù)估計(jì)結(jié)果將發(fā)生變化，掉，剩余變量的參數(shù)估計(jì)結(jié)果將發(fā)生變化，而且經(jīng)濟(jì)含義有發(fā)生變化；而且經(jīng)濟(jì)含義有發(fā)生變化；7.1 什么是經(jīng)濟(jì)變量之間的多重共線性？試舉例說明。7.2 多重共線性的實(shí)際后果是什么？7.3 什么是方差膨脹因子？VIF的最小可能值和最大可能值分別是多少？ 思考題 7.6 補(bǔ)全下列各句話。（1）在存在接近多重共線性的情況下，回歸系數(shù)的標(biāo)準(zhǔn)差會(huì)趨于 而t值會(huì)趨向于 。 （2）在存在完全多重共線性的情況下，普通最小二乘估計(jì)量是 ，其方差 。 （3）在其他情況不變條件下，VIF越高，則普通