第三講多重共線性

1、多重共線性多重共線性一、多重共線性的概念一、多重共線性的概念 對于模型對于模型 Yi= 0+ 1X1i+ 2X2i+ kXki+ i i=1,2,n其基本假設之一是解釋變量是互相獨立的。其基本假設之一是解釋變量是互相獨立的。 如果某兩個或多個解釋變量之間出現(xiàn)了相如果某兩個或多個解釋變量之間出現(xiàn)了相關性，則稱為關性，則稱為多重共線性多重共線性(Multicollinearity)。 如果存在如果存在 c1X1i+c2X2i+ckXki=0 i=1,2,n 其中其中: ci不全為不全為0，則稱為解釋變量間存在，則稱為解釋變量間存在完全共線完全共線性性（perfect multicollineari

2、ty）。 如果存在如果存在 c1X1i+c2X2i+ckXki+vi=0 i=1,2,n 其中其中ci不全為不全為0，vi為隨機誤差項，則稱為為隨機誤差項，則稱為 近似近似共線性共線性（approximate multicollinearity）或或交交互相關互相關(intercorrelated)。 在矩陣表示的線性回歸模型在矩陣表示的線性回歸模型 Y=X + 中，中，完全共線性完全共線性指：指：秩秩(X)k+1，即，即knnnkkXXXXXXXXXX212221212111111中，至少有一列向量可由其他列向量（不包括第中，至少有一列向量可由其他列向量（不包括第一列）線性表出。一列）線性表

3、出。 如：如：X2= X1，則，則X2對對Y的作用可由的作用可由X1代替。代替。二、實際經(jīng)濟問題中的多重共線性二、實際經(jīng)濟問題中的多重共線性 一般地，產(chǎn)生多重共線性的主要原因有以一般地，產(chǎn)生多重共線性的主要原因有以下三個方面：下三個方面：（1 1）經(jīng)濟變量相關的共同趨勢）經(jīng)濟變量相關的共同趨勢 時間序列樣本：時間序列樣本：經(jīng)濟經(jīng)濟繁榮時期繁榮時期，各基本經(jīng)，各基本經(jīng)濟變量（收入、消費、投資、價格）都趨于增濟變量（收入、消費、投資、價格）都趨于增長；長；衰退時期衰退時期，又同時趨于下降。，又同時趨于下降。 （2 2）滯后變量的引入）滯后變量的引入 在經(jīng)濟計量模型中，往往需要引入滯后經(jīng)濟變在經(jīng)濟計

4、量模型中，往往需要引入滯后經(jīng)濟變量來反映真實的經(jīng)濟關系。量來反映真實的經(jīng)濟關系。 例如例如，消費，消費=f(當期收入當期收入, 前期收入）前期收入） 顯然，兩期收入間有較強的線性相關性。顯然，兩期收入間有較強的線性相關性。橫截面數(shù)據(jù)橫截面數(shù)據(jù)：生產(chǎn)函數(shù)中生產(chǎn)函數(shù)中，資本投入與勞動力資本投入與勞動力投入往往出現(xiàn)高度相關情況，大企業(yè)二者都大，投入往往出現(xiàn)高度相關情況，大企業(yè)二者都大，小企業(yè)都小。小企業(yè)都小。（3 3）樣本資料的限制）樣本資料的限制 由于完全符合理論模型所要求的樣本數(shù)據(jù)較難由于完全符合理論模型所要求的樣本數(shù)據(jù)較難收集，特定樣本可能存在某種程度的多重共線性。收集，特定樣本可能存在某種程

5、度的多重共線性。 多重共線性是一個樣本特性多重共線性是一個樣本特性 一般經(jīng)驗一般經(jīng)驗： 時間序列數(shù)據(jù)時間序列數(shù)據(jù)樣本：簡單線性模型，往往樣本：簡單線性模型，往往存在多重共線性。存在多重共線性。 截面數(shù)據(jù)截面數(shù)據(jù)樣本：問題不那么嚴重，但多重樣本：問題不那么嚴重，但多重共線性仍然是存在的。共線性仍然是存在的。 三、多重共線性的后果三、多重共線性的后果1 1、完全共線性下參數(shù)估計量不存在、完全共線性下參數(shù)估計量不存在如果存在如果存在完全共線性完全共線性，則，則(XX)-1不存在，無法得不存在，無法得到參數(shù)的估計量。到參數(shù)的估計量。XY的的OLS估計量為：估計量為：YXXX1)(2 2、近似共線性下、

6、近似共線性下OLS估計量非有效估計量非有效 近似共線性下，可以得到近似共線性下，可以得到OLS參數(shù)估計量，參數(shù)估計量， 但參數(shù)估計量但參數(shù)估計量方差方差的表達式為的表達式為 由于由于|XX| 0，引起，引起(XX) -1主對角線元素較主對角線元素較大，使參數(shù)估計值的方差增大，大，使參數(shù)估計值的方差增大，OLS參數(shù)估計量參數(shù)估計量非有效。非有效。12)()(XXCov仍以二元線性模型仍以二元線性模型 y= 1x1+ 2x2+ 為例為例: 2221221212221222122211121)(1/)()()var(iiiiiiiiiixxxxxxxxxxXX221211rxi2221221)(ii

7、iixxxx恰為恰為X1與與X2的線性相關系數(shù)的平方的線性相關系數(shù)的平方r2由于由于 r2 1，故，故 1/(1- r2 ) 1多重共線性使參數(shù)估計值的方差增大多重共線性使參數(shù)估計值的方差增大，1/(1-r2)為為方方差膨脹因子差膨脹因子(Variance Inflation Factor, VIF)當完全不共線完全不共線時, r2 =0 2121/)var(ix當近似共線近似共線時, 0 r2 15.19，故認上述糧食生產(chǎn)的總體線，故認上述糧食生產(chǎn)的總體線性關系顯著成立。但性關系顯著成立。但X4 、X5 的參數(shù)未通過的參數(shù)未通過t檢驗，且檢驗，且符號不正確，故符號不正確，故解釋變量間可能存在

8、多重共線性解釋變量間可能存在多重共線性。54321028. 0098. 0166. 0421. 0213. 644.12816XXXXXY (-0.91) (8.39) (3.32) (-2.81) (-1.45) (-0.14)2 2、檢驗簡單相關系數(shù)、檢驗簡單相關系數(shù)n發(fā)現(xiàn)：發(fā)現(xiàn)： X1與與X4間存在高度相關性。間存在高度相關性。 列出列出X1，X2，X3，X4，X5的相關系數(shù)矩陣：的相關系數(shù)矩陣：X1X2X3X4X5X11.000.010.640.960.55X20.011.00-0.45-0.040.18X30.64-0.451.000.690.36X40.96-0.040.691.0

9、00.45X50.550.180.360.451.003 3、找出最簡單的回歸形式、找出最簡單的回歸形式n可見，應選可見，應選第第1 1個式子個式子為初始的回歸模型。為初始的回歸模型。 分別作分別作Y與與X1，X2，X4，X5間的回歸：間的回歸：1576. 464.30867XY (25.58) (11.49) R2=0.8919 F=132.1 DW=1.562699. 018.33821XY (-0.49) (1.14) R2=0.075 F=1.30 DW=0.124380. 00 .31919XY (17.45) (6.68) R2=0.7527 F=48.7 DW=1.115240.

10、 219.28259XY (-1.04) (2.66)R2=0.3064 F=7.07 DW=0.364 4、逐步回歸、逐步回歸 將其他解釋變量分別導入上述初始回歸模型，尋找將其他解釋變量分別導入上述初始回歸模型，尋找最佳回歸方程。最佳回歸方程。CX1X2X3X4X52RDWY=f(X1)308684.230.88521.56 t值25.5811.49Y=f(X1,X2)-438714.650.670.95582.01t值-3.0218.475.16Y=f(X1,X2,X3)-119785.260.41-0.190.97521.53t值0.8519.63.35-3.57Y=f(X1,X2,X3

11、,X4)-130566.170.42-0.17-0.090.97751.80t值-0.979.613.57-3.09-1.55Y=f(X1,X3,X4,X5)-126905.220.40-0.200.070.97981.55t值-0.8717.853.02-3.470.375 5、結(jié)論、結(jié)論最優(yōu)回歸：最優(yōu)回歸：32119. 041. 026. 511978XXXY案例二：經(jīng)濟增長的結(jié)構(gòu)研究案例二：經(jīng)濟增長的結(jié)構(gòu)研究（嶺回歸法的應用）（嶺回歸法的應用） 1、問題的提出、問題的提出 改革開放以來，經(jīng)濟結(jié)構(gòu)調(diào)整已經(jīng)成為引改革開放以來，經(jīng)濟結(jié)構(gòu)調(diào)整已經(jīng)成為引致經(jīng)濟持續(xù)高速增長的一個重要因素。但經(jīng)濟致經(jīng)

12、濟持續(xù)高速增長的一個重要因素。但經(jīng)濟結(jié)構(gòu)調(diào)整在何種程度上，以及通過何種機制影結(jié)構(gòu)調(diào)整在何種程度上，以及通過何種機制影響了我國的高速經(jīng)濟增長，仍然是一個理論上響了我國的高速經(jīng)濟增長，仍然是一個理論上沒有完全解決的問題。而西方對經(jīng)濟結(jié)構(gòu)和經(jīng)沒有完全解決的問題。而西方對經(jīng)濟結(jié)構(gòu)和經(jīng)濟增長關系的研究由于抽象了所有制結(jié)構(gòu)和區(qū)濟增長關系的研究由于抽象了所有制結(jié)構(gòu)和區(qū)域結(jié)構(gòu)等因素，從而有一定的局限性。域結(jié)構(gòu)等因素，從而有一定的局限性。2、模型的確定、模型的確定首先以首先以C-D生產(chǎn)函數(shù)為基礎模型生產(chǎn)函數(shù)為基礎模型eKLAY假定該生產(chǎn)函數(shù)滿足假定該生產(chǎn)函數(shù)滿足規(guī)模報酬不變規(guī)模報酬不變（+=1）的假設，則為避免

13、多重共線性可將模型變換的假設，則為避免多重共線性可將模型變換為下式：為下式：eLKALYu)/(/1模型的變換模型的變換在此基礎上加入產(chǎn)業(yè)結(jié)構(gòu)特征系數(shù)在此基礎上加入產(chǎn)業(yè)結(jié)構(gòu)特征系數(shù)x1 、區(qū)域、區(qū)域結(jié)構(gòu)特征系數(shù)結(jié)構(gòu)特征系數(shù)x2、企業(yè)所有制結(jié)構(gòu)特征系數(shù)、企業(yè)所有制結(jié)構(gòu)特征系數(shù)x3、工業(yè)結(jié)構(gòu)系數(shù)、工業(yè)結(jié)構(gòu)系數(shù)x4 用用y y替代替代Y/LY/L，k k替代替代K/LK/L，替代替代1-1-，則，則上式可以進一步正規(guī)化為：上式可以進一步正規(guī)化為：ekAyu指標含義指標含義產(chǎn)業(yè)結(jié)構(gòu)系數(shù)（產(chǎn)業(yè)結(jié)構(gòu)系數(shù)（X1）：）：主要反映非農(nóng)產(chǎn)業(yè)的變化主要反映非農(nóng)產(chǎn)業(yè)的變化情況，該指標以非農(nóng)產(chǎn)業(yè)產(chǎn)值占情況，該指標以非農(nóng)

14、產(chǎn)業(yè)產(chǎn)值占GDP的比重來表示的比重來表示地區(qū)結(jié)構(gòu)系數(shù)（地區(qū)結(jié)構(gòu)系數(shù)（X2）：）：主要反映城鄉(xiāng)差距，主要反映城鄉(xiāng)差距，X2=（1-農(nóng)民人均純收入農(nóng)民人均純收入/城鎮(zhèn)居民人均可支配收入），城鎮(zhèn)居民人均可支配收入），如過如過X2增大，則意味著城鄉(xiāng)收入差距的拉大增大，則意味著城鄉(xiāng)收入差距的拉大所有制結(jié)構(gòu)系數(shù)（所有制結(jié)構(gòu)系數(shù)（X3）：）：主要反映非公有制企業(yè)主要反映非公有制企業(yè)的發(fā)展對產(chǎn)出的影響，該指標以非公制企業(yè)產(chǎn)值占的發(fā)展對產(chǎn)出的影響，該指標以非公制企業(yè)產(chǎn)值占工業(yè)總產(chǎn)值的比重來表示工業(yè)總產(chǎn)值的比重來表示工業(yè)結(jié)構(gòu)系數(shù)（工業(yè)結(jié)構(gòu)系數(shù)（X4）：）：主要反映輕工業(yè)與重工業(yè)主要反映輕工業(yè)與重工業(yè)結(jié)構(gòu)變化對產(chǎn)出

15、的影響，該指標以輕工業(yè)占重工業(yè)結(jié)構(gòu)變化對產(chǎn)出的影響，該指標以輕工業(yè)占重工業(yè)產(chǎn)值的比重來表示產(chǎn)值的比重來表示模型形式的進一步確定模型形式的進一步確定 Yln895. 02R955. 0R2 = -2.352 + 13.578 x1 (-4.791) (19.633) se =0.186 F=385.449 以以x1為例，通過線性模型、雙對數(shù)模型、為例，通過線性模型、雙對數(shù)模型、半對數(shù)模型，最終選擇如下模型（半對數(shù)半對數(shù)模型，最終選擇如下模型（半對數(shù)模型）模型）模型最終形式模型最終形式ekAyxxxx44332211模型初步回歸結(jié)果模型初步回歸結(jié)果yln799. 02R996. 0R2= -1.7

16、66 + 0.949lnk +4.062 x1 2.974 x20.012 x3 +0.013 x4 (-2.091) (11.528) (3.123) (-3.230)(-2.091) (11.528) (3.123) (-3.230)( (-0.070-0.070) ) （0.0430.043） se=0. 054 DW=1.686 F=221.761通不過通不過t檢驗，并且檢驗，并且X3的系數(shù)的系數(shù)為負也明顯不合理為負也明顯不合理解釋變量的相關系數(shù)矩陣解釋變量的相關系數(shù)矩陣lnkx1x2x3x4lnk1.954(*).761(*).810(*)-.851(*)x1.954(*)1.696

17、(*).915(*)-.787(*)x2.761(*).696(*)1.495(*)-.877(*)x3.810(*).915(*).495(*)1-.637(*)x4-.851(*) -.787(*) -.877(*)-.637(*)1多重共線性多重共線性嚴重嚴重多重共線性問題的補救措施之一多重共線性問題的補救措施之一n嶺回歸嶺回歸 核心思想核心思想保證逆矩陣的存在保證逆矩陣的存在yXkIXXk1)()(利用利用SPSS軟件做嶺回歸過程軟件做嶺回歸過程0.000000.200000.400000.600000.800001.00000-0.2000000.0000000.2000000.4000000.6000000.8000001.000000lnkKx1Kx