第三講 多重共線性

1、多重共線性多重共線性一、多重共線性的概念一、多重共線性的概念 對(duì)于模型對(duì)于模型 Yi= 0+ 1X1i+ 2X2i+ kXki+ i i=1,2,n其基本假設(shè)之一是解釋變量是互相獨(dú)立的。其基本假設(shè)之一是解釋變量是互相獨(dú)立的。 如果某兩個(gè)或多個(gè)解釋變量之間出現(xiàn)了相如果某兩個(gè)或多個(gè)解釋變量之間出現(xiàn)了相關(guān)性，則稱為關(guān)性，則稱為多重共線性多重共線性(Multicollinearity)。 如果存在如果存在 c1X1i+c2X2i+ckXki=0 i=1,2,n 其中其中: ci不全為不全為0，則稱為解釋變量間存在，則稱為解釋變量間存在完全共線完全共線性性（perfect multicollineari

2、ty）。 如果存在如果存在 c1X1i+c2X2i+ckXki+vi=0 i=1,2,n 其中其中ci不全為不全為0，vi為隨機(jī)誤差項(xiàng)，則稱為為隨機(jī)誤差項(xiàng)，則稱為 近似近似共線性共線性（approximate multicollinearity）或或交交互相關(guān)互相關(guān)(intercorrelated)。 在矩陣表示的線性回歸模型在矩陣表示的線性回歸模型 Y=X + 中，中，完全共線性完全共線性指：指：秩秩(X)k+1，即，即knnnkkXXXXXXXXXX212221212111111中，至少有一列向量可由其他列向量（不包括第中，至少有一列向量可由其他列向量（不包括第一列）線性表出。一列）線性表

3、出。 如：如：X2= X1，則，則X2對(duì)對(duì)Y的作用可由的作用可由X1代替。代替。二、實(shí)際經(jīng)濟(jì)問(wèn)題中的多重共線性二、實(shí)際經(jīng)濟(jì)問(wèn)題中的多重共線性 一般地，產(chǎn)生多重共線性的主要原因有以一般地，產(chǎn)生多重共線性的主要原因有以下三個(gè)方面：下三個(gè)方面：（1 1）經(jīng)濟(jì)變量相關(guān)的共同趨勢(shì)）經(jīng)濟(jì)變量相關(guān)的共同趨勢(shì) 時(shí)間序列樣本：時(shí)間序列樣本：經(jīng)濟(jì)經(jīng)濟(jì)繁榮時(shí)期繁榮時(shí)期，各基本經(jīng)，各基本經(jīng)濟(jì)變量（收入、消費(fèi)、投資、價(jià)格）都趨于增濟(jì)變量（收入、消費(fèi)、投資、價(jià)格）都趨于增長(zhǎng)；長(zhǎng)；衰退時(shí)期衰退時(shí)期，又同時(shí)趨于下降。，又同時(shí)趨于下降。 （2 2）滯后變量的引入）滯后變量的引入 在經(jīng)濟(jì)計(jì)量模型中，往往需要引入滯后經(jīng)濟(jì)變?cè)诮?jīng)濟(jì)計(jì)

4、量模型中，往往需要引入滯后經(jīng)濟(jì)變量來(lái)反映真實(shí)的經(jīng)濟(jì)關(guān)系。量來(lái)反映真實(shí)的經(jīng)濟(jì)關(guān)系。 例如例如，消費(fèi)，消費(fèi)=f(當(dāng)期收入當(dāng)期收入, 前期收入）前期收入） 顯然，兩期收入間有較強(qiáng)的線性相關(guān)性。顯然，兩期收入間有較強(qiáng)的線性相關(guān)性。橫截面數(shù)據(jù)橫截面數(shù)據(jù)：生產(chǎn)函數(shù)中生產(chǎn)函數(shù)中，資本投入與勞動(dòng)力資本投入與勞動(dòng)力投入往往出現(xiàn)高度相關(guān)情況，大企業(yè)二者都大，投入往往出現(xiàn)高度相關(guān)情況，大企業(yè)二者都大，小企業(yè)都小。小企業(yè)都小。（3 3）樣本資料的限制）樣本資料的限制 由于完全符合理論模型所要求的樣本數(shù)據(jù)較難由于完全符合理論模型所要求的樣本數(shù)據(jù)較難收集，特定樣本可能存在某種程度的多重共線性。收集，特定樣本可能存在某種程

5、度的多重共線性。 多重共線性是一個(gè)樣本特性多重共線性是一個(gè)樣本特性 一般經(jīng)驗(yàn)一般經(jīng)驗(yàn)： 時(shí)間序列數(shù)據(jù)時(shí)間序列數(shù)據(jù)樣本：簡(jiǎn)單線性模型，往往樣本：簡(jiǎn)單線性模型，往往存在多重共線性。存在多重共線性。 截面數(shù)據(jù)截面數(shù)據(jù)樣本：?jiǎn)栴}不那么嚴(yán)重，但多重樣本：?jiǎn)栴}不那么嚴(yán)重，但多重共線性仍然是存在的。共線性仍然是存在的。 三、多重共線性的后果三、多重共線性的后果1 1、完全共線性下參數(shù)估計(jì)量不存在、完全共線性下參數(shù)估計(jì)量不存在如果存在如果存在完全共線性完全共線性，則，則(XX)-1不存在，無(wú)法得不存在，無(wú)法得到參數(shù)的估計(jì)量。到參數(shù)的估計(jì)量。XY的的OLS估計(jì)量為：估計(jì)量為：YXXX1)(2 2、近似共線性下、

6、近似共線性下OLS估計(jì)量非有效估計(jì)量非有效 近似共線性下，可以得到近似共線性下，可以得到OLS參數(shù)估計(jì)量，參數(shù)估計(jì)量， 但參數(shù)估計(jì)量但參數(shù)估計(jì)量方差方差的表達(dá)式為的表達(dá)式為 由于由于|XX| 0，引起，引起(XX) -1主對(duì)角線元素較主對(duì)角線元素較大，使參數(shù)估計(jì)值的方差增大，大，使參數(shù)估計(jì)值的方差增大，OLS參數(shù)估計(jì)量參數(shù)估計(jì)量非有效。非有效。12)()(XXCov仍以二元線性模型仍以二元線性模型 y= 1x1+ 2x2+ 為例為例: 2221221212221222122211121)(1/)()()var(iiiiiiiiiixxxxxxxxxxXX221211rxi2221221)(ii

7、iixxxx恰為恰為X1與與X2的線性相關(guān)系數(shù)的平方的線性相關(guān)系數(shù)的平方r2由于由于 r2 1，故，故 1/(1- r2 ) 1多重共線性使參數(shù)估計(jì)值的方差增大多重共線性使參數(shù)估計(jì)值的方差增大，1/(1-r2)為為方方差膨脹因子差膨脹因子(Variance Inflation Factor, VIF)當(dāng)完全不共線完全不共線時(shí), r2 =0 2121/)var(ix當(dāng)近似共線近似共線時(shí), 0 r2 15.19，故認(rèn)上述糧食生產(chǎn)的總體線，故認(rèn)上述糧食生產(chǎn)的總體線性關(guān)系顯著成立。但性關(guān)系顯著成立。但X4 、X5 的參數(shù)未通過(guò)的參數(shù)未通過(guò)t檢驗(yàn)，且檢驗(yàn)，且符號(hào)不正確，故符號(hào)不正確，故解釋變量間可能存在

8、多重共線性解釋變量間可能存在多重共線性。54321028. 0098. 0166. 0421. 0213. 644.12816XXXXXY (-0.91) (8.39) (3.32) (-2.81) (-1.45) (-0.14)2 2、檢驗(yàn)簡(jiǎn)單相關(guān)系數(shù)、檢驗(yàn)簡(jiǎn)單相關(guān)系數(shù)n發(fā)現(xiàn)：發(fā)現(xiàn)： X1與與X4間存在高度相關(guān)性。間存在高度相關(guān)性。 列出列出X1，X2，X3，X4，X5的相關(guān)系數(shù)矩陣：的相關(guān)系數(shù)矩陣：X1X2X3X4X5X11.000.010.640.960.55X20.011.00-0.45-0.040.18X30.64-0.451.000.690.36X40.96-0.040.691.0

9、00.45X50.550.180.360.451.003 3、找出最簡(jiǎn)單的回歸形式、找出最簡(jiǎn)單的回歸形式n可見(jiàn)，應(yīng)選可見(jiàn)，應(yīng)選第第1 1個(gè)式子個(gè)式子為初始的回歸模型。為初始的回歸模型。 分別作分別作Y與與X1，X2，X4，X5間的回歸：間的回歸：1576. 464.30867XY (25.58) (11.49) R2=0.8919 F=132.1 DW=1.562699. 018.33821XY (-0.49) (1.14) R2=0.075 F=1.30 DW=0.124380. 00 .31919XY (17.45) (6.68) R2=0.7527 F=48.7 DW=1.115240.

10、 219.28259XY (-1.04) (2.66)R2=0.3064 F=7.07 DW=0.364 4、逐步回歸、逐步回歸 將其他解釋變量分別導(dǎo)入上述初始回歸模型，尋找將其他解釋變量分別導(dǎo)入上述初始回歸模型，尋找最佳回歸方程。最佳回歸方程。CX1X2X3X4X52RDWY=f(X1)308684.230.88521.56 t值25.5811.49Y=f(X1,X2)-438714.650.670.95582.01t值-3.0218.475.16Y=f(X1,X2,X3)-119785.260.41-0.190.97521.53t值0.8519.63.35-3.57Y=f(X1,X2,X3

11、,X4)-130566.170.42-0.17-0.090.97751.80t值-0.979.613.57-3.09-1.55Y=f(X1,X3,X4,X5)-126905.220.40-0.200.070.97981.55t值-0.8717.853.02-3.470.375 5、結(jié)論、結(jié)論最優(yōu)回歸：最優(yōu)回歸：32119. 041. 026. 511978XXXY案例二：經(jīng)濟(jì)增長(zhǎng)的結(jié)構(gòu)研究案例二：經(jīng)濟(jì)增長(zhǎng)的結(jié)構(gòu)研究（嶺回歸法的應(yīng)用）（嶺回歸法的應(yīng)用） 1、問(wèn)題的提出、問(wèn)題的提出 改革開(kāi)放以來(lái)，經(jīng)濟(jì)結(jié)構(gòu)調(diào)整已經(jīng)成為引改革開(kāi)放以來(lái)，經(jīng)濟(jì)結(jié)構(gòu)調(diào)整已經(jīng)成為引致經(jīng)濟(jì)持續(xù)高速增長(zhǎng)的一個(gè)重要因素。但經(jīng)濟(jì)致經(jīng)

12、濟(jì)持續(xù)高速增長(zhǎng)的一個(gè)重要因素。但經(jīng)濟(jì)結(jié)構(gòu)調(diào)整在何種程度上，以及通過(guò)何種機(jī)制影結(jié)構(gòu)調(diào)整在何種程度上，以及通過(guò)何種機(jī)制影響了我國(guó)的高速經(jīng)濟(jì)增長(zhǎng)，仍然是一個(gè)理論上響了我國(guó)的高速經(jīng)濟(jì)增長(zhǎng)，仍然是一個(gè)理論上沒(méi)有完全解決的問(wèn)題。而西方對(duì)經(jīng)濟(jì)結(jié)構(gòu)和經(jīng)沒(méi)有完全解決的問(wèn)題。而西方對(duì)經(jīng)濟(jì)結(jié)構(gòu)和經(jīng)濟(jì)增長(zhǎng)關(guān)系的研究由于抽象了所有制結(jié)構(gòu)和區(qū)濟(jì)增長(zhǎng)關(guān)系的研究由于抽象了所有制結(jié)構(gòu)和區(qū)域結(jié)構(gòu)等因素，從而有一定的局限性。域結(jié)構(gòu)等因素，從而有一定的局限性。2、模型的確定、模型的確定首先以首先以C-D生產(chǎn)函數(shù)為基礎(chǔ)模型生產(chǎn)函數(shù)為基礎(chǔ)模型eKLAY假定該生產(chǎn)函數(shù)滿足假定該生產(chǎn)函數(shù)滿足規(guī)模報(bào)酬不變規(guī)模報(bào)酬不變（+=1）的假設(shè)，則為避免

13、多重共線性可將模型變換的假設(shè)，則為避免多重共線性可將模型變換為下式：為下式：eLKALYu)/(/1模型的變換模型的變換在此基礎(chǔ)上加入產(chǎn)業(yè)結(jié)構(gòu)特征系數(shù)在此基礎(chǔ)上加入產(chǎn)業(yè)結(jié)構(gòu)特征系數(shù)x1 、區(qū)域、區(qū)域結(jié)構(gòu)特征系數(shù)結(jié)構(gòu)特征系數(shù)x2、企業(yè)所有制結(jié)構(gòu)特征系數(shù)、企業(yè)所有制結(jié)構(gòu)特征系數(shù)x3、工業(yè)結(jié)構(gòu)系數(shù)、工業(yè)結(jié)構(gòu)系數(shù)x4 用用y y替代替代Y/LY/L，k k替代替代K/LK/L，替代替代1-1-，則，則上式可以進(jìn)一步正規(guī)化為：上式可以進(jìn)一步正規(guī)化為：ekAyu指標(biāo)含義指標(biāo)含義產(chǎn)業(yè)結(jié)構(gòu)系數(shù)（產(chǎn)業(yè)結(jié)構(gòu)系數(shù)（X1）：）：主要反映非農(nóng)產(chǎn)業(yè)的變化主要反映非農(nóng)產(chǎn)業(yè)的變化情況，該指標(biāo)以非農(nóng)產(chǎn)業(yè)產(chǎn)值占情況，該指標(biāo)以非農(nóng)

14、產(chǎn)業(yè)產(chǎn)值占GDP的比重來(lái)表示的比重來(lái)表示地區(qū)結(jié)構(gòu)系數(shù)（地區(qū)結(jié)構(gòu)系數(shù)（X2）：）：主要反映城鄉(xiāng)差距，主要反映城鄉(xiāng)差距，X2=（1-農(nóng)民人均純收入農(nóng)民人均純收入/城鎮(zhèn)居民人均可支配收入），城鎮(zhèn)居民人均可支配收入），如過(guò)如過(guò)X2增大，則意味著城鄉(xiāng)收入差距的拉大增大，則意味著城鄉(xiāng)收入差距的拉大所有制結(jié)構(gòu)系數(shù)（所有制結(jié)構(gòu)系數(shù)（X3）：）：主要反映非公有制企業(yè)主要反映非公有制企業(yè)的發(fā)展對(duì)產(chǎn)出的影響，該指標(biāo)以非公制企業(yè)產(chǎn)值占的發(fā)展對(duì)產(chǎn)出的影響，該指標(biāo)以非公制企業(yè)產(chǎn)值占工業(yè)總產(chǎn)值的比重來(lái)表示工業(yè)總產(chǎn)值的比重來(lái)表示工業(yè)結(jié)構(gòu)系數(shù)（工業(yè)結(jié)構(gòu)系數(shù)（X4）：）：主要反映輕工業(yè)與重工業(yè)主要反映輕工業(yè)與重工業(yè)結(jié)構(gòu)變化對(duì)產(chǎn)出

15、的影響，該指標(biāo)以輕工業(yè)占重工業(yè)結(jié)構(gòu)變化對(duì)產(chǎn)出的影響，該指標(biāo)以輕工業(yè)占重工業(yè)產(chǎn)值的比重來(lái)表示產(chǎn)值的比重來(lái)表示模型形式的進(jìn)一步確定模型形式的進(jìn)一步確定 Yln895. 02R955. 0R2 = -2.352 + 13.578 x1 (-4.791) (19.633) se =0.186 F=385.449 以以x1為例，通過(guò)線性模型、雙對(duì)數(shù)模型、為例，通過(guò)線性模型、雙對(duì)數(shù)模型、半對(duì)數(shù)模型，最終選擇如下模型（半對(duì)數(shù)半對(duì)數(shù)模型，最終選擇如下模型（半對(duì)數(shù)模型）模型）模型最終形式模型最終形式ekAyxxxx44332211模型初步回歸結(jié)果模型初步回歸結(jié)果yln799. 02R996. 0R2= -1.7

16、66 + 0.949lnk +4.062 x1 2.974 x20.012 x3 +0.013 x4 (-2.091) (11.528) (3.123) (-3.230)(-2.091) (11.528) (3.123) (-3.230)( (-0.070-0.070) ) （0.0430.043） se=0. 054 DW=1.686 F=221.761通不過(guò)通不過(guò)t檢驗(yàn)，并且檢驗(yàn)，并且X3的系數(shù)的系數(shù)為負(fù)也明顯不合理為負(fù)也明顯不合理解釋變量的相關(guān)系數(shù)矩陣解釋變量的相關(guān)系數(shù)矩陣lnkx1x2x3x4lnk1.954(*).761(*).810(*)-.851(*)x1.954(*)1.696

17、(*).915(*)-.787(*)x2.761(*).696(*)1.495(*)-.877(*)x3.810(*).915(*).495(*)1-.637(*)x4-.851(*) -.787(*) -.877(*)-.637(*)1多重共線性多重共線性嚴(yán)重嚴(yán)重多重共線性問(wèn)題的補(bǔ)救措施之一多重共線性問(wèn)題的補(bǔ)救措施之一n嶺回歸嶺回歸 核心思想核心思想保證逆矩陣的存在保證逆矩陣的存在yXkIXXk1)()(利用利用SPSS軟件做嶺回歸過(guò)程軟件做嶺回歸過(guò)程0.000000.200000.400000.600000.800001.00000-0.2000000.0000000.2000000.4000000.6000000.8000001.000000lnkKx1Kx