第6章多重共線性

1、第第6 6章章 多重共線性多重共線性6.1 多重共線性及其產(chǎn)生的原因6.1.1 6.1.1 多重共線性多重共線性( (MulticollinearityMulticollinearity) )的定義的定義 6.1.2 多重共線性產(chǎn)生的原因 根據(jù)經(jīng)驗，多重共線性產(chǎn)生的經(jīng)濟背景和原因有以下幾個方面： 1經(jīng)濟變量之間往往存在同方向的變化趨勢 2經(jīng)濟變量之間往往存在著密切的關(guān)聯(lián)度 3在模型中引入滯后變量也容易產(chǎn)生多重共線性 4在建模過程中由于解釋變量選擇不當，引起了變量之間的多重共線性 6.2 多重共線性造成的影響以二元線性回歸模型為例： 由此可知，參數(shù)估計量經(jīng)濟含義不合理。當解釋變量存在多重共線性時

2、，雖然可以得到參數(shù)的最小二乘估計值，但估計值很不穩(wěn)定，即使樣本觀測數(shù)據(jù)發(fā)生微小變化，都會造成模型參數(shù)估計值的很大變化。6.3 6.3 多重共線性的檢驗多重共線性的檢驗6.3.1 相關(guān)系數(shù)檢驗法(Klein判別法) EViews軟件中可以直接計算(解釋)變量的相關(guān)系數(shù)矩陣： 命令方式 COR 解釋變量名 菜單方式 將所有解釋變量設(shè)置成一個數(shù)組，并 在 數(shù) 組 窗 口 中 點 擊 Vi e w C o v a r i a n c e AnalysisCorrelations 。6.3.2 法勒格勞伯(FarrarGlauber)檢驗 6.3.3 6.3.3 方差膨脹因子檢驗方差膨脹因子檢驗 6.3

3、.4 特征值檢驗 考察解釋變量的樣本數(shù)據(jù)矩陣: 利用特征值還可以構(gòu)造兩個用于檢驗多重共線性的指標：條件數(shù)（或病態(tài)數(shù)）CN（Condition Number）和條件指數(shù)（或病態(tài)指數(shù)）CI(Condition lndex)。其指標定義為CN=最大特征值最小特征值 這兩個指標都反映了特征值的離散程度，數(shù)值越大，表明多重共線性越嚴重。一般的經(jīng)驗法則是：CI10即認為存在多重共線性，大于30認為存在嚴重的多重共線性。6.3.5 根據(jù)回歸結(jié)果判斷下的臨界值，而發(fā)現(xiàn)：（1）系數(shù)估計值的符號與理論分析結(jié)果相違背；（2）某些變量對應(yīng)的回歸系數(shù)t值偏低或不顯著；（3）當一個不太重要的解釋變量被刪除后，或者改變一個

4、觀測值時，回歸結(jié)果顯著變化，則該模型可能存在多重共線性。 例6.3.1 分析我國居民家庭電力消耗量與可支配收入及居住面積的關(guān)系，以預(yù)測居民家庭對電力的需求量（具體數(shù)據(jù)見表6.3.1）。表6.3.1 我國居民家庭電力消耗量與可支配收入及居住面積統(tǒng)計資料年度年度年人均家庭電力消耗年人均家庭電力消耗量（千瓦小時）量（千瓦小時）人均居住面積人均居住面積（平方米）（平方米）年人均可支配收入年人均可支配收入指數(shù)（指數(shù)（1978=1001978=100）1985198521.221.212.4512.45243.17243.171986198623.223.213.0213.02254.28254.2819

5、87198726.426.413.4913.49265.39265.391988198831.231.213.9413.94277.61277.611989198935.335.314.4214.42273.49273.491990199042.442.414.8714.87281.33281.331991199146.946.915.4415.44289.71289.711992199254.654.615.6415.64307.66307.661993199361.261.216.9916.99321.07321.071994199472.772.716.6516.65339.33339.

6、331995199583.583.517.2517.25356.58356.581996199693.193.117.8217.82383.95383.9519971997101.8101.818.3318.33399.85399.85首先，作家庭電力消耗量電量與家庭可支配收入的回歸模型，結(jié)果如下：可見，收入對用電量有很好的解釋作用。然后，作用電量與住房面積的的回歸方程，結(jié)果如下：同樣，住房面積對電力也有很好的解釋作用。作二元回歸方程，結(jié)果如下：表6.3.2 回歸結(jié)果 住房面積的系數(shù)在方程（6.3.7）中是顯著的，在方程（6.3.8）中不顯著；從F統(tǒng)計量值可以看出，收入和住房面積對電力消費量的

7、共同影響是顯著的。 (1)相關(guān)系數(shù)檢驗：數(shù)組窗口中點擊ViewCorrelations，結(jié)果如表6.3.3所示：表6.3.3 相關(guān)系數(shù) X1與X2相關(guān)系數(shù)高達0.963124，兩者高度正相關(guān)。 圖6.3.1 住房面積與收入之間的關(guān)系圖 (2)輔助回歸模型檢驗：將住房面積對收入進行回歸，住房面積與收入之間存在顯著的線性關(guān)系。2402803203604004401213141516171819X1X2(3)方差膨脹因子檢驗：6.4 多重共線性的解決方法 6.4.1 保留重要的解釋變量，去掉次要的或可替代的解釋變量 6.4.2 利用先驗信息改變參數(shù)的約束形式 根據(jù)經(jīng)濟理論或其他信息，找出參數(shù)間的某種

8、關(guān)系，并將這種關(guān)系作為約束條件與樣本信息結(jié)合起來，進行有約束的最小二乘估計。例如，著名的Cobb-Douglas生產(chǎn)函數(shù)中: 6.4.3 變換模型的形式 對原設(shè)定的模型進行適當?shù)淖儞Q，也可以消除或削弱原模型中解釋變量之間的相關(guān)關(guān)系。具體有三種變換方式，一是變換模型的函數(shù)形式；二是變換模型的變量形式；三是改變變量的統(tǒng)計指標。 例6.4.1 在電力消費量函數(shù)中，電力消費量與收入和住房面積之間可能是對數(shù)形式的模型，而不是線性模型。我們利用對數(shù)模型擬合上述數(shù)據(jù)，結(jié)果如下：表6.4.1 回歸結(jié)果 與方程（6.3.8）相比，在對數(shù)模型中，收入和住房面積系數(shù)在統(tǒng)計上都是顯著的，回歸模型在整體上也是顯著的。說

9、明我們原先設(shè)計的線性回歸模型是有誤的。 例6.4.2 根據(jù)表6.4.2，建立我國進口需求與GNP和消費價格指數(shù)之間的關(guān)系模型。表6.4.2 我國進口支出與GNP和消費價格指數(shù) （單位：億元人民幣）年份GNP（當年價）進口總額IM消費價格指數(shù)CPI19858989.11257.8100.0198610201.41498.3106.5198711954.51614.2114.3198814922.32055.1135.8198916917.82199.9160.2199018598.42574.3165.2199121662.53398.7170.8199226651.94443.3181.719

10、9334560.55986.2208.4199446670.09960.1258.6199557494.911048.1302.9199666850.511557.4328.0199773142.711806.5337.2199878017.811622.4334.5根據(jù)表6.4.2中的數(shù)據(jù)，回歸結(jié)果如表6.4.3所示。 表6.4.3 回歸結(jié)果 回歸結(jié)果表明，在5%的顯著性水平下，收入和價格的系數(shù)各自均不是統(tǒng)計顯著的。模型通過F檢驗。我們可以斷定方程(6.4.5)中存在嚴重的多重共線性。為解決這個問題，我們可以用實際進口額對實際收入進行回歸，得到如下結(jié)果： 表6.4.4 回歸結(jié)果 這表明，實際

11、進口額與實際收入顯著正相關(guān)。這樣，通過將名義變量轉(zhuǎn)換為實際變量，顯然削弱了原模型中的多重共線性。 6.4.4 綜合使用時序數(shù)據(jù)與截面數(shù)據(jù) 在模型的參數(shù)估計中，如果模型利用的是時間序列數(shù)據(jù)，這時模型又存在多重共線性，可考慮用時間序列數(shù)據(jù)與截面數(shù)據(jù)相結(jié)合的辦法來修正多重共線性對模型的影響。 6.4.5 逐步回歸法 從所有解釋變量中間先選擇影響最為顯著的變量建立模型，然后再將模型之外的變量逐個引入模型；每引入一個變量，就對模型中的所有變量進行一次顯著性檢驗，并從中剔除不顯著的變量；逐步引入剔除引入，直到模型之外所有變量均不顯著時為止。這種消除多重共線性的方法稱為逐步回歸法也稱Frisch綜合分析法。

12、 具體步驟為 (1)利用相關(guān)系數(shù)從所有解釋變量中選取相關(guān)性最強的變量建立一元回歸模型。 (2)在一元回歸模型中分別引入第二個變量，共建立k-1個二元回歸模型(設(shè)共有k個解釋變量)，從這些模型中再選取一個較優(yōu)的模型。選擇時要求模型中每個解釋變量影響顯著，參數(shù)符號正確，調(diào)整的R2值有所提高。 (3)在選取的二元回歸模型中以同樣方式引入第三個變量；如此下去，直至無法引入新的變量時為止。6.4.6 增加樣本容量 6.4.7 主成分回歸 其基本原理是：利用主成分分析將解釋變量轉(zhuǎn)換成若干個主成分，這些主成分從不同側(cè)面反映了解釋變量的綜合影響，并且互不相關(guān)。因此，可以將被解釋變量關(guān)于這些主成分進行回歸，再根

13、據(jù)主成分與解釋變量之間的對應(yīng)關(guān)系，求得原回歸模型的估計方程。 主成分回歸的具體步驟為6.5 6.5 案例分析案例分析我國旅游市場收入函數(shù)我國旅游市場收入函數(shù) 根據(jù)理論和經(jīng)驗分析，影響國內(nèi)旅游市場收入Y的主要因素，除了國內(nèi)旅游人數(shù)和旅游支出以外，還可能與相關(guān)基礎(chǔ)設(shè)施有關(guān)。為此，考慮的影響因素主要有國內(nèi)旅游人數(shù)X1，城鎮(zhèn)居民人均旅游支出X2，農(nóng)村居民入均旅游支出X3，并以公路里程X4和鐵路里程X5作為相關(guān)基礎(chǔ)設(shè)施的代表。統(tǒng)計數(shù)據(jù)如表6.5.1所示。試估計以下形式的計量經(jīng)濟模型： 其中，Y為全國旅游收入(億元)；X1為國內(nèi)旅游人數(shù)(萬人次)；X2為城鎮(zhèn)居民人均旅游支出(元)；X3為農(nóng)村居民人均旅游支

14、出(元)；X4為公路里程(萬km)；X5為鐵路里程(萬km)。表6.5.1 19942003年中國旅游收入及相關(guān)數(shù)據(jù)年份全國旅游收入(億元)國內(nèi)旅游人數(shù)(萬人次)城鎮(zhèn)居民人均旅游支出(元)農(nóng)村居民人均旅游支出(元)公路里程(萬km)鐵路里程(萬km)19941023.552400414.754.9111.785.9019951375.762900464.O61.5115.705.9719961638.463900534.170.5118.586.4919972112.764400599.8145.7122.646.6019982391.269450607.0197.0127.856.64199

15、92831.971900614.8249.5135.176.7420003175.574400678.6226.6140.276.8720013522.478400708.3212.7169.807.0120023878.487800739.7209.1176.527.1920033442.387000684.9200.0180.987.30 利用EViews軟件，輸入Y、X1、X2、X3、X4、X5等數(shù)據(jù)，采用這些數(shù)據(jù)對模型進行OLS回歸，結(jié)果如表6.5.2所示。表6.5.2 回歸結(jié)果由此可見，該模型可決系數(shù)很高，F(xiàn)檢驗值173353，明顯顯著。但是X1、X5系數(shù)的t檢驗不顯著，而且X5系數(shù)

16、的符號與預(yù)期的相反，這表明很可能存在嚴重的多重共線性。 1多重共線性檢驗 (1)相關(guān)系數(shù)檢驗相關(guān)系數(shù)檢驗 在命令窗口鍵入：COR Y X1 X2 X3 X4 X5，輸出的相關(guān)系數(shù)矩陣為 表6.5.3 相關(guān)系數(shù)矩陣 由相關(guān)系數(shù)矩陣可以看出，各解釋變量相互之間的相關(guān)系數(shù)較高，證實確實存在嚴重多重共線性。 （2）輔助回歸模型檢驗）輔助回歸模型檢驗 建立每個解釋變量對其余解釋變量的輔助回歸模型： 從以上輔助回歸模型中的R2、F統(tǒng)計量的數(shù)值可以看出，解釋變量X1、X2、X3、X4、X5之間存在較為嚴重的多重共線性。 (3)方差膨脹因子檢驗 從以上輔助回歸模型可知，VIF1 =17.9；VIF2 =19.

17、2；VIF3 =4.4；VIF4 =10.9；VIF5 =20。明顯大于10，解釋變量X1、X2、X3、X4、X5之間存在較為嚴重的多重共線性。 2修正多重共線性：逐步回歸法 采用逐步回歸的辦法，去檢驗和解決多重共線性問題。分別做Y對X1、X2、X3、X4、X5的一元回歸，結(jié)果如表6.5.4所示。表6.5.4 一元回歸結(jié)果(被解釋變量為Y，下同)解釋變量X1X2X3X4X5參數(shù)估計值0.0849.05211.66734.3322014.146t統(tǒng)計量8.66613.1605.1976.4688.749R20.9040.9560.7720.8390.905調(diào)整的R20.8920.9500.743

18、O.8200.894 其中，含有解釋變量X2的回歸方程，調(diào)整的R2最大，以X2為基礎(chǔ)，順次加入其他變量逐步回歸，結(jié)果如表6.5.5所示。表6.5.5 加入新變量的回歸結(jié)果(一)變量X1X2X3X4X5Adj-R2X2、X10.030(2.153)6.194(4.287)0.966X2、X38.017(5.748)1.716(0.858)0.949X2、X46.737(6.645)10.908(2.658)0.972X2、X57.851(2.909)285.178(0.462)0.945 經(jīng)比較，新加入X4的方程，其調(diào)整的R2=0.972，改進最大，而且各參數(shù)的t檢驗顯著，選擇保留X4，再加入其

19、他新變量逐步回歸，結(jié)果如表6.5.6所示。表6.5.6 加入新變量的回歸結(jié)果(二)變量X1X2X3X4X5Adj-R2X2、X4、X10.009(0.423)6.355(4.522)8.565(1.215)0.968X2、X4、X34.216(3.945)3.222(3.068)13.629(4.693)0.987X2、X4、X58.098(4.078)12.928(2.639)-424.396(-0.805)0.970 在X2、X4基礎(chǔ)上加入X3后的方程，其調(diào)整的R2=0.987明顯增大，而且各個參數(shù)t檢驗都顯著。加入X1后不僅調(diào)整的R2下降，而且X4參數(shù)的t檢驗變得不顯著。加入X5后不僅調(diào)

20、整的R2下降，X5參數(shù)的t檢驗不顯著，甚至X5的符號也變得不合理。 保留X3，再加入其他新變量逐步回歸，結(jié)果如表6.5.7所示。加入X1后調(diào)整的R2沒有改進，而且X1參數(shù)的t檢驗不顯著。加入X5后雖然調(diào)整的R2略有改進，但X5參數(shù)的t檢驗不顯著，并且參數(shù)為負值不合理。這說明X1、X5引起嚴重多重共線性，應(yīng)予剔除。表6.5.7 加入新變量的回歸結(jié)果(三)最后修正嚴重多重共線性影響的回歸結(jié)果如表6.5.8所示。變量X1X2X3X4X5Adj-R2X2、X4、X3、X10.008(0.516)3.919(3.067)3.200(2.852)11.677(2.389)0.985X2、X4、X3、X55

21、.699(4.173)3.297(3.471)15.969(5.264)-480.610(-1.535)0.990表6.5.8 最終回歸結(jié)果 這說明，在其他因素不變的情況下，當城鎮(zhèn)居民人均旅游支出X2和農(nóng)村居民人均旅游支出X3分別增l加100元，公路里程X4每增加1萬km時，國內(nèi)旅游收入Y將分別增加421.6億元、322.2億元和13.629億元。 利用利用EViews6.0解決本例多重共線性問題：逐步解決本例多重共線性問題：逐步回歸法回歸法 在主窗口，選擇QuickEstimate Equation，在彈出方程設(shè)定對話框通過估計方法的下拉選單選擇逐步最小二乘法(STEPIS-Stepwise

22、 Least Squares)，EViews將顯示逐步最小二乘法的設(shè)定(Specification)標簽頁，如圖6.5.1所示。圖6.5.1 方程設(shè)定標簽頁 逐步回歸采用列表式進行變量的基本設(shè)定。在第一個編輯區(qū)域，首先設(shè)定被解釋變量，在第二個編輯區(qū)域，輸入設(shè)定被解釋變量。本例在第一個設(shè)定框內(nèi)輸入：Y C，在第二個框內(nèi)輸入： X1 X2 X3 X4 X5，然后，可以利用選項(Options)標簽頁來控制逐步回歸具體采用的方法。 打開選項(Options)，見圖6.5.2。其中選擇模型(Selection Method)部分用來設(shè)定逐步回歸的方法，包括單向逐步回歸法(Uni-directional

23、)，有進有出逐步回歸法(Stepwise)，交換逐步回歸法(Swapwise)和組合逐步回歸法(Combinatorial)。EViews6.0默認使用前向有進有出(Stepwise-forwards)法。圖6.5.2 逐步回歸法設(shè)定 對話框中的其他選項隨選擇方法不同而變化。對于單向(Uni-directional)逐步回歸和有進有出(Stepwise)逐步回歸，可以設(shè)定前向和后向兩種方法。這兩種方法添加或剔除變量的終止準則有p值和t統(tǒng)計量兩種選項，同時終止程序的準則還可以采用“利用回歸變量個數(shù)”(Use number of regressors)，需要在相應(yīng)的編輯區(qū)域提供回歸變量個數(shù)。 在對

24、話框可以看到程序的最大回歸步數(shù)(Maximum steps)。如果設(shè)定向模型中添加變量的最大步數(shù)，就要選用前向(Forwards)方法，如果設(shè)定從模型中剔除變量的最大步數(shù)，則要使用后向(Backwards)方法，同時還要設(shè)定模型添加和剔除變量的總步數(shù)(Total)，一般情況下應(yīng)設(shè)定一個較大數(shù)值。 交換逐步回歸法需要選擇利用最大R2還是最小R2，并選擇添加變量的個數(shù)。組合逐步回歸法的選項只需要提供添加變量的個數(shù)。一般選擇能夠使R2有最大改進的變量添加到模型中。 每種方法都有權(quán)重(Weight series)數(shù)列的選擇，以執(zhí)行加權(quán)最小二乘法。如果選擇利用權(quán)重數(shù)列(Use weight series)，在編輯區(qū)輸入權(quán)重數(shù)列名稱即可。 對于本例，在Selection Method部分，采用默認的前向有進有出法