第四章-多重共線性

第四章多重共線性1

本章討論四個問題：

●什么是多重共線性●多重共線性產(chǎn)生的后果●多重共線性的檢驗●多重共線性的補救措施2所謂多重共線性(Multi-Collinearity)，包括完全的多重共線性和不完全的多重共線性。對于解釋變量X2、X3、…、Xk

，如果存在不全為0的數(shù)l1、l2、…、lk

，使得

l1+l2X2i

+l2X3i

+…+lk

Xki=0,i=1,2,…,n則稱解釋變量X2、X3、…、Xk之間存在著完全的多重共線性。一、多重共線性的含義第一節(jié)什么是多重共線性3

當(dāng)

Rank(X)<k

時，表明在數(shù)據(jù)矩陣X中，至少有一個列向量可以用其余的列向量線性表示，則說明存在完全的多重共線性。在現(xiàn)實的經(jīng)濟問題中，完全的多重共線性并不多見，常見的情形是解釋變量之間存在不完全的多重共線性。

4

對于解釋變量X2、X3、…、Xk

，如果存在不全為0的數(shù)l1、l2、…、lk

，使得

l1+l2X2i

+l2X3i

+…+lk

Xki+vi=0,i=1,2,…,n其中vi為隨機變量，則稱解釋變量X2、X3、…、Xk之間存在著不完全的多重共線性。注意：解釋變量之間不存在線性關(guān)系，并非不存在非線性關(guān)系，當(dāng)解釋變量之間存在非線性關(guān)系時，并不違反古典假定。5

二、產(chǎn)生多重共線性的背景

多重共線性產(chǎn)生的經(jīng)濟背景主要有幾種情形：

1.經(jīng)濟變量之間具有相同的變化趨勢。

2.模型中包含滯后變量。

3.利用截面數(shù)據(jù)建立模型也可能出現(xiàn)多重共線性。

4.樣本數(shù)據(jù)的原因。

61.參數(shù)的估計值不確定2.參數(shù)估計值的方差無限大一、完全多重共線性產(chǎn)生的后果第二節(jié)多重共線性的后果7以兩個解釋變量的回歸模型為例假設(shè)則同理這說明完全多重共線性時，參數(shù)無法確定。8再考慮參數(shù)估計值的方差同理這說明完全多重共線性時，參數(shù)估計量的方差將變成無窮大。9關(guān)于方差的推導(dǎo)10而的第二行第二列元素為11于是的第二行第二列元素為注意到所以同理12

如果模型中存在不完全的多重共線性，雖可以得到參數(shù)的估計值，但是對計量經(jīng)濟分析可能會產(chǎn)生一系列的影響。

二、不完全多重共線性產(chǎn)生的后果13仍以兩個解釋變量的回歸模型為例假設(shè)不全為0，不妨設(shè)于是令因此不妨假定注意14將所以依賴于vi的數(shù)值，當(dāng)X1，X3共線性程度越高，vi會越小，使得其數(shù)值很不穩(wěn)定。代入由于是可以估計的，但其數(shù)值是同樣對由類似結(jié)果。15再考慮參數(shù)估計值的方差這里r23是X2，X3的相關(guān)系數(shù)。同樣可得16隨著共線性增加，r23趨于1，方差將增大。同樣協(xié)方差的絕對值也增大，它們增大的速度決定于方差擴大（膨脹）因子(varianceinflationfactor,VIF)這時171.參數(shù)估計值無法確定或很不穩(wěn)定；2.參數(shù)估計值的方差增大，置信區(qū)間趨于變大；3.由于方差增大，在對各個參數(shù)進(jìn)行顯著性t檢驗時，增大了接受原假設(shè)的可能性，從而導(dǎo)致錯誤地舍去有顯著性影響的變量；綜合來看，多重共線性的后果如下：4.多重共線性嚴(yán)重時，甚至可能使估計的回歸系數(shù)符號相反，得出完全錯誤的結(jié)論。（如引例）18

本節(jié)基本內(nèi)容：

簡單相關(guān)系數(shù)檢驗法方差擴大因子法直觀判斷法病態(tài)指數(shù)檢驗法

逐步回歸法第三節(jié)多重共線性的檢驗19簡單相關(guān)系數(shù)檢驗法是利用解釋變量之間的線性相關(guān)程度去判斷是否存在嚴(yán)重多重共線性的一種簡便方法。適用于只有兩個變量的情形。判斷規(guī)則：一般而言，如果每兩個解釋變量的簡單相關(guān)系數(shù)(零階相關(guān)系數(shù))比較高，例如大于0.8，則可認(rèn)為存在著較嚴(yán)重的多重共線性。一、簡單相關(guān)系數(shù)檢驗法20

注意：

較高的簡單相關(guān)系數(shù)只是多重共線性存在的充分條件，而不是必要條件。特別是在多于兩個解釋變量的回歸模型中，有時較低的簡單相關(guān)系數(shù)也可能存在多重共線性。因此并不能簡單地依據(jù)相關(guān)系數(shù)進(jìn)行多重共線性的準(zhǔn)確判斷。21用表示以Xj為被解釋變量對其他解釋變量的輔助回歸的可決系數(shù)，則二、方差擴大因子法如果分別以每個解釋變量為被解釋變量，做對其他解釋變量的回歸，稱為輔助回歸。其中是變量Xj的方差擴大因子。22經(jīng)驗規(guī)則●方差膨脹因子越大，表明解釋變量之間的多重共性越嚴(yán)重。反過來，方差膨脹因子越接近于1，多重共線性越弱?！窠?jīng)驗表明，方差膨脹因子≥10時，說明解釋變量與其余解釋變量之間有嚴(yán)重的多重共線性，且這種多重共線性可能會過度地影響最小二乘估計。23

1.當(dāng)增加或剔除一個解釋變量，或者改變一個觀測值時，回歸參數(shù)的估計值發(fā)生較大變化，回歸方程可能存在嚴(yán)重的多重共線性。

2.定性分析認(rèn)為，一些變量是重要的解釋變量，但在回歸方程中沒有通過顯著性檢驗時，可初步判斷可能存在嚴(yán)重的多重共線性。

3.有些解釋變量的回歸系數(shù)所帶正負(fù)號與定性分析結(jié)果違背時，很可能存在多重共線性。三、直觀判斷法24

特征根分析

四、特征值與病態(tài)指數(shù)設(shè)l是矩陣近似為零的特征根，c是對應(yīng)的單位特征向量，則于是即表明解釋變量之間存在多重共線性。那么l小到多少才認(rèn)為它近似為零呢？25特征根近似為零的標(biāo)準(zhǔn)可用病態(tài)指數(shù)（conditionIndex)確定

病態(tài)指數(shù)其中l(wèi)m是的最大特征根。一般認(rèn)為，當(dāng)0<CI<10時，沒有多重共線性；當(dāng)10≤CI<100時，有較強的多重共線性；當(dāng)100≤CI時，有嚴(yán)重的多重共線性。26

逐步回歸的基本思想將變量逐個的引入模型，每引入一個解釋變量后，都要進(jìn)行Ｆ檢驗，并對已經(jīng)選入的解釋變量逐個進(jìn)行t

檢驗，當(dāng)原來引入的解釋變量由于后面解釋變量的引入而變得不再顯著時，則將其剔除。以確保每次引入新的變量之前回歸方程中只包含顯著的變量。在逐步回歸中，高度相關(guān)的解釋變量，在引入時會被剔除。因而也是一種檢測多重共線性的有效方法。五、逐步回歸檢驗法27一、修正多重共線性的經(jīng)驗方法

1.剔除變量法把方差擴大因子最大者所對應(yīng)的自變量首先剔除再重新建立回歸方程，直至回歸方程中不再存在嚴(yán)重的多重共線性。注意:

若剔除了重要變量，可能引起模型的設(shè)定誤差。第四節(jié)多重共線性的補救措施28

2.增大樣本容量如果樣本容量增加，會減小回歸參數(shù)的方差，標(biāo)準(zhǔn)誤差也同樣會減小。因此盡可能地收集足夠多的樣本數(shù)據(jù)可以改進(jìn)模型參數(shù)的估計。問題：增加樣本數(shù)據(jù)在實際計量分析中常面臨許多困難。29

3.變換模型形式一般而言，差分后變量之間的相關(guān)性要比差分前弱得多，所以差分后的模型可能降低出現(xiàn)共線性的可能性，此時可直接估計差分方程。問題：差分會丟失一些信息，差分模型的誤差項可能存在序列相關(guān)，可能會違背經(jīng)典線性回歸模型的相關(guān)假設(shè)，在具體運用時要慎重。30

4.利用非樣本先驗信息通過經(jīng)濟理論分析能夠得到某些參數(shù)之間的關(guān)系，可以將這種關(guān)系作為約束條件，將此約束條件和樣本信息結(jié)合起來進(jìn)行約束最小二乘估計。31

5.橫截面數(shù)據(jù)與時序數(shù)據(jù)并用首先利用橫截面數(shù)據(jù)估計出部分參數(shù)，再利用時序數(shù)據(jù)估計出另外的部分參數(shù)，最后得到整個方程參數(shù)的估計。注意：這里包含著假設(shè)，即參數(shù)的橫截面估計和從純粹時間序列分析中得到的估計是一樣的。

32

6.數(shù)據(jù)變換數(shù)據(jù)變換的主要方法：(1)計算相對指標(biāo)(2)將名義數(shù)據(jù)轉(zhuǎn)換為實際數(shù)據(jù)(3)將小類指標(biāo)合并成大類指標(biāo)變量數(shù)據(jù)的變換有時可得到較好的結(jié)果，但無法保證一定可以得到很好的結(jié)果。33

二、逐步回歸法（Frisch綜合分析法）第一步用被解釋變量對每一個所考慮的解釋變量做簡單回歸。然后，根據(jù)統(tǒng)計檢驗的結(jié)果，選出最優(yōu)簡單回歸方程，稱為基本回歸方程。第二步將其余的解釋變量逐步加入到基本回歸方程

中，建立一系列回歸方程，然后按下列標(biāo)準(zhǔn)來判斷加入的變量。步驟如下：34（1）若新加入的變量提高了可決系數(shù)，且回歸參數(shù)在經(jīng)濟理論上和統(tǒng)計檢驗上也合理，便認(rèn)為此變量是有利變量，予以接納。（2）若新加入的變量不能提高可決系數(shù)或提高很少，且對其他系數(shù)沒有影響，便認(rèn)為此變量是多余變量，不予以接納。（3）若新加入的變量嚴(yán)重影響其他變量的系數(shù)或符號，便認(rèn)為此變量是不利變量，它的出現(xiàn)是多重共線性的重要信號，但它不是多余的，它可能對被解釋變量是不可缺少的，這時應(yīng)研究改善模型的辦法。35第五節(jié)案例分析36例設(shè)某地區(qū)10年中有關(guān)服裝消費、可支配收入、流動資產(chǎn)、服裝類物價指數(shù)、總物價指數(shù)的統(tǒng)計如表所示，試建立正確的需求函數(shù)模型。年份服裝開支C（百萬元）可支配收入Y（百萬元）流動資產(chǎn)L（百萬元）服裝類物價指數(shù)PC（92年=100）總物價指數(shù)PO（92年100）19888.482.917.1929419899.688.021.39396199010.499.925.19697199111.4105.329.09497199212.2117.734.0100100199314.2131.040.0101101199415.8148.244.0105104199517.9161.849.0112109199619.3174.251.0112111199720.8184.753.0112111服裝消費及相關(guān)變量統(tǒng)計數(shù)據(jù)37解：（1）設(shè)服裝的需求函數(shù)為用OLS法估計得（7.513）（2.026）（0.049）（0.090）（0.150）ESS=166.168RSS=0.332D—W=3.383由F=626.4634﹥F0.05（4，5）=5.19，故拒絕原假設(shè)，認(rèn)為服裝支出與解釋變量之間存在顯著關(guān)系。t=（-1.8013）（3.6603）（0.3053）（-2.2087）（2.2714）38（2）求出各解釋變量的簡單相關(guān)系數(shù)表明解釋變量之間均高度相關(guān)，也就是多重共線性嚴(yán)重。（3）為檢驗多重共線性的影響，作如下簡單回歸：②①③④（0.3763）（0.0028）D—W=2.4013（4.2014）（0.0412）D—W=2.6271（0.8192）（0.0214）D—W=0.4684（3.6332）（0.0355）D—W=2.172039以上四個方程，根據(jù)經(jīng)濟理論和統(tǒng)計檢驗，收入Y是最重要的解釋變量（可決系數(shù)最大，t值=3.6603也最大），選出方程①作為基本回歸方程。（4）將其余解釋變量逐個引入基本回歸方程中，得到：C=f(Y)C=f(Y,Pc,Po)-1.24550.11780.9955C=f(Y,Pc)1.40470.1257-0.0361C=f(Y,Pc,L)0.94000.1387-0.0345-0.0379-12.75930.1036-0.18820.3186C=f(Y,Pc,Po,L)-13.53350.0970-0.19910.01510.34010.99570.99590.99800.998040分析（1）加入Pc變量，R2由0.9955提高到0.9957，進(jìn)行t檢驗不顯著，但為正，為負(fù)是合理的。從經(jīng)濟意義分析，Pc應(yīng)該是主要變量，雖然Pc與Y高度相關(guān)，但并不影響的顯著性，因此，可能是“有利變量”，暫時給予保留。

（2）加入變量L，R2由0.9957提高到0.9959，雖然Y與L、Pc與L均高度相關(guān)，但L的引入對、的影響不大，且的符號不合理，因此，可能是“多余變量”，暫時刪除。

（3）舍去變量L，加入變量Po

，R2由0.9957提高到0.9980，改進(jìn)較大，、、均顯著，從經(jīng)濟意義看也是合理，因此，可以確認(rèn)Pc、Po都是“有利變量”，應(yīng)給予保留。

（4）最后加入變量L，R2等于0.9980，沒有增加，對、、均沒有多大影響，可以確定L是“多余變量”，應(yīng)從模型中刪除。因此得出結(jié)論：C=f(Y,Pc,Po)為最佳模型。41第四章小結(jié)1.多重共線性是指各個解釋變量之間有確定或近似的線性關(guān)系。2.多重共線性的后果：如果解釋變量之間有完全的共線性，則它們的回歸系數(shù)是不確定的，并且它們的方差會無窮大。如果共線性是高度的但不完全的，回歸系數(shù)可估計，但有較大的標(biāo)準(zhǔn)誤差。42

3.診斷共線性的經(jīng)驗方法：（1）簡單相關(guān)系數(shù)檢驗法（2）方差擴大因子法（3）直觀判斷法（4）病態(tài)指數(shù)檢驗法（5）逐步回歸法43

4.降低多重共線性的經(jīng)驗方法：

(1)利用外部或先驗信息

(2)橫截面與時間序列數(shù)據(jù)并用

(3)剔除高度共線性的變量(如逐步回歸)(4)數(shù)據(jù)轉(zhuǎn)換

(5)獲取補充數(shù)據(jù)或新數(shù)據(jù)44例1考慮以下模型由于X2和X3是X的函數(shù)，所以它們之間存在多重共線性，你同意這種說法嗎?為什么?答：不同意，它們之間只是存在非線性相關(guān)關(guān)系，并不存在多重共線性。45例2

某地區(qū)供水部門利用最近15年的用水年度數(shù)據(jù)得出如下估計模型：式中W—用水總量(百萬立方米)，H—住戶總數(shù)(千戶)，PO—總?cè)丝?千人)，Y—人均收入(元)，P—價格(元/100立方米)，R—降雨量(毫米)。

（1）根據(jù)經(jīng)濟理論和直覺，回歸系數(shù)的符號是什么，為什么？觀察符號與你的直覺相符嗎？（2）在10%的顯著性水平下，進(jìn)行t檢驗與方程的F

檢驗。t檢驗與F檢驗結(jié)果有相矛盾的現(xiàn)象嗎？（3）你認(rèn)為估計值是（a