多重共線性的情形及其處理-實(shí)用回歸分析

1、第6章 多重共線性的情形及其處理6 .1 多重共線性產(chǎn)生的背景和原因6 .2 多重共線性對(duì)回歸模型的影響6 .3 多重共線性的診斷6 .4 消除多重共線性的方法6 .5 主成分回歸6 .6 本章小結(jié)與評(píng)注第六章 多重共線性的情形及其處理 如果存在不全為0的p+1個(gè)數(shù)c0,c1,c2,cp ,使得c0+c1xi1+c2xi2+cpxip=0 , i=1,2,n （6.1） 則稱自變量x1,x2,xp之間存在著完全多重共線性。 在實(shí)際經(jīng)濟(jì)問(wèn)題中完全的多重共線性并不多見(jiàn)，常見(jiàn)的是（6.1）式近似成立的情況，即存在不全為0的p+1個(gè)數(shù)c0,c1,c2,cp ,使得c0+c1xi1+c2xi2+cpxi

2、p0 , i=1,2,n（6.2） 稱自變量x1,x2,xp之間存在著多重共線性(Multi-collinearity),也稱為復(fù)共線性。6.1多重共線性產(chǎn)生的經(jīng)濟(jì)背景和原因 當(dāng)我們所研究的經(jīng)濟(jì)問(wèn)題涉及到時(shí)間序列資料時(shí),由于經(jīng)濟(jì)變量隨時(shí)間往往存在共同的變化趨勢(shì),使得它們之間就容易出現(xiàn)共線性。 例如, 我們要研究我國(guó)居民消費(fèi)狀況,影響居民消費(fèi)的因素很多,一般有職工平均工資、農(nóng)民平均收入、銀行利率、全國(guó)零售物價(jià)指數(shù)、國(guó)債利率、貨幣發(fā)行量、儲(chǔ)蓄額、前期消費(fèi)額等,這些因素顯然既對(duì)居民消費(fèi)產(chǎn)生重要影響,它們之間又有著很強(qiáng)的相關(guān)性。 6.1多重共線性產(chǎn)生的經(jīng)濟(jì)背景和原因 許多利用截面數(shù)據(jù)建立回歸方程的問(wèn)題

3、常常也存在自變量高度相關(guān)的情形。 例如,我們以企業(yè)的截面數(shù)據(jù)為樣本估計(jì)生產(chǎn)函數(shù),由于投入要素資本K,勞動(dòng)力投入L,科技投入S,能源供應(yīng)E等都與企業(yè)的生產(chǎn)規(guī)模有關(guān),所以它們之間存在較強(qiáng)的相關(guān)性。6.2 多重共線性對(duì)回歸模型的影響 設(shè)回歸模型y=0+1x1+2x2+pxp+存在完全的多重共線性,即對(duì)設(shè)計(jì)矩陣X的列向量存在不全為零的一組數(shù)c0,c1,c2,cp ,使得c0+c1xi1+c2xi2+cpxip=0 , i=1,2,n 設(shè)計(jì)矩陣X的秩rank（X） p+1，此時(shí)|xx|=0，正規(guī)方程組的解不唯一，（xx）-1不存在，回歸參數(shù)的最小二乘估計(jì)表達(dá)式 不成立。6.2 多重共線性對(duì)回歸模型的影響

4、 對(duì)非完全共線性, 存在不全為零的一組數(shù)c0,c1,c2,cp ,使得c0+c1xi1+c2xi2+cpxip0 , i=1,2,n6.2 多重共線性對(duì)回歸模型的影響 我們做y對(duì)兩個(gè)自變量x1,x2的線性回歸,假定y與x1,x2都已經(jīng)中心化，此時(shí)回歸常數(shù)項(xiàng)為零，回歸方程為6.2 多重共線性對(duì)回歸模型的影響 6.2 多重共線性對(duì)回歸模型的影響 6.2 多重共線性對(duì)回歸模型的影響 當(dāng)給不同的r12值時(shí),由表6.1可看出方差增大的速度。 為了方便，我們假設(shè)2/L11=1,相關(guān)系數(shù)從0.5變?yōu)?.9時(shí),回歸系數(shù)的方差增加了295%,相關(guān)系數(shù)從0.5變?yōu)?.95時(shí),回歸系數(shù)的方差增加了670%。6.2

5、多重共線性對(duì)回歸模型的影響 在例3.3中,我們建立的中國(guó)民航客運(yùn)量回歸方程為： =450.9+0.354x1-0.561x2-0.0073x3+21.578x4+0.435x5其中：y民航客運(yùn)量(萬(wàn)人), x1國(guó)民收入(億元), x2消費(fèi)額(億元), x3鐵路客運(yùn)量(萬(wàn)人), x4民航航線里程(萬(wàn)公里), x5來(lái)華旅游入境人數(shù)(萬(wàn)人)。 5個(gè)自變量都通過(guò)了t檢驗(yàn)，但是x2的回歸系數(shù)是負(fù)值，x2是消費(fèi)額，從經(jīng)濟(jì)學(xué)的定性分析看，消費(fèi)額與民航客運(yùn)量應(yīng)該是正相關(guān)，負(fù)的回歸系數(shù)無(wú)法解釋。問(wèn)題出在哪里？這正是由于自變量之間的復(fù)共線性造成的。6.3 多重共線性的診斷 一、方差擴(kuò)大因子法 對(duì)自變量做中心標(biāo)準(zhǔn)化

6、，則X*X*=(rij)為自變量的相關(guān)陣。記C=(cij)=(X*X*)-1(6.5)稱其主對(duì)角線元素VIFj=cjj為自變量xj的方差擴(kuò)大因子(Variance Inflation Factor,簡(jiǎn)記為VIF)。根據(jù)（3.31）式可知，其中Ljj是xj的離差平方和，由（6.6）式可知用cjj做為衡量自變量xj的方差擴(kuò)大程度的因子是恰如其分的。6.3 多重共線性的診斷 6.3 多重共線性的診斷 6.3 多重共線性的診斷 6.3 多重共線性的診斷 經(jīng)驗(yàn)表明,當(dāng)VIFj10時(shí),就說(shuō)明自變量xj與其余自變量之間有嚴(yán)重的多重共線性,且這種多重共線性可能會(huì)過(guò)度地影響最小二乘估計(jì)值。 還可用p個(gè)自變量所對(duì)

7、應(yīng)的方差擴(kuò)大因子的平均數(shù)來(lái)度量多重共線性。當(dāng)遠(yuǎn)遠(yuǎn)大于1時(shí)就表示存在嚴(yán)重的多重共線性問(wèn)題。 6.3 多重共線性的診斷6.3 多重共線性的診斷以下用SPSS軟件診斷例3.2中國(guó)民航客運(yùn)量一例中的多重共線性問(wèn)題。 6.3 多重共線性的診斷二、特征根判定法（一）特征根分析 根據(jù)矩陣行列式的性質(zhì)，矩陣的行列式等于其特征根的連乘積。因而，當(dāng)行列式|XX|0時(shí), 矩陣XX至少有一個(gè)特征根近似為零。反之可以證明，當(dāng)矩陣XX至少有一個(gè)特征根近似為零時(shí)，X 的列向量間必存在復(fù)共線性，證明如下：6.3 多重共線性的診斷 記X =（X0 ，X1，Xp），其中 Xi為X 的列向量， X0 =（1，1，1）是元素全為1的

8、n維列向量。是矩陣XX的一個(gè)近似為零的特征根，0c=(c0,c1, ,cp)是對(duì)應(yīng)于特征根的單位特征向量，則XX c=c06.3 多重共線性的診斷 上式兩邊左乘c，得 cXX c0從而有 X c0即 c0X0 +c1X1+cp Xp0寫(xiě)成分量形式即為 c0+c1xi1+c2xi2+cpxip0 , i=1,2,n這正是（6.2）式定義的多重共線性關(guān)系。6.3 多重共線性的診斷（二）條件數(shù) 特征根分析表明，當(dāng)矩陣XX有一個(gè)特征根近似為零時(shí)，設(shè)計(jì)矩陣X 的列向量間必存在復(fù)共線性。那么特征根近似為零的標(biāo)準(zhǔn)如何確定哪？這可以用下面介紹的條件數(shù)確定。記XX的最大特征根為m，稱為特征根i的條件數(shù)（Cond

9、ition Index）。6.3 多重共線性的診斷 0k10時(shí),設(shè)計(jì)矩陣X沒(méi)有多重共線性;10k100時(shí),認(rèn)為X存在較強(qiáng)的多重共線性;當(dāng)k100時(shí),則認(rèn)為存在嚴(yán)重的多重共線性。 用條件數(shù)判斷多重共線性的準(zhǔn)則 6.3 多重共線性的診斷 對(duì)例3.2中國(guó)民航客運(yùn)量的例子，用SPSS軟件計(jì)算出特征根與條件數(shù)如下： 6.3 多重共線性的診斷 方差比例是用于判斷哪幾個(gè)自變量之間存在共線性的。實(shí)際上共線性關(guān)系可以根據(jù)（6.9）式直接從特征向量看出來(lái)，只是SPSS軟件在線性回歸模塊中沒(méi)有輸出特征向量陣。 把特征向量按照特征值由大到小排成行向量，每個(gè)數(shù)值平方后再除以特征值，然后再把每列數(shù)據(jù)除以列數(shù)據(jù)之和，使得每

10、列數(shù)據(jù)之和為1，這樣就得到了輸出結(jié)果6.2的方差比。 再次強(qiáng)調(diào)的是線性回歸分析共線性診斷中設(shè)計(jì)陣X包含代表常數(shù)項(xiàng)的一列1，而因子分析模塊中給出的特征向量是對(duì)標(biāo)準(zhǔn)化的設(shè)計(jì)陣給出的，兩者之間有一些差異。 6.3 多重共線性的診斷 （三）直觀判定法 1.當(dāng)增加或剔除一個(gè)自變量,或者改變一個(gè)觀測(cè)值時(shí),回歸系數(shù)的估計(jì)值發(fā)生較大變化。 2.從定性分析認(rèn)為,一些重要的自變量在回歸方程中沒(méi)有通過(guò)顯著性檢驗(yàn)。 3.有些自變量的回歸系數(shù)所帶正負(fù)號(hào)與定性分析結(jié)果違背。 4.自變量的相關(guān)矩陣中,自變量間的相關(guān)系數(shù)較大。 5.一些重要的自變量的回歸系數(shù)的標(biāo)準(zhǔn)誤差較大。 6.4 消除多重共線性的方法 一、剔除一些不重要的

11、解釋變量 在剔除自變量時(shí),可以將回歸系數(shù)的顯著性檢驗(yàn)、方差擴(kuò)大因子VIF以及自變量的經(jīng)濟(jì)含義結(jié)合起來(lái)考慮，以引進(jìn)或剔除變量。 6.4 消除多重共線性的方法 6.4 消除多重共線性的方法 6.4 消除多重共線性的方法 6.4 消除多重共線性的方法二、增大樣本容量例如, 由（6.3）式和（6.4）式 可以看到,在r12固定不變時(shí)，當(dāng)樣本容量n增大時(shí),L11和L22都會(huì)增大，兩個(gè)方差均可減小，從而減弱了多重共線性對(duì)回歸方程的影響。6.4 消除多重共線性的方法 三、回歸系數(shù)的有偏估計(jì) 消除多重共線性對(duì)回歸模型的影響是近30年來(lái)統(tǒng)計(jì)學(xué)家們關(guān)注的熱點(diǎn)課題之一,除以上方法被人們應(yīng)用外,統(tǒng)計(jì)學(xué)家還致力于改進(jìn)古

12、典的最小二乘法,提出以采用有偏估計(jì)為代價(jià)來(lái)提高估計(jì)量穩(wěn)定性的方法,如： 嶺回歸法 主成分回歸法 偏最小二乘法等。6.5 主成分回歸 主成分分析（Principal Components Analysis,簡(jiǎn)記為PCA）是多元統(tǒng)計(jì)分析的一個(gè)基本方法，是對(duì)數(shù)據(jù)做一個(gè)正交旋轉(zhuǎn)變換，也就是對(duì)原有變量做一些線性變換，變換后的變量是正交的。為了避免變量的量綱不同所產(chǎn)生的影響，要求先把數(shù)據(jù)做中心標(biāo)準(zhǔn)化，中心標(biāo)準(zhǔn)化后的自變量樣本觀測(cè)數(shù)據(jù)矩陣（即設(shè)計(jì)陣）就是n行p列的矩陣， 就是相關(guān)陣。6.5 主成分回歸 以例3.3民航客運(yùn)量的數(shù)據(jù)為例 6.5 主成分回歸 6.5 主成分回歸 現(xiàn)在用y對(duì)前兩個(gè)主成分Factor1和Factor2做普通最小二乘回歸，得主成分回歸回歸方程： 不過(guò)以上回歸方程的自變量是用兩個(gè)主成分Factor1和Factor2表示的，應(yīng)該轉(zhuǎn)換回到用原始自變量表示的回歸方程。 6.5 主成分回歸 分別用兩個(gè)主成分Factor1和Factor2做因變量，以5個(gè)原始自變量做自變量做線性回歸，所得的回歸系數(shù)就是所需要的線性組合的系數(shù)。得到6.5 主成分回歸 還原后的主成分回歸方程為：每個(gè)回歸系數(shù)的解釋