多重共線性的情形及其處理ppt課件

1、第六章第六章 多重共線性的情形及其處置多重共線性的情形及其處置6 .1 多重共線性產(chǎn)生的背景和緣由6 .2 多重共線性對回歸模型的影響6 .3 多重共線性的診斷6 .4 消除多重共線性的方法6 .5 主成分回歸6 .6 本章小結(jié)與評注第六章第六章 多重共線性的情形及其處置多重共線性的情形及其處置 假設(shè)存在不全為0的p+1個數(shù)c0,c1,c2,cp ,使得c0+c1xi1+c2xi2+cpxip=0 , i=1,2,n 6.1 那么稱自變量x1,x2,xp之間存在著完全多重共線性。 在實踐經(jīng)濟問題中完全的多重共線性并不多見，常見的是6.1式近似成立的情況，即存在不全為0的p+1個數(shù)c0,c1,c

2、2,cp ,使得c0+c1xi1+c2xi2+cpxip0 , i=1,2,n6.2 稱自變量x1,x2,xp之間存在著多重共線性(Multi-collinearity),也稱為復(fù)共線性。6.1多重共線性產(chǎn)生的經(jīng)濟背景和緣由多重共線性產(chǎn)生的經(jīng)濟背景和緣由 當(dāng)我們所研討的經(jīng)濟問題涉及到時間序列資料時,由于經(jīng)濟變量隨時間往往存在共同的變化趨勢,使得它們之間就容易出現(xiàn)共線性。 例如, 我們要研討我國居民消費情況,影響居民消費的要素很多,普通有職工平均工資、農(nóng)民平均收入、銀行利率、全國零售物價指數(shù)、國債利率、貨幣發(fā)行量、儲蓄額、前期消費額等,這些要素顯然既對居民消費產(chǎn)生重要影響,它們之間又有著很強的相

3、關(guān)性。 6.1多重共線性產(chǎn)生的經(jīng)濟背景和緣由多重共線性產(chǎn)生的經(jīng)濟背景和緣由 許多利用截面數(shù)據(jù)建立回歸方程的問題經(jīng)常也存在自變量高度相關(guān)的情形。 例如,我們以企業(yè)的截面數(shù)據(jù)為樣本估計消費函數(shù),由于投入要素資本K,勞動力投入L,科技投入S,能源供應(yīng)E等都與企業(yè)的消費規(guī)模有關(guān),所以它們之間存在較強的相關(guān)性。6.2 多重共線性對回歸模型的影響多重共線性對回歸模型的影響 設(shè)回歸模型y=0+1x1+2x2+pxp+存在完全的多重共線性,即對設(shè)計矩陣X的列向量存在不全為零的一組數(shù)c0,c1,c2,cp ,使得c0+c1xi1+c2xi2+cpxip=0 , i=1,2,n 設(shè)計矩陣X的秩rankX p+1，

4、此時|xx|=0，正規(guī)方程組的解不獨一，xx-1不存在，回歸參數(shù)的最小二乘估計表達式 不成立。y yX XX XX X-1)(6.2 多重共線性對回歸模型的影響多重共線性對回歸模型的影響 對非完全共線性, 存在不全為零的一組數(shù)c0,c1,c2,cp ,使得c0+c1xi1+c2xi2+cpxip0 , i=1,2,n6.2 多重共線性對回歸模型的影響多重共線性對回歸模型的影響 我們做y對兩個自變量x1,x2的線性回歸,假定y與x1,x2都曾經(jīng)中心化，此時回歸常數(shù)項為零，回歸方程為2211xxy6.2 多重共線性對回歸模型的影響多重共線性對回歸模型的影響 6.2 多重共線性對回歸模型的影響多重共

5、線性對回歸模型的影響 6.2 多重共線性對回歸模型的影響多重共線性對回歸模型的影響 當(dāng)給不同的r12值時,由表6.1可看出方差增大的速度。 為了方便，我們假設(shè)2/L11=1,相關(guān)系數(shù)從0.5變?yōu)?.9時,回歸系數(shù)的方差添加了295%,相關(guān)系數(shù)從0.5變?yōu)?.95時,回歸系數(shù)的方差添加了670%。6.2 多重共線性對回歸模型的影響多重共線性對回歸模型的影響 在例3.3中,我們建立的中國民航客運量回歸方程為： =450.9+0.354x1-0.561x2-0.0073x3+21.578x4+0.435x5其中：y民航客運量(萬人), x1國民收入(億元), x2消費額(億元), x3鐵路客運量(萬

6、人), x4民航航線里程(萬公里), x5來華旅游入境人數(shù)(萬人)。 5個自變量都經(jīng)過了t檢驗，但是x2的回歸系數(shù)是負值，x2是消費額，從經(jīng)濟學(xué)的定性分析看，消費額與民航客運量應(yīng)該是正相關(guān)，負的回歸系數(shù)無法解釋。問題出在哪里？這正是由于自變量之間的復(fù)共線性呵斥的。y 6.3 多重共線性的診斷多重共線性的診斷 一、方差擴展因子法一、方差擴展因子法 對自變量做中心規(guī)范化，那么X*X*=(rij)為自變量的相關(guān)陣。記C=(cij)=(X*X*)-1(6.5)稱其主對角線元素VIFj=cjj為自變量xj的方差擴展因子(Variance Inflation Factor,簡記為VIF)。根據(jù)3.31式可

7、知，pjLcjjjjj, 1 ,/)var(2其中Ljj是xj的離差平方和，由6.6式可知用cjj做為衡量自變量xj的方差擴展程度的因子是恰如其分的。6.3 多重共線性的診斷多重共線性的診斷 6.3 多重共線性的診斷多重共線性的診斷 Coefficientsa450.909178.0782.532.030.354.0852.4474.152.002.0011963-.561.125-2.485-4.478.001.0011741-7.E-03.002-.083-3.510.006.3153.17121.5784.030.5315.354.000.01855.5.435.052.5648.440

8、.000.04025.2(Constant)X1X2X3X4X5BStd.ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.ToleranceVIFCollinearityStatisticsDependent Variable: Ya. 6.3 多重共線性的診斷多重共線性的診斷 M Mo od de el l S Su um mm ma ar ry y.9997452991a.999.999175.08601Model1RR SquareAdjustedR SquareStd. Error ofthe Estima

9、tePredictors: (Constant), x5, x3, x4, x2a. V Va ar ri ia ab bl le es s E En nt te er re ed d/ /R Re em mo ov ve ed db bx5, x3, x4, x2a.EnterModel1Variables EnteredVariablesRemovedMethodAll requested variables entered.a. Dependent Variable: x1b. 6.3 多重共線性的診斷多重共線性的診斷 閱歷闡明,當(dāng)VIFj10時,就闡明自變量xj與其他自變量之間有嚴(yán)重的

10、多重共線性,且這種多重共線性能夠會過度地影響最小二乘估計值。 還可用p個自變量所對應(yīng)的方差擴展因子的平均數(shù)來度量多重共線性。當(dāng)pjjVIFpVIF11遠遠大于1時就表示存在嚴(yán)重的多重共線性問題。 6.3 多重共線性的診斷多重共線性的診斷6.3 多重共線性的診斷多重共線性的診斷以下用SPSS軟件診斷例3.2中國民航客運量一例中的多重共線性問題。 Coefficientsa450.909178.0782.532.030.354.0852.4474.152.002.0011963-.561.125-2.485-4.478.001.0011741-7.E-03.002-.083-3.510.006.3

11、153.17121.5784.030.5315.354.000.01855.5.435.052.5648.440.000.04025.2(Constant)X1X2X3X4X5BStd.ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.ToleranceVIFCollinearityStatisticsDependent Variable: Ya. 6.3 多重共線性的診斷多重共線性的診斷二、特征根斷定法二、特征根斷定法一特征根分析 根據(jù)矩陣行列式的性質(zhì)，矩陣的行列式等于其特征根的連乘積。因此，當(dāng)行列式|XX|0時,

12、 矩陣XX至少有一個特征根近似為零。反之可以證明，當(dāng)矩陣XX至少有一個特征根近似為零時，X 的列向量間必存在復(fù)共線性，證明如下：6.3 多重共線性的診斷多重共線性的診斷 記X =X0 ，X1，Xp，其中 Xi為X 的列向量， X0 =1，1，1是元素全為1的n維列向量。是矩陣XX的一個近似為零的特征根，0c=(c0,c1, ,cp)是對應(yīng)于特征根的單位特征向量，那么XX c=c06.3 多重共線性的診斷多重共線性的診斷 上式兩邊左乘c，得 cXX c0從而有 X c0即 c0X0 +c1X1+cp Xp0寫成分量方式即為 c0+c1xi1+c2xi2+cpxip0 , i=1,2,n這正是6.

13、2式定義的多重共線性關(guān)系。6.3 多重共線性的診斷多重共線性的診斷二條件數(shù) 特征根分析闡明，當(dāng)矩陣XX有一個特征根近似為零時，設(shè)計矩陣X 的列向量間必存在復(fù)共線性。那么特征根近似為零的規(guī)范如何確定哪？這可以用下面引見的條件數(shù)確定。記XX的最大特征根為m，稱p,0,1,2,i ,imik為特征根i的條件數(shù)Condition Index。6.3 多重共線性的診斷多重共線性的診斷 0k10時,設(shè)計矩陣X沒有多重共線性;10k100時,以為X存在較強的多重共線性;當(dāng)k100時,那么以為存在嚴(yán)重的多重共線性。 用條件數(shù)判別多重共線性的準(zhǔn)那么 6.3 多重共線性的診斷多重共線性的診斷 Collineari

14、ty Diagnosticsa5.5781.000.00.00.00.00.00.00.3783.842.00.00.00.00.00.003.745E-0212.205.01.00.00.00.03.194.203E-0336.431.17.00.01.09.50.041.939E-0353.643.72.00.01.66.15.718.080E-05262.762.10.99.99.25.31.06Dimension123456EigenvalueConditionIndex(Constant)X1X2X3X4X5Variance ProportionsDependent Variable

15、: Ya. 對例3.2中國民航客運量的例子，用SPSS軟件計算出特征根與條件數(shù)如下： 6.3 多重共線性的診斷多重共線性的診斷 方差比例是用于判別哪幾個自變量之間存在共線性的。實踐上共線性關(guān)系可以根據(jù)6.9式直接從特征向量看出來，只是SPSS軟件在線性回歸模塊中沒有輸出特征向量陣。 把特征向量按照特征值由大到小排成行向量，每個數(shù)值平方后再除以特征值，然后再把每列數(shù)據(jù)除以列數(shù)據(jù)之和，使得每列數(shù)據(jù)之和為1，這樣就得到了輸出結(jié)果6.2的方差比。 再次強調(diào)的是線性回歸分析共線性診斷中設(shè)計陣X包含代表常數(shù)項的一列1，而因子分析模塊中給出的特征向量是對規(guī)范化的設(shè)計陣給出的，兩者之間有一些差別。 6.3 多

16、重共線性的診斷多重共線性的診斷 三直觀斷定法 1.當(dāng)添加或剔除一個自變量,或者改動一個觀測值時,回歸系數(shù)的估計值發(fā)生較大變化。 2.從定性分析以為,一些重要的自變量在回歸方程中沒有經(jīng)過顯著性檢驗。 3.有些自變量的回歸系數(shù)所帶正負號與定性分析結(jié)果違背。 4.自變量的相關(guān)矩陣中,自變量間的相關(guān)系數(shù)較大。 5.一些重要的自變量的回歸系數(shù)的規(guī)范誤差較大。 6.4 消除多重共線性的方法消除多重共線性的方法 一、剔除一些不重要的解釋變量一、剔除一些不重要的解釋變量 在剔除自變量時,可以將回歸系數(shù)的顯著性檢驗、方差擴展因子VIF以及自變量的經(jīng)濟含義結(jié)合起來思索，以引進或剔除變量。 6.4 消除多重共線性的

17、方法消除多重共線性的方法 Coefficientsa450.909178.0782.532.030.354.0852.4474.152.002.0011963-.561.125-2.485-4.478.001.0011741-7.E-03.002-.083-3.510.006.3153.17121.5784.030.5315.354.000.01855.5.435.052.5648.440.000.04025.2(Constant)X1X2X3X4X5BStd.ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Tol

18、eranceVIFCollinearityStatisticsDependent Variable: Ya. 6.4 消除多重共線性的方法消除多重共線性的方法 Coefficients695.039264.5252.627.024-5.257E-02.042-.233-1.262.233.01377.546-1.170E-02.003-.134-4.207.001.4312.31932.0374.951.7886.471.000.03033.812.399.080.5174.988.000.04124.469(Constant)X2X3X4X5BStd. ErrorUnstandardized

19、CoefficientsBetaStandardizedCoefficientstSig.ToleranceVIFCollinearityStatistics6.4 消除多重共線性的方法消除多重共線性的方法 Coefficients591.876257.7302.296.040-1.037E-02.003-.119-3.934.002.5041.98426.4362.249.65011.754.000.1506.650.317.048.4116.568.000.1178.514(Constant)X3X4X5BStd. ErrorUnstandardizedCoefficientsBetaSt

20、andardizedCoefficientstSig.ToleranceVIFCollinearityStatistics6.4 消除多重共線性的方法消除多重共線性的方法二、增大樣本容量二、增大樣本容量例如, 由6.3式和6.4式 1121221)1 ()var(Lr2221222)1 ()var(Lr 可以看到,在r12固定不變時，當(dāng)樣本容量n增大時,L11和L22都會增大，兩個方差均可減小，從而減弱了多重共線性對回歸方程的影響。6.4 消除多重共線性的方法消除多重共線性的方法 三、回歸系數(shù)的有偏估計三、回歸系數(shù)的有偏估計 消除多重共線性對回歸模型的影響是近30年來統(tǒng)計學(xué)家們關(guān)注的熱點課題之

21、一,除以上方法被人們運用外,統(tǒng)計學(xué)家還努力于改良古典的最小二乘法,提出以采用有偏估計為代價來提高估計量穩(wěn)定性的方法,如： 嶺回歸法 主成分回歸法 偏最小二乘法等。6.5 主成分回歸主成分回歸 主成分分析Principal Components Analysis,簡記為PCA是多元統(tǒng)計分析的一個根本方法，是對數(shù)據(jù)做一個正交旋轉(zhuǎn)變換，也就是對原有變量做一些線性變換，變換后的變量是正交的。為了防止變量的量綱不同所產(chǎn)生的影響，要求先把數(shù)據(jù)做中心規(guī)范化，中心規(guī)范化后的自變量樣本觀測數(shù)據(jù)矩陣即設(shè)計陣就是n行p列的矩陣， 就是相關(guān)陣。*() rXX6.5 主成分回歸主成分回歸 以例3.3民航客運量的數(shù)據(jù)為例

22、。首先對5個自變量計算主成分 ，抽取因子數(shù)目設(shè)為5，點“得分按鈕保存主成分得分。6.5 主成分回歸主成分回歸 Factor1 Factor2 Factor3 Factor4 Factor5 -1.2894 -1.481 -0.27458 0.42456 1.35596 -1.15466 -1.05109 -0.27713 0.28188 1.04786 -1.0025 -0.57432 0.2561 -0.08416 0.00132 -0.8846 -0.31539 0.27878 -0.61988 -0.88559 -0.79664 0.06441 0.82047 -0.24731 -1.1

23、4311 -0.67695 0.60404 0.99481 0.38279 -0.23507 -0.47273 0.94985 0.92127 0.05603 0.64251 -0.23379 1.07489 0.10751 0.19928 0.56835 -0.05087 0.72689 -0.92133 -1.38813 -1.02769 0.23403 0.98323 -0.8562 -2.1089 0.06758 0.59455 1.83545 -1.11974 0.83275 1.61644 6.5 主成分回歸主成分回歸 如今用y對前兩個主成分Factor1和Factor2做普通最小二乘回歸，得主成分回歸回歸方程：1159.125936.7811 185.8762yFactorFactor 不過以上回歸方