多重共線性的情形及其處理

多重共線性的情形及其處理一、多重共線性對回歸模型的影響設(shè)回歸模型〉=B+pX+PX+…PX+￡存在完全的多重共線性，即對設(shè)01122pp計矩陣X的列向量存在不全為零的一組數(shù)c,c,c，…,c，使得：012pc+cx+cX+…+cX=0(i=1,2,...,n)，此時設(shè)計矩陣X的秩Rank(X)<p+1，01i12i2pip此時|xx|=0,正規(guī)萬程組x邱二xy的解不唯一，(XX)-1不存在，回歸參數(shù)的一■人.八、最小二乘估計表達式p=(xX)-1xy不成立。在實際問題研究當中，c+cX+cX+—+cX=0，雖然Rank(X)=p+1

01i12i2pip成立，但是IxX|』，(xX)-1的對角線兀素很大，p的萬差陣d(P)=q2(xX)-1的對角線元素很大，而D(P)的對角線元素即為var(p),var(p)，…，var(p)，01p因而P0,P1?—,Pp的估計精度很低，這樣，雖然OLSE能得到p的無偏估計，但估人...一...一.計量P的萬差很大，不能正確判斷解釋變量對被解釋變量的影響程度。例如在二元回歸中，假定y與氣，X2都已經(jīng)中心化，此時回歸常數(shù)項為零，回歸方程為y=Px11zvC2var(p回歸方程為y=Px11zvC2var(p)=——2(1—r2)L1222221(1—r2)LTOC\o"1-5"\h\z1211X2則X，X之P和P的方差12其中L=乙2，L=^XX，L=￡11i112i1i2X2則X，X之P和P的方差12間的相關(guān)系數(shù),12,'12。隨著自變量X與間的相關(guān)系數(shù),12乂11L2212將逐漸增大。當氣與X2完全相關(guān)時，r=1，方差將變?yōu)闊o窮大。當給定不同的如值時，從下表可以看出方差增大的速度。表6.1r120.00.20.500.700.800.900.950.991.00var(p1)1.01.041.331.962.785.2610.2650.258為了方便，假設(shè)M=1,相關(guān)系數(shù)從0.5變?yōu)?.9時，回歸系數(shù)的方差增加了L11295%，相關(guān)系數(shù)從0.5變?yōu)?.95時，回歸系數(shù)的方差增加了670%、當回歸自變量氣與七相關(guān)程度越高，多重共線性越嚴重，那么回歸系數(shù)的估計值方差就越大，回歸系數(shù)的置信區(qū)間就變得很寬，估計的精確性就大幅度降低，使估計值穩(wěn)定性變得很差，進一步致使在回歸方程整體高度顯著時，一些回歸系數(shù)則通不過顯著性檢驗，回歸系數(shù)的正負號也可能出現(xiàn)倒置，使得無法對回歸方程得到合理的經(jīng)濟解釋，直接影響到最小二乘法的應(yīng)用效果，降低回歸方程的價值。如果利用模型去作經(jīng)濟結(jié)構(gòu)分析，要盡可能避免多重共線性；如果是利用模型去作經(jīng)濟預(yù)測，只要保證自變量的相關(guān)類型在未來時期中保持不變，即未來時期自變量間仍具有當初建模時數(shù)據(jù)的聯(lián)系特征，即使回歸模型中包含有嚴重多重共線性的變量也可以得到較好的預(yù)測結(jié)果；如果不能保證自變量的相關(guān)類型在未來時期中保持繼續(xù)不變，那么多重共線性就會對回歸預(yù)測產(chǎn)生嚴重的影響。二、多重共線性的診斷1、方差擴大因子法'對自變量作中心標準化，則X*X*=(r)為自變量的相關(guān)陣，記'-.、一C=(匕)=(X*X*)-1稱其王對角線兀素VIF=c為自變量X的方差擴大因子。var(P)=Cb"L(j=1,2,,p)，其中L為x的離差平方和。記R2為自變jjj■jjjjjJ1量七對其余P-1個自變量的復(fù)決定系數(shù)，則有七=^R-，該式子同樣也可以j作為方差擴大因子VIF的定義。j由于RJ度量了自變量七與其余P-1個自變量的線性相關(guān)程度，這種相關(guān)程度越強，說明自變量之間的多重共線性越嚴重，RJ也就越接近于1，VIFj.也就越大。由此可見VI。?的大小反映了自變量之間是否存在多重共線性，因此可以由它來度量多重共線性的嚴重程度。經(jīng)驗表明，當VIF,>10時，就說明自變量七與其余自變量之間有嚴重的多重共線性，且這種多重共線性可能會過度地影響最小二乘估計值。也可以用P個自變量所對應(yīng)的方差擴大因子的平均數(shù)來度量多重共線性，當1TVIF=-YVIF遠遠大于1時就表小存在嚴重的多重共線性問題。j=1對于只含兩個解釋變量氣和X2的回歸方程，判斷它們是否存在多重共線性，實際上就是計算X和X的樣本決定系數(shù)R2，如果R2很大，則認為X和X可能2121212存在嚴重的多重共線性。為什么說可能存在多重共線性？因為R2和樣本容量n有關(guān)，當樣本容量較小時，R2容易接近與1，就像當n=2時，兩點總能連成一條直線，R2=1。所以我們認為當樣本容量還不算小，而R2接近于1時，可以肯定存在多重共線性。當某自變量Xj對其余p-1個自變量的復(fù)決定系數(shù)R2超過一定界限時，SPSS軟件將拒絕這個自變量X進入回歸模型。稱Tol=1-R2為自變量x的容忍度。jjjj下面看一個民航客運實例分析的結(jié)果:UnstandardizedCoefficientsStandardizedCoefficientstSig.CollinearityStatisticsBStd.ErrorBetaToleranceVIF(Constant)450.909178.0782.5320.030x10.3540.0852.4474.1520.0020.0011963.000x2-0.5610.125-2.485-4.4780.0010.0011741.000x3-0.0070.002-0.083-3.5100.0060.3153.171x421.5784.030.5315.3540.0000.01855.488x50.4350.0520.5648.4400.0000.04025.193a.DependentVariable:y從上面共線性診斷的分析結(jié)果可以看到氣，X2的方差擴大因子很大，分別為VIF^=1963,VIF=1741,遠遠超過10，說明民航客運量回歸方程也存在這嚴重的多重共線性。氣和X2的簡單相關(guān)系數(shù)為0.9989，高度相關(guān)。一般情況下，當一個回歸方程存在嚴重的多重共線性時，有若干個自變量所對應(yīng)的方差擴大因子大于10，這個回歸方程多重共線性的存在就是方差擴大因子超過10的這幾個變量引起的，說明這幾個自變量間有一定的多重共線性關(guān)系存在。2、特征根判定法當矩陣XX有一個特征根近似為零時，設(shè)計矩陣X的列向量間必存在多重共線性，并且XX有多少個特征根接近于零，X就有多少個多重共線性關(guān)系。記XX的最大特征根為人m，稱k=j丁，(i=0,1,2,,p)為特征根七的條件數(shù)。在i的最大特征根為人m，稱k=j條件數(shù)度量了矩陣XX的特征根散步程度，可以用它來判斷多重共線性是否存在以及多重共線性的嚴重程度。通常認為0<k<10時，設(shè)計矩陣X沒有多重共線性；10<k<100時，認為X存在較強的多重共線性；當k>100時，則認為存在嚴重的多重共線性。在看上面的例子，用SPSS軟件計算出特征根與條件數(shù)結(jié)果如下所示。DimensionEigenvalueConditionIndexVarianceProportions(Constant)x1x2x3x4x515.578100000020.3783.84200000030.03712.2050.010000.030.1940.00436.4310.1700.010.090.50.0450.00253.6430.7200.010.660.150.7160.0000808262.7620.10.990.990.250.310.06a.DependentVariable:y從條件數(shù)看到，最大的條件數(shù)k6=262.762,這與方差擴大因子法結(jié)果是一致。輸入結(jié)果中特征根是按照從大到小的順序排列的，不是按自變量的順序排列的，這與方差擴大因子法不同。如何判定究竟是哪幾個自變量間存在共線性呢？可以由條件數(shù)表中右邊的方差比例粗略判斷。如果有某幾個自變量的方差比例值在某一行同時較大（接近1），則這幾個自變量間就存在多重共線性。表中第行x代口x的系數(shù)都為0.99,說明x和x之間存在強的多重共線性；表中第5行x（常數(shù)120項），x,x的系數(shù)分別為0.72,0.66,0.71說明x（常數(shù)項），x,x之間存在5035多重共線性。由于設(shè)計矩陣X的第一列有一列1，代表常數(shù)項，X共有p+1列，XX是p+1階方陣。當一個自變量的取值范圍很小，接近常數(shù)時，這個自變量就與常數(shù)項存在多重共線性。如在多重共線性的定義式中，如果烏二匕二二匕二0,而C0牛0,七牛0，這時自變量氣就與常數(shù)項存在多重共線性。3、直觀判定法（1）當增加或剔除一個自變量，或者改變一個觀測值時，回歸系數(shù)的估計值發(fā)生較大變化。（2）從定性分析認為，一些重要的自變量在回歸方程中沒有通過顯著性檢驗。（3）有些自變量的回歸系數(shù)所帶正負號與定性分析結(jié)果違背。（4）自變量的相關(guān)矩陣中，自變量間的相關(guān)系數(shù)較大。（5）一些重要的自變量的回歸系數(shù)的標準誤差較大。

三、消除共線性的方法1、刪除一些不重要的解釋變量在選擇回歸模型時，可以將回歸系數(shù)的顯著性檢驗、方差擴大因子VIF的多重共線性檢驗與自變量的經(jīng)濟含義結(jié)合起來考慮，以引進或剔除變量。2、增大樣本容量var(p)var(p)1L12_22_,var(B)=——。其中L=8x2，(1-匕)L112(1-M)L2211.］，1L=8x2則x，x之間的相關(guān)系數(shù),=史』，可以看到，在rL1222..21212LL12當樣本容量n增大時，L11和L22都會增大，兩個方差均可減小，從而減弱了多重共線性對回歸方程的影響。因此，增大樣本容量也是消除多重共線性的一個途徑。在實踐中，當所選的變量個數(shù)接近樣本容量n時，自變量間就容易產(chǎn)生共線性。所以在運用回歸分析研究經(jīng)濟問題時，要盡可能使樣本容量n遠大于自變量個數(shù)P。但是，增加了樣本數(shù)據(jù)，可能新的數(shù)據(jù)距離原來樣本數(shù)據(jù)的平均值較大，會產(chǎn)生一些新的問題，使模型擬合變差，沒有收到增加樣本數(shù)據(jù)期望的效果。四、回歸系數(shù)的有偏估計為了消除多重共線性對回歸模型的影響，還可以采取有偏估計為代價來提高估計量穩(wěn)定性的方法，如嶺回歸，主成份回歸法，偏最小二乘法等。五、主成份回歸主成分分析是多元統(tǒng)計分析的一個基本方法，是對數(shù)據(jù)做一個正交旋轉(zhuǎn)變換，就是對原有變量做一些線性變換，變換后的變量都是正交的。為了避免變量的量綱不同所產(chǎn)生的影響，要先把數(shù)據(jù)做中心標準化，中心標準化后的自變量樣本觀測數(shù)據(jù)矩陣X*就是n行p列的矩陣，r=(X*)'X?就是相關(guān)陣。六、一些問題在建立經(jīng)濟問題的回歸模型時，當發(fā)現(xiàn)解釋變量之間的簡單相關(guān)系數(shù)很大時，可以斷定自變量間存在著嚴重的多重共線性，但是，一個回歸方程存在嚴重的多元共線性時，并不能完全肯定解釋變量之間的簡單相關(guān)系數(shù)就一定很大。例如對含有三個自變量的回歸模型：〉=0+8x+px+px+￡，假定三個變TOC\o"1-5"\h\z0112233量之間有完全確定的關(guān)系：x=x+x，因為x可以由x和x線性表示，所以123123變量x與x和x的復(fù)決定系數(shù)R2=1,回歸方程存在完全的多重共線性。再假定1231,23x與x的簡單相關(guān)系數(shù)r=-0.5，x與x的離差平方和L=L=1，此時2323232233L=rLL=-0.5,L=8(x一x)2=8(x+x一(x+x))2=8(x一x)2232322331111232322+8(x一x)2+8(x一x)(x一x)=1+1+2(-0.5)=1