多共線性及其處理

1、第七章多重共線性及其處理第一部分學(xué)習(xí)輔導(dǎo)一、本章學(xué)習(xí)目的與要求1 .理解多重共線性的概念；2 .掌握多重共線性存在的主要原因；3 .理解多重共線性可能造成的后果；4 .掌握多重共線性的檢驗(yàn)與修正的方法。二、本章內(nèi)容提要本章主要介紹計(jì)量經(jīng)濟(jì)模型的計(jì)量經(jīng)濟(jì)檢驗(yàn)。即多重共線性問題。多重共線性是多元回歸模型可能存在的一類現(xiàn)象，分為完全共線與近似共線兩類。模型的多個解釋變量間出現(xiàn)完全共線性時，模型的參數(shù)無法估計(jì)。更多的情況則是近似共線性，這時，由于并不違背所有的基本假定，模型參數(shù)的估計(jì)仍是無偏、一致且有效的，但估 at 的參數(shù)的標(biāo)準(zhǔn)差往往較大，從而使得 t 統(tǒng)計(jì)值減小，參數(shù)的顯著性下降，導(dǎo)致某些本應(yīng)存在

2、于模型中的變量被排除，甚至出現(xiàn)參數(shù)正負(fù)號方面的一些混亂。顯然，近似多重共線性使得模型偏回歸系數(shù)的特征不再明顯，從而很難對單個系數(shù)的經(jīng)濟(jì)含義進(jìn)行解釋。多重共線性的檢驗(yàn)包括檢驗(yàn)多重共線性是否存在以及估計(jì)多重共線性的范圍兩層遞進(jìn)的檢驗(yàn)。而解決多重共線性的辦法通常有逐步回歸法、差分法以及使用額外信息、增大樣本容量等方法。(一)多重共線性及其產(chǎn)生的原因當(dāng)我們利用統(tǒng)計(jì)數(shù)據(jù)進(jìn)行分析時，解釋變量之間經(jīng)常會出現(xiàn)高度多重共線性的情況。1 .多重共線性的基本概念多重共線性(Multicollinearity)一詞由弗里希(Frish)于 1934 年在其撰寫的借助于完全回歸系統(tǒng)的統(tǒng)計(jì)合流分析中首次提出。它的原義是指

3、一個回歸模型中的一些或全部解釋變量之間存在有一種“完全”或準(zhǔn)確的線性關(guān)系。如果在經(jīng)典回歸模型 YX 中，經(jīng)典假定(5)遭到破壞，則有 R(X)k1,此時稱解釋變量XI,X2,Xk間存在完全多重共線性。解釋變量的完全多重共線性，也就是解釋變量之間存在嚴(yán)格的線性關(guān)系，即數(shù)據(jù)矩陣 X 的列向量線性相關(guān)。因此，必有一個列向量可由其余列向量線性表示。同時還有另外一種情況，即解釋變量之間雖然不存在嚴(yán)格的線性關(guān)系，但是卻有近似的線性關(guān)系，即解釋變量之間高度相關(guān)。2.多重共線性產(chǎn)生的原因多元線性回歸模型產(chǎn)生多重共線性的原因很多，主要有：(1)經(jīng)濟(jì)變量的內(nèi)在聯(lián)系這是產(chǎn)生多重共線性的根本原因。(2)解釋變量中含有

4、滯后變量(3)經(jīng)濟(jì)變量變化趨勢的“共向性”必須指出，多重共線性基本上是一種樣本現(xiàn)象。因?yàn)槿藗冊谠O(shè)定模型時，總是盡量避免將理論上具有嚴(yán)格線性關(guān)系的變量作為解釋變量收集在一起，因此，實(shí)際問題中的多重共線性并不是解釋變量之間存在理論上或?qū)嶋H上的線性關(guān)系造成的，而是由所收集的數(shù)據(jù)(解釋變量觀察值)之間存在近似的線性關(guān)系所致。(二)多重共線性的影響多重共線性會產(chǎn)生以下問題：(1)增大了 OLS 估計(jì)量的方差(2)難以區(qū)分每個解釋變量的單獨(dú)影響(3)回歸模型缺乏穩(wěn)定性(4)t 檢驗(yàn)的可靠性降低(三)多重共線性的判別在應(yīng)用多元回歸模型中，人們總結(jié)了許多檢驗(yàn)多重共線性的方法。1 .系數(shù)判定法(1)如果決定系數(shù)

5、 R2很大(一般大于 0.8),但模型中全部或部分參數(shù)卻不顯著，那么，此時解釋變量之間往往存在多重共線性。(2)從經(jīng)濟(jì)理論知某些解釋變量對因變量有重要影響，或經(jīng)檢驗(yàn)變量之間線性關(guān)系顯著，但其參數(shù)的 t 檢驗(yàn)均不顯著，一般就應(yīng)懷疑是多重共線性所致。(3)如果對模型增添一個新的解釋變量之后，發(fā)現(xiàn)模型中原有參數(shù)估計(jì)值的方差明顯增大，則表明在解釋變量之間(包括新添解釋變量在內(nèi))可能存在多重共線性。2 .用解釋變量之間所構(gòu)成的回歸方程的決定系數(shù) R2進(jìn)行判別3 .逐步回歸判別法以Y為被解釋變量逐個引入解釋變量，構(gòu)成回歸模型，進(jìn)行參數(shù)估計(jì)，根據(jù)決定系數(shù)的變化決定新引入的變量是否能夠加入模型之中。首先將Y對

6、所有的解釋變量分別作回歸，得到所有的模型，取決定系數(shù)最大的模型中的解釋變量加入模型，作為第一個引入模型的變量；其次，將Y再對剩余的解釋變量分別加入模型，進(jìn)行二元回歸，再次，取決定系數(shù)最大的解釋變量加入模型；依次做下去，直到模型的決定系數(shù)不再改善為止。4 .方差膨脹因子 VIF 判別法對于多元線性回歸模型，？的方差可以表示成o211Var?.2.VIFXiXi1riXiXi一般當(dāng) VIF10 時(此時 ri20.9),認(rèn)為模型存在較嚴(yán)重的多重共線性。5 .修正的 Frish 判別法該方法不僅可以對多重共線性進(jìn)行判別，同時也是處理多重共線性問題的一種有效方法。其步驟為：(1)用被解釋變量分別對每個

7、解釋變量進(jìn)行線性回歸，根據(jù)經(jīng)濟(jì)理論和統(tǒng)計(jì)檢驗(yàn)從中選擇一個最合適的回歸模型作為基本回歸模型，通常選取決定系數(shù) R2最大的回歸模型。(2)在基本回歸模型中逐個增加其他解釋變量，重新進(jìn)行線性回歸，如果新增加的這個解釋變量提高了回歸模型的決定系數(shù) R2,并且回歸模型中的其他參數(shù)統(tǒng)計(jì)上仍然顯著，就在模型中保留該解釋變量；如果新增加的解釋變量沒有顯著提高回歸模型的擬合優(yōu)度，則不在模型中保留該解釋變量；如果新增加的解釋變量提高了回歸模型的決定系數(shù)，并且回歸模型中某些參數(shù)的數(shù)值或符號等受到顯著的影響，說明模型中存在多重共線性，對該解釋變量同與之相關(guān)的其他解釋變量進(jìn)行比較，在模型中保留對被解釋變量影響較大的，剔

8、除影響較小的。(四)多重共線性的解決方法設(shè)定計(jì)量經(jīng)濟(jì)模型的時候，為了全面反映各方面因素的影響，總是在理論和實(shí)踐認(rèn)識的基礎(chǔ)上，盡量選取被解釋變量的所有影響因素。這樣在同時考慮多個影響因素的情況下，很可能產(chǎn)生多重共線性問題。因此，為了解決這一矛盾，剔除變量時應(yīng)該全面、慎重考慮，根據(jù)解釋變量的特點(diǎn)采用較為合適的方式。1 .剔除引起共線性的變量根據(jù)經(jīng)濟(jì)理論和實(shí)際經(jīng)驗(yàn)設(shè)定計(jì)量經(jīng)濟(jì)模型時，容易考慮過多的解釋變量，其中，有些可能是無顯著影響的次要變量，還有一些變量的影響可以用模型中的其他變量來代替。所以在估計(jì)模型之前，找出引起多重共線性的變量，將它剔除出去，是最有效的克服多重共線性問題的方法。2 .變換模型

9、的形式對原模型進(jìn)行適當(dāng)?shù)淖儞Q，也可以消除或削弱原模型中解釋變量之間的相關(guān)關(guān)系。具體有三種變換方式：一是變換模型的函數(shù)形式；二是變換模型的變量形式；三是改變變量的統(tǒng)計(jì)指標(biāo)。3 .綜合使用時序數(shù)據(jù)與橫截面數(shù)據(jù)如果能同時獲得變量的時序數(shù)據(jù)和橫截面數(shù)據(jù)，則先利用某類數(shù)據(jù)估計(jì)出模型中的部分參數(shù)，再利用另一類數(shù)據(jù)估計(jì)模型的其余參數(shù)。4 .逐步回歸分析法建立計(jì)量經(jīng)濟(jì)模型的時候，一般是將解釋變量全部引入模型，然后再根據(jù)統(tǒng)計(jì)檢驗(yàn)和定性分析從中逐個剔除次要的或產(chǎn)生多重共線性的變量，選擇變量是一個“由多到少”的過程。而逐步回歸選取變量時，是一個“由少到多”的過程，即從所有解釋變量中間先選擇影響最為顯著的變量建立模型

10、，然后再將模型之外的變量逐個引入模型；每引入一個變量，就對模型中的所有變量進(jìn)行一次顯著性檢驗(yàn)，并從中剔除不顯著的變量；逐步引入一剔除一引入，直到模型之外所有變量均不顯著時為止。許多統(tǒng)計(jì)分析軟件都有逐步回歸程序，但根據(jù)計(jì)算機(jī)軟件自動挑選的模型往往統(tǒng)計(jì)檢驗(yàn)合理，經(jīng)濟(jì)意義并不理想。因此，實(shí)際應(yīng)用中一般是依據(jù)逐步回歸的原理,結(jié)合主觀分析來篩選變量。5 .增加樣本容量由于多重共線性是一個樣本特性，如果理論上解釋變量之間不存在多重共線性，則可以通過收集更多的觀測值增加樣本容量，來避免或減弱多重共線性。如將時間序列和截面數(shù)據(jù)合并成平行數(shù)據(jù)。但當(dāng)解釋變量的總體存在多重共線性時，理論上說增加再多的樣本容量也不能

11、降低解釋變量之間的線性關(guān)系。6.不作任何處理當(dāng)模型出現(xiàn)下列情況時，對多重共線性可不做處理。(1)當(dāng)所有參數(shù)估計(jì)量皆顯著或者 t 值皆大于 2 時，對多重共線性可不做處理。(2)當(dāng)被解釋變量對所有解釋變量回歸的決定系數(shù) R2值大于任何一個解釋變量對其余解釋變量回歸的決定系數(shù) Ri2值時，對多重共線性可不做處理。(3)如果多重共線性并不嚴(yán)重影響參數(shù)估計(jì)值，以至我們感到不需要改進(jìn)它時，多重共線性可不做處理。(4)如果樣本回歸方程僅用于預(yù)測的目的，那么只要存在于給定樣本中的共線性現(xiàn)象在預(yù)測期保持不變，多重共線性就不會影響預(yù)測結(jié)果，因此多重共線性可不做處理。第二部分重點(diǎn)、難點(diǎn)釋析多重共線性。我們關(guān)于經(jīng)典

12、線性回歸模型(CLRM 有如下假定：假定 1:回歸模型對參數(shù)是線性的假定 2:在重復(fù)抽樣中 X 的值是固定的(非隨機(jī))假定 3:干擾項(xiàng)的均值為零。即，E(ui|Xi)=0假定 4:同方差性或 ui 的方差相等。即Var(ui|Xi)=Eui-E(ui)|Xi2=E(ui2|Xi2=s2假定 5:各個干擾項(xiàng)無自相關(guān)。即Cov(ui，uj|Xi,Xj)=Eui-E(ui|Xi)uj-E(uj|Xj)=E(ui|Xi)(uj|Xj)=0假定 6:ui 和為的協(xié)方差為零。即Cov(ui,Xi)=Eui-E(ui)Xi-E(Xi)=Eui(Xi-E(Xi)=E(uiXi)-E(ui)E(Xi)=E(uiXi)=0假定 7:觀測次數(shù)必須大于待估計(jì)的參數(shù)個數(shù)。假定 8:解釋變量 X 的只要有變異性。即一個樣本中，Xi 不能完全相同。假定 9:模型沒有設(shè)定誤差。假定 10:沒有完全的多重共線性，即解釋變量之間沒有完全的線性關(guān)系。在現(xiàn)實(shí)中，以上假定不一定得到滿足。如果假定 10 不成立，即在解釋變量 XI,X2,，Xk 中，1,2,Lk,存在線性關(guān)系。解釋變量間的確定線系關(guān)系存在時，存在不全為零的常數(shù)設(shè)10,則1X1i2X2iX1iX2i