數(shù)學異方差PPT課件

1、第十三章第十三章 異異方差方差n古典線性回歸模型的基本假定：古典線性回歸模型的基本假定：（1）解釋變量與擾動誤差項不相關。（2）擾動項（隨機誤差項）的期望或均值為零。（3）擾動項同方差。（4）擾動項無自相關。（5）解釋變量之間不存在線性相關關系。(對應于多重共線性)（6）隨機誤差項服從正態(tài)分布。 在實際應用中，上述假定不一定滿足。2)(iVar第1頁/共46頁 本章討論的主要問題：本章討論的主要問題： (1)異方差的性質是什么？ (2)異方差的后果是什么？ (3)如何檢驗異方差的存在？ (4)如果存在異方差，有哪些補救措施？ 第十三章第十三章 異異方差方差第2頁/共46頁第一節(jié)第一節(jié) 異方差的

2、性質異方差的性質異方差的概念異方差的概念 第十三章第十三章 異異方差方差 考慮一個雙變量線性回歸模型，其中，應變量考慮一個雙變量線性回歸模型，其中，應變量Y是個人儲蓄，解是個人儲蓄，解釋變量釋變量X是個人可支配收入。是個人可支配收入。iiiXBBY21第3頁/共46頁圖 5-15-1YX25303540455055024681012總體回歸直線第4頁/共46頁儲蓄個人可支配收入 a)同方差儲蓄個人可支配收入 a)同方差儲蓄個人可支配收入 b)異方差我們觀察下面兩幅圖：第5頁/共46頁 對于不同的觀測點，隨機擾動項ui的方差不同。用符號表示為： 22)var(iiiuEu第6頁/共46頁 例子：

3、例子： 異方差問題多存在于橫截面數(shù)據(jù)中。 例1. 放松管制后紐約股票交易所的經紀人傭金 例2. 美國工業(yè)的研究與發(fā)展費用支出、銷售和利潤 第十三章第十三章 異異方差方差第7頁/共46頁例1結論： 1. 傭金率有下降的趨勢。 2. 平均傭金率和所索取傭金的方差存在顯著的不同。原因： 這里存在規(guī)模效應交易量越大，則交易的平均成本就越低。方差的顯著不同是由于大機構投資者的談判能力比較強（吸引力比較強）。第8頁/共46頁例2. 美國工業(yè)的研究與發(fā)展費用支出、銷售和利潤 (18行業(yè)1988年的數(shù)據(jù)) n 0500010000150000100000200000300000SALERDRD v s. SA

4、LER&D=1172.69+0.0238X2+ei (1) t=(1.030) (2.3121) r2=0.2504第9頁/共46頁 因為觀察值是按照銷售額升序排列的，所以就等于間接的將殘差對銷售額做圖。從圖中可以看到，殘差的絕對值隨著銷售額的增加而增加，同方差的假定似乎站不腳！-6000-4000-20000200040006000800024681012141618殘差圖：第10頁/共46頁第二節(jié)第二節(jié) 異方差的后果異方差的后果(1) OLS估計量仍然是線性的。(2) OLS估計量是無偏的。(3) OLS估計量不再具有最小方差性。(4) 根據(jù)常用估計公式， 不再是真實 的無 偏估計

5、量。(5) 從而OLS估計量的方差的估計量是有偏的。(6) t檢驗和F檢驗失效。22第十三章第十三章 異異方差方差第11頁/共46頁 R&D=192.99+0.0319X2+ei (2) t=(0.1948)(3.9434) r2=0.4783 如果上述模型確實存在異方差，我們就不能相信估計得到的標準差。因此，異方差是一個潛在的嚴重問題，因為它破壞了常用的OLS估計以及假設檢驗過程。 在具體研究中，尤其是涉及橫截面數(shù)據(jù)時，最重要的就是判斷是否存在異方差問題。 那為什么在異方差的情形下OLS估計量是無效的！第12頁/共46頁Y b) 樣本回歸函數(shù)圖我們觀察下面兩幅圖： a)XX1X2X3

6、X4X5XnY1Y2Y3Y4Y5Ynunu4總體回歸函數(shù)圖XYnX1X2X3X4X5XnY1Y2Y3Y4Y5ene4Ye1第13頁/共46頁 上圖描述了某一假設總體Y 對變量X的所選值的關系。從圖中可以看出給定X，對應的每一（子）總體Y的方差是不同的，這表明存在異方差。但是在利用OLS時，每一個ei2都有相同的權重，這似乎不太合理。這就需要給不同的殘差賦以不同的權重。即我們稍后要討論的加權最小二乘法（weighted least squares）。第14頁/共46頁第三節(jié)第三節(jié) 異方差的診斷異方差的診斷一、根據(jù)問題的性質一、根據(jù)問題的性質 所考察問題的性質往往提供是否存在異方差的信息。例如：我

7、們考慮區(qū)域經濟的發(fā)展問題。所以在涉及不均勻單位的橫截面數(shù)據(jù)中，異方差可能是常有的情況，而不是例外。 二、殘差的圖形檢驗二、殘差的圖形檢驗 在回歸分析中，常常對擬合回歸方程中的殘差進行分析，將殘差對其相應的觀察值描圖(殘差圖)。 第十三章第十三章 異異方差方差第15頁/共46頁 e2a)X0 e2b)X0 e2c)X0Xe2d)0 Xe2e)0 第16頁/共46頁02000000040000000600000000100000200000300000SALEI 上述散點圖只不過是一個檢測工具，我們在分析時應該謹慎。上圖是我們根據(jù)R&D一例，用殘差平方和銷售額做的散點圖。該圖與我們上面介紹

8、的(b)圖有點相似，表明了殘差平方與銷售是系統(tǒng)相關的。說明我們所做的回歸可能存在異方差。第17頁/共46頁 三、帕克（三、帕克（Park）檢驗）檢驗 如果存在異方差，則 可能與一個或多個解釋變量系統(tǒng)相關(可以用模型來刻畫)。帕克檢驗的步驟如下： (1) 作普通最小二乘回歸，不考慮異方差。 (2) 從原始回歸方程中得殘差 ，并求其平方，再取對數(shù)形式。 (3) 利用原始模型中的一個解釋變量做回歸(如果有多個變量，我們就做多個回歸)。 (4) 檢驗零假設B2=0，即不存在異方差。 (5)如果接受零假設，則為同方差。ie第十三章第十三章 異異方差方差2i第18頁/共46頁Dependent Varia

9、ble: LOG(E2)Variable Coefficient Std. Error t-StatisticLOG(SALE) 0.3599 0.3997 0.9004C 10.6995 4.3492 2.4601R&D回歸與帕克檢驗R-squared0.0482 Prob(F-statistic)0.261777 我們是否可以根據(jù)這個結果接受：R&D數(shù)據(jù)不存在異方差？因為模型本身的特殊性可能會使我們得出不同的結論，我們不能這么早下結論。因為這個模型本身可能也存在異方差、自相關等問題。這樣我們就又回到了問題的起點。第19頁/共46頁 四、四、Glejser檢驗檢驗 這種方法的

10、實質與帕克檢驗很相似。從原始模型中獲得殘差ei 之后， Glejser建議作ei 的絕對值 | ei |對Xi的回歸。 Glejser建議的一些函數(shù)形式如下: | ei |=B1+B2 Xi+ Vi | ei |=B1+B2 + Vi | ei |=B1+B2 + Vi 第十三章第十三章 異異方差方差iXiX1第20頁/共46頁 Glejser檢驗的結果：1 . |ei|=1638.54+0.0062Xi t=(2.0362)(0.8499) r2=0.04320638. 0)0443. 1)(7411. 0(7035. 472.939| . 22rtXeii0502. 0)9204. 0)(

11、4994. 3(1137206415 .2580| . 32rtXeii第21頁/共46頁 每種情形的零假設都是不存在異方差，也即B2=0。如果零假設被拒絕，則表明可能存在著異方差。 注意： 與Park檢驗一樣，在Glejser所建議的回歸方程中，誤差項本身可能存在異方差和序列相關的問題。對于大樣本，上述模型能夠很好的檢測異方差問題。 第十三章第十三章 異異方差方差第22頁/共46頁 五、五、White檢驗檢驗 White提出了異方差一般檢驗方法，此方法在實際中很容易應用。 假定有如下模型： Yi=B1+B2X2i+B3X3i+uiWhite檢驗步驟如下：（1）首先用最小二乘法估計上述回歸方程

12、，獲得殘差ei 。（2）作如下輔助回歸 ： =A1+A2X2i+A3X3i+ A4 + A5 +A6X2iX3i+Vi 第十三章第十三章 異異方差方差2ie22iX23iX第23頁/共46頁 (3) 求輔助回歸方程的R2值。在零假設：不存在異方差下，White證明了，從輔助回歸方程中獲得的R2值與樣本容量（=n）的積服從 x2 分布，自由度等于輔助回歸方程中解釋變量的個數(shù)（不包括截距項）。 n*R2 x2 （ d.f.） (4) 如果從輔助回歸方程中得到的 x2 值超過了所選顯著水平下的x2 臨界值，則可以拒絕零假設：不存在異方差。否則，如果計算的x2 值不比臨界值大，則不能拒絕零假設。 第十

13、三章第十三章 異異方差方差第24頁/共46頁 課后13.18題（p309），Y代表嬰兒死亡率，X2代表人均GNP，X3代表受初等教育占人口的百分比(作為文化程度的指標)。我們的數(shù)據(jù)來源于具有不同收入水平的國家，由于他們經濟條件差別很大，所以我們先驗的預期存在異方差。為了檢驗是否存在，我們使用white檢驗，得出下面的結果。 n*R2=20*0.230=4.6x2 (5) =11.0705(5%)所以我們無法拒絕(不存在異方差)的原假設,即認為模型不存在異方差。例子：第25頁/共46頁異方差的其他異方差的其他檢驗方法：檢驗方法：（1）斯皮爾曼秩相關檢驗。（2）戈德費爾德匡特檢驗。（3）巴特萊特方

14、差同質性檢驗。（4）匹克(Peak)檢驗。（5）布魯爾什培甘檢驗。（6）CUSUMSQ檢驗。第十三章第十三章 異異方差方差第26頁/共46頁 我們前面介紹了檢驗異方差的方法，那么如果我們確定存在異方差以后，我們怎么解決這個問題呢？是否存在某種方法，使得我們可以通過某種“變換”，使得“變換”后的模型具有同方差性。 但是具體采取什么方法，將取決于(1)誤差項的方差已知的;(2)誤差項的方差是未知的。 第四節(jié)第四節(jié) 異方差的補救措施異方差的補救措施第27頁/共46頁第四節(jié)第四節(jié) 異方差的補救措施異方差的補救措施一、加權最小二乘法（一、加權最小二乘法（WLS） 考慮雙變量回歸函數(shù) Yi=B1+B2Xi

15、+ui （1） 假設誤差 是已知的，對模型作如下變換： （2） 令 ，把它稱為變換后的誤差項。iiiu2iiiiiiiiuXBBY211第十三章第十三章 異異方差方差第28頁/共46頁 則 滿足同方差性，從而可以按常規(guī)的方法進行回歸分析。 在實際估計回歸方程Yi=B1+B2Xi+ui時，將Y和X的每個觀察值都除以已知的 ，然后再對這些變換后的數(shù)據(jù)進行OLS回歸，由此獲得的估計量就稱為加權最小二乘估計量， 為權數(shù)。這種加權的過程就稱為加權最小二乘法。 iii1第十三章第十三章 異異方差方差第29頁/共46頁 為未知的情況為未知的情況情形1：方差 與Xi成比例(平方根變換)： 作如下變換： iii

16、XuE222)(iiiiiiiXuXXBXBXY211iiivXBXB2112i2i第十三章第十三章 異異方差方差第30頁/共46頁uX0 上圖表明誤差和解釋變量X之間線性相關?；蛘哒f與Xi成比例。 上面介紹的是一個解釋變量的情形，對于多元的情形我們可以選擇任何一個解釋變量，將模型進行變換。原則上我們根據(jù)圖形進行選擇。 第31頁/共46頁 例子：變換后的研發(fā)費用例子： 從研發(fā)費用的殘差圖可以看到，誤差與銷售額成比例，我們根據(jù)上述方法，可得到下面的結果：1098. 0)1869. 3()0770. 0(0392. 01632.462rtXXXYiiiiR&D=1172.69+0.0238

17、X2+ei (1) t=(1.0300)(2.3121) r2=0.2504第32頁/共46頁uX0 上圖表明誤差和解釋變量X之間不是線性相關。而是與Xi的平方成比例。2222)(iiiXuE第33頁/共46頁 情形2：誤差方差與 成比例 作如下變換： 222iiXiiiiiXuBXBXY211iivBXB2112iX第十三章第十三章 異異方差方差第34頁/共46頁 二、重新設定模型二、重新設定模型 有時通過重新設定總體回歸函數(shù)，也能夠消除異方差。比如：不選擇變量的線性回歸函數(shù)，而采取對數(shù)形式來估計模型，這樣也常常能夠消除異方差。當然，要根據(jù)具體問題來設定模型的形式。 R&D對數(shù)線性模

18、型第十三章第十三章 異異方差方差第35頁/共46頁Dependent Variable: LOG(R&D)VariableCoefficientStd. Errort-StatisticProb. LOG(SALE)1.2952 0.1680405.8990 0.0000C -6.92341.848034-2.89800.0011R-squared 0.6850 Adjusted R-squared0.781830 F-statistic61.92090 Prob(F-statistic)0.000001第36頁/共46頁-2.0-1.5-1.0-0.50.00.51.01.52468

19、1012141618LOG(RD) Residuals-6000-4000-20000200040006000800024681012141618第37頁/共46頁White Heteroskedasticity Test:F-statistic 1.276048 Probability 0.307764Obs*R-squared2.617221 Probability 0.270195Test Equation:Dependent Variable: RESID2Included observations: 18VariableCoefficientStd. Errort-Statistic

20、Prob. C -5.83232015.16057-0.3847030.7059LOG(SALE) 0.9547312.8383350.3363700.7413(LOG(SALE)2 -0.034056 0.131896 -0.2582050.7998R-squared0.145401 F-statistic1.276048 Prob(F-statistic)0.307764第38頁/共46頁 前面我們所討論的消除異方差的方法稱為方差穩(wěn)定變換。 需要注意的是：在不知道誤差方差的情況下，我們通常的做法是推測它會是什么樣的。究竟選擇哪種方法，取決于問題的性質和異方差的嚴重程度。第39頁/共46頁 White異方差校正后的標準差和異方差校正后的標準差和t統(tǒng)計量統(tǒng)計量 在存在異方差的情況下，OLS估計量盡管是無偏的，但卻是無效的，因此，所得到的標準差和 t 統(tǒng)計量都值得懷疑。 White建立了一種估計方法，利用這種方法得到的標準差和 t 統(tǒng)計量考慮到了異方差的存在。因而可以繼續(xù)使用 t 檢驗和F檢驗，但是