第五講OLS的漸進性

1、第第五章五章：OLS的漸進性的漸進性 ( (OLS Asymptotics ) ) 5.1 一致性 5.2 漸近正態(tài)和大樣本推斷 5.3 OLS的漸進有效性 第一節(jié)第一節(jié) 一致性一致性(consistency) 一、一、一致性的含義一致性的含義 令令Wn是基于樣本是基于樣本y1,y2yn的關于參數(shù)的關于參數(shù)的估計量，的估計量， 如果對任意如果對任意0，當，當n時，時，Pr(|Wn|)0，Wn就是就是 的一個的一個一致估計量一致估計量(consistent estimator)。當。當Wn具有一具有一 致性時，我們也稱致性時，我們也稱為為Wn的概率極限的概率極限(probability limi

2、t of Wn)，記作，記作Plim(Wn)=。 1.定義定義 2.為什么要考慮一致性為什么要考慮一致性 我們已經(jīng)討論了有限樣本我們已經(jīng)討論了有限樣本(finite sample)，也就是小樣本，也就是小樣本 (small sample)中中OLS估計量估計量(OLS estimators )和檢驗統(tǒng)計量和檢驗統(tǒng)計量(test statistics)具有的如下性質：具有的如下性質： u在在MLR. 1-4下下 OLS估計量具有無偏性估計量具有無偏性(Unbiasedness) u在在MLR. 1-5下下 OLS估計量是最優(yōu)線性無偏無計量估計量是最優(yōu)線性無偏無計量(BLUE) u在在MLR. 1

3、-6下下 OLS估計量是最小方差無偏估計量估計量是最小方差無偏估計量(MVUE) uT統(tǒng)計量的分布為統(tǒng)計量的分布為t分布分布 樣本容量為任意樣本容量為任意n時，這些性質都成立。時，這些性質都成立。 由于在很多情形下誤差項可能呈現(xiàn)非正態(tài)分布，由于在很多情形下誤差項可能呈現(xiàn)非正態(tài)分布， 了解了解OLS 估計量和檢驗統(tǒng)計量的漸近性，即估計量和檢驗統(tǒng)計量的漸近性，即當樣本容當樣本容 量任意大時量任意大時(when the sample size grows without bound)的的 特性就是重要的問題。特性就是重要的問題。 雖然在高斯馬爾可夫假定下雖然在高斯馬爾可夫假定下OLS 是最優(yōu)線性無是

4、最優(yōu)線性無 偏估計量，但在別的情形下不一定能找到無偏估計量。偏估計量，但在別的情形下不一定能找到無偏估計量。 因此，因此，在那些情形下，我們只要找到一致的估計量，即在那些情形下，我們只要找到一致的估計量，即 n 時時, 這些估計量的分布退化為參數(shù)的真值即可。這些估計量的分布退化為參數(shù)的真值即可。 u當當n增加時樣本的分布增加時樣本的分布(Sampling Distributions as n increases) b b1 n1 n2 n3 1的樣本分布的樣本分布 例：例：n1:每次從班上抽取每次從班上抽取10人，人， 抽若干次后，平均身高的分布；抽若干次后，平均身高的分布； n2:每次從班上

5、抽取每次從班上抽取100人，人， 抽若干次后，平均身高的分布；抽若干次后，平均身高的分布； n3:每次從班上抽取每次從班上抽取200人，人， 抽若干次后，平均身高的分布抽若干次后，平均身高的分布。 的的一一致致估估計計量量、是是、 方方法法得得到到的的下下，通通過過可可以以證證明明，在在假假定定 的的分分布布緊緊縮縮成成一一個個點點趨趨于于無無窮窮大大時時，當當 的的周周圍圍。的的分分布布越越來來越越集集中中在在樣樣本本容容量量的的增增加加， 隨隨著著估估計計量量是是一一致致的的，那那么么概概率率分分布布。如如果果 都都有有一一個個，估估計計量量，對對于于每每一一個個的的是是 kk jj jj

6、 jjj OLS.MLR n OLS nOLS b bb bb bb bb bb b b bb b b bb b b bb bb b 1010 41 3.一致性和無偏性的關系一致性和無偏性的關系(Consistency v.s. unbiasedness) u一個估計量是否有可能在有限樣本（小樣本）中是一個估計量是否有可能在有限樣本（小樣本）中是 有偏的但在大樣本條件下又具有一致性？有偏的但在大樣本條件下又具有一致性？ 假設假設Z的真值為的真值為0，一個隨機變量，一個隨機變量X以以(n-1)/n的概率的概率 取值為取值為Z，而以，而以1/n的概率取值為的概率取值為n。那么，。那么，X的期望為的

7、期望為1， 也就是：也就是： 記記plim(x) 為為n趨向無窮大時趨向無窮大時x的取值，則有：的取值，則有：plim(x)=z=0 1 11 n n n n ZXE u是否有可能一個估計量是無偏的但又不具備一致性？是否有可能一個估計量是無偏的但又不具備一致性？ 依然假設依然假設Z的真值為的真值為0，一個隨機變量，一個隨機變量X以以0.5的概率取的概率取0.5，而，而 以以0.5的概率取的概率取-0.5，那么，那么X的期望為的期望為0，也就是說，也就是說，X是是Z的無偏估的無偏估 計量。計量。 但是，但是，X總是在總是在X=0這條線上下擺動，當這條線上下擺動，當n趨向無窮大時，它趨向無窮大時，

8、它 的方差并不會趨于的方差并不會趨于0。因此，。因此，X并不是并不是Z的一致估計量，也就是說的一致估計量，也就是說X 不具備一致性。不具備一致性。 無偏估計量未必是一致的，但是那些當樣本容量增大時方差無偏估計量未必是一致的，但是那些當樣本容量增大時方差 會收縮到零的無偏估計量是一致的。會收縮到零的無偏估計量是一致的。 二二、OLS估計量的估計量的一致性一致性 1.定理定理5.1 在假設在假設MLR.1到到MLR.4下，下，OLS截距估計量截距估計量和和斜率斜率 估計量估計量都是都是一致一致的估計量。的估計量。 2.證明一致性證明一致性 在簡單回歸中，斜率的估計量為：在簡單回歸中，斜率的估計量為

9、： 2 11 1 11 1 1 2 11 11 1 2 11 11 1 xxn uxxn xx uxx xx yxx i ii i ii i ii b bb n時，分子趨近于時，分子趨近于0，但分母，但分母 卻不趨近于卻不趨近于0，因此，當，因此，當n時，時， Plim( )= 1 b 1 b 3.一個更弱的假定一個更弱的假定 要獲得估計量的無偏性要獲得估計量的無偏性(unbiasedness)，我們假定零，我們假定零 條件期望條件期望(zero conditional mean)：E(u|x1, x2,xk) = 0 而要獲得估計量的一致性而要獲得估計量的一致性(consistency)，我

10、們可以使，我們可以使 用更弱的假定：零期望和零相關性假定，即：用更弱的假定：零期望和零相關性假定，即：E(u) = 0， Cov(xj,u) = 0, j = 1, 2, , k。 如果連這個較弱的假定也不成立，如果連這個較弱的假定也不成立，OLS將是有偏將是有偏 (biased)而且不一致的而且不一致的(inconsistent)。 上述討論表明：如果上述討論表明：如果OLS估計量是無偏的，那么它一定是一致的；估計量是無偏的，那么它一定是一致的； 但是如果但是如果OLS估計量是一致的，卻不能保證它是無偏的。估計量是一致的，卻不能保證它是無偏的。 u推導不一致性推導不一致性 定義漸近偏差定義漸

11、近偏差(asymptotic bias)為：為： ， 并考并考 慮下面的真實模型和待估計模型。慮下面的真實模型和待估計模型。 11 plimbb vxxy 22110 bbb uxy 110 bb vxu 22 b 真實的模型為：真實的模型為： 實際進行估計的模型為：實際進行估計的模型為： 顯然：顯然： 1121 lim0)(p，,xxCov則此時，如果 1 21 21 1 1221 1 1 221 1 1 1 11 , , , lim xVar xxCov xVar vxCovxxCov xVar vxxCov xVar uxCov p bb b b b b bb 則：則： 因此，考慮漸近偏

12、差的方向就像是考慮存在一個遺漏變量時因此，考慮漸近偏差的方向就像是考慮存在一個遺漏變量時 偏差的方向。主要的區(qū)別在于漸近偏差用總體方差和總體協(xié)方差偏差的方向。主要的區(qū)別在于漸近偏差用總體方差和總體協(xié)方差 表示，而遺漏變量時的偏差則是基于它們在樣本中的對應量。表示，而遺漏變量時的偏差則是基于它們在樣本中的對應量。 bbb 211 limp 1 21 , xVar xxCov 1211 bbbE 2 11 211 1 xx xxx i ii 1102 xx 值得注意的是，不一致性是一個大樣本問題。因此，當數(shù)據(jù)值得注意的是，不一致性是一個大樣本問題。因此，當數(shù)據(jù) 增加時候這個問題并不會消失。也就是說

13、，即使樣本容量再大，增加時候這個問題并不會消失。也就是說，即使樣本容量再大， OLS估估計的偏誤也不會消失，而且會收斂到一個有偏誤的值。計的偏誤也不會消失，而且會收斂到一個有偏誤的值。 4.存在內生性時的一致性存在內生性時的一致性 考慮真實模型為考慮真實模型為y = b b0 + b b1x1 + b b2x2 + u ，但，但u和和x1相關，相關， 即即cov(u , x1)0。 則則OLS估計量的估計量的不一致性（不一致性（inconsistency）為：為： 111 111 1 1 11 lim0),( lim0),( )( ),( lim bb bb bb puxCov puxCov

14、xVar uxCov p ，則如果 ，則如果 u若若x1 和和x2相關，即相關，即cov(x1 , x2 ) 0，而，而u和和x2不相關，即不相關，即 cov(u , x2 )=0時，則對時，則對b b1和和b b2的的OLS估計量都是不一致的。估計量都是不一致的。 u若若x1 和和x2不相關，即不相關，即cov(x1 , x2 )=0，且，且u和和x2不相關，不相關， 即即cov(u , x2 )=0時，則只有對時，則只有對b b1的的OLS估計量是不一致的。估計量是不一致的。 u存在內生性時存在內生性時對其他參數(shù)估計量對其他參數(shù)估計量的一致性的影響的一致性的影響 )( ),( lim 1

15、1 11 xVar uxCov p bb 5.漸近有效性漸近有效性 我們知道，如果總體回歸模型滿足我們知道，如果總體回歸模型滿足MLR.1-5，那么，那么 OLS估計量是最優(yōu)線性無偏估計量。估計量是最優(yōu)線性無偏估計量。 事實上，可以證明在這些假定下，事實上，可以證明在這些假定下， OLS估計量是估計量是 漸近有效的（漸近有效的（asymptotic efficient）。也就是說，隨著樣。也就是說，隨著樣 本容量無限增大，本容量無限增大， OLS估計量具有最小的漸近方差。估計量具有最小的漸近方差。 第二節(jié)第二節(jié) 漸近正態(tài)和大樣本推斷漸近正態(tài)和大樣本推斷 (Asymptotic Normalit

16、y and Large Sample Inference) 估計量的一致性是一條重要性質，但我們并不能只靠它來估計量的一致性是一條重要性質，但我們并不能只靠它來 進行統(tǒng)計推斷。在經(jīng)典線性模型假設下，樣本的分布是正態(tài)分進行統(tǒng)計推斷。在經(jīng)典線性模型假設下，樣本的分布是正態(tài)分 布，因而我們推出布，因而我們推出t分布和分布和F分布用于檢驗。分布用于檢驗。 這種準確的正態(tài)分布來自于總體誤差這種準確的正態(tài)分布來自于總體誤差(population error)的分的分 布是正態(tài)分布的假定。這個正態(tài)誤差的假定意味著當布是正態(tài)分布的假定。這個正態(tài)誤差的假定意味著當x給定時，給定時， y的分布也是正態(tài)分布。的分布

17、也是正態(tài)分布。 為什么需要正態(tài)性假定？為什么需要正態(tài)性假定？ u為了證明無偏性？為了證明無偏性？ u為了證明最優(yōu)線性估計量？為了證明最優(yōu)線性估計量？ u為了能夠用為了能夠用t統(tǒng)計量和統(tǒng)計量和F統(tǒng)計量做精確的推斷？統(tǒng)計量做精確的推斷？ 很容易碰到一些例子，其中嚴格的正態(tài)性假定并不能成立。很容易碰到一些例子，其中嚴格的正態(tài)性假定并不能成立。 因為正態(tài)分布是對稱的，所以，任何一個因為正態(tài)分布是對稱的，所以，任何一個明顯不對稱明顯不對稱(clearly skewed)的變量，像拘捕次數(shù)，儲蓄量等都不可能服從正態(tài)分布。的變量，像拘捕次數(shù)，儲蓄量等都不可能服從正態(tài)分布。 當樣本容量變大時是否估計量會漸近地

18、趨向于正態(tài)分布？我當樣本容量變大時是否估計量會漸近地趨向于正態(tài)分布？我 們關注的們關注的OLS估計是否量滿足漸近正態(tài)性。估計是否量滿足漸近正態(tài)性。 中心極限定理中心極限定理(Central Limit Theorem) 基于中心極限定理，我們能夠證明基于中心極限定理，我們能夠證明OLS估計量是漸近正態(tài)。估計量是漸近正態(tài)。 漸近正態(tài)意味著當漸近正態(tài)意味著當n 時，時，P(Zz) F(z) 或者或者P(Zz) (z) 。 中心極限定理指出任何一個均值為中心極限定理指出任何一個均值為，方差為，方差為2 2的總體的標準的總體的標準 化平均值的分布漸近趨同于化平均值的分布漸近趨同于N0,1N0,1，或者

19、記作：，或者記作： 1 , 0 N n Y Z a Y 1.中心極限定理是研究獨立隨機變量和的極限分布為正態(tài)分布的中心極限定理是研究獨立隨機變量和的極限分布為正態(tài)分布的 問題。問題。 2.定理定理5.2：OLS的的漸近正態(tài)性漸近正態(tài)性 (Asymptotic Normality of OLS) 在高斯在高斯馬爾科夫假設馬爾科夫假設MLR.1 MLR.5前提下：前提下： 1） 符合漸近正態(tài)分布，也就是說：符合漸近正態(tài)分布，也就是說： 其中，其中， 是是 的漸近方差；的漸近方差； ，而，而 是是xj對其他解釋變量對其他解釋變量 進行回歸所得到的殘差。進行回歸所得到的殘差。 j b 2 2 , 0

20、j jj Nn bb 2 2 j jj nbb 212 lim ijj rnp ij r 2） 是是 的一個一致性估計。的一個一致性估計。 3）隨著樣本容量）隨著樣本容量n的擴大，對任意的擴大，對任意j，都有：，都有： 2 2 1 ,0 N se j jj b bb 的一致估計量是相應地， 2 2 1 1 i u kn u在定理在定理5.2中什么才是我們的假定中什么才是我們的假定 u誤差的分布具有有限的方差誤差的分布具有有限的方差(finite variance) u零條件期望零條件期望(Zero conditional mean) u同方差性同方差性(Homoskedasticity) u線

21、性結構線性結構(Linear structure) u隨機樣本隨機樣本(random sample) 1）去掉了）去掉了正態(tài)性假定正態(tài)性假定(normality assumption)MLR.6 2）仍然保留以下假定：）仍然保留以下假定： u對定理對定理5.2的理解的理解 為什么在為什么在1）中考慮的是）中考慮的是 ，而不是，而不是 jj nbb jj bb 因為因為 j j j j jj j SSR SST SSR SST RSST Var 22 2 2 1 b 2 jijj xxSST 2 ijj rSSR 注意到注意到 的樣本方差為的樣本方差為 的樣本方差為的樣本方差為 j xnSSTj

22、 ij r nSSRj 2 22 rj j nSSR Var b 其中，其中， 是是 的總體方差。的總體方差。 ij r 2 r 令令 ，那么有：，那么有： c r 2 2 n c Var j b 當當 時，時， 以以 的速度減小到零，因的速度減小到零，因 此，只有按照此，只有按照 的比例增大的比例增大 ，才能討論，才能討論 漸近分布。漸近分布。 n j Varb n 1 n j b 因為自由度很大的因為自由度很大的 t分布接近于正態(tài)分布，我們也可以分布接近于正態(tài)分布，我們也可以 得到：得到： 1 kn a j jj t seb bb 注意到盡管我們在大樣本中不再需要正態(tài)性假定，我們注意到盡管

23、我們在大樣本中不再需要正態(tài)性假定，我們 仍然需要同方差性仍然需要同方差性(homoskedasticity)。 漸漸近近標準誤差標準誤差(Asymptotic Standard Errors) ncse RSST se jj jj j b b , 1 2 2 所以所以，我們預計標準誤差減小的速度，我們預計標準誤差減小的速度與與 成正比。成正比。 如果如果u不是正態(tài)分布，我們有時把標準誤差稱作漸近標不是正態(tài)分布，我們有時把標準誤差稱作漸近標 準誤差，因為：準誤差，因為： n 大樣本推斷大樣本推斷(Large sample inference) uOLS估計量的漸近正態(tài)性告訴我們，如果樣本容量足夠

24、大，而估計量的漸近正態(tài)性告訴我們，如果樣本容量足夠大，而 且總體回歸模型滿足且總體回歸模型滿足MLR.1-5，那么，那么t統(tǒng)計量近似地服從標準正態(tài)統(tǒng)計量近似地服從標準正態(tài) 分布或分布或t分布，從而可以進行分布，從而可以進行t檢驗。此時，不必要求滿足正態(tài)性檢驗。此時，不必要求滿足正態(tài)性 假定。假定。 u如果樣本容量足夠大，而且總體回歸模型滿足如果樣本容量足夠大，而且總體回歸模型滿足MLR.1-5，那么，那么 通常的通常的F檢驗也是適用的。檢驗也是適用的。 u需要注意的是，進行大樣本推斷的前提是需要注意的是，進行大樣本推斷的前提是MLR.5（同方差假定）（同方差假定） 必須成立。必須成立。 拉格朗

25、日乘子統(tǒng)計量拉格朗日乘子統(tǒng)計量(Lagrange Multiplier statistic) 當我們使用大樣本并且依靠漸近正態(tài)性當我們使用大樣本并且依靠漸近正態(tài)性(asymptotic normality) 進行推斷時，除了進行推斷時，除了t和和F統(tǒng)計量，我們還可以使用別的統(tǒng)計量。統(tǒng)計量，我們還可以使用別的統(tǒng)計量。 拉格朗日乘子或拉格朗日乘子或LM統(tǒng)計量是檢驗統(tǒng)計量是檢驗多重限定性約束多重限定性約束(multiple exclusion restrictions)的另一種選擇，的另一種選擇，LM統(tǒng)計量使用一個輔助性統(tǒng)計量使用一個輔助性 的回歸的回歸(auxiliary regression)，

26、因此它有時也被叫做，因此它有時也被叫做nR2統(tǒng)計量。統(tǒng)計量。 對于大樣本數(shù)據(jù)，可以使用對于大樣本數(shù)據(jù)，可以使用LM檢驗對多個線性假設進行檢驗，檢驗對多個線性假設進行檢驗， 前提是高斯馬爾科夫假定（前提是高斯馬爾科夫假定（ MLR.1-5 ）成立）成立 假設我們有一個標準模型假設我們有一個標準模型: y = b b0 + b b1x1 + b b2x2 + . . . b bkxk + u 而我們的零假設為而我們的零假設為: H0: b bk-q+1 = 0, . , b bk = 0 我們的備選假設為我們的備選假設為: H1: b bk-q+1, . , b bk 中至少有一個不為零中至少有一

27、個不為零 p cLMc )q(nRLM)3( Reu )2( ) 1 ( 0 22 u 2 u110 qq110 的顯著性水平精確 。當然也可計算出，可以拒絕，如果臨界值 以及相應的平。對于給定的顯著性水 得到根據(jù) 得到殘差估計有約束模型 H XX uuXXY kk kk bbb LM檢驗的特性檢驗的特性(Characteristics of LM test) LM統(tǒng)計量有時被稱作是統(tǒng)計量有時被稱作是nR2，或者得分統(tǒng)計量，或者得分統(tǒng)計量(score statistic) u約束約束q的個數(shù)的個數(shù)(number of restrictions, q ) u輔助輔助R2的大小的大小(the si

28、ze of the auxiliary R-squared ) u樣本容量樣本容量(the sample size) 相關的因素只有相關的因素只有: u未約束模型中自由度的個數(shù)未約束模型中自由度的個數(shù) u未約束模型和被約束模型的未約束模型和被約束模型的R2 不相關的因素有不相關的因素有: LM檢驗與檢驗與F檢驗和檢驗和t檢驗的優(yōu)劣對比檢驗的優(yōu)劣對比 LM test vs F test & t test u在大樣本中，在大樣本中，F(xiàn)檢驗和檢驗和LM檢驗得到的結果相似。檢驗得到的結果相似。 u只有一個約束時，只有一個約束時，F(xiàn)檢驗和檢驗和t檢驗是等價的，然而檢驗是等價的，然而LM檢驗和檢驗和F檢檢

29、 驗并不等價。驗并不等價。 u主回歸和輔助回歸必須使用相同的一組觀測值。主回歸和輔助回歸必須使用相同的一組觀測值。 例例5.3: Economic Model of Crime(crime1.raw) narr86= 0+1pcnv+2avgsen+3tottime+4ptime86+5qemp86+u H0: 2= 3=0 H1: 2和和3至少有一個不為至少有一個不為0 Steps （i）對約束模型進行回歸，得到殘差）對約束模型進行回歸，得到殘差 u （ii）用）用 對無約束模型的所有解釋變量進行回歸，得到對無約束模型的所有解釋變量進行回歸，得到Ru2 u 可知可知Ru2 =0.0015，從

30、而，從而LM=nRu2 = 27250.0015=4.09 Df=2，顯著性水平為，顯著性水平為5%的的 2 分布臨界值為分布臨界值為5.99，顯然有，顯然有 LM5.99，因此不能拒絕，因此不能拒絕H0. 漸近有效漸近有效(Asymptotic Efficiency) u在高斯在高斯-馬爾可夫假定下，馬爾可夫假定下，OLS估計量以外的估計量可以具有一估計量以外的估計量可以具有一 致性。致性。 u但是，在高斯但是，在高斯-馬爾可夫假定下，馬爾可夫假定下，OLS估計量具有最小的漸近方估計量具有最小的漸近方 差差(asymptotic variances)。 u我們說在高斯我們說在高斯-馬爾可夫假

31、定下馬爾可夫假定下OLS估計量是漸近有效的估計量。估計量是漸近有效的估計量。 值得注意的是如果同方差值得注意的是如果同方差(homoskedastic)的假定不成立，上述結的假定不成立，上述結 論也不能成立。論也不能成立。 定理定理5.3： OLS估計量的漸近有效性估計量的漸近有效性 Asymptotic Efficiency of OLS Estimators b 在在高斯高斯馬爾科夫假定下，將馬爾科夫假定下，將 記為如下方程的記為如下方程的 估計量：估計量： kjxxyxg kkj .2 , 1, 0 110 bbb 其中，其中， 為任何一個觀測值為任何一個觀測值i的所有自變量的函數(shù)的所有自變量的函數(shù) xg j 進一步，讓進一步，讓 為為OLS估計量，那么，估計量，那么，