最大似然估計

1、最大似然估計最大似然估計 最大似然估計最大似然估計 廣義矩估計廣義矩估計 貝葉斯估計貝葉斯估計 分位數(shù)回歸估計分位數(shù)回歸估計 最大似然估計最大似然估計 計量經(jīng)濟學(xué)模型計量經(jīng)濟學(xué)模型( (參數(shù)模型、均值回歸模型、基于參數(shù)模型、均值回歸模型、基于 樣本信息）樣本信息）的的3 3類估計方法類估計方法 LSLS、MLML、MMMM 經(jīng)典模型的估計經(jīng)典模型的估計LSLS 非經(jīng)典模型的估計非經(jīng)典模型的估計MLML、GMMGMM 綜合樣本信息和先驗信息的貝葉斯估計綜合樣本信息和先驗信息的貝葉斯估計 分位數(shù)回歸模型，分位數(shù)回歸模型，Quantile Regression ,QREGQuantile Regre

2、ssion ,QREG 非參數(shù)模型的權(quán)函數(shù)估計、級數(shù)估計等非參數(shù)模型的權(quán)函數(shù)估計、級數(shù)估計等 最大似然估計最大似然估計 一、最大似然原理一、最大似然原理 二、線性模型的最大似然估計二、線性模型的最大似然估計 三、非線性模型的最大似然估計三、非線性模型的最大似然估計 四、異方差和序列相關(guān)的最大似然估計四、異方差和序列相關(guān)的最大似然估計 五、最大似然估計下的五、最大似然估計下的Wald、LM和和LR檢驗檢驗 最大似然估計最大似然估計 最大似然方法最大似然方法(Maximum Likelihood，ML) 當(dāng)從模型總體隨機抽取當(dāng)從模型總體隨機抽取n組樣本觀測值后，最合理的參組樣本觀測值后，最合理的參

3、 數(shù)估計量應(yīng)該使得從模型中抽取該數(shù)估計量應(yīng)該使得從模型中抽取該n組樣本觀測值的概組樣本觀測值的概 率最大。率最大。 將樣本觀測值聯(lián)合概率函數(shù)稱為樣本觀測值的似然函數(shù)。將樣本觀測值聯(lián)合概率函數(shù)稱為樣本觀測值的似然函數(shù)。 在已經(jīng)取得樣本觀測值的情況下，使似然函數(shù)取最大值的總體在已經(jīng)取得樣本觀測值的情況下，使似然函數(shù)取最大值的總體 分布參數(shù)所代表的總體具有最大的概率取得這些樣本觀測值，分布參數(shù)所代表的總體具有最大的概率取得這些樣本觀測值， 該總體參數(shù)即是所要求的參數(shù)。該總體參數(shù)即是所要求的參數(shù)。 通過似然函數(shù)極大化以求得總體參數(shù)估計量的方法被通過似然函數(shù)極大化以求得總體參數(shù)估計量的方法被 稱為極大似

4、然法。稱為極大似然法。 最大似然估計最大似然估計 最大似然估計最大似然估計 ), ( 2 10 ii XNY 2 10 2 ) ( 2 1 2 1 )( ii XY i eYP ),(), , ( 21 2 10n YYYPL 2 10 2 2 ) ( 2 1 )2( 1 ii n XY n e Yi的分布 Yi的概率函數(shù) Y的所有樣 本觀測值的 聯(lián)合概率 似然函數(shù) 2 10 2 * ) ( 2 1 )2ln( )ln( ii XYn LL 0) ( 0) ( 2 10 1 2 10 0 ii ii XY XY 22 1 22 2 0 )( )( ii iiii ii iiiii XXn XY

5、XYn XXn XYXYX 對數(shù)似然 函數(shù) 對數(shù)似然函 數(shù)極大化的 一階條件 結(jié)構(gòu)參數(shù)的 ML估計量 0) ( 2 10 2 1 2 * 2 22 ii n XYL n e XY n i ii 2 2 10 2 ) ( 1 分布參數(shù)的 ML估計量 注意：注意： ML估計必須已知估計必須已知Y的分布。的分布。 只有在正態(tài)分布時只有在正態(tài)分布時ML和和OLS的結(jié)構(gòu)參數(shù)估計結(jié)果的結(jié)構(gòu)參數(shù)估計結(jié)果 相同。相同。 如果如果Y不服從正態(tài)分布，不能采用不服從正態(tài)分布，不能采用OLS。例如：選。例如：選 擇性樣本模型、計數(shù)數(shù)據(jù)模型等。擇性樣本模型、計數(shù)數(shù)據(jù)模型等。 最大似然估計最大似然估計 yxxx iiik

6、kii 01122 i=1,2,n 2 (,) i YN i X 2 (0,) i N ) () ( 2 1 ) ( 2 1 21 2 2 2 2 22110 2 2 )2( 1 )2( 1 ),(), ( XYXY e e YYYPL n XXXY n n n kikiii n 結(jié)構(gòu)參數(shù)估計結(jié)果與結(jié)構(gòu)參數(shù)估計結(jié)果與OLSOLS估計相同估計相同 * 2 ( ) 1 ( 2)() () 2 MaxLLn L nLn YXYX () ()MinYXYX YXXX 1 )( 分布參數(shù)估計結(jié)果與分布參數(shù)估計結(jié)果與OLS不同不同 2 2 () () i ML e nn YXYX 2 2 11 i OLS

7、 e nknk e e 最大似然估計最大似然估計 一致性一致性 漸近正態(tài)性漸近正態(tài)性 漸近有效性漸近有效性 不變性不變性 最大似然估計最大似然估計 最大似然估計最大似然估計 yf x iii (,) i=1,2,n 2 (0,) i N),( 2 XifNY i 2 2 2 ) ,( 2 1 21 2 )2( 1 ),(), ( ii n XfY n n e YYYPL 面臨面臨NLSNLS同樣的過程，得到相同的估計結(jié)果同樣的過程，得到相同的估計結(jié)果。 2 2 * ) ,( 2 1 )2( )( ii XfYnLn LLnMaxL 2 ) ,( ii XfYMin 最大似然估計最大似然估計 以

8、上是一般非線性模型的完整描述。以上是一般非線性模型的完整描述。 iii uxgyh),(),(ni, 1 ), 0(),( 2 1 INuu n kiiii xxxx 21 隨機項滿足隨機項滿足 經(jīng)典假設(shè)經(jīng)典假設(shè) 模型參數(shù)的一種估計方法是最小二乘法，即最小模型參數(shù)的一種估計方法是最小二乘法，即最小 化化 2 ),(),(),( ii i xgyhS 模型參數(shù)的另一種估計方法是最大似然法。得模型參數(shù)的另一種估計方法是最大似然法。得 到廣泛應(yīng)用。到廣泛應(yīng)用。 最大似然估計最大似然估計 yi的密度函數(shù)的密度函數(shù) 2 2 2/12 2 ),(),( exp)2( ii i i xgyh y u i i

9、 i i i i J y yh y u yJ ),( ),( 雅可比行列式雅可比行列式 雅可比行列式雅可比行列式正態(tài)分布密度函數(shù)正態(tài)分布密度函數(shù) 2 2 2/12 2 ),( exp)2( ii xgy iii uxgy),( 因變量樣本的對數(shù)似然函數(shù)為：因變量樣本的對數(shù)似然函數(shù)為： i i yJ nn L),(lnln 2 2ln 2 ln 2 i ii xgyh 2 2 ),(),( 2 1 很明顯若沒有雅可比行列式項，參數(shù)的非線性最很明顯若沒有雅可比行列式項，參數(shù)的非線性最 小二乘估計將是最大似然估計；但是，如果雅可比小二乘估計將是最大似然估計；但是，如果雅可比 行列式包括行列式包括，最

10、小二乘法不是最大似然法。，最小二乘法不是最大似然法。 最大化對數(shù)似然函數(shù)的一階條件為：最大化對數(shù)似然函數(shù)的一階條件為： 0 ),(1ln 2 i i i xg u L 0 ),(11ln 2 i i i i i i yh u J J L 0 2 1 2 ln 2 422 i i u nL 一般是得到中心化對數(shù)似然函數(shù)，然后最大化一般是得到中心化對數(shù)似然函數(shù)，然后最大化 i i i ic u n nn yJL 2 1 ln 2 )2ln(1 2 ),(lnln 如果變換的雅可比行列式是如果變換的雅可比行列式是1，則不存在因變量，則不存在因變量 的參數(shù)變換；如果變換的雅可比行列式包含的參數(shù)變換；如

11、果變換的雅可比行列式包含，則，則 稱為因變量的參數(shù)變換模型。稱為因變量的參數(shù)變換模型。 i i u n 22 1 最大似然估計最大似然估計 非線性模型最大似然估計的性質(zhì)非線性模型最大似然估計的性質(zhì) 結(jié)構(gòu)參數(shù)的最大對數(shù)似然估計是漸近無偏、一致估計且結(jié)構(gòu)參數(shù)的最大對數(shù)似然估計是漸近無偏、一致估計且 漸近地服從正態(tài)分布；漸近地服從正態(tài)分布； 分布參數(shù)的最大對數(shù)似然估計是漸近無偏和一致估計。分布參數(shù)的最大對數(shù)似然估計是漸近無偏和一致估計。 非線性模型的最大對數(shù)似然估計一般不等價于非線非線性模型的最大對數(shù)似然估計一般不等價于非線 性最小二乘估計，而是一個加權(quán)非線性最小二乘估性最小二乘估計，而是一個加權(quán)非

12、線性最小二乘估 計計。 在特殊情況下，最大對數(shù)似然估計才等價于非線性最小在特殊情況下，最大對數(shù)似然估計才等價于非線性最小 二乘估計。二乘估計。 (,)() ii f YYg ii X ,X , 最大似然估計最大似然估計 最大似然估計最大似然估計 經(jīng)典模型的異方差問題或者序列相關(guān)問題的處理經(jīng)典模型的異方差問題或者序列相關(guān)問題的處理 方法：方法： 一類是變換模型，使之成為不再具有異方差性或者序一類是變換模型，使之成為不再具有異方差性或者序 列相關(guān)性的模型，然后采用列相關(guān)性的模型，然后采用OLS進行估計，例如進行估計，例如WLS、 GLS等；等； 一類是修正一類是修正OLS估計量的標(biāo)準(zhǔn)差，糾正模型具

13、有異方估計量的標(biāo)準(zhǔn)差，糾正模型具有異方 差性或者序列相關(guān)性時差性或者序列相關(guān)性時OLS估計量的非有效性，使得估計量的非有效性，使得 繼而進行的統(tǒng)計推斷（例如顯著性檢驗、參數(shù)的置信繼而進行的統(tǒng)計推斷（例如顯著性檢驗、參數(shù)的置信 區(qū)間估計等）仍然有效，例如區(qū)間估計等）仍然有效，例如White修正、修正、Newey- West修正方法等。修正方法等。 非線性非線性ML方法方法 將異方差問題或者序列相關(guān)問題看成一類非線性問題，將異方差問題或者序列相關(guān)問題看成一類非線性問題， 采用采用NML估計，比較簡單，可以同時得到結(jié)構(gòu)參數(shù)估估計，比較簡單，可以同時得到結(jié)構(gòu)參數(shù)估 計量和反映異方差或者序列相關(guān)特征的分

14、布參數(shù)估計計量和反映異方差或者序列相關(guān)特征的分布參數(shù)估計 量。量。 最大似然估計最大似然估計 iii uxyf),(ni, 1 )(, 0(),( 2 1 NuuU n 被解釋變量樣本的對數(shù)似然函數(shù)為：被解釋變量樣本的對數(shù)似然函數(shù)為： )ln()2ln( 2 1 ),|,(ln 22 nxyL n i i i y u UU 1 21 |)ln(|/ 2 1 |)ln(| 2 1 )ln()2ln(1 2 1 ),|,(lnnnxyLc n i i i y u UUn 1 1 |)ln(|)ln( 2 1 |)ln(| 2 1 對異方差的結(jié)構(gòu)給出假定，可以對模型的參數(shù)和對異方差的結(jié)構(gòu)給出假定，可

15、以對模型的參數(shù)和 異方差的結(jié)構(gòu)參數(shù)進行最大似然估計。異方差的結(jié)構(gòu)參數(shù)進行最大似然估計。 針對不同的問題假定不同的異方差結(jié)構(gòu)；針對同針對不同的問題假定不同的異方差結(jié)構(gòu)；針對同 一個問題假定不同的異方差結(jié)構(gòu)，進行估計和比一個問題假定不同的異方差結(jié)構(gòu)，進行估計和比 較。較。 典型的異方差結(jié)構(gòu)及其對應(yīng)的對數(shù)似然函數(shù)，見典型的異方差結(jié)構(gòu)及其對應(yīng)的對數(shù)似然函數(shù)，見 教材。教材。 ), 0( 2 ii Nu )( 22 ii h 最大似然估計最大似然估計 州 開支 收入 州 開支 收入 州 開支 收入 AL 275 6247 AK 821 10851 AZ 339 7374 AR 275 6183 CA 3

16、87 8850 CO 452 8001 CT 531 8914 DE 424 8604 DC 428 10022 FL 316 7505 GA 265 6700 HI 403 8380 ID 304 6813 IL 437 8745 IN 345 7696 IA 431 7873 KS 355 8001 KY 260 6615 LA 316 6640 ME 327 6333 MD 427 8306 MA 427 8063 MI 466 8442 MN 477 7847 uXXY 2 210 MS 259 5736 MO 274 7342 MT 433 7051 NB 294 7391 NV 3

17、59 9032 NH 279 7277 NJ 423 8818 NM 388 6505 NY 447 8267 NC 335 6607 ND 311 7478 OH 322 7812 OK 320 6951 OR 397 7839 PA 412 7733 RI 342 7526 SC 315 6242 SD 321 6841 TN 268 6489 TX 315 7697 UT 417 6622 VT 353 6541 VA 356 7624 WA 415 8450 WV 320 6456 WI NA 7597 WY 500 9096 Coefficient Std. Error z-Stat

18、istic Prob. C 832.9144 327.2925 2.544862 0.0109 X -0.183420 0.082899 -2.212588 0.0269 X2 1.59E-05 5.19E-06 3.057433 0.0022 Variable Coefficient Std. Error t-Statistic Prob. C 832.9144 327.2925 2.544862 0.0143 X -0.183420 0.082899 -2.212588 0.0318 X2 1.59E-05 5.19E-06 3.057433 0.0037 OLS ML 22 ii X 2

19、2 exp() ii X 線性模型，截面樣本，一般存在異方差。線性模型，截面樣本，一般存在異方差。 采用非線性最大似然法估計，可以得到關(guān)于異方差采用非線性最大似然法估計，可以得到關(guān)于異方差 結(jié)構(gòu)的估計結(jié)果。結(jié)構(gòu)的估計結(jié)果。 在某些情況下，得到異方差結(jié)構(gòu)的估計結(jié)果比模型在某些情況下，得到異方差結(jié)構(gòu)的估計結(jié)果比模型 參數(shù)估計量更重要。這就是異方差性的非線性方法參數(shù)估計量更重要。這就是異方差性的非線性方法 的意義所在。的意義所在。 最大似然估計最大似然估計 首先假定模型隨機誤差項的序列相關(guān)結(jié)構(gòu)。一般首先假定模型隨機誤差項的序列相關(guān)結(jié)構(gòu)。一般 以以AR(1)、MA(1)、ARMA(1,1)為常見。為常見。 求出隨機誤差項對被解釋變量的偏導(dǎo)數(shù)表達式。求出隨機誤差項對被解釋變量的偏導(dǎo)數(shù)表達式。 構(gòu)造最大似然函數(shù)。構(gòu)造最大似然函數(shù)。 同時得到模型參數(shù)和隨機誤差項的序列相關(guān)結(jié)構(gòu)同時得到模型參數(shù)和隨機誤差項的序列相關(guān)結(jié)構(gòu) 的估計結(jié)果。的估計結(jié)果。 假定模型隨機誤差項的序列相關(guān)結(jié)構(gòu)為假定模型隨機誤差項的序列相關(guān)結(jié)構(gòu)為AR(1) (,) ttt f YXTt,2, 1 1ttt 2 (0,