極大似然估計和廣義矩估計.ppt

第四章 極大似然估計和廣義矩 估計,（Maximum Likelihood method and Generalized Method of Moments ）,第一節(jié) 極大似然估計法 第二節(jié)似然比檢驗、沃爾德檢驗和拉格 朗日乘數(shù)檢驗 第三節(jié)廣義矩（GMM）估計 小結(jié),除普通最小二乘法（OLS）外，極大似然估計（MLE）和廣義矩估計（GMM）也是計量經(jīng)濟學(xué)中重要的估計方法。 極大似然估計法和廣義矩估計法適用于大樣本條件下參數(shù)的估計，它們在大樣本條件下顯示了優(yōu)良的性質(zhì)。 本章主要介紹極大似然法和廣義矩方法以及基于極大似然估計的似然比（LR）檢驗、沃爾德（W）檢驗和拉格朗日乘數(shù)（LM）檢驗。,第一節(jié) 極大似然估計法 極大似然估計法（Maximum Likelihood method，ML）的應(yīng)用雖然沒有普通最小二乘法廣泛，但它是一個具有更強理論性質(zhì)的點估計方法，它以極大似然原理為基礎(chǔ)，通過概率密度函數(shù)或者分布律來估計總體參數(shù)。 極大似然估計的出發(fā)點是已知被觀測現(xiàn)象的分布，但不知道其參數(shù)。極大似然法用得到觀測值（樣本）最高概率的那些參數(shù)的值來估計該分布的參數(shù)，從而提供一種用于估計刻畫一個分布的一組參數(shù)的方法。,一、極大似然法的思路 設(shè)有一枚不均衡的硬幣，我們關(guān)心的是在每次拋擲該硬幣出現(xiàn)正面的概率p。拋擲該硬幣N次，假設(shè)得到 次正面， 次反面。由于每次拋硬幣都是相互獨立的，根據(jù)二項分布，得到這樣一個樣本的概率為： 上式中的表達式可看作是未知參數(shù)p的函數(shù)，被稱為似然函數(shù)（Likelihood function）。對p的極大似然估計意味著我們選擇使似然函數(shù)達到最大的p值，從而得到p的極大似然估計量。,實際計算中，極大化似然函數(shù)的對數(shù)往往比較方便，這給出對數(shù)似然函數(shù) 上式達到極大的一階條件是 解之，得到p的極大似然估計量,二、極大似然原理 極大似然法的思路是，設(shè) 是隨機變量X的密度函數(shù)，其中 是該分布的未知參數(shù)，若有一隨機樣本 ，則 的極大似然估計值是具有產(chǎn)生該觀測樣本的最高概率的那個 值，或者換句話說，的極大似然估計值是使密度函數(shù) 達到最大的值。 由于總體有離散型和連續(xù)型兩種分布，離散型分布通過分布律來構(gòu)造似然函數(shù)，而連續(xù)型分布通過概率密度函數(shù)來構(gòu)造似然函數(shù)，因此二者有區(qū)別，下面分別討論。,（一）離散型隨機變量極大似然原理 若總體為離散型分布，容易求得從樣本 取到觀察值 的概率，亦即事件發(fā)生的概率 為： 其中， 是待估參數(shù)向量。 這一概率隨 的取值而變化，它是 的函數(shù)， 稱為樣本的似然函數(shù)。 極大似然估計法就是在 取值的可能范圍內(nèi)挑選使似然函數(shù) 達到最大的參數(shù)值 作為參數(shù) 的估計值，即求 ，使得,一般通過微分的方法求得 ，即，令 得到，有時候也可通過迭代法來求 ，具體的計算方法根據(jù)隨機變量的分布來確定。 這樣得到的 稱為參數(shù) 的極大似然估計值 ，而相應(yīng)的統(tǒng)計量通常記為 ，稱為參數(shù) 的極大似然估計量。,（二）連續(xù)型隨機變量極大似然原理 與離散型的情況一樣，我們?nèi)?的估計值 使 取到極大值，但 不隨 而變，故只需考慮函數(shù) 的極大值，這里 稱為樣本的似然函數(shù)。 若 則 稱為 的極大似然估計量，記為 。,通常情況下， 關(guān)于 可微，這時 可從方程 解得。因為 與 在同一點處取到 極值，的極大似然估計值 通常從方程 解得，式中 稱為對數(shù)似然函數(shù)。 為了后面內(nèi)容表述方便起見，我們將對數(shù)似然函數(shù) 的一階導(dǎo)數(shù)向量表示為 ， 稱為score向量或梯度向量， 的極大似然估計量 通過求解得到， 因此 稱為似然方程。,三、極大似然估計量的性質(zhì) 極大似然估計量（MLE）的優(yōu)勢在于它們的大樣本性質(zhì)（漸近性質(zhì)）。 為介紹這些漸近性質(zhì)，我們用表示參數(shù)向量的極大似然估計量（MLE），表示參數(shù)向量的真值。 如果極大似然函數(shù)被正確設(shè)定，可以證明，在弱正則條件下，極大似然估計量具有以下漸近性質(zhì)：,（1）一致性： 是 的一致估計量，即， （2） 漸近有效性： 是漸近有效的且達到所有一致估計量的Cramr-Rao下界，即在所有一致漸近正態(tài)估計量（consistent asymptotically normal estimators ）中具有最小方差。 （3） 漸近正態(tài)性： 即漸近地服從正態(tài)分布，其中V是漸近協(xié)方差矩陣,協(xié)方差矩陣V由對數(shù)似然函數(shù)的形狀決定。為了說明這一點，我們引入信息矩陣（Information Matrix）的概念，信息矩陣定義為 在適當?shù)恼齽t條件下，可以證明，極大似然估計量的漸近協(xié)方差矩陣等于信息矩陣的逆矩陣，即,四、線性回歸模型的極大似然估計 線性回歸模型是計量經(jīng)濟學(xué)應(yīng)用最為廣泛的模型，因 此討論線性模型的極大似然估計是非常必要的。 下面我們在隨機擾動項服從正態(tài)分布的假設(shè)下分別討 論雙變量線性回歸模型和多元線性回歸模型的極大似 然估計。非線性模型的極大似然估計，將在第五章中 介紹。,（一）雙變量線性回歸模型的極大似然估計 雙變量線性回歸模型： 其中， 為待估參數(shù)，為隨機擾動項。對隨機擾動項作出如下假設(shè)： 即隨機擾動項具有0均值、同方差、不相關(guān)和服從正態(tài)分布的性質(zhì)。,根據(jù)以上假設(shè)可知： 因此，的概率密度函數(shù)為： 由于獨立同分布，因此，聯(lián)合概率密度函數(shù)，即似 然函數(shù)為：,對數(shù)似然函數(shù)為： 令： ， ， 得，,不難看出，前兩式與用普通最小二乘法得出的正規(guī)方 程相同，故我們有 但最后一式表明，的極大似然估計量與最小二乘估計 量不同，我們記得，最小二乘估計量 是一個無偏估計量。而 ，,這表明 ， 是一個有偏估計量 不難看出，當樣本容量趨向無窮時， 因而 是一個漸近無偏估計量。,（二）多元線性回歸模型的極大似然估計 下面我們來討論一般形式的線性回歸模型的極大似然估計，并以矩陣形式表示： 對隨機擾動項作出如下假設(shè)： 根據(jù)以上假設(shè)，我們有： 因此，的概率密度函數(shù)為：,上面有點問題，把單個標量和整體向量混淆了，看的時候注意點,可以參考多元線性回歸講義PPT.,由于獨立同分布，因此，聯(lián)合概率密度函數(shù)，即似然函數(shù)為： 對數(shù)似然函數(shù)為： 注意到（4.17）中右端第二項的分子就是殘差平方和，我們有：,這里最后一個等號成立是因為第二行中所有各項都是標量，且中間兩項互為轉(zhuǎn)置矩陣，因而相等 RSS對微分，得到： 這里用到了矩陣微分的以下兩條規(guī)則： （1） （2） ，第二個等號成立的條件是A為對稱矩陣。,在（4.19）式中，a是 ，A是 。 由（4.19）式的結(jié)果，使對數(shù)似然函數(shù)（4.17）達到極大的一階條件為 解此二正規(guī)方程，得:,因此，在隨機擾動項滿足標準假設(shè)條件的情況下，的極大似然估計量與普通最小二乘估計量相同，方差 的ML估計量與OLS估計量則不同。 是無偏的，而 是有偏的，但在大樣本下漸近無偏,將這些極大似然估計量代入(4.17)，就得到的極大值： 為了得到 的無偏估計量的Cramr-Rao下界，需要先計算信息矩陣,信息矩陣是按 分塊對角的，這是擾動項為正態(tài)分布的回歸模型的一個重要性質(zhì)，意味著Cramr-Rao下界為： 值得注意的是， 達到了Cramr-Rao下界。在正態(tài)性的假設(shè)下， 是最小方差無偏估計量（MVU），這表明， 在所有無偏估計量而不僅僅是線性無偏估計量中方差最小。假設(shè)多一些（CLR模型加上正態(tài)性），得到的也多一些（MVU而不僅僅是BLUE）。,例4.2 以簡單的消費函數(shù)為例，說明極大似然估計法的估計過程。 根據(jù)經(jīng)濟理論，消費和收入與價格密切相關(guān)，因此建立以國內(nèi)生產(chǎn)總值gdp和消費價格指數(shù)p 為解釋變量，國內(nèi)總消費tc為被解釋變量的消費方程。數(shù)據(jù)區(qū)間為19882007年。 消費方程設(shè)定為： 其中 服從正態(tài)分布。,普通最小二乘估計的結(jié)果為： 極大似然估計的EViews結(jié)果為： 可見，對于線性方程，用極大似然估計得到的系數(shù)估計值與用最小 二乘法估計得到的結(jié)果完全相同。,第二節(jié) 似然比檢驗、沃爾德檢驗和拉格朗日乘數(shù)檢驗,似然比檢驗（Likelihood Ratio Test, LR） 瓦爾德檢驗（Wald Test, W） 拉格朗日乘數(shù)檢驗（Lagrange Multiplier Test, LM） 是三種基于極大似然法的大樣本檢驗方法。,我們在第二章中介紹的F檢驗適用于檢驗CLR模型的線性約束條件。 如果施加于模型的約束是非線性的，模型存在參數(shù)非線性，或者擾動項的分布不是正態(tài)的，在這些情況下，F(xiàn)檢驗就不再適用，通常需要采用LR、 W和LM這三個檢驗方法中的一個來檢驗約束條件是否成立。 這三個檢驗方法是漸近等價的，與這些檢驗相聯(lián)系的統(tǒng)計量的小樣本分布是未知的，但它們每一個都漸近地服從自由度為約束條件個數(shù)的 分布,一、三種檢驗的基本原理,這三個檢驗統(tǒng)計量基于三個不同的原理，我們用下圖來解釋之。,圖中，對數(shù)似然函數(shù)（ ）由上面的那條曲線表示，它是要估計的參數(shù) 的函數(shù)。 是使 達到極大的 值。假設(shè)要檢驗的約束條件是， 這一條件在 這個值得到滿足，從圖上看，這個點是函數(shù) 與橫軸 的交點。 下面對這三個檢驗所依據(jù)的原理作出解釋。,1. LR檢驗 如果約束條件為真，則在施加約束條件的情況下， 的極大值 不應(yīng)當顯著小于 的無約束極大值 。因此，LR檢驗要檢驗的是（ - ）是否顯著異于0。 2. W檢驗 如果約束條件 為真，則 不應(yīng)當顯著異于0，其中 是 的無約束極大似然估計值。因此，W檢驗要檢驗的是 是否顯著異于0。,3. LM檢驗 對數(shù)似然函數(shù) 在A點達到極大，在這點 關(guān)于 的斜率為0。如果約束條件為真，則 在B點的斜率不應(yīng)當顯著異于0。LM檢驗要檢驗的是用約束估計值 計算的 的斜率是否顯著異于0。,二、似然比（LR）檢驗,設(shè) 為待估計參數(shù)向量，原假設(shè) 規(guī)定施加于這些參數(shù)上的約束，為 的無約束極大似然估計量，為約束極大似然估計量。如果 和 分別是用這兩個估計值計算的似然函數(shù)值，則似然比 （Likelihood Ratio）為：,此函數(shù)的值位于0和1之間，因為兩個似然都是正的，并且 不會大于 （約束最優(yōu)不可能超過無約束最優(yōu)）。如果 過于小，則有理由懷疑約束條件的正確性。 LR檢驗的檢驗統(tǒng)計量是 ，該統(tǒng)計量在大樣本情況下服從自由度為約束條件個數(shù)的 分布。,三、沃爾德（W）檢驗,在實踐中似然比檢驗的短處是需要估計約束和無約束參數(shù)向量，也就是說，既要進行約束回歸，又要進行無約束回歸。在復(fù)雜模型中，其中的一個估計值可能很難計算。幸運的是，有兩個可供選擇的方法，即沃爾德檢驗和拉格朗日乘數(shù)檢驗，可以解決這個問題。這兩個檢驗只需要估計約束和無約束參數(shù)向量中的一個。,設(shè) 是在無約束情況下得到的參數(shù)估計值向量，要檢驗的原假設(shè)為： 若約束條件成立，則至少 應(yīng)該近似地滿足它們。如果原假設(shè)是錯的，則 應(yīng)該比單由抽樣變差所解釋的情況要更遠離0。W檢驗就是遵循這個思路構(gòu)建的。 W統(tǒng)計量是 成立和大樣本的情況下，W服從自由度為約束條件個數(shù)的 分布。,要注意的是，W統(tǒng)計量僅需要無約束模型的計算，但仍需要計算協(xié)方差矩陣，其估計值由下式給出： 其中 和 分別表示估計和漸近。是一個 矩陣，J是約束條件的個數(shù)，K是待估計參數(shù)的個數(shù)，它的第j行是第j個約束關(guān)于 的第k個元素的導(dǎo)數(shù)。,四、拉格朗日乘數(shù)（LM）檢驗,第三個檢驗是拉格朗日乘數(shù)（LM）檢驗，亦稱score檢驗。該檢驗基于約束模型，無需估計無約束模型。 假設(shè)我們要在施加一組約束條件 的情況下極大化對數(shù)似然函數(shù)，令 表示拉格朗日乘數(shù)向量，并定義拉格朗日函數(shù),約束最大化問題的解就是下式的根： 其中 是矩陣 的轉(zhuǎn)置。 若約束成立，則加上它們不會造成對數(shù)似然函數(shù)極大值的顯著差異。這意味著在一階條件下，第二項應(yīng)該很小，特別是 應(yīng)該很小。我們可以直接檢驗之，即檢驗 ，這導(dǎo)致拉格朗日乘數(shù)檢驗（LM檢驗）。,直接檢驗拉格朗日乘數(shù)向量 比較困難，有另一個等價而簡單一些的方法。在約束估計值處計算的對數(shù)似然函數(shù)的導(dǎo)數(shù)是,如果約束條件成立，至少在抽樣變差的范圍內(nèi)成立，則應(yīng)有， 也就是說，在約束估計值處計算的對數(shù)似然的導(dǎo)數(shù)應(yīng)該近似為0。應(yīng)該記得，對數(shù)似然的一階導(dǎo)數(shù)向量是Score向量 。由于我們的檢驗基于這個向量，因而被稱為Score檢驗，但大多數(shù)文獻中還是稱之為拉格朗日乘數(shù)檢驗。,一階導(dǎo)數(shù)向量的方差是信息矩陣 ，我們用它來計算極大似然估計量的漸近協(xié)方差矩陣。 LM檢驗統(tǒng)計量是 在原假設(shè)下，LM統(tǒng)計量漸近服從自由度為約束條件個數(shù)的 分布。,實際應(yīng)用中，LM統(tǒng)計量有一個很簡單的公式： 其中N是觀測值數(shù)目， 是用一個元素均為1的列 向量對在約束估計值 處計算的對數(shù)似然函數(shù)的諸導(dǎo)數(shù)（即Score向量）進行線性回歸得到的非中心 。 非中心 的含義是，在計算總平方和TSS時，因變量不減去其均值，即 。,用這種方法計算LM統(tǒng)計量非常容易，但對于小樣本來說不可靠，犯第一類錯誤的可能性很大。 Davidson和MacKinnon（1983）提出了計算LM統(tǒng)計量的另一種方法，該方法克服了上述方法的缺點，而保持了其計算簡便的優(yōu)點，盡管計算中需要執(zhí)行他們所稱的雙長度回歸（double-length regression, DLR）。,五、實踐中三種檢驗法的選擇問題,當面臨具有相同漸近性質(zhì)的幾種統(tǒng)計量時，計量經(jīng)濟學(xué)家通常根據(jù)它們的小樣本性質(zhì)來進行選擇。然而實踐中在LR、W和LM的選擇上，計算成本往往起著關(guān)鍵作用。 計算LR統(tǒng)計量， 的約束和無約束估計值都要計算，如果二者都不難計算，則LR檢驗是三種檢驗中最具吸引力的。,計算W統(tǒng)計量僅需要無約束估計值。如果約束估計值的計算比較困難，而無約束估計值計算不困難，如約束條件是非線性的情況，則W統(tǒng)計量應(yīng)成為首選。 計算LM 統(tǒng)計量僅需約束估計值。如果約束估計值的計算比較容易，而無約束估計值的計算困難，例如施加約束后使非線性模型轉(zhuǎn)換成線性模型的情況，則LM統(tǒng)計量應(yīng)成為首選。 在計算方面的考慮不是問題的情況下，應(yīng)選擇LR檢驗。,*第三節(jié) 廣義矩（GMM）估計,前面討論的普通最小二乘法和極大似然估計法等方法都有本身的局限性。 普通最小二乘法必須在遵循經(jīng)典假設(shè)的條件下才具有優(yōu)良的性質(zhì)，在異方差和序列相關(guān)等違背基本假設(shè)的情況下，普通最小二乘法將不再是最佳線性無偏估計量； 應(yīng)用極大似然估計法的前提是對隨機擾動項的分布必須做出某種假設(shè)，如正態(tài)分布。,而廣義矩估計可以不考慮隨機擾動項的準確分布信息，且允許隨機擾動項存在異方差和自相關(guān)等違背經(jīng)典假設(shè)的情況，在很多方面具有獨特的優(yōu)勢。 GMM是一種大樣本估計方法，在大樣本情況下GMM估計量漸近有效。普通最小二乘法、極大似然估計和工具變量法等許多估計方法都可以看作是廣義矩估計的特例。,一、矩估計法,矩估計法（Method of Moments）是GMM法的基礎(chǔ)。 （一）矩估計原理 一般來說，樣本統(tǒng)計量中每一個都有它的總體對應(yīng)物，例如，樣本均值對應(yīng)總體期望值，樣本方差對應(yīng)總體方差。因此一個很自然的想法是用諸樣本“矩”作為總體參數(shù)的估計量。,設(shè) 為隨機變量， 是來自 的樣本，連續(xù)型隨機變量和離散型隨機變量 的前k階矩分別定義為： 其中， 為連續(xù)型隨機變量 的概率密度函數(shù)， 為離散型隨機變量 的分布函數(shù)，是參數(shù)向量， ?？傮w矩是 的函數(shù)。,設(shè)函數(shù)關(guān)系如下 這是一個包含 k個未知參數(shù) 的方 程組。,可以從上述方程組解出 ，得到,樣本矩 依概率收斂于相應(yīng)的總體矩 ，樣本矩的連續(xù)函數(shù)依概率收斂于相應(yīng)的總體矩的連續(xù)函數(shù)，因此，可用樣本矩 作為相應(yīng)的總體矩的估計量，而以樣本矩的連續(xù)函數(shù)作為相應(yīng)的總體矩的連續(xù)函數(shù)的估計量。以 分別代替上式中的 ，得到 的估計量 這種估計方法稱為矩估計法。,例4.3： ， 未知， 是來自 的樣本觀測值，試用矩估計法求參數(shù) 的估計量 。 解：樣本一階和二階原點矩分別為： ， 因為矩估計認為樣本矩等于總體矩，所以總體矩的估計量為：,對于正態(tài)總體， 分別為總體的均值和方差，均值和方差與總體一階二階原點矩有如下關(guān)系： 所以根據(jù)矩估計，正態(tài)總體的均值 和方差 的估計量為：,（二）OLS和LM估計量的矩估計,考慮經(jīng)典線性回歸模型的OLS估計量，該模型的一個重要假設(shè)條件是解釋變量與擾動項無關(guān)，即 這組矩條件的樣本對應(yīng)物是 的估計量是滿足這些矩條件的 。不難看出，這些矩條件正好是OLS估計量的正規(guī)方程，因此我們看到，OLS估計量是矩估計量。,極大似然估計量是通過對數(shù)似然的導(dǎo)數(shù)等于0得到的，對于滿足正則條件的密度，有： 其中f（.）為概率密度函數(shù)，是參數(shù)向量。 我們通過令上式的樣本對應(yīng)物等于0來求極大似然估計量： 可見，極大似然估計量也可以通過一組矩條件用矩估計法導(dǎo)出。,二、廣義矩法,在矩估計中，矩條件的個數(shù)恰好等于要估計參數(shù)的數(shù)目，即方程個數(shù)等于未知參數(shù)的個數(shù)，所以存在未知參數(shù)的唯一解。 如果矩條件的數(shù)目大于參數(shù)的個數(shù)，就引出了廣義矩法 （Generalized Method of Moments，GMM）,廣義矩法直接從模型所施加的矩條件來估計模型，這些矩條件有時是線性的，但多數(shù)情況下是非線性的。我們在前面矩估計法的介紹中討論了構(gòu)建OLS和LM估計量的矩條件。 下面我們給出矩條件的一般定義。,矩條件的一般形式為： 為了表述的方便，將上式寫成,其中 表示有R個元素的向量函數(shù)，為K維未知參數(shù)向量， ， 和 為模型中全部變量，如 為解釋變量向量，為工具變量向量。 為了估計 ，我們考慮上式的樣本對應(yīng)物,如果矩條件的個數(shù)R等于未知參數(shù)的個數(shù)K，則有可能令 的R個元素等于0，解出 的唯一解，得到一個一致估計量； 若 是 的非線性函數(shù)，則可能得不到解析解；如果矩條件的個數(shù)小于參數(shù)的個數(shù)，則參數(shù)向量 不可識別；如果矩條件的個數(shù)大于參數(shù)的個數(shù)，即 ，我們無法通過令 等于0求得的唯一解，因為方程數(shù)目多于變量個數(shù),（一）廣義矩估計方法概要,在矩條件的個數(shù)大于參數(shù)的個數(shù)（ ），如工具變量的個數(shù)多于原解釋變量的數(shù)目的情況下，我們不能通過設(shè)定 來唯一確定參數(shù)向量 的估計量，為了充分利用 個矩條件的信息，我們只能轉(zhuǎn)而借助最優(yōu)化方法的思路，選擇使得樣本矩向量從總體上盡可能接近于0的 的估計量。 這就是廣義矩估計方法的思路。具體的做法是將下面的加權(quán)平方和（亦稱為距離函數(shù)）,作為目標函數(shù)，求出使該目標函數(shù)達到最小的 的值 ，就得到GMM估計量。 上式中，為任意正定矩陣，稱為權(quán)矩陣，假設(shè)它收斂于一個常數(shù)矩陣W，即， 權(quán)矩陣可能依賴于數(shù)據(jù)，但不是 的函數(shù)。權(quán)矩陣在某種意義上反映了諸矩條件在距離函數(shù)中所占的權(quán)重，因此可以考慮將它設(shè)定為一個對角矩陣，其對角線元素是各個矩的方差的倒數(shù)。,至此，我們將矩條件的個數(shù)大于參數(shù)的個數(shù)情況下參數(shù)的估計問題化為如下的最小化問題： 求解此最優(yōu)化問題，得到的估計量就是廣義矩估計量（GMM）估計量 。 盡管一般情況下我們無法得到它的解析解，但可以證明，在某些弱正則條件下，GMM估計量是一致和漸近正態(tài)估計量。實踐中通常采用數(shù)值解法求解上式中的最小化問題得到GMM估計量。,不