線性回歸模型檢驗方法拓展三大檢驗

1、.第四章線性回歸模型檢驗方法拓展三大檢驗作為統(tǒng)計推斷的核心內(nèi)容，除了估計未知參數(shù)以外，對參數(shù)的假設(shè)檢驗是實證分析中的一個重要方面。對模型進行各種檢驗的目的是，改善模型的設(shè)定以確保基本假設(shè)和估計方法比較適合于數(shù)據(jù)，同時也是對有關(guān)理論有效性的驗證。一、假設(shè)檢驗的基本理論及準則假設(shè)檢驗的理論依據(jù)是“小概率事件原理”，它的一般步驟是（1）建立兩個相對（互相排斥）的假設(shè)（零假設(shè)和備擇假設(shè)）。（2）在零假設(shè)條件下，尋求用于檢驗的統(tǒng)計量及其分布。（3）得出拒絕或接受零假設(shè)的判別規(guī)則。另一方面，對于任何的檢驗過程，都有可能犯錯誤，即所謂的第一類錯誤p（拒絕h0|h0為真）=和第二類錯誤p（接受h0|h0不真）

2、=在下圖，粉紅色部分表示p（拒絕h0|h0為真）=。黃色部分表示p（接受h0|h0不真）=。精品.而犯這兩類錯誤的概率是一種此消彼長的情況，于是如何控制這兩個概率，使它們盡可能的都小，就成了尋找優(yōu)良的檢驗方法的關(guān)鍵。下面簡要介紹假設(shè)檢驗的有關(guān)基本理論。參數(shù)顯著性檢驗的思路是，已知總體的分布，其中是未知參數(shù)?？傮w真實分布完全由未知參數(shù)的取值所決定。對提出某種假設(shè)，從總體中抽取一個容量為n的樣本，確定一個統(tǒng)計量及其分布，決定一個拒絕域，使得，或者對樣本觀測數(shù)據(jù)x，。是顯著性水平，即犯第一類錯誤的概率。既然犯兩類錯誤的概率不能同時被控制，所以通常的做法是，限制犯第一類錯誤的概率，使犯第二類錯誤的概率

3、盡可能的小，即在 的條件下，使得，達到最大，或精品.，達到最小。其中表示總體分布為時，事件的概率，為零假設(shè)集合（只含一個點時成為簡單原假設(shè)，否則稱為復雜原假設(shè)）。為備擇假設(shè)集合，并且與不能相交。由前述可知，當為真時，它被拒絕（亦即h0不真時，接受h0）的概率為，也就是被接受（亦即h0不真時，拒絕h0）的概率是（功效），我們把這個接受的概率稱為該檢驗的勢。在對未知參數(shù)作假設(shè)檢驗時，在固定下，對的每一個值，相應地可求得的值，則定義稱為該檢驗的勢函數(shù)。統(tǒng)計檢驗的勢（函數(shù)）主要用于比較假設(shè)檢驗的優(yōu)劣。于是一個好的檢驗方程是 或 為了理論上的深入研究和表達方便，我們常用函數(shù)來表示檢驗法。定義函數(shù)它是拒絕

4、域的線性函數(shù)，僅取值0或1。反之，如果一個函數(shù)中只取0或1，則可作為一個拒絕域。也就是說，和之間建立了一種對立關(guān)系，給出一個就等價于給出了一個檢驗法，（我們稱為檢驗函數(shù)）。那么，對于檢驗法的勢函數(shù)為精品.于是，一個好的檢驗法又可寫為稱滿足上式的檢驗法為最優(yōu)勢檢驗。如果對于復雜原假設(shè)和備擇假設(shè)，則稱為一致最優(yōu)勢檢驗()。 奈曼皮爾遜（）基本引理給出于是的充要條件。定理設(shè)是來自總體分布密度為的樣本，為未知參數(shù)，對于簡單假設(shè)檢驗問題，檢驗函數(shù)是顯著性水平為的最優(yōu)勢檢驗的充要條件是，存在常數(shù)，使得滿足這就是著名的奈曼皮爾遜基本引理，需要指出的是，上述定理中的檢驗函數(shù)通常稱為似然比檢驗函數(shù)，若記稱為似然

5、比統(tǒng)計量。如果較大，意味著較大。所以在為真時觀測到樣本點的可能性比為真時觀察到樣本點的可能性小，因而應拒絕原假設(shè)；反之，如果較小則應接受。此外，利用，上述定理中的精品.可寫為這說明對于簡單假設(shè)檢驗問題，似然比檢驗是最優(yōu)的，反之最優(yōu)勢檢驗法也一定是似然比檢驗法。而大量的文獻都已證明了傳統(tǒng)假設(shè)檢驗中的檢驗、檢驗、檢驗和檢驗都是最優(yōu)勢檢驗。于是，我們可以放心地回到這部份的主題計量經(jīng)濟模型的（假設(shè)）檢驗方法。二、一般線性框架下的假設(shè)檢驗設(shè)多元回歸模型為 （2-43）式（2-43）的統(tǒng)計檢驗通常包括以下三種情況1、單個系數(shù)的顯著性檢驗。2、若干個回歸系數(shù)的聯(lián)合檢驗。3、回歸系數(shù)線性組合的檢驗。從檢驗的方

6、面看，考慮以下典型假設(shè) 、。即解釋變量對y沒有影響，這是最常見的參數(shù)顯著性檢驗。 、 。是某一具體值。例如表示價格彈性，我們也許希望它是-1。精品. 、。這里的可以看成生產(chǎn)函數(shù)中資本和勞動的彈性，此時檢驗是否規(guī)模報酬不變。 、或。即檢驗和的系數(shù)是否相同。 、。即檢驗全部解釋變量都對沒有影響。 、。這里的含義是把向量分為兩個子向量和，分別含有和個元素。檢驗就是檢驗某一些解釋變量（的一部分）對沒有影響。諸如以上的情形都可歸于一般的線性框架 （2-44）注意：這里。其中是由已知常數(shù)構(gòu)成的矩陣（），r是各元素為常數(shù)（一般是0或1）的矩陣。于是，對于上述情形，的具體表示為（i）（ii）（iii）（iv）

7、（v）精品.（vi）將上述假設(shè)問題一般化，則為了檢驗這個假設(shè)，應先估計出，計算，若其值較“小”，（接近于0），則不應否定原假設(shè)；而如果其值較大，那么應對提出懷疑。為此我們先考察的分布。 對于ols的，我們知道。這里的是所有解釋變量觀測值組成的矩陣，其中不含全是1的第一列，的數(shù)學期望和方差分別是所以于是，在成立的條件下那么，由有關(guān)的數(shù)理統(tǒng)計知識可知，其中的方差經(jīng)過構(gòu)造，服從自由度為的卡方分布，為參數(shù)中非零的個數(shù)，即 （2-45）精品. 此外，我們還可以證明 （殘差平方和的分布）。因此，由上述兩式，可構(gòu)造在下的f檢驗統(tǒng)計量 （2-46）注意，（亦即）。于是，檢驗的程序是，如果計算出的f值大于某個事

8、先選定的臨界值，則拒絕。具體描述如下、此時為。為,即主對角線上的第個元素，是一k階對稱方陣。因此 （2-47）取平方根，這就是傳統(tǒng)的關(guān)于回歸參數(shù)顯著性的t檢驗法。、類似，這里 （2-48）此時也可以計算，比如的95%置信區(qū)間，而不用檢驗關(guān)于的具體假設(shè)，這個置信區(qū)間是。精品.、給出了兩個估計系數(shù)的和，而此時，式中，。那么于是檢驗統(tǒng)計量為 （2-49）或者，也可以計算的95%置信區(qū)間、類似，可推得此時的檢驗統(tǒng)計量為 （2-50）、此時 ，那么 （2-51）這就是我們熟悉的關(guān)于回歸方程顯著性的f檢驗。、這里對應于。把分塊為，可以證明（過程略）精品.此時 （2-52）其中，是對做線性回歸的殘差平方和。

9、是對所有回歸的。通過上述示例，我們看到在一般線性框架下的假設(shè)檢驗，它涵蓋了經(jīng)典計量經(jīng)濟分析中的所有統(tǒng)計檢驗方法。有了它，我們可以方便地實現(xiàn)許多實證問題中線性意義下的統(tǒng)計檢驗。三、一般線性假設(shè)檢驗的另一種形式 1、“有約束”與“無約束”檢驗。上面第種情況出現(xiàn)的統(tǒng)計量就是這里所說的另一種形式。顯然是的特殊情況，而事實上我們還將看到其它的情況也可歸于。另外，還有一個問題，即類似于第種情況的檢驗與通常帶約束的最小二乘估計的關(guān)系是什么？也就是說，對未知參數(shù)有約束限制的模型進行回歸后的結(jié)果，與對沒有約束限制的模型回歸后的參數(shù)檢驗的結(jié)果是否一致？下面的具體分析回答了這一問題。事實上，無論還是都可以認為用了兩

10、種不同回歸的結(jié)果。第一種回歸可看作有約束的回歸，或者說中的約束條件實際上是對估計方程施加的。即中有約束回歸是將從回歸式中省略掉，或等價地說，令為零；在中，有約束的回歸只用了前面一部分變量（）。而、兩種情況的第二種回歸是無約束回歸，它們都用了所有的變量。精品.記無約束模型的殘差平方和是，有約束模型的殘差平方和是，現(xiàn)在的問題是對某些的顯著性檢驗也就是對應的加入模型后，殘差平方和是否顯著減少。2、帶約束條件的最小二乘估計。根據(jù)上述第種情形，考慮離差形式的回歸方程對其施加約束，代入回歸方程或由變量對的回歸便可得到的受約束估計值，而這個回歸的就是有約束的，即。實際上，這就是所謂帶約束條件的最小二乘估計。

11、而有約束的與無約束的之間有什么樣的差異？3、“另一種形式”的得到。一般地，在約束條件下，求使達到最小的，構(gòu)造拉格朗日函數(shù) （2-53）運用約束條件下的ols方法可得到（過程略） （2-54）其中，是無約束的估計量，有約束回歸的殘差為精品.將其轉(zhuǎn)置，再與其自身相乘，有再把式（2-54）的代入并化簡得 （2-55）與式（2-46）相比，即 （2-46）中除外的分子完全相同，這就得到了檢驗假設(shè)的統(tǒng)計量的“另一種形式”為 （2-56）這也恰好說明前面所述的6種檢驗的情形都可以用上述方式進行，即擬合一個有約束的回歸，用有約束模型的殘差平方和與無約束模型的殘差平方和之差的大小（或記為）來推斷原假設(shè)是否成立

12、。就是說一般的線性假設(shè)情形都是的特例，或者式（2-56）所示的f統(tǒng)計量是普遍適應于一般線性假設(shè)的一種重要檢驗方法。即 （2-57）其中，和分別是有約束模型和無約束模型的殘差平方和,是約束條件個數(shù)。同時，這也回答了本小節(jié)開始的問題，即對于未知參數(shù)有約束限制的模型進行回歸后的結(jié)果，與對無約束限制的模型回歸后的參數(shù)檢驗的結(jié)果應該是一致的。精品.四、似然比檢驗（）由前述可知，在統(tǒng)計推斷中，古典檢驗方法是建立在似然比的基礎(chǔ)之上。由此可見似然比檢驗（）的重要性（當然它的實用性也會在應用中顯現(xiàn)出來）。奈曼認為（，1928）檢驗只適用于對線性約束的檢驗（在張曉峒教授的教科書里如此說，但這個說法可能存在偏頗。在

13、green的第五版教科書里，描述lr方法是可以用于非線性約束檢驗的）。該檢驗的基本思路是如果約束條件成立，則相應的約束模型與非約束模型的極大似然函數(shù)值應該是近似相等（以下簡稱似然函數(shù)）。先看一個二元函數(shù)的簡單例子，設(shè) （1）其對數(shù)似然函數(shù)為 （2）假設(shè)，則上式為 （3）式（3）是在線性約束（先驗）下估計的，故稱有約束對數(shù)似然函數(shù)（rllf），而式（2）稱為無約束對數(shù)似然函數(shù)（ullf）。為了檢驗先驗約束的真實性，檢驗使用如下統(tǒng)計量 （4）式中，為無約束似然函數(shù)，為有約束似然函數(shù)?？梢宰C明，在大樣本下，由精品.式（4）給出的統(tǒng)計量服從自由度為假設(shè)中約束條件個數(shù)的卡方分布。本例中線性約束只有一個，

14、所以自由度為1。 檢驗的基本思想是，如果先驗約束是真實的，則有約束與無約束的對數(shù)似然函數(shù)不應有差異。這時，式（4）中的將為0。但如果先驗約束不真，則兩個對數(shù)似然函數(shù)必定相異。根據(jù)統(tǒng)計知識，在大樣本下，服從分布，于是能找出這個差異在或上是否在統(tǒng)計上顯著，同時根據(jù)值原理，還能計算出相應的值。一般而言，似然比被定義為原假設(shè)下似然函數(shù)的最大值與無約束條件下似然函數(shù)的最大值的比率。前面我們得到了線性回歸模型參數(shù)的極大似然估計量它們在無約束條件下，使似然函數(shù)值最大化。把它們代入似然函數(shù)可得無約束的最大似然值（推導過程略） （2-58）式中為一常數(shù)，與模型中的任何參數(shù)無關(guān)，是殘差平方和。另一方面，如果在約束

15、條件下，使似然函數(shù)值最大化，令和為有約束的參數(shù)估計值，是約束條件下的最大似然值；令和是無約束的參數(shù)估計值，無約束的最大值為，則當然不會超過，但如果約束條件“有效”，應當“逼近”，這就是似然比檢驗的基本思路（在有約束條件下，即模型中有沒有出現(xiàn)的變量，其擬合效果與無約束條件下的模型擬合效果一樣，只能說明有約束條件的模型好）。因此，定義似然比為精品. （2-59）顯然，。如果原假設(shè)為真，我們認為的值會接近1?；蛘哒f，如果太小，我們則應該拒絕原假設(shè)。似然比檢驗的建立就是要使得當時，拒絕原假設(shè)。即（為顯著性水平）。在某些情況下，拒絕域可以轉(zhuǎn)化為含有我們熟知的統(tǒng)計量或統(tǒng)計量的形式。不過，普遍適用的是大樣本

16、檢驗?？梢宰C明，對大樣本來說，統(tǒng)計量 （2-60）具體地，如果很大，則應拒絕原假設(shè)。即似然比檢驗的拒絕域為，其中為卡方分布下的臨界值。前面已得到無約束的最大似然值，為了保證的計算，我們還需要計算出約束條件下的最大似然值。為此，構(gòu)建拉格朗日函數(shù)，使其最大化式中的是的拉格朗日乘數(shù)向量，就是無約束的對數(shù)似然函數(shù)，可得約束條件下的。由于，在正態(tài)性假定下，參數(shù)的極大似然估計量與最小二乘估計量實際上是相同的，此時得到的就與上一小節(jié)所得到，即與式（2-54）相同。殘差為，而的帶約束的極大似然估計為，因此精品. （2-61）式中為常數(shù)。將式（2-58）和式（2-61）代入式（2-60），就得到了似然比檢驗統(tǒng)計

17、量的另一種形式 （2-62）由此可見，計算統(tǒng)計量需要分別擬合無約束模型和有約束模型。事實上，前面講的各種檢驗,如檢驗、檢驗，式（2-56）等都可以根據(jù)似然比原理推導出來。這說明似然比檢驗是統(tǒng)計檢驗的理論基礎(chǔ)。五、沃爾德檢驗（）檢驗（，1943）適用于線性或非線性約束條件的檢驗，其優(yōu)點是只需要估計出無約束模型，當約束模型的估計很困難時，該方法尤其適用。檢驗的原理是通過測量無約束估計量與約束估計量之間的距離來實現(xiàn)對約束條件的檢驗。先看一個簡單的例子，設(shè)模型為檢驗線性約束條件是否成立？檢驗只需對上述無約束模型進行估計，因為對于約束估計量和來說，必然有。如果約束條件成立，則無約束估計量應該近似為0。如

18、果約束條件不成立，則無約束估計量應該顯著地不為0。可以證明，在經(jīng)典假定下，（）漸進服從均值為，方差為的正態(tài)分布（注意這里數(shù)學上的表達習慣）。但通常里含有總體精品.未知方差，故用的樣本估計量（此記號表明含有總體未知方差的估計），因此，定義統(tǒng)計量為 在線性約束條件成立的情況下，可以得到漸進服從分布（注意這里是線性約束）。更一般的情況（既包括線性，也包括非線性），由前述所知，估計量服從正態(tài)分布推出了式（2-45）。這里，我們考慮的漸近正態(tài)性，也能得到類似式（2-45）的結(jié)果，即 （2-63）其中，是總體未知方差，是中約束條件個數(shù)。用的一致估計量代替式中的，漸近分布成立，或者說大樣本情形的統(tǒng)計量為 （

19、2-64）類似于前面的式（2-56），上式的分子也可寫為。于是，統(tǒng)計量具有另一種形式， （2-65）與檢驗的情況一樣，呈大樣本卡方分布。如果的值大于卡方分布的上側(cè)臨界值，則拒絕原假設(shè)。而前面的式（2-56）也可歸為檢驗類。精品.六、拉格朗日乘數(shù)檢驗（）檢驗是由于1960年和于1948年分別提出來的。不同的是檢驗只需估計有約束模型，當施加約束條件后的模型形式變得簡單時，通常使用該檢驗。設(shè)無約束模型的對數(shù)似然函數(shù)為對于無約束模型的極大似然估計值有若約束條件成立，則有約束條件下的極大似然估計值應與的無約束模型的極大似然估計值非常接近，即成立。檢驗的原理是，如果顯著的不為零，則約束條件不成立。統(tǒng)計量定

20、義為其中，是以為元素組成的列向量，同時用替換了，稱為信息矩陣，其逆矩陣是的方差-協(xié)方差矩陣。在約束條件成立下，可以證明其中，為約束條件個數(shù)。有關(guān)信息矩陣的定義。如果是的極大似然估計量，由大樣本性或漸近性，精品.，其中，信息矩陣（它表示了參數(shù)估計的方差與協(xié)方差矩陣）的定義如下在線性模型的極大似然估計中，可知信息矩陣為它的逆矩陣為在信息矩陣里，非對角線上為0的項表明與是彼此獨立分布的。這里應注意比較檢驗中的。檢驗主要依賴于對數(shù)似然函數(shù)及信息矩陣。記，稱為在處的得分向量（即在處的一階偏導數(shù)）。無約束估計量的得分為，而有約束估計量的得分為，在約束條件有效的情況下，有?？梢宰C明，得分向量的均值為零，方差

21、協(xié)方差矩陣為信息矩陣，于是二次型服從自由度為的分布。 所以，當大樣本時，在下，利用有約束估計可得統(tǒng)計量 （2-66）這時精品.用和代替上式的和，以及，可得并考慮信息矩陣將和代入式（2-66），得如下結(jié)果 （2-67）此時，我們只需計算有約束的估計量，比較計算的是無約束的估計量，在許多情況下計算有約束估計量比計算無約束估計量容易，所以檢驗比較流行。恩格爾(engle，1982)證明了對于大樣本來說，檢驗可分兩步完成。第一步，計算有約束的估計量，從而得到殘差向量。第二步，讓對所有的變量回歸，可得回歸的可決系數(shù)。式（2-67）的統(tǒng)計量就是如下結(jié)果 （2-68）給定顯著性水平，得臨界值，當時(為樣本容

22、量)，則拒絕原假設(shè)。精品.檢驗方法實際上是從一個較簡單的模型開始，檢驗是否可以增加新變量。首先，對簡單模型(變量較少)回歸，得到殘差。如果“真實”模型變量很多，則這些變量加入模型應對有影響。其次，對所有變量回歸而得到的的大小就將直接決定是否應該增加新變量，即約束是否成立。如果很大()，則說明新增變量對有顯著影響，即真實模型應含較多變量，或者說對參數(shù)約束(比如某些=0)不成立。如果較小()，則說明新增變量對沒有顯著影響，真實模型就應是變量較少的簡單模型，即約束條件成立。這就是通常所說的“從一般到簡單”的模型“約化”方法。檢驗的具體步驟如下：1、用ols估計約束模型，計算殘差序列。2、建立輔助回歸

23、式其中，為隨機誤差項，3、用ols估計上式并計算可決系數(shù)。4、得到統(tǒng)計量5、給定顯著性水平，查卡方分布表，得臨界值，若，則拒絕原假設(shè)，說明無約束模型成立。精品.七、和的比較（一）三種檢驗方法一致之處1、三種檢驗方法都由極大似然估計而來。2、三種檢驗方法都用到了對數(shù)似然函數(shù)。3、三種檢驗方法都是針對模型約束條件進行檢驗。（二）三種檢驗方法不一致之處1、檢驗只適用于線性約束的檢驗，檢驗需要計算帶約束和無約束的對數(shù)似然函數(shù)值。2、檢驗和檢驗既適用于線性約束也適用于非線性約束的檢驗。3、檢驗只需要估計無約束的模型，而檢驗只需要估計約束模型，所以，當施加約束條件后模型形式變得簡單時，使用檢驗更方便。（三）三種檢驗方法的關(guān)系對于、和三個檢驗方法的選擇應以實際計算難易程度而定，一般來說，和檢驗優(yōu)于檢驗，因為和檢驗只需估計一個模型即可，而檢驗需要估計有約束和無約束兩種模型。并且，在小樣本條件有說明只有當檢驗的結(jié)果為拒絕原假設(shè)（約束條件不成立），或者檢驗的結(jié)果為接受原假設(shè)（約束條件成立）時，三種檢驗結(jié)果才是一致的。所以，三種檢驗方法有可能得出相互不一致的結(jié)論。精品.總之，當檢驗拒絕原假設(shè)時，其他檢驗也一樣。當檢驗沒有