第4章 多元回歸：估計與假設(shè)檢驗

1、第四章 多元回歸：估計與假設(shè)檢驗本章要點1.三變量線性回歸模型2.多元線性回歸模型的若干假定2.三變量線性回歸模型的OLS估計量以及OLS估計量的方差與標準誤3.多元回歸的擬合優(yōu)度：多元判定系數(shù)R24.多元回歸的假設(shè)檢驗5.其他問題一、三變量線性回歸模型及古典模型的假定 三變量線性回歸模型的非隨機總體回歸函數(shù)（PRF）一般可以表示為： 隨機形式： 其中，Y為應(yīng)變量；X1,X2為解釋變量；u為隨機誤差項；t表示第t期觀察值。B1是截距，表示當X1,X2為零時Y的平均值。B2、B3稱為偏回歸系數(shù)。l三變量線性回歸模型的PRF也是給出了在給定解釋變量的情況下，相應(yīng)的Y總體的條件均值。12233()t

2、ttEYBBXBX12233()ttttttYBBXBXuEYu 偏回歸系數(shù) 三變量線性回歸模型中的斜率系數(shù) B2,B3 稱為偏回歸系數(shù)(Partial regression coefficient)或偏斜率系數(shù)(partial slope coefficient)。 其表示的意義為 B2度量了在 X3 保持不變的情況下單位X2變動引起Y均值的改變量； 同樣，B3度量了在X2保持不變的情況下,單位X3變動引起Y均值的改變量。 例如：23( )15 1.20.8tttE YXX 包含多個解釋變量的回歸模型稱為多元回歸模型。多元是指由多種因素對應(yīng)變量有影響。本章將以三變量線性回歸模型為例來講解多元

3、回歸模型。一旦掌握了三變量模型，就很容易將結(jié)論擴展到更多元的線性回歸模型。多元線性回歸模型的若干假定(1)回歸模型是參數(shù)線性的(2)回歸模型是正確設(shè)定的。(3)解釋變量與隨機誤差項不相關(guān)。(4)隨機誤差項均值為零多元回歸模型(5)不同隨機誤差項的方差相同，即：(6)不同隨機誤差項之間不相關(guān)，或者無自相關(guān)，即：(7)解釋變量 X2和X3之間不存在完全共線性，即兩個解釋變量之間無嚴格的線性關(guān)系。 如果變量 X2能表示為另一變量 X3的線性函數(shù)，則稱 X2 和X3之間是共線性的。在X2和X3存在共線性的情況下,不能通過一個樣本估計出B2和B3的參數(shù)值。 注意：雖然在實際中很少遇到完全共線性的情況，但

4、是高度共線性或近似共線性的情況還是很常見的。(8)隨機誤差項服從均值為零，方差為 的正態(tài)分布，即：cov( ,)0,iju uij22v a r()tu2(0 ,)tuN二、三變量線性回歸模型的OLS估計量1.三變量線性回歸模型的OLS估計量 設(shè)某三變量線性回歸模型，其隨機樣本回歸函數(shù)為： 其中，b1 、b2、b3 分別是 B1、B2、B3的估計量 為殘差。確定樣本回歸函數(shù)為： 根據(jù)OLS的原理，求解 b1 、b2 、b3 的方法是選擇 b1、 b2、b3 使得下式中的RSS最小化，即： RSS RSS（YtYt真實值與估計值之差的平方和）真實值與估計值之差的平方和）12233ttttYbb

5、Xb Xete12233tttYbb Xb X1232212233minRSS:()ttttbbbeYbb Xb X、求解該最小化問題后得到如下正規(guī)方程式：將以上三個正規(guī)方程做簡單代數(shù)變換，得到：12233Ybb Xb X221222323tttttYXbXbXbXX231322333ttttttY XbXbXXbX12233bYb Xb X22332322222323()()()()()()()ttttttttttty xxy xxxbxxxx23222332222323()()()()()()()ttttttttttty xxy xxxbxxxx其中，小寫字母表示與其樣本均值的離差，（例如

6、： ）ttyYY2.三變量模型OLS估計量的方差與標準誤根據(jù)三變量線性回歸模型OLS估計量的推導(dǎo)式可以知道， 、 、 估計量的方差與標準誤為：1b2b3b22222332232321222232321var()()ttttttttXxxxX Xxxbnxxxx11()var()se bb23222222323var()()()()tttttxbxxx x22()var()se bb22232222323var()()()()tttttxbxxxx33()var()se bb 對于以上諸式中的未知量 ，可用其OLS估計量來代替，即：3.高斯-馬爾柯夫定理 在滿足古典線性回歸模型假設(shè)的前提下，多元

7、線性回歸模型中參數(shù)的估計量依然是總體回歸模型參數(shù)的最優(yōu)線性無偏估計量（BLUE）。223ten2三、多元回歸擬合優(yōu)度的判定：多元判定系數(shù)對于多元線性回歸模型來說，也有如下等式的成立： 與雙變量模型相同，決定系數(shù) 定義為：2ESSRTSS2R其中，為應(yīng)變量的總平方和；為回歸平方和為殘差平方和。TSSESSRSSTSSESSRSS四、多元回歸的假設(shè)檢驗在隨機誤差項服從正態(tài)分布以及多元回歸的其他基本假定的情況下，可以證明、均服從均值分別為 、和，方差分別為 、 、 的正態(tài)分布。1.回歸系數(shù)的顯著性檢驗。針對 的原假設(shè)和備擇假設(shè)為： 進行假設(shè)檢驗的檢驗統(tǒng)計量為： 針對 ， 的原假設(shè)和備擇假設(shè)分別為：1

8、b2b3b1B2B3B0111:0;:0.HBHB1131()nbBttse b2232()nbBttse b3333()nbBttse b1( )Var b2()Var b3()Var b1B2B3B0212:0;:0.HBHB0313:0;:0.HBHB及檢驗統(tǒng)計量分別為： 顯著性檢驗法1.對于假設(shè)2.計算t值3.根據(jù)顯著性水平 計算臨界值并得到拒絕域4.比較t值和拒絕域并作出判斷 置信區(qū)間法 由于多元線性回歸模型截距和系數(shù)的檢驗統(tǒng)計量為t統(tǒng)計量，即： 所以可以得到一個該參數(shù)的置信度為 的置信區(qū)間： 滿足：01:0;:0,1,2,3iiHBHBi3()iinibBttse b/ 2/ 2(

9、3)(),(3)()iiiibtnse bbtnse b/ 2/ 2(3)()(3)()1iiiiiP btnse bBbtnse b1 對比參數(shù)的置信區(qū)間和零假設(shè)值，如果置信區(qū)間包含零假設(shè)值，則不能拒絕零假設(shè)，否則，拒絕零假設(shè)。2.檢驗聯(lián)合假設(shè)： 對于一個多元線性回歸模型來說，一個或多個解釋變量各自對應(yīng)變量沒有影響，但卻有可能聯(lián)合對應(yīng)變量有影響。所以有必要對這些變量的系數(shù)作聯(lián)合的假設(shè)檢驗，即檢驗假設(shè)： 或 以上檢驗稱為多元回歸的總體顯著性檢驗。 如何檢驗?zāi)?？可以采用方差分析的公式?20:0HR023:0HBB2023:00HBBR或T S SE S SR S S 對于TSS、RSS、ESS

10、來說，其自由度分別為：對于三變量線性回歸模型來說，有下表 在滿足CLRM基本假定，在零假設(shè)： 下 可以證明變量服從分子自由度為k-1，分母自由度為n-k的F分布，即：對于三變量線性回歸模型來說，則有：023:0HBB23XX/./(1)/./()E SSdfE SSkFR SSdfR SSnk由和解 釋 的 變 異未 解 釋 的 變 異(1,)FFknk(2,3)FFn F檢驗的理論原理是：如果Y由回歸解釋的部分（即由X2和X3解釋的部分）比未被回歸解釋的部分大，則F值將大于1。因此，隨著解釋變量對應(yīng)變量Y變異的解釋比例逐漸增大，F(xiàn)值也將逐漸增大。因此，F(xiàn)值越大，則拒絕零假設(shè)的理由越充分。 例

11、如：古董鐘拍賣價格一例（見課本第77頁） 回歸結(jié)果如下： 從結(jié)果來看，獲得F值的概率幾乎為0，所以，能夠拒絕零假設(shè)：鐘表年代和競標人數(shù)聯(lián)合對古董競標價格沒有影響。 F與 之間的重要關(guān)系 可以證明，判定系數(shù) 與F值之間有如下重要關(guān)系： 其中，n為觀察值的個數(shù)，k為包括截距在內(nèi)的解釋變量的個數(shù)。 因此，可以說，前面討論過的F檢驗也可用于檢驗 的顯著性。鑒于此，對于總體回歸方程的顯著性的F檢驗可以采用 的形式。方差分析表也可以等價地表示為下表：2R22/(1)(1) /()RkFRnk2R2R2R五、多元回歸的其他問題1.設(shè)定誤差的定義 以鐘表拍賣為例，可以設(shè)立拍賣價格和鐘表年代的一元線性回歸模型，

12、拍賣價格和競標人數(shù)的一元線性回歸模型，拍賣價格和鐘表年代、競標人數(shù)的三變量線性回歸模型。其回歸結(jié)果如下：21 9 1 .6 6 6 21 0 .4 8 5 6iiYX38 0 7 .9 55 4 .5 7iiYX23(7 .6 2 2 6 )(1 3 .9 6 5 3 )( 9 .7 4 3 7 )1 3 3 6 .0 4 91 2 .7 4 18 5 .7 6 4iiitYXX t = (-0.7248) (5.8457) r2=0.5325 F=34.17 t = (3.496) (2.345) r2=0.1549 F=5.502 P = (0.0000) (0.00000) (0.000

13、00) R2=0.89 F=118.06 注意，在兩個雙變量模型中，解釋變量的影響包括了該解釋變量的直接影響和其他變量的間接影響；而在三變量模型中，當推導(dǎo)一個解釋變量對應(yīng)變量的影響時，則是假設(shè)另外一個解釋變量保持不變，這是一種凈影響或凈效果。 除了以上的一點外，從以上三個回歸方程式可以知道，鐘表年代和競標人數(shù)無論是單獨地，還是聯(lián)合地都對拍賣價格有重要影響。因此，如果從模型式中省略任何一個變量，都會導(dǎo)致設(shè)定偏差，或設(shè)定誤差。 經(jīng)驗告訴我們，建模過程中，要以經(jīng)濟理論為依據(jù)，并充分利用以往的工作經(jīng)驗，一旦建立起模型，就不要隨意地從模型中刪除某個解釋變量。2.校正的判定系數(shù) 校正的判定系數(shù)的提出是因為

14、普通的判定系數(shù) 會隨著解釋變量的個數(shù)的增加而變大，比如鐘表拍賣價格一例。這是因為，在 的定義中，并沒有考慮到不同模型自由度的差異。2R2R2R 正是基于以上不足，計量經(jīng)濟學(xué)者們提出了能根據(jù)模型中解釋變量的個數(shù)進行調(diào)整的，經(jīng)過調(diào)整的判定系數(shù)，稱為校正判定系數(shù) 。其計算公式為： 校正的判定系數(shù)有如下性質(zhì)：(1)如果 ，則 。隨著模型中解釋變量個數(shù)的增加，校正判定系數(shù)越來越小于未校正判定系數(shù)。(2)雖然未校正判定系數(shù)總為正，但校正判定系數(shù)可能為負。3.什么時候增加新的解釋變量？ 通常的做法是：只要校正判定系數(shù) 的值增加（即使 值小于 的值），就可以增加新的解釋變量。但問題是，什么時候 值開始增加呢？

15、理論表明：如果增加變量系數(shù)的|t|值大于1， 就會增加，這里的t值是在零假設(shè)：總體系數(shù)為零下計算得到的。（例子：p166） 2R2211(1)nRRnk1k 22RR2R2R2R2R2R4.受限最小二乘(略) 對 的F檢驗提供了對所有回歸系數(shù)為零的原假設(shè)的檢驗，但是有時我們想對部分回歸系數(shù)所組成的子集是否顯著進行聯(lián)合檢驗（比方說，在有四個解釋變量的線性回歸模型中，對其中的三個作是否共同顯著的聯(lián)合檢驗）。 考慮如下模型： 因為關(guān)于這個模型系數(shù)沒有任何假設(shè)，稱為非受限模型（UR）。假設(shè)我們想檢驗其中q個回歸系數(shù)是否同時為零，為此，可以將上式分為兩部分，第一部分包含k-q個變量（包括常數(shù)項），第二部分包含q個變量。 如果所有后q個系數(shù)都為零，則修正后的模型將為受限模型（R）：（原假設(shè)則為 ）2R122 ,ttkk ttYBB