第3章 雙線性模型：假設(shè)檢驗

1、第一部分第一部分 線性回歸線性回歸模型模型Chp 3 雙變量模型：假設(shè)檢驗雙變量模型：假設(shè)檢驗主要內(nèi)容主要內(nèi)容n古典線性回歸模型的假定古典線性回歸模型的假定nOLS估計量及其性質(zhì)估計量及其性質(zhì)nOLS估計量的方差與標準誤估計量的方差與標準誤nOLS估計量的抽樣分布（概率分布）估計量的抽樣分布（概率分布）n假設(shè)檢驗假設(shè)檢驗n擬合優(yōu)度擬合優(yōu)度n正態(tài)性檢驗正態(tài)性檢驗n預(yù)測預(yù)測3.1 3.1 古典線性回歸模型古典線性回歸模型線性回歸模型的基本假設(shè)線性回歸模型的基本假設(shè)假設(shè)假設(shè)1. 回歸模型是參數(shù)線性的，但不一定是變量回歸模型是參數(shù)線性的，但不一定是變量線性；線性； Yi=B1+B2Xi+ui假設(shè)假設(shè)2

2、. 解釋變量解釋變量X與擾動誤差項與擾動誤差項u不相關(guān)。不相關(guān)。 Cov(X, u)=0 假設(shè)假設(shè)3. 給定給定Xi，擾動項的期望或均值為零，即：，擾動項的期望或均值為零，即：E(u|Xi)=0； PRF : E(Y|Xi)=B1+B2Xi擾動項擾動項ui的條件分布的條件分布 假設(shè)假設(shè)4. ui的方差為常數(shù)，即同方差假定：的方差為常數(shù)，即同方差假定： Var(ui)= 2 PRF : Yi=B1+B2Xi同方差同方差PRF : Yi=B1+B2Xi異方差異方差 假設(shè)假設(shè)5. 無自相關(guān)假定，即：無自相關(guān)假定，即： Cov(ui, uj)=0, i j由該假定可得，由該假定可得，Cov(Yi, Y

3、j)=0, i j ，即，即Y也不相也不相關(guān)。關(guān)。 假設(shè)假設(shè)6. 回歸模型是正確設(shè)定的，即模型不存在設(shè)回歸模型是正確設(shè)定的，即模型不存在設(shè)定誤差（錯誤）無自相關(guān)假定，即：定誤差（錯誤）無自相關(guān)假定，即： Cov(ui, uj)=0, i j由該假定可得，由該假定可得，Cov(Yi, Yj)=0, i j ，即，即Y也不相關(guān)。也不相關(guān)。 假設(shè)假設(shè)7. 隨機誤差項隨機誤差項ui具有零均值、同方差具有零均值、同方差( u2)的正態(tài)分布：的正態(tài)分布： ui N(0, u2)3.2 最小二乘估計量的方差與標準誤最小二乘估計量的方差與標準誤在估計的參數(shù)在估計的參數(shù)b0和和b1的方差表達式中，都含有隨的方差

4、表達式中，都含有隨機擾動項機擾動項u的方差的方差 2。由于由于 2實際上是未知的，因此，實際上是未知的，因此， b0和和b1的方差實的方差實際上無法計算，這就需要對其進行估計。際上無法計算，這就需要對其進行估計。 2又稱為總體方差。又稱為總體方差。2i22en 222iYn-2e 其其中中是是的的估估計計量量，是是殘殘差差平平方方和和，即即 的的真真實實值值與與估估計計值值差差的的平平方方和和。稱稱為為自自由由度度，可可以以理理解解為為獨獨立立的的觀觀察察值值的的個個數(shù)數(shù)。由于隨機項由于隨機項ui不可觀測，只能從不可觀測，只能從ui的估計的估計殘差殘差ei出發(fā)，對總體方差進行估計。出發(fā)，對總體

5、方差進行估計。 可以證明可以證明， 2的的最小二乘估計量最小二乘估計量為為它是關(guān)于它是關(guān)于 2的無偏估計量。的無偏估計量。 12bYb X（2.162.16）22iiix ybx （2.172.17）OLS（2.162.16）和和（2.172.17）的的估估計計量量的的方方差差和和標標準準誤誤為為12i2212ivar=bXbnx （ ）11sevarbb （ ）（ ） 在隨機誤差項在隨機誤差項u u 的方差的方差 2估計出后，參數(shù)估計出后，參數(shù)b b1 1和和b b2 2的的方差方差和和標準差標準差的估計量分別是：的估計量分別是：22222ivar=bbx （ ）22sevarbb （ ）（

6、 ）2varsei 其其中中表表示示方方差差， 表表示示標標準準誤誤，是是擾擾動動項項 的的方方差差。22OLS 一一旦旦知知道道了了，就就可可以以求求出出等等式式右右邊邊的的項項，從從而而求求出出的的方方差差和和標標準準誤誤。通通常常根根據(jù)據(jù)下下式式估估價價22i=2en 222i2RSSY) .iieYY 其其中中是是的的估估計計量量，是是殘殘差差平平方方和和（），即即 的的真真實實值值與與估估計計值值差差的的平平方方和和， ( (n-2稱稱為為自自由由度度，可可以以理理解解為為獨獨立立的的觀觀察察值值的的個個數(shù)數(shù)。數(shù)學(xué)數(shù)學(xué)S.A.T一例的方差和標準誤一例的方差和標準誤數(shù)學(xué)數(shù)學(xué)S.A.T一

7、例小結(jié)一例小結(jié)數(shù)學(xué)數(shù)學(xué)S.A.T一例的估計函數(shù)為一例的估計函數(shù)為Y432.41380.0013(16.9061)(0.000245)iiXse 括號里的數(shù)字表示估計的標準誤。括號里的數(shù)字表示估計的標準誤。3.3 最小二乘估計量的性質(zhì)最小二乘估計量的性質(zhì) 當(dāng)模型參數(shù)估計出后，需考慮參數(shù)估計值的當(dāng)模型參數(shù)估計出后，需考慮參數(shù)估計值的精度，即是否能代表總體參數(shù)的真值，或者說需精度，即是否能代表總體參數(shù)的真值，或者說需考察參數(shù)估計量的統(tǒng)計性質(zhì)?？疾靺?shù)估計量的統(tǒng)計性質(zhì)。 一個用于考察總體的估計量，可從如下幾個一個用于考察總體的估計量，可從如下幾個方面考察其優(yōu)劣性：方面考察其優(yōu)劣性： （1）線性性）線性

8、性，即它是否是另一隨機變量的線性，即它是否是另一隨機變量的線性函數(shù)；函數(shù)；1. 系數(shù)系數(shù)B0, B1的的OLS估計估計（2）無偏性）無偏性，即它的均值或期望值是否等于總，即它的均值或期望值是否等于總體的真實值；體的真實值；（3）有效性）有效性，即它是否在所有線性無偏估計量，即它是否在所有線性無偏估計量中具有最小方差。中具有最小方差。n 這三個準則也稱作估計量的這三個準則也稱作估計量的小樣本性質(zhì)小樣本性質(zhì)。 擁有這類性質(zhì)的估計量稱為擁有這類性質(zhì)的估計量稱為最佳線性無偏估計最佳線性無偏估計量量（best liner unbiased estimator, BLUE）。）。 （4）漸近無偏性）漸近無

9、偏性，即樣本容量趨于無窮大時，即樣本容量趨于無窮大時，是否它的均值序列趨于總體真值；是否它的均值序列趨于總體真值；（5）一致性）一致性，即樣本容量趨于無窮大時，它是，即樣本容量趨于無窮大時，它是否依概率收斂于總體的真值；否依概率收斂于總體的真值；（6）漸近有效性）漸近有效性，即樣本容量趨于無窮大時，即樣本容量趨于無窮大時，是否它在所有的一致估計量中具有最小的漸近方是否它在所有的一致估計量中具有最小的漸近方差。差。 當(dāng)不滿足小樣本性質(zhì)時，需進一步考察估計當(dāng)不滿足小樣本性質(zhì)時，需進一步考察估計量的量的大樣本大樣本或或漸近性質(zhì)漸近性質(zhì)：高斯高斯馬爾可夫定理馬爾可夫定理(Gauss-Markov th

10、eorem) 在給定經(jīng)典線性回歸的假定下，在給定經(jīng)典線性回歸的假定下，最小最小二乘估計量二乘估計量是具有是具有最小方差最小方差的的線性線性無偏無偏估估計量。計量。蒙特卡洛試驗蒙特卡洛試驗OLSOLS估計量的無偏性可以通過蒙特卡洛試驗驗證。估計量的無偏性可以通過蒙特卡洛試驗驗證。假設(shè)有如下信息：假設(shè)有如下信息：與相應(yīng)的真實值1.5、2、4很接近，反復(fù)的應(yīng)用最小二乘法，平均的看，估計值將等于真實值。3.4 OLS3.4 OLS估計量的抽樣分布估計量的抽樣分布( (概率分布概率分布) )及及隨機干擾項方差的估計隨機干擾項方差的估計 12227(0,)iiiiiYBB XuuuN 假假設(shè)設(shè)在在總總體體

11、回回歸歸函函數(shù)數(shù)中中，誤誤差差項項服服從從均均值值為為0 0方方差差為為的的正正太太分分布布，即即這這一一假假設(shè)設(shè)的的理理論論基基礎(chǔ)礎(chǔ)是是統(tǒng)統(tǒng)計計學(xué)學(xué)中中的的中中心心極極限限定定理理。中心極限定理中心極限定理 設(shè)隨機變量設(shè)隨機變量,21nXXX相互獨立，具有相同的分布相互獨立，具有相同的分布, ), 2 , 1(0)(,)(2kXDXEkknXnnXYnkkn/21記記則對于任意實數(shù)則對于任意實數(shù)x,x,有有)(21lim2/2xdtexYPxtnn02nXXX,21nkkX1nXnnXYnkkn/21中心極限定理表明中心極限定理表明：均值為：均值為，方差為，方差為的獨立同分布的隨機變量的獨立

12、同分布的隨機變量的和的和的標準化變量的分布函數(shù)，當(dāng)?shù)臉藴驶兞康姆植己瘮?shù)，當(dāng)n n充分大時，有充分大時，有) 1 , 0(N近似地普通最小二乘估計量普通最小二乘估計量b1 、 b2分別是分別是Yi的線性組的線性組合，因此，合，因此， b1和和b2的概率分布取決于的概率分布取決于Y的分布的分布特征。特征。在在u是正態(tài)分布的假設(shè)下，是正態(tài)分布的假設(shè)下，Y是正態(tài)分布，則是正態(tài)分布，則b1 、 b2也服從正態(tài)分布，因此，也服從正態(tài)分布，因此，2221122221,iiiXbNBbNBnxx ，1、參數(shù)估計量、參數(shù)估計量b1和和b2概率分布概率分布b1和和b2的標準差的標準差1222222ibbiiXn

13、xx ，3.5 假設(shè)檢驗假設(shè)檢驗n回歸分析回歸分析是要通過樣本所估計的參數(shù)來代是要通過樣本所估計的參數(shù)來代替總體的真實參數(shù)，或者說是用樣本回歸替總體的真實參數(shù)，或者說是用樣本回歸線代替總體回歸線。線代替總體回歸線。n盡管從盡管從統(tǒng)計性質(zhì)統(tǒng)計性質(zhì)上已知，如果有足夠多的上已知，如果有足夠多的重復(fù)重復(fù) 抽樣，參數(shù)的估計值的期望（均值）抽樣，參數(shù)的估計值的期望（均值）就等于其總體的參數(shù)真值，但在一次抽樣就等于其總體的參數(shù)真值，但在一次抽樣中，估計值不一定就等于該真值。中，估計值不一定就等于該真值。n那么，在一次抽樣中，參數(shù)的估計值與那么，在一次抽樣中，參數(shù)的估計值與真值的差異有多大，是否顯著，這就需真

14、值的差異有多大，是否顯著，這就需要進一步進行要進一步進行統(tǒng)計檢驗統(tǒng)計檢驗。主要內(nèi)容有：。主要內(nèi)容有：參數(shù)的參數(shù)的區(qū)間估計區(qū)間估計；變量的變量的顯著性檢驗顯著性檢驗擬合優(yōu)度檢驗擬合優(yōu)度檢驗。2222(,)ibN Bx 2222222(0,1)()ibBbBZNse bx 對于一元線性回歸方程中的對于一元線性回歸方程中的b2，已經(jīng)知道它，已經(jīng)知道它服從分布服從分布2222tien 要要使使用用上上式式需需要要知知道道真真實實的的，而而是是未未知知，可可以以根根據(jù)據(jù)對對其其進進行行估估算算。如如果果用用代代替替 ，則則上上式式的的右右邊邊服服從從自自由由度度為為n-2n-2的的 分分布布，而而不不是

15、是正正態(tài)態(tài)分分布布，即即在這種情況下用在這種情況下用t統(tǒng)計量代替統(tǒng)計量代替Z統(tǒng)計量進行檢驗。統(tǒng)計量進行檢驗。2222 (2)ibBtt nx 22ien 要判斷樣本參數(shù)的估計值在多大程度上可以要判斷樣本參數(shù)的估計值在多大程度上可以“近近似似”地替代總體參數(shù)的真值，往往需要通過構(gòu)造地替代總體參數(shù)的真值，往往需要通過構(gòu)造一個以樣本參數(shù)的估計值為中心的一個以樣本參數(shù)的估計值為中心的“區(qū)間區(qū)間”，來，來考察它以多大的可能性（概率）包含著真實的參考察它以多大的可能性（概率）包含著真實的參數(shù)值。這種方法就是參數(shù)檢驗的數(shù)值。這種方法就是參數(shù)檢驗的置信區(qū)間估計置信區(qū)間估計。 （1 1）檢驗檢驗 置信區(qū)間置信區(qū)

16、間 法法0212HB =0HB0 ：，：，如果存在這樣一個區(qū)間，如果存在這樣一個區(qū)間，稱之為稱之為置信區(qū)間置信區(qū)間（confidence interval）；）； 1- 稱為稱為置信系數(shù)置信系數(shù)（置信度置信度）（）（confidence coefficient），）， 稱為稱為顯著性水平顯著性水平（level of significance）；）；置信區(qū)間的端點稱為置信區(qū)間的端點稱為置信限置信限（confidence limit）或）或臨界臨界值值（critical values）。）。 1P bBb 要判斷估計的參數(shù)值要判斷估計的參數(shù)值b離真實的參數(shù)值離真實的參數(shù)值B有多有多“近近”，可預(yù)先

17、選擇一個概率，可預(yù)先選擇一個概率 (0 1) ，并求一，并求一個正數(shù)個正數(shù) ，使得隨機區(qū)間，使得隨機區(qū)間(b- , b+ )包含參數(shù)的直包含參數(shù)的直值的概率為值的概率為1- ，即：，即：在數(shù)學(xué)在數(shù)學(xué)S.A.T一例中，共有觀察值一例中，共有觀察值10個，自由個，自由度為度為n-2=8，假定顯著性水平為，假定顯著性水平為5%，查，查t分布表分布表得得P(-2.306t2.306P(-2.306t2.306）=0.95=0.95即即t值位于上、下限（值位于上、下限（-2.306,2.306）之間的概）之間的概率為率為95%，這個上、下限就是臨界，這個上、下限就是臨界t值，得值，得2222ibBx P

18、(-2.3062.306P(-2.3062.306）=0.95=0.952222222+iibxBbx P(-2.3062.306 P(-2.3062.306）=0.95=0.95整整理理得得2B95%上上式式給給出出了了的的一一個個的的置置信信區(qū)區(qū)間間。22=ix 在在數(shù)數(shù)學(xué)學(xué)分分數(shù)數(shù)一一例例中中0.0002450.000245，于于是是可可求求得得置置信信區(qū)區(qū)間間為為222+bBb -2.306 -2.306（0.0002450.000245）2.3062.306（0.0002450.000245）20.000740.00187B0不不在在這這個個區(qū)區(qū)間間范范圍圍內(nèi)內(nèi)，因因此此拒拒絕絕零零

19、假假設(shè)設(shè)。表表明明收收入入與與數(shù)數(shù)學(xué)學(xué)分分數(shù)數(shù)有有關(guān)關(guān)系系。（2 2）假設(shè)檢驗的顯著性檢驗）假設(shè)檢驗的顯著性檢驗 回歸分析是要判斷解釋變量回歸分析是要判斷解釋變量X是否是被解釋變量是否是被解釋變量Y的一個顯著性的影響因素。的一個顯著性的影響因素。在一元線性模型中，就是要判斷在一元線性模型中，就是要判斷X是否對是否對Y具有顯具有顯著的線性性影響。這就需要進行變量的顯著性檢著的線性性影響。這就需要進行變量的顯著性檢驗。驗。 變量的顯著性檢驗所應(yīng)用的方法是數(shù)理統(tǒng)計變量的顯著性檢驗所應(yīng)用的方法是數(shù)理統(tǒng)計學(xué)中的學(xué)中的假設(shè)檢驗假設(shè)檢驗。 計量經(jīng)濟學(xué)中，主要是針對變量的參數(shù)真值計量經(jīng)濟學(xué)中，主要是針對變量的

20、參數(shù)真值是否為零是否為零來進行顯著性檢驗的。來進行顯著性檢驗的。 這種假設(shè)檢驗方法涉及兩個重要概念檢驗統(tǒng)這種假設(shè)檢驗方法涉及兩個重要概念檢驗統(tǒng)計量和零假設(shè)下檢驗統(tǒng)計量的抽樣分布。其核心計量和零假設(shè)下檢驗統(tǒng)計量的抽樣分布。其核心思想是根據(jù)從樣本數(shù)據(jù)求得到統(tǒng)計量的值決定接思想是根據(jù)從樣本數(shù)據(jù)求得到統(tǒng)計量的值決定接受或拒絕零假設(shè)。受或拒絕零假設(shè)。2222 (2)ibBtt nx 前前面面已已經(jīng)經(jīng)介介紹紹(2)tn 服服從從自自由由度度為為的的 分分布布，如如果果令令*022HB =B：*22BB是是的的某某個個給給定定的的數(shù)數(shù)值值，則則根根據(jù)據(jù)樣樣本本數(shù)數(shù)據(jù)據(jù)求求得得*2222-=ibBtx 估估計

21、計值值 假假設(shè)設(shè)值值 （3.293.29）估估計計值值的的標標準準誤誤tn-2tt將將上上面面計計算算出出的的 值值作作為為檢檢驗驗統(tǒng)統(tǒng)計計量量。服服從從自自由由度度為為（）的的 分分布布。相相應(yīng)應(yīng)的的檢檢驗驗稱稱為為 檢檢驗驗。n-2;%PP檢檢驗驗時時，需需要要知知道道：（1 1）對對于于雙雙變變量量模模型型，自自由由度度為為（2 2）常常用用的的顯顯著著性性水水平平有有1 1 ，5 5，1010，為為了了 避避免免選選擇擇顯顯著著水水平平的的隨隨意意性性，通通常常求求出出 值值 如如果果 值值充充分分小小，則則拒拒絕絕零零假假設(shè)設(shè)。（3 3）可可用用單單邊邊或或雙雙邊邊檢檢驗驗。0212

22、1. HB =0HB0 雙雙邊邊檢檢驗驗：，：，利利用用（3.293.29）得得S.A.T繼繼續(xù)續(xù)數(shù)數(shù)學(xué)學(xué)一一例例0.0013-0=5.43540.000245t 02122. HB0HB0.單單邊邊檢檢驗驗：，：數(shù)學(xué)分數(shù)函數(shù)中系數(shù)為正的，因此實際中檢驗是數(shù)學(xué)分數(shù)函數(shù)中系數(shù)為正的，因此實際中檢驗是單邊的。單邊的。T檢驗的過程是相同的，只是犯第一類檢驗的過程是相同的，只是犯第一類錯誤的概率不是均勻的分布在錯誤的概率不是均勻的分布在t分布的兩側(cè)，而是分布的兩側(cè)，而是集中于一側(cè)，左側(cè)或右側(cè)。集中于一側(cè)，左側(cè)或右側(cè)。3.6 3.6 擬合優(yōu)度檢驗擬合優(yōu)度檢驗 判定系數(shù)判定系數(shù)擬合優(yōu)度檢驗擬合優(yōu)度檢驗對樣

23、本回歸直線與樣本觀測對樣本回歸直線與樣本觀測值之間擬合程度的檢驗。值之間擬合程度的檢驗。 度量擬合優(yōu)度的指標：度量擬合優(yōu)度的指標：判定系數(shù)判定系數(shù)（可決系數(shù)可決系數(shù)）R21 1、總離差平方和的分解、總離差平方和的分解已知由一組樣本觀測值（已知由一組樣本觀測值（Xi,Yi），），i i=1,2,n得得到如下樣本回歸直線到如下樣本回歸直線 01iiYbb XiiiYYe 前前面面講講過過 eiiiiYYYYYY對對上上式式進進行行恒恒等等變變化化（即即 ） eiiiiYYYYYY（即即 ）對對上上式式進進行行恒恒等等變變化化Yi的變異由X變異所解釋的部分未解釋的部分或殘差部分 如果如果Yi=i 即

24、實際觀測值落在樣本回歸即實際觀測值落在樣本回歸“線線”上，則上，則擬合最好擬合最好。 可認為，可認為，“離差離差”全部來自回歸線，而與全部來自回歸線，而與“殘差殘差”無關(guān)。無關(guān)。 iieYY iiyYY是樣本回歸擬合值與觀測值的平均是樣本回歸擬合值與觀測值的平均值之差，可認為是由回歸直線解釋值之差，可認為是由回歸直線解釋的部分；的部分；是實際觀測值與回歸擬合值之差，是實際觀測值與回歸擬合值之差，是回歸直線不能解釋的部分；是回歸直線不能解釋的部分； 用小寫字母表示與均值的離差，得用小寫字母表示與均值的離差，得iiiyye =iiybx由由得得=iiiybxe 上式兩邊求和，經(jīng)過數(shù)學(xué)變換得上式兩邊

25、求和，經(jīng)過數(shù)學(xué)變換得 對于所有樣本點，則需考慮這些點與樣本均對于所有樣本點，則需考慮這些點與樣本均值離差的平方和，值離差的平方和，可以證明可以證明：222=iiiybxe 或或者者TSS=ESS+RSS22)(YYyTSSii記記22)(YYyESSii22)(iiiYYeRSS總體平方和總體平方和（Total Sum of Squares）回歸平方和回歸平方和（Explained Sum of Squares）殘差平方和殘差平方和（Residual Sum of Squares ）Y的觀測值圍繞其均值的總離差的觀測值圍繞其均值的總離差(total variation)可分解為兩部分：一部分來

26、自回可分解為兩部分：一部分來自回歸線歸線(ESS)，另一部分則來自隨機因素，另一部分則來自隨機因素(RSS)。n在給定樣本中，在給定樣本中，TSS不變，不變，n如果實際觀測點離樣本回歸線越近，則如果實際觀測點離樣本回歸線越近，則ESS在在TSS中占的比重越大，因此中占的比重越大，因此n擬合優(yōu)度擬合優(yōu)度：回歸平方和：回歸平方和ESS/Y的總離差的總離差TSS2221=1iieESSRSSRTSSTSSy 2、可決系數(shù)、可決系數(shù)R2 2統(tǒng)計量統(tǒng)計量 稱 R2 為（樣本）（樣本）可決系數(shù)可決系數(shù)或或判定系數(shù)判定系數(shù)（coefficient of determination)。 可決系數(shù)可決系數(shù)的取值范圍取值范圍：0，1 R2越接近越接近1 1，說明實際觀測點離樣本線越近，說明實際觀測點離樣本線越近，擬合優(yōu)度越高擬合優(yōu)度越高。記：記：注：注：（1 1）可決系數(shù)可決系數(shù)是一個非負的統(tǒng)計量。是一個非負的統(tǒng)計量。 （2 2）可決系數(shù)可決系數(shù)的取值范圍取值范圍：0，1。 數(shù)學(xué)分數(shù)一例中，數(shù)學(xué)分數(shù)一例中，2222rXY()()()()iiiiXX YYrXXYYx yx