計(jì)量經(jīng)濟(jì)學(xué)系列課件23一元線性回歸模型檢驗(yàn)

1、§ 2.3一元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)回歸分析是要通過(guò)樣本所估計(jì)的參數(shù)來(lái)代替總體的真實(shí)參數(shù)，或者說(shuō)是用樣本回歸線代替總體回歸線。盡管從統(tǒng)計(jì)性質(zhì)上已知，如果有足夠多的重復(fù)抽樣，參數(shù)的估計(jì)值的期望（均 值）就等于其總體的參數(shù)真值，但在一次抽樣中，估計(jì)值不一定就等于該真值。那么，在一 次抽樣中，參數(shù)的估計(jì)值與真值的差異有多大，是否顯著，這就需要進(jìn)一步進(jìn)行統(tǒng)計(jì)檢驗(yàn)。主要包括擬合優(yōu)度檢驗(yàn)、變量的顯著性檢驗(yàn)及參數(shù)的區(qū)間估計(jì)。一、擬合優(yōu)度檢驗(yàn)擬合優(yōu)度檢驗(yàn)，顧名思義，是檢驗(yàn)?zāi)Ｐ蛯?duì)樣本觀測(cè)值的擬合程度。檢驗(yàn)的方法，是構(gòu) 造一個(gè)可以表征擬合程度的指標(biāo)，在這里稱為統(tǒng)計(jì)量， 統(tǒng)計(jì)量是樣本的函數(shù)。 從檢驗(yàn)對(duì)象中

2、計(jì)算出該統(tǒng)計(jì)量的數(shù)值， 然后與某一標(biāo)準(zhǔn)進(jìn)行比較，得出檢驗(yàn)結(jié)論。有人也許會(huì)問(wèn)，采用普 通最小二乘估計(jì)方法，已經(jīng)保證了模型最好地?cái)M合了樣本觀測(cè)值，為什么還要檢驗(yàn)擬合程 度？問(wèn)題在于，在一個(gè)特定的條件下做得最好的并不一定就是高質(zhì)量的。普通最小二乘法所保證的最好擬合，是同一個(gè)問(wèn)題內(nèi)部的比較，擬合優(yōu)度檢驗(yàn)結(jié)果所表示優(yōu)劣是不同問(wèn)題之間的比較。例如圖2.3.1和圖2.3.2中的直線方程都是由散點(diǎn)表示的樣本觀測(cè)值的最小二乘估 計(jì)結(jié)果，對(duì)于每個(gè)問(wèn)題它們都滿足殘差的平方和最小，但是二者對(duì)樣本觀測(cè)值的擬合程度顯然是不同的。圖 2.3.1圖 2.3.21 、總離差平方和的分解已知由一組樣本觀測(cè)值（Xi,Y）, i =

3、1,2,n得到如下樣本回歸直線而Y的第i個(gè)觀測(cè)值與樣本均值的離差y （Y 丫）可分解為兩部分之和:VYi 丫（Yi 丫?）（丫？ 丫）ei?(2.3.1 )圖2.3.3示出了這種分解，其中,（Y? Y）是樣本回歸直線理論值（回歸擬合值）與觀測(cè)值Yi的平均值之差，可認(rèn)為是由回歸直線解釋的部分；ei （Y Y?）是實(shí)際觀測(cè)值與回歸擬合值之差，是回歸直線不能解釋的部分。 顯然，如果Yi落在樣本回歸線上，則Y的第i個(gè)觀測(cè)值與樣本均值的離差，全部來(lái)自樣本回歸擬合值與樣本均值的離差，即完全可由樣本回歸線解釋。表明在該點(diǎn)處實(shí)現(xiàn)完全擬合。圖 2.3.3對(duì)于所有樣本點(diǎn)，則需考慮這些點(diǎn)與樣本均值離差的平方和。由于

4、y2?2e-2?iei可以證明 ？ei 0 ,所以有222V /ei(2.3.2)記yi2(Y Y)2TSS,稱為總離差平方和(Total Sumof Squares),反映樣本觀測(cè)值總體離差的大??；y2(Y? Y)2 ESS,稱為回歸平方和(Explained SumofSquares ),反映由模型中解釋變量所解釋的那部分離差的大??；e2(Y Y?)2 RSS,稱為殘差平方和(Residual Sum of Squares ),反映樣本觀 測(cè)值與估計(jì)值偏離的大小，也是模型中解釋變量未解釋的那部分離差的大小。(2.3.2 )表明Y的觀測(cè)值圍繞其均值的 總離差平方和可分解為兩部分，一部分來(lái)自回

5、 歸線，另一部分則來(lái)自隨機(jī)勢(shì)力。 因此，可用來(lái)自回歸線的回歸平方和占Y的總離差的平方和的比例來(lái)判斷樣本回歸線與樣本觀測(cè)值的擬合優(yōu)度。讀者也許會(huì)問(wèn)，既然 RSS反映樣本觀測(cè)值與估計(jì)值偏離的大小，可否直接用它作為擬 合優(yōu)度檢驗(yàn)的統(tǒng)計(jì)量？這里提出了一個(gè)普遍的問(wèn)題，即作為檢驗(yàn)統(tǒng)計(jì)量的一般應(yīng)該是相對(duì) 量，而不能用絕對(duì)量。因?yàn)橛媒^對(duì)量作為檢驗(yàn)統(tǒng)計(jì)量，無(wú)法設(shè)置標(biāo)準(zhǔn)。在這里，RSS,即殘差平方和，與樣本容量關(guān)系很大，當(dāng)n比較小時(shí)，它的值也較小，但不能因此而判斷模型的擬合優(yōu)度就好。2 、可決系數(shù)R2統(tǒng)計(jì)量根據(jù)上述關(guān)系，可以用41R2ESS / RSS1 -TSS TSS(2.3.3)檢驗(yàn)?zāi)Ｐ偷臄M合優(yōu)度，稱R2為

6、可決系數(shù)（coefficient of determination）。顯然，在總離差平方和中，回歸平方和所占的比重越大，殘差平方和所占的比重越小，則回歸直線與樣本點(diǎn)擬合得越好。如果模型與樣本觀測(cè)值完全擬合，則有R2 1。當(dāng)然，模型與樣本觀測(cè)2值完全擬合的情況是不可能發(fā)生的，R不可能等于1。但毫無(wú)疑問(wèn)的是該統(tǒng)計(jì)量越接近于1模型的擬合優(yōu)度越高。在實(shí)際計(jì)算可決系數(shù)時(shí)，在1已經(jīng)估計(jì)出后，一個(gè)較為簡(jiǎn)單的計(jì)算公式為:R22?2xi-12yi(2.3.4 )這里用到了樣本回歸函數(shù)的離差形式來(lái)計(jì)算回歸平方和:ESS92(Zxi)2Q224xi °在例2.1.1的收入-消費(fèi)支出例中, 22?2xiR

7、12yi(0.777)274250000.97664590020說(shuō)明在線性回歸模型中，家庭消費(fèi)支出總變差（ 解釋的部分占97.66%,模型的擬合優(yōu)度較高。variation中，由家庭可支配收入的變差由（2.3.3 ）知，可決系數(shù)的取值范圍為0 R21個(gè)非負(fù)的統(tǒng)計(jì)量。它也是隨對(duì)可決系數(shù)的統(tǒng)計(jì)可靠性也應(yīng)進(jìn)著抽樣的不同而不同，即是隨抽樣而變動(dòng)的統(tǒng)計(jì)量。為此, 行檢驗(yàn)，這將在第 3章中進(jìn)行。二、變量的顯著性檢驗(yàn)變量的顯著性檢驗(yàn)，旨在對(duì)模型中被解釋變量與解釋變量之間的線性關(guān)系是否顯著成 立作出推斷，或者說(shuō)考察所選擇的解釋變量是否對(duì)被解釋變量有顯著的線性影響。從上面的擬合優(yōu)度檢驗(yàn)中可以看出，擬合優(yōu)度高，則

8、解釋變量對(duì)被解釋變量的解釋程度就高，線性影響就強(qiáng)，可以推測(cè)模型線性關(guān)系成立；反之，就不成立。但這只是一個(gè)模糊的 推測(cè)，不能給出一個(gè)統(tǒng)計(jì)上的嚴(yán)格的結(jié)論。因此，還必須進(jìn)行變量的顯著性檢驗(yàn)。變量的顯著性檢驗(yàn)所應(yīng)用的方法是數(shù)理統(tǒng)計(jì)學(xué)中假設(shè)檢驗(yàn)。1 、假設(shè)檢驗(yàn)假設(shè)檢驗(yàn)是統(tǒng)計(jì)推斷的一個(gè)主要內(nèi)容，它的基本任務(wù)是根據(jù)樣本所提供的信息，對(duì)未 知總體分布的某些方面的假設(shè)作出合理的判斷。假設(shè)檢驗(yàn)的程序是，先根據(jù)實(shí)際問(wèn)題的要求提出一個(gè)論斷，稱為統(tǒng)計(jì)假設(shè)，記為H0；然后根據(jù)樣本的有關(guān)信息，對(duì) H 0的真?zhèn)芜M(jìn)行判斷，作出拒絕 H0或接受H 0的決策。假設(shè)檢驗(yàn)的基本思想是概率性質(zhì)的反證法。為了檢驗(yàn)原假設(shè)H0是否正確，先假定

9、這個(gè)假設(shè)是正確的，看由此能推出什么結(jié)果。如果導(dǎo)致一個(gè)不合理的結(jié)果，則表明“假設(shè)H0為正確”是錯(cuò)誤的，即原假設(shè)H0不正確，因此要拒絕原假設(shè)H0o如果沒(méi)有導(dǎo)致一個(gè)不合理現(xiàn)象的出現(xiàn)，則不能認(rèn)為原假設(shè)H0不正確，因此不能才I絕拒絕原假設(shè)H0o概率性質(zhì)的反證法的根據(jù)是小概率事件原理，該原理認(rèn)為“小概率事件在一次試驗(yàn)中幾乎是不可能發(fā)生的"。在原假設(shè)H0下構(gòu)造一個(gè)事件，這個(gè)事件在“原假設(shè) H0是正確”的 條件下是一個(gè)小概率事件。隨機(jī)抽取一組容量為 n的樣本觀測(cè)值進(jìn)行該事件的試驗(yàn)， 如果該 事件發(fā)生了，說(shuō)明“原假設(shè) H0是正確”是錯(cuò)誤的，因?yàn)椴粦?yīng)該出現(xiàn)的小概率事件出現(xiàn)了。H0，因而應(yīng)該拒絕原假設(shè) H

10、0o反之，如果該小概率事件沒(méi)有出現(xiàn)，就沒(méi)有理由拒絕原假設(shè)應(yīng)該接受原假設(shè) H0o2 、變量的顯著性檢驗(yàn)用以進(jìn)行變量顯著性檢驗(yàn)的方法主要有三種：F檢驗(yàn)、t檢驗(yàn)、z檢驗(yàn)。它們的區(qū)別在于構(gòu)造的統(tǒng)計(jì)量不同。 應(yīng)用最為普遍的t檢驗(yàn)，在目前使用的計(jì)量經(jīng)濟(jì)學(xué)軟件包中，都有關(guān)于t統(tǒng)計(jì)量的計(jì)算結(jié)果。我們?cè)诖酥唤榻Bt檢驗(yàn)。對(duì)于一元線性回歸方程中的?1 ,已經(jīng)知道它服從正態(tài)分布2Z N( 1,2)X進(jìn)一步根據(jù)數(shù)理統(tǒng)計(jì)學(xué)中的定義，如果真實(shí)的2未知，而用它的無(wú)偏估計(jì)量?2e2八n 2)替代時(shí)，可構(gòu)造如下統(tǒng)計(jì)量?(2.3.5)t1111.?2 X2=則該統(tǒng)計(jì)量服從自由度為 (n 2)的t分布。因此，可用該統(tǒng)計(jì)量作為1顯著性

11、檢驗(yàn)的t統(tǒng)計(jì)量。如果變量X是顯著的，那么參數(shù)1應(yīng)該顯著地不為 0。于是，在變量顯著性檢驗(yàn)中設(shè)計(jì)的原假設(shè)為：H 0 : 10給定一個(gè)顯著性水平，查t分布表(見(jiàn)附錄)，得到一個(gè)臨界值t_(n 2)。因?yàn)閠分2布是雙尾分布，所以按照/2查t分布表中的臨界值。于是t >t (n 2),2(這里的t已不同于(2.3.5) 式，其中10)為原假設(shè)H0下的一個(gè)小概率事件。在參數(shù)估計(jì)完成后，可以很容易計(jì)算t的數(shù)值。如果發(fā)生了 t > t (n 2),則在(1 )的置信度 2.下拒絕原假設(shè) H0,即變量X是顯著的,通過(guò)變量顯著性檢驗(yàn)。如果未發(fā)生t >t (n 2),22則在(1 -)置信度下接

12、受原假設(shè)H°,即變量X是不顯著的，未通過(guò)變量顯著性檢驗(yàn)。對(duì)于一元線性回歸方程中的0 ,可構(gòu)造如下t統(tǒng)計(jì)量進(jìn)行顯著性檢驗(yàn):002 Xi2 n00Xi2S ?0(2.3.6)同樣地，該統(tǒng)計(jì)量服從自由度為(n 2)的t分布，檢驗(yàn)的原假設(shè)一般仍為0 0。在例2.1.1及例2.2.1的收入-消費(fèi)支出例中，首先計(jì)算2的估計(jì)值?22 ei2Q222V 彳 Xi 4590020 0.7772 74250001340210 2是？0和1的標(biāo)準(zhǔn)差的估計(jì)值分別是:S?12X213402/74250000.0018 0.0425S?022Xin Xi213402 53650000/10 742500098.

13、41t統(tǒng)計(jì)量的計(jì)算結(jié)果分別為:t1< S?0.777 0.0425 18.29t00 S?103.17 98.411.048給定一個(gè)顯著性水平=0.05 ,查t分布表中自由度為 8(在這個(gè)例中(n2) 8)、=0.05的臨界值，得到t (8)22.306。可見(jiàn) t1 > t (n-22),說(shuō)明解釋變量家庭可支配收入在95%的置信度下顯著，即通過(guò)了變量顯著性檢驗(yàn)。但法拒絕截距項(xiàng)為零的假設(shè)。t。<t (n 2),表明在95%勺置信度下，無(wú) 2三、參數(shù)的置信區(qū)間假設(shè)檢驗(yàn)可以通過(guò)一次抽樣的結(jié)果檢驗(yàn)總體參數(shù)可能的假設(shè)值的范圍(最常用的假設(shè)為總體參數(shù)值為零)，但它并沒(méi)有指出在一次抽樣中樣

14、本參數(shù)值到底離總體參數(shù)的真值有多“近”。要判斷樣本參數(shù)的估計(jì)值在多大程度上可以“近似”地替代總體參數(shù)的真值，往往 需要通過(guò)構(gòu)造一個(gè)以樣本參數(shù)的估計(jì)值為中心的“區(qū)間”，來(lái)考察它以多大的可能性(概率)包含著真實(shí)的參數(shù)值。這種方法就是參數(shù)檢驗(yàn)的置信區(qū)間估計(jì)。要判斷估計(jì)的參數(shù)值？離真實(shí)的參數(shù)值i有多“近”，可預(yù)先選擇一個(gè)概率(01),并求一個(gè)正數(shù)，使得隨機(jī)區(qū)間(random interval ) ( ?, ?)包含參數(shù)出勺真值的概率為1-。即：P(? i?i) 1如果存在這樣一個(gè)區(qū)間，稱之為 置信區(qū)間(confidence interval )； 1- 稱為置信系 數(shù)(置信度)(confidence

15、coefficient ), 稱為顯著性水平 (level of significance )； 置信區(qū)間的端點(diǎn)稱為 置信限(confidence limit )或臨界值(critical values )。在變量的顯著性檢驗(yàn)中已經(jīng)知道：t -t(n 2)si這就是說(shuō)，如果給定置信度 (1i 0,1)，從t分布表中查得自由度為(n 2)的臨界值t，那么 2t值處在(t ,t )的概率是(1)。表示為:-22 7P( t t t ) 122即P( ti_i- t ) 12 s2iP( i t s i it s )12i2i于是得到(1)的置信度下i的置信區(qū)間是(2.3.6)001 ,查表得：(it_s , i t_ s )2i2i在例2.1.1與2.2.1中，如果給定t.(n 2)t0.005(8)3.3552從假設(shè)檢驗(yàn)中已得到:S?10.042S?098.41于是，根據(jù)(2.3.6)計(jì)算得到1、0的置信區(qū)間分別為(0.6345,0.91