一元線性回歸模型的統(tǒng)計檢驗概述

1、2.3 一元線性回歸模型統(tǒng)計檢驗 回歸分析是要通過樣本所可能參數(shù)來代替總體真實參數(shù)，或者講是用樣本回歸線代替總體回歸線。盡管從統(tǒng)計性質上已知，假如有足夠多重復抽樣，參數(shù)可能值期望（均值）就等于其總體參數(shù)真值，但在一次抽樣中，可能值不一定就等于該真值。那么，在一次抽樣中，參數(shù)可能值與真值差異有多大，是否顯著，這就需要進一步進行統(tǒng)計檢驗。要緊包括擬合優(yōu)度檢驗、變量顯著性檢驗及參數(shù)區(qū)間可能。 一、擬合優(yōu)度檢驗擬合優(yōu)度檢驗，顧名思義，是檢驗模型對樣本觀測值擬合程度。檢驗方法，是構造一個能夠表征擬合程度指標，在那個地點稱為統(tǒng)計量，統(tǒng)計量是樣本函數(shù)。從檢驗對象中計算出該統(tǒng)計量數(shù)值，然后與某一標準進行比較，

2、得出檢驗結論。有人也許會問，采納一般最小二乘可能方法，差不多保證了模型最好地擬合了樣本觀測值，什么緣故還要檢驗擬合程度？問題在于，在一個特定條件下做得最好并不一定確實是高質量。一般最小二乘法所保證最好擬合，是同一個問題內部比較，擬合優(yōu)度檢驗結果所表示優(yōu)劣是不同問題之間比較。例如圖2.3.1和圖2.3.2中直線方程差不多上由散點表示樣本觀測值最小二乘可能結果，關于每個問題它們都滿足殘差平方和最小，然而二者對樣本觀測值擬合程度顯然是不同。 圖2.3.1 圖2.3.2 1、總離差平方和分解已知由一組樣本觀測值，=1,2,n得到如下樣本回歸直線而第個觀測值與樣本均值離差可分解為兩部分之和： （2.3.

3、1）圖2.3.3示出了這種分解，其中，是樣本回歸直線理論值(回歸擬合值)與觀測值平均值之差，可認為是由回歸直線解釋部分；是實際觀測值與回歸擬合值之差，是回歸直線不能解釋部分。顯然，假如落在樣本回歸線上，則第個觀測值與樣本均值離差，全部來自樣本回歸擬合值與樣本均值離差，即完全可由樣本回歸線解釋。表明在該點處實現(xiàn)完全擬合。 Y =來自殘差 SRF =總離差 =來自回歸 X圖2.3.3關于所有樣本點，則需考慮這些點與樣本均值離差平方和。由于 能夠證明，因此有 (2.3.2)記，稱為總離差平方和（Total Sum of Squares），反映樣本觀測值總體離差大??；，稱為回歸平方和（Explaine

4、d Sum of Squares），反映由模型中解釋變量所解釋那部分離差大?。?，稱為殘差平方和（Residual Sum of Squares），反映樣本觀測值與可能值偏離大小，也是模型中解釋變量未解釋那部分離差大小。 （2.3.2）表明觀測值圍繞其均值總離差平方和可分解為兩部分，一部分來自回歸線，另一部分則來自隨機勢力。因此，可用來自回歸線回歸平方和占Y總離差平方和比例來推斷樣本回歸線與樣本觀測值擬合優(yōu)度。 讀者也許會問，既然反映樣本觀測值與可能值偏離大小，可否直接用它作為擬合優(yōu)度檢驗統(tǒng)計量？那個地點提出了一個普遍問題，即作為檢驗統(tǒng)計量一般應該是相對量，而不能用絕對量。因為用絕對量作為檢驗統(tǒng)

5、計量，無法設置標準。在那個地點，即殘差平方和，與樣本容量關系專門大，當n比較小時，它值也較小，但不能因此而推斷模型擬合優(yōu)度就好。 2、可決系數(shù)統(tǒng)計量 依照上述關系，能夠用 (2.3.3)檢驗模型擬合優(yōu)度，稱為可決系數(shù)（coefficient of determination）。顯然，在總離差平方和中，回歸平方和所占比重越大，殘差平方和所占比重越小，則回歸直線與樣本點擬合得越好。假如模型與樣本觀測值完全擬合，則有。因此，模型與樣本觀測值完全擬合情況是不可能發(fā)生，不可能等于1。但毫無疑問是該統(tǒng)計量越接近于1，模型擬合優(yōu)度越高。在實際計算可決系數(shù)時，在差不多可能出后，一個較為簡單計算公式為： （2.

6、3.4）那個地點用到了樣本回歸函數(shù)離差形式來計算回歸平方和： 。在例2.1.1收入-消費支出例中， 講明在線性回歸模型中，家庭消費支出總變差（variation）中，由家庭可支配收入變差解釋部分占97.66%，模型擬合優(yōu)度較高。 由（2.3.3）知，可決系數(shù)取值范圍為，是一個非負統(tǒng)計量。它也是隨著抽樣不同而不同，即是隨抽樣而變動統(tǒng)計量。為此，對可決系數(shù)統(tǒng)計可靠性也應進行檢驗，這將在第3章中進行。 二、變量顯著性檢驗 變量顯著性檢驗，旨在對模型中被解釋變量與解釋變量之間線性關系是否顯著成立作出推斷，或者講考察所選擇解釋變量是否對被解釋變量有顯著線性阻礙。 從上面擬合優(yōu)度檢驗中能夠看出，擬合優(yōu)度高

7、，則解釋變量對被解釋變量解釋程度就高，線性阻礙就強，能夠推測模型線性關系成立；反之，就不成立。但這只是一個模糊推測，不能給出一個統(tǒng)計上嚴格結論。因此，還必須進行變量顯著性檢驗。變量顯著性檢驗所應用方法是數(shù)理統(tǒng)計學中假設檢驗。 1、假設檢驗假設檢驗是統(tǒng)計推斷一個要緊內容，它差不多任務是依照樣本所提供信息，對未知總體分布某些方面假設作出合理推斷。假設檢驗程序是，先依照實際問題要求提出一個論斷，稱為統(tǒng)計假設，記為；然后依照樣本有關信息，對真?zhèn)芜M行推斷，作出拒絕或同意決策。假設檢驗差不多思想是概率性質反證法。為了檢驗原假設是否正確，先假定那個假設是正確，看由此能推出什么結果。假如導致一個不合理結果，則

8、表明“假設為正確”是錯誤，即原假設不正確，因此要拒絕原假設。假如沒有導致一個不合理現(xiàn)象出現(xiàn)，則不能認為原假設不正確，因此不能拒絕拒絕原假設。概率性質反證法依照是小概率事件原理，該原理認為“小概率事件在一次試驗中幾乎是不可能發(fā)生”。在原假設下構造一個事件，那個事件在“原假設是正確”條件下是一個小概率事件。隨機抽取一組容量為n樣本觀測值進行該事件試驗，假如該事件發(fā)生了，講明“原假設是正確”是錯誤，因為不應該出現(xiàn)小概率事件出現(xiàn)了。因而應該拒絕原假設。反之，假如該小概率事件沒有出現(xiàn)，就沒有理由拒絕原假設，應該同意原假設。 2、變量顯著性檢驗 用以進行變量顯著性檢驗方法要緊有三種：F檢驗、t檢驗、z檢驗

9、。它們區(qū)不在于構造統(tǒng)計量不同。應用最為普遍t檢驗，在目前使用計量經(jīng)濟學軟件包中，都有關于t統(tǒng)計量計算結果。我們在此只介紹t檢驗。 關于一元線性回歸方程中，差不多明白它服從正態(tài)分布 進一步依照數(shù)理統(tǒng)計學中定義，假如真實未知，而用它無偏可能量替代時，可構造如下統(tǒng)計量 (2.3.5)則該統(tǒng)計量服從自由度為分布。因此，可用該統(tǒng)計量作為顯著性檢驗統(tǒng)計量。假如變量是顯著，那么參數(shù)應該顯著地不為0。因此，在變量顯著性檢驗中設計原假設為： 給定一個顯著性水平，查分布表（見附錄），得到一個臨界值。因為分布是雙尾分布，因此按照查分布表中臨界值。因此 （那個地點已不同于(2.3.5) 式，其中）為原假設下一個小概率

10、事件。在參數(shù)可能完成后，能夠專門容易計算數(shù)值。假如發(fā)生了，則在(1)置信度下拒絕原假設，即變量X是顯著，通過變量顯著性檢驗。假如未發(fā)生，則在(1)置信度下同意原假設，即變量X是不顯著，未通過變量顯著性檢驗。關于一元線性回歸方程中，可構造如下t統(tǒng)計量進行顯著性檢驗： (2.3.6)同樣地，該統(tǒng)計量服從自由度為分布，檢驗原假設一般仍為。在例2.1.1及例2.2.1收入-消費支出例中，首先計算可能值因此和標準差可能值分不是：t統(tǒng)計量計算結果分不為： 給定一個顯著性水平=0.05，查分布表中自由度為8（在那個例中）、=0.05臨界值，得到2.306。可見，講明解釋變量家庭可支配收入在95%置信度下顯著

11、，即通過了變量顯著性檢驗。但,表明在95%置信度下，無法拒絕截距項為零假設。三、參數(shù)置信區(qū)間 假設檢驗能夠通過一次抽樣結果檢驗總體參數(shù)可能假設值范圍（最常用假設為總體參數(shù)值為零），但它并沒有指出在一次抽樣中樣本參數(shù)值到底離總體參數(shù)真值有多“近”。要推斷樣本參數(shù)可能值在多大程度上能夠“近似”地替代總體參數(shù)真值，往往需要通過構造一個以樣本參數(shù)可能值為中心“區(qū)間”，來考察它以多大可能性（概率）包含著真實參數(shù)值。這種方法確實是參數(shù)檢驗置信區(qū)間可能。要推斷可能參數(shù)值離真實參數(shù)值有多“近”，可預先選擇一個概率，并求一個正數(shù)，使得隨機區(qū)間（random interval）包含參數(shù)真值概率為1-。即：假如存在

12、如此一個區(qū)間，稱之為置信區(qū)間（confidence interval）； 1-稱為置信系數(shù)（置信度）（confidence coefficient），稱為顯著性水平（level of significance）；置信區(qū)間端點稱為置信限（confidence limit）或臨界值（critical values）。在變量顯著性檢驗中差不多明白： 這確實是講，假如給定置信度，從分布表中查得自由度為臨界值，那么值處在概率是。表示為： 即 因此得到置信度下置信區(qū)間是 (2.3.6)在例2.1.1與2.2.1中，假如給定，查表得： 從假設檢驗中已得到： ， 因此，依照(2.3.6)計算得到、置信區(qū)間分不為 （0.6345,0.9195) （-433.32,226.98）顯然，參數(shù)置