一元線性回歸統(tǒng)計檢驗

1、2.3 一元線性回歸模型的統(tǒng)一元線性回歸模型的統(tǒng)計檢驗計檢驗 三、參數(shù)的置信區(qū)間三、參數(shù)的置信區(qū)間 二、變量的顯著性檢驗二、變量的顯著性檢驗 一、擬合優(yōu)度檢驗一、擬合優(yōu)度檢驗 回歸分析回歸分析是要通過樣本所估計的參數(shù)來代替總體的真實參數(shù)，或者說是用樣本回歸線代替總體回歸線。 盡管從統(tǒng)計性質(zhì)統(tǒng)計性質(zhì)上已知，如果有足夠多的重復抽樣，參數(shù)的估計值的期望（均值）就等于其總體的參數(shù)真值，但在一次抽樣中，估計值不一定就等于該真值。 那么，在一次抽樣中，參數(shù)的估計值與真值的差異有多大，是否顯著，這就需要進一步進行統(tǒng)計檢驗統(tǒng)計檢驗。 主要包括擬合優(yōu)度檢驗擬合優(yōu)度檢驗、變量的顯著性檢驗顯著性檢驗及參數(shù)的區(qū)間估計

2、區(qū)間估計。 要判斷參數(shù)的估計值在多大程度上可以“近似”地替代總體參數(shù)的真值，往往需要通過構(gòu)造一個以參數(shù)的估計值為中心的“區(qū)間”，來考察它以多大的可能性（概率）包含著真實的參數(shù)值。這種方法就是參數(shù)檢驗的置信區(qū)間估計置信區(qū)間估計。 1 1、參數(shù)的置信區(qū)間、參數(shù)的置信區(qū)間 1)(P 如 果 存 在 這 樣 一 個 區(qū) 間 ， 稱 之 為 置 信 區(qū) 間置 信 區(qū) 間（confidence interval）； 1-稱為置信系數(shù)置信系數(shù)（置信度置信度）（confidence coefficient）， 稱為顯著性水平顯著性水平（level of significance）；置信區(qū)間的端點稱為置信限置信

3、限（confidence limit）或臨界值臨界值（critical values）。一元線性模型中一元線性模型中， i (i=1，2）的置信區(qū)間的置信區(qū)間: :在變量的顯著性檢驗中已經(jīng)知道： )2(ntstiii 意味著，如果給定置信度（1-），從分布表中查得自由度為(n-2)的臨界值，那么t值處在(-t/2, t/2)的概率是(1- )。表示為： Pttt()221即Ptstiii()221Ptstsiiiii()221于是得到:(1-)的置信度下, i的置信區(qū)間是 (,)iitstsii22 例例2.2.1：在上述家庭可支配收入可支配收入- -消費支出消費支出例中，對于所抽出的一組樣本

4、數(shù)，參數(shù)估計的計算可通過下面的表2.2.1進行。 表表 2.2.1 參參數(shù)數(shù)估估計計的的計計算算表表 iX iY ix iy iiyx 2ix 2iy 2iX 2iY 1 800 594 -1350 -973 1314090 1822500 947508 640000 352836 2 1100 638 -1050 -929 975870 1102500 863784 1210000 407044 3 1400 1122 -750 -445 334050 562500 198381 1960000 1258884 4 1700 1155 -450 -412 185580 202500 1700

5、74 2890000 1334025 5 2000 1408 -150 -159 23910 22500 25408 4000000 1982464 6 2300 1595 150 28 4140 22500 762 5290000 2544025 7 2600 1969 450 402 180720 202500 161283 6760000 3876961 8 2900 2078 750 511 382950 562500 260712 8410000 4318084 9 3200 2585 1050 1018 1068480 1102500 1035510 10240000 668222

6、5 10 3500 2530 1350 963 1299510 1822500 926599 12250000 6400900 求和 21500 15674 5769300 7425000 4590020 53650000 29157448 平均 2150 1567 777. 07425000576930021iiixyx172.1032150777. 0156700XY因此，由該樣本估計的回歸方程為： iiXY777. 0172.103 在上述收入收入- -消費支出消費支出例中，如果給定 =0.01，查表得： 355. 3)8()2(005. 02tnt由于042. 01S41.980S于是

7、，1、0的99%的置信區(qū)間分別為： （0.6345,0.9195) （-433.32,226.98） 由于置信區(qū)間一定程度地給出了樣本參數(shù)估計值隨樣本的變化而變化的范圍，因此置信區(qū)間越小越好。 要縮小置信區(qū)間，需 （1 1）增大樣本容量）增大樣本容量n n，因為在同樣的置信水平下，n越大，t分布表中的臨界值越??；同時，增大樣本容量，還可使樣本參數(shù)估計量的標準差減??； （2 2）提高模型的擬合優(yōu)度）提高模型的擬合優(yōu)度，因為樣本參數(shù)估計量的標準差與殘差平方和呈正比，模型擬合優(yōu)度越高，殘差平方和應越小。 2 2、變量的顯著性檢驗、變量的顯著性檢驗 回歸分析回歸分析是要判斷解釋變量解釋變量X是否是被解

8、釋變被解釋變量量Y的一個顯著性的影響因素。 在一元線性模型一元線性模型中，就是要判斷X是否對Y具有顯著的線性性影響。這就需要進行變量的顯著性變量的顯著性檢驗。檢驗。 變量的顯著性檢驗所應用的方法是數(shù)理統(tǒng)計變量的顯著性檢驗所應用的方法是數(shù)理統(tǒng)計學中的學中的假設(shè)檢驗假設(shè)檢驗。 計量經(jīng)計學中計量經(jīng)計學中，主要是針對變量的參數(shù)真值，主要是針對變量的參數(shù)真值是否為零來進行顯著性檢驗的。是否為零來進行顯著性檢驗的。 1、假設(shè)檢驗、假設(shè)檢驗 所謂假設(shè)檢驗假設(shè)檢驗，就是事先對總體參數(shù)或總體分就是事先對總體參數(shù)或總體分布形式作出一個假設(shè)，然后利用布形式作出一個假設(shè)，然后利用樣本信息樣本信息來判斷來判斷原假設(shè)是否

9、合理，即判斷樣本信息與原假設(shè)是否原假設(shè)是否合理，即判斷樣本信息與原假設(shè)是否有顯著差異，從而決定是否接受或否定原假設(shè)有顯著差異，從而決定是否接受或否定原假設(shè)。 假設(shè)檢驗采用的邏輯推理方法是反證法。假設(shè)檢驗采用的邏輯推理方法是反證法。 先假定原假設(shè)正確，然后根據(jù)樣本信息，觀察由此假設(shè)而導致的結(jié)果是否合理，從而判斷是否接受原假設(shè)。 判斷結(jié)果合理與否，是基于判斷結(jié)果合理與否，是基于“小概率事件不易小概率事件不易發(fā)生發(fā)生”這一原理的這一原理的 2、變量的顯著性檢驗、變量的顯著性檢驗 )2(1112211ntSxti 檢驗步驟：檢驗步驟： （1）對總體參數(shù)提出假設(shè) H0： 1=0， H1：10（2）以原假

10、設(shè)H0構(gòu)造t統(tǒng)計量，并由樣本計算其值11St （3）給定顯著性水平，查t分布表，得臨界值t /2(n-2)(4) 比較，判斷 若 |t| t /2(n-2)，則拒絕H0 ，接受H1 ； 若 |t| t /2(n-2)，則拒絕H1 ，接受H0 ； 例例2.2.1：在上述家庭可支配收入可支配收入- -消費支出消費支出例中，對于所抽出的一組樣本數(shù)，參數(shù)估計的計算可通過下面的表2.2.1進行。 表表 2.2.1 參參數(shù)數(shù)估估計計的的計計算算表表 iX iY ix iy iiyx 2ix 2iy 2iX 2iY 1 800 594 -1350 -973 1314090 1822500 947508 64

11、0000 352836 2 1100 638 -1050 -929 975870 1102500 863784 1210000 407044 3 1400 1122 -750 -445 334050 562500 198381 1960000 1258884 4 1700 1155 -450 -412 185580 202500 170074 2890000 1334025 5 2000 1408 -150 -159 23910 22500 25408 4000000 1982464 6 2300 1595 150 28 4140 22500 762 5290000 2544025 7 260

12、0 1969 450 402 180720 202500 161283 6760000 3876961 8 2900 2078 750 511 382950 562500 260712 8410000 4318084 9 3200 2585 1050 1018 1068480 1102500 1035510 10240000 6682225 10 3500 2530 1350 963 1299510 1822500 926599 12250000 6400900 求和 21500 15674 5769300 7425000 4590020 53650000 29157448 平均 2150 1

13、567 777. 07425000576930021iiixyx172.1032150777. 0156700XY因此，由該樣本估計的回歸方程為： iiXY777. 0172.103 對于一元線性回歸方程中的0，可構(gòu)造如下t統(tǒng)計量進行顯著性檢驗： )2(0022200ntSxnXtii在上述收入-消費支出例中，首先計算2的估計值 134022107425000777. 04590020222221222nxyneiii0425. 00018. 07425000/13402221ixS41.98742500010/53650000134022220iixnXSt統(tǒng)計量的計算結(jié)果分別為： 29.1

14、80425. 0777. 0111St048. 141.9817.103000St 給定顯著性水平=0.05，查t分布表得臨界值 t 0.05/2(8)=2.306 |t1|2.306，說明家庭可支配收入在家庭可支配收入在95%95%的置信的置信度下顯著，即是消費支出的主要解釋變量；度下顯著，即是消費支出的主要解釋變量； |t0|2.306,表明在95%的置信度下，無法拒絕截距項為零的假設(shè)。 3 3、擬合優(yōu)度檢驗、擬合優(yōu)度檢驗 對樣本回歸線與樣本觀測值之間擬合程度的檢驗。 ：判定系數(shù)判定系數(shù)（可決可決系數(shù)系數(shù)）R2 2 問題：問題：采用普通最小二乘估計方法，已經(jīng)保證了模型最好地擬合了樣本觀測值

15、，為什么還要檢驗擬合程度？ 1 1、總離差平方和的分解、總離差平方和的分解 已知由一組樣本觀測值（Xi, Yi），i=1,2,n得到如下樣本回歸直線 iiXY10iiiiiiiyeYYYYYYy)()( 如果Yi=i 即實際觀測值落在樣本回歸“線”上，則擬合最好擬合最好。 對于所有樣本點，則需考慮這些點與樣本均值離差的平方和,可以證明：記22)(YYyTSSii總體平方和總體平方和（Total Sum of Squares）22)(YYyESSii回歸平方和回歸平方和（Explained Sum of Squares）22)(iiiYYeRSS殘差平方和殘差平方和（Residual Sum o

16、f Squares ）TSS=ESS+RSS Y的觀測值圍繞其均值的總離差總離差(total variation)可分解為兩部分：一部分來自回歸線一部分來自回歸線(ESS)，另一部，另一部分則來自隨機勢力分則來自隨機勢力(RSS)。在給定樣本中，TSS不變， 如果實際觀測點離樣本回歸線越近，則ESS在TSS中占的比重越大，因此 擬合優(yōu)度擬合優(yōu)度：回歸平方和：回歸平方和ESS/YESS/Y的總離差的總離差TSSTSSTSSRSSTSSESSR1記22、可決系數(shù)、可決系數(shù)R2 2統(tǒng)計量統(tǒng)計量 稱 R2 為（樣本）（樣本）可決系數(shù)可決系數(shù)/判定系數(shù)判定系數(shù)（coefficient of determination)。 可決系數(shù)可決系數(shù)的取值范圍取值范圍：0，1 R2 2越接近越接近1 1，說明實際觀測