清華大學(xué)經(jīng)管院李子奈一元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)

1、2.3 一元線性回歸模型的統(tǒng)一元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)計(jì)檢驗(yàn) 一、擬合優(yōu)度檢驗(yàn)一、擬合優(yōu)度檢驗(yàn) 二、變量的顯著性檢驗(yàn)二、變量的顯著性檢驗(yàn) 三、參數(shù)的置信區(qū)間三、參數(shù)的置信區(qū)間 回歸分析回歸分析是要通過樣本所估計(jì)的參數(shù)來代替總體的真實(shí)參數(shù)，或者說是用樣本回歸線代替總體回歸線。 盡管從統(tǒng)計(jì)性質(zhì)統(tǒng)計(jì)性質(zhì)上已知，如果有足夠多的重復(fù) 抽樣，參數(shù)的估計(jì)值的期望（均值）就等于其總體的參數(shù)真值，但在一次抽樣中，估計(jì)值不一定就等于該真值。 那么，在一次抽樣中，參數(shù)的估計(jì)值與真值的差異有多大，是否顯著，這就需要進(jìn)一步進(jìn)行統(tǒng)計(jì)檢驗(yàn)統(tǒng)計(jì)檢驗(yàn)。 主要包括擬合優(yōu)度檢驗(yàn)擬合優(yōu)度檢驗(yàn)、變量的顯著性檢驗(yàn)顯著性檢驗(yàn)及參數(shù)的區(qū)間估

2、計(jì)區(qū)間估計(jì)。 一、擬合優(yōu)度檢驗(yàn)一、擬合優(yōu)度檢驗(yàn) 對(duì)樣本回歸直線與樣本觀測值之間擬合程度的檢驗(yàn)。 ：判定系數(shù)判定系數(shù)（可決可決系數(shù)系數(shù)）r2 2 問題：問題：采用普通最小二乘估計(jì)方法，已經(jīng)保證了模型最好地?cái)M合了樣本觀測值，為什么還要檢驗(yàn)擬合程度？ 1 1、總離差平方和的分解、總離差平方和的分解 已知由一組樣本觀測值（xi,yi），i=1,2,n得到如下樣本回歸直線 iixy10iiiiiiiyeyyyyyyy)()( 如果yi=i 即實(shí)際觀測值落在樣本回歸“線”上，則擬合最好擬合最好?？烧J(rèn)為，“離差”全部來自回歸線，而與“殘差”無關(guān)。 對(duì)于所有樣本點(diǎn)，則需考慮這些點(diǎn)與樣本均值離差的平方和,可以證

3、明：記22)(yyytssii總體平方和總體平方和（total sum of squares）22)(yyyessii回歸平方和回歸平方和（explained sum of squares）22)(iiiyyerss殘差平方和殘差平方和（residual sum of squares ）tss=ess+rss y的觀測值圍繞其均值的總離差總離差(total variation)可分解為兩部分：一部分來自回歸線一部分來自回歸線(ess)，另一部，另一部分則來自隨機(jī)勢力分則來自隨機(jī)勢力(rss)。在給定樣本中，tss不變， 如果實(shí)際觀測點(diǎn)離樣本回歸線越近，則ess在tss中占的比重越大，因此 擬合

4、優(yōu)度擬合優(yōu)度：回歸平方和：回歸平方和ess/yess/y的總離差的總離差tsstsstssrsstssessr1記22、可決系數(shù)、可決系數(shù)r2 2統(tǒng)計(jì)量統(tǒng)計(jì)量 稱 r2 為（樣本）（樣本）可決系數(shù)可決系數(shù)/判定系數(shù)判定系數(shù)（coefficient of determination)。 可決系數(shù)可決系數(shù)的取值范圍取值范圍：0，1 r2 2越接近越接近1 1，說明實(shí)際觀測點(diǎn)離樣本線越近，擬，說明實(shí)際觀測點(diǎn)離樣本線越近，擬合優(yōu)度越高合優(yōu)度越高。在實(shí)際計(jì)算可決系數(shù)時(shí)，在1已經(jīng)估計(jì)出后： 22212iiyxr 在例2.1.1的收入收入-消費(fèi)支出消費(fèi)支出例中， 9766. 045900207425000)

5、777. 0(222212iiyxr 注：可決系數(shù)注：可決系數(shù)是一個(gè)非負(fù)的統(tǒng)計(jì)量。它也是是一個(gè)非負(fù)的統(tǒng)計(jì)量。它也是隨著抽樣的不同而不同。為此，對(duì)可決系數(shù)的統(tǒng)隨著抽樣的不同而不同。為此，對(duì)可決系數(shù)的統(tǒng)計(jì)可靠性也應(yīng)進(jìn)行檢驗(yàn)，這將在第計(jì)可靠性也應(yīng)進(jìn)行檢驗(yàn)，這將在第3章中進(jìn)行。章中進(jìn)行。 二、變量的顯著性檢驗(yàn)二、變量的顯著性檢驗(yàn) 回歸分析回歸分析是要判斷解釋變量解釋變量x是否是被解釋變被解釋變量量y的一個(gè)顯著性的影響因素。 在一元線性模型一元線性模型中，就是要判斷x是否對(duì)y具有顯著的線性性影響。這就需要進(jìn)行變量的顯著性變量的顯著性檢驗(yàn)。檢驗(yàn)。 變量的顯著性檢驗(yàn)所應(yīng)用的方法是數(shù)理統(tǒng)計(jì)變量的顯著性檢驗(yàn)所應(yīng)

6、用的方法是數(shù)理統(tǒng)計(jì)學(xué)中的學(xué)中的假設(shè)檢驗(yàn)假設(shè)檢驗(yàn)。 計(jì)量經(jīng)計(jì)學(xué)中計(jì)量經(jīng)計(jì)學(xué)中，主要是針對(duì)變量的參數(shù)真值，主要是針對(duì)變量的參數(shù)真值是否為零來進(jìn)行顯著性檢驗(yàn)的。是否為零來進(jìn)行顯著性檢驗(yàn)的。 1、假設(shè)檢驗(yàn)、假設(shè)檢驗(yàn) 所謂假設(shè)檢驗(yàn)假設(shè)檢驗(yàn)，就是事先對(duì)總體參數(shù)或總體分就是事先對(duì)總體參數(shù)或總體分布形式作出一個(gè)假設(shè)，然后利用樣本信息來判斷布形式作出一個(gè)假設(shè)，然后利用樣本信息來判斷原假設(shè)是否合理，即判斷樣本信息與原假設(shè)是否原假設(shè)是否合理，即判斷樣本信息與原假設(shè)是否有顯著差異，從而決定是否接受或否定原假設(shè)有顯著差異，從而決定是否接受或否定原假設(shè)。 假設(shè)檢驗(yàn)采用的邏輯推理方法是反證法。假設(shè)檢驗(yàn)采用的邏輯推理方法是反

7、證法。 先假定原假設(shè)正確，然后根據(jù)樣本信息，觀察由此假設(shè)而導(dǎo)致的結(jié)果是否合理，從而判斷是否接受原假設(shè)。 判斷結(jié)果合理與否，是基于判斷結(jié)果合理與否，是基于“小概率事件不易小概率事件不易發(fā)生發(fā)生”這一原理的這一原理的 2、變量的顯著性檢驗(yàn)、變量的顯著性檢驗(yàn) ),(2211ixn)2(1112211ntsxti 檢驗(yàn)步驟：檢驗(yàn)步驟： （1）對(duì)總體參數(shù)提出假設(shè) h0： 1=0， h1：10（2）以原假設(shè)h0構(gòu)造t統(tǒng)計(jì)量，并由樣本計(jì)算其值11st （3）給定顯著性水平，查t分布表，得臨界值t /2(n-2)(4) 比較，判斷 若 |t| t /2(n-2)，則拒絕h0 ，接受h1 ； 若 |t| t /

8、2(n-2)，則拒絕h1 ，接受h0 ； 對(duì)于一元線性回歸方程中的0，可構(gòu)造如下t統(tǒng)計(jì)量進(jìn)行顯著性檢驗(yàn)： )2(0022200ntsxnxtii在上述收入-消費(fèi)支出例中，首先計(jì)算2的估計(jì)值 134022107425000777. 04590020222221222nxyneiii0425. 00018. 07425000/13402221ixs41.98742500010/53650000134022220iixnxst統(tǒng)計(jì)量的計(jì)算結(jié)果分別為： 29.180425. 0777. 0111st048. 141.9817.103000st 給定顯著性水平=0.05，查t分布表得臨界值 t 0.05

9、/2(8)=2.306 |t1|2.306，說明家庭可支配收入在家庭可支配收入在95%95%的置信的置信度下顯著，即是消費(fèi)支出的主要解釋變量；度下顯著，即是消費(fèi)支出的主要解釋變量； |t2|2.306,表明在95%的置信度下，無法拒絕截距項(xiàng)為零的假設(shè)。 假設(shè)檢驗(yàn)假設(shè)檢驗(yàn)可以通過一次抽樣的結(jié)果檢驗(yàn)總體參數(shù)可能的假設(shè)值的范圍（如是否為零），但它并沒有指出在一次抽樣中樣本參數(shù)值到底離總體參數(shù)的真值有多“近”。 要判斷樣本參數(shù)的估計(jì)值在多大程度上可以“近似”地替代總體參數(shù)的真值，往往需要通過構(gòu)造一個(gè)以樣本參數(shù)的估計(jì)值為中心的“區(qū)間”，來考察它以多大的可能性（概率）包含著真實(shí)的參數(shù)值。這種方法就是參數(shù)檢

10、驗(yàn)的置信區(qū)間估計(jì)置信區(qū)間估計(jì)。 三、參數(shù)的置信區(qū)間三、參數(shù)的置信區(qū)間 1)(p 如 果 存 在 這 樣 一 個(gè) 區(qū) 間 ， 稱 之 為 置 信 區(qū) 間置 信 區(qū) 間（confidence interval）； 1-稱為置信系數(shù)置信系數(shù)（置信度置信度）（confidence coefficient）， 稱為顯著性水平顯著性水平（level of significance）；置信區(qū)間的端點(diǎn)稱為置信限置信限（confidence limit）或臨界值臨界值（critical values）。一元線性模型中一元線性模型中， i (i=1，2）的置信區(qū)間的置信區(qū)間: :在變量的顯著性檢驗(yàn)中已經(jīng)知道： )

11、2(ntstiii 意味著，如果給定置信度（1-），從分布表中查得自由度為(n-2)的臨界值，那么t值處在(-t/2, t/2)的概率是(1- )。表示為： pttt()221即ptstiii()221ptstsiiiii()221于是得到:(1-)的置信度下, i的置信區(qū)間是 (,)iitstsii22 在上述收入收入- -消費(fèi)支出消費(fèi)支出例中，如果給定 =0.01，查表得： 355. 3)8()2(005. 02tnt由于042. 01s41.980s于是，1、0的置信區(qū)間分別為： （0.6345,0.9195) （-433.32,226.98） 由于置信區(qū)間一定程度地給出了樣本參數(shù)估計(jì)值與總體參數(shù)真值