最小二乘法OLS和線性回歸實(shí)用教案

1、會(huì)計(jì)學(xué)1最小二乘法最小二乘法(chngf)OLS和線性回歸和線性回歸第一頁，共89頁。2第1頁/共89頁第二頁，共89頁。3圖2-1 貨幣(hub)供應(yīng)量和GDP散點(diǎn)圖第2頁/共89頁第三頁，共89頁。4第3頁/共89頁第四頁，共89頁。5第4頁/共89頁第五頁，共89頁。6第5頁/共89頁第六頁，共89頁。7y= x 根據(jù)上式，在確定、的情況下，給定一個(gè)(y )x值，我們就能夠得到一個(gè)(y )確定的y值，然而根據(jù)式（2.1）得到的y值與實(shí)際的y值存在一個(gè)(y )誤差（即圖2-1中點(diǎn)到直線的距離）。 第6頁/共89頁第七頁，共89頁。8y= ux 即： tttuxy其中t（=1,2,3,.,T

2、）表示(biosh)觀測(cè)數(shù)。 （2.2）（2.3）式（2.3）即為一個(gè)簡單(jindn)的雙變量回歸模型（因其僅具有兩個(gè)變量x, y）的基本形式。 第7頁/共89頁第八頁，共89頁。9variable）、n結(jié)果變量(binling)n（effect variable）；n原因變量(binling)n（causal variable）第8頁/共89頁第九頁，共89頁。10第9頁/共89頁第十頁，共89頁。11第10頁/共89頁第十一頁，共89頁。12ttyx第11頁/共89頁第十二頁，共89頁。13tytutuT21ttuT21()tttyyT21()tttyx RSS= = （2.4） 第12

3、頁/共89頁第十三頁，共89頁。1422xTxxyTyxtttyx（2.5） （2.6） 第13頁/共89頁第十四頁，共89頁。15第14頁/共89頁第十五頁，共89頁。16ttxy+tu （2. 7）樣本回歸方程（SRF）是根據(jù)所選樣本估算( sun)的變量之間的關(guān)系函數(shù)，方程為： 注意：SRF中沒有誤差項(xiàng)，根據(jù)(gnj)這一方程得到的是總體因變量的期望值txy（2.8） 第15頁/共89頁第十六頁，共89頁。17y tutttyxu第16頁/共89頁第十七頁，共89頁。18x2xxy第17頁/共89頁第十八頁，共89頁。19tutteAxy （2.10） 可以(ky)進(jìn)行如下變換： ttt

4、uxAylnlnln （2.11）令 、 、 ，則方程(fngchng)（2. 11）變?yōu)椋?ttyYln Aln ttxXlntttuXY（2.12） 可以看到，模型2.12即為一線性模型。 第18頁/共89頁第十九頁，共89頁。20第19頁/共89頁第二十頁，共89頁。21布 0tE u 2tu0,jiuu0,ttxu2, 0第20頁/共89頁第二十一頁，共89頁。22第21頁/共89頁第二十二頁，共89頁。23第22頁/共89頁第二十三頁，共89頁。24 22222xTxTxsxxTxsSEtttt 22211xTxsxxsSEtt22Tust其中(qzhng)， 是殘差的估計(jì)標(biāo)準(zhǔn)差。

5、（2.21） （2.22）第23頁/共89頁第二十四頁，共89頁。25 SE SE第24頁/共89頁第二十五頁，共89頁。262 xxt2 xxt第25頁/共89頁第二十六頁，共89頁。27圖22 直線(zhxin)擬合和散點(diǎn)集中度的關(guān)系第26頁/共89頁第二十七頁，共89頁。282tx2tx2tx第27頁/共89頁第二十八頁，共89頁。29tu2, 0Nty var,N（2.30） var,N （2.31）第28頁/共89頁第二十九頁，共89頁。30其標(biāo)準(zhǔn)(biozhn)正態(tài)分布為： 1 , 0Nvar 1 , 0varN （2.32） （2.33）第29頁/共89頁第三十頁，共89頁。31

6、 SE SE 、 將不再(b zi)服從正態(tài)分布，而服從自由度為T-2的t分布，其中T為樣本容量 SE SE即： SE (2.34) SE2Tt2Tt (2.35)第30頁/共89頁第三十一頁，共89頁。32第31頁/共89頁第三十二頁，共89頁。33第32頁/共89頁第三十三頁，共89頁。34 2 yyt第33頁/共89頁第三十四頁，共89頁。35 是被模型所解釋的部分，稱為回歸(hugu)平方和（the explained sum of squares，簡記ESS）； 是不能被模型所解釋的殘差平方和（RSS）,即 =2 yy2tu2tu2ttyy2 yyt2 yyt2tu第34頁/共89頁

7、第三十五頁，共89頁。36 圖24 TSS、ESS、RSS的關(guān)系(gun x)第35頁/共89頁第三十六頁，共89頁。372RTSSESS （2.37） （2.38）TSSRSSTSSRSSTSSTSSESS1 1 , 02R R2越大，說明回歸線擬合程度越好；R2越小，說明回歸線擬合程度越差。由上可知(k zh)，通過考察R2的大小，我們就能粗略地看出回歸線的優(yōu)劣。第36頁/共89頁第三十七頁，共89頁。38第37頁/共89頁第三十八頁，共89頁。39第38頁/共89頁第三十九頁，共89頁。402R22111RKTTR（2.40）第39頁/共89頁第四十頁，共89頁。41第40頁/共89頁第

8、四十一頁，共89頁。42第41頁/共89頁第四十二頁，共89頁。43第42頁/共89頁第四十三頁，共89頁。44 SE*0:H*1:H第43頁/共89頁第四十四頁，共89頁。45 *stat =SE（3）選擇一個(gè)顯著性水平（通常是5%）,我們就可以在t分布中確定拒絕區(qū)域和非拒絕區(qū)域，如圖2-5。如果(rgu)選擇顯著性水平為5%，則表明有5%的分布將落在拒絕區(qū)域 第44頁/共89頁第四十五頁，共89頁。46 圖2-5 雙側(cè)檢驗(yàn)(jinyn)拒絕區(qū)域和非拒絕區(qū)域分布第45頁/共89頁第四十六頁，共89頁。47第46頁/共89頁第四十七頁，共89頁。48 置信區(qū)間檢驗(yàn)(jinyn)的主要步驟（所建

9、立的零假設(shè)同 t檢驗(yàn)(jinyn)）。第47頁/共89頁第四十八頁，共89頁。49 SEcrittcritt SEcritt SE第48頁/共89頁第四十九頁，共89頁。50*0:H第49頁/共89頁第五十頁，共89頁。51stat*c ritc rit-ttS E critt SE*critt SE第50頁/共89頁第五十一頁，共89頁。52第51頁/共89頁第五十二頁，共89頁。53第52頁/共89頁第五十三頁，共89頁。54tktktttuxxxy.33221第53頁/共89頁第五十四頁，共89頁。55uXy（2.46）第54頁/共89頁第五十五頁，共89頁。56Tuuuu21M（2.4

10、7） 殘差平方和為： 2222212121tTTTuuuuuuuuuuuuRSSKML（2.48）第55頁/共89頁第五十六頁，共89頁。57yXXXk121M （2.49）同樣我們可以得到多變量回歸(hugu)模型殘差的樣本方差kTuus2（2.50）參數(shù)(cnsh)的協(xié)方差矩陣 （2.51） 12varXXs第56頁/共89頁第五十七頁，共89頁。58第57頁/共89頁第五十八頁，共89頁。59TSSESSR 2（2.53）第58頁/共89頁第五十九頁，共89頁。60kttkttttxyxyxyESS3322233222tkttkttttyxyxyxyR第59頁/共89頁第六十頁，共89頁

11、。61 *1111tSE*2222tSE*kkkktSE（2.56） 均服從自由度為（n-k）的t分布。下面的檢驗(yàn)過程跟雙變量線性回歸模型(mxng)的檢驗(yàn)過程一樣。 第60頁/共89頁第六十一頁，共89頁。62第61頁/共89頁第六十二頁，共89頁。63uxxykk221 （2.57）這個(gè)模型稱為無約束回歸模型（unrestricted regression），因?yàn)殛P(guān)于回歸系數(shù)沒有(mi yu)任何限制。 第62頁/共89頁第六十三頁，共89頁。64uxxxxykkqkqkqkqk11221（2.58） 第63頁/共89頁第六十四頁，共89頁。6501kqkuxxyqkqk221 （2.59

12、）第64頁/共89頁第六十五頁，共89頁。66RRSSURRSS第65頁/共89頁第六十六頁，共89頁。67 （2.60）RURURRSSRSSqRSSNK在這里，分子是誤差平方和的增加與零假設(shè)所隱含的參數(shù)限制條件(tiojin)的個(gè)數(shù)之比；分母是模型的誤差平方和與無條件(tiojin)模型的自由度之比。如果零假設(shè)為真，式（2.60）中的統(tǒng)計(jì)量將服從分子自由度為q，分母自由度為N-K的F分布。 第66頁/共89頁第六十七頁，共89頁。68第67頁/共89頁第六十八頁，共89頁。6921RSSRTSS 21URURURRSSRTSS21RRRRSSRTSS RURTSSTSSkNRqRRFURR

13、URkNq222,1（2.62） 第68頁/共89頁第六十九頁，共89頁。70第69頁/共89頁第七十頁，共89頁。71t1tE(YI)t,1f第70頁/共89頁第七十一頁，共89頁。72t, 1t1tf=E(YI) （2.65） 第71頁/共89頁第七十二頁，共89頁。73第72頁/共89頁第七十三頁，共89頁。74第73頁/共89頁第七十四頁，共89頁。75第74頁/共89頁第七十五頁，共89頁。76第75頁/共89頁第七十六頁，共89頁。77211TstttyyTstytyty第76頁/共89頁第七十七頁，共89頁。7811TstttyyT第77頁/共89頁第七十八頁，共89頁。79Tt

14、tTtstTttstyTyTyyTU121212111tstyy 第78頁/共89頁第七十九頁，共89頁。80 ssststyyyyT121222 （2.69） ,ssyystytyyyyyTtssts1第79頁/共89頁第八十頁，共89頁。81221tstsMyyTyyU（2.70）221tstsSyyTU （2.71）2112tstsCyyTU （2.72）第80頁/共89頁第八十一頁，共89頁。82MUSUCU1, 0CSMUUU比例 分別稱為U的偏誤比例，方差比例，協(xié)方差比例。它們是將模型誤差(wch)按特征來源分解的有效方法（ ）。CSMUUU,1CSMUUU第81頁/共89頁第八十二頁，共89頁。83第82頁/共89頁第八十三頁，共89頁。84第83頁/