線性回歸模型學(xué)習(xí)教案

1、線性回歸線性回歸(hugu)模型模型第一頁(yè)，共83頁(yè)。第1頁(yè)/共83頁(yè)第二頁(yè)，共83頁(yè)。第2頁(yè)/共83頁(yè)第三頁(yè)，共83頁(yè)。第3頁(yè)/共83頁(yè)第四頁(yè)，共83頁(yè)。第4頁(yè)/共83頁(yè)第五頁(yè)，共83頁(yè)。第5頁(yè)/共83頁(yè)第六頁(yè)，共83頁(yè)。第6頁(yè)/共83頁(yè)第七頁(yè)，共83頁(yè)。模型的最關(guān)鍵的標(biāo)志，稱之為隨機(jī)擾動(dòng)項(xiàng)或誤差項(xiàng)。正是u 的隨機(jī)性使得我們可以采用統(tǒng)計(jì)推斷方法對(duì)模型的設(shè)定進(jìn)行嚴(yán)格的檢驗(yàn)。第7頁(yè)/共83頁(yè)第八頁(yè)，共83頁(yè)。第8頁(yè)/共83頁(yè)第九頁(yè)，共83頁(yè)。第9頁(yè)/共83頁(yè)第十頁(yè)，共83頁(yè)。第10頁(yè)/共83頁(yè)第十一頁(yè)，共83頁(yè)。第11頁(yè)/共83頁(yè)第十二頁(yè)，共83頁(yè)。第12頁(yè)/共83頁(yè)第十三頁(yè)，共83頁(yè)。,兩個(gè)變

2、量的協(xié)方差為零,則表明這兩個(gè)變量之間不存在相關(guān)關(guān)系.第13頁(yè)/共83頁(yè)第十四頁(yè)，共83頁(yè)。第14頁(yè)/共83頁(yè)第十五頁(yè)，共83頁(yè)。第15頁(yè)/共83頁(yè)第十六頁(yè)，共83頁(yè)。第16頁(yè)/共83頁(yè)第十七頁(yè)，共83頁(yè)。01()iiE yx簡(jiǎn)稱總體回歸方程（總體回歸線）。其中簡(jiǎn)稱總體回歸方程（總體回歸線）。其中(qzhng)總體回總體回歸系數(shù)歸系數(shù) 和和 是未知的，實(shí)際上總體回歸線是無(wú)法求是未知的，實(shí)際上總體回歸線是無(wú)法求得的，它只是理論上的存在，所以稱為理論回歸方程得的，它只是理論上的存在，所以稱為理論回歸方程01第17頁(yè)/共83頁(yè)第十八頁(yè)，共83頁(yè)。01iiiyxe01ix0101ie01iiyx第18頁(yè)

3、/共83頁(yè)第十九頁(yè)，共83頁(yè)。的平均變動(dòng)值，即x的變動(dòng)對(duì)y變動(dòng)的邊際貢獻(xiàn)率；是實(shí)際觀測(cè)值 y 的擬合值或估計(jì)(gj)值我們用一個(gè)圖來(lái)表示yi,E(yi, )、ui、ei01011第19頁(yè)/共83頁(yè)第二十頁(yè)，共83頁(yè)。 Y iY ie iY Xi X 01iiyx01()iiE yx()iE yiu第20頁(yè)/共83頁(yè)第二十一頁(yè)，共83頁(yè)。出 、 能使 yi ， 之差的平方和最小（即為使殘差平方和最小）01iy第21頁(yè)/共83頁(yè)第二十二頁(yè)，共83頁(yè)。方程組（方程組（* *）稱為）稱為(chn wi)(chn wi)正規(guī)方程組（正規(guī)方程組（normal equationsnormal equatio

4、ns）。）。 第22頁(yè)/共83頁(yè)第二十三頁(yè)，共83頁(yè)。iiiiiiiiYXnYXYYXXyx1)(上述上述(shngsh)(shngsh)參數(shù)估計(jì)量可以參數(shù)估計(jì)量可以寫成：寫成： 上式稱為上式稱為OLSOLS估計(jì)量的離差形式。估計(jì)量的離差形式。 由于參數(shù)由于參數(shù)(cnsh)(cnsh)的估計(jì)結(jié)果是通過(guò)最小二乘法得的估計(jì)結(jié)果是通過(guò)最小二乘法得到的，故稱為普通最小二乘估計(jì)量（到的，故稱為普通最小二乘估計(jì)量（ordinary least ordinary least squares estimatorssquares estimators）。）。 第23頁(yè)/共83頁(yè)第二十四頁(yè)，共83頁(yè)。10niie

5、10niieen10niiie x, x y第24頁(yè)/共83頁(yè)第二十五頁(yè)，共83頁(yè)。iiiyxu2iiix yx第25頁(yè)/共83頁(yè)第二十六頁(yè)，共83頁(yè)。第26頁(yè)/共83頁(yè)第二十七頁(yè)，共83頁(yè)。2 2、無(wú)偏性無(wú)偏性， 即估計(jì)量估計(jì)量0、1的均值（期望）等于總體回歸的均值（期望）等于總體回歸參數(shù)真值參數(shù)真值0與1 證明證明(zhngmng)：易知易知故故同樣地，容易同樣地，容易(rngy)(rngy)得出得出 第27頁(yè)/共83頁(yè)第二十八頁(yè)，共83頁(yè)。3 3、有效性（最小方差性）、有效性（最小方差性），即在所有線性無(wú)偏估計(jì)量即在所有線性無(wú)偏估計(jì)量中，最小二乘估計(jì)量中，最小二乘估計(jì)量0、1具有最小方差

6、具有最小方差。 (1)先先求求0與與1的的方方差差 第28頁(yè)/共83頁(yè)第二十九頁(yè)，共83頁(yè)。其中其中(qzhng)，ci=ki+di，di為不全為零的為不全為零的常數(shù)常數(shù)則容易證明則容易證明假設(shè)*1是其他估計(jì)方法得到的關(guān)于1的線性無(wú)偏估計(jì)量： 普通最小二乘估計(jì)量（普通最小二乘估計(jì)量（ordinary least Squares ordinary least Squares EstimatorsEstimators）稱為）稱為(chn wi)(chn wi)最佳線性無(wú)偏估計(jì)量最佳線性無(wú)偏估計(jì)量（best linear unbiased estimator, BLUEbest linear unb

7、iased estimator, BLUE） 第29頁(yè)/共83頁(yè)第三十頁(yè)，共83頁(yè)。教育對(duì)生育率在其他條件不變下的影響嗎？請(qǐng)解釋。educkids10第30頁(yè)/共83頁(yè)第三十一頁(yè)，共83頁(yè)。重要影響因素與模型中的教育水平educ相關(guān)時(shí)，上述回歸模型不能夠揭示教育對(duì)生育率在其他條件不變下的影響，因?yàn)檫@時(shí)出現(xiàn)解釋變量與隨機(jī)擾動(dòng)項(xiàng)相關(guān)的情形，基本假設(shè)4不滿足。第31頁(yè)/共83頁(yè)第三十二頁(yè)，共83頁(yè)。NE第32頁(yè)/共83頁(yè)第三十三頁(yè)，共83頁(yè)。為這些性質(zhì)的的成立無(wú)需隨機(jī)擾動(dòng)項(xiàng)的正態(tài)分布假設(shè)。N第33頁(yè)/共83頁(yè)第三十四頁(yè)，共83頁(yè)。第34頁(yè)/共83頁(yè)第三十五頁(yè)，共83頁(yè)。第35頁(yè)/共83頁(yè)第三十六頁(yè)，

8、共83頁(yè)。iiyY Y 第36頁(yè)/共83頁(yè)第三十七頁(yè)，共83頁(yè)。 如果Yi=i 即實(shí)際觀測(cè)值落在樣本回歸“線”上，則擬合最好?？烧J(rèn)為，“離差”全部(qunb)來(lái)自回歸線，而與“殘差”無(wú)關(guān)。第37頁(yè)/共83頁(yè)第三十八頁(yè)，共83頁(yè)。22)(YYyTSSii總離差平方和總離差平方和（Total Sum of Squares）22)(YYyESSii回歸回歸(hugu)(hugu)平方和平方和（Explained Sum of Explained Sum of SquaresSquares）22)(iiiYYeRSS殘差平方和殘差平方和（Residual Sum of Squares ）第38頁(yè)/共8

9、3頁(yè)第三十九頁(yè)，共83頁(yè)。此定義擬合優(yōu)度：回歸平方和ESS/Y的總離差TSS第39頁(yè)/共83頁(yè)第四十頁(yè)，共83頁(yè)。優(yōu)度越高。222221iiiiyeyyr21ESSRSSrTSSTSS 第40頁(yè)/共83頁(yè)第四十一頁(yè)，共83頁(yè)。22212iiyxr第41頁(yè)/共83頁(yè)第四十二頁(yè)，共83頁(yè)。12211()()()()ninniiiixxyyrxxyy第42頁(yè)/共83頁(yè)第四十三頁(yè)，共83頁(yè)。因變量因變量自變量自變量個(gè)人儲(chǔ)蓄個(gè)人儲(chǔ)蓄利率利率小麥產(chǎn)出小麥產(chǎn)出降雨量降雨量美國(guó)國(guó)防開支美國(guó)國(guó)防開支前蘇聯(lián)國(guó)防開支前蘇聯(lián)國(guó)防開支老師的計(jì)量經(jīng)濟(jì)學(xué)教學(xué)老師的計(jì)量經(jīng)濟(jì)學(xué)教學(xué)學(xué)生的計(jì)量經(jīng)濟(jì)學(xué)成學(xué)生的計(jì)量經(jīng)濟(jì)學(xué)成績(jī)績(jī)總統(tǒng)聲

10、譽(yù)總統(tǒng)聲譽(yù)任職時(shí)間任職時(shí)間學(xué)生計(jì)量經(jīng)濟(jì)學(xué)成績(jī)學(xué)生計(jì)量經(jīng)濟(jì)學(xué)成績(jī)其統(tǒng)計(jì)學(xué)成績(jī)其統(tǒng)計(jì)學(xué)成績(jī)?nèi)毡酒嚨倪M(jìn)口量日本汽車的進(jìn)口量美國(guó)人均國(guó)民收入美國(guó)人均國(guó)民收入第43頁(yè)/共83頁(yè)第四十四頁(yè)，共83頁(yè)。0221rntr(2)nt第44頁(yè)/共83頁(yè)第四十五頁(yè)，共83頁(yè)。(2)2nt(2)2ntt(2)2ntt第45頁(yè)/共83頁(yè)第四十六頁(yè)，共83頁(yè)。A. 隨機(jī)誤差項(xiàng)隨機(jī)誤差項(xiàng) B. 殘差殘差 C. 的離差的離差 D. 的離差的離差iY第46頁(yè)/共83頁(yè)第四十七頁(yè)，共83頁(yè)。012202(,)uiiXNnx01212(,)uiNx012u2u01第47頁(yè)/共83頁(yè)第四十八頁(yè)，共83頁(yè)。2u222iuen2u第4

11、8頁(yè)/共83頁(yè)第四十九頁(yè)，共83頁(yè)。在隨機(jī)誤差項(xiàng)ui的方差估計(jì)出后，參數(shù)0和1的方差方差和標(biāo)準(zhǔn)差標(biāo)準(zhǔn)差 的估計(jì)量分別是： 2u1的樣本方差： 221ixS 1的樣本標(biāo)準(zhǔn)差： 21ixS 0的樣本方差： 2220iixnXS 0的樣本標(biāo)準(zhǔn)差： 220iixnXS 2uu2uu第49頁(yè)/共83頁(yè)第五十頁(yè)，共83頁(yè)。于零,也就是檢驗(yàn)樣本是否(sh fu)取自其真實(shí)參數(shù)為零的總體.01第50頁(yè)/共83頁(yè)第五十一頁(yè)，共83頁(yè)。)2(1112211ntSxti2112(,)uiNx第51頁(yè)/共83頁(yè)第五十二頁(yè)，共83頁(yè)。 檢驗(yàn)(jinyn)步驟： （1）對(duì)總體參數(shù)(cnsh)提出假設(shè) H0： 1=0， H

12、1：10（2）以原假設(shè)）以原假設(shè)H0構(gòu)造構(gòu)造t統(tǒng)計(jì)統(tǒng)計(jì)(tngj)量，并由樣本計(jì)算其值量，并由樣本計(jì)算其值（3）給定顯著性水平）給定顯著性水平 ，查，查t分布表，得臨界值分布表，得臨界值t /2(n-2)(4) 比較，判斷比較，判斷 若若 |t| t /2(n-2)，則拒絕，則拒絕H0 ，接受，接受H1 ； 若若 |t| t /2(n-2)，則拒絕，則拒絕H1 ，接受，接受H0 ；t=11 (2)t ns第52頁(yè)/共83頁(yè)第五十三頁(yè)，共83頁(yè)。 對(duì)于一元線性回歸方程中的0，可構(gòu)造如下(rxi)t統(tǒng)計(jì)量進(jìn)行顯著性檢驗(yàn)： )2(0022200ntSxnXtii在上述收入在上述收入(shur)-(s

13、hur)-消費(fèi)支出例中，首先計(jì)算消費(fèi)支出例中，首先計(jì)算 的估的估計(jì)值計(jì)值 134022107425000777. 04590020222221222nxyneiii0425. 00018. 07425000/13402221ixS41.98742500010/53650000134022220iixnXS2第53頁(yè)/共83頁(yè)第五十四頁(yè)，共83頁(yè)。t t統(tǒng)計(jì)統(tǒng)計(jì)(tngj)(tngj)量的計(jì)算結(jié)果分別為：量的計(jì)算結(jié)果分別為： 給定顯著性水平=0.05，查t分布表得臨界值 t 0.05/2(8)=2.306 |t1|2.306，說(shuō)明家庭可支配收入在95%的置信度下顯著，即是消費(fèi)支出(zhch)的主

14、要解釋變量； |t0|2.306,表明在95%的置信度下，無(wú)法拒絕截距項(xiàng)為零的假設(shè)。 第54頁(yè)/共83頁(yè)第五十五頁(yè)，共83頁(yè)。0110101第55頁(yè)/共83頁(yè)第五十六頁(yè)，共83頁(yè)。1第56頁(yè)/共83頁(yè)第五十七頁(yè)，共83頁(yè)。1111ts112(2)2(2)1nnpttt 111ts1112(2)112(2)1nnptsts 111112(2)12(2)(,)nntsts第57頁(yè)/共83頁(yè)第五十八頁(yè)，共83頁(yè)。00002(2)02(2)(,)nntsts第58頁(yè)/共83頁(yè)第五十九頁(yè)，共83頁(yè)。0 x0 yiiXY100 y第59頁(yè)/共83頁(yè)第六十頁(yè)，共83頁(yè)。iiXY777. 0172.10310

15、3.1720.777 40003004.828iY 第60頁(yè)/共83頁(yè)第六十一頁(yè)，共83頁(yè)。201(,)iiYNX于是于是 )(11 (, 0(220200ixXXnNYY000eYY第61頁(yè)/共83頁(yè)第六十二頁(yè)，共83頁(yè)。) 2(0000ntSYYtYY式中 :)(11 (220200iYYxXXnS從而(cng r)在1-的置信度下， Y0的置信區(qū)間為第62頁(yè)/共83頁(yè)第六十三頁(yè)，共83頁(yè)。0101000)()()(XEXEYE于是第63頁(yè)/共83頁(yè)第六十四頁(yè)，共83頁(yè)?？梢宰C明可以證明 2210/),(ixXCov因此(ync)故)(1(22020iYxXXnS其中第64頁(yè)/共83頁(yè)第六

16、十五頁(yè)，共83頁(yè)。第65頁(yè)/共83頁(yè)第六十六頁(yè)，共83頁(yè)。在上述收入在上述收入- -消費(fèi)支出例中，得到的樣本回歸消費(fèi)支出例中，得到的樣本回歸(hugu)(hugu)函數(shù)為函數(shù)為則在則在 X0=1000處，處， 0 = 103.172+0.7771000=673.84 29.37277425000)21501000(10113402)(20YVar而05.61)(0YS因此，因此，總體均值總體均值E(Y|X=1000)的的95%的置信區(qū)間為：的置信區(qū)間為： 673.84-2.306 61.05 E(Y|X=1000) 673.84+2.306 61.05或或 （533.05, 814.62） 第

17、66頁(yè)/共83頁(yè)第六十七頁(yè)，共83頁(yè)。同樣同樣(tngyng)(tngyng)地，對(duì)于地，對(duì)于Y Y在在X=1000X=1000的個(gè)體值，其的個(gè)體值，其95%95%的置信區(qū)的置信區(qū)間為：間為： (372.03, 975.65) (372.03, 975.65) 總體回歸函數(shù)的置信總體回歸函數(shù)的置信(zhxn)(zhxn)帶（域）帶（域） 個(gè)體的置信個(gè)體的置信(zhxn)(zhxn)帶（域）帶（域） 第67頁(yè)/共83頁(yè)第六十八頁(yè)，共83頁(yè)。（1）樣本容量）樣本容量n越大，預(yù)測(cè)越大，預(yù)測(cè)(yc)精度越高，精度越高，反之預(yù)測(cè)反之預(yù)測(cè)(yc)精度越低精度越低（2）樣本容量一定時(shí)，置信帶的寬度當(dāng)在X均值

18、處最小，其附近進(jìn)行(jnxng)預(yù)測(cè)（插值預(yù)測(cè)）精度越大；X越遠(yuǎn)離其均值，置信帶越寬，預(yù)測(cè)可信度下降。第68頁(yè)/共83頁(yè)第六十九頁(yè)，共83頁(yè)。小結(jié)：簡(jiǎn)單小結(jié)：簡(jiǎn)單(jindn)線性回歸分析的主要步驟線性回歸分析的主要步驟1、建立回歸模型、建立回歸模型 研究某一經(jīng)濟(jì)現(xiàn)象，先根據(jù)經(jīng)濟(jì)理論，選擇具有因果關(guān)研究某一經(jīng)濟(jì)現(xiàn)象，先根據(jù)經(jīng)濟(jì)理論，選擇具有因果關(guān)系的兩個(gè)變量（系的兩個(gè)變量（X，Y)，建立線性回歸模型，確定解釋變量，建立線性回歸模型，確定解釋變量和被解釋變量。和被解釋變量。 如果不明確兩個(gè)變量是否為線性關(guān)系，也可如果不明確兩個(gè)變量是否為線性關(guān)系，也可以根據(jù)散點(diǎn)圖來(lái)分析。以根據(jù)散點(diǎn)圖來(lái)分析。 建立

19、回歸模型可以是根據(jù)經(jīng)濟(jì)理論，也可以根據(jù)相同或建立回歸模型可以是根據(jù)經(jīng)濟(jì)理論，也可以根據(jù)相同或相似經(jīng)濟(jì)現(xiàn)象的歷史分析經(jīng)驗(yàn)來(lái)建立回歸模型。相似經(jīng)濟(jì)現(xiàn)象的歷史分析經(jīng)驗(yàn)來(lái)建立回歸模型。 建立模型時(shí)，不僅要考慮建立模型時(shí)，不僅要考慮(kol)理論或經(jīng)驗(yàn)的依據(jù)，同理論或經(jīng)驗(yàn)的依據(jù)，同時(shí)也要考慮時(shí)也要考慮(kol)數(shù)據(jù)的可利用程度。數(shù)據(jù)的可利用程度。2、收集數(shù)據(jù)，并經(jīng)過(guò)適當(dāng)?shù)募庸ふ?，得到適于回歸分析、收集數(shù)據(jù)，并經(jīng)過(guò)適當(dāng)?shù)募庸ふ?，得到適于回歸分析的樣本數(shù)據(jù)集。的樣本數(shù)據(jù)集。第69頁(yè)/共83頁(yè)第七十頁(yè)，共83頁(yè)。論和實(shí)際(shj)相符。若不符，尋找原因統(tǒng)計(jì)檢驗(yàn)：擬和優(yōu)度檢驗(yàn)，回歸參數(shù)的顯著性檢驗(yàn)和區(qū)間估計(jì)

20、。第70頁(yè)/共83頁(yè)第七十一頁(yè)，共83頁(yè)。5、預(yù)測(cè)、預(yù)測(cè)(yc) 對(duì)于解釋變量的特定值，代入回歸方程得到因變量的預(yù)測(cè)對(duì)于解釋變量的特定值，代入回歸方程得到因變量的預(yù)測(cè)(yc)值；在給定的置信水平上，得到因變量預(yù)測(cè)值；在給定的置信水平上，得到因變量預(yù)測(cè)(yc)值的置值的置信區(qū)間。信區(qū)間。6、回歸結(jié)果的表述：、回歸結(jié)果的表述： 222112122121)()()()(RsetsetXYRseseXY或： 并說(shuō)明(shumng)參數(shù)的顯著水平（ ）。第71頁(yè)/共83頁(yè)第七十二頁(yè)，共83頁(yè)。提供回歸提供回歸(hugu)分析結(jié)果一般有兩種方式：分析結(jié)果一般有兩種方式：（1） = 6.70 + 0.58X

21、 R2 =0.49 （1.38）（）（2.76） 這里這里6.70和和0.58分別為分別為 和和 的估計(jì)值的估計(jì)值 和和 。 括號(hào)中數(shù)字是括號(hào)中數(shù)字是H0 : =0和和H0 : =0 為真時(shí)的為真時(shí)的 t 值。值。Y010101第72頁(yè)/共83頁(yè)第七十三頁(yè)，共83頁(yè)。（2） = 6.70 + 0.58X R2 =0.49 （4.86)（0.21） 括號(hào)中提供的是 和 的標(biāo)準(zhǔn)誤差。 由于存在這兩種格式，使得回歸結(jié)果的讀者難以判斷出括號(hào)中數(shù)字究竟是t 值還是標(biāo)準(zhǔn)誤差。因此，要求在提供回歸結(jié)果時(shí)，應(yīng)予以說(shuō)明。通常的作法有兩種。一種是文字說(shuō)明，另一種是用符號(hào)(fho)標(biāo)示。 Y01第73頁(yè)/共83頁(yè)第

22、七十四頁(yè)，共83頁(yè)。第第2章章 小結(jié)小結(jié)本章主要結(jié)果：本章主要結(jié)果：一、最小二乘法一、最小二乘法 若雙變量若雙變量(binling)線性模型線性模型 滿足下列統(tǒng)計(jì)假設(shè)滿足下列統(tǒng)計(jì)假設(shè)（1）E（ut）=0 擾動(dòng)項(xiàng)均值為擾動(dòng)項(xiàng)均值為0（2）E（uiuj）=0 , i j擾動(dòng)項(xiàng)相互獨(dú)立擾動(dòng)項(xiàng)相互獨(dú)立（3）E（ut2）=2 常數(shù)方差常數(shù)方差（4）X與與ut不相關(guān)不相關(guān)（5）ut服從正態(tài)分布服從正態(tài)分布01tttYXu第74頁(yè)/共83頁(yè)第七十五頁(yè)，共83頁(yè)。21tttxyxXY10122tx00222ttxnX第75頁(yè)/共83頁(yè)第七十六頁(yè)，共83頁(yè)。222221ttttYYerYYYY 22ttttx yrxy 為最小二乘回歸線擬合優(yōu)度的測(cè)度，即回歸線對(duì)為最小二乘回歸線擬合優(yōu)度的測(cè)度，即回歸線對(duì)各觀測(cè)點(diǎn)擬合緊密各觀測(cè)點(diǎn)擬合緊密(jnm)程度的測(cè)度，且程度的測(cè)度，且22( )rr第76頁(yè)/共83頁(yè)第七十七頁(yè)，共83頁(yè)。221222tttteyx ynn112tsx111112 (2)ttt nsx212ttx1第77頁(yè)/共8