線性回歸模型學(xué)習(xí)教案

1、線性回歸線性回歸(hugu)模型模型第一頁，共83頁。第1頁/共83頁第二頁，共83頁。第2頁/共83頁第三頁，共83頁。第3頁/共83頁第四頁，共83頁。第4頁/共83頁第五頁，共83頁。第5頁/共83頁第六頁，共83頁。第6頁/共83頁第七頁，共83頁。模型的最關(guān)鍵的標(biāo)志，稱之為隨機(jī)擾動(dòng)項(xiàng)或誤差項(xiàng)。正是u 的隨機(jī)性使得我們可以采用統(tǒng)計(jì)推斷方法對模型的設(shè)定進(jìn)行嚴(yán)格的檢驗(yàn)。第7頁/共83頁第八頁，共83頁。第8頁/共83頁第九頁，共83頁。第9頁/共83頁第十頁，共83頁。第10頁/共83頁第十一頁，共83頁。第11頁/共83頁第十二頁，共83頁。第12頁/共83頁第十三頁，共83頁。,兩個(gè)變

2、量的協(xié)方差為零,則表明這兩個(gè)變量之間不存在相關(guān)關(guān)系.第13頁/共83頁第十四頁，共83頁。第14頁/共83頁第十五頁，共83頁。第15頁/共83頁第十六頁，共83頁。第16頁/共83頁第十七頁，共83頁。01()iiE yx簡稱總體回歸方程（總體回歸線）。其中簡稱總體回歸方程（總體回歸線）。其中(qzhng)總體回總體回歸系數(shù)歸系數(shù) 和和 是未知的，實(shí)際上總體回歸線是無法求是未知的，實(shí)際上總體回歸線是無法求得的，它只是理論上的存在，所以稱為理論回歸方程得的，它只是理論上的存在，所以稱為理論回歸方程01第17頁/共83頁第十八頁，共83頁。01iiiyxe01ix0101ie01iiyx第18頁

3、/共83頁第十九頁，共83頁。的平均變動(dòng)值，即x的變動(dòng)對y變動(dòng)的邊際貢獻(xiàn)率；是實(shí)際觀測值 y 的擬合值或估計(jì)(gj)值我們用一個(gè)圖來表示yi,E(yi, )、ui、ei01011第19頁/共83頁第二十頁，共83頁。 Y iY ie iY Xi X 01iiyx01()iiE yx()iE yiu第20頁/共83頁第二十一頁，共83頁。出 、 能使 yi ， 之差的平方和最?。礊槭箽埐钇椒胶妥钚。?1iy第21頁/共83頁第二十二頁，共83頁。方程組（方程組（* *）稱為）稱為(chn wi)(chn wi)正規(guī)方程組（正規(guī)方程組（normal equationsnormal equatio

4、ns）。）。 第22頁/共83頁第二十三頁，共83頁。iiiiiiiiYXnYXYYXXyx1)(上述上述(shngsh)(shngsh)參數(shù)估計(jì)量可以參數(shù)估計(jì)量可以寫成：寫成： 上式稱為上式稱為OLSOLS估計(jì)量的離差形式。估計(jì)量的離差形式。 由于參數(shù)由于參數(shù)(cnsh)(cnsh)的估計(jì)結(jié)果是通過最小二乘法得的估計(jì)結(jié)果是通過最小二乘法得到的，故稱為普通最小二乘估計(jì)量（到的，故稱為普通最小二乘估計(jì)量（ordinary least ordinary least squares estimatorssquares estimators）。）。 第23頁/共83頁第二十四頁，共83頁。10niie

5、10niieen10niiie x, x y第24頁/共83頁第二十五頁，共83頁。iiiyxu2iiix yx第25頁/共83頁第二十六頁，共83頁。第26頁/共83頁第二十七頁，共83頁。2 2、無偏性無偏性， 即估計(jì)量估計(jì)量0、1的均值（期望）等于總體回歸的均值（期望）等于總體回歸參數(shù)真值參數(shù)真值0與1 證明證明(zhngmng)：易知易知故故同樣地，容易同樣地，容易(rngy)(rngy)得出得出 第27頁/共83頁第二十八頁，共83頁。3 3、有效性（最小方差性）、有效性（最小方差性），即在所有線性無偏估計(jì)量即在所有線性無偏估計(jì)量中，最小二乘估計(jì)量中，最小二乘估計(jì)量0、1具有最小方差

6、具有最小方差。 (1)先先求求0與與1的的方方差差 第28頁/共83頁第二十九頁，共83頁。其中其中(qzhng)，ci=ki+di，di為不全為零的為不全為零的常數(shù)常數(shù)則容易證明則容易證明假設(shè)*1是其他估計(jì)方法得到的關(guān)于1的線性無偏估計(jì)量： 普通最小二乘估計(jì)量（普通最小二乘估計(jì)量（ordinary least Squares ordinary least Squares EstimatorsEstimators）稱為）稱為(chn wi)(chn wi)最佳線性無偏估計(jì)量最佳線性無偏估計(jì)量（best linear unbiased estimator, BLUEbest linear unb

7、iased estimator, BLUE） 第29頁/共83頁第三十頁，共83頁。教育對生育率在其他條件不變下的影響嗎？請解釋。educkids10第30頁/共83頁第三十一頁，共83頁。重要影響因素與模型中的教育水平educ相關(guān)時(shí)，上述回歸模型不能夠揭示教育對生育率在其他條件不變下的影響，因?yàn)檫@時(shí)出現(xiàn)解釋變量與隨機(jī)擾動(dòng)項(xiàng)相關(guān)的情形，基本假設(shè)4不滿足。第31頁/共83頁第三十二頁，共83頁。NE第32頁/共83頁第三十三頁，共83頁。為這些性質(zhì)的的成立無需隨機(jī)擾動(dòng)項(xiàng)的正態(tài)分布假設(shè)。N第33頁/共83頁第三十四頁，共83頁。第34頁/共83頁第三十五頁，共83頁。第35頁/共83頁第三十六頁，

8、共83頁。iiyY Y 第36頁/共83頁第三十七頁，共83頁。 如果Yi=i 即實(shí)際觀測值落在樣本回歸“線”上，則擬合最好?？烧J(rèn)為，“離差”全部(qunb)來自回歸線，而與“殘差”無關(guān)。第37頁/共83頁第三十八頁，共83頁。22)(YYyTSSii總離差平方和總離差平方和（Total Sum of Squares）22)(YYyESSii回歸回歸(hugu)(hugu)平方和平方和（Explained Sum of Explained Sum of SquaresSquares）22)(iiiYYeRSS殘差平方和殘差平方和（Residual Sum of Squares ）第38頁/共8

9、3頁第三十九頁，共83頁。此定義擬合優(yōu)度：回歸平方和ESS/Y的總離差TSS第39頁/共83頁第四十頁，共83頁。優(yōu)度越高。222221iiiiyeyyr21ESSRSSrTSSTSS 第40頁/共83頁第四十一頁，共83頁。22212iiyxr第41頁/共83頁第四十二頁，共83頁。12211()()()()ninniiiixxyyrxxyy第42頁/共83頁第四十三頁，共83頁。因變量因變量自變量自變量個(gè)人儲(chǔ)蓄個(gè)人儲(chǔ)蓄利率利率小麥產(chǎn)出小麥產(chǎn)出降雨量降雨量美國國防開支美國國防開支前蘇聯(lián)國防開支前蘇聯(lián)國防開支老師的計(jì)量經(jīng)濟(jì)學(xué)教學(xué)老師的計(jì)量經(jīng)濟(jì)學(xué)教學(xué)學(xué)生的計(jì)量經(jīng)濟(jì)學(xué)成學(xué)生的計(jì)量經(jīng)濟(jì)學(xué)成績績總統(tǒng)聲

10、譽(yù)總統(tǒng)聲譽(yù)任職時(shí)間任職時(shí)間學(xué)生計(jì)量經(jīng)濟(jì)學(xué)成績學(xué)生計(jì)量經(jīng)濟(jì)學(xué)成績其統(tǒng)計(jì)學(xué)成績其統(tǒng)計(jì)學(xué)成績?nèi)毡酒嚨倪M(jìn)口量日本汽車的進(jìn)口量美國人均國民收入美國人均國民收入第43頁/共83頁第四十四頁，共83頁。0221rntr(2)nt第44頁/共83頁第四十五頁，共83頁。(2)2nt(2)2ntt(2)2ntt第45頁/共83頁第四十六頁，共83頁。A. 隨機(jī)誤差項(xiàng)隨機(jī)誤差項(xiàng) B. 殘差殘差 C. 的離差的離差 D. 的離差的離差iY第46頁/共83頁第四十七頁，共83頁。012202(,)uiiXNnx01212(,)uiNx012u2u01第47頁/共83頁第四十八頁，共83頁。2u222iuen2u第4

11、8頁/共83頁第四十九頁，共83頁。在隨機(jī)誤差項(xiàng)ui的方差估計(jì)出后，參數(shù)0和1的方差方差和標(biāo)準(zhǔn)差標(biāo)準(zhǔn)差 的估計(jì)量分別是： 2u1的樣本方差： 221ixS 1的樣本標(biāo)準(zhǔn)差： 21ixS 0的樣本方差： 2220iixnXS 0的樣本標(biāo)準(zhǔn)差： 220iixnXS 2uu2uu第49頁/共83頁第五十頁，共83頁。于零,也就是檢驗(yàn)樣本是否(sh fu)取自其真實(shí)參數(shù)為零的總體.01第50頁/共83頁第五十一頁，共83頁。)2(1112211ntSxti2112(,)uiNx第51頁/共83頁第五十二頁，共83頁。 檢驗(yàn)(jinyn)步驟： （1）對總體參數(shù)(cnsh)提出假設(shè) H0： 1=0， H

12、1：10（2）以原假設(shè)）以原假設(shè)H0構(gòu)造構(gòu)造t統(tǒng)計(jì)統(tǒng)計(jì)(tngj)量，并由樣本計(jì)算其值量，并由樣本計(jì)算其值（3）給定顯著性水平）給定顯著性水平 ，查，查t分布表，得臨界值分布表，得臨界值t /2(n-2)(4) 比較，判斷比較，判斷 若若 |t| t /2(n-2)，則拒絕，則拒絕H0 ，接受，接受H1 ； 若若 |t| t /2(n-2)，則拒絕，則拒絕H1 ，接受，接受H0 ；t=11 (2)t ns第52頁/共83頁第五十三頁，共83頁。 對于一元線性回歸方程中的0，可構(gòu)造如下(rxi)t統(tǒng)計(jì)量進(jìn)行顯著性檢驗(yàn)： )2(0022200ntSxnXtii在上述收入在上述收入(shur)-(s

13、hur)-消費(fèi)支出例中，首先計(jì)算消費(fèi)支出例中，首先計(jì)算 的估的估計(jì)值計(jì)值 134022107425000777. 04590020222221222nxyneiii0425. 00018. 07425000/13402221ixS41.98742500010/53650000134022220iixnXS2第53頁/共83頁第五十四頁，共83頁。t t統(tǒng)計(jì)統(tǒng)計(jì)(tngj)(tngj)量的計(jì)算結(jié)果分別為：量的計(jì)算結(jié)果分別為： 給定顯著性水平=0.05，查t分布表得臨界值 t 0.05/2(8)=2.306 |t1|2.306，說明家庭可支配收入在95%的置信度下顯著，即是消費(fèi)支出(zhch)的主

14、要解釋變量； |t0|2.306,表明在95%的置信度下，無法拒絕截距項(xiàng)為零的假設(shè)。 第54頁/共83頁第五十五頁，共83頁。0110101第55頁/共83頁第五十六頁，共83頁。1第56頁/共83頁第五十七頁，共83頁。1111ts112(2)2(2)1nnpttt 111ts1112(2)112(2)1nnptsts 111112(2)12(2)(,)nntsts第57頁/共83頁第五十八頁，共83頁。00002(2)02(2)(,)nntsts第58頁/共83頁第五十九頁，共83頁。0 x0 yiiXY100 y第59頁/共83頁第六十頁，共83頁。iiXY777. 0172.10310

15、3.1720.777 40003004.828iY 第60頁/共83頁第六十一頁，共83頁。201(,)iiYNX于是于是 )(11 (, 0(220200ixXXnNYY000eYY第61頁/共83頁第六十二頁，共83頁。) 2(0000ntSYYtYY式中 :)(11 (220200iYYxXXnS從而(cng r)在1-的置信度下， Y0的置信區(qū)間為第62頁/共83頁第六十三頁，共83頁。0101000)()()(XEXEYE于是第63頁/共83頁第六十四頁，共83頁?？梢宰C明可以證明 2210/),(ixXCov因此(ync)故)(1(22020iYxXXnS其中第64頁/共83頁第六

16、十五頁，共83頁。第65頁/共83頁第六十六頁，共83頁。在上述收入在上述收入- -消費(fèi)支出例中，得到的樣本回歸消費(fèi)支出例中，得到的樣本回歸(hugu)(hugu)函數(shù)為函數(shù)為則在則在 X0=1000處，處， 0 = 103.172+0.7771000=673.84 29.37277425000)21501000(10113402)(20YVar而05.61)(0YS因此，因此，總體均值總體均值E(Y|X=1000)的的95%的置信區(qū)間為：的置信區(qū)間為： 673.84-2.306 61.05 E(Y|X=1000) 673.84+2.306 61.05或或 （533.05, 814.62） 第

17、66頁/共83頁第六十七頁，共83頁。同樣同樣(tngyng)(tngyng)地，對于地，對于Y Y在在X=1000X=1000的個(gè)體值，其的個(gè)體值，其95%95%的置信區(qū)的置信區(qū)間為：間為： (372.03, 975.65) (372.03, 975.65) 總體回歸函數(shù)的置信總體回歸函數(shù)的置信(zhxn)(zhxn)帶（域）帶（域） 個(gè)體的置信個(gè)體的置信(zhxn)(zhxn)帶（域）帶（域） 第67頁/共83頁第六十八頁，共83頁。（1）樣本容量）樣本容量n越大，預(yù)測越大，預(yù)測(yc)精度越高，精度越高，反之預(yù)測反之預(yù)測(yc)精度越低精度越低（2）樣本容量一定時(shí)，置信帶的寬度當(dāng)在X均值

18、處最小，其附近進(jìn)行(jnxng)預(yù)測（插值預(yù)測）精度越大；X越遠(yuǎn)離其均值，置信帶越寬，預(yù)測可信度下降。第68頁/共83頁第六十九頁，共83頁。小結(jié)：簡單小結(jié)：簡單(jindn)線性回歸分析的主要步驟線性回歸分析的主要步驟1、建立回歸模型、建立回歸模型 研究某一經(jīng)濟(jì)現(xiàn)象，先根據(jù)經(jīng)濟(jì)理論，選擇具有因果關(guān)研究某一經(jīng)濟(jì)現(xiàn)象，先根據(jù)經(jīng)濟(jì)理論，選擇具有因果關(guān)系的兩個(gè)變量（系的兩個(gè)變量（X，Y)，建立線性回歸模型，確定解釋變量，建立線性回歸模型，確定解釋變量和被解釋變量。和被解釋變量。 如果不明確兩個(gè)變量是否為線性關(guān)系，也可如果不明確兩個(gè)變量是否為線性關(guān)系，也可以根據(jù)散點(diǎn)圖來分析。以根據(jù)散點(diǎn)圖來分析。 建立

19、回歸模型可以是根據(jù)經(jīng)濟(jì)理論，也可以根據(jù)相同或建立回歸模型可以是根據(jù)經(jīng)濟(jì)理論，也可以根據(jù)相同或相似經(jīng)濟(jì)現(xiàn)象的歷史分析經(jīng)驗(yàn)來建立回歸模型。相似經(jīng)濟(jì)現(xiàn)象的歷史分析經(jīng)驗(yàn)來建立回歸模型。 建立模型時(shí)，不僅要考慮建立模型時(shí)，不僅要考慮(kol)理論或經(jīng)驗(yàn)的依據(jù)，同理論或經(jīng)驗(yàn)的依據(jù)，同時(shí)也要考慮時(shí)也要考慮(kol)數(shù)據(jù)的可利用程度。數(shù)據(jù)的可利用程度。2、收集數(shù)據(jù)，并經(jīng)過適當(dāng)?shù)募庸ふ?，得到適于回歸分析、收集數(shù)據(jù)，并經(jīng)過適當(dāng)?shù)募庸ふ恚玫竭m于回歸分析的樣本數(shù)據(jù)集。的樣本數(shù)據(jù)集。第69頁/共83頁第七十頁，共83頁。論和實(shí)際(shj)相符。若不符，尋找原因統(tǒng)計(jì)檢驗(yàn)：擬和優(yōu)度檢驗(yàn)，回歸參數(shù)的顯著性檢驗(yàn)和區(qū)間估計(jì)

20、。第70頁/共83頁第七十一頁，共83頁。5、預(yù)測、預(yù)測(yc) 對于解釋變量的特定值，代入回歸方程得到因變量的預(yù)測對于解釋變量的特定值，代入回歸方程得到因變量的預(yù)測(yc)值；在給定的置信水平上，得到因變量預(yù)測值；在給定的置信水平上，得到因變量預(yù)測(yc)值的置值的置信區(qū)間。信區(qū)間。6、回歸結(jié)果的表述：、回歸結(jié)果的表述： 222112122121)()()()(RsetsetXYRseseXY或： 并說明(shumng)參數(shù)的顯著水平（ ）。第71頁/共83頁第七十二頁，共83頁。提供回歸提供回歸(hugu)分析結(jié)果一般有兩種方式：分析結(jié)果一般有兩種方式：（1） = 6.70 + 0.58X

21、 R2 =0.49 （1.38）（）（2.76） 這里這里6.70和和0.58分別為分別為 和和 的估計(jì)值的估計(jì)值 和和 。 括號中數(shù)字是括號中數(shù)字是H0 : =0和和H0 : =0 為真時(shí)的為真時(shí)的 t 值。值。Y010101第72頁/共83頁第七十三頁，共83頁。（2） = 6.70 + 0.58X R2 =0.49 （4.86)（0.21） 括號中提供的是 和 的標(biāo)準(zhǔn)誤差。 由于存在這兩種格式，使得回歸結(jié)果的讀者難以判斷出括號中數(shù)字究竟是t 值還是標(biāo)準(zhǔn)誤差。因此，要求在提供回歸結(jié)果時(shí)，應(yīng)予以說明。通常的作法有兩種。一種是文字說明，另一種是用符號(fho)標(biāo)示。 Y01第73頁/共83頁第

22、七十四頁，共83頁。第第2章章 小結(jié)小結(jié)本章主要結(jié)果：本章主要結(jié)果：一、最小二乘法一、最小二乘法 若雙變量若雙變量(binling)線性模型線性模型 滿足下列統(tǒng)計(jì)假設(shè)滿足下列統(tǒng)計(jì)假設(shè)（1）E（ut）=0 擾動(dòng)項(xiàng)均值為擾動(dòng)項(xiàng)均值為0（2）E（uiuj）=0 , i j擾動(dòng)項(xiàng)相互獨(dú)立擾動(dòng)項(xiàng)相互獨(dú)立（3）E（ut2）=2 常數(shù)方差常數(shù)方差（4）X與與ut不相關(guān)不相關(guān)（5）ut服從正態(tài)分布服從正態(tài)分布01tttYXu第74頁/共83頁第七十五頁，共83頁。21tttxyxXY10122tx00222ttxnX第75頁/共83頁第七十六頁，共83頁。222221ttttYYerYYYY 22ttttx yrxy 為最小二乘回歸線擬合優(yōu)度的測度，即回歸線對為最小二乘回歸線擬合優(yōu)度的測度，即回歸線對各觀測點(diǎn)擬合緊密各觀測點(diǎn)擬合緊密(jnm)程度的測度，且程度的測度，且22( )rr第76頁/共83頁第七十七頁，共83頁。221222tttteyx ynn112tsx111112 (2)ttt nsx212ttx1第77頁/共8