數(shù)學(xué)簡單線性回歸模型PPT學(xué)習(xí)教案

1、數(shù)學(xué)簡單線性回歸模型數(shù)學(xué)簡單線性回歸模型第1頁/共89頁第2頁/共89頁第3頁/共89頁第4頁/共89頁第5頁/共89頁第6頁/共89頁第7頁/共89頁第8頁/共89頁第9頁/共89頁第10頁/共89頁第11頁/共89頁第12頁/共89頁第13頁/共89頁第14頁/共89頁也服從正態(tài)分布。服從正態(tài)分布，的隨機性。的隨機性導(dǎo)致正是由于變量：服從正態(tài)分布的隨機：參數(shù)，：解釋變量被解釋變量YYYYiiniiixx010:第15頁/共89頁第16頁/共89頁 1. 經(jīng)濟變量間的相互關(guān)系 確定性的函數(shù)關(guān)系 不確定性的統(tǒng)計關(guān)系相關(guān)關(guān)系 (為隨機變量) 沒有關(guān)系 一、回歸與相關(guān) （對統(tǒng)計學(xué)的回顧）()Yf

2、X()Yf X第17頁/共89頁2.相關(guān)關(guān)系 相關(guān)關(guān)系的描述 相關(guān)關(guān)系最直觀的描述方式坐標(biāo)圖（散布圖） YX第18頁/共89頁 3.相關(guān)程度的度量相關(guān)系數(shù) 總體線性相關(guān)系數(shù)： 其中： X 的方差； Y的方差 X和Y的協(xié)方差樣本線性相關(guān)系數(shù)： 其中： 和 分別是變量 和 的樣本觀測值 和 分別是變量 和 樣本值的平均值Cov(,)Var()Var( )X YXYVar()XVar( )YCov(, )X Y_22()()()()iiXYiiXX YYXXYY_YiXiYXXYXY第19頁/共89頁XY第20頁/共89頁4. 回歸分析回歸的古典意義： 高爾頓遺傳學(xué)的回歸概念 ( 父母身高與子女身高

3、的關(guān)系)回歸的現(xiàn)代意義： 一個應(yīng)變量對若干解釋變量 依存關(guān)系 的研究回歸的目的（實質(zhì)）： 由固定的解釋變量去 估計應(yīng)變量的平均值第21頁/共89頁iXXYYYYYYYXYXE()iY X第22頁/共89頁 iXYX回歸線: 對于每一個 的取值， 都有 的條件期望 與之對應(yīng)， 代表這些 的條件期 望的點的軌跡所形成 的直線或曲線，稱為 回歸線?；貧w線與回歸函數(shù)XYYE()iY X第23頁/共89頁舉例：假如已知100個家庭構(gòu)成的總體。YXXE()()iiY Xf XYE()iY XE()iY X第24頁/共89頁每每 月月 家家 庭庭 可可 支支 配配 收收 入入 X X100015002000

4、250030003500400045005000550082096211081329163218422037227524642824888102412011365172618742110238825893038932112112641410178619062225242627903150每每960121013101432183510682319248828563201月月125913401520188520662321258729003288家家132414001615194321852365265030213399庭庭1448165020372210239827893064消消1489171

5、220782289248728533142費費1538177821792313251329343274支支160018412298239825383110出出17021886231624232567 Y1900238724532610201224982487271025892586900115014001650190021502400265029003150E()iY X例:100個家庭構(gòu)成的總體 (單位:元)第25頁/共89頁 1. 總體回歸函數(shù)的概念 前提：假如已知所研究的經(jīng)濟現(xiàn)象的總體應(yīng)變量 和解釋變量 的每個觀測值, 可以計算出總體應(yīng)變量 的條件均值 ，并將其表現(xiàn)為解釋變量 的某種函數(shù)

6、 這個函數(shù)稱為總體回歸函數(shù)（PRF）二、總體回歸函數(shù)（PRF）E()()iiY X= f XYYXXE()iY X第26頁/共89頁 iuiXXY)(iXYEiY （1）條件均值表現(xiàn)形式 假如 的條件均值 是解 釋變量 的線性函數(shù)，可表示為： （2）個別值表現(xiàn)形式 對于一定的 ， 的各個別值 分布 在 的周圍，若令各個 與條件 均值 的偏差為 , 顯然 是隨機變量,則有 或 2.總體回歸函數(shù)的表現(xiàn)形式iXE()iY X12E()()iiiiY Xf XXiYE()iY XiYE()iY Xiuiu12E()iiiiiiuYY XYX12iiiYXuYYX第27頁/共89頁YXYYX第28頁/共

7、89頁計量經(jīng)濟學(xué)中: 線性回歸模型主要指就參數(shù)而言是“線性”,因為只要對參數(shù)而言是線性的,都可以用類似的方法估計其參數(shù)。12E()iiiY XX212E()iiiY XX12E()iiiY XX“線性”的判斷第29頁/共89頁uiYiuYXiXuE()iY XYiu第30頁/共89頁引入隨機擾動項的原因第31頁/共89頁四、樣本回歸函數(shù)（SRF）X 樣本回歸線： 對于 的一定值，取得 的樣本觀測值，可計算其條件均值，樣本觀測值條件均值的軌跡稱為樣本回歸線。 樣本回歸函數(shù)： 如果把應(yīng)變量 的樣本條件均值表示為解釋變量 的某種函數(shù)，這個函數(shù)稱為樣本回歸函數(shù)（SRF）。 XYYYX第32頁/共89頁

8、SRF2SRF1YX第33頁/共89頁第34頁/共89頁12iiYX 樣本回歸函數(shù)如果為線性函數(shù)，可表示為 其中： 是與 相對應(yīng)的 的樣本條件均值 和 分別是樣本回歸函數(shù)的參數(shù) 應(yīng)變量 的實際觀測值 不完全等于樣本條件均值，二者之差用 表示, 稱為剩余項或殘差項： 或者 樣本回歸函數(shù)的表現(xiàn)形式21iiiYXeiiieYYieiXiYiY12ieYY第35頁/共89頁ieiYiuE()iY X12iiiYXe122112iu第36頁/共89頁iY 樣本回歸函數(shù)與總體回歸函數(shù)的關(guān)系 SRF PRF A iuieiY()iiE Y XiYYiXX第37頁/共89頁1 回歸分析的目的 用樣本回歸函數(shù)S

9、RF去估計總體回歸函數(shù)PRF。 由于樣本對總體總是存在代表性誤差，SRF 總會過 高或過低估計PRF。要解決的問題：尋求一種規(guī)則和方法，使得到的SRF的參數(shù) 和 盡可能“接近”總體回歸函數(shù)中的參數(shù) 和 。這樣的“規(guī)則和方法”有多種，最常用的是最小二乘法212第38頁/共89頁第39頁/共89頁第40頁/共89頁2、基本假定的內(nèi)容12iiiYXuXuX第41頁/共89頁iuiu（2）對隨機擾動項 的假定uiuXXE()0iiu X2iu22Var()EE()iiiiiu Xuu X第42頁/共89頁 假定3：無自相關(guān)假定 隨機擾動項 的逐次值互不相關(guān) 假定4：隨機擾動 與解釋變量 不相關(guān) iui

10、uX( ,)( )()ijiijjCov u uE uE uuE u()0()ijE uuij( ,)( )()0iiiiiiCov u XE uE uXE X第43頁/共89頁 假定5：對隨機擾動項分布的正態(tài)性假定 即假定 服從均值為零、方差為 的正態(tài)分布 （說明：正態(tài)性假定不影響對參數(shù)的點估計，但對確定所估計參數(shù)的分布性質(zhì)是需要的。且根據(jù)中心極限定理，當(dāng)樣本容量趨于無窮大時， 的分布會趨近于正態(tài)分布。所以正態(tài)性假定是合理的）iu2(0,)iuNiu2iu第44頁/共89頁iYCov( ,)0()ijY YijiiiuXY21iuiuiY12E()iiiY XX2Var()iY X212(,

11、)iiYNXY第45頁/共89頁OLS的基本思想二、普通最小二乘法 （rdinary Least Squares ）12iYiYiYieie2ie2212min()min()iiieYX第46頁/共89頁 正規(guī)方程和估計式用克萊姆法則求解得觀測值形式的OLS估計式： 2122()iiiiiiiXYXX YnXX取偏導(dǎo)數(shù)為0，得正規(guī)方程222()iiiiiinX YXYnXX12iiYnX212iiiiX YXX第47頁/共89頁 為表達得更簡潔，或者用離差形式OLS估計式： 注意其中：而且樣本回歸函數(shù)可寫為 22_2)()(iiiiiixyxXXYYXXXY2_1XXxiiYYyii用離差表現(xiàn)

12、的OLS估計式iiixy 第48頁/共89頁XYXYiYiY12YXiYYn第49頁/共89頁 剩余項 的均值為零應(yīng)變量估計值 與剩余項 不相關(guān) 解釋變量 與剩余項 不相關(guān) ie0neeiCov(,)0iiY eiYieieiXCov(,)0iiX e第50頁/共89頁( )fE( )E( )第51頁/共89頁前提：樣本相同、用不同的方法估計參數(shù)， 可以找到若干個不同的估計式 目標(biāo)：努力尋求其抽樣分布具有最小方差的 估計式 最小方差準則，或稱最佳 性準則 既是無偏的同時又具有最小方差的估計式，稱為 最佳無偏估計式。2. 最小方差性第52頁/共89頁 4. 漸近性質(zhì)（大樣本性質(zhì)）nP)lim(思

13、想:當(dāng)樣本容量較小時，有時很難找到最佳無偏估計，需要考慮樣本擴大后的性質(zhì)一致性： 當(dāng)樣本容量 n 趨于無窮大時，如果估計式 依概率收斂于總體參數(shù)的真實值，就稱這個估計式 是 的一致估計式。即 或 漸近有效性：當(dāng)樣本容量 n 趨于無窮大時，在所有的一致估計式中，具有最小的漸近方差。1)(limP第53頁/共89頁iYiX2122()iiiiiiiXYXX YnXX222()iiiiiinX YXYnXXkk第54頁/共89頁1. 線性特征 是 的線性函數(shù) 2. 無偏特性 3. 最小方差特性 在所有的線性無偏估計中，OLS估計 具有最小方差結(jié)論：在古典假定條件下,OLS估計式是最佳線性無 偏估計式

14、（BLUE） kOLS估計式的統(tǒng)計性質(zhì)高斯定理kkE)(iiiiiiiiykxyxXXYYXX222)()(2iiixkxkY第55頁/共89頁第56頁/共89頁 一、什么是擬合優(yōu)度? 概念：樣本回歸線是對樣本數(shù)據(jù)的一種擬合，不同估計方法可擬合出不同的回歸線，擬合的回歸線與樣本觀測值總有偏離。 樣本回歸線對樣本觀測數(shù)據(jù)擬合的優(yōu)劣程度 擬合優(yōu)度擬合優(yōu)度的度量建立在對總變差分解的基礎(chǔ)上XY第57頁/共89頁)()(iiiiYYYYYY222)()()(iiiiYYYYYY第58頁/共89頁2iy2iy2ie第59頁/共89頁iY總變差i(Y -Y )SRFi(Y -Y ) 來自回歸ie來自殘差iX

15、Y變差分解的圖示YX第60頁/共89頁222iyyrTSSRSSTSSESSTSSTSS2iy2r2iy2221iiyer22221iiiyeyy第61頁/共89頁可決系數(shù)的作用和特點102 r2r第62頁/共89頁運用可決系數(shù)時應(yīng)注意 可決系數(shù)只是說明列入模型的所有解釋變量對 因變量的聯(lián)合的影響程度，不說明模型中每個 解釋變量的影響程度（在多元中） 回歸的主要目的如果是經(jīng)濟結(jié)構(gòu)分析，不能只 追求高的可決系數(shù)，而是要得到總體回歸系數(shù) 可信的估計量，可決系數(shù)高并不表示每個回歸 系數(shù)都可信任 如果建模的目的只是為了預(yù)測因變量值，不是 為了正確估計回歸系數(shù)，一般可考慮有較高的 可決系數(shù)第63頁/共8

16、9頁第64頁/共89頁問題的提出 為什么要作區(qū)間估計？OLS估計只是通過樣本得到的點估計，不一定等于真實參數(shù)，還需要找到真實參數(shù)的可能范圍，并說明其可靠性為什么要作假設(shè)檢驗？OLS 估計只是用樣本估計的結(jié)果，是否可靠？ 是否抽樣的偶然結(jié)果？還有待統(tǒng)計檢驗。區(qū)間估計和假設(shè)檢驗都是建立在確定參數(shù)估計值概率分布性質(zhì)的基礎(chǔ)上。第65頁/共89頁iYkkkiukkiYiY第66頁/共89頁 的期望： (無偏估計） 的方差和標(biāo)準誤差 (標(biāo)準誤差是方差的算術(shù)平方根) 注意：以上各式中 未知，其余均是樣本觀測值 的期望和方差2212Var()iiXNx2E()kk222Var()ix22SE()ix212SE

17、()iiXNx第67頁/共89頁 可以證明 的無偏估計為 (n-2為自由度,即可自由變化的樣本觀測值個數(shù))2對隨機擾動項方差 的估計2222ien第68頁/共89頁在 已知時將 作標(biāo)準化變換2) 1 , 0()(22111111NxnXSEzii) 1 , 0()(2222222NxSEzi第69頁/共89頁2 (2)()kkktt nSE22當(dāng) 未知時 第70頁/共89頁k1),(kk1)(kkkP01第71頁/共89頁回歸系數(shù)區(qū)間估計的方法22*222 (2)()tt nSE第72頁/共89頁22n1)(22222tSEtP1)()(2222222SEtSEtP第73頁/共89頁三、回歸系

18、數(shù)的假設(shè)檢驗1. 假設(shè)檢驗的基本思想為什么要作假設(shè)檢驗？ 所估計的回歸系數(shù) 、 和方差 都是通過 樣本估計的，都是隨抽樣而變動的隨機變量， 它們是否可靠？是否抽樣的偶然結(jié)果呢？還需 要加以檢驗。212第74頁/共89頁XYXY第75頁/共89頁*2(2) ttn*2(2) ttn* 2 2-t(n - 2) t t(n - 2)2t(n- 2)22*22222 (2)()()tt nSESE02H :012H :002H :02. 回歸系數(shù)的檢驗方法第76頁/共89頁 P用 P 值判斷參數(shù)的顯著性假設(shè)檢驗的 p 值：p 值是基于既定的樣本數(shù)據(jù)所計算的統(tǒng)計量，是拒絕原假設(shè)的最低顯著性水平。統(tǒng)計分析軟件中通常都給出了檢驗的 p 值統(tǒng)計量 t由樣本計算的統(tǒng)計量為:相對于顯著性水平 的臨界值: