線性回歸模型課件

1、線性回歸模型1線性回歸模型線性回歸模型線性回歸模型2學習目標 了解：經(jīng)濟變量之間的關系 “回歸”名稱的來源、逐個剔除法、逐步回歸法的優(yōu)缺點 理解：多元線性回歸模型的一般形式、隨機項的來源及基本假定、回歸分析的基本思想和方法、t檢驗、f檢驗、r檢驗的關系、判定系數(shù)、選元的標準。 掌握：線性回歸模型的一般形式、誤差隨機項的基本假定、回歸分析的主要內容、普通最小平方法、t檢驗、f檢驗、r檢驗的檢驗思想及步驟、點預測、區(qū)間預測、應用計算機軟件進行線性回歸分析 線性回歸模型3 內內 容容2.1 回歸模型的一般描述2.2 一元線性回歸的參數(shù)估計2.3 一元線性回歸的顯著性檢驗2.4 一元線性回歸的預測2.

2、5 多元線性回歸模型及其假設2.6 多元線性回歸的參數(shù)估計2.7 多元線性回歸的顯著性檢驗2.8 利用多元線性回歸方程進行預測2.9 解釋變量的選擇2.10 殘差分析與異常值檢測2.11 模型的結構穩(wěn)定性檢驗：chow檢驗2.12正態(tài)性檢驗：jarquebera檢驗線性回歸模型41 1 回歸模型的一般描述回歸模型的一般描述一、變量間的關系1. 函數(shù)關系：變量間卻定性的對應關系2. 相關關系：變量間不確定的對應關系（1）相關關系強弱的測度相關系數(shù)：（2）相關系數(shù)的取值范圍-1，1，正負號僅表示方向，不表示大小。22) y(y)x(x)x)(xy(yriiii線性回歸模型51 1 回歸模型的一般描

3、述回歸模型的一般描述二、回歸模型的一般形式三、一元線性回歸模型yf(x)u01iiiy xu線性回歸模型61 1 回歸模型的一般描述回歸模型的一般描述四、一元回歸模型的基本假定（最小二乘假定）（1）（2） 等方差性（3） 無序列相關（4）進一步假定,n,i)e(ui210,n,i)var(uui212,n,j,i,ji),ucov(uji210,n,i),xcov(uii210),un(u20線性回歸模型71 1 回歸模型的一般描述回歸模型的一般描述五、回歸分析預測的一般步驟以預測對象為因變量建立回歸模型；利用樣本數(shù)據(jù)對模型的參數(shù)進行估計；對參數(shù)的估計值及回歸方程進行顯著性檢驗；1.利用通過檢

4、驗的方程進行預測。線性回歸模型82 一元線性回歸的參數(shù)估計一、散點圖與回歸直線1. 散點圖：將n組相關數(shù)據(jù)在直角坐標系中描述出來即為散點，由坐標系和散點共同構成的圖形稱作散點圖。作用：直觀描述變量間的關系。例如：電的供應量與產值之間的關系線性回歸模型92 一元線性回歸的參數(shù)估計2. 回歸直線 當散點圖的數(shù)據(jù)點的走向大致趨于一條直線時，通過散點圖作一條直線，使它能夠擬合這些點，近似的描述變量間的關系，稱這條直線為回歸直線，記作iixbby線性回歸模型102.2 一元線性回歸的參數(shù)估計二、最小二乘法1. 基本原理：找到一條直線，使直線上的點與實際觀察值之間的距離最小，即 ，其中 。3. 根據(jù)微分極

5、值原理求解解該方程組得其中， ，min2)y(yqiiioixy1iiiii)xxbb(ybq)xbb(ybqxbyb)x(x)x)(xy(ybiiiixnx1iyny1線性回歸模型112 一元線性回歸的參數(shù)估計例 已知一個工廠的年產值與電的供應量之間存在一元線性關系，數(shù)據(jù)如右表所示，試求該回歸方程。解：使用excel實現(xiàn)回歸于是所求的方程為 這說明，該廠電的供應量每增加一萬度，年產值增加6.9712萬元。產值（萬元）y電的供應量（萬度）x21312.524216.328620.730522.43062334228.635130.137332.537932.63773338435.439537

6、.93873740239.241840.7.xyb.)x(x)x)(xy(ybiiiiix.y971263480138線性回歸模型122.3 一元線性回歸的顯著性檢驗一、經(jīng)濟檢驗二、擬合優(yōu)度檢驗三、回歸方程的顯著性檢驗四、回歸系數(shù)的顯著性檢驗線性回歸模型133 一元線性回歸的顯著性檢驗一、經(jīng)濟檢驗（邏輯檢驗）檢驗內容：參數(shù)估計值的符號和大小是否與經(jīng)濟理論和經(jīng)濟實 際相符合，是否有經(jīng)濟意義。二、擬合優(yōu)度檢驗擬合優(yōu)度（可決系數(shù)）：回歸直線與實際數(shù)據(jù)的擬合程度 ，記作 ?；貧w變差的分解：tss=rss+ess 擬合優(yōu)度經(jīng)驗結果，通常要求 。2rssrtss802.r 2r線性回歸模型143 一元線性

7、回歸的顯著性檢驗三、回歸方程的顯著性檢驗檢驗內容：檢驗因變量和所有自變量的線性關系。建立原假設和備擇假設：構造統(tǒng)計量在顯著性水平 條件下的臨界值判斷：如果采用樣本數(shù)據(jù)計算的結果 ，則拒絕原假設，認為自變量和因變量之間的線性關系顯著。1122msrrssff( ,n)mseess n-),n(f21),n(ff21001110:h:h線性回歸模型153 一元線性回歸的顯著性檢驗四、回歸系數(shù)的顯著性檢驗檢驗內容：檢驗因變量和每個自變量的線性關系。建立原假設和備擇假設：構造統(tǒng)計量 , 其中在顯著性水平 條件下的臨界值1.判斷：如果采用樣本數(shù)據(jù)計算的結果 ，則拒絕原假設，認為因變量和該自變量之間的線性

8、關系顯著。001110:h:h)t(n)s(bbt)x(x)(n)y(y)s(biii)(nt22)(nt2t2線性回歸模型163 一元線性回歸的顯著性檢驗五、一元回歸方程的顯著性檢驗小結擬合優(yōu)度通常要求 ，且與相關系數(shù)之間的關系 ，但通常不用相關系數(shù)判斷擬合優(yōu)度；1.對于一元回歸，方程的顯著性檢驗和回歸系數(shù)的顯著性檢驗是一致的，做一個即可。802.r 22rr 線性回歸模型173 一元線性回歸的顯著性檢驗六、續(xù)例，給定顯著性水平 ，進行統(tǒng)計檢驗解：根據(jù)運行結果（1）方程的擬合優(yōu)度較高；（2）20 990 8rssr.tss0 051710 254 671132.rssf.f( ,)ess n

9、-05. 0線性回歸模型182.4 一元線性回歸的預測一、回歸預測定義：給定自變量一個特定的值，利用回歸方程對因變量的值進行估計。分類：點預測、區(qū)間預測二、點預測定義：假定y與x的回歸方程為 ，對于給定的自變量 ，求得 ，稱這種預測為點預測。續(xù)例，已求出該廠產值與電的供應量之間的回歸方程為 ，并通過檢驗。如果電的供應量達到50萬度，對產值進行點預測，iix.y971263480138ioixybb0 xx 00bbxyo（萬元）91.486509712. 63480.138971263480138iix.y線性回歸模型194 一元線性回歸的預測三、區(qū)間預測預測誤差：點預測值與實際觀測值之間的差

10、異 ?？梢宰C明 ，其中給定置信水平 ，置信區(qū)間為 ，其中， 是自由度為年n-2的t分布臨界值，其中1.4. 例置信水平95%的置信區(qū)間（464.73，509.09）。000yye)(e,n(e020011 220202)x -(x)x(xn)(eiu1)( )( (ety ,ety2i20u0)xx()xx(n11)( etn)y(yn-eiiiu線性回歸模型205 5 多元線性回歸模型及其假設多元線性回歸模型及其假設一、線性回歸模型的一般形式 如果因變量（被解釋變量）與各自變量（解釋變量）之間有線性相關關系，那么它們之間的線性總體回歸模型可以表示為： 寫成矩陣形式為： 其中nyyyy01 1

11、22kkyxxxuyxuknnnkkxxxxxxxxxxk10nuuuu線性回歸模型212.5 2.5 多元線性回歸模型及其假設多元線性回歸模型及其假設二、多元回歸模型的基本假定（1）（2） 等方差性（3） 無序列相關（4）（5）進一步假定（6） 各自變量之間不存在顯著相關關系,n,i,n,i,n,j,i,ji),ucov(uji210,n,i),xcov(uii210),n(uuinkxrank)(12|,0iiikie uxxx212(|,.,)iiikiuvar uxxx線性回歸模型222.6 多元線性回歸的參數(shù)估計一、參數(shù)估計方法1. 基本原理：2. 根據(jù)微分極值原理，采用矩陣形式求解

12、一元回歸的參數(shù)估計是多元回歸參數(shù)估計的特例。min2)y(yqiiyxxxt1t)(b線性回歸模型232.6 多元線性回歸的參數(shù)估計二、利用excel進行參數(shù)估計其操作步驟為：點擊工具點擊數(shù)據(jù)分析選擇回歸點擊確定輸入值輸入?yún)^(qū)域輸入值輸入?yún)^(qū)域輸入置信度在輸出選項選擇輸出區(qū)域或新工作組表或新工作簿點擊確定，即可得到輸出結果 線性回歸模型242.6 多元線性回歸的參數(shù)估計三、最小二乘估計量（olse)的統(tǒng)計性質 線性 = +最小二乘估計量b不僅是y的線性組合，也是u的線性組合。 無偏 = + = 最優(yōu)性最小二乘估計量b的最優(yōu)性，又稱有效性或最小方差性。 （ ）其中， 是 主對角線上的元素?？梢宰C明，

13、 具有最小方差的特性。（證明略）1()ttx xx u1()( )ttx xx e u21()tujjx x2ujjc0,1,2,jkjjc1()tx x)b(eyx)xx(bt1t)var(jbjb線性回歸模型252.6 多元線性回歸的參數(shù)估計四、隨機誤差項的方差的估計量 是 的無偏估計量（m=k+1，為變量個數(shù)或參數(shù)個數(shù)，k為自變量個數(shù)）。它的算術方根稱為估計標準誤差，記為：222211()1nniiiiiueeyysnmnk2u2211()1nniiiiiueeyysnmnk線性回歸模型262.6 多元線性回歸的參數(shù)估計此時，估計量的標準差可表示為： 是 主對角線上的元素（j=0,1,k

14、）。()jjbbjsvar b221()1niiijjujjyyccnkjjc1()tx x線性回歸模型272.6 多元線性回歸的參數(shù)估計五、回歸系數(shù)的置信區(qū)間由于 ； ； 故可得的置信度為 的置信區(qū)間為：excel能夠自動給出各回歸系數(shù)的上下限()jje b2var()jjjubc122(1),jjjubtnkc22(1)jjjubtnkc線性回歸模型282.6 多元線性回歸的參數(shù)估計六、例2.2 已知某地區(qū)的相關數(shù)據(jù)如右表所示，試求該回歸方程。解：使用excel實現(xiàn)回歸，得到的方程為 這說明，該地區(qū)收入每增加1萬元，消費增加0.497萬元，人口每增加1萬人消費增加0.665萬元。iiix.

15、x.y年份消費收入人口1994913.148.219959.513.948.919961013.849.54199710.614.850.25199813.416.451.02199916.220.951.84200017.724.253.76200120.128.153.69200221.830.154.55200325.335.855.35200431.348.556.1620053654.856.98線性回歸模型292.7 多元線性回歸的顯著性檢驗一、經(jīng)濟檢驗二、擬合優(yōu)度檢驗三、回歸方程的顯著性檢驗四、回歸系數(shù)的顯著性檢驗五、序列相關檢驗線性回歸模型302.7 多元線性回歸的顯著性檢驗一

16、、經(jīng)濟檢驗（邏輯檢驗）1. 檢驗內容：參數(shù)估計值的符號和大小是否與經(jīng)濟理論和經(jīng)濟 實際相符合。2. 回歸系數(shù)的估計值與實際相反的原因（1）某些變量的取值范圍太窄；（2）模型中遺漏了某些重要因素；（3）模型中自變量之間有較強的線性關系。線性回歸模型312.7 多元線性回歸的顯著性檢驗二、擬合優(yōu)度檢驗判定系數(shù) 與修正判定系數(shù) 判定系數(shù)的大小還取決于包含在模型中的自變量的個數(shù)。2. 修正判定系數(shù) 的計算 注：（1）如果k=0，則（2）如果k0，則（3） 有可能為負值。2rr rrknn)r(rrrr2r線性回歸模型322.7 多元線性回歸的顯著性檢驗三、回歸方程的顯著性檢驗檢驗內容：檢驗因變量和所有

17、自變量的線性關系。建立原假設和備擇假設：構造統(tǒng)計量在顯著性水平 條件下的臨界值判斷：如果采用樣本數(shù)據(jù)計算的結果 ，則拒絕原假設，認為因變量和自變量全體之間的線性關系顯著。11msrrss kf f(k,nk)mseess nk -)k(k,nf)k(k,nff0不全為ik:h:h線性回歸模型332.7 多元線性回歸的顯著性檢驗四、回歸系數(shù)的顯著性檢驗檢驗內容：檢驗因變量和每個自變量的線性關系。建立原假設和備擇假設：構造統(tǒng)計量 , 在顯著性水平 條件下的臨界值1.判斷：如果采用樣本數(shù)據(jù)計算的結果 ， 則拒絕原假設，認為因變量和該自變量之間的線性關系顯著。,k,i:h:hii)kt(n)s(tiii)k(nt)k(ntti線性回歸模型342.7 多元線性回歸的顯著性檢驗五、多元回歸的顯著性檢驗小結。擬合優(yōu)度的檢驗需要采用修正判定系數(shù)；1.回歸方程的顯著性檢驗和回歸系數(shù)的顯著性檢驗不再一致，需要分別進行；線性回歸模型352.7 多元線性回歸的顯著性檢驗六、續(xù)例2.2，給定顯著性水平 ，進行檢驗解：根據(jù)運行結果（1）方程的擬合優(yōu)度較高；（2）方程通過