一元線性回歸模型06411

1、Econometrics第三章第三章 一元線性回歸模型一元線性回歸模型（教材第二、三章）（教材第二、三章）第三章第三章 一元線性回歸模型一元線性回歸模型3.1 3.1 回歸的涵義回歸的涵義3.2 3.2 隨機擾動項的來源隨機擾動項的來源3.3 3.3 參數(shù)的最小二乘估計參數(shù)的最小二乘估計3.4 3.4 參數(shù)估計的性質(zhì)參數(shù)估計的性質(zhì)3.5 3.5 顯著性檢驗顯著性檢驗3.6 3.6 擬合優(yōu)度擬合優(yōu)度3.7 3.7 預(yù)測預(yù)測學(xué)習(xí)要點學(xué)習(xí)要點 回歸模型的涵義，參數(shù)的回歸模型的涵義，參數(shù)的OLS估計估計及其性質(zhì)，顯著性檢驗及其性質(zhì)，顯著性檢驗3.1 3.1 回歸的涵義回歸的涵義回歸分析（回歸分析（re

2、gression analysis）用于研究一個變量（稱為被解釋變量被解釋變量或應(yīng)變量應(yīng)變量）與另一個或多個變量（稱為解釋變量解釋變量或自變量自變量）之間的關(guān)系。Y代表被解釋變量，X代表解釋變量；解釋變量有多個時，用X1，X2，X3等表示。例：商品的需求量與該商品價格、消費者收入以及其他競爭性商品價格之間的關(guān)系?？傮w回歸函數(shù)（總體回歸函數(shù)（population regression function，PRF）例：學(xué)生的家庭收入與數(shù)學(xué)分數(shù)有怎樣的關(guān)系？3.1 3.1 回歸的涵義回歸的涵義3.1 3.1 回歸的涵義回歸的涵義總體回歸函數(shù)（總體回歸函數(shù)（population regression f

3、unction，PRF）根據(jù)上面數(shù)據(jù)做散點圖3.1 3.1 回歸的涵義回歸的涵義總體回歸函數(shù)（總體回歸函數(shù)（population regression function，PRF）上圖中，圓圈點稱為條件均值；條件均值的連線稱為總體回歸線?？傮w回歸線表明了Y的均值與每個X的變動關(guān)系。上圖近似線性的總體回歸線可以表示成： 表示給定的X值所對應(yīng)的Y的均值； 、 稱為參數(shù)（parameters），也稱回歸系數(shù)（regression coefficients）； 稱為截距（intercept）， 稱為斜率（slope）。斜率系數(shù)度量了X每變動一單位，Y（條件）均值的變化率。舉例： ，含義？12iiE Y

4、XBB XiE Y X1B2B1B2B20.001B 3.1 3.1 回歸的涵義回歸的涵義樣本回歸函數(shù)（樣本回歸函數(shù)（sample regression function, SRF）實際中往往無法獲得整個總體的數(shù)據(jù)，怎么估計總體回歸函數(shù)？即如何求參數(shù)B1、B2？通常，我們僅僅有來自總體的一個樣本。我們的任務(wù)就是根據(jù)樣本信息估計總體回歸函數(shù)。怎么實現(xiàn)？3.1 3.1 回歸的涵義回歸的涵義樣本回歸函數(shù)（樣本回歸函數(shù)（sample regression function, SRF）表2-2、2-3的數(shù)據(jù)都是從表2-1中隨機抽取得到的。3.1 3.1 回歸的涵義回歸的涵義樣本回歸函數(shù)（樣本回歸函數(shù)（s

5、ample regression function, SRF）通過散點得到兩條“擬合”樣本數(shù)據(jù)的樣本回歸線。3.1 3.1 回歸的涵義回歸的涵義樣本回歸函數(shù)（樣本回歸函數(shù)（sample regression function, SRF）可用樣本回歸函數(shù)（SRF）表示樣本回歸線： 其中， 總體條件均值 的估計量；并非所有樣本數(shù)據(jù)都準確地落在樣本回歸線上，因此建立隨機樣本回歸函數(shù)： 其中， 是 的估計量，稱 為殘差（residual）。 表示了Y的實際值與樣本回歸估計值的差。 iY iE Y X12iiYbb X1122bBbB的估計量；的估計量12iiiYbb Xeieiuieie3.1 3.1

6、 回歸的涵義回歸的涵義樣本回歸函數(shù)（樣本回歸函數(shù)（sample regression function, SRF）回歸分析：根據(jù)樣本回歸函數(shù)估計總體回歸函數(shù)。3.1 3.1 回歸的涵義回歸的涵義“線性線性”回歸的特殊含義回歸的特殊含義對“線性”有兩種解釋：變量線性和參數(shù)線性。變量線性：例如前面的總體（或樣本）回歸函數(shù)；下面的函數(shù)不是變量線性的：參數(shù)線性：參數(shù)B1、B2僅以一次方的形式出現(xiàn)。下面的模型是參數(shù)非線性的：本書主要關(guān)注參數(shù)線性模型。從現(xiàn)在起，線性回歸（linear regression）是指參數(shù)線性的回歸，而解釋變量并不一定是線性的。 212121, iiE YBB XE YBBX 2

7、12iE YBB X3.2 3.2 隨機擾動項的來源隨機擾動項的來源總體回歸函數(shù)說明在給定的家庭收入下，美國學(xué)生 平均的平均的數(shù)學(xué)分數(shù)。但對于某一個學(xué)生，他的數(shù)學(xué)分數(shù)可能與該平均水平有偏差?？梢越忉尀椋瑐€人數(shù)學(xué)分數(shù)等于這一組的平均值加上或減去某個值。用數(shù)學(xué)公式表示為： 其中， 表示隨機擾動項，簡稱擾動項。擾動項是一個隨機變量，通常用概率分布來描述。12iiiYBB Xuiu3.2 3.2 隨機擾動項的來源隨機擾動項的來源對于回歸模型 稱為 被解釋變量（explained variable） 也稱 應(yīng)變量或因變量（dependent variable） 稱為 解釋變量（explanatory v

8、ariable） 也稱 自變量（independent variable） 稱為 參數(shù)（parameter） 稱為 隨機擾動項（random error term）12iiiYBB XuiuiYiX12,B B3.2 3.2 隨機擾動項的來源隨機擾動項的來源上式如何解釋？可以認為，在給定家庭收入水平 上，第i個學(xué)生的數(shù)學(xué)分數(shù)可以表達為兩部分之和：一是 ，即 ，是該收入水平上的平均數(shù)學(xué)分數(shù)。這一部分稱為系統(tǒng)或確定性部分。二是 ，稱為非系統(tǒng)或隨機成本，由收入以外的因素決定。此時，稱 為隨機總體回歸函數(shù)（stochastic PRF）。 12iBB XiE Y XiuiX12iiiiiYE Y Xu

9、BB Xu3.2 3.2 隨機擾動項的來源隨機擾動項的來源3.2 3.2 隨機擾動項的來源隨機擾動項的來源性質(zhì)1：擾動項代表了未納入模型變量的影響。例如個人健康狀況、居住區(qū)域等等。性質(zhì)2：反映了人類行為的內(nèi)在隨機性。即使模型中包括了決定數(shù)學(xué)分數(shù)的所有變量，其內(nèi)在隨機性也不可避免，這是做任何努力都無法解釋的。性質(zhì)3：還代表了度量誤差，例如收入的數(shù)據(jù)可能不等于真實值。性質(zhì)4：“奧卡姆剃刀原則”即描述應(yīng)該盡可能簡單，只要不遺漏重要的信息，此時可以把影響Y的次要因素歸入隨機擾動項。3.3 3.3 參數(shù)的最小二乘估計參數(shù)的最小二乘估計參數(shù)估計：普通最小二乘法（參數(shù)估計：普通最小二乘法（OLS）根據(jù)樣本回

10、歸函數(shù)估計總體回歸函數(shù)，要回答兩個問題：如何估計PRF？如何驗證估計的PRF是真實的PRF的一個“好”的估計值？這里先回答第一個問題?；貧w分析中使用最廣泛的是普通最小二乘法（method of ordinary least squares, OLS）3.3 3.3 參數(shù)的最小二乘估計參數(shù)的最小二乘估計參數(shù)估計：普通最小二乘法（參數(shù)估計：普通最小二乘法（OLS）最小二乘原理：由于不能直接觀察PRF： 所以用SRF 來估計它，因而最好的估計方法是，選擇 使得殘差 盡可能小。12iiiYBB Xu12iiiYbb Xe12 iiiiiiieYYYYYbb X實際的估計的12bb、ie3.3 3.3

11、參數(shù)的最小二乘估計參數(shù)的最小二乘估計參數(shù)估計：普通最小二乘法（參數(shù)估計：普通最小二乘法（OLS）普通最小二乘法就是要選擇參數(shù) ，使得殘差平殘差平方和方和（residual sum of squares, RSS） 最小。即12bb、2ie22212 miniiiiiQeYYYbb X3.3 3.3 參數(shù)的最小二乘估計參數(shù)的最小二乘估計參數(shù)估計：普通最小二乘法（參數(shù)估計：普通最小二乘法（OLS）如何確定 的值？根據(jù)微積分，當(dāng) 對 的一階偏導(dǎo)數(shù)為0時，Q達到最小。即12bb、12bb、1200QbQb212iiQYbb X121200iiiiiYbb XYbb X X12212iiiiiiYnbb

12、XY XbXbX或3.3 3.3 參數(shù)的最小二乘估計參數(shù)的最小二乘估計參數(shù)估計：普通最小二乘法（參數(shù)估計：普通最小二乘法（OLS）以上聯(lián)立方程組稱為正規(guī)方程組（normal equations）。求解 ，得注意： ，即小寫字母代表了變量與其均值的離差。上面給出的估計量稱為OLS估計量（OLS estimator）。12bb、1222222iiiiiiiiibYb XXXYYX YnXYx ybXnXxXX,iiiixXXyYY3.3 3.3 參數(shù)的最小二乘估計參數(shù)的最小二乘估計參數(shù)估計：普通最小二乘法（參數(shù)估計：普通最小二乘法（OLS）OLS估計量的一些重要性質(zhì)用OLS法得出的樣本回歸線經(jīng)過樣

13、本均值點，即殘差的均值 總為0。對殘差和解釋變量的積求和，其值為零，即對殘差與 （估計的 ）的積求和，其值為零，即12Ybb Xeie n0iie x 0iieY iYiY3.3 3.3 參數(shù)的最小二乘估計參數(shù)的最小二乘估計例子：數(shù)學(xué)例子：數(shù)學(xué)S.A.T分數(shù)分數(shù)3.3 3.3 參數(shù)的最小二乘估計參數(shù)的最小二乘估計例子：數(shù)學(xué)例子：數(shù)學(xué)S.A.T分數(shù)分數(shù)根據(jù)公式可以得到回歸結(jié)果：432.41380.0013iiYX3.3 3.3 參數(shù)的最小二乘估計參數(shù)的最小二乘估計例子：數(shù)學(xué)例子：數(shù)學(xué)S.A.T分數(shù)分數(shù)根據(jù)公式可以得到回歸結(jié)果：對估計結(jié)果的解釋：斜率系數(shù)0.0013表示在其他條件保持不變的情況下，

14、家庭年收入每增加1美元，數(shù)學(xué)S.A.T.分數(shù)平均提高0.0013分截距432.4138表示，當(dāng)家庭年收入為0時，數(shù)學(xué)平均分大約為432.4138。（這樣的解釋沒有什么經(jīng)濟意義）對截距最好的解釋是，它代表了回歸模型中所有省略變量對Y的平均影響。432.41380.0013iiYX3.3 3.3 參數(shù)的最小二乘估計參數(shù)的最小二乘估計例子：受教育年限與平均小時工資例子：受教育年限與平均小時工資預(yù)期平均工資隨受教育年限的增加而增加回歸結(jié)果：0.01440.7241iiYX 3.3 3.3 參數(shù)的最小二乘估計參數(shù)的最小二乘估計例子：股票價格與利率例子：股票價格與利率經(jīng)濟理論表明，股票價格和利率之間存在反

15、向關(guān)系。3.3 3.3 參數(shù)的最小二乘估計參數(shù)的最小二乘估計例子：股票價格與利率例子：股票價格與利率看起來兩個變量之間的關(guān)系不是線性的（即不是直線），因此，假設(shè)實際關(guān)系如下：回歸結(jié)果為：作為比較，線性回歸結(jié)果為：引發(fā)的一個重要問題：哪一個模型更好？如何進行判斷？在模型選擇中使用那些檢驗？后面將逐一回答。404.4067996.866 1iiYX121iiiYBBXu1229.341499.401iiYX3.4 3.4 參數(shù)估計的性質(zhì)參數(shù)估計的性質(zhì)古典線性回歸模型（古典線性回歸模型（CLRM）的假定）的假定前面我們回答了“如何估計PRF”的問題OLS。下面我們要回答“怎樣判別它是真實PRF的一個

16、好的估計”的問題。只有假定了隨機擾動項u的生成過程，才能判定SRF對PRF擬合得是好是壞。OLS估計量的推導(dǎo)與隨機擾動項的生成過程無關(guān)；但根據(jù)SRF進行假設(shè)檢驗時，就必須對隨機擾動項的生成做一些特殊的假定，否則無法進行假設(shè)檢驗。下面仍然沿用一元線性回歸模型來討論。3.4 3.4 參數(shù)估計的性質(zhì)參數(shù)估計的性質(zhì)古典線性回歸模型（古典線性回歸模型（CLRM）的假定）的假定假定1. 回歸模型是參數(shù)線性的，但不一定是變量線性的?；貧w模型形式如下（可擴展到多個解釋變量）：假定2. 解釋變量 與隨機擾動項 不相關(guān)。如果X是非隨機的，該假定自動滿足；即使X是隨機的，如果樣本容量足夠大，也不會對分析產(chǎn)生嚴重影響

17、。12iiiYBB XuXu3.4 3.4 參數(shù)估計的性質(zhì)參數(shù)估計的性質(zhì)古典線性回歸模型（古典線性回歸模型（CLRM）的假定）的假定假定3. 給定 ，擾動項的均值為零。即iX0iE u X3.4 3.4 參數(shù)估計的性質(zhì)參數(shù)估計的性質(zhì)古典線性回歸模型（古典線性回歸模型（CLRM）的假定）的假定假定4. 同方差（homoscedastic），即iu 2variu3.4 3.4 參數(shù)估計的性質(zhì)參數(shù)估計的性質(zhì)古典線性回歸模型（古典線性回歸模型（CLRM）的假定）的假定假定5. 無自相關(guān)（no autocorrelation），即兩個擾動項之間不相關(guān)：cov,0, iju uij3.4 3.4 參數(shù)估計

18、的性質(zhì)參數(shù)估計的性質(zhì)古典線性回歸模型（古典線性回歸模型（CLRM）的假定）的假定假定6. 回歸模型是正確設(shè)定的，即模型不存在設(shè)定偏差或設(shè)定誤差。為什么需要以上6個假定？這些假定現(xiàn)實嗎？如果不滿足這些假定，情況又會怎樣？如何得知是否滿足所有這些假定？這些重要的問題暫時沒有答案，事實上，教材“第二部分”都是圍繞“如果假定不滿足時會怎樣”而展開的。3.4 3.4 參數(shù)估計的性質(zhì)參數(shù)估計的性質(zhì)OLS估計量的方差與標(biāo)準差估計量的方差與標(biāo)準差有了上述假定后可以計算出估計量的方差和標(biāo)準差。OLS估計量是隨機變量，因為其值隨樣本的不同而變化，這些估計量的抽樣變異性通常由估計量的方差或其標(biāo)準差來度量。 OLS估

19、計量的方差（variance）及標(biāo)準差（standard error）：怎么估計 ？2222222var,varbibse bbx 12221112var,varibiXbse bbnx23.4 3.4 參數(shù)估計的性質(zhì)參數(shù)估計的性質(zhì)OLS估計量的方差與標(biāo)準差估計量的方差與標(biāo)準差根據(jù)下式估計 ：（n-2）稱為自由度。在一元線性回歸模型中有兩個參數(shù)，在計算這兩個未知參數(shù)時，失去了兩個自由度。因此，雖然有n個觀察值，但自由度僅為（n-2）。順便指出， 稱為回歸標(biāo)準差（standard error of the regression，SER）。2222ien23.4 3.4 參數(shù)估計的性質(zhì)參數(shù)估計的性

20、質(zhì)OLS估計量的方差與標(biāo)準差：數(shù)學(xué)估計量的方差與標(biāo)準差：數(shù)學(xué)S.A.T一例（一例（教材有誤教材有誤）3.4 3.4 參數(shù)估計的性質(zhì)參數(shù)估計的性質(zhì)估計結(jié)果的報告估計結(jié)果的報告估計的數(shù)學(xué)SAT函數(shù)如下（括號內(nèi)數(shù)字為標(biāo)準差）：OLS估計量的性質(zhì)估計量的性質(zhì)可以概括為高斯-馬爾柯夫定理(Gauss-Markov theorem)： 如果滿足古典線性回歸模型的基本假定，則在所有線性估計兩種，OLS估計量具有最小方差性，即OLS估計是最優(yōu)線性無偏估計量（BLUE）。具體見教材PP46。 432.41380.001316.9061 0.000245iiYXse3.5 3.5 顯著性檢驗顯著性檢驗OLS估計量

21、的抽樣分布或概率分布估計量的抽樣分布或概率分布知道如何計算OLS估計量及其標(biāo)準差仍然不夠，必須求出其抽樣分布才能進行假設(shè)檢驗。為了推導(dǎo)抽樣分布，再增加一條假定。假定假定7. 在總體回歸函數(shù) 中，擾動項 服從均值為0，方差為 的正態(tài)分布。即為什么可以作這樣一個假定？12iiiYBB Xuiu220,iuN3.5 3.5 顯著性檢驗顯著性檢驗OLS估計量的抽樣分布或概率分布估計量的抽樣分布或概率分布 可以證明， 是 的線性函數(shù)，根據(jù)“正態(tài)變量的線性函數(shù)仍服從正態(tài)分布”，得知 服從正態(tài)分布。中心極限定理： 隨著樣本量的增加，獨立同分布隨機變量構(gòu)造的統(tǒng)計量近似服從正態(tài)分布。iu2120,iuNbb、

22、的概率分布？12bb、12bb、3.5 3.5 顯著性檢驗顯著性檢驗OLS估計量的抽樣分布或概率分布估計量的抽樣分布或概率分布 12221122,bbbN BbN B3.5 3.5 顯著性檢驗顯著性檢驗假設(shè)檢驗假設(shè)檢驗假定：家庭年收入對學(xué)生的數(shù)學(xué)成績沒有影響數(shù)值結(jié)果表明： 。因此，零假設(shè)不成立？不能僅看數(shù)值結(jié)果，抽樣波動性會導(dǎo)致數(shù)值結(jié)果因樣本變化而不同 需要進行假設(shè)檢驗。怎么進行？前面指出：當(dāng)我們知道估計量的抽樣分布后，假設(shè)檢驗將不成問題。討論以下兩種方法：（1）置信區(qū)間法（2）顯著性檢驗法02:0HB 20.0013b 2222,ibN Bx3.5 3.5 顯著性檢驗顯著性檢驗假設(shè)檢驗假設(shè)檢

23、驗 能否使用上式進行假設(shè)檢驗？問題在哪里？問題在于真實的 是未知的！可以用 來估計它，則有：2222220,1ibBbBZNse bx2222nibBttx2222,ibN Bx2222ien3.5 3.5 顯著性檢驗顯著性檢驗假設(shè)檢驗：置信區(qū)間法假設(shè)檢驗：置信區(qū)間法 在數(shù)學(xué)S.A.T一例中，共有10個觀察值，因此自由度為（10-2）=8。假定 ，顯著性水平或犯第一類錯誤（棄真）的概率為5%，于是有 即 2222.3062.3060.95ibBPx2.3062.3060.95Pt 0212:0,:0HBHB3.5 3.5 顯著性檢驗顯著性檢驗假設(shè)檢驗：置信區(qū)間法假設(shè)檢驗：置信區(qū)間法整理 或 上

24、式給出了 的一個95%的置信區(qū)間：重復(fù)上述過程，100個這樣的區(qū)間中將有95個包括真實的 。代入 ，得區(qū)間不包括0，所以拒絕零假設(shè) ：家庭年收入對數(shù)學(xué)S.A.T沒有影響。222222.3062.3060.95iiP bBbxx222222.3062.3060.95P bse bBbse b2B2B22bse b、20.000740.00187B02:0HB 3.5 3.5 顯著性檢驗顯著性檢驗假設(shè)檢驗：置信區(qū)間法假設(shè)檢驗：置信區(qū)間法圖形（教材有誤） 0.00074 0.001873.5 3.5 顯著性檢驗顯著性檢驗假設(shè)檢驗：置信區(qū)間法假設(shè)檢驗：置信區(qū)間法按照上述過程，同樣可得截距 95%的置信

25、區(qū)間：如果 ，則顯然拒絕零假設(shè)，因為上述95%的置信區(qū)間不包括0。如果 ，則不能拒絕該假設(shè)，因為95%的置信區(qū)間包括了這個值。1B1393.4283471.3993B0111:0,:0HBHB0111:400,:400HBHB3.5 3.5 顯著性檢驗顯著性檢驗假設(shè)檢驗：顯著性檢驗法假設(shè)檢驗：顯著性檢驗法核心思想是根據(jù)從樣本數(shù)據(jù)求得的檢驗統(tǒng)計量的值決定接受或拒絕零假設(shè)。前面曾介紹如果令 ，其中， 是 的某個給定數(shù)值（例如， ），則根據(jù)樣本數(shù)據(jù)很容易求得可用計算出的t值作為檢驗統(tǒng)計量，它服從自由度為（n-2）的t分布。相應(yīng)的檢驗過程稱為t檢驗。2222nbBttse b*222bBtse b估計

26、量-假設(shè)值估計量的標(biāo)準誤*022:HBB*2B2B*20B 3.5 3.5 顯著性檢驗顯著性檢驗假設(shè)檢驗：顯著性檢驗法假設(shè)檢驗：顯著性檢驗法在具體進行t檢驗時（1）對于一元線性回歸模型（雙變量模型），自由度為（n-2）。（2）常用的顯著水平 有1%、5%或10%。為了避免選擇顯著水平的隨意性，通常求出p值（精確的顯著水平），如果計算的p值充分小，則拒絕零假設(shè)。（3）可用單邊或雙邊檢驗。3.5 3.5 顯著性檢驗顯著性檢驗假設(shè)檢驗：顯著性檢驗法假設(shè)檢驗：顯著性檢驗法先看雙邊檢驗（two-tailed test）假設(shè) ，有自由度為8時，t的（雙邊）臨界值如果計算得到的 超過臨界值，則拒絕零假設(shè)。0

27、212:0,:0HBHB*2220.001305.43540.00245bBtse b顯著水平顯著水平臨界值臨界值t0.013.3550.052.3060.101.860t3.5 3.5 顯著性檢驗顯著性檢驗假設(shè)檢驗：顯著性檢驗法假設(shè)檢驗：顯著性檢驗法 本例t=5.4354，拒絕零假設(shè)。相伴概率p約為0.0006，說明如果拒絕零假設(shè)，犯錯的概率只有萬分之六。3.5 3.5 顯著性檢驗顯著性檢驗假設(shè)檢驗：顯著性檢驗法假設(shè)檢驗：顯著性檢驗法再看單邊檢驗（one-tailed test）由于預(yù)期家庭收入對數(shù)學(xué)成績的影響是正向的，因此假設(shè) （備擇假設(shè)是單邊的）。 此時犯第一類錯誤的概率不是均等分布在t

28、分布的兩側(cè)，而是集中于一側(cè)。左側(cè)還是右側(cè)？自由度為8時，臨界t值（右側(cè)）為：結(jié)論：拒絕零假設(shè)！0212:0,:0HBHB*2220.001305.43540.00245bBtse b顯著水平顯著水平臨界值臨界值t0.012.8960.051.8600.101.3973.5 3.5 顯著性檢驗顯著性檢驗假設(shè)檢驗：顯著性檢驗法假設(shè)檢驗：顯著性檢驗法單邊t檢驗： 3.6 3.6 擬合優(yōu)度擬合優(yōu)度擬合回歸直線的優(yōu)度：判定系數(shù)擬合回歸直線的優(yōu)度：判定系數(shù)r2t檢驗表明樣本回歸函數(shù)很好地擬合了樣本數(shù)據(jù)。但并非每一個Y值都準確地落在了估計的PRF上。能否建立一個“擬合優(yōu)度”的判定規(guī)則，從而辨別估計的回歸線擬

29、合真實的Y值的優(yōu)劣程度？ 判定系數(shù)r2（coefficient of determination） 前面講到 ，作恒等變化，得 iiiYYe iiiiiYYYYYYe即由X變異所解釋的部分未解釋部分或殘差的變異Yi的變異3.6 3.6 擬合優(yōu)度擬合優(yōu)度擬合回歸直線的優(yōu)度：判定系數(shù)擬合回歸直線的優(yōu)度：判定系數(shù)r2 小寫字母表示與均值的離差，得或?qū)憺閮蛇呁瑫r平方再求和，得 iiiiiYYYYYYe即由X變異所解釋的部分未解釋部分或殘差的變異Yi的變異iiiyye2iiiyb xeYY注：22iyb x注：222iiiyye0,0,28iieeYPP注：利用3.6 3.6 擬合優(yōu)度擬合優(yōu)度擬合回歸直

30、線的優(yōu)度：判定系數(shù)擬合回歸直線的優(yōu)度：判定系數(shù)r2 上式出現(xiàn)的各種平方和定義如下： （total sum of squares, TSS）,真實Y值圍繞其均值 的總變異。 （explained sum of squares, ESS）,估計的Y值圍繞其均值 的變異，也稱回歸平方和（由解釋變量解釋的部分）。 （residual sum of squares, RSS）,即Y變異未被解釋的部分。于是上式可以簡化為： 222iiiyye2iy 總平方和Y2iy 解釋平方和YY2ie 殘差平方和TSSESSRSS3.6 3.6 擬合優(yōu)度擬合優(yōu)度擬合回歸直線的優(yōu)度：判定系數(shù)擬合回歸直線的優(yōu)度：判定系數(shù)r

31、2 表明Y與其均值的總離差可分解為兩部分：一部分歸于回歸線，另一部分歸于隨機因素。TSSESSRSS3.6 3.6 擬合優(yōu)度擬合優(yōu)度擬合回歸直線的優(yōu)度：判定系數(shù)擬合回歸直線的優(yōu)度：判定系數(shù)r2對于 ，一般的情形是：ESS和RSS均不為零，如果ESS遠大于RSS，則SRF在很大程度上解釋了Y的變異；如果RSS遠大于ESS，則SRF只能部分解釋Y的變異。如何量化“擬合優(yōu)度”？兩邊同時除以TSS，得：定義 ，稱 為判定系數(shù)。度量回歸線的擬合優(yōu)度，或者說度量了回歸模型對Y變異的解釋比例。TSSESSRSS1ESSRSSTSSTSS2ESSrTSS2r3.6 3.6 擬合優(yōu)度擬合優(yōu)度擬合回歸直線的優(yōu)度：

32、判定系數(shù)擬合回歸直線的優(yōu)度：判定系數(shù)r2計算公式：數(shù)學(xué)S.A.T一例：該 值已經(jīng)相當(dāng)大了，收入變量X解釋數(shù)學(xué)S.A.T分數(shù)79%的變異。1ESSRSSTSSTSS27801.077610.786936610r 222iiery2221iiery 2r3.6 3.6 擬合優(yōu)度擬合優(yōu)度擬合回歸直線的優(yōu)度：判定系數(shù)擬合回歸直線的優(yōu)度：判定系數(shù)r2 的兩個重要性質(zhì)：（1）非負性；（2） 趨于1表示擬合得好，反之表示擬合得不好。引起 較低的若干原因：引入的X不合適，其解釋能力較差；數(shù)據(jù)中被解釋變量個別觀測值具有較大的變差，使總平方和TSS變大。實際使用中，不可一味追求 趨于1。201r2r2r2r2r3.6 3.6 擬合優(yōu)度擬合優(yōu)度擬合回歸直線