第06章回歸分析(lhy)

1、第六章 回歸分析Regression AnalysisChap 08-2變量間的相互關(guān)系變量間的相互關(guān)系n確定性的函數(shù)關(guān)系：確定性的函數(shù)關(guān)系：當(dāng)一個或者幾個變量取一定的值時，當(dāng)一個或者幾個變量取一定的值時，另一個變量有確定值與之相對應(yīng)；例如銷售收入與銷售量另一個變量有確定值與之相對應(yīng)；例如銷售收入與銷售量之間的關(guān)系、路程與速度之間的關(guān)系；之間的關(guān)系、路程與速度之間的關(guān)系；n不確定性的相關(guān)關(guān)系：不確定性的相關(guān)關(guān)系：當(dāng)一個或幾個相互聯(lián)系的變量取一當(dāng)一個或幾個相互聯(lián)系的變量取一定數(shù)值時，與之相對應(yīng)的另一個變量的值雖然不確定，但定數(shù)值時，與之相對應(yīng)的另一個變量的值雖然不確定，但它仍按照某種規(guī)律在一定的

2、范圍內(nèi)變化；它仍按照某種規(guī)律在一定的范圍內(nèi)變化； n客觀現(xiàn)象的函數(shù)關(guān)系可以用數(shù)學(xué)分析的方法去研究，而研究客觀現(xiàn)客觀現(xiàn)象的函數(shù)關(guān)系可以用數(shù)學(xué)分析的方法去研究，而研究客觀現(xiàn)象的相關(guān)關(guān)系必須借助于統(tǒng)計學(xué)中的相關(guān)與回歸分析方法。象的相關(guān)關(guān)系必須借助于統(tǒng)計學(xué)中的相關(guān)與回歸分析方法。 Chap 08-3相關(guān)關(guān)系的類型相關(guān)關(guān)系的類型n從相關(guān)關(guān)系涉及的變量數(shù)量看：單相關(guān)和復(fù)相關(guān)從相關(guān)關(guān)系涉及的變量數(shù)量看：單相關(guān)和復(fù)相關(guān)n一個變量對另一變量的相關(guān)關(guān)系，稱為單相關(guān)；一個變量對另一變量的相關(guān)關(guān)系，稱為單相關(guān)； n一個變量對兩個以上變量的相關(guān)關(guān)系時，稱為復(fù)相關(guān)；一個變量對兩個以上變量的相關(guān)關(guān)系時，稱為復(fù)相關(guān)； n從變

3、量相關(guān)關(guān)系的表現(xiàn)形式看：線性相關(guān)和非線性相關(guān)從變量相關(guān)關(guān)系的表現(xiàn)形式看：線性相關(guān)和非線性相關(guān)n從變量相關(guān)關(guān)系變化的方向看：正相關(guān)和負(fù)相關(guān)從變量相關(guān)關(guān)系變化的方向看：正相關(guān)和負(fù)相關(guān)n從變量相關(guān)的程度看：完全相關(guān)（函數(shù)關(guān)系）、不完全相從變量相關(guān)的程度看：完全相關(guān)（函數(shù)關(guān)系）、不完全相關(guān)、不相關(guān)關(guān)、不相關(guān)Chap 08-4相關(guān)分析與回歸分析相關(guān)分析與回歸分析 n相關(guān)分析是用一個指標(biāo)相關(guān)分析是用一個指標(biāo)( (相關(guān)系數(shù)相關(guān)系數(shù)r)r)來表明現(xiàn)象間依存來表明現(xiàn)象間依存關(guān)系的密切程度。關(guān)系的密切程度。 n回歸分析是用數(shù)學(xué)模型近似表達(dá)變量間的平均變化關(guān)系。回歸分析是用數(shù)學(xué)模型近似表達(dá)變量間的平均變化關(guān)系。Ch

4、ap 08-5n相關(guān)分析可以不必確定變量中哪個是自變量，哪個是因相關(guān)分析可以不必確定變量中哪個是自變量，哪個是因變量。變量。 n回歸分析必須事先確定具有相關(guān)關(guān)系的變量中哪個為自回歸分析必須事先確定具有相關(guān)關(guān)系的變量中哪個為自變量，哪個為因變量。變量，哪個為因變量。n相關(guān)分析和回歸分析有共同的研究對象，常常必須互相相關(guān)分析和回歸分析有共同的研究對象，常常必須互相補(bǔ)充。相關(guān)分析需要依靠回歸分析來表明現(xiàn)象數(shù)量相關(guān)補(bǔ)充。相關(guān)分析需要依靠回歸分析來表明現(xiàn)象數(shù)量相關(guān)的具體形式，而回歸分析則需要依靠相關(guān)分析來表明現(xiàn)的具體形式，而回歸分析則需要依靠相關(guān)分析來表明現(xiàn)象數(shù)量變化的密切程度。只有當(dāng)變量之間存在著高度

5、相象數(shù)量變化的密切程度。只有當(dāng)變量之間存在著高度相關(guān)時，進(jìn)行回歸分析才有意義。關(guān)時，進(jìn)行回歸分析才有意義。 相關(guān)分析與回歸分析相關(guān)分析與回歸分析 Chap 08-6相關(guān)系數(shù)相關(guān)系數(shù)n總體相關(guān)系數(shù)（總體相關(guān)系數(shù)（ population correlation coefficient） 是反映兩變量之間是反映兩變量之間線性線性相關(guān)程度的相關(guān)程度的一種特征值，表現(xiàn)為一個常數(shù)。一種特征值，表現(xiàn)為一個常數(shù)。n樣本相關(guān)系數(shù)（樣本相關(guān)系數(shù)（ sample correlation coefficient） r 是是 總體相關(guān)系數(shù)的一致估計量，是根據(jù)樣本觀測總體相關(guān)系數(shù)的一致估計量，是根據(jù)樣本觀測值計算的，反映

6、樣本觀測值線性相關(guān)程度的指標(biāo)。值計算的，反映樣本觀測值線性相關(guān)程度的指標(biāo)。)()(),(YVarXVarYXCovChap 08-7樣本相關(guān)系數(shù)樣本相關(guān)系數(shù)22()()() () iiiixxyyrxxyy其中其中:r = 樣本相關(guān)系數(shù)樣本相關(guān)系數(shù)n = 樣本容量樣本容量2222 ()() ()() iiiiiiiinx yxyrnxxnyy 樣本相關(guān)系數(shù)樣本相關(guān)系數(shù):或或:Chap 08-8樣本相關(guān)系數(shù)計算的例子樣本相關(guān)系數(shù)計算的例子樹的樹的高度高度樹干的樹干的直徑直徑y(tǒng)xxyy2x2358280122564499441240181277189729493361981089366013780

7、3600169217147441494511495202512151126122601144 y=321 x=73 xy=3142 y2=14111 x2=713Chap 08-9222222nx yyrn(x )(x ) n(y )(y ) 8 314273 3218 713(73) 8 14111 (321) 0.886iiiiiiiix 樹干的直徑樹干的直徑, x樹的高度樹的高度, y樣本相關(guān)系數(shù)計算的例子樣本相關(guān)系數(shù)計算的例子r = 0.886 表明 x 和 y 具有高度線性相關(guān)關(guān)系。Chap 08-10相關(guān)系數(shù)的特點(diǎn)相關(guān)系數(shù)的特點(diǎn) nr r的取值在的取值在-1-1與與1 1之間；之間

8、； n當(dāng)時，與的樣本觀測值之間沒有線性關(guān)系；當(dāng)時，與的樣本觀測值之間沒有線性關(guān)系；n在大多數(shù)情況下，即與的樣本在大多數(shù)情況下，即與的樣本觀測值之間存在著一定的線性關(guān)系，當(dāng)時，觀測值之間存在著一定的線性關(guān)系，當(dāng)時，與為正相關(guān)，當(dāng)時，與為負(fù)相關(guān)。與為正相關(guān)，當(dāng)時，與為負(fù)相關(guān)。 n如果，則表明與完全線性相關(guān)，當(dāng)如果，則表明與完全線性相關(guān)，當(dāng)時，稱為完全正相關(guān)，而時，稱為完全時，稱為完全正相關(guān)，而時，稱為完全負(fù)相關(guān)。負(fù)相關(guān)。 n是對變量之間線性相關(guān)關(guān)系的度量。只是表是對變量之間線性相關(guān)關(guān)系的度量。只是表明兩個變量之間不存在線性關(guān)系，但它并不意味著明兩個變量之間不存在線性關(guān)系，但它并不意味著與之間不存在

9、其他類型的關(guān)系。與之間不存在其他類型的關(guān)系。 Chap 08-11r = +0.3r = +1相關(guān)系數(shù)的圖示相關(guān)系數(shù)的圖示yxyxyxyxyxr = -1r = -0.6r = 0Chap 08-12單相關(guān)系數(shù)的顯著性檢驗單相關(guān)系數(shù)的顯著性檢驗 n假設(shè)假設(shè) H0: = 0 (無線性相關(guān)關(guān)系無線性相關(guān)關(guān)系) H1: 0 (確實存在線性相關(guān)關(guān)系確實存在線性相關(guān)關(guān)系)n檢驗統(tǒng)計量檢驗統(tǒng)計量n (自由度為自由度為 n 2 ）2nr1rt2Chap 08-13單相關(guān)系數(shù)的顯著性檢驗單相關(guān)系數(shù)的顯著性檢驗是否可以根據(jù)是否可以根據(jù)5的顯著性水平認(rèn)為樹的高度的顯著性水平認(rèn)為樹的高度與樹干的直徑之間存在一定程度

10、的線性相關(guān)與樹干的直徑之間存在一定程度的線性相關(guān)關(guān)系？關(guān)系？H0: = 0 (無線性相關(guān)關(guān)系)H1: 0 (確實存在線性相關(guān)關(guān)系) =0.05 , df = 8 - 2 = 64.6828.886010.8862nr1rt22Chap 08-144.6828.886010.8862nr1rt22單相關(guān)系數(shù)的顯著性檢驗單相關(guān)系數(shù)的顯著性檢驗結(jié)論結(jié)論:足以證明樹的高足以證明樹的高度與樹干的直徑度與樹干的直徑之間存在一定程之間存在一定程度的線性相關(guān)關(guān)度的線性相關(guān)關(guān)系。系。決策決策:拒絕拒絕 H0拒絕 H0拒絕 H0/2=0.025t/2不能拒絕 H00t 1- /2 /2=0.025-2.44692

11、.44694.68d.f. = 8-2 = 6Chap 08-15回歸分析回歸分析 Regression Analysisn回歸分析回歸分析n研究一個變量如何隨著其他變量的變化而變化；研究一個變量如何隨著其他變量的變化而變化； n用一個稱為回歸模型的數(shù)學(xué)方程來描述因變量與自變量用一個稱為回歸模型的數(shù)學(xué)方程來描述因變量與自變量之間的變化關(guān)系，再通過控制或給定自變量的數(shù)值來估之間的變化關(guān)系，再通過控制或給定自變量的數(shù)值來估計或預(yù)測因變量可能的數(shù)值。計或預(yù)測因變量可能的數(shù)值。 被解釋變量、因變量（被解釋變量、因變量（Dependent variable）:被視為被視為隨著自變量而變化的變量，是隨著自

12、變量而變化的變量，是我們想要加以解釋的變我們想要加以解釋的變量。量。解釋變量、自變量（解釋變量、自變量（Independent variable）:被視為主被視為主動變化的變量動變化的變量 ，用于解釋被解釋變量。，用于解釋被解釋變量。一元（簡單）線性回歸模型一元（簡單）線性回歸模型n只有只有一個自變量一個自變量, XnX 和和 Y 的關(guān)系用線性函數(shù)來描述的關(guān)系用線性函數(shù)來描述nY 的變化被認(rèn)為是由于的變化被認(rèn)為是由于 X 的變化引起的的變化引起的Chap 08-1712y xuiii線性部分線性部分總體回歸函數(shù)（模型）總體回歸函數(shù)（模型）總體回歸函數(shù)（模型）總體回歸函數(shù)（模型）: :截距項截距

13、項 斜率斜率 隨機(jī)誤差項隨機(jī)誤差項（隨機(jī)干擾項）（隨機(jī)干擾項）因變量因變量Y的第的第i個觀測個觀測值值自變量自變量X的的第第i個觀測值個觀測值隨機(jī)誤差項隨機(jī)誤差項其中，其中，u ui i是隨機(jī)誤差項，又稱隨機(jī)干擾項，它是一個特殊的隨機(jī)是隨機(jī)誤差項，又稱隨機(jī)干擾項，它是一個特殊的隨機(jī)變量，反映未列入方程式的其他各種因素對的影響。變量，反映未列入方程式的其他各種因素對的影響。 Chap 08-18總體回歸線與隨機(jī)誤差項總體回歸線與隨機(jī)誤差項隨機(jī)誤差項隨機(jī)誤差項yxxi對應(yīng)的因變量對應(yīng)的因變量的實際觀測值的實際觀測值yiyi的擬合值的擬合值 12E y xiix xi i斜率斜率 = 2截距截距 =

14、 1 uiChap 08-1912 yxii樣本回歸直線是根據(jù)樣本數(shù)據(jù)擬合的，是總體回歸樣本回歸直線是根據(jù)樣本數(shù)據(jù)擬合的，是總體回歸線的一個估計。線的一個估計。樣本回歸線和樣本回歸模型樣本回歸線和樣本回歸模型回歸截距的估回歸截距的估計值計值回歸斜率的估計回歸斜率的估計值值估計的估計的 (或擬或擬合的合的) y 值值自變量自變量12yxeiii樣本回歸線樣本回歸線（樣本回歸方程）（樣本回歸方程）樣本回歸函數(shù)樣本回歸函數(shù)（樣本回歸模型）（樣本回歸模型）殘差殘差Chap 08-20n總體回歸線是未知的，只有一條。樣本回歸線是根據(jù)樣本數(shù)據(jù)總體回歸線是未知的，只有一條。樣本回歸線是根據(jù)樣本數(shù)據(jù)擬合的，每

15、抽取一組樣本，便可以擬合一條樣本回歸線。擬合的，每抽取一組樣本，便可以擬合一條樣本回歸線。 n總體回歸模型中的總體回歸模型中的1 1和和2 2是未知的參數(shù)，表現(xiàn)為常數(shù)。而樣本是未知的參數(shù)，表現(xiàn)為常數(shù)。而樣本回歸函數(shù)中回歸函數(shù)中 的和的和 是隨機(jī)變量，其具體數(shù)值隨所抽取的樣本是隨機(jī)變量，其具體數(shù)值隨所抽取的樣本觀測值不同而變動。觀測值不同而變動。 n總體回歸模型中的總體回歸模型中的u ui i是是y yi i與未知的總體回歸線之間的縱向距離，與未知的總體回歸線之間的縱向距離，它是不可直接觀測的。而樣本回歸函數(shù)中的它是不可直接觀測的。而樣本回歸函數(shù)中的i i是是y yi i與樣本回歸與樣本回歸線之

16、間的縱向距離，當(dāng)根據(jù)樣本觀測值擬合出樣本回歸線之后，線之間的縱向距離，當(dāng)根據(jù)樣本觀測值擬合出樣本回歸線之后，可以計算出可以計算出i i的具體數(shù)值。的具體數(shù)值。 樣本回歸函數(shù)和總體回歸函數(shù)的區(qū)別樣本回歸函數(shù)和總體回歸函數(shù)的區(qū)別 12Chap 08-21誤差項的標(biāo)準(zhǔn)假定誤差項的標(biāo)準(zhǔn)假定n假定假定1：誤差項的期望值等于：誤差項的期望值等于0，即對所有的，即對所有的i總有總有E(ui)=0n假定假定2：誤差項的方差為常數(shù)，即對所有的：誤差項的方差為常數(shù)，即對所有的i總有總有Var(ui)=E(ui2)= n假定假定3：誤差項之間不存在序列相關(guān)關(guān)系，其協(xié)方差為零；：誤差項之間不存在序列相關(guān)關(guān)系，其協(xié)方差

17、為零；n假定假定4：自變量是給定的變量，與隨機(jī)誤差項線性無關(guān)；：自變量是給定的變量，與隨機(jī)誤差項線性無關(guān)；n假定假定5：隨機(jī)誤差項服從正態(tài)分布；：隨機(jī)誤差項服從正態(tài)分布；2Chap 08-22最小二乘估計最小二乘估計n在根據(jù)樣本數(shù)據(jù)確定樣本回歸方程時，總是希望在根據(jù)樣本數(shù)據(jù)確定樣本回歸方程時，總是希望 y 的的估計值估計值 盡可能地接近其實際觀測值，即殘差盡可能地接近其實際觀測值，即殘差 ei 的總的總量越小越好。由于量越小越好。由于 ei 有正有負(fù)，簡單的代數(shù)和會相互有正有負(fù)，簡單的代數(shù)和會相互抵消，因此為了數(shù)學(xué)上便于處理，我們采用殘差平方抵消，因此為了數(shù)學(xué)上便于處理，我們采用殘差平方和作為

18、衡量總偏差的尺度。和作為衡量總偏差的尺度。n所謂最小二乘法，就是根據(jù)這一思路，通過使殘差平所謂最小二乘法，就是根據(jù)這一思路，通過使殘差平方和最小來估計回歸系數(shù)的方法。方和最小來估計回歸系數(shù)的方法。22212e(yy )(y(x )iiiiiQChap 08-23最小二乘估計最小二乘估計。的偏導(dǎo)數(shù)必須等于和對達(dá)到最小，欲使021QQ12122020iiiiiyxxyx即12212iiiiiinxyxxx y 整理得：正規(guī)方程組正規(guī)方程組（標(biāo)準(zhǔn)方程組）（標(biāo)準(zhǔn)方程組）Chap 08-24最小二乘估計量最小二乘估計量n求解正規(guī)方程組，可得求解正規(guī)方程組，可得:2222()()()iiiiiiiiinx

19、 yxyxxyyxxnxx xy21n以上就是總體回歸系數(shù)的最小二乘估計量。以上就是總體回歸系數(shù)的最小二乘估計量。Chap 08-25最小二乘估計量的性質(zhì)最小二乘估計量的性質(zhì)n最小二乘估計量是隨著樣本的不同而不同的隨機(jī)變量；最小二乘估計量是隨著樣本的不同而不同的隨機(jī)變量；n在滿足標(biāo)準(zhǔn)假定的情況下，回歸參數(shù)的最小二乘估計在滿足標(biāo)準(zhǔn)假定的情況下，回歸參數(shù)的最小二乘估計量是無偏的，即量是無偏的，即 n最小二乘估計量是因變量最小二乘估計量是因變量 Y Y 的線性組合；的線性組合；n數(shù)學(xué)上還可以證明，在所有的線性無偏估計中，回歸數(shù)學(xué)上還可以證明，在所有的線性無偏估計中，回歸系數(shù)的最小二乘估計量的方差最小

20、，同時隨著樣本容系數(shù)的最小二乘估計量的方差最小，同時隨著樣本容量的增大，其方差會不斷縮??；量的增大，其方差會不斷縮??；n綜上所述，在標(biāo)準(zhǔn)的假定條件下，最小二乘估計量是綜上所述，在標(biāo)準(zhǔn)的假定條件下，最小二乘估計量是最佳線性無偏估計量和一致估計量。最佳線性無偏估計量和一致估計量。 2211EE，Chap 08-26n 是當(dāng)是當(dāng) x 等于等于 0 時時 y 的平均估計值；的平均估計值；n 是是 x 每變化一個單位，因變量每變化一個單位，因變量 y 平均平均變化的量。變化的量。最小二乘估計量的解釋最小二乘估計量的解釋12Chap 08-27一元線性回歸模型的例子一元線性回歸模型的例子n一家房地產(chǎn)公司的

21、經(jīng)理想知道該公司住房的售價一家房地產(chǎn)公司的經(jīng)理想知道該公司住房的售價和住房面積（單位：平方尺）和住房面積（單位：平方尺） 之間的關(guān)系。之間的關(guān)系。n為此他抽取了一個包含為此他抽取了一個包含10套住房的隨機(jī)樣本。套住房的隨機(jī)樣本。n因變量因變量 (y) = 住房的售價住房的售價 （單位：單位：$1000）n自變量自變量 (x) = 住房的面積住房的面積 （單位：平方尺）單位：平方尺）Chap 08-28 住房價格例子的樣本數(shù)據(jù)住房價格例子的樣本數(shù)據(jù)住房的售價住房的售價 y住房的面積住房的面積 x xyx22451400343000196000031216004992002560000279170

22、0474300289000030818755775003515625199110021890012100002191550339450240250040523509517505522500324245079380060025003191425454575203062525517004335002890000 y=2865 x=17150 xy=5085975 x2=30983750222210 5085975 17150 28650.1097710 30983750 17150iiiiiinx yxynxx 24833.98101715010977. 010286521xy y 98.2483

23、3 0.10977 xii回歸系數(shù)的估計回歸系數(shù)的估計Chap 08-30用用 Excel 進(jìn)行回歸分析進(jìn)行回歸分析n工具工具 / 數(shù)據(jù)分析數(shù)據(jù)分析 / 回歸回歸Chap 08-31Excel 輸出結(jié)果輸出結(jié)果回歸統(tǒng)計回歸統(tǒng)計Multiple R0.76211R Square0.58082Adjusted R Square0.52842標(biāo)準(zhǔn)誤差標(biāo)準(zhǔn)誤差41.33032觀測值觀測值10方差分析方差分析 dfSSMSFSignificance F回歸分析回歸分析118934.934818934.934811.08480.01039殘差殘差813665.56521708.1957總計總計932600

24、.5000 Coefficients標(biāo)準(zhǔn)誤差標(biāo)準(zhǔn)誤差t StatP-valueLower 95%Upper 95%Intercept98.2483358.033481.692960.12892-35.57720232.07386住房的面積住房的面積0.109770.032973.329380.010390.033740.18580樣本回歸方程是樣本回歸方程是: : y 98.24833 0.10977 xiiChap 08-32050100150200250300350400450050010001500200025003000住房的面積（單位：平方尺）住房的面積（單位：平方尺）住房的售價住房

25、的售價 ($1000s)回歸分析的圖示回歸分析的圖示n住房價格模型：散點(diǎn)圖和樣本回歸線住房價格模型：散點(diǎn)圖和樣本回歸線 y 98.24833 0.10977xii斜率斜率 = 0.10977截距截距 = 98.24833 Chap 08-33n 是當(dāng)是當(dāng) x 等于等于 0 時時 y 的平均估計值的平均估計值n在這個例子中，沒有房子的面積會等于在這個例子中，沒有房子的面積會等于0，所以，所以98.24833僅僅意味著在所觀測的樣本范圍內(nèi)，住房售僅僅意味著在所觀測的樣本范圍內(nèi)，住房售價中有價中有$98,248.33 不能用住房的面積來加以解釋。不能用住房的面積來加以解釋。 y 98.24833 0

26、.10977 xii回歸截距估計值的解釋回歸截距估計值的解釋1Chap 08-34回歸斜率估計值的解釋回歸斜率估計值的解釋n 是是 x 每變化一個單位，因變量每變化一個單位，因變量 y 平均變平均變化的量。化的量。n這里這里0.10977表示住房面積每增加一平方尺，住房的表示住房面積每增加一平方尺，住房的售價平均增加售價平均增加0.10977 $1000 = $109.77 。 y 98.24833 0.10977 xii2Chap 08-35總體（隨機(jī)誤差項）方差的估計總體（隨機(jī)誤差項）方差的估計 n標(biāo)準(zhǔn)的一元線性回歸模型除了標(biāo)準(zhǔn)的一元線性回歸模型除了1 1和和2 2以外，還有一個未以外，還

27、有一個未知參數(shù)，就是總體隨機(jī)誤差項的方差知參數(shù)，就是總體隨機(jī)誤差項的方差 2 2 。n由于隨機(jī)誤差項由于隨機(jī)誤差項u ui i不可直接觀測，所以需要用最小二乘不可直接觀測，所以需要用最小二乘殘差殘差e ei i來估計來估計 2 2 。 2221222iiiiieyyx ySnn數(shù)學(xué)上可以證明，數(shù)學(xué)上可以證明，S S2 2是是 2 2的無偏估計。的無偏估計。Chap 08-36總體（隨機(jī)誤差項）方差的估計總體（隨機(jī)誤差項）方差的估計 n分母分母 n n2 2 是自由度，因為殘差必須滿足兩個約束條件：是自由度，因為殘差必須滿足兩個約束條件：0 x0tttee，nS S2 2 的正平方根稱為的正平方

28、根稱為回歸估計的標(biāo)準(zhǔn)誤差回歸估計的標(biāo)準(zhǔn)誤差。nS S越小表明實際觀測點(diǎn)與所擬合的樣本回歸線的離差程度越小表明實際觀測點(diǎn)與所擬合的樣本回歸線的離差程度越小，即樣本回歸線具有較強(qiáng)的代表性，反之，越小，即樣本回歸線具有較強(qiáng)的代表性，反之，S S越大表越大表明實際觀測點(diǎn)與所擬合的樣本回歸線的離差程度越大，明實際觀測點(diǎn)與所擬合的樣本回歸線的離差程度越大，即回歸線的代表性越差。即回歸線的代表性越差。 Chap 08-37回歸模型檢驗的種類回歸模型檢驗的種類n 理論意義檢驗：理論意義檢驗：主要考察參數(shù)估計值的符號和取值是否主要考察參數(shù)估計值的符號和取值是否與實質(zhì)性科學(xué)的理論以及人們的實踐經(jīng)驗相符。如果不符，

29、與實質(zhì)性科學(xué)的理論以及人們的實踐經(jīng)驗相符。如果不符，原因可能是樣本容量太小，或者不滿足標(biāo)準(zhǔn)假定條件。原因可能是樣本容量太小，或者不滿足標(biāo)準(zhǔn)假定條件。 n 一級檢驗（統(tǒng)計學(xué)檢驗）：一級檢驗（統(tǒng)計學(xué)檢驗）：利用統(tǒng)計學(xué)中的抽樣理論來利用統(tǒng)計學(xué)中的抽樣理論來檢驗樣本回歸方程的可靠性，具體分為擬合程度評價和顯檢驗樣本回歸方程的可靠性，具體分為擬合程度評價和顯著性檢驗。這是所有現(xiàn)象進(jìn)行回歸分析時都必須通過的檢著性檢驗。這是所有現(xiàn)象進(jìn)行回歸分析時都必須通過的檢驗。驗。 n 二級檢驗（經(jīng)濟(jì)計量學(xué)檢驗）：二級檢驗（經(jīng)濟(jì)計量學(xué)檢驗）：是對標(biāo)準(zhǔn)線性回歸模型是對標(biāo)準(zhǔn)線性回歸模型的假定條件能否得到滿足進(jìn)行檢驗，具體包括

30、序列相關(guān)檢的假定條件能否得到滿足進(jìn)行檢驗，具體包括序列相關(guān)檢驗、異方差檢驗等等。這是經(jīng)濟(jì)計量學(xué)研究的內(nèi)容。驗、異方差檢驗等等。這是經(jīng)濟(jì)計量學(xué)研究的內(nèi)容。Chap 08-38擬合程度的評價擬合程度的評價 n 所謂所謂擬合程度擬合程度是指樣本觀測值聚集在樣本回歸線周圍的是指樣本觀測值聚集在樣本回歸線周圍的緊密程度。緊密程度。 n 判斷回歸模型擬合程度優(yōu)劣的指標(biāo)是判斷回歸模型擬合程度優(yōu)劣的指標(biāo)是可決系數(shù)可決系數(shù)（決定系（決定系數(shù)），該指標(biāo)是建立在對數(shù)），該指標(biāo)是建立在對總離差平方和總離差平方和進(jìn)行分解的基礎(chǔ)之進(jìn)行分解的基礎(chǔ)之上的。上的。n 總離差總離差（因變量的實際觀測值與樣本均值的離差）（因變量的

31、實際觀測值與樣本均值的離差）n 可解釋離差可解釋離差（因變量的擬合值與樣本均值的離差，可以（因變量的擬合值與樣本均值的離差，可以看作能夠由回歸直線解釋的部分）看作能夠由回歸直線解釋的部分）n 殘差殘差（因變量的實際觀測值與擬合值的離差，可以看作（因變量的實際觀測值與擬合值的離差，可以看作不能由回歸直線解釋的部分）不能由回歸直線解釋的部分） Chap 08-39總離差平方和的分解總離差平方和的分解n總離差平方和可以分解為兩部分總離差平方和可以分解為兩部分:RSS ESS TSS總離差總離差平方和平方和回歸回歸平方和平方和殘差殘差平方和平方和2()iTSSyy2R()iiSSyy2()iESSyy

32、其中其中: = 因變量觀測值的平均值因變量觀測值的平均值y = 因變量的觀測值因變量的觀測值 = 因變量實際觀測值的擬合值因變量實際觀測值的擬合值y yChap 08-40XiyxyiTSS = (yi - y)2RSS = (yi - yi )2 ESS = (yi - y)2 _總離差平方和的分解總離差平方和的分解y yy_y Chap 08-41n可決系數(shù)（可決系數(shù)（coefficient of determination）是回是回歸平方和占總離差平方和的比例，可決系數(shù)越大，歸平方和占總離差平方和的比例，可決系數(shù)越大，說明模型擬合程度越高。說明模型擬合程度越高。 n可決系數(shù)也稱為可決系數(shù)

33、也稱為R平方（平方（R-squared），），用用 R2 表表示。示?？蓻Q系數(shù)可決系數(shù), R2TSSESSR 21R02Chap 08-42相關(guān)系數(shù)與可決系數(shù)相關(guān)系數(shù)與可決系數(shù) R2注意注意: : 一元線性回歸模型的可決系數(shù)就是因變量一元線性回歸模型的可決系數(shù)就是因變量Y Y和和自變量自變量X X的相關(guān)系數(shù)的平方。的相關(guān)系數(shù)的平方。其中其中:R2 = 一元線性回歸模型的可決系數(shù)一元線性回歸模型的可決系數(shù) r = 簡單相關(guān)系數(shù)簡單相關(guān)系數(shù)區(qū)別：可決系數(shù)是就回歸模型而言的，具有非負(fù)性；區(qū)別：可決系數(shù)是就回歸模型而言的，具有非負(fù)性； 而相關(guān)系數(shù)是就兩個變量而言的，可正可負(fù)；而相關(guān)系數(shù)是就兩個變量而言

34、的，可正可負(fù)； 22rR Chap 08-43R2 = 1可決系數(shù)可決系數(shù), R2yxyxR2 = 1R2 = 1所有的觀測值都位于回歸直線所有的觀測值都位于回歸直線上，上，RSS = 0，說明總離差可說明總離差可以完全由所估計的樣本回歸直以完全由所估計的樣本回歸直線來解釋。線來解釋。Chap 08-44可決系數(shù)可決系數(shù), R2yxyx0 R2 0，有部分總離有部分總離差不能由樣本回歸直線來解釋差不能由樣本回歸直線來解釋。Chap 08-45可決系數(shù)可決系數(shù), R2R2 = 0回歸直線沒有解釋任何離差，回歸直線沒有解釋任何離差，即模型中解釋變量即模型中解釋變量X與因變量與因變量Y完全無關(guān)，完全

35、無關(guān)，Y的總離差全部的總離差全部歸于殘差平方和，即歸于殘差平方和，即RSS = TSS 。yxR2 = 0Chap 08-46Excel 輸出結(jié)果輸出結(jié)果回歸統(tǒng)計回歸統(tǒng)計Multiple R0.76211R Square0.58082Adjusted R Square0.52842標(biāo)準(zhǔn)誤差標(biāo)準(zhǔn)誤差41.33032觀測值觀測值10方差分析方差分析 dfSSMSFSignificance F回歸分析回歸分析118934.934818934.934811.08480.01039殘差殘差813665.56521708.1957總計總計932600.5000 Coefficients 標(biāo)準(zhǔn)誤差標(biāo)準(zhǔn)誤差t

36、 StatP-valueLower 95%Upper 95%Intercept98.2483358.033481.692960.12892-35.57720232.07386住房的面積住房的面積0.109770.032973.329380.010390.033740.185800.5808232600.500018934.9348TSSESSR2Chap 08-47回歸系數(shù)的顯著性檢驗回歸系數(shù)的顯著性檢驗t t檢驗檢驗 n回歸斜率的顯著性檢驗回歸斜率的顯著性檢驗 t 檢驗檢驗n X 和 Y 是否確實存在線性關(guān)系?n零假設(shè)和備擇假設(shè)零假設(shè)和備擇假設(shè)nH0: 2 = 0(無線性相關(guān)關(guān)系)nH1:

37、2 0(線性相關(guān)關(guān)系確實存在)n檢驗統(tǒng)計量檢驗統(tǒng)計量n n 222tS2nd.f.其中: = 回歸斜率的估計值 2 = 假設(shè)的斜率 = 標(biāo)準(zhǔn)差的估計值222SChap 08-482222SSS(xx)(x )xniii其中其中:= 最小二乘斜率的標(biāo)準(zhǔn)差的估計值最小二乘斜率的標(biāo)準(zhǔn)差的估計值= 回歸估計的標(biāo)準(zhǔn)誤差回歸估計的標(biāo)準(zhǔn)誤差2S2nRSSS回歸系數(shù)的顯著性檢驗回歸系數(shù)的顯著性檢驗t t檢驗檢驗Chap 08-49Excel 輸出結(jié)果輸出結(jié)果回歸統(tǒng)計回歸統(tǒng)計Multiple R0.76211R Square0.58082Adjusted R Square0.52842標(biāo)準(zhǔn)誤差標(biāo)準(zhǔn)誤差41.33

38、032觀測值觀測值10方差分析方差分析 dfSSMSFSignificance F回歸分析回歸分析118934.934818934.934811.08480.01039殘差殘差813665.56521708.1957總計總計932600.5000 Coefficients 標(biāo)準(zhǔn)誤差標(biāo)準(zhǔn)誤差t StatP-valueLower 95%Upper 95%Intercept98.2483358.033481.692960.12892-35.57720232.07386住房的面積住房的面積0.109770.032973.329380.010390.033740.1858041.33032S0.0329

39、7S2Chap 08-50住房的售價住房的售價 $1000(y)住房的面積住房的面積 (x)2451400312160027917003081875199110021915504052350324245031914252551700估計的樣本回歸方程為估計的樣本回歸方程為:模型中斜率等于模型中斜率等于 0.10977； 請問住房的面積對住房的售價是否請問住房的面積對住房的售價是否具有顯著的影響具有顯著的影響?回歸系數(shù)顯著性檢驗的例子回歸系數(shù)顯著性檢驗的例子 y 98.24833 0.10977 xiiChap 08-51回歸系數(shù)顯著性檢驗的例子回歸系數(shù)顯著性檢驗的例子H0: 2 = 0H1:

40、2 0檢驗統(tǒng)計量檢驗統(tǒng)計量: t = 3.32938有足夠的證據(jù)表明住房的面有足夠的證據(jù)表明住房的面積確實對住房的售價有顯著積確實對住房的售價有顯著的影響。的影響。Excel輸出結(jié)果輸出結(jié)果: 拒絕 H0 Coefficients標(biāo)準(zhǔn)誤差標(biāo)準(zhǔn)誤差t StatP-valueIntercept98.2483358.033481.692960.12892住房的面積住房的面積0.109770.032973.329380.010392St決策決策:結(jié)論結(jié)論:拒絕 H0拒絕 H0/2=.025-t/2不能拒絕 H00t/2/2=.025-2.30602.3060 3.32938d.f. = 10-2 =

41、82Chap 08-52回歸系數(shù)的置信區(qū)間估計回歸系數(shù)的置信區(qū)間估計斜率的置信區(qū)間估計的公式為：斜率的置信區(qū)間估計的公式為：Excel 的輸出結(jié)果的輸出結(jié)果:以95的置信水平認(rèn)為, 斜率的置信區(qū)間為 (0.0337, 0.1858)2/22St Coefficients標(biāo)準(zhǔn)誤差標(biāo)準(zhǔn)誤差t StatP-valueLower 95%Upper 95%Intercept98.2483358.033481.692960.12892-35.57720232.07386住房的面積住房的面積0.109770.032973.329380.010390.033740.18580d.f. = n - 2Chap

42、08-53回歸系數(shù)的置信區(qū)間估計回歸系數(shù)的置信區(qū)間估計因為住房的售價是以因為住房的售價是以 $1000 為單位的為單位的, 我們可以以我們可以以95的置信度認(rèn)為住房面積每增加一平方尺對住的置信度認(rèn)為住房面積每增加一平方尺對住房售價的平均影響在房售價的平均影響在$33.70 到到 $185.80 之間。之間。 Coefficients標(biāo)準(zhǔn)誤差標(biāo)準(zhǔn)誤差t StatP-valueLower 95%Upper 95%Intercept98.2483358.033481.692960.12892-35.57720232.07386住房的面積住房的面積0.109770.032973.329380.0103

43、90.033740.18580這個這個 95% 的置信區(qū)間的置信區(qū)間 不包含不包含 0.結(jié)論結(jié)論: 以以0.05的顯著性水平認(rèn)為住房的面積對住房的售價有的顯著性水平認(rèn)為住房的面積對住房的售價有 顯著的影響。顯著的影響。Chap 08-54簡單線性回歸模型預(yù)測簡單線性回歸模型預(yù)測 回歸預(yù)測的基本公式：回歸預(yù)測的基本公式：ffyx21n 發(fā)生預(yù)測誤差的原因有：發(fā)生預(yù)測誤差的原因有：n 模型本身中的誤差因素所造成的誤差（總體回歸函數(shù)未模型本身中的誤差因素所造成的誤差（總體回歸函數(shù)未將所有影響將所有影響Y Y的因素都納入模型，可以用隨機(jī)擾動項的方差的因素都納入模型，可以用隨機(jī)擾動項的方差來評價）來評價） n 由于回歸系數(shù)的估計值同其真值不一致所造成的誤差由于回歸系數(shù)的估計值同其真值不一致所造成的誤差 n 由于由于X X的設(shè)定值同實際值不同引起的誤差的設(shè)定值同實際值不同引起的誤差 n 由于未來時期總體回歸系數(shù)發(fā)生變化造成的誤差由于未來時期總體回歸系數(shù)發(fā)生變化造成的誤差 Chap 08-55一元線性回歸模型區(qū)間預(yù)測一元線性回歸模型區(qū)間預(yù)測 區(qū)間預(yù)測的公式：區(qū)間預(yù)測的公式：2t2f/2)x(x)x(xn11StyfChap 08-56一元線性回歸模型預(yù)測的例子一元線性回歸模型預(yù)測的例子請預(yù)測面積為請預(yù)測面積為2000平方尺住