多變量回歸分析(計(jì)量經(jīng)濟(jì)學(xué)南開大學(xué))課件

1、多變量回歸分析(計(jì)量經(jīng)濟(jì)學(xué)南開大學(xué))第三章 多變量回歸分析第一節(jié) 多變量線性回歸模型一、多變量線性回歸模型的PRF 如果假定對因變量Y 有k-1個(gè)解釋變量：X2，X3，Xk，k 變量總體回歸函數(shù)為：kiuXXXYPRFikikiii, 2 , 1,:33221其中1為常數(shù)項(xiàng)， 2 2 為解釋變量X2 Xk 的系數(shù)，u為隨機(jī)干擾項(xiàng)。 總體回歸函數(shù)PRF給出的是給定解釋變量X2 Xk 的值時(shí)，Y的期望值：E ( Y | X2，X3，Xk )。 假定有n組觀測值，則可寫成矩陣形式：nnknkknnnuuuXXXXXXXXXYYY212121332312222121111uXY或：多變量回歸分析(計(jì)量

2、經(jīng)濟(jì)學(xué)南開大學(xué)) 為隨機(jī)擾動(dòng)項(xiàng)列向量為待估計(jì)參數(shù)列向量為數(shù)據(jù)矩陣。為因變量觀測值列向量uXY中，在uXY二、多 變量線性回歸模型的基本假定 0uE、1隨機(jī)干擾項(xiàng)的期望值為0。Iuu22222221222121212121210000000000002nnnnnnnuuuuuuuuuuuuuuuuuuuuuE、同方差性；無序列相關(guān)。多變量回歸分析(計(jì)量經(jīng)濟(jì)學(xué)南開大學(xué))為非隨機(jī)的、 X3),(52I0uN、kr）（、X4無多重共線性，即Xi (i = 2,3, ,k )之間不存在線性關(guān)系：成立。使：數(shù)：不存在不全為零的一組0,221121kikiikXXX隨機(jī)干擾項(xiàng)服從正態(tài)分布。三、多 變量線性回

3、歸模型的SRF列向量。估計(jì)量的列向量和殘差分別為回歸系數(shù)的和其中或OLSuXXXYSRFikikiiiuuXY:33221多變量回歸分析(計(jì)量經(jīng)濟(jì)學(xué)南開大學(xué)) 根據(jù)殘差的平方和最小化的原理，解出參數(shù)的估計(jì)量。第二節(jié) 多變量回歸模型的OLS估計(jì)ikikiiiuXXXYSRF:33221一、參數(shù)估計(jì)YXYYXXYXYYXYXYuuXYuuXYuu2)()( )(RSS222212iiuRSSXXYukikii殘差平方和 可得到如下正規(guī)方程組：ikikikikikikiiikiikiiiiiikiikiikiiikikiYXXXXXXXYXXXXXXXYXXXXXXXYXXnki2322133232

4、23231223222221221多變量回歸分析(計(jì)量經(jīng)濟(jì)學(xué)南開大學(xué))YXXXYXXX1321321333323122322213212323223323222232)()(11113即：寫成矩陣形式：nknkkknnkikiikikikiiiiikiiiiiikiiiYYYYXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXnkii多變量回歸分析(計(jì)量經(jīng)濟(jì)學(xué)南開大學(xué))YXXX0XXYXXXYXYY)(222122iiuu如果直接用矩陣微分，則二、 的估計(jì)量 。的無偏估計(jì)量：為 2Eknknuiuu三、 的方差-協(xié)方差矩陣 uXXXuXXXuXXXXXXXuXXXXyXXX)(

5、)()()()( )()(111111多變量回歸分析(計(jì)量經(jīng)濟(jì)學(xué)南開大學(xué))112112121111111)()()()()()()( )()()()()()()(XXXXXXXXXXXXXIXXXXXXuuXXXXXXuuXXXuXXXuXXX標(biāo)準(zhǔn)差為）（EEEECovVar)()(11212）（）（為的標(biāo)準(zhǔn)差）（的估計(jì)量為：XXXXXXSeCovVar，則代替未知，以如果222多變量回歸分析(計(jì)量經(jīng)濟(jì)學(xué)南開大學(xué))四、OLS估計(jì)量 的性質(zhì)：最小。具有估計(jì)量、最小方差性、無偏性）（、線性)(32 11YXXXVarOLSE多變量回歸分析(計(jì)量經(jīng)濟(jì)學(xué)南開大學(xué))第三節(jié) 擬合優(yōu)度檢驗(yàn)：一、判定系數(shù)R2

6、：22222)(YnYnYYYYYyTSSiiiiYY總平方和：222 YnYnESSTSSESSuRSSiYXyXYYYYYXYYuu回歸平方和：殘差平方和：平方和df均方差ESSk-1RSSn-kTSSn-1方差分析表（ ANOVA)22YnuiYXYXYY)(2YYi22)(YYYnYYi)1/()(kYXYY)/()(2knYnYX多變量回歸分析(計(jì)量經(jīng)濟(jì)學(xué)南開大學(xué))二、校正的R2 ： 由R2的計(jì)算式可看出， R2 隨解釋變量的增加而可能提高（不可能降低）：2222211iiyuTSSRSSYnYnTSSESSRYYyX 與解釋變量X的個(gè)數(shù)無關(guān)，而 則可能隨著解釋變量的增加而減少（至少

7、不會(huì)下降），因而，不同的SRF，得到的R2 就可能不同。必須消除這種因素，使R2 即能說明被解釋的離差與總離差之間的關(guān)系，又能說明自由度的數(shù)目。定義校正的樣本決定系數(shù) ：2iy2iu2R)(11)1(1)1/()/(1222YSeknnRnTSSknESSR222YnYnTSSESSRYYyX判定系數(shù)：多變量回歸分析(計(jì)量經(jīng)濟(jì)學(xué)南開大學(xué))三、R2 與 的性質(zhì)2R222222,10, 10RRkRRRR時(shí)，當(dāng)?shù)谒墓?jié) 顯著性檢驗(yàn) 一、單參數(shù)的顯著性檢驗(yàn)：0:0:10iiHH備擇假設(shè)原假設(shè) 如果接受H0 ，則變量Xi 對因變量沒有影響，而接受H1，則說明變量Xi 對因變量有顯著影響。)()()(,(

8、), 0(122kntSetNNiii，則統(tǒng)計(jì)量代替以，因此根據(jù)假定，XXIu 檢驗(yàn) 的顯著性， 即在一定顯著水平下， 是否顯著不為0。ii多變量回歸分析(計(jì)量經(jīng)濟(jì)學(xué)南開大學(xué))檢驗(yàn)步驟：0,0,)()(4)(3)(205.0)1 (100222不顯著異于參數(shù)接受則拒絕顯著異于參數(shù)則接受，若）判斷：（。分布表，找出）查（）計(jì)算統(tǒng)計(jì)量：（。，如選擇顯著水平iiiiHHHknttknttknttSet如果根據(jù)理論或常識(shí)， 非負(fù)，則可做單側(cè)檢驗(yàn)，比較 t 與t。i二、回歸的總顯著性檢驗(yàn)： 檢驗(yàn)回歸系數(shù)全部為零的可能性。不同時(shí)為零備擇假設(shè)原假設(shè)),2, 1(:0:1210kiHHik0,0,)()(10

9、0顯著異于參數(shù)接受則拒絕不顯著異于參數(shù)則接受，若iiHHHknttkntt多變量回歸分析(計(jì)量經(jīng)濟(jì)學(xué)南開大學(xué))平方和df均方差ESSk-1RSSn-kTSSn-1方差分析表（ ANOVA)22YnuiYXYXYY)(2YYi22)(YYYnYYi)1/()(kYXYY)/()(2knYnYX),1()/()()1/()()/()1/(0221knkFknkYnknRSSkESSFkYXYYYX，則統(tǒng)計(jì)量如果假定：)/()1()1/(,)/()1/(222knRkRFRSSESSTSSknRSSkESSFTSSESSR可得到，根據(jù) 顯然，R2 越大，F(xiàn)越大，當(dāng)R2 =1時(shí)，F(xiàn)無限大。顯著接受則拒

10、絕不顯著則接受，若,), 1(), 1(100HHHknkFFknkFF 選擇顯著水平 ，計(jì)算F統(tǒng)計(jì)量的值，與F分布表中的臨界值進(jìn)行比較：多變量回歸分析(計(jì)量經(jīng)濟(jì)學(xué)南開大學(xué))第五節(jié) 解釋變量的選擇 在回歸模型中的解釋變量，除非由明確的理論指導(dǎo)或其他原因，在選擇上具有一定的主觀性，如何正確選擇解釋變量是非常重要的。一、解釋變量的邊際貢獻(xiàn)分析 在建立回歸模型時(shí)，假定我們順序引入變量。在建立了Y與X2的回歸模型，并進(jìn)行回歸分析后，再加入X2?？紤]加入的變量X2是否有貢獻(xiàn)：能否再加入后顯著提高回歸的解釋程度ESS或決定系數(shù)R2。ESS提高的量稱為變量X2的邊際貢獻(xiàn)。 決定一個(gè)變量是否引入回歸模型，就要

11、先研究它的邊際貢獻(xiàn)，以正確地建立模型。如果變量的邊際貢獻(xiàn)較小，說明改變量沒有必要加入模型。 分析變量的編輯貢獻(xiàn)，可以使用方差分析表為工具，根據(jù)變量引入前、后的RSS的變化量及其顯著性檢驗(yàn)（扣除原來引入模型的解釋變量的貢獻(xiàn)），確定該變量的邊際貢獻(xiàn)是否顯著。 一個(gè)簡單的檢驗(yàn)方法，就是對引入新變量后的RSS增量與新的ESS的比值做顯著性檢驗(yàn)。多變量回歸分析(計(jì)量經(jīng)濟(jì)學(xué)南開大學(xué)) 可以利用方差分析表來進(jìn)行分析。 設(shè)ESS為引入變量前的回歸平方和，ESS 為引入m個(gè)新變量后，得到的回歸平方和，RSS為引入變量后的殘差平方和。 ANOVA表如下：平方和自由度均方差引入變量前的ESSU1k-1U1/(k-1

12、)引入變量后的ESSU2k+m-1U2/(k+m-1)添加變量的邊際貢獻(xiàn)(U2-U1)m(U2-U1)/m添加變量后的RSSQn-(k+m)Q/( n-k-m)TSSn-1并檢驗(yàn)其顯著性。定義統(tǒng)計(jì)量：)/(/ )(mknRSSmESSESSF多變量回歸分析(計(jì)量經(jīng)濟(jì)學(xué)南開大學(xué))顯著則新增變量的邊際貢獻(xiàn)不顯著則新增變量的邊際貢獻(xiàn)，若),(),(mknmFFmknmFF 在新引入變量的系數(shù)為0的原假設(shè)下，),()/(/ )(mknmFmknRSSmESSESSF統(tǒng)計(jì)量把計(jì)算出的該統(tǒng)計(jì)量的值與 顯著水平下的臨界值進(jìn)行比較： 引入的新變量的邊際貢獻(xiàn)顯著，則應(yīng)該把這些變量納入回歸模型，否則這些變量不應(yīng)引

13、入回歸模型做解釋變量。二、逐步回歸法 如果根據(jù)理論，因變量Y與k-1個(gè)變量X2，X2，Xk 有因果關(guān)系，我們要建立的回歸模型要在這些變量中選擇正確的解釋變量，要根據(jù)變量的邊際貢獻(xiàn)大小，把貢獻(xiàn)大的變量納入回歸模型。分析邊際貢獻(xiàn)并選擇變量的過程，實(shí)際上是一個(gè)逐步回歸的過程。 首先，分別建立Y與k-1個(gè)變量X2，X2，Xk 的回歸模型：多變量回歸分析(計(jì)量經(jīng)濟(jì)學(xué)南開大學(xué))ikiiiiiiiiuXYuXYuXaY2132122回歸后，得到各回歸方程的平方和)()()()()()()()()(333222kkkXRSSXESSXTSSXRSSXESSXTSSXRSSXESSXTSS 選擇其中ESS最大并

14、通過F檢驗(yàn)的變量作為首選解釋變量，假定是X2 。此時(shí)可確定一個(gè)基本的回歸方程： 在此基礎(chǔ)上進(jìn)行第二次回歸，在剩下的變量中尋找最佳的變量：建立k 2 個(gè)回歸方程：iiuXY221iiiiiiiiiiiiuXXYuXXYuXXaY43221432213322多變量回歸分析(計(jì)量經(jīng)濟(jì)學(xué)南開大學(xué))回歸后，得到各回歸方程的平方和：),(),(),(),(),(),(),(),(),(222424242323232kkkXXRSSXXESSXXTSSXXRSSXXESSXXTSSXXRSSXXESSXXTSS 同樣，選擇其中ESS最大并通過F檢驗(yàn)的變量作為新增解釋變量，假定是X3 。此時(shí)可確定一個(gè)基本的回

15、歸方程：iiuXXY33221 重復(fù)這一過程，直到所有變量中，邊際貢獻(xiàn)顯著的變量全部引入回歸模型中為止，得到最終的回歸式：imimiiiuXXXaY3322 也可以采用逐步減少邊際貢獻(xiàn)不顯著的變量的方式，逐步回歸確定回歸模型包括的變量，方法一樣。多變量回歸分析(計(jì)量經(jīng)濟(jì)學(xué)南開大學(xué))第六節(jié) 利用多元回歸模型進(jìn)行預(yù)測 對于多元回歸模型：uXY通過回歸分析，得到回歸方程XY后，就可根據(jù)給定的解釋變量的一組值X0 =(1,X20，X30， Xk0)，對因變量Y的值進(jìn)行估計(jì)。nkXXX1210302000XY一、個(gè)值預(yù)測為Y0及 的預(yù)測值。)|(00XYE多變量回歸分析(計(jì)量經(jīng)濟(jì)學(xué)南開大學(xué))二、區(qū)間預(yù)測 )(, )()|()|()(),()()()(1)()