多變量回歸分析計量經(jīng)濟(jì)學(xué),南開大學(xué)ppt課件

1、第三章 多變量回歸分析第一節(jié) 多變量線性回歸模型一、多變量線性回歸模型的PRF 假設(shè)假定對因變量Y 有k-1個解釋變量：X2，X3，Xk，k 變量總體回歸函數(shù)為：kiuXXXYPRFikikiii, 2 , 1,:33221其中1為常數(shù)項， 2 2 為解釋變量X2 Xk 的系數(shù)，u為隨機(jī)干擾項。 總體回歸函數(shù)PRF給出的是給定解釋變量X2 Xk 的值時，Y的期望值：E ( Y | X2，X3，Xk )。 假定有n組觀測值，那么可寫成矩陣方式：nnknkknnnuuuXXXXXXXXXYYY212121332312222121111uXY或： 為隨機(jī)擾動項列向量為待估計參數(shù)列向量為數(shù)據(jù)矩陣。為因

2、變量觀測值列向量uXY中，在uXY二、多 變量線性回歸模型的根本假定 0uE、1隨機(jī)干擾項的期望值為0。Iuu22222221222121212121210000000000002nnnnnnnuuuuuuuuuuuuuuuuuuuuuE、同方差性；無序列相關(guān)。為非隨機(jī)的、 X3),(52I0uN、kr）（、X4無多重共線性，即Xi (i = 2,3, ,k )之間不存在線性關(guān)系：成立。使：數(shù)：不存在不全為零的一組0,221121kikiikXXX隨機(jī)干擾項服從正態(tài)分布。三、多 變量線性回歸模型的SRF列向量。估計量的列向量和殘差分別為回歸系數(shù)的和其中或OLSuXXXYSRFikikiiiuu

3、XY:33221 根據(jù)殘差的平方和最小化的原理，解出參數(shù)的估計量。第二節(jié) 多變量回歸模型的OLS估計ikikiiiuXXXYSRF:33221一、參數(shù)估計YXYYXXYXYYXYXYuuXYuuXYuu2)()( )(RSS222212iiuRSSXXYukikii殘差平方和 可得到如下正規(guī)方程組：ikikikikikikiiikiikiiiiiikiikiikiiikikiYXXXXXXXYXXXXXXXYXXXXXXXYXXnki232213323223231223222221221YXXXYXXX1321321333323122322213212323223323222232)()(11

4、113即：寫成矩陣形式：nknkkknnkikiikikikiiiiikiiiiiikiiiYYYYXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXnkiiYXXX0XXYXXXYXYY)(222122iiuu假設(shè)直接用矩陣微分，那么二、 的估計量 。的無偏估計量：為 2Eknknuiuu三、 的方差-協(xié)方差矩陣 uXXXuXXXuXXXXXXXuXXXXyXXX)()()()()( )()(111111112112121111111)()()()()()()( )()()()()()()(XXXXXXXXXXXXXIXXXXXXuuXXXXXXuuXXXuXXXuXXX標(biāo)準(zhǔn)

5、差為）（EEEECovVar)()(11212）（）（為的標(biāo)準(zhǔn)差）（的估計量為：XXXXXXSeCovVar，則代替未知，以如果222四、OLS估計量 的性質(zhì)：最小。具有估計量、最小方差性、無偏性）（、線性)(32 11YXXXVarOLSE第三節(jié) 擬合優(yōu)度檢驗：一、斷定系數(shù)R2：22222)(YnYnYYYYYyTSSiiiiYY總平方和：222 YnYnESSTSSESSuRSSiYXyXYYYYYXYYuu回歸平方和：殘差平方和：平方和df均方差ESSk-1RSSn-kTSSn-1方差分析表 ANOVA)22YnuiYXYXYY)(2YYi22)(YYYnYYi)1/()(kYXYY)/

6、()(2knYnYX二、校正的R2 ： 由R2的計算式可看出， R2 隨解釋變量的添加而能夠提高不能夠降低：2222211iiyuTSSRSSYnYnTSSESSRYYyX 與解釋變量X的個數(shù)無關(guān)，而 那么能夠隨著解釋變量的添加而減少至少不會下降，因此，不同的SRF，得到的R2 就能夠不同。必需消除這種要素，使R2 即能闡明被解釋的離差與總離差之間的關(guān)系，又能闡明自在度的數(shù)目。定義校正的樣本決議系數(shù) ：2iy2iu2R)(11)1(1)1/()/(1222YSeknnRnTSSknESSR222YnYnTSSESSRYYyX判定系數(shù)：三、R2 與 的性質(zhì)2R222222,10, 10RRkRR

7、RR時，當(dāng)?shù)谒墓?jié) 顯著性檢驗 一、單參數(shù)的顯著性檢驗：0:0:10iiHH備擇假設(shè)原假設(shè) 假設(shè)接受H0 ，那么變量Xi 對因變量沒有影響，而接受H1，那么闡明變量Xi 對因變量有顯著影響。)()()(,(), 0(122kntSetNNiii，則統(tǒng)計量代替以，因此根據(jù)假定，XXIu 檢驗 的顯著性， 即在一定顯著程度下， 能否顯著不為0。ii檢驗步驟：0,0,)()(4)(3)(205.0)1 (100222不顯著異于參數(shù)接受則拒絕顯著異于參數(shù)則接受，若）判斷：（。分布表，找出）查（）計算統(tǒng)計量：（。，如選擇顯著水平iiiiHHHknttknttknttSet假設(shè)根據(jù)實際或常識， 非負(fù)，那么可

8、做單側(cè)檢驗，比較 t 與t。i二、回歸的總顯著性檢驗： 檢驗回歸系數(shù)全部為零的能夠性。不同時為零備擇假設(shè)原假設(shè)),2, 1(:0:1210kiHHik0,0,)()(100顯著異于參數(shù)接受則拒絕不顯著異于參數(shù)則接受，若iiHHHknttkntt平方和df均方差ESSk-1RSSn-kTSSn-1方差分析表 ANOVA)22YnuiYXYXYY)(2YYi22)(YYYnYYi)1/()(kYXYY)/()(2knYnYX),1()/()()1/()()/()1/(0221knkFknkYnknRSSkESSFkYXYYYX，則統(tǒng)計量如果假定：)/()1()1/(,)/()1/(222knRkR

9、FRSSESSTSSknRSSkESSFTSSESSR可得到，根據(jù) 顯然，R2 越大，F(xiàn)越大，當(dāng)R2 =1時，F(xiàn)無限大。顯著接受則拒絕不顯著則接受，若,), 1(), 1(100HHHknkFFknkFF 選擇顯著程度 ，計算F統(tǒng)計量的值，與F分布表中的臨界值進(jìn)展比較：第五節(jié) 解釋變量的選擇 在回歸模型中的解釋變量，除非由明確的實際指點或其他緣由，在選擇上具有一定的客觀性，如何正確選擇解釋變量是非常重要的。一、解釋變量的邊沿奉獻(xiàn)分析 在建立回歸模型時，假定我們順序引入變量。在建立了Y與X2的回歸模型，并進(jìn)展回歸分析后，再參與X2。思索參與的變量X2能否有奉獻(xiàn)：能否再參與后顯著提高回歸的解釋程度

10、ESS或決議系數(shù)R2。ESS提高的量稱為變量X2的邊沿奉獻(xiàn)。 決議一個變量能否引入回歸模型，就要先研討它的邊沿奉獻(xiàn)，以正確地建立模型。假設(shè)變量的邊沿奉獻(xiàn)較小，闡明改動量沒有必要參與模型。 分析變量的編輯奉獻(xiàn)，可以運(yùn)用方差分析表為工具，根據(jù)變量引入前、后的RSS的變化量及其顯著性檢驗扣除原來引入模型的解釋變量的奉獻(xiàn)，確定該變量的邊沿奉獻(xiàn)能否顯著。 一個簡單的檢驗方法，就是對引入新變量后的RSS增量與新的ESS的比值做顯著性檢驗。 可以利用方差分析表來進(jìn)展分析。 設(shè)ESS為引入變量前的回歸平方和，ESS 為引入m個新變量后，得到的回歸平方和，RSS為引入變量后的殘差平方和。 ANOVA表如下：平方

11、和自由度均方差引入變量前的ESSU1k-1U1/(k-1)引入變量后的ESSU2k+m-1U2/(k+m-1)添加變量的邊際貢獻(xiàn)(U2-U1)m(U2-U1)/m添加變量后的RSSQn-(k+m)Q/( n-k-m)TSSn-1并檢驗其顯著性。定義統(tǒng)計量：)/(/ )(mknRSSmESSESSF顯著則新增變量的邊際貢獻(xiàn)不顯著則新增變量的邊際貢獻(xiàn)，若),(),(mknmFFmknmFF 在新引入變量的系數(shù)為0的原假設(shè)下，),()/(/ )(mknmFmknRSSmESSESSF統(tǒng)計量把計算出的該統(tǒng)計量的值與 顯著程度下的臨界值進(jìn)展比較： 引入的新變量的邊沿奉獻(xiàn)顯著，那么應(yīng)該把這些變量納入回歸模

12、型，否那么這些變量不應(yīng)引入回歸模型做解釋變量。二、逐漸回歸法 假設(shè)根據(jù)實際，因變量Y與k-1個變量X2，X2，Xk 有因果關(guān)系，我們要建立的回歸模型要在這些變量中選擇正確的解釋變量，要根據(jù)變量的邊沿奉獻(xiàn)大小，把奉獻(xiàn)大的變量納入回歸模型。分析邊沿奉獻(xiàn)并選擇變量的過程，實踐上是一個逐漸回歸的過程。 首先，分別建立Y與k-1個變量X2，X2，Xk 的回歸模型：ikiiiiiiiiuXYuXYuXaY2132122回歸后，得到各回歸方程的平方和)()()()()()()()()(333222kkkXRSSXESSXTSSXRSSXESSXTSSXRSSXESSXTSS 選擇其中ESS最大并經(jīng)過F檢驗的

13、變量作為首選解釋變量，假定是X2 。此時可確定一個根本的回歸方程： 在此根底上進(jìn)展第二次回歸，在剩下的變量中尋覓最正確的變量：建立k 2 個回歸方程：iiuXY221iiiiiiiiiiiiuXXYuXXYuXXaY43221432213322回歸后，得到各回歸方程的平方和：),(),(),(),(),(),(),(),(),(222424242323232kkkXXRSSXXESSXXTSSXXRSSXXESSXXTSSXXRSSXXESSXXTSS 同樣，選擇其中ESS最大并經(jīng)過F檢驗的變量作為新增解釋變量，假定是X3 。此時可確定一個根本的回歸方程：iiuXXY33221 反復(fù)這一過程，直到一切變量中，邊沿奉獻(xiàn)顯著的變量全部引入回歸模型中為止，得到最終的回歸式：imimiiiuXXXaY3322 也可以采用逐漸減少邊沿奉獻(xiàn)不顯著的變量的方式，逐漸回歸確定回歸模型包括的變量，方法一樣。第六節(jié) 利用多元回歸模型進(jìn)展預(yù)測 對于多元回歸模型：uXY經(jīng)過回歸分析，得到回歸方程XY后，就可根據(jù)給定的解釋變量的一組值X0 =(1,X20，X30， Xk0)，對因變量Y的值進(jìn)展估計。nkXXX1210302000XY一、個值預(yù)測為Y0及 的預(yù)測值。)|(00XYE二、區(qū)間預(yù)測 )(, )()|()|()(),()()()(1)()(1 , 0( )(1 )()()(