第三章多變量回歸分析(計(jì)量經(jīng)濟(jì)學(xué)南開大學(xué))

1、第三章 多變量回歸分析第一節(jié) 多變量線性回歸模型一、多變量線性回歸模型的prf 如果假定對(duì)因變量y 有k-1個(gè)解釋變量：x2，x3，xk，k 變量總體回歸函數(shù)為：kiuxxxyprfikikiii, 2 , 1,:33221其中1為常數(shù)項(xiàng)， 2 2 為解釋變量x2 xk 的系數(shù)，u為隨機(jī)干擾項(xiàng)。 總體回歸函數(shù)prf給出的是給定解釋變量x2 xk 的值時(shí)，y的期望值：e ( y | x2，x3，xk )。 假定有n組觀測(cè)值，則可寫成矩陣形式：nnknkknnnuuuxxxxxxxxxyyy212121332312222121111uxy或： 為隨機(jī)擾動(dòng)項(xiàng)列向量為待估計(jì)參數(shù)列向量為數(shù)據(jù)矩陣。為因變

2、量觀測(cè)值列向量uxy中，在uxy二、多 變量線性回歸模型的基本假定 0ue、1隨機(jī)干擾項(xiàng)的期望值為0。iuu22222221222121212121210000000000002nnnnnnnuuuuuuuuuuuuuuuuuuuuue、同方差性；無序列相關(guān)。為非隨機(jī)的、 x3),(52i0un、kr）（、x4無多重共線性，即xi (i = 2,3, ,k )之間不存在線性關(guān)系：成立。使：數(shù)：不存在不全為零的一組0,221121kikiikxxx隨機(jī)干擾項(xiàng)服從正態(tài)分布。三、多 變量線性回歸模型的srf列向量。估計(jì)量的列向量和殘差分別為回歸系數(shù)的和其中或olsuxxxysrfikikiiiuux

3、y:33221 根據(jù)殘差的平方和最小化的原理，解出參數(shù)的估計(jì)量。第二節(jié) 多變量回歸模型的ols估計(jì)ikikiiiuxxxysrf:33221一、參數(shù)估計(jì)yxyyxxyxyyxyxyuuxyuuxyuu2)()( )(rss222212iiurssxxyukikii殘差平方和 可得到如下正規(guī)方程組：ikikikikikikiiikiikiiiiiikiikiikiiikikiyxxxxxxxyxxxxxxxyxxxxxxxyxxnki232213323223231223222221221yxxxyxxx1321321333323122322213212323223323222232)()(111

4、13即：寫成矩陣形式：nknkkknnkikiikikikiiiiikiiiiiikiiiyyyyxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxnkiiyxxx0xxyxxxyxyy)(222122iiuu如果直接用矩陣微分，則二、 的估計(jì)量 。的無偏估計(jì)量：為 2eknknuiuu三、 的方差-協(xié)方差矩陣 uxxxuxxxuxxxxxxxuxxxxyxxx)()()()()( )()(111111112112121111111)()()()()()()( )()()()()()()(xxxxxxxxxxxxxixxxxxxuuxxxxxxuuxxxuxxxuxxx標(biāo)準(zhǔn)差為

5、）（eeeecovvar)()(11212）（）（為的標(biāo)準(zhǔn)差）（的估計(jì)量為：xxxxxxsecovvar，則代替未知，以如果222四、ols估計(jì)量 的性質(zhì)：最小。具有估計(jì)量、最小方差性、無偏性）（、線性)(32 11yxxxvarolse第三節(jié) 擬合優(yōu)度檢驗(yàn)：一、判定系數(shù)r2：22222)(ynynyyyyyytssiiiiyy總平方和：222 ynynesstssessurssiyxyxyyyyyxyyuu回歸平方和：殘差平方和：平方和df均方差essk-1rssn-ktssn-1方差分析表（ anova)22ynuiyxyxyy)(2yyi22)(yyynyyi)1/()(kyxyy)/(

6、)(2knynyx二、校正的r2 ： 由r2的計(jì)算式可看出， r2 隨解釋變量的增加而可能提高（不可能降低）：2222211iiyutssrssynyntssessryyyx 與解釋變量x的個(gè)數(shù)無關(guān)，而 則可能隨著解釋變量的增加而減少（至少不會(huì)下降），因而，不同的srf，得到的r2 就可能不同。必須消除這種因素，使r2 即能說明被解釋的離差與總離差之間的關(guān)系，又能說明自由度的數(shù)目。定義校正的樣本決定系數(shù) ：2iy2iu2r)(11)1(1)1/()/(1222yseknnrntssknessr222ynyntssessryyyx判定系數(shù)：三、r2 與 的性質(zhì)2r222222,10, 10rrk

7、rrrr時(shí)，當(dāng)?shù)谒墓?jié) 顯著性檢驗(yàn) 一、單參數(shù)的顯著性檢驗(yàn)：0:0:10iihh備擇假設(shè)原假設(shè) 如果接受h0 ，則變量xi 對(duì)因變量沒有影響，而接受h1，則說明變量xi 對(duì)因變量有顯著影響。)()()(,(), 0(122kntsetnniii，則統(tǒng)計(jì)量代替以，因此根據(jù)假定，xxiu 檢驗(yàn) 的顯著性， 即在一定顯著水平下， 是否顯著不為0。ii檢驗(yàn)步驟：0,0,)()(4)(3)(205.0)1 (100222不顯著異于參數(shù)接受則拒絕顯著異于參數(shù)則接受，若）判斷：（。分布表，找出）查（）計(jì)算統(tǒng)計(jì)量：（。，如選擇顯著水平iiiihhhknttknttknttset如果根據(jù)理論或常識(shí)， 非負(fù)，則可做

8、單側(cè)檢驗(yàn)，比較 t 與t。i二、回歸的總顯著性檢驗(yàn)： 檢驗(yàn)回歸系數(shù)全部為零的可能性。不同時(shí)為零備擇假設(shè)原假設(shè)),2, 1(:0:1210kihhik0,0,)()(100顯著異于參數(shù)接受則拒絕不顯著異于參數(shù)則接受，若iihhhknttkntt平方和df均方差essk-1rssn-ktssn-1方差分析表（ anova)22ynuiyxyxyy)(2yyi22)(yyynyyi)1/()(kyxyy)/()(2knynyx),1()/()()1/()()/()1/(0221knkfknkynknrsskessfkyxyyyx，則統(tǒng)計(jì)量如果假定：)/()1()1/(,)/()1/(222knrkr

9、frssesstssknrsskessftssessr可得到，根據(jù) 顯然，r2 越大，f越大，當(dāng)r2 =1時(shí)，f無限大。顯著接受則拒絕不顯著則接受，若,), 1(), 1(100hhhknkffknkff 選擇顯著水平 ，計(jì)算f統(tǒng)計(jì)量的值，與f分布表中的臨界值進(jìn)行比較：第五節(jié) 解釋變量的選擇 在回歸模型中的解釋變量，除非由明確的理論指導(dǎo)或其他原因，在選擇上具有一定的主觀性，如何正確選擇解釋變量是非常重要的。一、解釋變量的邊際貢獻(xiàn)分析 在建立回歸模型時(shí)，假定我們順序引入變量。在建立了y與x2的回歸模型，并進(jìn)行回歸分析后，再加入x2?？紤]加入的變量x2是否有貢獻(xiàn)：能否再加入后顯著提高回歸的解釋程度

10、ess或決定系數(shù)r2。ess提高的量稱為變量x2的邊際貢獻(xiàn)。 決定一個(gè)變量是否引入回歸模型，就要先研究它的邊際貢獻(xiàn)，以正確地建立模型。如果變量的邊際貢獻(xiàn)較小，說明改變量沒有必要加入模型。 分析變量的編輯貢獻(xiàn)，可以使用方差分析表為工具，根據(jù)變量引入前、后的rss的變化量及其顯著性檢驗(yàn)（扣除原來引入模型的解釋變量的貢獻(xiàn)），確定該變量的邊際貢獻(xiàn)是否顯著。 一個(gè)簡(jiǎn)單的檢驗(yàn)方法，就是對(duì)引入新變量后的rss增量與新的ess的比值做顯著性檢驗(yàn)。 可以利用方差分析表來進(jìn)行分析。 設(shè)ess為引入變量前的回歸平方和，ess 為引入m個(gè)新變量后，得到的回歸平方和，rss為引入變量后的殘差平方和。 anova表如下：

11、平方和自由度均方差引入變量前的essu1k-1u1/(k-1)引入變量后的essu2k+m-1u2/(k+m-1)添加變量的邊際貢獻(xiàn)(u2-u1)m(u2-u1)/m添加變量后的rssqn-(k+m)q/( n-k-m)tssn-1并檢驗(yàn)其顯著性。定義統(tǒng)計(jì)量：)/(/ )(mknrssmessessf顯著則新增變量的邊際貢獻(xiàn)不顯著則新增變量的邊際貢獻(xiàn)，若),(),(mknmffmknmff 在新引入變量的系數(shù)為0的原假設(shè)下，),()/(/ )(mknmfmknrssmessessf統(tǒng)計(jì)量把計(jì)算出的該統(tǒng)計(jì)量的值與 顯著水平下的臨界值進(jìn)行比較： 引入的新變量的邊際貢獻(xiàn)顯著，則應(yīng)該把這些變量納入回歸

12、模型，否則這些變量不應(yīng)引入回歸模型做解釋變量。二、逐步回歸法 如果根據(jù)理論，因變量y與k-1個(gè)變量x2，x2，xk 有因果關(guān)系，我們要建立的回歸模型要在這些變量中選擇正確的解釋變量，要根據(jù)變量的邊際貢獻(xiàn)大小，把貢獻(xiàn)大的變量納入回歸模型。分析邊際貢獻(xiàn)并選擇變量的過程，實(shí)際上是一個(gè)逐步回歸的過程。 首先，分別建立y與k-1個(gè)變量x2，x2，xk 的回歸模型：ikiiiiiiiiuxyuxyuxay2132122回歸后，得到各回歸方程的平方和)()()()()()()()()(333222kkkxrssxessxtssxrssxessxtssxrssxessxtss 選擇其中ess最大并通過f檢驗(yàn)的

13、變量作為首選解釋變量，假定是x2 。此時(shí)可確定一個(gè)基本的回歸方程： 在此基礎(chǔ)上進(jìn)行第二次回歸，在剩下的變量中尋找最佳的變量：建立k 2 個(gè)回歸方程：iiuxy221iiiiiiiiiiiiuxxyuxxyuxxay43221432213322回歸后，得到各回歸方程的平方和：),(),(),(),(),(),(),(),(),(222424242323232kkkxxrssxxessxxtssxxrssxxessxxtssxxrssxxessxxtss 同樣，選擇其中ess最大并通過f檢驗(yàn)的變量作為新增解釋變量，假定是x3 。此時(shí)可確定一個(gè)基本的回歸方程：iiuxxy33221 重復(fù)這一過程，直到所有變量中，邊際貢獻(xiàn)顯著的變量全部引入回歸模型中為止，得到最終的回歸式：imimiiiuxxxay3322 也可以采用逐步減少邊際貢獻(xiàn)不顯著的變量的方式，逐步回歸確定回歸模型包括的變量，方法一樣。第六節(jié) 利用多元回歸模型進(jìn)行預(yù)測(cè) 對(duì)于多元回歸模型：uxy通過回歸分析，得到回歸方程xy后，就可根據(jù)給定的解釋變量的一組值x0 =(1,x20，x30， xk0)，對(duì)因變量y的值進(jìn)行估計(jì)。nkxxx1210302000xy一、個(gè)值預(yù)測(cè)為y0及 的預(yù)測(cè)值。)|(00xye二、區(qū)間預(yù)測(cè) )(, )()|()|()(),()()()(1)()(1 , 0( )(1 )()()(