多元回歸分析估計(jì)ppt課件

1、多元回歸分析：估計(jì)（1） Multiple Regression Analysis: Estimation(1)y = b0 + b1x1 + b2x2 + . . . bkxk + u1本章大綱n使用多元回歸的動(dòng)因n普通最小二乘法的操作和解釋n估計(jì)量的期望值nOLS估計(jì)量的方差nOLS的有效性：高斯馬爾可夫定理2課堂大綱n使用多元回歸的動(dòng)因 n普通最小二乘法的操作和解釋n假定MLR.1 MLR.4 nOLS估計(jì)值的無(wú)偏性3動(dòng)因：優(yōu)點(diǎn)n經(jīng)驗(yàn)研究中使用簡(jiǎn)單回歸模型的主要缺陷是：它很難得到在其它條件不變的情況下，x對(duì)y的影響。n多元回歸分析更適合于其它條件不變情況下的分析，因?yàn)槎嘣貧w分析允許我們

2、明確地控制其它許多也同時(shí)影響因變量的因素。n多元回歸模型能容納很多可能相關(guān)的解釋變量，所以在簡(jiǎn)單回歸分析可能誤導(dǎo)的情況下，可以寄希望于多元回歸模型來(lái)推斷因果關(guān)系。4動(dòng)因：優(yōu)點(diǎn)n在實(shí)證工作中使用簡(jiǎn)單回歸模型的主要缺陷是：要得到在其它條件不變的情況下， x對(duì)y的影響非常困難。n在其它條件不變情況假定下我們估計(jì)出的x對(duì)y的影響值是否可信依賴，完全取決于條件均值零值假設(shè)是否現(xiàn)實(shí)。n如果影響y的其它因素與x不相關(guān)，則改變x可以保證u不變，從而x對(duì)y的影響可以被識(shí)別出來(lái)。5動(dòng)因：優(yōu)點(diǎn)n可以解釋更多的因變量變動(dòng)。n它可以表現(xiàn)更一般的函數(shù)形式。n多元回歸模型是實(shí)證分析中最廣泛使用的工具。6動(dòng)因：一個(gè)例子n考慮

3、一個(gè)簡(jiǎn)單版本的解釋教育對(duì)小時(shí)工資影響的工資方程。 exper：在勞動(dòng)力市場(chǎng)上的經(jīng)歷，用年衡量n在這個(gè)例子中，“在勞動(dòng)力市場(chǎng)上的經(jīng)歷”被明確地從誤差項(xiàng)中提出。012expwageeducerubbb7動(dòng)因：一個(gè)例子n考慮一個(gè)模型：家庭消費(fèi)是家庭收入的二次方程。 Cons = b0 + b1 inc+b2 inc2 +un現(xiàn)在，邊際消費(fèi)傾向可以近似為MPC= b1 +2b2 8含有k個(gè)自變量的模型n一般的多元線性回歸模型可以寫為01 122kkyxxxubbbb9類似于簡(jiǎn)單回歸模型nb0仍是截距nb1到bk都稱為斜率參數(shù)nu仍是誤差項(xiàng)（或干擾項(xiàng)）n仍需作零條件期望的假設(shè)，所以現(xiàn)在假設(shè) E(u|x1

4、,x2, ,xk) = 0n仍然最小化殘差平方和，所以得到k+1個(gè)一階條件10如何得到OLS估計(jì)值n普通最小二乘法選擇能最小化殘差平方和的估計(jì)值，2122110minniikkiiixxxybbbb11如何得到OLS估計(jì)值niikkiiixxxy1221100bbbbniikkiiiixxxyx12211010bbbbniikkiiiixxxyx12211020bbbbniikkiiiikxxxyx1221100bbbbk+1個(gè)一階條件：12n在估計(jì)之后，我們得到OLS回歸線，或稱為樣本回歸方程（SRF）n得到OLS回歸式之后，對(duì)每次觀測(cè)都得到一個(gè)擬合值或預(yù)測(cè)值，對(duì)觀測(cè)點(diǎn)i，其擬合值就是n第i

5、個(gè)觀測(cè)的殘差為：ikkiixxybbb.110如何得到OLS估計(jì)值ikkiiixxxybbbb22110iiiyyu13OLS擬合值和殘差的性質(zhì)n殘差項(xiàng)的均值為零n每個(gè)自變量和OLS協(xié)殘差之間的樣本協(xié)方差為零。n點(diǎn) 總位于OLS回歸線上。12( , )kx xxykkixxxybbbb221100 iu00iikiyuxu14對(duì)多元回歸的解釋n由可知n所以，保持 不變意味著： 即，每一個(gè)j都有一個(gè)偏效應(yīng)(partial effect)，或其他情況不變(ceteris paribus)的解釋。kxx ,., 2kkxxxybbbb.2211011xybkkxxxybbb.221115例子：大學(xué)G

6、PA的決定因素n兩個(gè)解釋變量的回歸 pcolGPA:大學(xué)成績(jī)預(yù)測(cè)值hsGPA : 高中成績(jī)績(jī) ACT :成績(jī)測(cè)驗(yàn)分?jǐn)?shù)(achievement test score)pcolGPA = 1.29 + 0.453hsGPA+0.0094ACTn一個(gè)解釋變量的回歸pcolGPA = 2.4 +0.0271ACTnACT的系數(shù)大三倍。n如果這兩個(gè)回歸都是對(duì)的，它們可以被認(rèn)為是兩個(gè)不同實(shí)驗(yàn)的結(jié)果。16“保持其它因素不變”的含義n多元回歸分析的優(yōu)勢(shì)在于它使我們能在非實(shí)驗(yàn)環(huán)境中去做自然科學(xué)家在受控實(shí)驗(yàn)中所能做的事情：保持其它因素不變。17對(duì)“排除其它變量影響”的解釋n考慮回歸線n 的一種表達(dá)式為：n 是由以

7、下回歸得出的殘差：1b22110 xxyibbb1ir211111()/nniiiiir yrb12201irxx18“排除其它變量影響”（續(xù)）n上述方程意味著：將y同時(shí)對(duì)x1和x2回歸得出的x1的影響與先將x1對(duì)x2回歸得到殘差，再將y對(duì)此殘差回歸得到的x1的影響相同。n 這意味著只有x1中與x2不相關(guān)的部分與y有關(guān)，所以在x2被“排除影響”之后，我們?cè)俟烙?jì)x1對(duì)y的影響。19“排除其它變量影響”（一般情況）n在一個(gè)含有k個(gè)解釋變量的一般模型中， 仍然可以寫成 但殘差 來(lái)自x1對(duì)x2 , xk的回歸。n于是 度量的是，在排除x2 , xk等變量的影響之后， x1對(duì)y的影響。1b1b21111

8、1()/nniiiiir yrb1r20比較簡(jiǎn)單回歸和多元回歸估計(jì)值n比較簡(jiǎn)單回歸模型和多元回歸模型n一般來(lái)說(shuō)， ，除非： 或 樣本中x1和x2不相關(guān)。110 xybb22110 xxybbb 11bb 02b21比較簡(jiǎn)單回歸和多元回歸估計(jì)值n這是因?yàn)榇嬖谝粋€(gè)簡(jiǎn)單的關(guān)系n這里， 是x2對(duì)x1的簡(jiǎn)單回歸得到的斜率系數(shù)。1211bbb1221212112211212112221111121111122211122110)()()()()()()()( ),()( bbbbbbbbbbbbxxxxxxxxxxxxxxxxyyxxxxxxyyuxxy由此得，所以因?yàn)?3簡(jiǎn)單回歸和多元回歸估計(jì)值的比較1

9、1, 0,1,., 0,1,.,1.jjkjkk-jjjkjjkjkxxx ,.,xx 令為用全部解釋變量回歸的OLS估計(jì)量。令 為用除 外的解釋變量回歸的OLS估計(jì)量。令 為 向回歸中 的斜率系數(shù)。那么24簡(jiǎn)單回歸和多元回歸估計(jì)值的比較n在k個(gè)自變量的情況下，簡(jiǎn)單回歸和多元回歸只有在以下條件下才能得到對(duì)x1相同的估計(jì)（1）對(duì)從x2到xk的OLS系數(shù)都為零（2） x1與x2 , xk中的每一個(gè)都不相關(guān)。25擬合優(yōu)度n每一個(gè)觀察值可被視為由解釋部分和未解釋部分構(gòu)成：n定義：nSST= SSE + SSR總平方和SSTsquares of sum total 2 yyi解釋平方和SSEsquare

10、s of sum explained 2yyi殘差平方和 SSRsquares of sum residual2iu26擬合優(yōu)度（續(xù)）我們?cè)鯓雍饬课覀兊臉颖净貧w線擬合樣本數(shù)據(jù)有多好呢？可以計(jì)算總平方和（SST）中被模型解釋的部分，稱此為回歸R2w R2 = SSE/SST = 1 SSR/SST27擬合優(yōu)度（續(xù)）我們也可以認(rèn)為R2等于實(shí)際的yi與估計(jì)的 之間相關(guān)系數(shù)的平方iy 2222yyyyyyyyRiiii28更多關(guān)于R2n當(dāng)回歸中加入另外的解釋變量時(shí)，R2通常會(huì)上升。n例外：如果這個(gè)新解釋變量與原有的解釋變量完全共線，那么OLS不能使用。n此代數(shù)事實(shí)成立，因?yàn)楫?dāng)模型加入更多回歸元時(shí)，殘差

11、平方和絕不會(huì)增加。29更多關(guān)于R2n考慮從一個(gè)解釋變量開(kāi)始，然后加入第二個(gè)。nOLS性質(zhì)：最小化殘差平方和。n如果OLS恰好使第二個(gè)解釋變量系數(shù)取零，那么不管回歸是否加入此解釋變量，SSR相同。n如果OLS使此解釋變量取任何非零系數(shù)，那么加入此變量之后，SSR降低了。n實(shí)際操作中，被估計(jì)系數(shù)精確取零是極其罕見(jiàn)的，所以，當(dāng)加入一個(gè)新解釋變量后，一般來(lái)說(shuō)，SSR會(huì)降低。30OLS估計(jì)量的期望值n我們現(xiàn)在轉(zhuǎn)向OLS的統(tǒng)計(jì)特性，而我們知道OLS是估計(jì)潛在的總體模型參數(shù)的。n統(tǒng)計(jì)性質(zhì)是估計(jì)量在隨機(jī)抽樣不斷重復(fù)時(shí)的性質(zhì)。我們并不關(guān)心在某一特定樣本中估計(jì)量如何。 31假定 MLR.1（線性于參數(shù)）n總體模型

12、可寫成y= b0+ b1x1+ b2x2+ +bkxk+u其中， b1, b2 , bk 是我們所關(guān)心的未知參數(shù)(常數(shù))，而u則是無(wú)法觀測(cè)的隨機(jī)誤差或隨機(jī)干擾。n上述方程規(guī)范地表述了總體模型或真實(shí)模型。由于因變量y與自變量都可以為任意函數(shù)，所以上式是靈活多變的。32假定 MLR.2（隨機(jī)抽樣性）n我們有一個(gè)包含n次觀測(cè)的隨機(jī)樣本 (xi1, xi2, xik; yi): i=1,n，它來(lái)自假定MLR。1中的總體模型。n有時(shí)我們將模型寫為 yi= b0+ b1xi1+ b2xi2+ +bkxik+uin其中，i 表示觀測(cè)次數(shù)，j=1,k代表第j個(gè)回歸元(變量序號(hào))33假定MLR.3 （不存在完全

13、共線性）n在樣本(因而在總體)中，沒(méi)有一個(gè)自變量是常數(shù)，自變量之間也不存在嚴(yán)格的線性關(guān)系。n如果方程中一個(gè)自變量是其它自變量的一個(gè)線性組合時(shí)，我們說(shuō)此模型遇到完全共線性(perfect collinearity)問(wèn)題，此時(shí)不能用OLS估計(jì)參數(shù)。34假定MLR.3 n完全共線性的例子：y= b0+ b1x1+ b2x2+ b3x3+u， x2 = 3x3y= b0+ b1log(inc)+ b2log(inc2 )+uy= b0+ b1x1+ b2x2+ b3x3+ b4x4+u，x1 +x2 +x3+ x4 =1n當(dāng)y= b0+ b1x1+ b2x2+ b3x3+u , n 0Corr(x1,

14、 x2) 0偏誤為正偏誤為負(fù)b2 0偏誤為負(fù)偏誤為正50遺漏變量偏誤n但是，通常我們不能觀測(cè)到b2 ，而且，當(dāng)一個(gè)重要變量被缺省時(shí)，主要原因也是因?yàn)樵撟兞繜o(wú)法觀測(cè)，換句話說(shuō)，我們無(wú)法準(zhǔn)確知道Corr(x1, x2)的符號(hào)。怎么辦呢？n我們將依靠經(jīng)濟(jì)理論和直覺(jué)來(lái)幫助我們對(duì)相應(yīng)符號(hào)做出較好的估計(jì)。51例3.6：小時(shí)工資方程n假定模型 log(wage) = b0+b1educ + b2abil +u，在估計(jì)時(shí)遺漏了abil。 b1的偏誤方向如何？n因?yàn)橐话銇?lái)說(shuō)ability對(duì)y有正的局部效應(yīng)，并且ability和education years正相關(guān)，所以我們預(yù)期b1上偏。526n 20.186R

15、educwage083. 0584. 0)(log52更一般的情形n從技術(shù)上講，要推出多元回歸下缺省一個(gè)變量時(shí)各個(gè)變量的偏誤方向更加困難。n注意：注意：若有一個(gè)對(duì)y有局部效應(yīng)的變量被缺省，且該變量至少和一個(gè)解釋變量相關(guān)，那么所有所有系數(shù)的OLS估計(jì)量都有偏。53更一般的情形n假設(shè)總體模型 滿足假定MLR.1MLR.4。但我們遺漏了變量x3，并估計(jì)了模型 假設(shè)X2和X3無(wú)關(guān)， X1和X3相關(guān)。 是1的一個(gè)有偏估計(jì)量，但 是否有偏？uxxxy3322110bbbbuxxy22110bbb1b2b54更一般的情形n此時(shí)，我們通常假設(shè)X1和X2無(wú)關(guān)。n當(dāng)X1和X2無(wú)關(guān)時(shí)，可以證明：niiniiixxx

16、xxE12111311311bbb55更一般的情形0112233model10112233model2011221323221(,)0,(,)0trueyxxxuyxxxyxxcorr xxcorr xxbbbbbbbbbbbbbb若。很容易想到是的一個(gè)有偏估計(jì)量。而是有偏的嗎？56更一般的情形312301 122113122321213111,. 000 xxxxxxcorr(x ,x )corr(x ,x )bbb bbb bb的確。這是因?yàn)槿绻覀儗?向 和 回歸，我們有如下關(guān)系成立：當(dāng)，即使，也有。因此，是 的一個(gè)有偏估計(jì)量。57OLS估計(jì)量的方差現(xiàn)在我們知道估計(jì)值的樣本分布是以真實(shí)參

17、數(shù)為中心的。我們還想知道這一分布的分散狀況。在一個(gè)新增假設(shè)下，度量這個(gè)方差就容易多了：58假定MLR.5（同方差性）(Homoskedasticity)同方差性假定：Var(u|x1, x2, xk) = s2 .意思是，不管解釋變量出現(xiàn)怎樣的組合，誤差項(xiàng)u的條件方差都是一樣的。如果這個(gè)假定不成立，我們說(shuō)模型存在異方差性。59OLS估計(jì)量的方差（續(xù)）n用x表示(x1, x2,xk)n假定Var(u|x) = s2，也就意味著Var(y| x) = s2n假定MLR.1-5共同被稱為高斯馬爾可夫假定高斯馬爾可夫假定(Gauss-Markov assumptions) 60定理 3.2（OLS斜率

18、估計(jì)量的抽樣方差）n給定高斯-馬爾可夫假定 222221RxxRxxSSTRSSTVarjjjijjjjj回歸所得到的向所有其它是其中，sb61對(duì)定理3.2的解釋n定理3.2顯示：估計(jì)斜率系數(shù)的方差受到三個(gè)因素的影響：n誤差項(xiàng)的方差n總的樣本變異n解釋變量之間的線性相關(guān)關(guān)系62對(duì)定理3.2的解釋（1）：誤差項(xiàng)方差n更大的s2意味著更大的OLS估計(jì)量方差。n更大的s2意味著方程中的“噪音”越多。n這使得得到自變量對(duì)因變量的準(zhǔn)確局部效應(yīng)變得更加困難。n引入更多的解釋變量可以減小方差。但這樣做不僅不一定可能，而且也不一定總令人滿意。ns2 不依賴于樣本大小63對(duì)定理3.2的解釋（2）：總的樣本變異n

19、更大的SSTj意味著更小的估計(jì)量方差，反之亦然。n其它條件不變情況下， x的樣本方差越大越好。n增加樣本方差的一種方法是增加樣本容量。n參數(shù)方差的這一組成部分依賴于樣本容量。64對(duì)定理3.2的解釋（3）：多重共線性n更大的Rj2意味著更大的估計(jì)量方差。n如果Rj2較大，就說(shuō)明其它解釋變量解釋可以解釋較大部分的該變量。n當(dāng)Rj2非常接近1時(shí)， xj與其它解釋變量高度相關(guān)，被稱為多重共線性。n嚴(yán)重的多重共線性意味著被估計(jì)參數(shù)的方差將非常大。65對(duì)定理3.2的解釋（3）：多重共線性（續(xù)）n多重共線性是一個(gè)數(shù)據(jù)問(wèn)題n可以通過(guò)適當(dāng)?shù)牡厣釛壞承┳兞浚蚴占鄶?shù)據(jù)等方法來(lái)降低。n注意：雖然某些自變量之間可

20、能高度相關(guān)，但與模型中其它參數(shù)的估計(jì)程度無(wú)關(guān)。66總結(jié)本堂課重要的幾點(diǎn)：n高斯馬爾科夫假定n模型過(guò)度設(shè)定和設(shè)定不足的后果n遺漏變量偏差是什么n被估計(jì)參數(shù)方差的三個(gè)組成部分是什么，以及它們?nèi)绾斡绊懕还烙?jì)參數(shù)方差的大小。67多元回歸分析：估計(jì)（3）Multiple Regression Analysis: Estimation (3)y = b0 + b1x1 + b2x2 + . . . bkxk + u68本章大綱n使用多元回歸的動(dòng)因n普通最小二乘法的操作和解釋nOLS估計(jì)量的期望nOLS估計(jì)量的方差nOLS的有效性：高斯馬爾可夫定理69課堂大綱n誤設(shè)模型中偏誤和方差間的替代關(guān)系n估計(jì)誤差項(xiàng)方

21、差n高斯馬爾可夫定理70誤設(shè)模型中的方差n在考慮一個(gè)回歸模型中是否該包括一個(gè)特定變量的決策中，偏誤和方差之間的消長(zhǎng)關(guān)系是重要的。n假定真實(shí)模型是 y = b0 + b1x1 + b2x2 +u， 我們有211211)(RSSTVarsb71誤設(shè)模型中的方差n考慮誤設(shè)模型是估計(jì)的方差是n 當(dāng)x1和x2不相關(guān)時(shí) 否則 ,110 xybb 121SSTVarsb )(11bbVarVar )(11bbVarVar72舍棄x2的后果R12=0R120b2=0兩個(gè)對(duì)b1的估計(jì)都是無(wú)偏的，方差相同兩個(gè)對(duì)b1的估計(jì)量都是無(wú)偏的，舍棄x2使得方差更小b20舍棄x2導(dǎo)致對(duì)b1的估計(jì)量有偏，但方差和從完整模型得到

22、的估計(jì)相同舍棄x2導(dǎo)致對(duì)b1的估計(jì)量有偏，但其方差變小73誤設(shè)模型中的方差n如果 ，一些計(jì)量經(jīng)濟(jì)學(xué)家建議，將因漏掉x2而導(dǎo)致的偏誤的可能大小與方差的降低相比較以決定漏掉該變量是否重要。n現(xiàn)在，我們更喜歡包含x2 ，因?yàn)殡S著樣本容量的擴(kuò)大， 增加x2導(dǎo)致的多重共線性變得不那么重要，但舍棄x2導(dǎo)致的遺漏變量誤偏卻不一定有任何變化模式。20b74不同情形下估計(jì)量的期望和方差估計(jì)量期望估計(jì)量方差估計(jì)量期望估計(jì)量方差估計(jì)量期望估計(jì)量方差模型設(shè)定不足時(shí)模型過(guò)度設(shè)定時(shí)模型設(shè)定正確時(shí)75估計(jì)誤差項(xiàng)方差我們希望構(gòu)造一個(gè)s2 的無(wú)偏估計(jì)量如果我們知道 u，通過(guò)計(jì)算 u 2的樣本平均可以構(gòu)造一個(gè)s2的無(wú)偏估計(jì)量我們

23、觀察不到誤差項(xiàng) ui ，所以我們不知道誤差項(xiàng)方差s2。76估計(jì)誤差項(xiàng)方差我們能觀察到的是殘差項(xiàng)i 。我們可以用殘差項(xiàng)構(gòu)造一個(gè)誤差項(xiàng)方差的估計(jì)n df = n (k + 1), or df = n k 1n df (自由度，degrees of freedom)df=觀察點(diǎn)個(gè)數(shù)被估參數(shù)個(gè)數(shù)dfSSRknui122s77估計(jì)誤差項(xiàng)方差n上式中除以n-k-1是因?yàn)闅埐钇椒胶偷钠谕凳?n-k-1)s2. n為什么自由度是n-k-1 n因?yàn)橥茖?dǎo)OLS估計(jì)時(shí)，加入了k+1個(gè)限制條件。也就是說(shuō)，給定n-k-1個(gè)殘差，剩余的k+1個(gè)殘差是知道的，因此自由度是n-k-1 。78n定理3.3（ s2的無(wú)偏估計(jì)）在高斯馬爾可夫假定 MLR.1-5下，我們有n定義術(shù)語(yǔ)： s2 正的平方根稱為