第七章 多元線性回歸模型

第七章多元線性回歸模型多元回歸模型旨在探求下列問(wèn)題：如何估計(jì)多元回歸模型？多元回歸模型的估計(jì)過(guò)程與雙變量模型有何不同?對(duì)多元回歸模型的假設(shè)過(guò)程與雙變量模型有何不同？多元回歸有沒(méi)有一些在雙變量模型中未曾遇到過(guò)的特性7.1多元線性回歸模型Y=B+BX+BX+...+BX+u'?=E（y/X2ixX3）+ukki '?（7-1）i2i,3i,...kii可以具體表示為：Y=B+BX+BX+...+BX+uY2=B.+B22X212+B33X3312...+BXk；+u2Yp+Yp+B2X2n+BX3n+...+BXkn+如果令ry}y2...ry}y2...,p=邛）p2...,X=.Y‘pnkr1X21...X31x22... x：.........X2nX%Xkn\rp1.,K27...KVn7則多元回歸模型可以用矩陣表示為Y—X'+u(為什么 放到后面，回憶線性代數(shù)的知識(shí)。)與一元回歸模型情形相同，多元回歸分析也是條件回歸分析，是在給定解釋變量的值的條件下，得到Y(jié)的均值E(Yi)。E(Y.)式表明任何一個(gè)Y值可以表示成為兩部分之和：系統(tǒng)成分或決定成分(1+ 22^33i+?.?+ kki)，也就是Y.的均值E(Yi)0非系統(tǒng)成分ui，是由除X2、X3...、Xk以外因素決定的。B2、B3、....、Bk稱為偏回歸系數(shù)。B2度量了在X3、X4...Xk保持不變的情況下，X2每變動(dòng)一單位，Y的均值E(Y)的改變量。B3度量了在X2、X4…Xk_保持不變的情況下，X3每變動(dòng)一單位，Y的均值E(Y)的改變量。多元回歸的特殊性質(zhì)：在一元回歸模型情形下，由于僅有一個(gè)解釋變量，無(wú)須擔(dān)心模型中出現(xiàn)其他變量。在多元回歸中，要知道Y平均值的變動(dòng)有多大比例“直接”來(lái)源于X2的變動(dòng)，多大比例“直接”來(lái)源于X3...Xk的變動(dòng)。一個(gè)簡(jiǎn)單的例子：E(Yi)=15-1.2X2.+0.8X3i令X3取值為10(若取其他常數(shù)也一樣)，代入上式，得E(Yi)=15-1.2X2i+0.8(10)=(15+8)-1.2X2i=23-1.2X,2i這里斜率B2=-1.2表示當(dāng)X3為常數(shù)時(shí)，X2每增加一個(gè)單位，Y的平均值將減少1.2個(gè)單位。同樣地，如果X2為常數(shù)(比如X2=5)，得到E(Yi)=15-1.2(5)+0.8X3i=9+0.8X,.3i這里斜率B3=0.8，表示當(dāng)X2為常量時(shí)，X3每增加1個(gè)單位，Y的平均值將增加0.8個(gè)單位。7.2多元回歸參數(shù)的估計(jì)(以二元為例)7.2.1二元普通最小二乘估計(jì)量(7-4)Y=出與+回歸模型(7半相戒的樣本回歸模型. 1 22i33ii(7-4)i其中，e為殘差項(xiàng)，簡(jiǎn)稱殘差，b是總體回歸方程系數(shù)B的估計(jì)量。b1=B1的估計(jì)量；b2=B2的估計(jì)量；b3=B3的估計(jì)量樣本數(shù)學(xué)方程：^1+吼+b3X3i (7-5)第5章中已解釋過(guò)，OLS原則是選擇未知參數(shù)值使得殘差平方和(RSS)盡可能小。首先場(chǎng)型鄧重/bX+bX)ii1 22i33i (7-6)同時(shí)將兩邊平方再求和，得

RSS=!ei2=!(YiRSS=!ei2=!(Yi-Yi)2=!(Yi-b1-b2X-2i3iY最小二乘法就是使RSS(Yi的真實(shí)值與估計(jì)值之差的平方和)最小化。對(duì)式(7-7)分別對(duì)bl，b2求偏導(dǎo)，并令所求偏導(dǎo)為零，得到：?！阤i2/瀝1=2!(Yi-bl-b2X-b3X)(-1) =06!ei2/瀝3=2!(Yi-b1-b2X-b3X)(-X)=02i3i得到下面的正規(guī)方程：Y6!ei2/瀝3=2!(Yi-b1-b2X-b3X)(-X)=02i3i得到下面的正規(guī)方程：Y=b1+b2X+b3X(7-8)^YrX=bl￡X+b2￡X2+b3￡XX^YX=bl!X+b3ZX2+b2EXXi3i 3i 3i 2i3i(7-9)(7-10)通常可由三個(gè)方程求解三個(gè)未知數(shù)，運(yùn)用克萊姆法則，得到:b1=Y-b2X-b3XTOC\o"1-5"\h\z2i 3ib2=(!》氣)(！七)-(!y七)(！七氣)'(!X2)(!X2)-(!XXL3'2i3i 2i3i(!yx)(!X2)-(!yx)(!xx)D3= i3i 2i i2i 2i3i(!x；.)(!xp-(!x^xj注：小寫(xiě)字母表示各值與其均值的離差。例如，乂=Yi我

7.2.2OLS估計(jì)量的方差與標(biāo)準(zhǔn)差得到截距及偏回歸系數(shù)的OLS估計(jì)量之后，可以推導(dǎo)出這些估計(jì)量方差及標(biāo)準(zhǔn)差。(回憶：如何理解估計(jì)量是隨機(jī)變量？)1X2￡"+X2￡x2-2XX￡xxvar(bl)=[_+2i3i 3白23 2i3i]§2' n (￡x；.)(￡x；)-(￡七.氣.)2se(bl)=戶^1TOC\o"1-5"\h\zvar(b2)= ￡% &2(￡x；.)(￡X;)-(￡X2.X3.)2se(b2)=Jvar(b2)var(b3)= ￡x2 52F (￡x2)(￡x2)-(￡xx)22i3i 2i3ise(b3)=Jvar(b3)52是總體誤差項(xiàng)的方差由下式來(lái)估計(jì):5]￡5]￡ei2

n-3(n-3)為自由度，因?yàn)樵诠烙?jì)RSS時(shí)，必須先求出b1、b2、b3,也就是說(shuō)，它們“消耗”了三個(gè)自由度。以此類推，在4個(gè)解釋變量情形下，自由度為(n-4)?！阤i2J 是殘差平方和(RSS)，即Y的真實(shí)值與估計(jì)值差的平方和￡ei2=(Yi-Yi)2同時(shí)S=5

計(jì)算一個(gè)簡(jiǎn)單的方法計(jì)算一個(gè)簡(jiǎn)單的方法Zei2=zyt2-b2Zyx「bZy尢證*Y=b+bX+bX+e1 22i33ii，可得IAY=^Y+e -■ii，兩邊減去Y-Y=Y-Y+ei i i，因?yàn)闃颖净貧w線經(jīng)過(guò)樣本均值點(diǎn)(證明過(guò)程見(jiàn)第五章)y=(b+bX+bX)-(b+bX+bX)+e七.'122i33i'122i33i i可得e=y一bx-bxi. 22i33iiZe.2=Zee1=Ze(y-bx-bx)ii22i3.3i=Zey-bZex-bZex)ii2i2i3i3iZeX=0（證明過(guò)程見(jiàn)第五章），所以因?yàn)镴ii（證明過(guò)程見(jiàn)第五章），所以=Z(y-bx-bx=Z(y-bx-bx)yi22i33iJj=Zy2-bZyx-bZyxi2i2i3i3i結(jié)論：多元回歸模型在許多方面是一元回歸模型的推廣，只不過(guò)估計(jì)公式略顯復(fù)雜。解釋變量的個(gè)數(shù)如果多于三個(gè)，那么得到的計(jì)算公式將會(huì)更復(fù)雜。7.2.3多元普通最小二乘估計(jì)量的一般式根據(jù)整體回歸模型推X3+U得樣本回歸模型

樣本回歸數(shù)學(xué)模型為y^=xb樣本回歸數(shù)學(xué)模型為y^=xb，可得殘差矩陣為△ 八e=Y—Y=Y—Xb，殘差平方和為Ze2=ee=(Y-XB)'(Y-XB)二Y'Y-B'XY—Y'XB+B'X'XB二Y'Y-2p'XY+B'X'XB因?yàn)橛疫吤恳豁?xiàng)都是標(biāo)量(1*1矩陣)，所以和自身的轉(zhuǎn)置相等，即B'XY=(B'XY)'=Y'XB求Ee2=e'e的最小、值沱e)=_2XY+2X，XB=0~^B~如果矩陣/X'X/。0，即為非奇異矩陣，那么它的逆矩陣(X'X)—1存在，因此人 .一.B=(X'X)—1XY即/X/豐0回憶：X即/X/豐0/X/最小二乘估計(jì)量的性質(zhì)線性存在整體回歸模型推XB+uB=(X'X)—1XY=(X'X)—1X，(XB+u)=B+(x'x)—1xu所以 不僅是”的線性組合，還是u的線性組合。

無(wú)偏性E(P)=E[P+(X'X)_]X'u]=E(P)+(X'X)1X'E(u)=P最小方差(證明見(jiàn)《計(jì)量經(jīng)濟(jì)學(xué)導(dǎo)論：現(xiàn)代觀點(diǎn)，P105》，伍德里奇)7.3多元線性回歸模型的假定仍在第6章介紹的古典線性回歸模型的框架下用普通最小二乘法(OLS)對(duì)參數(shù)進(jìn)行估計(jì)。對(duì)模型Y.=B1+B2X2i+B3X3i+*作如下假定：A7.1X2i、X3i與擾動(dòng)項(xiàng)u不相關(guān)因?yàn)?￡ei2/因?yàn)?￡ei2/瀝2=2￡(Yi-bl-b2X-b3X)(-X)=2￡eX=0i2i/￡ei2/6b=2E(Y-bl=2￡eX=03i2ib2X-b3X-)(X2i3i i3A7.2誤差項(xiàng)零均值假定A7.3同方差假定，即u的方差為一常量:Var(ui)=S2RVar(R)= 2=S2???Rk〃JA7.4無(wú)自相關(guān)假定cov(ui,uj)=0, i勺A7.5隨項(xiàng)誤差u服從均值為零，方差為S2的正態(tài)分布(用于假設(shè)檢驗(yàn))。即ui?N(0,S2)★A7.6解釋變量之間不存在線性相關(guān)關(guān)系，即兩個(gè)解釋變量之間無(wú)確切的線性關(guān)系。假定7.5表明了解釋變量X2與X3之間不存在完全的線性關(guān)系，稱為非共線性或非多重共線性(nomulticolliearity)。一般地，非完全共線是指變量X2不能表示為另一變量X3的完全線性函數(shù)。因而如果有：X2i=3+2X3i或X2i=4X3i則這兩個(gè)變量之間是共線性的，因?yàn)閄2、X3之間存在完全的線性關(guān)系。例子：如果X2=4X3，則將它代入式(7-1)E(Yi)=B1+B2(4X3i)+B3X3i (7-2)=B1+(4B2+B3)X3i=B1+AX3i式中，A=4B2+B3 (7-3)模型(7-2)是一個(gè)雙變量模型，而非三變量模型。即使能夠?qū)δＰ?7-2)估計(jì)，也無(wú)法從估計(jì)的A值得到B2、B3的值。因?yàn)榉匠?7號(hào))是有兩個(gè)未知數(shù)的方程，而求B2和B3的估計(jì)值需要兩個(gè)(獨(dú)立)的方程。結(jié)論：在存在完全共線性的情況下，不能估計(jì)偏回歸系數(shù)B2和B3的值；即不能估計(jì)解釋變量X2和X3各自對(duì)因變量Y的影響。雖然在實(shí)際中，很少有完全共線性的情況，但是高度完全共線性或近似完全共線性的情況還是很多的。7.4擬合優(yōu)度：多元判定系數(shù)日2多元判定系數(shù)(MultipleCoefficientofDetermination),度量了X2和X3一起對(duì)應(yīng)變量丫變動(dòng)的解釋程度(解釋比例)，用符號(hào)R2表示。與雙變量模型類似，存在如下恒等式：

￡(Y-Y)2=Z(1^-Y)2+Z(Y-Y)2i ii ii一 一人 一一即￡七2=￡y「+￡e2TSS=ESS+RSS其中，￡y2TOC\o"1-5"\h\zTSS=總離差平方和， i一人￡y2ESS=回歸平方和， i￡e2RSS=殘差平方和， i同樣地，R2與雙變量模型類似，R同樣地，R2=ESS"TSSR2=l-釜￡y2iR2是回歸平方和與總離差平方和的比值；與雙變量模型惟一不同的是現(xiàn)在的ESS值多一個(gè)解釋變量有關(guān)。調(diào)整后的R調(diào)整后的R2：R2隨著解釋變量的增加，R2值就越大。如果模型中有5個(gè)解釋變量(包括截距)，貝JESS的自由度為4,如果模型有10個(gè)解釋變量，則ESS的自由度為9,但是R2的計(jì)算公式并未考慮不同模型中自由度的不同。因此需要擬合優(yōu)度的度量指標(biāo)能根據(jù)模型中解釋變量的個(gè)數(shù)進(jìn)行調(diào)整。提出調(diào)整后的R2：R2=1-(*史由于TSS(1)n-k由于TSS(1)1寸_￡y—y 廠自由度為(n-1)，因?yàn)楸仨殱M足方程^ i，即在確定條

件下，（同）個(gè)》是可以變動(dòng)的，只需要使得最后的y滿足方程。（2 ）自由度是（n—k）,因?yàn)镽SS（一匕）者［丁，+b阱.％+必須滿足?以ii 1 2 2i kki個(gè)方程，如K=3,即前面我們得到的b1=Y-b2X-b3XTOC\o"1-5"\h\z2i 3i(￡八)(Ex2)-(￡八)(￡xx)b2= i2i 3i i3i 2i3i(XX2)(XX2)-(XX2_X3_)2b3=(XyXXx2)-(xyx/x工2七.)'(Xx2)(Xx2)-(X；x)2""2i3i 2i3i（3）"S自由度是（k-i）（即模型中偏斜率的個(gè)數(shù)），因?yàn)?/p>

ESS=b2X2,+...+須滿足（廠1）個(gè)方程。R_[.RSS/(n-k)2一TSS/(n-1)=1-RSS(n-1)-TSS(n-k)因?yàn)?=R2+雄得R2R2=1-1-R2)(n-1)(n-k)r2有如下性質(zhì)：(1)若K>1,則2MR2。即隨著模型中解釋變量的增加， 2越來(lái)越小于R2,這似乎是對(duì)增加解釋變量的懲”R(2)雖然R2總為正，但 2可能為負(fù)。7.5多元回歸的假設(shè)檢驗(yàn)對(duì)聯(lián)合假設(shè)的檢驗(yàn)如果斜率系數(shù)b2和b3各自均在統(tǒng)計(jì)上是顯著的，也即每個(gè)部分斜率系數(shù)均顯著不為零。但是是否下面的零假設(shè)成立？H0：B2=B3=0這個(gè)零假設(shè)成為聯(lián)合假設(shè)(jointhypothesis)，即B2>B3聯(lián)合或同時(shí)為零(而不是各自的或單獨(dú)的為零)。這個(gè)假設(shè)表明兩個(gè)解釋變量一起對(duì)應(yīng)變量丫無(wú)影響；即X2與X3對(duì)Y無(wú)任何影響，等同于：H0：R2=0也即，兩個(gè)解釋變量對(duì)應(yīng)變量變化的解釋比例為零(回憶R2的定義)。兩個(gè)零假設(shè)是等價(jià)的。對(duì)這兩個(gè)中任何一個(gè)假設(shè)進(jìn)行檢驗(yàn)稱為對(duì)估計(jì)的總體回歸線的顯著性檢驗(yàn)，即檢驗(yàn)Y是否與X2和X3線性相關(guān)。問(wèn)題：既然B2、83各自均顯著不為零，那么它們一定也應(yīng)該聯(lián)合或集體顯著不為零，即能拒絕上述零假設(shè)嗎？在實(shí)踐中的一些多元回歸模型中，一個(gè)或多個(gè)解釋變量各自對(duì)應(yīng)變量沒(méi)有影響，但集體卻對(duì)應(yīng)變量有影響，或者沒(méi)有影響。這意味著t檢驗(yàn)雖然對(duì)于檢驗(yàn)單個(gè)回歸系數(shù)的統(tǒng)計(jì)顯著性是有效的，但是對(duì)聯(lián)合假設(shè)卻是無(wú)效的?？捎梅讲罘治?analysis