第三章 多元線性回歸

第三章多元線性回歸模型一元線性回歸模型的推廣1

1、研究中國(guó)的GDP增長(zhǎng)

a.影響GDP增長(zhǎng)的因素有哪些（投資、消費(fèi)、出口、貨幣供應(yīng)量等）？

b.GDP與各種因素關(guān)系的性質(zhì)是什么？（增、減）

c.各影響因素與GDP的具體的數(shù)量關(guān)系？

d.所作數(shù)量分析結(jié)果的可靠性如何？

e.今后的發(fā)展趨勢(shì)怎么樣？22、中國(guó)股票價(jià)格的波動(dòng)●股票價(jià)格變動(dòng)的情況怎樣（股價(jià)指數(shù)）？●影響股票價(jià)格變動(dòng)的因素是什么（資金、政策、利率等）？●股價(jià)與各種因素的關(guān)系是什么（利空、利多）？●各種因素影響的具體數(shù)量規(guī)律是什么？●所得結(jié)果可不可靠？●今后的發(fā)展趨勢(shì)怎樣？33、中國(guó)家庭汽車的市場(chǎng)●汽車市場(chǎng)狀況如何（銷售量）？●影響汽車銷量的主要因素是什么（收入、價(jià)格、道路狀況等）？●各種因素對(duì)汽車銷量影響的性質(zhì)怎樣（正、負(fù)、無(wú)）？●各種因素影響汽車銷量的具體數(shù)量程度？●以上分析所得結(jié)論是否可靠●今后發(fā)展趨勢(shì)怎樣？4多元線性回歸分析：研究因變量（被解釋變量）與兩個(gè)或兩個(gè)以上自變量（解釋變量）之間的回歸問(wèn)題，稱為多元回歸分析。線性回歸自變量個(gè)數(shù)大于等于2多元線性回歸5第三章多元線性回歸模型第一節(jié)多元線性回歸模型及古典假定第二節(jié)多元線性回歸模型的估計(jì)第三節(jié)多元線性回歸模型的檢驗(yàn)習(xí)題第五節(jié)實(shí)例小結(jié)6多元線性模型

i=1,2,…,n

在這個(gè)模型中，Y由X2,X3,…XK所解釋，有K個(gè)未知參數(shù)β1、β2、…βK.其中，“斜率”βj的含義是其它變量不變的情況下，Xj改變一個(gè)單位對(duì)因變量所產(chǎn)生的影響，也稱為偏回歸系數(shù)。第一節(jié)多元線性回歸模型及古典假定up7二元線性回歸模型（總體）樣本回歸模型up8為什么要做基本假定●模型中有隨機(jī)擾動(dòng)，估計(jì)的參數(shù)是隨機(jī)變量，只有對(duì)隨機(jī)擾動(dòng)的分布作出假定，才能確定所估計(jì)參數(shù)的分布性質(zhì)●只有具備一定的假定條件，所作出的估計(jì)才具有較好的統(tǒng)計(jì)性質(zhì),也才可能進(jìn)行假設(shè)檢驗(yàn)和區(qū)間估計(jì)二、多元線性回歸中的基本假定9假定1：零均值假定假定2和假定3：同方差和無(wú)自相關(guān)假定

假定4：隨機(jī)擾動(dòng)項(xiàng)與解釋變量不相關(guān)假定5:無(wú)多重共線性假定(多元中)

假定各解釋變量之間不存在線性關(guān)系，或各個(gè)解釋變量觀測(cè)值之間線性無(wú)關(guān)。假定6：正態(tài)性假定up10第二節(jié)

多元線性回歸模型的估計(jì)本節(jié)基本內(nèi)容:

●普通最小二乘法（OLS）●OLS估計(jì)式的性質(zhì)●隨機(jī)擾動(dòng)項(xiàng)方差的估計(jì)

思考題

up11一、普通最小二乘法（OLS）最小二乘原則剩余平方和最?。?/p>

求偏導(dǎo),令其為0:121314計(jì)算得到：up15二、OLS估計(jì)式的性質(zhì)

OLS估計(jì)式

1.線性特征:2.無(wú)偏特性:3.

最小方差特性結(jié)論：在古典假定下，多元線性回歸的OLS估計(jì)式是最佳線性無(wú)偏估計(jì)式（BLUE）

up16

四、隨機(jī)擾動(dòng)項(xiàng)方差的估計(jì)

多元回歸中的無(wú)偏估計(jì)為：

T分布變換為變換：

up17練習(xí)題3.3

建立家庭書(shū)刊消費(fèi)的計(jì)量經(jīng)濟(jì)模型：1819

（49.460）（0.029）（5.202）

t=(-1.011)(2.944)(10.067)R2=0.951df=1520ActualFittedResidualY

殘差

450.000

457.747-7.74749

793.200

855.947-62.7468

507.700

511.674-3.97390

660.800

663.531-2.73081

613.900

684.398-70.4977

792.700

760.439

32.2609

563.400

534.756

28.6440

580.800

554.589

26.2113

501.500

430.379

71.1215

612.700

659.900-47.1999

781.500

860.234-78.7337

890.800

876.072

14.7276

541.800

563.181-21.3808

1121.00

1118.44

2.56081

611.100

626.599-15.4994

1094.20

1059.66

34.5446

1222.10

1063.92

158.176

1253.00

1310.74-57.736321

思考簡(jiǎn)單線性回歸模型與多元線性回歸模型的基本假定是否相同？22

已知含有截距項(xiàng)的三元線性回歸模型估計(jì)的殘差平方和，樣本容量為n=24，則隨機(jī)誤差項(xiàng)的方差估計(jì)量為()。A.33.33B.40C.38.09D.36.36

up23第三節(jié)

多元線性回歸模型的檢驗(yàn)本節(jié)基本內(nèi)容:

●多元回歸的擬合優(yōu)度檢驗(yàn)●回歸方程的顯著性檢驗(yàn)（F檢驗(yàn)）

●各回歸系數(shù)的顯著性檢驗(yàn)（t檢驗(yàn)）up24

對(duì)于雙變量線性模型

其中，=殘差平方和我們有第一節(jié)擬合優(yōu)度一、可決系數(shù)R225對(duì)于多元線性模型我們可用同樣的方法定義可決系數(shù)：對(duì)于多元線性模型26

殘差平方和的一個(gè)特點(diǎn)是，每當(dāng)模型增加一個(gè)解釋變量，并用改變后的模型重新進(jìn)行估計(jì)，殘差平方和的值會(huì)減小。由此可以推論，擬合優(yōu)度是一個(gè)與解釋變量的個(gè)數(shù)有關(guān)的量：

解釋變量個(gè)數(shù)增加減小R2

增大也就是說(shuō)，人們總是可以通過(guò)增加模型中解釋變量的方法來(lái)增大R2

的值。因此，用R2

來(lái)作為擬合優(yōu)度的測(cè)度，不是十分令人滿意的。為此，我們定義修正可決系數(shù)（Adjusted）27

二、

修正的可決系數(shù)（adjustedcoefficientofdetermination）

在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是:將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個(gè)數(shù)對(duì)擬合優(yōu)度的影響:其中：n-k為殘差平方和的自由度，n-1為總體平方和的自由度。K為解釋變量個(gè)數(shù)。dw28自由度

自由度（degreeoffreedom，df）——當(dāng)以樣本的統(tǒng)計(jì)量來(lái)估計(jì)總體的參數(shù)時(shí)，樣本中獨(dú)立或能自由變化的數(shù)據(jù)的個(gè)數(shù)稱為該統(tǒng)計(jì)量的自由度。

通俗點(diǎn)說(shuō)，一個(gè)班上有50個(gè)人，我們知道他們語(yǔ)文成績(jī)平均分為80，現(xiàn)在只需要知道49個(gè)人的成績(jī)就能推斷出剩下那個(gè)人的成績(jī)。你可以隨便報(bào)出49個(gè)人的成績(jī)，但是最后一個(gè)人的你不能瞎說(shuō)，因?yàn)槠骄忠呀?jīng)固定下來(lái)了，自由度少一個(gè)了29自由度為n-3。自由度為n-1。

對(duì)于二元線性回歸模型來(lái)說(shuō)30

變差來(lái)源平方和自由度歸于回歸模型歸于剩余總變差方差分析表up31

可決系數(shù)必定非負(fù)，但修正的可決系數(shù)可能為負(fù)值，這時(shí)規(guī)定

k>1時(shí)，

<

與可決系數(shù)的關(guān)系：32

地區(qū)電力消費(fèi)量國(guó)內(nèi)生產(chǎn)總值水電燃料價(jià)格指數(shù)內(nèi)蒙古320.431734.31104.7廣西356.952455.36101.7重慶248.011971.3109四川660.514875.12103.4貴州366.631185.0499.3云南353.22232.32102.9陜西355.972035.96103.2甘肅339.661161.43102.6青海125.51341.11107.3寧夏178.76329.28105.2新疆214.61598.28109.6例題3.133課本例題P85變量回歸系數(shù)標(biāo)準(zhǔn)差T統(tǒng)計(jì)量P值C1941.837390.21944.9762690.0011X20.0935990.0093999.9579790.0000X3-17.150693.701046-4.6340120.0017R-squared0.946883

Meandependentvar320.0209AdjustedR-squared0.933603

S.D.dependentvar140.1201S.E.ofregression36.10549

AIC10.23777Sumsquaredresid10428.85

Schwarzcriterion10.34628Loglikelihood-53.30772

F-statistic71.30507Durbin-Watsonstat2.182607

Prob(F-statistic)0.00000834求修正的可決系數(shù)35例.設(shè)n=20,k=4,R2=0.70求解：

下面改變n的值，看一看的值如何變化。我們有若n=10，則=0.55

若n=5，則=-0.2036思考多大才算通過(guò)擬合優(yōu)度檢驗(yàn)？up37

在多元回歸中有多個(gè)解釋變量，需要說(shuō)明所有解釋變量聯(lián)合起來(lái)對(duì)應(yīng)變量影響的總顯著性,或整個(gè)方程總的聯(lián)合顯著性。對(duì)方程總顯著性檢驗(yàn)需要在方差分析的基礎(chǔ)上進(jìn)行F檢驗(yàn)。38二、方程的顯著性檢驗(yàn)(F檢驗(yàn))

方程的顯著性檢驗(yàn)，旨在對(duì)模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否顯著成立作出推斷。

1、方程顯著性的F檢驗(yàn)

即檢驗(yàn)?zāi)Ｐ?/p>

Yi=1+2X2i+3X3i++kXki+ii=1,2,,n中的參數(shù)j是否顯著不為0。

可提出如下原假設(shè)與備擇假設(shè)：

H0：2==k=0H1：j不全為039

F檢驗(yàn)的思想來(lái)自于總離差平方和的分解式：

TSS=ESS+RSS

如果這個(gè)比值較大，則X的聯(lián)合體對(duì)Y的解釋程度高，可認(rèn)為總體存在線性關(guān)系，反之總體上可能不存在線性關(guān)系。

因此,可通過(guò)該比值的大小對(duì)總體線性關(guān)系進(jìn)行推斷。40

根據(jù)數(shù)理統(tǒng)計(jì)學(xué)中的知識(shí)，在原假設(shè)H0成立的條件下，統(tǒng)計(jì)量

服從自由度為(k-1,n-k)的F分布

給定顯著性水平，可得到臨界值F(k-1,n-k)，由樣本求出統(tǒng)計(jì)量F的數(shù)值，通過(guò)

F

F(k-1,n-k)或FF(k-1,n-k)來(lái)拒絕或接受原假設(shè)H0，以判定原方程總體上的線性關(guān)系是否顯著成立。

41

F

(k-1,n-k)

F檢驗(yàn)示意圖up42課本例題P86提出假設(shè)H0：2=3=0H1：2、3不全為0構(gòu)造F統(tǒng)計(jì)量432、關(guān)于擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)關(guān)系的討論

由可推出：與或F和R2同方向變化：當(dāng)R2=0時(shí)，F(xiàn)=0

R2越大時(shí)，F(xiàn)值也就越大R2=1時(shí)，F(xiàn)為無(wú)窮大44

因此，F(xiàn)檢驗(yàn)時(shí)所估計(jì)回歸的總顯著性的一個(gè)度量，也是R2的一個(gè)顯著性檢驗(yàn)。也就是檢驗(yàn)H0：2=3==k=0等價(jià)于R2=0回答了前面的問(wèn)題：

R2多大才能通過(guò)擬合優(yōu)度檢驗(yàn)up45一、偏回歸系數(shù)的顯著性檢驗(yàn)檢驗(yàn)假設(shè)步驟:1.原假設(shè):2.給出檢驗(yàn)統(tǒng)計(jì)量;3.根據(jù)數(shù)據(jù)計(jì)算統(tǒng)計(jì)量值和根據(jù)表查理論值;4.比較理論值與實(shí)際值,做出結(jié)論

第三節(jié)顯著性檢驗(yàn)一、變量的顯著性檢驗(yàn)(t檢驗(yàn))

46課本例題P88變量回歸系數(shù)標(biāo)準(zhǔn)差T統(tǒng)計(jì)量P值C1941.837390.21944.9762690.0011X20.0935990.0093999.9579790.0000X3-17.150693.701046-4.6340120.0017R-squared0.946883

Meandependentvar320.0209AdjustedR-squared0.933603

S.D.dependentvar140.1201S.E.ofregression36.10549

AIC10.23777Sumsquaredresid10428.85

Schwarzcriterion10.34628Loglikelihood-53.30772

F-statistic71.30507Durbin-Watsonstat2.182607

Prob(F-statistic)0.00000847對(duì)各個(gè)回歸參數(shù)作假設(shè)檢驗(yàn)提出假設(shè)H0：2=0H1：2不等于0構(gòu)造t統(tǒng)計(jì)量T=9.957979>t0.025(11-3)=2.306拒絕原假設(shè)，說(shuō)明2不等于0同理3不等于048注意:在一元回歸中F檢驗(yàn)與t檢驗(yàn)等價(jià),且但在多元回歸中F檢驗(yàn)與t檢驗(yàn)作用不同。

一方面，t檢驗(yàn)與F檢驗(yàn)都是對(duì)相同的原假設(shè)H0：i=0

進(jìn)行檢驗(yàn);

另一方面，兩個(gè)統(tǒng)計(jì)量之間有如下關(guān)系：

49課本練習(xí)題3.1P98up50練習(xí)1、多元線性回歸分析中的

RSS反映了（

）A．應(yīng)變量觀測(cè)值總變差的大小

B．應(yīng)變量回歸估計(jì)值總變差的大小

C．應(yīng)變量觀測(cè)值與估計(jì)值之間的總變差

D．Y關(guān)于X的邊際變化三元線性回歸分析中的回歸平方和ESS的自由度是（

）

A.3

B.

4

C.n-4D.n-1512、對(duì)模型Yi=β1+β2X2i+β3X3i+μi進(jìn)行總體顯著性F檢驗(yàn)，檢驗(yàn)的零假設(shè)是A.β2=β3=0B.β2=0C.β3=0 D.β1=0或β2=03、在多元線性回歸中，判定系數(shù)R2隨著解釋變量數(shù)目的增加而（）

A．減少B．增加

C．不變D．變化不定4、對(duì)兩個(gè)包含的解釋變量個(gè)數(shù)不同的回歸模型進(jìn)行擬合優(yōu)度比較時(shí)，應(yīng)比較它們的：(

)

A.判定系數(shù)

B.調(diào)整后判定系數(shù)

C.標(biāo)準(zhǔn)誤差

D.估計(jì)標(biāo)準(zhǔn)誤差

525、回歸模型yi=β0+βiX1+βiX2+ui中，檢驗(yàn)H0∶β1=0時(shí)，所用的統(tǒng)計(jì)量()。A、

B、

C、

D、536、調(diào)整后的判定系數(shù)與判定系數(shù)之間的關(guān)系敘述不正確的有（

）A.均非負(fù)B.判斷多元回歸模型擬合優(yōu)度時(shí)，使用調(diào)整后的可決系數(shù)C、模型中包含的解釋變量個(gè)數(shù)越多，兩者相差越大D、只要模型中包括截距項(xiàng)在內(nèi)的參數(shù)的個(gè)數(shù)大于1，則前者小于后者54

7、用一組有30個(gè)觀測(cè)值的樣本估計(jì)模型Yi=β1+β2X2i+β3X3i+μi，并在0.05的顯著性水平下對(duì)總體顯著性作F檢驗(yàn)，則檢驗(yàn)拒絕零假設(shè)的條件是統(tǒng)計(jì)量F大于()A.F0.05(3,30)B.F0.025(3,30)C.F0.05(2,27)D.F0.025(2,27)558、設(shè)k為回歸模型中的參數(shù)個(gè)數(shù)，n為樣本容量。則對(duì)多元線性回歸方程進(jìn)行顯著性檢驗(yàn)時(shí)，所用的F統(tǒng)計(jì)量可表示為（）

B．AB.CD56

9、根據(jù)可決系數(shù)R2與F統(tǒng)計(jì)量的關(guān)系可知，當(dāng)R2=1時(shí)有（）。A.F=1B.F=－1C.F→+∞D(zhuǎn).F=0

57簡(jiǎn)單線性回歸模型與多元線性回歸模型的基本假定是相同的。（）多元回歸模型中，任何一個(gè)單獨(dú)的變量均是統(tǒng)計(jì)不顯著的，則整個(gè)模型在統(tǒng)計(jì)上是不顯著的。（）給定顯著性水平a及自由度，若計(jì)算得到的值超過(guò)臨界的t值，我們將接受零假設(shè)（）在計(jì)量經(jīng)濟(jì)模型的檢驗(yàn)中，對(duì)樣本回歸函數(shù)整體的顯著性檢驗(yàn)與對(duì)解釋變量系數(shù)的顯著性檢驗(yàn)是一致的（）5859完成以下問(wèn)題：1．寫(xiě)出需求量對(duì)消費(fèi)者平均收入、商品價(jià)格的線性回歸估計(jì)方程。2．解釋偏回歸系數(shù)的經(jīng)濟(jì)含義。3．對(duì)該模型做經(jīng)濟(jì)意義檢驗(yàn)。4．估計(jì)調(diào)整的可決系數(shù)。5．在95%的置信度下對(duì)方程整體顯著性進(jìn)行檢驗(yàn)。6．在95%的置信度下檢驗(yàn)偏回歸系數(shù)(斜率)的顯著性。60up61第四節(jié)案例分析案例：中國(guó)稅收增長(zhǎng)的分析提出問(wèn)題改革開(kāi)放以來(lái)，隨著經(jīng)濟(jì)體制改革的深化和經(jīng)濟(jì)的快速增長(zhǎng)，中國(guó)的財(cái)政收支狀況