第三章 多元線性回歸

第三章多元線性回歸模型一元線性回歸模型的推廣1

1、研究中國的GDP增長

a.影響GDP增長的因素有哪些（投資、消費、出口、貨幣供應(yīng)量等）？

b.GDP與各種因素關(guān)系的性質(zhì)是什么？（增、減）

c.各影響因素與GDP的具體的數(shù)量關(guān)系？

d.所作數(shù)量分析結(jié)果的可靠性如何？

e.今后的發(fā)展趨勢怎么樣？22、中國股票價格的波動●股票價格變動的情況怎樣（股價指數(shù)）？●影響股票價格變動的因素是什么（資金、政策、利率等）？●股價與各種因素的關(guān)系是什么（利空、利多）？●各種因素影響的具體數(shù)量規(guī)律是什么？●所得結(jié)果可不可靠？●今后的發(fā)展趨勢怎樣？33、中國家庭汽車的市場●汽車市場狀況如何（銷售量）？●影響汽車銷量的主要因素是什么（收入、價格、道路狀況等）？●各種因素對汽車銷量影響的性質(zhì)怎樣（正、負、無）？●各種因素影響汽車銷量的具體數(shù)量程度？●以上分析所得結(jié)論是否可靠●今后發(fā)展趨勢怎樣？4多元線性回歸分析：研究因變量（被解釋變量）與兩個或兩個以上自變量（解釋變量）之間的回歸問題，稱為多元回歸分析。線性回歸自變量個數(shù)大于等于2多元線性回歸5第三章多元線性回歸模型第一節(jié)多元線性回歸模型及古典假定第二節(jié)多元線性回歸模型的估計第三節(jié)多元線性回歸模型的檢驗習題第五節(jié)實例小結(jié)6多元線性模型

i=1,2,…,n

在這個模型中，Y由X2,X3,…XK所解釋，有K個未知參數(shù)β1、β2、…βK.其中，“斜率”βj的含義是其它變量不變的情況下，Xj改變一個單位對因變量所產(chǎn)生的影響，也稱為偏回歸系數(shù)。第一節(jié)多元線性回歸模型及古典假定up7二元線性回歸模型（總體）樣本回歸模型up8為什么要做基本假定●模型中有隨機擾動，估計的參數(shù)是隨機變量，只有對隨機擾動的分布作出假定，才能確定所估計參數(shù)的分布性質(zhì)●只有具備一定的假定條件，所作出的估計才具有較好的統(tǒng)計性質(zhì),也才可能進行假設(shè)檢驗和區(qū)間估計二、多元線性回歸中的基本假定9假定1：零均值假定假定2和假定3：同方差和無自相關(guān)假定

假定4：隨機擾動項與解釋變量不相關(guān)假定5:無多重共線性假定(多元中)

假定各解釋變量之間不存在線性關(guān)系，或各個解釋變量觀測值之間線性無關(guān)。假定6：正態(tài)性假定up10第二節(jié)

多元線性回歸模型的估計本節(jié)基本內(nèi)容:

●普通最小二乘法（OLS）●OLS估計式的性質(zhì)●隨機擾動項方差的估計

思考題

up11一、普通最小二乘法（OLS）最小二乘原則剩余平方和最?。?/p>

求偏導,令其為0:121314計算得到：up15二、OLS估計式的性質(zhì)

OLS估計式

1.線性特征:2.無偏特性:3.

最小方差特性結(jié)論：在古典假定下，多元線性回歸的OLS估計式是最佳線性無偏估計式（BLUE）

up16

四、隨機擾動項方差的估計

多元回歸中的無偏估計為：

T分布變換為變換：

up17練習題3.3

建立家庭書刊消費的計量經(jīng)濟模型：1819

（49.460）（0.029）（5.202）

t=(-1.011)(2.944)(10.067)R2=0.951df=1520ActualFittedResidualY

殘差

450.000

457.747-7.74749

793.200

855.947-62.7468

507.700

511.674-3.97390

660.800

663.531-2.73081

613.900

684.398-70.4977

792.700

760.439

32.2609

563.400

534.756

28.6440

580.800

554.589

26.2113

501.500

430.379

71.1215

612.700

659.900-47.1999

781.500

860.234-78.7337

890.800

876.072

14.7276

541.800

563.181-21.3808

1121.00

1118.44

2.56081

611.100

626.599-15.4994

1094.20

1059.66

34.5446

1222.10

1063.92

158.176

1253.00

1310.74-57.736321

思考簡單線性回歸模型與多元線性回歸模型的基本假定是否相同？22

已知含有截距項的三元線性回歸模型估計的殘差平方和，樣本容量為n=24，則隨機誤差項的方差估計量為()。A.33.33B.40C.38.09D.36.36

up23第三節(jié)

多元線性回歸模型的檢驗本節(jié)基本內(nèi)容:

●多元回歸的擬合優(yōu)度檢驗●回歸方程的顯著性檢驗（F檢驗）

●各回歸系數(shù)的顯著性檢驗（t檢驗）up24

對于雙變量線性模型

其中，=殘差平方和我們有第一節(jié)擬合優(yōu)度一、可決系數(shù)R225對于多元線性模型我們可用同樣的方法定義可決系數(shù)：對于多元線性模型26

殘差平方和的一個特點是，每當模型增加一個解釋變量，并用改變后的模型重新進行估計，殘差平方和的值會減小。由此可以推論，擬合優(yōu)度是一個與解釋變量的個數(shù)有關(guān)的量：

解釋變量個數(shù)增加減小R2

增大也就是說，人們總是可以通過增加模型中解釋變量的方法來增大R2

的值。因此，用R2

來作為擬合優(yōu)度的測度，不是十分令人滿意的。為此，我們定義修正可決系數(shù)（Adjusted）27

二、

修正的可決系數(shù)（adjustedcoefficientofdetermination）

在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是:將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個數(shù)對擬合優(yōu)度的影響:其中：n-k為殘差平方和的自由度，n-1為總體平方和的自由度。K為解釋變量個數(shù)。dw28自由度

自由度（degreeoffreedom，df）——當以樣本的統(tǒng)計量來估計總體的參數(shù)時，樣本中獨立或能自由變化的數(shù)據(jù)的個數(shù)稱為該統(tǒng)計量的自由度。

通俗點說，一個班上有50個人，我們知道他們語文成績平均分為80，現(xiàn)在只需要知道49個人的成績就能推斷出剩下那個人的成績。你可以隨便報出49個人的成績，但是最后一個人的你不能瞎說，因為平均分已經(jīng)固定下來了，自由度少一個了29自由度為n-3。自由度為n-1。

對于二元線性回歸模型來說30

變差來源平方和自由度歸于回歸模型歸于剩余總變差方差分析表up31

可決系數(shù)必定非負，但修正的可決系數(shù)可能為負值，這時規(guī)定

k>1時，

<

與可決系數(shù)的關(guān)系：32

地區(qū)電力消費量國內(nèi)生產(chǎn)總值水電燃料價格指數(shù)內(nèi)蒙古320.431734.31104.7廣西356.952455.36101.7重慶248.011971.3109四川660.514875.12103.4貴州366.631185.0499.3云南353.22232.32102.9陜西355.972035.96103.2甘肅339.661161.43102.6青海125.51341.11107.3寧夏178.76329.28105.2新疆214.61598.28109.6例題3.133課本例題P85變量回歸系數(shù)標準差T統(tǒng)計量P值C1941.837390.21944.9762690.0011X20.0935990.0093999.9579790.0000X3-17.150693.701046-4.6340120.0017R-squared0.946883

Meandependentvar320.0209AdjustedR-squared0.933603

S.D.dependentvar140.1201S.E.ofregression36.10549

AIC10.23777Sumsquaredresid10428.85

Schwarzcriterion10.34628Loglikelihood-53.30772

F-statistic71.30507Durbin-Watsonstat2.182607

Prob(F-statistic)0.00000834求修正的可決系數(shù)35例.設(shè)n=20,k=4,R2=0.70求解：

下面改變n的值，看一看的值如何變化。我們有若n=10，則=0.55

若n=5，則=-0.2036思考多大才算通過擬合優(yōu)度檢驗？up37

在多元回歸中有多個解釋變量，需要說明所有解釋變量聯(lián)合起來對應(yīng)變量影響的總顯著性,或整個方程總的聯(lián)合顯著性。對方程總顯著性檢驗需要在方差分析的基礎(chǔ)上進行F檢驗。38二、方程的顯著性檢驗(F檢驗)

方程的顯著性檢驗，旨在對模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否顯著成立作出推斷。

1、方程顯著性的F檢驗

即檢驗模型

Yi=1+2X2i+3X3i++kXki+ii=1,2,,n中的參數(shù)j是否顯著不為0。

可提出如下原假設(shè)與備擇假設(shè)：

H0：2==k=0H1：j不全為039

F檢驗的思想來自于總離差平方和的分解式：

TSS=ESS+RSS

如果這個比值較大，則X的聯(lián)合體對Y的解釋程度高，可認為總體存在線性關(guān)系，反之總體上可能不存在線性關(guān)系。

因此,可通過該比值的大小對總體線性關(guān)系進行推斷。40

根據(jù)數(shù)理統(tǒng)計學中的知識，在原假設(shè)H0成立的條件下，統(tǒng)計量

服從自由度為(k-1,n-k)的F分布

給定顯著性水平，可得到臨界值F(k-1,n-k)，由樣本求出統(tǒng)計量F的數(shù)值，通過

F

F(k-1,n-k)或FF(k-1,n-k)來拒絕或接受原假設(shè)H0，以判定原方程總體上的線性關(guān)系是否顯著成立。

41

F

(k-1,n-k)

F檢驗示意圖up42課本例題P86提出假設(shè)H0：2=3=0H1：2、3不全為0構(gòu)造F統(tǒng)計量432、關(guān)于擬合優(yōu)度檢驗與方程顯著性檢驗關(guān)系的討論

由可推出：與或F和R2同方向變化：當R2=0時，F(xiàn)=0

R2越大時，F(xiàn)值也就越大R2=1時，F(xiàn)為無窮大44

因此，F(xiàn)檢驗時所估計回歸的總顯著性的一個度量，也是R2的一個顯著性檢驗。也就是檢驗H0：2=3==k=0等價于R2=0回答了前面的問題：

R2多大才能通過擬合優(yōu)度檢驗up45一、偏回歸系數(shù)的顯著性檢驗檢驗假設(shè)步驟:1.原假設(shè):2.給出檢驗統(tǒng)計量;3.根據(jù)數(shù)據(jù)計算統(tǒng)計量值和根據(jù)表查理論值;4.比較理論值與實際值,做出結(jié)論

第三節(jié)顯著性檢驗一、變量的顯著性檢驗(t檢驗)

46課本例題P88變量回歸系數(shù)標準差T統(tǒng)計量P值C1941.837390.21944.9762690.0011X20.0935990.0093999.9579790.0000X3-17.150693.701046-4.6340120.0017R-squared0.946883

Meandependentvar320.0209AdjustedR-squared0.933603

S.D.dependentvar140.1201S.E.ofregression36.10549

AIC10.23777Sumsquaredresid10428.85

Schwarzcriterion10.34628Loglikelihood-53.30772

F-statistic71.30507Durbin-Watsonstat2.182607

Prob(F-statistic)0.00000847對各個回歸參數(shù)作假設(shè)檢驗提出假設(shè)H0：2=0H1：2不等于0構(gòu)造t統(tǒng)計量T=9.957979>t0.025(11-3)=2.306拒絕原假設(shè)，說明2不等于0同理3不等于048注意:在一元回歸中F檢驗與t檢驗等價,且但在多元回歸中F檢驗與t檢驗作用不同。

一方面，t檢驗與F檢驗都是對相同的原假設(shè)H0：i=0

進行檢驗;

另一方面，兩個統(tǒng)計量之間有如下關(guān)系：

49課本練習題3.1P98up50練習1、多元線性回歸分析中的

RSS反映了（

）A．應(yīng)變量觀測值總變差的大小

B．應(yīng)變量回歸估計值總變差的大小

C．應(yīng)變量觀測值與估計值之間的總變差

D．Y關(guān)于X的邊際變化三元線性回歸分析中的回歸平方和ESS的自由度是（

）

A.3

B.

4

C.n-4D.n-1512、對模型Yi=β1+β2X2i+β3X3i+μi進行總體顯著性F檢驗，檢驗的零假設(shè)是A.β2=β3=0B.β2=0C.β3=0 D.β1=0或β2=03、在多元線性回歸中，判定系數(shù)R2隨著解釋變量數(shù)目的增加而（）

A．減少B．增加

C．不變D．變化不定4、對兩個包含的解釋變量個數(shù)不同的回歸模型進行擬合優(yōu)度比較時，應(yīng)比較它們的：(

)

A.判定系數(shù)

B.調(diào)整后判定系數(shù)

C.標準誤差

D.估計標準誤差

525、回歸模型yi=β0+βiX1+βiX2+ui中，檢驗H0∶β1=0時，所用的統(tǒng)計量()。A、

B、

C、

D、536、調(diào)整后的判定系數(shù)與判定系數(shù)之間的關(guān)系敘述不正確的有（

）A.均非負B.判斷多元回歸模型擬合優(yōu)度時，使用調(diào)整后的可決系數(shù)C、模型中包含的解釋變量個數(shù)越多，兩者相差越大D、只要模型中包括截距項在內(nèi)的參數(shù)的個數(shù)大于1，則前者小于后者54

7、用一組有30個觀測值的樣本估計模型Yi=β1+β2X2i+β3X3i+μi，并在0.05的顯著性水平下對總體顯著性作F檢驗，則檢驗拒絕零假設(shè)的條件是統(tǒng)計量F大于()A.F0.05(3,30)B.F0.025(3,30)C.F0.05(2,27)D.F0.025(2,27)558、設(shè)k為回歸模型中的參數(shù)個數(shù)，n為樣本容量。則對多元線性回歸方程進行顯著性檢驗時，所用的F統(tǒng)計量可表示為（）

B．AB.CD56

9、根據(jù)可決系數(shù)R2與F統(tǒng)計量的關(guān)系可知，當R2=1時有（）。A.F=1B.F=－1C.F→+∞D(zhuǎn).F=0

57簡單線性回歸模型與多元線性回歸模型的基本假定是相同的。（）多元回歸模型中，任何一個單獨的變量均是統(tǒng)計不顯著的，則整個模型在統(tǒng)計上是不顯著的。（）給定顯著性水平a及自由度，若計算得到的值超過臨界的t值，我們將接受零假設(shè)（）在計量經(jīng)濟模型的檢驗中，對樣本回歸函數(shù)整體的顯著性檢驗與對解釋變量系數(shù)的顯著性檢驗是一致的（）5859完成以下問題：1．寫出需求量對消費者平均收入、商品價格的線性回歸估計方程。2．解釋偏回歸系數(shù)的經(jīng)濟含義。3．對該模型做經(jīng)濟意義檢驗。4．估計調(diào)整的可決系數(shù)。5．在95%的置信度下對方程整體顯著性進行檢驗。6．在95%的置信度下檢驗偏回歸系數(shù)(斜率)的顯著性。60up61第四節(jié)案例分析案例：中國稅收增長的分析提出問題改革開放以來，隨著經(jīng)濟體制改革的深化和經(jīng)濟的快速增長，中國的財政收支狀況