最小二乘法和線性回歸

第二章最小

二

乘

法(OLS

)

和

線

性回

歸

模

型1本章要點(diǎn)■最小二乘法的基本原理和計(jì)算方法■經(jīng)典線性回歸模型的基本假定■

BLUE

統(tǒng)計(jì)量

的

性

質(zhì)■t檢驗(yàn)和置信區(qū)間檢驗(yàn)的原理及步驟■多變量模型的回歸系數(shù)的F檢驗(yàn)■預(yù)測的類型及評判預(yù)測的標(biāo)準(zhǔn)■好模型具有的特征2一、有關(guān)回歸的基本介紹金融、經(jīng)濟(jì)變量之間的關(guān)系，大體上可以分為兩種

：(1)函數(shù)關(guān)系：Y=f(X?

,X

?,…,Xp

),

其中Y

的

值是由X;(i=1,2.…

p)所唯一確定的。(2)相關(guān)關(guān)系：Y=f(X?

,X?

,…,Xp),

這里Y

的值不能由X;(i=1,2.…p)精確的唯一確定。最小二

乘

法的

基本

屬

性第一節(jié)3圖2-1

貨幣供應(yīng)量和GDP散點(diǎn)圖4■

圖2-1表示的是我國貨幣供應(yīng)量M2(y)與

經(jīng)過季節(jié)調(diào)整的GDP

(x)之

間

的

關(guān)

系

(數(shù)

據(jù)

為1995年第一季度到2004

年第二季度的季度數(shù)據(jù)

)5■但有時(shí)候我們想知道當(dāng)x變化一單位時(shí)，y

平均變化多少，可以看到，

由于圖中所有的點(diǎn)都相

對的集中在圖中直線周圍，因此我們可以以這

條直線大致代表x與y之間的關(guān)系。如果我們能

夠確定這條直

線，我們

就

可以用直線的斜率來

表示當(dāng)x變化一單位時(shí)y的變化程度，

由圖中的

點(diǎn)確定線的過程就是回歸。6對于變量間的相關(guān)關(guān)系，我們可以根據(jù)大量的統(tǒng)計(jì)資料，找出它們在數(shù)量變化方面的規(guī)律(即“平

均”

的規(guī)律

),

這

種統(tǒng)

計(jì)

規(guī)

律

所

揭

示

的關(guān)系就是回歸關(guān)系

(

regressiverelationship),所表示的數(shù)學(xué)方程就是回歸方程

(regression

equation)或回歸模型(regression

model)。7根據(jù)上式，在確定a、β的情況下，給定一個(gè)x

值，我們就能夠得到一個(gè)確定的y值，然而根

據(jù)式(2

.

1)得到的y值與實(shí)際的y值存在一個(gè)

誤

差

(

即

圖2-

1

中點(diǎn)

到

直

線

的

距

離

)?！鰣D2-1中的直線可表示為y=α+βx(2.1)8■如果我

們

以u表示誤差，則方程

(2

.1

)

變

為

：y=α+βx+u

(2.2)即

：

y,=α+βx,+u,

(2.3)其中t(=1,2,3,……T)

表示觀測數(shù)。式(2.3)即為一個(gè)簡單的雙變量回歸模型(因其僅

具有兩個(gè)變量x,y)

的基本形式。9其中y?被稱作因變量

·×?被稱作自變量(dependentvariable)、(independentvariable)解釋

變

量(explanatory

variable)被解釋

變

量(explained

variable)結(jié)果變量(effectvariable)

;原因變量(causalvariable)10·α、β為參數(shù)(

parameters)

,或稱回歸系數(shù)

(regression

coefficients)

;ut

通常被稱為隨機(jī)誤差項(xiàng)(

stochasticerrorterm)

,或隨機(jī)擾動(dòng)項(xiàng)(randomdisturbanceterm),簡稱誤差項(xiàng)，■在回歸模型中它是不確定的，服從隨機(jī)分布(相應(yīng)的，

yt也是不確定的，服從隨機(jī)分布)11■為什么將ut

包含在模型中?(1)有些變量是觀測不到的或者是無法度量的，又或者影響因變量yt的因素太多；(

2

)

在yt的度量過程中會發(fā)生偏誤，這些偏誤在模型中是表示不出來的；(3)外界隨機(jī)因素對yt的影響也很難模型化，比如：恐怖事件、自然災(zāi)害、設(shè)備故障等。12■二、參數(shù)的最小二乘估計(jì)■(一)方法介紹·本章所介紹的是普通最小二乘法(

ordinaryleastsquares,簡記OLS);

最小二乘法的基本原則是：最優(yōu)擬合直線應(yīng)該

使各點(diǎn)到直線的距離的和最小，也可表述為距

離的平方和最小。假定根據(jù)這一原理得到的α、β估計(jì)值為

則莨線勇表示為

y,=á+βx,·

直線上的y?值，記為

，稱為擬合值(fitted

value

),

實(shí)際值與擬合值的差，記為…,,稱

為殘差(residual

)

,可以看作是隨機(jī)誤差項(xiàng)

u,的估計(jì)值。·

根據(jù)OLS

的基本原則，使直線與各散點(diǎn)的距離的平方和最小，實(shí)際上是使殘差平方(residual

sum

of

squares,簡記RSS

)

最小，即最小化：(

2.4

)14·根據(jù)最小化的一階條件，將式2.4分別對、求偏導(dǎo)，并令其為零，

即可求得結(jié)果如下：a

=y-βx(2.5)(2.6)15(二)

一

些

基

本

概念■1.總體(the

population)和樣本

(

the

sample)

總體是指待研究變量的所有數(shù)據(jù)集合，可以是

有限的，也可以是無限的；

而樣本是總體的一

個(gè)

子

集

。2、

總體回歸方程(the

population

regressionfunction,

簡

記PRF)

,樣

本

回

歸

方程

(

thesampleregressionfunction,

簡記SRF)

。16樣本回歸方程(

SRF

)是根據(jù)所選樣本估算的

變量之間的關(guān)系函數(shù)，方程為：=

+βx,

(2.8)注意：SRF中沒有誤差項(xiàng)，根據(jù)這一方程得到

的是總體因變量的期望值總體回

歸方程

(PRF

)

表示變量之間的真實(shí)關(guān)系，有時(shí)也

被

稱

為

數(shù)

據(jù)

生

成

過

程

(

DGP),PRF中的a、β

值是真實(shí)值，方程為：y,=α+βx,+u,(2.7)17于是方程

(2

.

7)

可

以

寫

為：y,=a+βx,+ù

(2.9)■總體y值被分解為兩部分：

模

型擬合

值和

殘

差

項(xiàng)18■3.線性關(guān)系■對線性的第一種解釋是指：y是x的線性函數(shù)，

比如，

y=a+βx。■對線性的第二種解釋是指：

y是參數(shù)的一個(gè)線性函數(shù)，它可以不是變量x的線性函數(shù)。比如，y=a+βx2

就是一個(gè)線性回歸模型，但

y=a+

√

βx則不是。在本課程中，線性回歸一詞總是對指參數(shù)β為線性的

一

種

回

歸

(

即

參

數(shù)

只

以

一

次

方

出

現(xiàn)

)

,

對解釋變量x則可以是或不是線性的。19y,=Ax,βe”;可以進(jìn)行如下變換：In

y,=1n(A)+βln(x,)+u,·

令Y,=1ny,

、α=1n(A)

、X,=In(x,),

(2.11

)

變

為

：Y,=α+βX,+u,■有些模型看起來不是線性回歸，但經(jīng)過一些基

本代數(shù)變換可以轉(zhuǎn)換成線性回歸模型。例如，(

2.10)(

2.11

)則

方

程(

2.12)可以看到，模型2.12即為一線性模型。20■4.

估計(jì)

量

(

estimator)

和估計(jì)值

(

estimate

)■估計(jì)量是指計(jì)算系數(shù)的方程；而估計(jì)值是指估

計(jì)出來的系數(shù)的數(shù)值。21■三、最小二乘估計(jì)量的性質(zhì)和分布■

(

一

)

經(jīng)典線性回歸模型的基本假設(shè)■

(1)E(u,)=0,

即殘差具有零均值；-

(2)var(u,)=σ2<~,

即殘差具有常數(shù)方差，且對于

所

有x

值是有限的；(3)cov(u;,u;)=0,

即殘差項(xiàng)之間在統(tǒng)計(jì)意義

上是相互獨(dú)立的；(4)Co

v(u,,x,)

=0,

即殘差項(xiàng)與變量x無關(guān)；(5)ut~N(0

,σ2),即殘差項(xiàng)服從正態(tài)分布22(二

)

最

小

二

乘

估

計(jì)

量

的

性

質(zhì)■

如果滿足假設(shè)(1)一(4),由最小二乘法得到的估計(jì)

量

a

、β

具

有

一

些

特

性

，

它

們

是

最

優(yōu)

線

性

無偏估計(jì)量(

Best

Linear

Unbiased

Estimators,簡

記BLUE)23估計(jì)量(

estimator):

意味著a

、β

是包含著

真實(shí)α、β值的估計(jì)量；·

線性(linear):

意味著&

、

β與隨機(jī)變量y之間是線

性函數(shù)

關(guān)系

；無偏(

unbiased)

:

意味著平均而言，實(shí)際得

到的á、β

值與其真實(shí)值是一致的；最

優(yōu)(

best):

意

味著在所有線性無偏估計(jì)量

里，

OLS估計(jì)量

B

具有最小方差。24■(三)

OL

S

估

計(jì)

量

的

方

差

、

標(biāo)

準(zhǔn)

差

和

其

概

率

分

布■1.OLS

估

計(jì)

量

的

方

差

、

標(biāo)

準(zhǔn)

差。給定假設(shè)(1)

一

(4),估計(jì)量的標(biāo)準(zhǔn)差計(jì)算方程如(2.22)是殘

差的估

計(jì)

標(biāo)

準(zhǔn)

差

。(2.21)中?其25■參數(shù)估計(jì)量的標(biāo)準(zhǔn)差具有如下的性質(zhì)：(

1)樣

本

容

量T越大，參數(shù)估計(jì)值的

標(biāo)準(zhǔn)

差

越??；(2)sE(a)和sE(β)都取決于s2

。

s2

是殘差的方差估計(jì)量。

s2越大，殘差的分布就越分散，這樣

模型的不確定性也就越大。如果s2

很大，這意

味著估計(jì)直線不能很好地?cái)M合散點(diǎn)；26(3)參數(shù)估計(jì)值的方差與Z(x,-x)2成反比。其值越小，散點(diǎn)越集中，這樣就越難準(zhǔn)確地估計(jì)擬合直線；相反，如果Z(x,-x)

越

大，散點(diǎn)

越分散，這樣就可以容易地估計(jì)出擬合直線，并

且

可

信

度

也

大

得多

。比較圖2—2就可以清楚地看到這點(diǎn)。27圖2—2直線擬合和散點(diǎn)集中度的關(guān)系28(4

)Zx?

項(xiàng)只影響截距的標(biāo)準(zhǔn)差，不影響斜率

的標(biāo)準(zhǔn)差。理由是：Zx;

衡量的是散點(diǎn)與y軸的距離。Zx?

越大，散點(diǎn)離y軸越遠(yuǎn)，就越難準(zhǔn)確

地估計(jì)出擬合直線與y軸的交點(diǎn)(即截距);反之，則相反。29■2.OLS

估計(jì)量

的概率分布■給定假設(shè)條件(5),即u,～N(o,σ2),

則

Y,也服

從正態(tài)分布系數(shù)估計(jì)

量也是

服

從

正

態(tài)

分

布的

：a～N(a,var(a))(2.30)β~N(β,var(β))

(2.31)30■需要注意的是：如果殘差不服從正態(tài)分

布，即假

設(shè)(

5

)

不

成

立，

但只

要CLRM的其他假

設(shè)

條件

還成立，且樣

本

容

量足

夠

大，

則通常認(rèn)為系數(shù)

估計(jì)

量

還是

服

從

正

態(tài)

分

布的

?！銎錁?biāo)準(zhǔn)正態(tài)分布為

：(2.32)(2.33)31■但是，總體回歸方程中的系數(shù)的真實(shí)標(biāo)準(zhǔn)差是得不到的，只能得到樣本的系數(shù)標(biāo)準(zhǔn)差(sE(a)

、sE(B))

。

用樣本的標(biāo)準(zhǔn)差去替代總體標(biāo)準(zhǔn)差會

產(chǎn)生

不

確定

性，并且

將不再服從正

態(tài)

分

布，而服從自由

度為T-2

的t分布

，其

中T為樣本

容量即

：Xtr-2

(2.34)(2.35)32圖2-3正態(tài)分布和t分布形狀比較3.

正態(tài)分布和t

分布

的關(guān)

系33從圖形上來看，t分布的尾比較厚，均值處的最大值小于正態(tài)分布。隨著t分布自由度的增大，其對應(yīng)臨界值顯著減小，當(dāng)自由度趨向于無窮時(shí)，

t分布就服從

標(biāo)

準(zhǔn)

正

態(tài)

分

布了

。所以正態(tài)分布可以看作是t分布的一個(gè)特例。34第

二

節(jié)

一元

線性回歸模

型的

統(tǒng)

計(jì)

檢

驗(yàn)

、擬合優(yōu)度(goodnessoffitstatistics)檢驗(yàn)擬合優(yōu)度可用R2表示：模型所要解釋的是y相對于其均值的波動(dòng)性，

即

>(y,-y)

(總平方和，

the

total

sum

of

squares,簡記TSS

),這一平方和可以分成兩部分：35Z(y,-y)2=Z(s,-y)2+Z(2.36)ZG-y3

是

被

模

型

所

解

釋的

部

分，

稱

為回

歸

平

方和

(the

explained

sum

of

squares,

簡

記ESS);是

不

能

被

模

型

所

解

釋的

殘

差

平

方

和

(

RSS),即Ea?

Z(y,-y,)236S的關(guān)系以下圖來表示更加直y=a+βx(y?-g)(y-y)x-y)O

X圖

2—4

TSS、ESS、RSS的關(guān)系TSS

、ESS

、RS

觀

一

些

：yy37RR2越大

，說

明

回歸

線

擬

合程度越好

；

R2越

小

，

說明回歸線

擬

合程

度

越

差

。

由

上

可

知

，

通

過

考

察R2

的大小

，

我們就能粗

略地看

出

回

歸線

的優(yōu)

劣。TSS因

為TSS=ESS+RSS·

擬

合

優(yōu)

度

2ESS(2.37)(2.38)所

以38■但是，

R2

作為擬合優(yōu)度的一個(gè)衡量標(biāo)準(zhǔn)也存在一些

問

題

：(1)如果模型被重新組合，

被解釋變量發(fā)生了

變化，那么R2也將隨之改變，

因此具有不同被解釋變

量的模型之間是無

法

來比較R2

的大小的。39(2)增加了一個(gè)解釋變量

以后

，

R

2只

會

增

大而不會減小，除非增加的那個(gè)解釋變量之前的

系數(shù)為零，但在通常情況下該系數(shù)是不為零的，

因此只要增加解釋

變

量，R

2就會不斷的增大，

這樣我們就無法判斷出這些解釋變量是否應(yīng)該

包含

在

模型中。(3)R2的值經(jīng)

常

會

很

高，

達(dá)到

0

.

9

或

更

高，

所

以我們無法判斷模型之間到底孰優(yōu)孰劣。40■為了解決上面第二個(gè)問題，我們通常用調(diào)整過的R2來代替未調(diào)整過的R2

。對R2進(jìn)行調(diào)整主要

是考慮到在引進(jìn)一個(gè)解釋變量時(shí)，會失去相應(yīng)的自由度。調(diào)整過的R2用

R2來表示，公式為：T

二

|—

1-(2.40)其中T

為

樣

本

容

量，

K為

自變

量

個(gè)

數(shù)D|1…1二)41二、

假設(shè)檢驗(yàn)■假設(shè)檢驗(yàn)的基本任務(wù)是

根

據(jù)

樣

本

所

提

供的

信息

，

對未知總體分布某些方面的假設(shè)做出合理解釋■假設(shè)檢

驗(yàn)的程

序是，先

根

據(jù)

實(shí)際問題的

要

求

提

出一個(gè)論斷，稱為零假設(shè)(

null

hypothesis)或原假設(shè)，記為Ho(一般并列的有一個(gè)備擇假設(shè)

(

alternative

hypothesis)

,記

為H?)■然后根據(jù)樣本的有關(guān)信息，對H?的真?zhèn)芜M(jìn)行判斷，做出拒絕H?或不能拒絕H?的決策。42■假設(shè)檢

驗(yàn)的基

本思想是

概

率

性

質(zhì)的反

證

法

?！龈怕市再|(zhì)的反證法的根據(jù)是小概率事件原理。該

原理認(rèn)為“小概率事件在一次實(shí)驗(yàn)中幾乎是不可

能發(fā)生的”。在原假設(shè)H?下構(gòu)造一個(gè)事件(即檢驗(yàn)統(tǒng)計(jì)量),這個(gè)事件在“原假設(shè)H?

是正確的”的條件下是一個(gè)小概率事件，如果該事件發(fā)

生了，說明“原假設(shè)H?

是正確的”是錯(cuò)誤的，因?yàn)椴粦?yīng)該出現(xiàn)的小概率事件出現(xiàn)了，應(yīng)該拒絕

原假設(shè)H?。43■假設(shè)檢驗(yàn)有

兩

種

方

法：■置信

區(qū)

間

檢

驗(yàn)

法

(confidenceinterval

approach)

和顯著性檢驗(yàn)法(

test

of

significanceapproach)?！?/p>

顯

著

性檢

驗(yàn)

法

中最

常

用

的

是t檢

驗(yàn)

和F

檢

驗(yàn)

，

前

者是對單個(gè)變量系數(shù)的顯著性檢驗(yàn)，后者是對

多個(gè)變量系數(shù)的聯(lián)合顯著性檢驗(yàn)。44(

一

)

t

檢

驗(yàn)■下面我們具體介紹對方程

(2.3

)

的系數(shù)

進(jìn)

行t檢驗(yàn)的主要步驟。(

1

)

用OLS方法回歸方程

(2.3),得到

β的估計(jì)值β及其標(biāo)準(zhǔn)差

sE(β)(

2)假定我們建立的零假設(shè)是：H

。:β=β*,備則假設(shè)是

H?:β≠β*

(這是一個(gè)雙側(cè)檢驗(yàn))。45(3)選擇

一

個(gè)

顯

著

性

水

平

(

通

常

是

5

%

)

,

我

們就可

以在t分布

中確定拒絕區(qū)域和非拒絕區(qū)域，如

圖2-5。如果選擇顯著性水平為5%,

則

表

明

有5%

的分布將落在拒絕區(qū)域服從

自

由度

為T-2

的t分布。則我們建立的統(tǒng)計(jì)量46圖2-5雙側(cè)檢驗(yàn)拒絕區(qū)域和非拒絕區(qū)域分布95%非拒絕區(qū)域2.5%拒絕區(qū)域2.5%拒絕區(qū)域f(x)47(4)選定顯著性水平后，我們就可

以根據(jù)t

分布表求得自由度為T-2的臨界值，當(dāng)檢驗(yàn)統(tǒng)計(jì)值的絕對

值大

于臨界

值時(shí)，它就

落

在

拒

絕區(qū)

域

，因此我們拒絕的原假設(shè)，而接受備則假設(shè)。反之則

相

反

?？?/p>

以

看

到，t檢驗(yàn)的基本原理是如果參數(shù)的假設(shè)

值與估計(jì)值差別很大，

就會導(dǎo)致小概率事件的

發(fā)生，從而導(dǎo)致我們拒絕參數(shù)的假設(shè)值。48(二)置信區(qū)間法·仍以方程2.3的系數(shù)β為例，置信區(qū)間法的基本

思想是建立圍繞估計(jì)值

的

一定的限制范圍，

推斷總體參數(shù)β是否在一定的置信度下落在此

區(qū)間范圍內(nèi)。置信區(qū)間檢驗(yàn)的主要步驟(所建立的零假設(shè)同t

檢

驗(yàn)

)49(

1

)

用OL

S法

回歸方程

(

2

.

3

)

,

得

到

β

的

估計(jì)值β及其標(biāo)準(zhǔn)差sE(β)。(2

)選

擇

一

個(gè)

顯

著

性

水

平

(

通

常

為

5

%

)

,

這

相當(dāng)于選擇95%的置信度。查t分布表，獲得自

由度為T-2的臨界值tcrit

。(3)所建立的置信區(qū)間為(β-tcmSE(B),β+ton

SE(B))

(2.41)50(4)如果零假設(shè)值β"落在置信區(qū)間外，我們就拒絕H

。:β=

β

的原假設(shè)；反之，則不能拒絕?！鲂枰⒁獾氖牵眯艆^(qū)間檢驗(yàn)都是雙側(cè)檢驗(yàn)，盡管在理論上建立單側(cè)檢驗(yàn)也是可行的。51(三

)t檢驗(yàn)與置信區(qū)間檢驗(yàn)

的關(guān)系■在顯著

性

檢

驗(yàn)

法

下，當(dāng)

tsta的絕對值小于臨界值時(shí)，

即

：-tcrit

≤

(2.42)時(shí)，我們不能

拒

絕

原

假

設(shè)

。對

式

(2.41)變形，我們可

以得到：·β-teritSE(β)≤β≤β+teisE(β)(2.43)可

以看到

，

式

(2.43)恰好是置信

區(qū)

間法

的置信區(qū)間式

(

2

.4

1

)

,

因

此

，

實(shí)

際

上t檢驗(yàn)

法

與置

信

區(qū)間法提

供的結(jié)果是

完

全

一

樣的。

52(四)第一類錯(cuò)誤和第二類錯(cuò)誤·如果有一個(gè)零假設(shè)在5%的顯著性水平下被拒絕了，有可能這個(gè)拒絕是不正確的，這種錯(cuò)誤被稱為第一類

錯(cuò)誤，它發(fā)生的概率為5%?！隽硗庖环N情況是，我們得到95

%的一個(gè)置信區(qū)

間，落在這個(gè)區(qū)間的零假設(shè)我們都不能拒絕，當(dāng)我們

接受

一

個(gè)

零

假

設(shè)的時(shí)候

也

可

能

犯

錯(cuò)

誤

，因?yàn)榛貧w系數(shù)的真實(shí)值可能是該區(qū)間內(nèi)的另外一個(gè)值，這一錯(cuò)誤被稱為第二類錯(cuò)誤。在選擇顯著性水平時(shí)人們面臨抉擇：

降低犯第一類錯(cuò)誤的概率就會增加犯第二類錯(cuò)誤的概率。53(

五

)

P值■P

值是計(jì)量經(jīng)濟(jì)結(jié)果對應(yīng)的精確的顯著性水平?！鯬

值度量的是犯第一類錯(cuò)誤的概率，

即拒絕正確

的零假設(shè)

的

概

率

。

P

值

越

大

，

錯(cuò)

誤

地

拒

絕

零假設(shè)的可能性就越大；

p值越小，拒絕零假設(shè)時(shí)就越放心

。現(xiàn)

在

許

多

統(tǒng)

計(jì)

軟

件

都

能

計(jì)

算

各

種

統(tǒng)計(jì)量的p值，如Eviews、Stata等。54第

三

節(jié)

多

變

量

線

性

回

歸

模

型

的

統(tǒng)

計(jì)

檢

驗(yàn)一

、多變量模型的簡單介紹■

考

察

下

面

這

個(gè)

方

程

：y,=β?+β?x?,+β?xx+……+βx+u,t=1,2,3…T(2.44)對y產(chǎn)生影響的解釋變量共有k-1(xzt,Xat…,xμ)

個(gè)，

系數(shù)(β?

β?.…βk)分別衡量了解釋變量對因變量y的邊際影響的程度。55這里：

y是T×1矩陣，×是T×k

矩陣，β是k

×1矩

陣

，u

是

T×1矩陣方程

(2.44)

的

矩

陣

形

式

為y=Xβ+u(

2.46)56RSS=ú=[

2

=L

+2+K+2=Z2

(2.48)■在多變量回歸

中殘差

向量為：殘差平方和為

：(2.47)57(2.50)var(β)=s2(xX)-1(2.51)同樣我們可以得到多變量回歸模型殘差的樣本方差可

以得到多變量

歸系數(shù)

的估計(jì)表達(dá)式參

數(shù)

的

協(xié)

方

差

矩

陣(2.49)58

、擬合優(yōu)

度

檢

驗(yàn)■在多變量模型中

，我們想知道解釋變量一起

對因變量y變動(dòng)的解釋程度。我們將度量這個(gè)

信息的量稱為多元判定系數(shù)R2。■在多變量模型中，下面這個(gè)等式也成立：TSS=ESS+RSS(2.52)其

中，TS

S

為總離

差平

方

和；ESS為

回

歸平

方和

；

RSS

為殘差平方和。59■即，R2

是回歸平方和與總離差平方和的比值；

與雙變量模型唯一不同的是，ESS

值與多個(gè)解

釋

變

量

有

關(guān)

。R2的值在0與1之間，越接近于1,說明估計(jì)的回歸

直

線

擬

合

得

越

好

?！雠c雙變量模型類似，定義如下：(

2.53)60可

以證

明：ESS=BZy,x?+β2yxx+…+R2

(2.54)因

此，(2.55)12

YV,61三

、

假

設(shè)

檢

驗(yàn)=(

一

)

、t

檢

驗(yàn)■在多元回歸模

型

中

，t

統(tǒng)計(jì)量為：均服從

自

由度為

(n-k)的t分布。下面

的檢驗(yàn)過程跟

雙

變

量

線

性回歸模型的檢驗(yàn)過

程一

樣

。=2前(2.56)62(

二

)

、F檢

驗(yàn)■

F

檢驗(yàn)的第一個(gè)用途是對所有的回歸系數(shù)全為0的零假設(shè)的檢驗(yàn)。第二個(gè)用途是用來檢驗(yàn)有關(guān)

部分回歸系數(shù)的聯(lián)合檢驗(yàn)，就方法而言，兩種

用途是完全沒有差別的，下面我們將以第二個(gè)

用途為例，對F檢驗(yàn)進(jìn)行介紹。63■為了解聯(lián)合檢驗(yàn)是如何進(jìn)行

的

，考慮如

下

多元回歸模

型：y=β+β?x?++B?x+u

(

2.57)這個(gè)模型稱為無約束回歸模型(

unrestricted

regression)

,因?yàn)殛P(guān)于回歸系數(shù)沒有任何限

制

。64■假設(shè)我們想檢驗(yàn)其中q

個(gè)回歸系數(shù)是否同時(shí)為零，

為此改寫公式(

2.57),將所有變量分為兩組，

第一組包含k-q個(gè)變量(包括常項(xiàng)),第二組包含q

個(gè)變量：y=R+Bx?+…+RA-+RN+

…+Bx+u(2.58)65■如果假定所有后q個(gè)系數(shù)都為零，即建立零假

設(shè)：B…=0,

則修正的模型將變?yōu)橛屑s束回歸模型(

restrictedregression)(零系數(shù)條件

)

:y=β+B?x?+

…+

十u

(2.59)66·關(guān)于上述零假設(shè)的檢驗(yàn)很簡單。若從模型中去

掉這q個(gè)變量，對有約束回歸方程(2.59)進(jìn)

行估計(jì)的話，得到的誤差平方和RSS。肯定會比

相應(yīng)的無約束回歸方程的誤差平方和

RSSg

大。

如果零假設(shè)正確，去掉這q個(gè)變量對方程的解

釋能力影響不大。當(dāng)然，零假設(shè)的檢驗(yàn)依賴于

限制條件的數(shù)目，即被設(shè)定為零的系數(shù)個(gè)數(shù)，以及無約束回歸模型的自由度。67在這里

，

分子是誤差平方和的增加與零假設(shè)所隱含的參數(shù)限制條件的個(gè)數(shù)之比

；分母是模型

的誤差平方和與無條件模型的自由度之比

。

如

果

零

假

設(shè)

為

真，

式

(2.60)中的統(tǒng)

計(jì)

量

將

服

從

分

子自由

度

為q,分

母自由

度

為N-K

的

F

分

布

?！?/p>

檢

驗(yàn)

的

統(tǒng)

計(jì)

量

為

：(2.60)68■

對回歸系數(shù)的子集的F檢驗(yàn)與對整個(gè)回歸方程的F

檢驗(yàn)做法一

樣

。

選

定

顯

著

性

水

平

，

比

如

1%或5%,然后將檢驗(yàn)統(tǒng)計(jì)量的值與F分布的臨界

值進(jìn)行比較。如果統(tǒng)計(jì)量的值大于臨界值，我

們拒絕零假設(shè)

，

認(rèn)

為

這

組

變

量

在

統(tǒng)

計(jì)

上

是

顯

著

的

。一般

的原

則

是

，

必

須對

兩

個(gè)

方

程

分

別

進(jìn)

行

估計(jì)

，

以

便

正

確

地

運(yùn)

用

這

種F

檢

驗(yàn)

。69■兩個(gè)統(tǒng)計(jì)量具有相同的因變量，因此TSS=TSS將上面的兩個(gè)方程代入(2.60)

,檢驗(yàn)

的統(tǒng)計(jì)量可以寫成

：

(2.62)F檢

驗(yàn)

與R2

有密

切

的

聯(lián)

系。,則(2.61)70第四節(jié)

預(yù)

測

預(yù)測的

概

念

和

類型(

一)預(yù)測的概念金融計(jì)量學(xué)

中

，

所

謂

預(yù)

測

就

是

根據(jù)

金

融

經(jīng)

濟(jì)變量的過去和現(xiàn)在的發(fā)展規(guī)律，借助計(jì)量模型

對其未來的發(fā)展趨勢和狀況進(jìn)行描述、分析，

形成科學(xué)的假設(shè)和判斷。71(

二

)

預(yù)

測

原

理■條件期望(conditionalexpectations)

,在t期Y的t+1期的條件期望值記作E(Yt+|I),它表示的是在所有已知的t期的信息的條件下，

Y

在t+1

期的期望值

。假定在t期，我們要對因變量Y的下

一

期(即t+1期)值進(jìn)行預(yù)測，則記作f,1。72在t期

對Y的下

一

期的所有預(yù)測值中，Y

的條件期望值是最優(yōu)的(即具有最小方差),

因此

，

我們

有：fi.i=E(Yt+1|I)

(

2.65

)73(三)

預(yù)

測

的

類

型：(1)無條件預(yù)測和有條件預(yù)測■所謂無條

件

預(yù)

測，是指

預(yù)

測

模型中所有的解

釋變量的值都是已知的，在此條件下所進(jìn)行的預(yù)

測。·所謂有條件預(yù)測，是指預(yù)測模型中某些解釋變

量的值是未知的，

因此想要對被解釋變量進(jìn)行

預(yù)測，必須首先預(yù)測解釋變量的值。74(2

)

樣

本內(nèi)(in-sample)預(yù)測和樣本外(out-of-sample)

預(yù)

測■所謂樣本內(nèi)預(yù)測是指用全部觀測值來估計(jì)模型，然后用估計(jì)得到的模型對其中的一部分觀測值進(jìn)

行

預(yù)

測

。樣本外預(yù)測是指將全部觀測值分為兩部分，

部分用來估計(jì)模型，

然后用估計(jì)得到的模型對另一部分?jǐn)?shù)據(jù)進(jìn)行預(yù)測。75(3

)事前預(yù)測和事后模擬■顧名思義，事

后

模

擬

就是

我

們已經(jīng)

獲

得

要

預(yù)

測的值的實(shí)際值，進(jìn)行預(yù)測是為了評價(jià)預(yù)測模型

的好

壞

。事前預(yù)測是我們在不知道因變量真實(shí)值的情況下對其的預(yù)測。76(4

)

一

步

向前(one-step-ahead)

預(yù)測和多步向

前(

multi-step-ahead

)

預(yù)

測所謂一步向前預(yù)測，

是指僅對下一期的變量值進(jìn)行預(yù)測，例如在t期對t+1

期的值進(jìn)行預(yù)測，在t+1期對t+2期的值進(jìn)行的預(yù)測等。多步向前預(yù)測則不僅是對下一期的值進(jìn)行預(yù)測，也對更下期值進(jìn)行預(yù)測，例如在t期對t+1

期、t+2期、

..t+

r

期的

值

進(jìn)行

預(yù)

測

。77■

變

量

的MSE

定義

為：(2.66)其

中y,—Y

,

的預(yù)測值，y,

—實(shí)際值，T一時(shí)段

數(shù)二

、

預(yù)測

的

評

價(jià)

標(biāo)

準(zhǔn)1、

平均預(yù)

測

誤

差

平

方

和

(mean

squarederror,

簡記MSE)平

均

預(yù)

測

誤

差

絕

對

值(meanabsoluteerror,簡記MAE)。78變

量

的MAE定

義

如

下：

變量

的定

義

同

前可以看到

，

MSE和MAE度量的是誤差的絕對大小，只能通過與該變量平均

值的比較來判斷誤

差的大小，

誤差越大，說

明模型的預(yù)測效果越

不理

想

。79注

意

，U的分

子

就

是MSE的平方根，而分母使得U總在0與1之間。如果U=0,

則對

所

有

的t,y,=y“完全擬合；如果U=1,

則模型的預(yù)測能力最差。因此

，Theil不等系數(shù)度量的是誤差的相對大小。不相

等

系

數(shù)為

：

(2.68)■2、Theil■其定

義80·Theil

不等系數(shù)可以分解

成

如下

有

用的形式

：72y;-y;P=(y^-y)2+(c-c)2+2(1-p)cC(2.69)其中y",y“,σ

、,σ。分

別

是

序

列y,

和

y

“的平均值和標(biāo)準(zhǔn)差，p