概率論-回歸分析原理

第

三

章

回

歸

分

析

原

理3·1、一元線性回歸數(shù)學(xué)模型這里所

的一元線性回歸數(shù)學(xué)模型，是數(shù)學(xué)模型的最簡單形式。當(dāng)然要注意的

是，這里模型

是在真正回歸意義上來進(jìn)行的，也可稱之為概率意義上的線性模

型。在非確定性意義上，或概率意義上討論問題，首先要注意一個最基本的概念或思路問題，這就是總體和樣本的概念。

概率論和數(shù)理統(tǒng)計的基本思想和目的，就是希望通過樣本所反映出來的信息來揭示總體的規(guī)律性，這種想法或思路顯然存在重大的問題。但另一方面，也必須承認(rèn)，為了尋找總體的規(guī)律或客觀規(guī)律，只能通過樣本來進(jìn)行，因為只可能得到樣本。

在真正回歸意義上建立其有效方法時，必須作出相應(yīng)的假設(shè)條件。等價于基本假設(shè)條件：（1）假設(shè)概率函數(shù)P(Yi

|

Xi

)或隨 量

Yi

的分布對于

Xi

所有值，具有相同的方差

2

，

且

2

是一個常數(shù)，亦即i

iVar(Y

)

=Var(

)

=2。（2）假設(shè)Yi

的期望值E(Yi)位于同一條直線上，即其回歸直線為EY()

i

=

XiE(i

)

0上面這個假設(shè)是

假設(shè)，它實際上表明之間是確定性的關(guān)系。E(Yi)與Xi（3）假設(shè)隨

量

Yi

是完全獨立的，亦即i

jCov(Yi

,Yj

)

Cov對3·2、隨機(jī)項或誤差項的含義一元線性回歸模型的一般形式為Yi

xi

ii是一隨機(jī)項或誤差項，它的存在表明i

iX

Y的影響是隨機(jī)的，非確定性的。那么，i究竟包含了什么意義或內(nèi)容呢？概括地說來主要有：模型中被忽視了的影響因素；變量的測量誤差，這種誤差主要來自統(tǒng)計數(shù)據(jù)本身的誤差；隨機(jī)誤差。社會經(jīng)濟(jì)現(xiàn)象中涉及到人的因素和行為，還有歷史的、文化的等因素，這些因素一般來說是難以量化的、多變的；模型的數(shù)量關(guān)系誤差。即數(shù)學(xué)形式所帶來的誤差。一般來說，所有的經(jīng)濟(jì)數(shù)學(xué)模型的誤差也就是這4個方面，或者說是存在的主要問題，對此

須要有清醒和深入的認(rèn)識。3·3、一元線性回歸模型的參數(shù)估計必須理解和認(rèn)識總體回歸模型和樣本回歸模型的區(qū)別和關(guān)系，假設(shè)總體真正的回歸直線是E(Yi

)

xi它是由總體回歸模型Yi

xi

i顯然，上面的模型是

、理論上的，實際上是找不到的，它們實際上就是所謂客觀規(guī)律。而樣本的回歸直線為Y?

?

?Xi

i它是來自于樣本的回歸模型Yi

?

?Xi

ei注意總體和樣本模型的區(qū)別和聯(lián)系，無限和有限，相同和不同等。下面

同樣根據(jù)最小二乘準(zhǔn)則，建立真正回歸意義上的最小二乘法：對樣本模型Yi

?

?X

i

ei假設(shè)其估計的回歸模型為iiY?

?

?XIi?

Y

?

?X

i因此，其殘差則為ei

Yi

Y所以，其殘差平方和為22??ii

i

X

)Q

e

(Y根據(jù)前面的結(jié)果，有其中?

xi

yixi

Xi

X

,

yi

Yi

Y

xi?

Y

?X到此樣本回歸模型的參數(shù)就估計出來了。對于這個結(jié)果需要注意的是，這里的?

，?

都是的函數(shù)，而是隨 量，因此，從理論上說，隨量，而不是一個或幾個固定的值，是一個概率分布。3．4、估計值的性質(zhì)是觀測值22

i

ixx

xi

(Yi

Y

)

xiYi

Y

xi

x

2

i證明：

?

xi

yii而

x

0

ix2

?

xiYi

wiYi

其中wi

xi

x

2

i同理可證：?

=

kiYini

i其中

k

1

w

Xi所以，?

，

?

是Y

線性函數(shù)（1）估計值的線性性質(zhì)所謂線性性是指估計值

?的線性函數(shù)。，?（2）估計值的無偏性。所謂無偏性是指估計值?

，?

的期望值等于總體回歸模型參數(shù)

，

的值。亦即E(?)

，

。證明：E(?)

i

)

E(

wi

wi

X

i

wi

iE(?)

E(wiYi

)

Ewi

(

X

i通過計算可知wi

0,

wi

Xi

1

E(?)

E(

wi

i

)

E(wi

)E(i

)其中E

(

i

)

0,(i

1,2,3.,n)所以有E

(?)

同理可證E

(?)

（3）有效性（或稱?

，

?

具有最小方差性）。所謂有效性主要是指最小二乘估計?

，

?

在所有線性無偏估計中，其方差是最小的。證明的基本思路是：Var

(~)Var

(?)

，Var

(~)Var(?)證明（略）。上面三個性質(zhì)是最小二乘估計的主要性質(zhì)，理論上說已達(dá)到最好的結(jié)果了。因此，滿足這三條的估計也稱作最優(yōu)線性無偏估計。用。這里再一次

，參數(shù)估計之所以要進(jìn)假設(shè)計算出

的方差，

就可得到行檢驗，是因為這里?的?

，?

，

?3·5、最小二乘估計?

，?

的顯著性檢驗與置信區(qū)間所謂顯著性檢驗實際上就是對檢驗估計值與總體參數(shù)值差別大小的方法。也就是數(shù)理統(tǒng)計中的“假設(shè)檢驗”的方法一種實際應(yīng)服從正態(tài)分布，又因?

，?

是的線是隨

量Yi。性函數(shù)，Y所i

以，也是服從正態(tài)分布的。只要22

2

)

iixn

X?

～

N

(

,)

ix

2

2?

～

N

(

,在上面的分布函數(shù)中，除了

，

不可能知道外，

須解決未知數(shù)

2估計值，才可能繼續(xù)進(jìn)行顯著性檢驗。1、建立隨設(shè)：

yi

Yi

Y

Y?

Y

,

x

X

Xi

i

iy?i所以ei

Yi

Y?

yi

y?i而（1）Yi

X

i

i

,

Y

X

yi

xi

(i

)又（2）?

Y

?X代入iiY???

X采用一定的辦法是可以解決

2

估計值的，下面給出其推理過程，并證明其估計值?

2是一個無偏估計。量方差

2的估計值ii則有Y?YXX?()iiiey

(?

)(x)ii

y?x

?由此

就有y?i因此，進(jìn)一步則有?22()2(iiii)()

x

xe

2

i

(?

)下面分別計算上式右邊每一項的期望值：2222?x

i

(

xi

)

var(

)

E(

)2?

?

xi

2其中

var(

)

2221

i

i

in

(E

(

)

E2

)

(n

1)

i

i

ix

x2i2

?(

i

xi

)

2(

ixi

xi

)

E

i

xiE

(

)x

(

)

E2

2

ix

x

2

i

2?

ii

i

ii

i

i

i

ix

2x

2

x2

i

xY

x

(

X

)

x

（注意其中

2

ix

?

xi

i

）最終得到E(e2

i

)

2

(n

1)

2

2

2

(n

2)

2如果

定義2n

2ei?

2

，那么?

2就是

2

的無偏估計，亦即有2n

2eE(?

2

)

E(

i)

2

。但是

還不能證明?

2

是最小方差估計，這是十分遺憾的。的顯著性檢驗2、

最小二乘估計值

?

，?顯著性檢驗實際上是檢驗?，?與

，之間的差距和可靠性。具體的檢驗方法就是“假設(shè)檢驗”的方法。一般假設(shè)檢驗中用來進(jìn)行檢驗的統(tǒng)計量（實際上就是一種隨

量）主要有二個，即Z統(tǒng)計量和T統(tǒng)計量。（1）應(yīng)用Z統(tǒng)計量的條件是：已知

2而無論樣本的大小，或者未知

2

但樣本足夠的大（n至少大于30）。22)inx

X

i2已知

?

～

N

(,?2

ix

2

～

N

(,)22iinx

2

X則

有Z

?

～N（0

，1）2I

Xz

2?~

N（0

，1）當(dāng)然如果未知

2

，但樣本數(shù)大于

30，則在上式中用?

2替代即可。2）應(yīng)用T

統(tǒng)計量的條件：當(dāng)方差

2未知，且樣本小于30

時。2

)

inx

2

X

i2已知

?

～

N

(,?)2

ix

2

～

N

(

,則22

iinx有T

2

X??

?

?

～

t（n-k）=2I

XT

2=?

?

?

～t（n-k）這里的n是樣本的個數(shù)，k是模型中變量的個數(shù)，n-k是度。要依據(jù)，具體值才能判斷或檢驗，是否是可接受的或誤差不大。只能用假設(shè)、或者具體地說是用理論假而已， 不可能知道， 的具體值，但

又說的數(shù)量結(jié)論來替代，

的具體值，也就是“假設(shè)檢驗”方法中作出“零假設(shè)”的主要依據(jù)；

這樣 就可看到，所謂“假設(shè)檢驗”中原來希望檢?

驗?

，與

，

之間差異的想法或思路，已經(jīng)轉(zhuǎn)變?yōu)闄z驗，是否與理論假說或其他

判斷和經(jīng)驗相符。

在“假設(shè)檢驗”的實際應(yīng)用中，一個十分重要的問題是如何確定總體意義上的

， 的值。知道“總體”概念說到底只是一個設(shè)想，一個信念3、總體參數(shù)

，

置信區(qū)間的估計為了確定?

，?

是怎樣接近真實總體的參數(shù)

，

，

期望構(gòu)造一個區(qū)間來具體加以說明，亦即建立一個圍繞估計值?，?

的一定限制范圍，來推斷總體參數(shù)

，

在一定置信度下落在此區(qū)間。所謂置信（或稱置信水平）度實際上與顯著性水平的意義類似，只是數(shù)量的大小相反而已。例如，對于

?

的T

統(tǒng)計量，有2I

XT

2?

??

=

～t（n-k）先確定其置信度如

95%和

找出臨界值

t0025

的值。則度（n-k），然后通過

t分布表有p(

t0025T?

t0025

)

0

95即p(?

t0025?

?

?

t0025?

?

)

0

95所以，

置信度是

95%的置信區(qū)間為(?

t0025?

?

,

?

t0025?

?

)3·6、問題的分析

0

值Y?根據(jù)最小二乘法

從樣本模型Yi

?

?X

i

ei找到了它的回歸直線iiY?

?

?X已對?，?

作了檢驗并通過后，應(yīng)該可以根據(jù)上式來進(jìn)行了，亦即對于X

0Y?，可得到

0

，亦即00Y?

?

?X要具體Y?0

性質(zhì)，實際上主要是分析它的誤差性質(zhì)，成是總體0二是把Y?

看成0（1）如果把Y?

看成是總體回則Y?

有什么樣的性質(zhì)呢?？梢宰C明0的無偏估計?，F(xiàn)證明如下：?()?

()?(

?0

0()?XE0

)EXEYE0

然后，：var(Y?

)

var(Y?

E(Y

))

var(?

?X

)0

0

0

0

var(?)

X

0

var(?)

2

X

0

cov(?,

?)2

0

)

x

2

i1

(

X

X

)2n

2

(從Y?

方差的計算結(jié)果可看出，如果

X

離樣本0

00觀測值

X

的距離越大，則Y?

的方差也就越大。這實際上說明回歸的基本思想實際上是歸納的思路，亦即

的

X

0

不能脫離樣本或經(jīng)驗的范圍太遠(yuǎn)，否則模型的

值的方差將增大，

將將變得更加不可靠。同時這個結(jié)果也把回歸模型稱之為“內(nèi)插檢驗”亦即這時的X

0的類型分為兩類，第一類

必須在樣本所限定的區(qū)間內(nèi)，言外之意是對經(jīng)驗之內(nèi)的情況，回歸模型的靠的。第二類稱之為“外推

”，這時的X

0效果是比較可是在樣本區(qū)間的外面，這時的

值的誤差方差顯然是較大的，亦即“外推

”是十分不可靠的。?（2）如果把Y看作真正總體0

0Y

或Y0

X

0

0

的估計值，其性質(zhì)和結(jié)果又會什么變化呢？下面

來具體看看這種情況下Y?

的期望值和方差：0對于給定的X

0

，有Y0

X

0

000Y?

?

?X則00???

(

)

(

)

X

0Y0

Y取其期望值，則有000