八、多元回歸分析課件

多元回歸多元回歸1多元回歸

多元線性回歸模型多元線性回歸模型的參數(shù)估計多元線性回歸模型的統(tǒng)計檢驗多元線性回歸模型的預測回歸模型的其他形式多元回歸多元線性回歸模型2多元線性回歸模型

一、多元線性回歸模型

二、多元線性回歸模型的基本假定

多元線性回歸模型一、多元線性回歸模型3

一、多元線性回歸模型

多元線性回歸模型:表現(xiàn)在線性回歸模型中的解釋變量有多個。

一般表現(xiàn)形式：i=1,2…,n其中:k為解釋變量的數(shù)目，

j稱為回歸參數(shù)（regressioncoefficient）。

習慣上：把常數(shù)項看成為一虛變量的系數(shù)，該虛變量的樣本觀測值始終取1。這樣：

模型中解釋變量的數(shù)目為（k+1）

一、多元線性回歸模型多元線性回歸模型:表現(xiàn)4也被稱為總體回歸函數(shù)的隨機表達形式。它的非隨機表達式為:

方程表示：各變量X值固定時Y的平均響應。

j也被稱為偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下，Xj每變化1個單位時，Y的均值E(Y)的變化;

或者說

j給出了Xj的單位變化對Y均值的“直接”或“凈”（不含其他變量）影響。也被稱為總體回歸函數(shù)的隨機表達形式。它的非隨機表達式為:5總體回歸模型n個隨機方程的矩陣表達式為

其中總體回歸模型n個隨機方程的矩陣表達式為其中6樣本回歸函數(shù)：用來估計總體回歸函數(shù)其隨機表示式:

ei稱為殘差或剩余項(residuals)，可看成是總體回歸函數(shù)中隨機擾動項

i的近似替代。

樣本回歸函數(shù)的矩陣表達:

或其中：樣本回歸函數(shù)：用來估計總體回歸函數(shù)其隨機表示式:7二、多元線性回歸模型的基本假定

假設1，解釋變量是非隨機的或固定的，且各X之間互不相關（無多重共線性）。

假設2，隨機誤差項具有零均值、同方差及不序列相關性

假設3，解釋變量與隨機項不相關

假設4，隨機項滿足正態(tài)分布

二、多元線性回歸模型的基本假定假設1，解釋變量是非隨8上述假設的矩陣符號表示式：

假設1，n(k+1)矩陣X是非隨機的，且X的秩

=k+1，即X滿秩。

假設2，

假設3，E(X’

)=0，即

上述假設的矩陣符號表示式：假設1，n(k+1)矩陣9假設4，向量

有一多維正態(tài)分布，即

同一元回歸一樣，多元回歸還具有如下兩個重要假設：假設5，樣本容量趨于無窮時，各解釋變量的方差趨于有界常數(shù)，即n

∞時，

或

其中：Q為一非奇異固定矩陣，矩陣x是由各解釋變量的離差為元素組成的n

k階矩陣

假設6，回歸模型的設定是正確的。

假設4，向量有一多維正態(tài)分布，即同一元回歸一樣，多10多元線性回歸模型的估計

估計方法：OLS、ML或者MM一、普通最小二乘估計*二、最大或然估計*三、矩估計四、參數(shù)估計量的性質(zhì)五、樣本容量問題六、估計實例

多元線性回歸模型的估計估計方法：OLS、ML或者MM一、普11一、普通最小二乘估計對于隨機抽取的n組觀測值如果樣本函數(shù)的參數(shù)估計值已經(jīng)得到，則有：

i=1,2…n根據(jù)最小二乘原理，參數(shù)估計值應該是下列方程組的解

其中一、普通最小二乘估計對于隨機抽取的n組觀測值如果樣本函數(shù)的參12于是得到關于待估參數(shù)估計值的正規(guī)方程組：

于是得到關于待估參數(shù)估計值的正規(guī)方程組：13正規(guī)方程組的矩陣形式即由于X’X滿秩，故有

正規(guī)方程組的矩陣形式即由于X’X滿秩，故有14?樣本回歸函數(shù)的離差形式i=1,2…n其矩陣形式為

其中：在離差形式下，參數(shù)的最小二乘估計結(jié)果為

?樣本回歸函數(shù)的離差形式i=1,2…n其矩陣形式為其中：15?隨機誤差項

的方差

的無偏估計

可以證明，隨機誤差項

的方差的無偏估計量為

?隨機誤差項的方差的無偏估計可以證明，隨機誤差項16*二、最大或然估計

對于多元線性回歸模型易知

Y的隨機抽取的n組樣本觀測值的聯(lián)合概率即為變量Y的或然函數(shù)

*二、最大或然估計對于多元線性回歸模型易知Y17對數(shù)或然函數(shù)為對對數(shù)或然函數(shù)求極大值，也就是對

求極小值。

因此，參數(shù)的最大或然估計為結(jié)果與參數(shù)的普通最小二乘估計相同對數(shù)或然函數(shù)為對對數(shù)或然函數(shù)求極大值，也就是對求極小值。18*三、矩估計（MomentMethod,MM）

OLS估計是通過得到一個關于參數(shù)估計值的正規(guī)方程組并對它進行求解而完成的。

該正規(guī)方程組

可以從另外一種思路來導:

求期望

:*三、矩估計（MomentMethod,MM）19稱為原總體回歸方程的一組矩條件，表明了原總體回歸方程所具有的內(nèi)在特征。

由此得到正規(guī)方程組

解此正規(guī)方程組即得參數(shù)的MM估計量。易知MM估計量與OLS、ML估計量等價。稱為原總體回歸方程的一組矩條件，表明了原總體回歸方程所具有的20矩方法是工具變量方法(InstrumentalVariables,IV)和廣義矩估計方法(GeneralizedMomentMethod,GMM)的基礎

在矩方法中關鍵是利用了

E(X’)=0

如果某個解釋變量與隨機項相關，只要能找到1個工具變量，仍然可以構(gòu)成一組矩條件。這就是IV。

如果存在＞k+1個變量與隨機項不相關，可以構(gòu)成一組包含＞k+1方程的矩條件。這就是GMM。矩方法是工具變量方法(InstrumentalVariab21*四、參數(shù)估計量的性質(zhì)

在滿足基本假設的情況下，其結(jié)構(gòu)參數(shù)

的普通最小二乘估計、最大或然估計及矩估計仍具有：

線性性、無偏性、有效性。

同時，隨著樣本容量增加，參數(shù)估計量具有：

漸近無偏性、漸近有效性、一致性。

1、線性性

其中,C=(X’X)-1X’為一僅與固定的X有關的行向量

*四、參數(shù)估計量的性質(zhì)在滿足基本假設的情況下，其結(jié)22

2、無偏性

這里利用了假設:E(X’)=0

3、有效性（最小方差性）

2、無偏性這里利用了假設:E(X’)=0323其中利用了

和其中利用了和24

五、樣本容量問題

所謂“最小樣本容量”，即從最小二乘原理和最大或然原理出發(fā)，欲得到參數(shù)估計量，不管其質(zhì)量如何，所要求的樣本容量的下限。⒈

最小樣本容量

樣本最小容量必須不少于模型中解釋變量的數(shù)目（包括常數(shù)項）,即

n

k+1因為，無多重共線性要求：秩(X)=k+1五、樣本容量問題所謂“最小樣本容量”，即從最小252、滿足基本要求的樣本容量

從統(tǒng)計檢驗的角度：

n

30時，Z檢驗才能應用；

n-k8時,t分布較為穩(wěn)定

一般經(jīng)驗認為:

當n

30或者至少n3(k+1)時，才能說滿足模型估計的基本要求。

模型的良好性質(zhì)只有在大樣本下才能得到理論上的證明2、滿足基本要求的樣本容量從統(tǒng)計檢驗的角度：一般經(jīng)驗26多元線性回歸模型的統(tǒng)計檢驗

一、擬合優(yōu)度檢驗二、方程的顯著性檢驗(F檢驗)

三、變量的顯著性檢驗（t檢驗）四、參數(shù)的置信區(qū)間

多元線性回歸模型的統(tǒng)計檢驗一、擬合優(yōu)度檢驗27

一、擬合優(yōu)度檢驗

1、可決系數(shù)與調(diào)整的可決系數(shù)則

總離差平方和的分解一、擬合優(yōu)度檢驗1、可決系數(shù)與調(diào)整的可決系數(shù)28由于

=0所以有：

注意：一個有趣的現(xiàn)象由于=0所以有：注意：一個有趣的現(xiàn)象29

可決系數(shù)該統(tǒng)計量越接近于1，模型的擬合優(yōu)度越高。

問題：在應用過程中發(fā)現(xiàn)，如果在模型中增加一個解釋變量，

R2往往增大（Why?)

這就給人一個錯覺：要使得模型擬合得好，只要增加解釋變量即可。

但是，現(xiàn)實情況往往是，由增加解釋變量個數(shù)引起的R2的增大與擬合好壞無關，R2需調(diào)整。可決系數(shù)該統(tǒng)計量越接近于1，模型的擬合優(yōu)度越高。30

調(diào)整的可決系數(shù)（adjustedcoefficientofdetermination）

在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是:將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個數(shù)對擬合優(yōu)度的影響:其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度。調(diào)整的可決系數(shù)（adjustedcoefficie31八、多元回歸分析課件32*2、赤池信息準則和施瓦茨準則

為了比較所含解釋變量個數(shù)不同的多元回歸模型的擬合優(yōu)度，常用的標準還有:

赤池信息準則（Akaikeinformationcriterion,AIC）施瓦茨準則（Schwarzcriterion，SC）

這兩準則均要求僅當所增加的解釋變量能夠減少AIC值或AC值時才在原模型中增加該解釋變量。

*2、赤池信息準則和施瓦茨準則為了比較所含解33

二、方程的顯著性檢驗(F檢驗)

方程的顯著性檢驗，旨在對模型中被解釋變量與解釋變量之間的線性關系在總體上是否顯著成立作出推斷。

1、方程顯著性的F檢驗

即檢驗模型

Yi=

0+1X1i+2X2i++kXki+ii=1,2,,n中的參數(shù)

j是否顯著不為0。

可提出如下原假設與備擇假設：H0：

0=1=2==k=0H1：

j不全為0二、方程的顯著性檢驗(F檢驗)方程的顯著性檢驗34F檢驗的思想來自于總離差平方和的分解式：

TSS=ESS+RSS

如果這個比值較大，則X的聯(lián)合體對Y的解釋程度高，可認為總體存在線性關系，反之總體上可能不存在線性關系。

因此,可通過該比值的大小對總體線性關系進行推斷。F檢驗的思想來自于總離差平方和的分解式：如果35

根據(jù)數(shù)理統(tǒng)計學中的知識，在原假設H0成立的條件下，統(tǒng)計量

服從自由度為(k,n-k-1)的F分布

給定顯著性水平

，可得到臨界值F

(k,n-k-1)，由樣本求出統(tǒng)計量F的數(shù)值，通過

F

F

(k,n-k-1)或F

F

(k,n-k-1)來拒絕或接受原假設H0，以判定原方程總體上的線性關系是否顯著成立。根據(jù)數(shù)理統(tǒng)計學中的知識，在原假設H0成立的條件下，統(tǒng)計36

2、關于擬合優(yōu)度檢驗與方程顯著性檢驗關系的討論

由可推出：與或2、關于擬合優(yōu)度檢驗與方程顯著性檢驗關系的討論37在中國居民人均收入-消費一元模型中，在中國居民人均收入-消費二元模型中，在中國居民人均收入-消費一元模型中，在中國居民人均收入-消費38

三、變量的顯著性檢驗（t檢驗）

方程的總體線性關系顯著

每個解釋變量對被解釋變量的影響都是顯著的

因此，必須對每個解釋變量進行顯著性檢驗，以決定是否作為解釋變量被保留在模型中。這一檢驗是由對變量的t檢驗完成的。三、變量的顯著性檢驗（t檢驗）方程的總體線39

1、t統(tǒng)計量

由于

以cii表示矩陣(X’X)-1

主對角線上的第i個元素，于是參數(shù)估計量的方差為：

其中

2為隨機誤差項的方差，在實際計算時，用它的估計量代替:

1、t統(tǒng)計量由于以cii表示矩陣(X’X)-40因此，可構(gòu)造如下t統(tǒng)計量

因此，可構(gòu)造如下t統(tǒng)計量41

2、t檢驗

設計原假設與備擇假設：

H1：

i0

給定顯著性水平

，可得到臨界值t/2(n-k-1)，由樣本求出統(tǒng)計量t的數(shù)值，通過

|t|

t/2(n-k-1)或|t|

t/2(n-k-1)來拒絕或接受原假設H0，從而判定對應的解釋變量是否應包括在模型中。

H0：

i=0

（i=1,2…k）

2、t檢驗設計原假設與備擇假設：H1：i42注意：一元線性回歸中，t檢驗與F檢驗一致

一方面，t檢驗與F檢驗都是對相同的原假設H0：

1=0

進行檢驗;

另一方面，兩個統(tǒng)計量之間有如下關系：

注意：一元線性回歸中，t檢驗與F檢驗一致一方面，t檢驗43在中國居民人均收入-消費支出二元模型例中，由應用軟件計算出參數(shù)的t值：

給定顯著性水平

=0.05，查得相應臨界值：t0.025(19)=2.093?？梢?，計算的所有t值都大于該臨界值，所以拒絕原假設。即:包括常數(shù)項在內(nèi)的3個解釋變量都在95%的水平下顯著，都通過了變量顯著性檢驗。在中國居民人均收入-消費支出二元模型例中，由應用軟件計算出參44

四、參數(shù)的置信區(qū)間

參數(shù)的置信區(qū)間用來考察：在一次抽樣中所估計的參數(shù)值離參數(shù)的真實值有多“近”。在變量的顯著性檢驗中已經(jīng)知道：容易推出：在(1-)的置信水平下

i的置信區(qū)間是

其中，t/2為顯著性水平為

、自由度為n-k-1的臨界值。

四、參數(shù)的置信區(qū)間參數(shù)的置信區(qū)間用來考察：在一45

在中國居民人均收入-消費支出二元模型例中,給定

=0.05，查表得臨界值：t0.025(19)=2.093計算得參數(shù)的置信區(qū)間：

0

：(44.284,197.116)

1

：(0.0937,0.3489)

2

：(0.0951,0.8080)

從回歸計算中已得到：在中國居民人均收入-消費支出二元模型例中,計算得參數(shù)46如何才能縮小置信區(qū)間？

增大樣本容量n，因為在同樣的樣本容量下，n越大，t分布表中的臨界值越小，同時，增大樣本容量，還可使樣本參數(shù)估計量的標準差減小；提高模型的擬合優(yōu)度，因為樣本參數(shù)估計量的標準差與殘差平方和呈正比，模型優(yōu)度越高，殘差平方和應越小。提高樣本觀測值的分散度,一般情況下，樣本觀測值越分散，(X’X)-1的分母的|X’X|的值越大，致使區(qū)間縮小。如何才能縮小置信區(qū)間？增大樣本容量n，因為在同樣的樣本容量47多元線性回歸模型的預測

一、E(Y0)的置信區(qū)間

二、Y0的置信區(qū)間多元線性回歸模型的預測一、E(Y0)的置信區(qū)間48對于模型

給定樣本以外的解釋變量的觀測值X0=(1,X10,X20,…,Xk0)，可以得到被解釋變量的預測值：

它可以是總體均值E(Y0)或個值Y0的預測。但嚴格地說，這只是被解釋變量的預測值的估計值，而不是預測值。

為了進行科學預測，還需求出預測值的置信區(qū)間，包括E(Y0)和Y0的置信區(qū)間。

對于模型給定樣本以外的解釋變量的觀測值X0=(1,X10,49

一、E(Y0)的置信區(qū)間易知

一、E(Y0)的置信區(qū)間易知50容易證明

于是，得到(1-)的置信水平下E(Y0)的置信區(qū)間：

其中，t/2為(1-)的置信水平下的臨界值。容易證明于是，得到(1-)的置信水平下E(Y0)的置信區(qū)51

二、Y0的置信區(qū)間

如果已經(jīng)知道實際的預測值Y0，那么預測誤差為：容易證明

二、Y0的置信區(qū)間如果已經(jīng)知道實際的預測值Y0，那52e0服從正態(tài)分布，即

構(gòu)造t統(tǒng)計量

可得給定(1-)的置信水平下Y0的置信區(qū)間：

e0服從正態(tài)分布，即構(gòu)造t統(tǒng)計量可得給定(1-)的置信53

中國居民人均收入-消費支出二元模型例中：2001年人均GDP：4033.1元，

于是人均居民消費的預測值為

?2001=120.7+0.2213×4033.1+0.4515×1690.8=1776.8（元）

實測值（90年價）=1782.2元，相對誤差：-0.31%預測的置信區(qū)間：中國居民人均收入-消費支出二元模型例中：2001年人均54于是E(?2001）的95%的置信區(qū)間為:

或（1741.8，1811.7）或

（1711.1,1842.4）

同樣，易得?2001的95%的置信區(qū)間為于是E(?2001）的95%的置信區(qū)間為:或55回歸模型的其他函數(shù)形式

一、模型的類型與變換

二、非線性回歸實例回歸模型的其他函數(shù)形式一、模型的類型與變換56

在實際經(jīng)濟活動中，經(jīng)濟變量的關系是復雜的，直接表現(xiàn)為線性關系的情況并不多見。

如著名的恩格爾曲線(Englecurves)表現(xiàn)為冪函數(shù)曲線形式、宏觀經(jīng)濟學中的菲利普斯曲線（Pillipscuves）表現(xiàn)為雙曲線形式等。但是，大部分非線性關系又可以通過一些簡單的數(shù)學處理，使之化為數(shù)學上的線性關系，從而可以運用線性回歸的方法進行計量經(jīng)濟學方面的處理。在實際經(jīng)濟活動中，經(jīng)濟變量的關系是復雜的，直接表現(xiàn)為57

一、模型的類型與變換

1、倒數(shù)模型、多項式模型與變量的直接置換法

例如，描述稅收與稅率關系的拉弗曲線：拋物線

s=a+br+cr2c<0s：稅收；r：稅率設X1=r，X2=r2，則原方程變換為

s=a+bX1+cX2c<0

一、模型的類型與變換1、倒數(shù)模型、多項式模型與變量的直582、冪函數(shù)模型、指數(shù)函數(shù)模型與對數(shù)變換法

例如，Cobb-Dauglas生產(chǎn)函數(shù)：冪函數(shù)

Q=AK

L

Q：產(chǎn)出量，K：投入的資本；L：投入的勞動

方程兩邊取對數(shù)：

lnQ=lnA+lnK+lnL2、冪函數(shù)模型、指數(shù)函數(shù)模型與對數(shù)變換法例如，Co593、復雜函數(shù)模型與級數(shù)展開法

方程兩邊取對數(shù)后，得到：

(

1+2=1)Q:產(chǎn)出量，K：資本投入，L：勞動投入：替代參數(shù)，1、

2：分配參數(shù)例如，常替代彈性CES生產(chǎn)函數(shù)

將式中l(wèi)n(

1K-+2L-)在

=0處展開臺勞級數(shù),取關于

的線性項，即得到一個線性近似式。

如取0階、1階、2階項，可得

3、復雜函數(shù)模型與級數(shù)展開法方程兩邊取對數(shù)后，得到：(60并非所有的函數(shù)形式都可以線性化

無法線性化模型的一般形式為: