多元回歸模型詳解演示文稿

多元回歸模型詳解演示文稿當(dāng)前第1頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)（優(yōu)選）多元回歸模型當(dāng)前第2頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)一、多元線性回歸模型

多元線性回歸模型:表現(xiàn)在線性回歸模型中的解釋變量有多個(gè)。

一般表現(xiàn)形式：i=1,2…,n其中:k為解釋變量的數(shù)目，j稱(chēng)為回歸參數(shù)（regressioncoefficient）。

習(xí)慣上：把常數(shù)項(xiàng)看成為一虛變量的系數(shù)，該虛變量的樣本觀測(cè)值始終取1。這樣：

模型中解釋變量的數(shù)目為（k+1）

當(dāng)前第3頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)也被稱(chēng)為總體回歸函數(shù)的隨機(jī)表達(dá)形式。它的非隨機(jī)表達(dá)式為:

方程表示：各變量X值固定時(shí)Y的平均響應(yīng)。

j也被稱(chēng)為偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下，Xj每變化1個(gè)單位時(shí)，Y的均值E(Y)的變化;

或者說(shuō)j給出了Xj的單位變化對(duì)Y均值的“直接”或“凈”（不含其他變量）影響。當(dāng)前第4頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)總體回歸模型n個(gè)隨機(jī)方程的矩陣表達(dá)式為

其中當(dāng)前第5頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)樣本回歸函數(shù)：用來(lái)估計(jì)總體回歸函數(shù)其隨機(jī)表示式:

ei稱(chēng)為殘差或剩余項(xiàng)(residuals)，可看成是總體回歸函數(shù)中隨機(jī)擾動(dòng)項(xiàng)i的近似替代。

樣本回歸函數(shù)的矩陣表達(dá):

或其中：當(dāng)前第6頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)二、多元線性回歸模型的基本假定

假設(shè)1，解釋變量是非隨機(jī)的或固定的，且各X之間互不相關(guān)（無(wú)多重共線性）。

假設(shè)2，隨機(jī)誤差項(xiàng)具有零均值、同方差及不序列相關(guān)性

假設(shè)3，解釋變量與隨機(jī)項(xiàng)不相關(guān)

假設(shè)4，隨機(jī)項(xiàng)滿足正態(tài)分布

當(dāng)前第7頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)上述假設(shè)的矩陣符號(hào)表示式：

假設(shè)1，n(k+1)矩陣X是非隨機(jī)的，且X的秩=k+1，即X滿秩。

假設(shè)2，

假設(shè)3，E(X’)=0，即

當(dāng)前第8頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)假設(shè)4，向量

有一多維正態(tài)分布，即

同一元回歸一樣，多元回歸還具有如下兩個(gè)重要假設(shè)：假設(shè)5，樣本容量趨于無(wú)窮時(shí)，各解釋變量的方差趨于有界常數(shù)，即n∞時(shí)，

或

其中：Q為一非奇異固定矩陣，矩陣x是由各解釋變量的離差為元素組成的nk階矩陣

假設(shè)6，回歸模型的設(shè)定是正確的。

當(dāng)前第9頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)§3.2多元線性回歸模型的估計(jì)

估計(jì)方法：OLS、ML或者M(jìn)M普通最小二乘估計(jì)樣本容量問(wèn)題估計(jì)實(shí)例

當(dāng)前第10頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)一、普通最小二乘估計(jì)對(duì)于隨機(jī)抽取的n組觀測(cè)值如果樣本函數(shù)的參數(shù)估計(jì)值已經(jīng)得到，則有：

i=1,2…n根據(jù)最小二乘原理，參數(shù)估計(jì)值應(yīng)該是下列方程組的解

其中當(dāng)前第11頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)于是得到關(guān)于待估參數(shù)估計(jì)值的正規(guī)方程組：

當(dāng)前第12頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)正規(guī)方程組的矩陣形式即由于X’X滿秩，故有

當(dāng)前第13頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)?樣本回歸函數(shù)的離差形式i=1,2…n其矩陣形式為

其中：在離差形式下，參數(shù)的最小二乘估計(jì)結(jié)果為

當(dāng)前第14頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)?隨機(jī)誤差項(xiàng)的方差的無(wú)偏估計(jì)

可以證明，隨機(jī)誤差項(xiàng)的方差的無(wú)偏估計(jì)量為

當(dāng)前第15頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)樣本容量問(wèn)題

所謂“最小樣本容量”，即從最小二乘原理和最大或然原理出發(fā)，欲得到參數(shù)估計(jì)量，不管其質(zhì)量如何，所要求的樣本容量的下限。⒈

最小樣本容量

樣本最小容量必須不少于模型中解釋變量的數(shù)目（包括常數(shù)項(xiàng)）,即

n

k+1因?yàn)?，無(wú)多重共線性要求：秩(X)=k+1當(dāng)前第16頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)2、滿足基本要求的樣本容量

從統(tǒng)計(jì)檢驗(yàn)的角度：

n30時(shí)，Z檢驗(yàn)才能應(yīng)用；

n-k8時(shí),t分布較為穩(wěn)定

一般經(jīng)驗(yàn)認(rèn)為:

當(dāng)n30或者至少n3(k+1)時(shí)，才能說(shuō)滿足模型估計(jì)的基本要求。

模型的良好性質(zhì)只有在大樣本下才能得到理論上的證明當(dāng)前第17頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)§3.3多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)

一、擬合優(yōu)度檢驗(yàn)二、方程的顯著性檢驗(yàn)(F檢驗(yàn))

三、變量的顯著性檢驗(yàn)（t檢驗(yàn)）四、參數(shù)的置信區(qū)間

當(dāng)前第18頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)一、擬合優(yōu)度檢驗(yàn)

1、可決系數(shù)與調(diào)整的可決系數(shù)則

總離差平方和的分解當(dāng)前第19頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)由于

=0所以有：

注意：一個(gè)有趣的現(xiàn)象當(dāng)前第20頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)

可決系數(shù)該統(tǒng)計(jì)量越接近于1，模型的擬合優(yōu)度越高。

問(wèn)題：在應(yīng)用過(guò)程中發(fā)現(xiàn)，如果在模型中增加一個(gè)解釋變量，

R2往往增大（Why?)

這就給人一個(gè)錯(cuò)覺(jué)：要使得模型擬合得好，只要增加解釋變量即可。

但是，現(xiàn)實(shí)情況往往是，由增加解釋變量個(gè)數(shù)引起的R2的增大與擬合好壞無(wú)關(guān)，R2需調(diào)整。當(dāng)前第21頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)

調(diào)整的可決系數(shù)（adjustedcoefficientofdetermination）

在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是:將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個(gè)數(shù)對(duì)擬合優(yōu)度的影響:其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度。當(dāng)前第22頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)當(dāng)前第23頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)*2、赤池信息準(zhǔn)則和施瓦茨準(zhǔn)則

為了比較所含解釋變量個(gè)數(shù)不同的多元回歸模型的擬合優(yōu)度，常用的標(biāo)準(zhǔn)還有:

赤池信息準(zhǔn)則（Akaikeinformationcriterion,AIC）施瓦茨準(zhǔn)則（Schwarzcriterion，SC）

這兩準(zhǔn)則均要求僅當(dāng)所增加的解釋變量能夠減少AIC值或AC值時(shí)才在原模型中增加該解釋變量。

當(dāng)前第24頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)

二、方程的顯著性檢驗(yàn)(F檢驗(yàn))

方程的顯著性檢驗(yàn)，旨在對(duì)模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否顯著成立作出推斷。

1、方程顯著性的F檢驗(yàn)

即檢驗(yàn)?zāi)Ｐ?/p>

Yi=0+1X1i+2X2i++kXki+ii=1,2,,n中的參數(shù)j是否顯著不為0。

可提出如下原假設(shè)與備擇假設(shè)：H0：0=1=2==k=0H1：j不全為0當(dāng)前第25頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)F檢驗(yàn)的思想來(lái)自于總離差平方和的分解式：

TSS=ESS+RSS

如果這個(gè)比值較大，則X的聯(lián)合體對(duì)Y的解釋程度高，可認(rèn)為總體存在線性關(guān)系，反之總體上可能不存在線性關(guān)系。

因此,可通過(guò)該比值的大小對(duì)總體線性關(guān)系進(jìn)行推斷。當(dāng)前第26頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)

根據(jù)數(shù)理統(tǒng)計(jì)學(xué)中的知識(shí)，在原假設(shè)H0成立的條件下，統(tǒng)計(jì)量

服從自由度為(k,n-k-1)的F分布

給定顯著性水平，可得到臨界值F(k,n-k-1)，由樣本求出統(tǒng)計(jì)量F的數(shù)值，通過(guò)

F

F(k,n-k-1)或FF(k,n-k-1)來(lái)拒絕或接受原假設(shè)H0，以判定原方程總體上的線性關(guān)系是否顯著成立。當(dāng)前第27頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)2、關(guān)于擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)關(guān)系的討論

由可推出：與或當(dāng)前第28頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)在中國(guó)居民人均收入-消費(fèi)一元模型中，在中國(guó)居民人均收入-消費(fèi)二元模型中，當(dāng)前第29頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)三、變量的顯著性檢驗(yàn)（t檢驗(yàn)）方程的總體線性關(guān)系顯著每個(gè)解釋變量對(duì)被解釋變量的影響都是顯著的

因此，必須對(duì)每個(gè)解釋變量進(jìn)行顯著性檢驗(yàn)，以決定是否作為解釋變量被保留在模型中。這一檢驗(yàn)是由對(duì)變量的t檢驗(yàn)完成的。當(dāng)前第30頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)

1、t統(tǒng)計(jì)量

由于

以cii表示矩陣(X’X)-1

主對(duì)角線上的第i個(gè)元素，于是參數(shù)估計(jì)量的方差為：

其中2為隨機(jī)誤差項(xiàng)的方差，在實(shí)際計(jì)算時(shí)，用它的估計(jì)量代替:

當(dāng)前第31頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)因此，可構(gòu)造如下t統(tǒng)計(jì)量

當(dāng)前第32頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)

2、t檢驗(yàn)

設(shè)計(jì)原假設(shè)與備擇假設(shè)：

H1：i0

給定顯著性水平，可得到臨界值t/2(n-k-1)，由樣本求出統(tǒng)計(jì)量t的數(shù)值，通過(guò)

|t|

t/2(n-k-1)或|t|t/2(n-k-1)來(lái)拒絕或接受原假設(shè)H0，從而判定對(duì)應(yīng)的解釋變量是否應(yīng)包括在模型中。

H0：i=0

（i=1,2…k）

當(dāng)前第33頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)注意：一元線性回歸中，t檢驗(yàn)與F檢驗(yàn)一致

一方面，t檢驗(yàn)與F檢驗(yàn)都是對(duì)相同的原假設(shè)H0：1=0

進(jìn)行檢驗(yàn);

另一方面，兩個(gè)統(tǒng)計(jì)量之間有如下關(guān)系：

當(dāng)前第34頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)在中國(guó)居民人均收入-消費(fèi)支出二元模型例中，由應(yīng)用軟件計(jì)算出參數(shù)的t值：

給定顯著性水平=0.05，查得相應(yīng)臨界值：t0.025(19)=2.093?？梢?jiàn)，計(jì)算的所有t值都大于該臨界值，所以拒絕原假設(shè)。即:包括常數(shù)項(xiàng)在內(nèi)的3個(gè)解釋變量都在95%的水平下顯著，都通過(guò)了變量顯著性檢驗(yàn)。當(dāng)前第35頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)

四、參數(shù)的置信區(qū)間

參數(shù)的置信區(qū)間用來(lái)考察：在一次抽樣中所估計(jì)的參數(shù)值離參數(shù)的真實(shí)值有多“近”。在變量的顯著性檢驗(yàn)中已經(jīng)知道：容易推出：在(1-)的置信水平下i的置信區(qū)間是

其中，t/2為顯著性水平為、自由度為n-k-1的臨界值。

當(dāng)前第36頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)

在中國(guó)居民人均收入-消費(fèi)支出二元模型例中,給定=0.05，查表得臨界值：t0.025(19)=2.093計(jì)算得參數(shù)的置信區(qū)間：

0

：(44.284,197.116)

1

：(0.0937,0.3489)

2

：(0.0951,0.8080)

從回歸計(jì)算中已得到：當(dāng)前第37頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)如何才能縮小置信區(qū)間？

增大樣本容量n，因?yàn)樵谕瑯拥臉颖救萘肯?，n越大，t分布表中的臨界值越小，同時(shí)，增大樣本容量，還可使樣本參數(shù)估計(jì)量的標(biāo)準(zhǔn)差減?。惶岣吣Ｐ偷臄M合優(yōu)度，因?yàn)闃颖緟?shù)估計(jì)量的標(biāo)準(zhǔn)差與殘差平方和呈正比，模型優(yōu)度越高，殘差平方和應(yīng)越小。提高樣本觀測(cè)值的分散度,一般情況下，樣本觀測(cè)值越分散，(X’X)-1的分母的|X’X|的值越大，致使區(qū)間縮小。當(dāng)前第38頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)*§3.4多元線性回歸模型的預(yù)測(cè)

一、E(Y0)的置信區(qū)間

二、Y0的置信區(qū)間當(dāng)前第39頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)對(duì)于模型

給定樣本以外的解釋變量的觀測(cè)值X0=(1,X10,X20,…,Xk0)，可以得到被解釋變量的預(yù)測(cè)值：

它可以是總體均值E(Y0)或個(gè)值Y0的預(yù)測(cè)。但嚴(yán)格地說(shuō)，這只是被解釋變量的預(yù)測(cè)值的估計(jì)值，而不是預(yù)測(cè)值。

為了進(jìn)行科學(xué)預(yù)測(cè)，還需求出預(yù)測(cè)值的置信區(qū)間，包括E(Y0)和Y0的置信區(qū)間。

當(dāng)前第40頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)一、E(Y0)的置信區(qū)間易知

當(dāng)前第41頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)容易證明

于是，得到(1-)的置信水平下E(Y0)的置信區(qū)間：

其中，t/2為(1-)的置信水平下的臨界值。當(dāng)前第42頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)二、Y0的置信區(qū)間

如果已經(jīng)知道實(shí)際的預(yù)測(cè)值Y0，那么預(yù)測(cè)誤差為：容易證明

當(dāng)前第43頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)e0服從正態(tài)分布，即

構(gòu)造t統(tǒng)計(jì)量

可得給定(1-)的置信水平下Y0的置信區(qū)間：

當(dāng)前第44頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)

中國(guó)居民人均收入-消費(fèi)支出二元模型例中：2001年人均GDP：4033.1元，

于是人均居民消費(fèi)的預(yù)測(cè)值為

?2001=120.7+0.2213×4033.1+0.4515×1690.8=1776.8（元）

實(shí)測(cè)值（90年價(jià)）=1782.2元，相對(duì)誤差：-0.31%預(yù)測(cè)的置信區(qū)間：當(dāng)前第45頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)于是E(?2001）的95%的置信區(qū)間為:

或（1741.8，1811.7）或

（1711.1,1842.4）

同樣，易得?2001的95%的置信區(qū)間為當(dāng)前第46頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)§3.5回歸模型的其他函數(shù)形式

一、模型的類(lèi)型與變換

二、非線性回歸實(shí)例當(dāng)前第47頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)

在實(shí)際經(jīng)濟(jì)活動(dòng)中，經(jīng)濟(jì)變量的關(guān)系是復(fù)雜的，直接表現(xiàn)為線性關(guān)系的情況并不多見(jiàn)。

如著名的恩格爾曲線(Englecurves)表現(xiàn)為冪函數(shù)曲線形式、宏觀經(jīng)濟(jì)學(xué)中的菲利普斯曲線（Pillipscuves）表現(xiàn)為雙曲線形式等。但是，大部分非線性關(guān)系又可以通過(guò)一些簡(jiǎn)單的數(shù)學(xué)處理，使之化為數(shù)學(xué)上的線性關(guān)系，從而可以運(yùn)用線性回歸的方法進(jìn)行計(jì)量經(jīng)濟(jì)學(xué)方面的處理。當(dāng)前第48頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)

一、模型的類(lèi)型與變換

1、倒數(shù)模型、多項(xiàng)式模型與變量的直接置換法

例如，描述稅收與稅率關(guān)系的拉弗曲線：拋物線

s=a+br+cr2c<0s：稅收；r：稅率設(shè)X1=r，X2=r2，則原方程變換為

s=a+bX1+cX2c<0

當(dāng)前第49頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)2、冪函數(shù)模型、指數(shù)函數(shù)模型與對(duì)數(shù)變換法

例如，Cobb-Dauglas生產(chǎn)函數(shù)：冪函數(shù)

Q=AKLQ：產(chǎn)出量，K：投入的資本；L：投入的勞動(dòng)

方程兩邊取對(duì)數(shù)：

lnQ=lnA+lnK+lnL當(dāng)前第50頁(yè)\共有55頁(yè)\編于星期三\2點(diǎn)3、復(fù)雜函數(shù)模型與級(jí)數(shù)展開(kāi)法

方程兩邊取對(duì)數(shù)后，得到：

(1+2=1)Q:產(chǎn)出量，K：資本投入，L：勞動(dòng)投入：替代參數(shù)，1、2：分配參數(shù)例如，常替代