第3章多元線性回歸模型

計(jì)量經(jīng)濟(jì)學(xué)第三章多元線性回歸模型引子:中國(guó)汽車的保有量會(huì)超過一億輛嗎?影響中國(guó)汽車行業(yè)發(fā)展的因素是多方面的:經(jīng)濟(jì)增長(zhǎng)、消費(fèi)趨勢(shì)、市場(chǎng)行情、業(yè)界心態(tài)，內(nèi)外環(huán)境，都會(huì)使中國(guó)汽車行業(yè)面臨機(jī)遇和挑戰(zhàn)。應(yīng)當(dāng)具體分析這樣一些問題：中國(guó)汽車市場(chǎng)發(fā)展的狀況如何？（用銷售量觀測(cè)）影響中國(guó)汽車銷量的主要因素是什么？（如收入、價(jià)格、費(fèi)用、道路狀況、政策環(huán)境等）各種因素對(duì)汽車銷量影響的性質(zhì)怎樣？（正、負(fù)）各種因素影響汽車銷量的具體數(shù)量關(guān)系是什么？所得到的數(shù)量結(jié)論是否可靠？中國(guó)汽車行業(yè)今后的發(fā)展前景怎樣？應(yīng)當(dāng)如何制定汽車的產(chǎn)業(yè)政策？很明顯，還需要尋求有多個(gè)解釋變量的回歸分析方法。多元線性回歸模型的設(shè)定多元線性回歸模型的參數(shù)估計(jì)多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)多元線性回歸模型的預(yù)測(cè)3.1多元線性回歸模型的設(shè)定

一、多元線性回歸模型的形式

二、多元線性回歸模型的基本假定

一、多元線性回歸模型的形式

多元線性回歸模型:表現(xiàn)在線性回歸模型中的解釋變量有多個(gè)。

一般表現(xiàn)形式：其中:k為解釋變量的數(shù)目，j稱為回歸參數(shù)（regressioncoefficient）。

習(xí)慣上：把常數(shù)項(xiàng)看成為一虛變量的系數(shù)，該虛變量的樣本觀測(cè)值始終取1。這樣：

模型中解釋變量的數(shù)目為（k+1）

也被稱為總體回歸函數(shù)的隨機(jī)表達(dá)形式(多元線性回歸模型)。它的非隨機(jī)表達(dá)式為:

方程表示：各變量X值固定時(shí)Y的平均響應(yīng)。

j也被稱為偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下，Xj每變化1個(gè)單位時(shí)，Y的均值E(Y)的變化;

或者說j給出了Xj的單位變化對(duì)Y均值的“直接”或“凈”（不含其他變量）影響。總體回歸模型n個(gè)隨機(jī)方程的矩陣表達(dá)式為

樣本回歸函數(shù)：用來估計(jì)總體回歸函數(shù)其隨機(jī)表示式:

ei稱為殘差或剩余項(xiàng)(residuals)，可看成是總體回歸函數(shù)中隨機(jī)擾動(dòng)項(xiàng)ui的近似替代。

樣本回歸函數(shù)的矩陣表達(dá):

或其中：二、多元線性回歸模型的基本假定

假設(shè)6：正態(tài)分布假設(shè)隨機(jī)誤差向量U

有一多維正態(tài)分布，即

§3.2多元線性回歸模型的估計(jì)

估計(jì)方法：OLS一、普通最小二乘估計(jì)二、參數(shù)估計(jì)量的性質(zhì)三、樣本容量問題四、估計(jì)實(shí)例

一、普通最小二乘估計(jì)對(duì)于隨機(jī)抽取的n組觀測(cè)值如果樣本函數(shù)的參數(shù)估計(jì)值已經(jīng)得到，則有：

i=1,2…n2、原理根據(jù)最小二乘原理，參數(shù)估計(jì)值應(yīng)該是下列方程組的解

3、正軌方程組于是得到關(guān)于待估參數(shù)估計(jì)值的正規(guī)方程組：

4、正規(guī)方程組的矩陣形式即由于X’X滿秩，故有

將上述過程用矩陣表示如下：

即求解方程組：5、正規(guī)方程組的另一種寫法對(duì)于正規(guī)方程組

或

(*)或（**）是多元線性回歸模型正規(guī)方程組的另一種寫法

(**)（三）樣本回歸超平面的特性（四）隨機(jī)誤差項(xiàng)u的方差2的無偏估計(jì)

隨機(jī)誤差項(xiàng)u的方差的無偏估計(jì)量為

二、參數(shù)估計(jì)量的性質(zhì)

在滿足基本假設(shè)的情況下，其結(jié)構(gòu)參數(shù)的普通最小二乘估計(jì)、最大或然估計(jì)及矩估計(jì)仍具有：

線性性、無偏性、有效性。

同時(shí)，隨著樣本容量增加，參數(shù)估計(jì)量具有：

漸近無偏性、漸近有效性、一致性。

1、線性性

其中,A=(X’X)-1X’為一僅與固定的X有關(guān)的行向量

2、無偏性

3、有效性（最小方差性）

三、樣本容量問題

所謂“最小樣本容量”，即從最小二乘原理和最大或然原理出發(fā)，欲得到參數(shù)估計(jì)量，不管其質(zhì)量如何，所要求的樣本容量的下限。⒈

最小樣本容量

樣本最小容量必須不少于模型中解釋變量的數(shù)目（包括常數(shù)項(xiàng)）,即

n

k+1因?yàn)?，無多重共線性要求：秩(X)=k+12、滿足基本要求的樣本容量

從統(tǒng)計(jì)檢驗(yàn)的角度：

n30時(shí)，Z檢驗(yàn)才能應(yīng)用；

n-k8時(shí),t分布較為穩(wěn)定

一般經(jīng)驗(yàn)認(rèn)為:

當(dāng)n30或者至少n3(k+1)時(shí)，才能說滿足模型估計(jì)的基本要求。

模型的良好性質(zhì)只有在大樣本下才能得到理論上的證明3.3多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)

一、擬合優(yōu)度檢驗(yàn)二、方程的顯著性檢驗(yàn)(F檢驗(yàn))

三、變量的顯著性檢驗(yàn)（t檢驗(yàn)）四、參數(shù)的置信區(qū)間

一、擬合優(yōu)度檢驗(yàn)

1、可決系數(shù)與調(diào)整的可決系數(shù)則

總離差平方和的分解由于

=0所以有：

注意：一個(gè)有趣的現(xiàn)象

可決系數(shù)該統(tǒng)計(jì)量越接近于1，模型的擬合優(yōu)度越高。

問題：在應(yīng)用過程中發(fā)現(xiàn)，如果在模型中增加一個(gè)解釋變量，

R2往往增大（Why?)

這就給人一個(gè)錯(cuò)覺：要使得模型擬合得好，只要增加解釋變量即可。

但是，現(xiàn)實(shí)情況往往是，由增加解釋變量個(gè)數(shù)引起的R2的增大與擬合好壞無關(guān)，R2需調(diào)整。

調(diào)整的可決系數(shù)（adjustedcoefficientofdetermination）

在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是:將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個(gè)數(shù)對(duì)擬合優(yōu)度的影響:其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度。1k1k(1)(2)二、方程的顯著性檢驗(yàn)(F檢驗(yàn))

方程的顯著性檢驗(yàn)，旨在對(duì)模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否顯著成立作出推斷。

1、方程顯著性的F檢驗(yàn)

即檢驗(yàn)?zāi)Ｐ?/p>

Yi=0+1X1i+2X2i++kXki+uii=1,2,,n中的參數(shù)j是否顯著不為0。

可提出如下原假設(shè)與備擇假設(shè)：H0：0=1=2==k=0H1：j不全為0F檢驗(yàn)的思想來自于總離差平方和的分解式：

TSS=RSS+ESS

如果這個(gè)比值較大，則X的聯(lián)合體對(duì)Y的解釋程度高，可認(rèn)為總體存在線性關(guān)系，反之總體上可能不存在線性關(guān)系。

因此,可通過該比值的大小對(duì)總體線性關(guān)系進(jìn)行推斷。

根據(jù)數(shù)理統(tǒng)計(jì)學(xué)中的知識(shí)，在原假設(shè)H0成立的條件下，統(tǒng)計(jì)量

服從自由度為(k,n-k-1)的F分布

給定顯著性水平，可得到臨界值F(k,n-k-1)，由樣本求出統(tǒng)計(jì)量F的數(shù)值，通過

F

F(k,n-k-1)或FF(k,n-k-1)來拒絕或接受原假設(shè)H0，以判定原方程總體上的線性關(guān)系是否顯著成立。2、關(guān)于擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)關(guān)系的討論

由可推出：與或在一元模型中，在二元模型中，

三、變量的顯著性檢驗(yàn)（t檢驗(yàn)）

方程的總體線性關(guān)系顯著每個(gè)解釋變量對(duì)被解釋變量的影響都是顯著的

因此，必須對(duì)每個(gè)解釋變量進(jìn)行顯著性檢驗(yàn)，以決定是否作為解釋變量被保留在模型中。這一檢驗(yàn)是由對(duì)變量的t檢驗(yàn)完成的。

1、t統(tǒng)計(jì)量

由于

以cii表示矩陣(X’X)-1

主對(duì)角線上的第i個(gè)元素，于是參數(shù)估計(jì)量的方差為：

其中2為隨機(jī)誤差項(xiàng)的方差，在實(shí)際計(jì)算時(shí)，用它的估計(jì)量代替:

因此，可構(gòu)造如下t統(tǒng)計(jì)量

2、t檢驗(yàn)

設(shè)計(jì)原假設(shè)與備擇假設(shè)：

H1：i0

給定顯著性水平，可得到臨界值t/2(n-k-1)，由樣本求出統(tǒng)計(jì)量t的數(shù)值，通過

|t|

t/2(n-k-1)或|t|t/2(n-k-1)來拒絕或接受原假設(shè)H0，從而判定對(duì)應(yīng)的解釋變量是否應(yīng)包括在模型中。

H0：i=0

（i=1,2…k）

注意：一元線性回歸中，t檢驗(yàn)與F檢驗(yàn)一致

一方面，t檢驗(yàn)與F檢驗(yàn)都是對(duì)相同的原假設(shè)H0：1=0

進(jìn)行檢驗(yàn);

另一方面，兩個(gè)統(tǒng)計(jì)量之間有如下關(guān)系：

四、參數(shù)的置信區(qū)間

參數(shù)的置信區(qū)間用來考察：在一次抽樣中所估計(jì)的參數(shù)值離參數(shù)的真實(shí)值有多“近”。在變量的顯著性檢驗(yàn)中已經(jīng)知道：容易推出：在(1-)的置信水平下i的置信區(qū)間是

其中，t/2為顯著性水平為、自由度為n-k-1的臨界值。

如何才能縮小置信區(qū)間？

增大樣本容量n，因?yàn)樵谕瑯拥臉颖救萘肯?，n越大，t分布表中的臨界值越小，同時(shí)，增大樣本容量，還可使樣本參數(shù)估計(jì)量的標(biāo)準(zhǔn)差減小；提高模型的擬合優(yōu)度，因?yàn)闃颖緟?shù)估計(jì)量的標(biāo)準(zhǔn)差與殘差平方和呈正比，模型優(yōu)度越高，殘差平方和應(yīng)越小。提高樣本觀測(cè)值的分散度,一般情況下，樣本觀測(cè)值越分散，(X’X)-1的分母的|X’X|的值越大，致使區(qū)間縮小。3.4多元線性回歸模型的預(yù)測(cè)

一、E(Y0)的置信區(qū)間

二、Y0的置信區(qū)間對(duì)于模型

給定樣本以外的解釋變量的觀測(cè)值X0=(1,X10,X20,…,Xk0)，可以得到被解釋變量的預(yù)測(cè)值：

它可以是總體均值E(Y0)或個(gè)值Y0的預(yù)測(cè)。但嚴(yán)格地說，這只是被解釋變量的預(yù)測(cè)值的估計(jì)值，而不是預(yù)測(cè)值。

為了進(jìn)行科學(xué)預(yù)測(cè)，還需求出預(yù)測(cè)值的置信區(qū)間，包括E(Y0)和Y0的置信區(qū)間。

一、E(Y0)的置信區(qū)間易知

容易證明

于是，得到(1-)的置信水平下E(Y0)的置信區(qū)間：

其中，t/2為(1-)的置信水平下的臨界值。

二、Y0的置信區(qū)間

如果已經(jīng)知道實(shí)際的預(yù)測(cè)值Y0，那么預(yù)測(cè)誤差為：容易證明

e0服從正態(tài)分布，即

構(gòu)造t統(tǒng)計(jì)量

可得給定(1-)的置信水平下Y0的置信區(qū)間：

3.5案例分析案例一：中國(guó)稅收增長(zhǎng)的分析提出問題：改革開放以來，隨著經(jīng)濟(jì)體制改革的深化和經(jīng)濟(jì)的快速增長(zhǎng)，中國(guó)的財(cái)政收支狀況發(fā)生很大變化，為了研究影響中國(guó)稅收收入增長(zhǎng)的主要原因，分析中央和地方稅收收入的增長(zhǎng)規(guī)律，預(yù)測(cè)中國(guó)稅收未來的增長(zhǎng)趨勢(shì)，需要建立計(jì)量經(jīng)濟(jì)模型。理論分析：影響中國(guó)稅收收入增長(zhǎng)的主要因素可能有：（1）從宏觀經(jīng)濟(jì)看，經(jīng)濟(jì)整體增長(zhǎng)是稅收增長(zhǎng)的基本源泉。（2）社會(huì)經(jīng)濟(jì)的發(fā)展和社會(huì)保障等都對(duì)公共財(cái)政提出要求，公共財(cái)政的需求對(duì)當(dāng)年的稅收收入可能會(huì)有一定的影響。（3）物價(jià)水平。中國(guó)的稅制結(jié)構(gòu)以流轉(zhuǎn)稅為主，以現(xiàn)行價(jià)格計(jì)算的GDP和經(jīng)營(yíng)者的收入水平都與物價(jià)水平有關(guān)。（4）稅收政策因素。分析:以各項(xiàng)稅收收入作為被解釋變量以GDP表示經(jīng)濟(jì)整體增長(zhǎng)水平以財(cái)政支出表示公共財(cái)政的需求以商品零售價(jià)格指數(shù)表示物價(jià)水平稅收政策因素較難用數(shù)量表示,暫時(shí)不予考慮。模型設(shè)定為:

其中：Y—各項(xiàng)稅收收入（億元）

X2—

國(guó)內(nèi)生產(chǎn)總值（億元）

X3—財(cái)政支出（億元）

X4—商品零售價(jià)格指數(shù)（%）建立模型：數(shù)據(jù)收集：數(shù)據(jù)來源：《中國(guó)統(tǒng)計(jì)年鑒》其中:Y——

各項(xiàng)稅收收入（億元）X2——國(guó)內(nèi)生產(chǎn)總值（億元）X3——財(cái)政支出（億元）X4——商品零售價(jià)格指數(shù)（%）參數(shù)估計(jì)：假定模型中隨機(jī)項(xiàng)滿足基本假定，可用OLS法估計(jì)其參數(shù)。具體操作：用Eviews軟件包，估計(jì)結(jié)果為模型估計(jì)的結(jié)果可表示為：

(940.6128)(0.0056)(0.0332)(8.7363)

t=(-2.7459)(3.9566)(21.1247)(2.7449)

F=2717.238df=21●擬合優(yōu)度：可決系數(shù)較高，修正的可決系數(shù)也較高，表明模型擬合較好。模型檢驗(yàn)：

F檢驗(yàn)：針對(duì)，取查出自由度為k=3和n-k-1=21的臨界值。由于F=2717.238>3.075，應(yīng)拒絕，說明回歸方程顯著，即“國(guó)內(nèi)生產(chǎn)總值”、“財(cái)政支出”、“商品零售物價(jià)指數(shù)”等變量聯(lián)合起來確實(shí)對(duì)“稅收收入”有顯著影響。t檢驗(yàn)：給定，查t分布表，在自由度為n-3=18-3=15時(shí)臨界值為，因?yàn)閄2、X3、X4參數(shù)對(duì)應(yīng)的t統(tǒng)計(jì)量均大于2.080,這說明在5%的顯著性水平下，斜率系數(shù)均顯著不為零，表明國(guó)內(nèi)生產(chǎn)總值、財(cái)政支出、商品零售價(jià)格指數(shù)對(duì)財(cái)政收入分別都有顯著影響。●顯著性檢驗(yàn)：●經(jīng)濟(jì)意義檢驗(yàn)：本模型中