計量經(jīng)濟學(xué)多元線性回歸

第四章經(jīng)典單方程計量經(jīng)濟學(xué)模型：多元線性回歸模型

一、多元線性回歸模型的概念二、多元線性回歸模型的估計三、擬合優(yōu)度四、非線性關(guān)系的處理五、假設(shè)檢驗六、預(yù)測七、參數(shù)的穩(wěn)定性檢驗八、虛擬變量一、多元線性回歸模型的概念

1、多元線性回歸模型

2、多元線性回歸模型的基本假定

1、多元線性回歸模型

多元線性回歸模型:表現(xiàn)在線性回歸模型中的解釋變量有多個。

一般表現(xiàn)形式：i=1,2…,n其中:k為解釋變量的數(shù)目，j稱為回歸參數(shù)（regressioncoefficient）。也被稱為總體回歸函數(shù)的隨機表達形式。它的非隨機表達式為:表示：各變量X值固定時Y的平均響應(yīng)。

習(xí)慣上：把常數(shù)項看成為一虛變量的系數(shù)，該虛變量的樣本觀測值始終取1。于是：模型中解釋變量的數(shù)目為（k+1）

總體回歸模型n個隨機方程的矩陣表達式為:

j也被稱為偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下，Xj每變化1個單位時，Y的均值E(Y)的變化;

或者說j給出了Xj的單位變化對Y均值的“直接”或“凈”（不含其他變量）影響。用來估計總體回歸函數(shù)的樣本回歸函數(shù)為：其中其隨機表示式:

ei稱為殘差或剩余項(residuals)，可看成是總體回歸函數(shù)中隨機擾動項ui的近似替代。

樣本回歸函數(shù)的矩陣表達:

或其中：基本形式小結(jié)矩陣形式2、多元線性回歸模型的基本假定

例：在一項調(diào)查大學(xué)生一學(xué)期平均成績Y與每周在學(xué)習(xí)（X1）、睡覺（X2）、娛樂（X3）和其它活動（X4）所用時間關(guān)系的研究中，建立了如下模型：如果這些活動所用時間的總和為一周的總小時數(shù)168小時。問：保持其它變量不變，而改變其中一個變量的說法是否有意義？該模型是否有違背基本假定的情況？如何修改此模型使其更合理？二、多元線性回歸模型的估計

1、普通最小二乘估計2、極大似然估計3、參數(shù)估計量的性質(zhì)4、樣本容量問題說明估計方法：兩大類方法：OLS、ML在經(jīng)典模型中多應(yīng)用OLS在非經(jīng)典模型中多應(yīng)用ML在本節(jié)中，ML為選學(xué)內(nèi)容1、普通最小二乘估計對于隨機抽取的n組觀測值如果樣本函數(shù)的參數(shù)估計值已經(jīng)得到，則有：

i=1,2…n

根據(jù)最小二乘原理，參數(shù)估計值應(yīng)該是右列方程組的解

其中

于是得到關(guān)于待估參數(shù)估計值的正規(guī)方程組：

解該（k+1）

個方程組成的線性代數(shù)方程組，即可得到(k+1)個待估參數(shù)的估計值$,,,,,bjj=012L。k正規(guī)方程組的矩陣形式即由于X’X滿秩，故有

將上述過程用矩陣表示如下：

即求解方程組：即補充：得到：

于是：售價X銷售量Q2.0412.5383.0343.5324.0294.5285.0255.5226.020例：利用下表數(shù)據(jù)，計算和正規(guī)方程組的另一種寫法對于正規(guī)方程組

于是

或

(*)或（**）是多元線性回歸模型正規(guī)方程組的另一種寫法。

(*)(**)樣本回歸函數(shù)的離差形式i=1,2…n

其矩陣形式為：其中：

在離差形式下，參數(shù)的最小二乘估計結(jié)果為

隨機誤差項u的方差2的無偏估計

可以證明，隨機誤差項u的方差的無偏估計量為：

2、極大似然估計對于多元線性回歸模型易知Y的隨機抽取的n組樣本觀測值的聯(lián)合概率

對數(shù)似然函數(shù)為對對數(shù)似然函數(shù)求極大值，也就是對

求極小值。即為變量Y的似然函數(shù)

因此，參數(shù)的極大似然估計為結(jié)果與參數(shù)的普通最小二乘估計相同。3、參數(shù)估計量的性質(zhì)

在滿足基本假設(shè)的情況下，其結(jié)構(gòu)參數(shù)的普通最小二乘估計及最大或然估計仍具有：

線性性、無偏性、有效性。

同時，隨著樣本容量增加，參數(shù)估計量具有：一致性。

（1）線性性

其中,C=(X’X)-1X’

為一僅與固定的X有關(guān)的行向量。

（2）無偏性

U))

（3）有效性（最小方差性）

這里利用了假設(shè):E(X’u)=0其中利用了

和4、樣本容量問題

所謂“最小樣本容量”，即從最小二乘原理和極大似然原理出發(fā)，欲得到參數(shù)估計量，不管其質(zhì)量如何，所要求的樣本容量的下限。（1）最小樣本容量

樣本最小容量必須不少于模型中解釋變量的數(shù)目（包括常數(shù)項）,即

n

≥

k+1因為，無多重共線性要求：秩(X)=k+1（2）滿足基本要求的樣本容量

從統(tǒng)計檢驗的角度：

n30時，Z檢驗才能應(yīng)用；

n-k≥8時,t分布較為穩(wěn)定

一般經(jīng)驗認為:

當(dāng)n≥30或者至少n≥3(k+1)時，才能說滿足模型估計的基本要求。

模型的良好性質(zhì)只有在大樣本下才能得到理論上的證明。三、擬合優(yōu)度檢驗1、可決系數(shù)與調(diào)整的可決系數(shù)則

總離差平方和的分解=0

可決系數(shù)該統(tǒng)計量越接近于1，模型的擬合優(yōu)度越高。

問題：在應(yīng)用過程中發(fā)現(xiàn)，如果在模型中增加一個解釋變量，

R2往往增大（Why?)

這就給人一個錯覺：要使得模型擬合得好，只要增加解釋變量即可?！?/p>

但是，現(xiàn)實情況往往是，由增加解釋變量個數(shù)引起的R2的增大與擬合好壞無關(guān)，R2需調(diào)整。

調(diào)整的可決系數(shù)（adjustedcoefficientofdetermination）

在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是:將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個數(shù)對擬合優(yōu)度的影響:其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度。說明

例設(shè)n=20,k=3,R2=0.70求。

若n=10，則=0.55;若n=5，則=－0.20下面改變n的值，看一看的值如何變化。由本例可看出，有可能為負值。這與R2不同（）解

*2、赤池信息準則和施瓦茨準則

為了比較所含解釋變量個數(shù)不同的多元回歸模型的擬合優(yōu)度，常用的標(biāo)準還有:

赤池信息準則（Akaikeinformationcriterion,AIC）施瓦茨準則（Schwarzcriterion，SC）

這兩準則均要求僅當(dāng)所增加的解釋變量能夠減少AIC值或AC值時才在原模型中增加該解釋變量。

四、非線性關(guān)系的處理

1、模型的類型與變換

2、非線性回歸在實際經(jīng)濟活動中，經(jīng)濟變量的關(guān)系是復(fù)雜的，直接表現(xiàn)為線性關(guān)系的情況并不多見。如著名的恩格爾曲線(Englecurves)表現(xiàn)為冪函數(shù)曲線形式、宏觀經(jīng)濟學(xué)中的菲利普斯曲線（Pillipscuves）表現(xiàn)為雙曲線形式等。但是，大部分非線性關(guān)系又可以通過一些簡單的數(shù)學(xué)處理，使之化為數(shù)學(xué)上的線性關(guān)系，從而可以運用線性回歸模型的理論方法。說明

（1）倒數(shù)模型、多項式模型與變量的直接置換法

例如，描述稅收與稅率關(guān)系的拉弗曲線：拋物線

s=a+br+cr2+uc<0s：稅收；r：稅率設(shè)X1=r，X2=r2，則原方程變換為

s=a+bX1+cX2+uc<0

1、模型的類型與變換（2）冪函數(shù)模型、指數(shù)函數(shù)模型與對數(shù)變換法

例如，Cobb-Dauglas生產(chǎn)函數(shù)：冪函數(shù)

Q=AKLeuQ：產(chǎn)出量，K：投入的資本；L：投入的勞動

方程兩邊取對數(shù)：

lnQ=lnA+lnK+lnL+u（3）復(fù)雜函數(shù)模型與級數(shù)展開法

方程兩邊取對數(shù)后，得到：

Q:產(chǎn)出量，K：資本投入，L：勞動投入

：替代參數(shù)，1、2：分配參數(shù)例如，常替代彈性CES生產(chǎn)函數(shù)2、非線性回歸

對于不可線性化的模型，可采用非線性回歸技術(shù)對參數(shù)進行估計，常用的非線性回歸技術(shù)有非線性最小二乘法（NLS）,該方法的原則仍是使殘差平方和達到最小。其步驟如下：（1）給出各參數(shù)的初始估計值；（2）用上述參數(shù)值及X的觀測值計算Y的預(yù)測值?；（3）計算殘差平方和Σe2;（4）對一個或多個參數(shù)的估計值作微小變動；（5）計算Y的新預(yù)測值?；（6）再計算殘差平方和Σe2;（7）若殘差平方和減小了，則說明新參數(shù)的估計值優(yōu)于老的，則以它們?yōu)樾碌钠瘘c；（8）重復(fù)步驟（4），（5），（6），直至無法減少殘差平方和為止；（9）最后的參數(shù)估計值即為非線性最小二乘估計值。

五、假設(shè)檢驗1、系數(shù)的顯著性檢驗（1）單個系數(shù)顯著性檢驗

目的是檢驗?zāi)硞€解釋變量的系數(shù)βj是否為0，即該解釋變量是否對被解釋變量有影響。原假設(shè)：H0：

βj

=0檢驗統(tǒng)計量是自由度為n-k-1的t

統(tǒng)計量：

～t(n-k-1)其中，為矩陣主對角線上第j+1個元素。而例：柯布-道格拉斯生產(chǎn)函數(shù)用柯布和道格拉斯最初使用的數(shù)據(jù)（美國1899-1922年制造業(yè)數(shù)據(jù)）估計經(jīng)過線性變換的模型得到如下結(jié)果（括號內(nèi)數(shù)字為標(biāo)準誤差）：請檢驗“斜率”系數(shù)和的顯著性。解：(1)檢驗的顯著性

原假設(shè)：H0：

=0由回歸結(jié)果，我們有：t＝0.23/0.06=3.83用自由度為24－3＝21，查t表，5%顯著性水平下，t/2

＝2.08.∵t＝3.83t/2

＝2.08，故拒絕原假設(shè)H0。結(jié)論：顯著異于0。(2)檢驗的顯著性原假設(shè)：H0：

=0由回歸結(jié)果，我們有：t＝0.81/0.15=5.4∵t＝5.4t/2

＝2.08，故拒絕原假設(shè)H0。結(jié)論：顯著異于0。

有時需要同時檢驗若干個系數(shù)是否為0，這可以通過建立單一的原假設(shè)來進行。設(shè)要檢驗g個系數(shù)是否為0，即與之相對應(yīng)的g個解釋變量對因變量是否有影響。不失一般性，可設(shè)原假設(shè)和備擇假設(shè)為：

H0:β1

=β2

=…=βg

=0H1:

H0不成立(即X1,…Xg中至少有一個變量對Y有影響)

（2）若干個系數(shù)的顯著性檢驗（聯(lián)合假設(shè)檢驗）分析：這實際上相當(dāng)于檢驗g個約束條件

β1=0，β2

=0，…，βg

=0是否同時成立。若H0為真，則正確的模型是：

據(jù)此進行回歸（有約束回歸），得到殘差平方和

SR是H0為真時的殘差平方和。

若H1為真，正確的模型即原模型：

據(jù)此進行無約束回歸（全回歸），得到殘差平方和

S是H1為真時的殘差平方和。如果H0為真，則不管X1,…Xg這g個變量是否包括在模型中，所得到的結(jié)果不會有顯著差別，因此應(yīng)該有：

S≈SR如果H1為真，則由前面所討論的殘差平方和∑e2的特點，無約束回歸增加了變量的個數(shù)，應(yīng)有

S<SR

通過檢驗二者差異是否顯著地大，就能檢驗原假設(shè)是否成立。所使用的檢驗統(tǒng)計量是：

～F(g,n-k-1)其中，g為分子自由度，n-k-1為分母自由度。使用的作用是消除具體問題中度量單位的影響，使計算出的F值是一個與度量單位無關(guān)的量。假設(shè)已得到下面結(jié)果：（1）全回歸估計得到：S=∑e2=25

（2）有約束回歸

估計得到：SR=∑e2=30例：給定20組Y,X1,X2,X3的觀測值，試檢驗?zāi)Ｐ椭蠿1和X3對Y是否有影響？解原假設(shè)H0:β1

=

β3

=0

備擇假設(shè)H1:

H0不成立我們有：n=20,g=2,K=3

用自由度（2，16）查F分布表，5%顯著性水平下，F(xiàn)α=3.63∵F=1.6<Fα=3.63,故接受H0。結(jié)論：X1和X3對Y無顯著影響

上一段結(jié)果的一個特例是所有斜率系數(shù)均為0的檢驗，即回歸方程的顯著性檢驗：

H0：

β1

=β2

=…=βk

=0

也就是說，所有解釋變量對Y均無影響。注意到g=k，

則該檢驗的檢驗統(tǒng)計量為：

（3）全部斜率系數(shù)為0的檢驗（即方程的顯著性檢驗）

分子分母均除以，有從上式不難看出，全部斜率為0的檢驗實際是檢驗R2的值是否顯著異于0，如果接受原假設(shè)，則表明被解釋變量的行為完全歸因于隨機變化。若拒絕原假設(shè)，則表明所選擇模型對被解釋變量的行為能夠提供某種程度的解釋。

2、關(guān)于擬合優(yōu)度檢驗與方程顯著性檢驗關(guān)系的討論

由得你認為建立的模型質(zhì)量如何？假設(shè)檢驗小結(jié)：模型：假設(shè)：方差分析表變差來源平方和自由度H0成立時的RSSH1為真時的RSS檢驗統(tǒng)計量：

上面所介紹的檢驗若干個系數(shù)顯著性的方法，也可以應(yīng)用于檢驗施加于系數(shù)的其他形式的約束條件，如

檢驗的方法仍是分別進行有約束回歸和無約束回歸，求出各自的殘差平方和SR和S，然后用F統(tǒng)計量進行檢驗。當(dāng)然，單個系數(shù)的假設(shè)檢驗，如H0：3=1.0，亦可用t檢驗統(tǒng)計量進行檢驗。3、檢驗其他形式的系數(shù)約束條件檢驗步驟如下：例：Cobb-Douglas生產(chǎn)函數(shù)Y=AKαLβu，試根據(jù)美國制造業(yè)1899-1922年數(shù)據(jù)檢驗規(guī)模效益不變的約束：α+β=1解：（1）全回歸（2）有約束回歸：將約束條件代入，得Y=AKαL1-αu，為避免回歸系數(shù)的不一致問題，兩邊除以L，模型變換為：Y/L=A(K/L)αu

回歸，得：

可得到約束回歸和全回歸的殘差平方和為SR=0.0716，S=0.0710（3）檢驗原假設(shè)備擇假設(shè)本例中，g=1,k=2,n=24

用自由度（1，21）查F表，5%顯著性水平下，F(xiàn)α=4.32∵F=0.18<Fα=4.32，故接受原假設(shè)結(jié)論：我們的數(shù)據(jù)支持規(guī)模收益不變的假設(shè)。4、參數(shù)的置信區(qū)間

參數(shù)的置信區(qū)間用來考察：在一次抽樣中所估計的參數(shù)值離參數(shù)的真實值有多“近”。在變量的顯著性檢驗中已經(jīng)知道：六、多元線性回歸模型的預(yù)測

1、E(Y0|X0)的置信區(qū)間

2、Y0的置信區(qū)間對于模型

給定樣本以外的解釋變量的觀測值X0=(1,X10,X20,…,Xk0)，可以得到被解釋變量的預(yù)測值：

它可以是總體均值E(Y0|X0)或個值Y0的預(yù)測。但嚴格地說，這只是被解釋變量的預(yù)測值的估計值，而不是預(yù)測值。

為了進行科學(xué)預(yù)測，還需求出預(yù)測值的置信區(qū)間，包括E(Y0|X0)和Y0的置信區(qū)間。

1、E(Y0|X0)的置信區(qū)間易知

容易證明:

于是，得到(1-)的置信水平下E(Y0|X0)的置信區(qū)間：其中，t/2為(1-)的置信水平下的臨界值。2、Y0的置信區(qū)間如果已經(jīng)知道實際的預(yù)測值Y0，那么預(yù)測誤差為：容易證明

e0服從正態(tài)分布，即

構(gòu)造t統(tǒng)計量

可得給定(1-)的置信水平下Y0的置信區(qū)間：

七、參數(shù)的穩(wěn)定性檢驗鄒氏參數(shù)穩(wěn)定性檢驗

建立模型時往往希望模型的參數(shù)是穩(wěn)定的，即所謂的結(jié)構(gòu)不變，這將提高模型的預(yù)測與分析功能。如何檢驗？

假設(shè)需要建立的模型為在兩個連續(xù)的時間序列（1,2,…，n1）與（n1+1,…，n1+n2）中，相應(yīng)的模型分別為：U1U2

合并兩個時間序列為(1,2,…，n1

，n1+1,…，n1+n2)，則可寫出如下無約束回歸模型

如果=，表示沒有發(fā)生結(jié)構(gòu)變化，因此可針對如下假設(shè)進行檢驗：

H0:=(*)式施加上述約束后變換為受約束回歸模型(*)（**）因此，檢驗的F統(tǒng)計量為：

記RSS1與RSS2為在兩時間段上分別回歸后所得的殘差平方和，容易驗證，于是參數(shù)穩(wěn)定性的檢驗步驟：

（1）分別以兩連續(xù)時間序列作為兩個樣本進行回歸，得到相應(yīng)的殘差平方：RSS1與RSS2

（2）將兩序列并為一個大樣本后進行回歸，得到大樣本下的殘差平方和RSSR

（3）計算F統(tǒng)計量的值，與臨界值比較：若F值大于臨界值，則拒絕原假設(shè)，認為發(fā)生了結(jié)構(gòu)變化，參數(shù)是非穩(wěn)定的。該檢驗也被稱為鄒氏參數(shù)穩(wěn)定性檢驗（Chowtestforparameterstability）。2、鄒氏預(yù)測檢驗

上述參數(shù)穩(wěn)定性檢驗要求n2>k。如果出現(xiàn)n2<k

，則往往進行如下的鄒氏預(yù)測檢驗（Chowtestforpredictivefailure）。

鄒氏預(yù)測檢驗的基本思想:

先用前一時間段n1個樣本估計原模型，再用估計出的參數(shù)進行后一時間段n2個樣本的預(yù)測。

如果預(yù)測誤差較大，則說明參數(shù)發(fā)生了變化，否則說明參數(shù)是穩(wěn)定的。

分別以、表示第一與第二時間段的參數(shù)，則:其中，(*)U2U1U2U2

如果

=0，則

=，表明參數(shù)在估計期與預(yù)測期相同(*)的矩陣式：

可見，用前n1個樣本估計可得前k個參數(shù)的估計，而是用后n2個樣本測算的預(yù)測誤差X2(-)(**)如果參數(shù)沒有發(fā)生變化，則=0，矩陣式簡化為(***)（***）式與（**）式這里：kU-kR=n2RSSU=RSS1

分別可看成受約束與無約束回歸模型，于是有如下F檢驗：

第一步，在兩時間段的合成大樣本下做OLS回歸，得受約束模型的殘差平方和RSSR

；

第二步，對前一時間段的n1個子樣做OLS回歸，得殘差平方和RSS1

；

第三步，計算檢驗的F統(tǒng)計量，做出判斷：鄒氏預(yù)測檢驗步驟：

給定顯著性水平，查F分布表，得臨界值F(n2,n1-k-1)，如果F>F(n2,n1-k-1)

，則拒絕原假設(shè)，認為預(yù)測期發(fā)生了結(jié)構(gòu)變化。

例中國城鎮(zhèn)居民食品人均消費需求的鄒氏檢驗。

參數(shù)穩(wěn)定性檢驗1981~1994：RSS1=0.003240

1995~2001：

(9.96)(7.14)(-5.13)(1.81)

1981~2001:

(14.83)(27.26)(-3.24)(-11.17)給定=5%，查表得臨界值F0.05(4,13)=3.18結(jié)論：F值>臨界值，拒絕參數(shù)穩(wěn)定的原假設(shè)，表明中國城鎮(zhèn)居民食品人均消費需求在1994年前后發(fā)生了顯著變化。解H0:=（2）鄒氏預(yù)測檢驗給定=5%，查表得臨界值F0.05(7,10)=3.18

結(jié)論：

F值>臨界值，拒絕參數(shù)穩(wěn)定的原假設(shè)

在回歸分析中，常常碰到這樣一種情況，即被解釋變量的波動不僅依賴于那種能夠很容易按某種尺度定量化的變量（如收入、產(chǎn)出、價格、身高、體重等），而且依賴于某些定性的變量（如性別、地區(qū)、季節(jié)）。在經(jīng)濟系統(tǒng)中，許多變動是不能定量的。如經(jīng)濟體制的改革、固定匯率變?yōu)楦訁R率、從戰(zhàn)時經(jīng)濟轉(zhuǎn)為和平時期經(jīng)濟等。些變動都可以用大家所熟悉的0-1變量來表示，用1表示具有某一“品質(zhì)”或?qū)傩?，?表示不具有該“品質(zhì)”或?qū)傩?。這種變量在計量經(jīng)濟學(xué)中稱為“虛擬變量”。虛擬變量使得我們可以將那些無法定量化的變量引入回歸模型中。下面給出幾個可以引入虛擬變量的例子。八、虛擬變量（Dummyvariables）1、虛擬變量的概念例1：研究學(xué)歷和收入之間的關(guān)系，在你的樣本中，既有女性又有男性，你打算研究在此關(guān)系中，性別是否會導(dǎo)致差別。例2：研究某省家庭收入和支出的關(guān)系，采集的樣本中既包括農(nóng)村家庭，又包括城鎮(zhèn)家庭，你打算研究二者的差別。例3：研究通貨膨脹的決定因素，在你的觀測期中，有些年份政府實行了一項收入政策。你想檢驗該政策是否對通貨膨脹產(chǎn)生影響。上述各例都可以用兩種方法來解決，一種解決方法是分別進行兩類情況的回歸，然后看參數(shù)是否不同。另一種方法是用全部觀測值作單一回歸，將定性因素的影響用虛擬變量引入模型。引入虛擬變量個數(shù)的原則：如果一個屬性變量有m種類型，則只需引入m-1個虛擬變量。引入虛擬變量的形式：（1）如果斜率系數(shù)不變，只研究截距的變化，則以加法形式引入虛擬變量；（2）如果斜率系數(shù)不同，則以乘法形式引入虛擬變量；

設(shè)Y表示消費，X表示收入，我們有：

}假定β不變。對于5年戰(zhàn)爭和5年和平時期的數(shù)據(jù)，我們可分別估計上述兩個模型，一般將給出的不同值?，F(xiàn)引入虛擬變量D,將兩式并為一式：

其中

2、虛擬變量的使用方法（1）截距變動

此式等價于下列兩式：