計(jì)量經(jīng)濟(jì)學(xué)多元線性回歸與最小二乘估計(jì)

1、第三章 多元線性回歸與最小二乘估計(jì)3.1 假定條件、最小二乘估計(jì)量和高斯馬爾可夫定理 1、多元線性回歸模型：yt = b0 +b1xt1 + b2xt2 + bk- 1xt k -1 + ut (3.1)其中yt是被解釋變量（因變量），xt j是解釋變量（自變量），ut是隨機(jī)誤差項(xiàng)，bi, i = 0, 1, , k - 1是回歸參數(shù)（通常未知）。 對(duì)經(jīng)濟(jì)問題的實(shí)際意義：yt與xt j存在線性關(guān)系，xt j, j = 0, 1, , k - 1, 是yt的重要解釋變量。ut代表眾多影響yt變化的微小因素。使yt的變化偏離了E( yt) = b0 +b1xt1 + b2xt2 + bk- 1xt

2、 k -1 決定的k維空間平面。 當(dāng)給定一個(gè)樣本（yt , xt1, xt2 , xt k -1）, t = 1, 2, , T時(shí), 上述模型表示為 y1 = b0 +b1x11 + b2x12 + bk- 1x1 k -1 + u1, y2 = b0 +b1x21 + b2x22 + bk- 1x2 k -1 + u2, (3.2) . yT = b0 +b1x T 1 + b2x T 2 + bk- 1x T k -1 + uT 經(jīng)濟(jì)意義：xt j是yt的重要解釋變量。代數(shù)意義：yt與xt j存在線性關(guān)系。幾何意義：yt表示一個(gè)多維平面。此時(shí)yt與x t i已知，bj與 ut未知。 (3.

3、3) Y = X b + u (3.4)2假定條件為保證得到最優(yōu)估計(jì)量，回歸模型（3.4）應(yīng)滿足如下假定條件。假定 隨機(jī)誤差項(xiàng)ut是非自相關(guān)的，每一誤差項(xiàng)都滿足均值為零，方差 s2相同且為有限值，即E(u) = 0 = , Var (u) = E( ) = s 2I = s 2假定 解釋變量與誤差項(xiàng)相互獨(dú)立，即 E(X u) = 0假定 解釋變量之間線性無關(guān)。rk(X X) = rk(X) = k 其中rk()表示矩陣的秩。假定 解釋變量是非隨機(jī)的，且當(dāng)T 時(shí)T 1X X Q 其中Q是一個(gè)有限值的非退化矩陣。3 最小二乘估計(jì)最小二乘 (OLS) 法的原理是求殘差（誤差項(xiàng)的估計(jì)值）平方和最小。代

4、數(shù)上是求極值問題。minS = (Y - X) (Y - X) = Y Y -X Y - Y X +X X = Y Y - 2X Y + X X (3.5)因?yàn)閅 X是一個(gè)標(biāo)量，所以有Y X = X Y。(1.5) 的一階條件為：= - 2X Y + 2X X= 0 (3.6)化簡(jiǎn)得 X Y = X X因?yàn)?(X X) 是一個(gè)非退化矩陣（見假定），所以有= (X X)-1 X Y （3.7）因?yàn)閄的元素是非隨機(jī)的，(X X) -1X是一個(gè)常數(shù)矩陣，則是Y的線性組合，為線性估計(jì)量。求出，估計(jì)的回歸模型寫為Y = X+ (3.9)其中= ( ) 是 b 的估計(jì)值列向量，= (Y - X) 稱為殘差

5、列向量。因?yàn)? Y - X= Y - X (X X)-1X Y = I - X (X X)-1 X Y (3.10)所以也是Y的線性組合。的期望和方差是 E() = E(X X)-1 X Y = E(X X)-1X (Xb + u) = b + (X X)-1X E(u) = b (3.11)由于：Var() = E(b) (b)= E(X X)-1X u u X (X X)-1 = E(X X)-1X s 2I X (X X)-1 = s 2 (X X)-1 (3.12)例：3.1（P113）略 4高斯馬爾可夫定理：高斯馬爾可夫定理：若前述假定條件成立，OLS估計(jì)量是最佳線性無偏估計(jì)量。具有

6、無偏性。具有最小方差特性。具有一致性，漸近無偏性和漸近有效性。3.2 殘差的方差 (3.13)是s 2 的無偏估計(jì)量，E( ) =s 2。證明過程如下：記：=P容易證明：P為對(duì)等冪矩陣，即P=P，P2=P利用矩陣跡的性質(zhì)，有：的估計(jì)的方差協(xié)方差矩陣是() = (X X)-1 (3.14) bi的置信區(qū)間 （1） 全部bi的聯(lián)合置信區(qū)間接受F = (b -) (X X) (b -) / s2 Fa (k, T-k) (3.15)( b -) (X X ) ( b -) s2 k Fa (k, T-k)，它是一個(gè)k維橢球。 (3.16) （2） 單個(gè)bi的置信區(qū)間t = t(T-k) bi = t

7、a/2(T-k) . (3.17)OLS估計(jì)量的分布 若u N (0, s 2I ) ，則每個(gè)ut都服從正態(tài)分布。于是有Y N (Xb, s 2I ) (3.18)因也是u的線性組合（見公式1.7），依據(jù)（3.11）和（3.12）有 N ( b, s2(X X)-1 ) (3.19)3.3多元回歸模型的檢驗(yàn)1. 多重確定系數(shù)（多重可決系數(shù)）Y = X+=+ (3.20)總平方和SST = Y Y - T, (3.21)其中是yt 的樣本平均數(shù)，定義為= 。同理，回歸平方和為SSR = = - T (3.22)其中的定義同上。殘差平方和為SSE = = = (3.23)則有如下關(guān)系存在， SST

8、 = SSR + SSE (3.24)R2 = (3.25)顯然有0 R 2 1。R 2 1，擬合優(yōu)度越好。 2. 調(diào)整的多重確定系數(shù)當(dāng)解釋變量的個(gè)數(shù)增加時(shí)，通常R2不下降，而是上升。為調(diào)整因自由度減小帶來的損失（增加方差的無偏估計(jì)量，會(huì)系數(shù)的置信區(qū)間及預(yù)測(cè)精度降低），又定義調(diào)整的多重確定系數(shù)如下： = 1 - = 1 - (3.26)對(duì)于包含解釋變量個(gè)數(shù)不同的模型，就用調(diào)整后的確定系數(shù)。 3 方差分析與F檢驗(yàn)與SST相對(duì)應(yīng)，自由度T-1也被分解為兩部分，（T-1）= (k -1) + (T- k) (3.27)回歸均方差定義為MSR = ，誤差均方差定義為MSE = 表1.1 方差分析表方差

9、來源平方和自由度均方回歸SSE =-T2k-1MSE = SSE / (k-1)誤差SSR = T-kMSR = SSR / (T-k)總和SST= Y Y - T2T-1H0: b1= b2 = = bk-1 = 0; H1: bj不全為零F = = F(k-1,T-k) (3.28)設(shè)檢驗(yàn)水平為a，則檢驗(yàn)規(guī)則是，若 F Fa (k-1,T-k)，接受H0；若 F Fa (k-1,T-k) , 拒絕H0。圖3.1 F檢驗(yàn)示意圖 圖3.2 t檢驗(yàn)示意圖4t檢驗(yàn)H 0：bj = 0, (j = 1, 2, , k-1), H 1：bj 0t = t(T-k) (3.29)判別規(guī)則：若 t ta(

10、T-k) 接受H 0；若 t ta(T-k) 拒絕H 0。 5、模型結(jié)構(gòu)的穩(wěn)定性檢驗(yàn)：Chow檢驗(yàn)對(duì)于多元回歸模型：yt = b0 +b1xt1 + b2xt2 + bk- 1xt k -1 + ut 我們可以得到一組大樣本，這組大樣本C1-Cn，可能由于某一原因（時(shí)間序列的政策原因、戰(zhàn)爭(zhēng)；截面數(shù)據(jù)如不同地區(qū)等），分為兩組小樣本：C1-Ci，Ci-Cn，對(duì)于這兩組小樣本，模型結(jié)構(gòu)是否相同，有待檢驗(yàn)。方步驟如下：1）、利用大樣本對(duì)模型回歸，得殘差平方和：2）利用兩組小樣本對(duì)模型分別進(jìn)行回歸，得殘差平方和：、。3）構(gòu)造統(tǒng)計(jì)量：4）給定顯著性水平，檢F分布表，得臨界值5）判斷：若F大于，認(rèn)為方程存在

11、顯著差異，即兩個(gè)樣本反映的兩個(gè)經(jīng)濟(jì)關(guān)系顯著不同，說模型結(jié)構(gòu)發(fā)生了變化；反之，模型結(jié)構(gòu)比較穩(wěn)定。例3.3（P129）略。3.4多元回歸方程預(yù)測(cè) 1、點(diǎn)預(yù)測(cè)因?yàn)? E(0 +1 xf 1 + + k-1 xf k-1= E（yf）所以是E（yf）的元偏估計(jì)值，可以作為yf和E（yf）的估計(jì)值。C = (1 xT+1 1 xT+1 2 xT+1 k-1 ) (3.30)則T + 1期被解釋變量yT+1的點(diǎn)預(yù)測(cè)式是，= C=0 +1 xT+1 1 + + k-1 xT+1 k-1 (3.31) 2、E(yT+1) 的置信區(qū)間預(yù)測(cè) 首先求點(diǎn)預(yù)測(cè)式C的抽樣分布E() = E(C) = Cb (3.32)V

12、ar() = Var(C) = E(C- Cb ) (C- Cb ) = EC (- b ) C (- b ) = C E(- b ) (- b ) C = C Var()C = C s2 (X X )-1C = s2 C (X X )-1C , (3.33)因?yàn)榉亩嘣龖B(tài)分布，所以C也是一個(gè)多元正態(tài)分布變量，即= C N (Cb, s2C (X X ) -1C ) (3.34)構(gòu)成 t 分布統(tǒng)計(jì)量如下t = t (T-k) (3.35)置信區(qū)間 C ta/2 (1, T-k) s (3.36) 3、單個(gè)yT+1的置信區(qū)間預(yù)測(cè)yT+1值與點(diǎn)預(yù)測(cè)值有以下關(guān)系 yT+1 = + uT+1 (3.

13、37)其中uT+1是隨機(jī)誤差項(xiàng)。因?yàn)镋( yT+1) = E(+ uT+1) = Cb (3.38) Var( yT+1) = Var() + Var(uT+1) = s 2 C (X X)-1C + s 2 = s 2 (C (X X)-1C + 1) (3.39)因?yàn)榉亩嘣龖B(tài)分布，所以yT+1也是一個(gè)多元正態(tài)分布變量，即yT+1 N (Cb, s2C (X X ) -1C + 1)與上相仿，單個(gè)yT+1的置信區(qū)間是C ta/2 (T-k) s (3.40)4、預(yù)測(cè)的評(píng)價(jià)指標(biāo)注意，以下6個(gè)公式中的et表示的是預(yù)測(cè)誤差，不是殘差?？梢栽跇颖緝?nèi)、外預(yù)測(cè)。(1) 預(yù)測(cè)誤差。預(yù)測(cè)誤差定義為et

14、= - yt, t = T+1, T+2, 是對(duì)單點(diǎn)預(yù)測(cè)誤差大小的測(cè)量。(2) 相對(duì)誤差PE (Percentage Error)。 PE = , t = T+1, T+2, 是對(duì)單點(diǎn)預(yù)測(cè)相對(duì)誤差大小的測(cè)量。(3) 誤差均方根rms error (Root Mean Squared Error) rms error = 通過若干個(gè)預(yù)測(cè)值對(duì)預(yù)測(cè)效果進(jìn)行綜合評(píng)價(jià)。(4) 絕對(duì)誤差平均MAE (Mean Absolute Error) MAE = 通過若干個(gè)預(yù)測(cè)值對(duì)預(yù)測(cè)的絕對(duì)誤差進(jìn)行綜合評(píng)價(jià)。(5) 相對(duì)誤差絕對(duì)值平均MAPE (Mean Absolute Percentage Error) MAP

15、E = 綜合運(yùn)用以上4種方法，通過若干個(gè)預(yù)測(cè)值對(duì)預(yù)測(cè)的相對(duì)誤差進(jìn)行綜合評(píng)價(jià)。以上5個(gè)式子中，表示預(yù)測(cè)值，yt表示實(shí)際值。公式中的累加范圍是用1至T表示的，當(dāng)然也可以用于樣本外預(yù)測(cè)評(píng)價(jià)。圖3 EViews只給出樣本內(nèi)預(yù)測(cè)評(píng)價(jià)（前三個(gè)指標(biāo)對(duì)應(yīng)于公式3，4，5）Theil不等系數(shù)的范圍是0，13.5 建模過程與應(yīng)注意的問題圖3.41、多元線性回歸模型的計(jì)算過程1）根據(jù)樣本寫出如下矩陣：2）計(jì)算、3）計(jì)算參數(shù)向量B的最小二乘估計(jì)：4）計(jì)算應(yīng)變量向量Y的擬合值：5）計(jì)算殘差的估計(jì)值：6）計(jì)算多重決定系數(shù)及修正后的決定系數(shù)。7）計(jì)算參數(shù)的標(biāo)準(zhǔn)差。8）計(jì)算統(tǒng)計(jì)量t與F的值，作參數(shù)及回歸方程顯著性檢驗(yàn)。9）若

16、模型未通過檢驗(yàn)，則重新建立模型并重復(fù)上述過程；若通過檢驗(yàn)，且滿足模型的古典假定，則可用模型進(jìn)行結(jié)構(gòu)分析或經(jīng)濟(jì)預(yù)測(cè)等實(shí)際應(yīng)用。2、建立模型應(yīng)注意的問題（1）研究經(jīng)濟(jì)變量之間的關(guān)系要剔除物價(jià)變動(dòng)因素。以上圖為例，按當(dāng)年價(jià)格計(jì)算，我國1992年的GDP是1980年的5.9倍，而按固定價(jià)格計(jì)算，我國1992年的GDP是1980年的2.8倍。另外從圖中還可看出，1980-1992期間按名義價(jià)格計(jì)算的GDP曲線一直是上升的，而按不變價(jià)格（1980年價(jià)格）計(jì)算的GDP曲線在1989年出現(xiàn)一次下降?？梢娧芯拷?jīng)濟(jì)變量應(yīng)該剔除物價(jià)變動(dòng)因素。（1988、1989年居民消費(fèi)價(jià)格指數(shù)分別為18.8%、18%。） (2)

17、 依照經(jīng)濟(jì)理論以及對(duì)具體經(jīng)濟(jì)問題的深入分析初步確定解釋變量。例：我國糧食產(chǎn)量 = f（耕地面積、農(nóng)機(jī)總動(dòng)力、施用化肥量、農(nóng)業(yè)人口等）。但根據(jù)我國目前情況，“耕地面積”不是“糧食產(chǎn)量”的重要解釋變量。糧食產(chǎn)量的提高主要來自科技含量的提高。例：關(guān)于某市的食用油消費(fèi)量，文革前常駐人口肯定是重要解釋變量?，F(xiàn)在則不同，消費(fèi)水平是重要解釋變量，因?yàn)槭秤糜凸?yīng)方式已改變。(3) 當(dāng)引用現(xiàn)成數(shù)據(jù)時(shí)，要注意數(shù)據(jù)的定義是否與所選定的變量定義相符。 例：“農(nóng)業(yè)人口”要區(qū)別是“從事農(nóng)業(yè)勞動(dòng)的人口”還是相對(duì)于城市人口的“農(nóng)業(yè)人口”。 例：2002年起我國將執(zhí)行新的規(guī)定劃分三次產(chǎn)業(yè)。即將農(nóng)、林、牧、副、漁服務(wù)業(yè)從原第三產(chǎn)

18、業(yè)劃歸第一產(chǎn)業(yè)。(4) 通過散點(diǎn)圖，相關(guān)系數(shù)，確定解釋變量與被解釋變量的具體函數(shù)關(guān)系。（線性、非線性、無關(guān)系） 圖3.5（nonli8，1982-1998）（5）謹(jǐn)慎對(duì)待離群值（outlier）。離群值可能是正常值也可能是異常值。不能把建立模型簡(jiǎn)單化為一個(gè)純數(shù)學(xué)過程，目的是尋找經(jīng)濟(jì)規(guī)律。（歐盟對(duì)華投資和中國從歐盟進(jìn)口）年INV（投資）IMPORT（進(jìn)口）19912.56200023.4700019922.42970032.2900019936.71240063.99000199415.3760078.75000199521.31000149.1300199627.37000113.810019

19、9741.71000106.1500199839.78000112.2000圖3.6 把5.1282錯(cuò)輸入為51.28。 (6) 過原點(diǎn)回歸模型與非過原點(diǎn)回歸模型相比有如下不同點(diǎn)。以一元線性過原點(diǎn)模型，yt = b1 xt + ut ，為例，正規(guī)方程只有一個(gè)（不是兩個(gè)），= 2 (yt -xt) (- xt) = 0即 xt = 0，而沒有 = 0，即殘差和等于零不一定成立。可決系數(shù)R 2有時(shí)會(huì)得負(fù)值！原因是有時(shí)會(huì)有SSESST。為維持SSE+SSR=SST，迫使SSR ta) = a, P( t ta) = a圖3.7 圖3.8 (10) 對(duì)于多元回歸模型，當(dāng)解釋變量的量綱不相同時(shí)，不能在估

20、計(jì)的回歸系數(shù)之間比較大小。若要在多元回歸模型中比較解釋變量的相對(duì)重要性，應(yīng)該對(duì)回歸系數(shù)作如下變換* =, j = 1, 2, , k-1 (3.41)其中s(xt) 和s(yt) 分別表示xt 和yt的樣本標(biāo)準(zhǔn)差。*可用來直接比較大小。以二元模型為例，標(biāo)準(zhǔn)化的回歸模型表示如下（標(biāo)準(zhǔn)化后不存在截距項(xiàng)），= b1*+ b2*+ + ut兩側(cè)同乘s(yt)，得(yt -) = b1*(xt1 -) + b2*(xt2 -) + + ut s(yt)因?yàn)榫迭c(diǎn)必在回歸直線上，去掉上式中由均值點(diǎn)構(gòu)成的方程，則必有 yt = b1*xt1 + b2*xt2 + + ut s(yt)所以有bj*= bj,

21、i = 1, 2, k-1, 即 bj* = bj, i = 1, 2, k-1既是 (1.41) 式。 (11) 利用回歸模型預(yù)測(cè)時(shí)，解釋變量的值最好不要離開樣本范圍太遠(yuǎn)。原因是：根據(jù)預(yù)測(cè)公式離樣本平均值越遠(yuǎn)，預(yù)測(cè)誤差越大。以一元回歸模型為例； N (b0 + b1 xF, s 2 (1+) )從公式看，當(dāng)xF =時(shí)，的分布方差最小，即預(yù)測(cè)區(qū)間最小，預(yù)測(cè)精度最高。而預(yù)測(cè)點(diǎn)xF越遠(yuǎn)離，的分布方差越大，即預(yù)測(cè)區(qū)間越大，預(yù)測(cè)精度越差。有時(shí)，樣本以外變量的關(guān)系不清楚。當(dāng)樣本外變量的關(guān)系與樣本內(nèi)變量的關(guān)系完全不同時(shí)，在樣本外預(yù)測(cè)就會(huì)發(fā)生錯(cuò)誤。圖3.10給出青銅硬度與錫含量的關(guān)系曲線。若以錫含量為0-1

22、6%為樣本，求得的關(guān)系近似是線性的。當(dāng)把預(yù)測(cè)點(diǎn)選在錫含量為16%之外時(shí)，顯然這種預(yù)測(cè)會(huì)發(fā)生嚴(yán)重錯(cuò)誤。因?yàn)殄a含量超過16%之后，青銅的硬度急劇下降，不再遵從錫含量為0-16%時(shí)的關(guān)系。 圖3.9 yt的區(qū)間預(yù)測(cè)的變化 圖3.10 青銅硬度與錫含量的關(guān)系(12) 回歸模型的估計(jì)結(jié)果應(yīng)與經(jīng)濟(jì)理論或常識(shí)相一致。如邊際消費(fèi)傾向估計(jì)結(jié)果為1.5，則模型很難被接受。（產(chǎn)出對(duì)勞動(dòng)力的彈性為負(fù)值?。?13) 殘差項(xiàng)應(yīng)非自相關(guān)（用DW檢驗(yàn)，亦可判斷虛假回歸）。否則說明仍有重要解釋變量被遺漏在模型之外。選用的模型形式不妥。(14) 通過對(duì)變量取對(duì)數(shù)消除異方差。(15) 避免多重共線性。(16) 解釋變量應(yīng)具有外生性

23、，與誤差項(xiàng)不相關(guān)。(17) 應(yīng)具有高度概括性。若模型的各種檢驗(yàn)及預(yù)測(cè)能力大致相同，應(yīng)選擇解釋變量較少的一個(gè)。(18) 模型的結(jié)構(gòu)穩(wěn)定性要強(qiáng)，超樣本特性要好。(19) 世界是變化的，應(yīng)該隨時(shí)間的推移及時(shí)修改模型。建模案例1：全國味精需求量的計(jì)量經(jīng)濟(jì)模型（file:1c02） 1依據(jù)經(jīng)濟(jì)理論選擇影響味精需求量變化的因素 依據(jù)經(jīng)濟(jì)理論一種商品的需求量主要取決于四個(gè)因素，即商品價(jià)格，代用品價(jià)格，消費(fèi)者收入水平，消費(fèi)者偏好。模型為： 商品需求量 = f (商品價(jià)格，代用品價(jià)格，收入水平，消費(fèi)者偏好)對(duì)于特定商品味精，當(dāng)建立模型時(shí)要對(duì)上述四個(gè)因素能否作為重要解釋變量逐一鑒別。商品價(jià)格：味精是一種生活常用品

24、，當(dāng)時(shí)又是一種價(jià)格較高的調(diào)味品。初步判斷價(jià)格會(huì)對(duì)需求量產(chǎn)生影響。所以確定價(jià)格作為一個(gè)重要解釋變量。代用品價(jià)格：味精是一種獨(dú)特的調(diào)味品，目前尚沒有替代商品。所以不考慮代用品價(jià)格這一因素。消費(fèi)者收入：顯然消費(fèi)者收入應(yīng)該是一個(gè)較重要的解釋變量。偏好：由于因偏好不食味精或大量食用味精的情形很少見，所以每人用量只會(huì)在小范圍內(nèi)波動(dòng)，所以不把偏好作為重要解釋變量，而歸并入隨機(jī)誤差項(xiàng)。分析結(jié)果，針對(duì)味精需求量只考慮兩個(gè)重要解釋變量，商品價(jià)格和消費(fèi)者收入水平。 味精需求量 = f (商品價(jià)格，收入水平) 2選擇恰當(dāng)?shù)淖兞浚纫紤]代表性，也要考慮可能性）用銷售量代替需求量。因需求量不易度量，味精是自由銷售商品，

25、不存在囤積現(xiàn)象，所以銷售量可較好地代表需求量。味精商品價(jià)格即銷售價(jià)格。用人均消費(fèi)水平代替收入水平。因?yàn)橄M(fèi)水平與味精銷售量關(guān)系更密切。消費(fèi)水平數(shù)據(jù)在統(tǒng)計(jì)年鑒上便于查找（收入水平的資料不全）。 味精銷售量 = f (銷售價(jià)格，人均消費(fèi)水平)用平均價(jià)格作為銷售價(jià)格的代表變量。不同地區(qū)和不同品牌的味精價(jià)格是不一樣的，應(yīng)取平均價(jià)格（加權(quán)平均最好）。取不變價(jià)格的人均消費(fèi)水平：消費(fèi)水平都是用當(dāng)年價(jià)格計(jì)算的，應(yīng)用物價(jià)指數(shù)進(jìn)行修正。 味精銷售量 = f (平均銷售價(jià)格，不變價(jià)格的消費(fèi)水平) 3 收集樣本數(shù)據(jù)（抽樣調(diào)查，引用數(shù)據(jù)）從中國統(tǒng)計(jì)年鑒和有關(guān)部門收集樣本數(shù)據(jù) (1972-1982, T = 11。數(shù)據(jù)見下頁。)。定義銷售量為yt（噸），平均銷售價(jià)格為x1（元 / 公斤），不變價(jià)格的消費(fèi)水平為 x2（元）。相關(guān)系數(shù)表如下：平均銷售價(jià)格 (x1t)不變價(jià)格的消費(fèi)水平 (x2t)味精銷售量(yt)-0.36710.9771注：臨界值r0.05 (9) = 0.60。 4 確定模型形式并估計(jì)參數(shù) = -144680.9 + 6313.4 x1t + 690.4 x2t （1） (-3.92) (2.17) (1