計量經(jīng)濟學(xué)講義第一講(共十講)

1、第一講普通最小二乘法的代數(shù)一、問題假定y與x具有近似的線性關(guān)系：y 0 低 , 其中是隨機誤差項。我們對°、1這兩個參數(shù)的值一無所知。我們的任務(wù)是利用樣本數(shù)據(jù)去猜想 °、勺 取值?，F(xiàn)在，我們手中就有一個樣本容量為 N的樣本， 其觀測值是：，為,®*yNX。問題是，如 何利用該樣本來猜想°、 i的取值？為了答復(fù)上述問題，我們可以首先畫出這些觀察 值的散點圖橫軸x,縱軸y。既然y與x具有近似 的線性關(guān)系，那么我們就在圖中擬合一條直線： ? ?0 ?x。該直線是對y與x的真實關(guān)系的近似， 而?°, ?分別是對°, 1的猜想估計。問題是，如何

2、 確定？。與？，以使我們的猜想看起來是合理的呢？ 筆記：1、為什么要假定y與x的關(guān)系是y °1x 呢？ 一種合理的解釋是，某一經(jīng)濟學(xué)理論認為 x與y具有線性的因果關(guān)系。 該理論在討論x與y的關(guān)系時認為影響y的其他因素是不重要 的，這些因素對y的影響即為模型中的誤差項。2、y °1x 被稱為總體回歸模型。由該模型有：Ey|x ° 必 E |x o既然 代表其他不重要因素對y的影響，因此標準假定是：E( x) 0。故進而有： E(y|x)°1x ,這被稱為總體回歸方程(函數(shù))，而?乂相應(yīng)地被稱為樣本回歸方程。由樣本回歸方程確定的？與y是有差異的，y ?被稱為

3、殘差？。進而有： y?x ?，這被稱為樣本回歸模型。二、兩種思考方法法一：(yi, y2，,y)與(? ?2,., ?n)是N維空間的兩點， ?0與？的選擇應(yīng)該是這兩點的距離最短。這可以歸結(jié) 為求解一個數(shù)學(xué)問題：NNlyiiq (yi R)2 MB (yi ?)?x)2o， 1 j io， 1 i 1由于y ?是殘差？的定義，因此上述獲得？。與？的方 法即是？o與？的值應(yīng)該使殘差平方和最小。法二：給定人，看起來與？越近越好(最近距離是0)。 然而，當你選擇擬合直線使得y與？是相當近的時候， yj與？的距離也許變遠了，因此存在一個權(quán)衡。一種 簡單的權(quán)衡方式是，給定x1,x2,.,xn，擬合直線的

4、選擇 應(yīng)該使yi與y2、y2與y2、yN與？N的距離的平均值 是最小的。距離是一個絕對值，數(shù)學(xué)處理較為麻煩，因此，我們把第二種思考方法轉(zhuǎn)化求解數(shù)學(xué)問題：NNMin yi ?2/N% 彳？x2/no， 1 j i0，1 i 1由于N為常數(shù)，因此法一與法二對于求解與？的值 是無差異的。三、求解定義Q(yi1?xj2，利用一階條件，有:Q?02( yi?xj( 1) 0(yi(1)由1也有:在這里y -NyNyi、i 1?x過點x,y，即穿過這說明：1、樣本回歸函數(shù)筆記:?數(shù)據(jù)集的中心位置；2、? y 你能證明嗎？，這意味著，盡 管？0、?的取值不能保證? yi，但?的取值能夠保證?的平均值與y的平

5、均值相等；3、雖然不能保證每一個殘差都為0，但我們可以保證殘差的平均值為 0。從直覺上看， 、?作 為對°、,的一個良好的猜想，它們應(yīng)該滿足這樣的性質(zhì)。Q ?12( y(y ?0?Xi)( Xi)?*)X 00(2)c?Xi0筆記：對于簡單線性回歸模型：y 01X，在OLS法下，由正規(guī)方程1可知，殘差之和為零【注意：只有擬合直線帶有截距時才存在正規(guī)方程1 】。由正規(guī)方程2，并結(jié)合正規(guī) 方程1有： 見練習(xí)1提示?Xj 0? ?Xj? ?Xj x 0Cov ?, x 0無論用何種估計方法，我們都希望殘差所包含的信息價值很小， 如果殘差還含有大量的信息價值，那么該估計方法是需要改良 的！對

6、模型y 01X 利用OLS，我們能保證1:殘差均值為零；2殘差與解釋變量x不相關(guān)【一個變量與另一個變 量相關(guān)是一個重要的信息】。方程(1)與(2)被稱為正規(guī)方程，把?0 y ?x帶 入( 2),有：yi y?(Xi x)務(wù) 0?(比 y)x1(Xi x)x上述獲得？0、？的方法就是普通最小二乘法(OLS )。 練習(xí)：(1) 驗證：? (y y)x(yi y)(x X)(Xi x)yi 1 2 2 (X x)x(Xi x)(Xi x)人 y nx yX2 NX2_N提示：定義Zi的離差為zi乙 Z，那么離差之和z 0必為i 1零。利用這個簡單的代數(shù)性質(zhì)，不難得到：(Yi y)(Xi X)(yi

7、y)Xi(yi y)(Xi x)y(N X)筆記：定義y與x的樣本協(xié)方差、x的樣本方差分別為：Cov(x,y) (x x)(yi y)/N一 2 ，Var(x) (xi x)2 / N那么？ Cov(xLy)。Var (x)上述定義的樣本協(xié)方差及其樣本方差分別是對總體協(xié)方差xy及其總體方差 :的有偏估計。相應(yīng)的無偏估計是：sxy(X x)(y y)/(N 1)s2(Xi x)2/(N 1)基于前述對Var(x)與Cov(x, y)的定義，可以驗證：Var(a bx) b2Var(x)Cov(a bx, y) bCov(x, y)其中a，b是常數(shù)。值得指出的是，在本講義中，在沒有引起混 淆的情況

8、下，我們有時也用 Var(x)、Cov(x, y)來表示總體方 差與協(xié)方差，不過上述公式同樣成立。(2) 假定y x ，用OLS法擬合一個過原點的直 線：？ ？x，求證在OLS法下有：?K yi' 2并驗證：y2呼 ？筆記：1、現(xiàn)在只有一個正規(guī)方程，該正規(guī)方程同樣說明?Xj 0。然而，由于模型無截距，因此在 OLS法下我們不能保證?0恒成立。所以，盡管0成立，但現(xiàn)在該式并不意味著Cov(?x) 0成立。2、無截距回歸公式的一個應(yīng)用：y0Ixii(y.y)i(* x)(i)y0ix定義Fiy,y、D k x、ei，那么R11Die。按照OLS無截距回歸公式，有：?FiDi(y, y)(x

9、x)Di2(K x)2(3) 假定y，用OLS法擬合一水平直線，即：?，求證? y。筆記：證明上式有兩種思路，一種思路是求解一個最優(yōu)化問題，我們所獲得的一個正規(guī)方程同樣是？ 0 ；另外一種思路是，模型y是模型y x的特例，利用0的結(jié)論，注意到此時xi 1，因此同樣有？ 0。(4) 對模型y°1X 進OLS估計，證明殘差與?樣本不相關(guān)，即Cov(?) 0。四、擬合程度的判斷(一)方差分解及其 R2的定義可以證明，Var(y) Var(0 Var( ?)證明：y ? ? Var(y) Var(?) Var(?) 2Cov(?, ?)Q Cov(?, ?) Cov( ?0?x, ?) ?C

10、ov(x, ?) 0Var(y) Var(?) Var (?)方差表示一個變量波動的信息。方差分解亦是信息分解。建立樣本回歸函數(shù)y? ?0?x時，從直覺上看，我們當然希望關(guān)于？的波動信息能夠最大程度地表達 關(guān)于y的波動信息。因此，我們定義判定系數(shù)R2 Var(y)，顯然，0 R2 1。如果R2大，那么y的波Var(y)動信息就越能夠被y?的波動信息所表達。r2也被稱為 擬合優(yōu)度。當R2 1時，Var(?) 0，而殘差均值又為 零，因此著各殘差必都為零，故樣本回歸直線與樣本 數(shù)據(jù)完全擬合。(二)總平方和、解釋平方和與殘差平方和定義：TSS(yy)2ESS(?)2(? y)RSS(?)2?2i其中

11、TSS、ESS、RSS分別被稱為總平方和、解釋平 方和與殘差平方和。根據(jù)方差分解，必有： 2TSS=ESS+RSS 因此，R ESS/TSS 1 RSS/TSS(三)關(guān)于R2的根本結(jié)論1、R2也是y與y?的樣本相關(guān)系數(shù)r的平方。 證明：y ?Var(?)Var(?)Var(y)2、對于簡單線性回歸模型：y 與x的樣本相關(guān)系數(shù)的平方。 證明：r2Cov2(y,?)Var(y)Var(?)Cov(y,x)? Cov(y,?) Cov2 (y, ?) Var(y)Var(?)Cov( ? ?)Var(?)R20 ix2O OCov (y,。+ ?x)Var(y)Var( ?+ ?x)jVar(y)

12、Var (x)】練習(xí)：(1) 對于模型：y(2) 對于模型：y °2?2Var(x)R 1Var(y)/-R.軟件包通常是利用公式，R2 是 y?2Cov2(y,x)?Yar (y)Var(x)，證明在OLS法下R2=0。ix，證明在OLS法R21 RSS/TSS，其中RSS?2來計算R2。應(yīng)該注意到，我們在得到結(jié)論(y y)2(y? y)2?2 時利用了 ？ 0 的性質(zhì)，而該性質(zhì)只有在擬合直線帶有截距時才成立，因 此，如果擬合直線無截距，那么上述結(jié)論并不一定成立, 因此，此時我們不能保證 R2為一非負值。總而言之, 在利用R2時，我們的模型一定要帶有截距。當然，還 有一個大前提，即

13、我們所采用的估計方法是 OLS。五、自由度與調(diào)整的R2如果在模型中增加解釋變量，那么總的平方和不 變，但殘差平方和至少不會增加，一般是減少的。為什么呢？舉一個例子。假設(shè)我們用OLS法得到的模型 估計結(jié)果是：?0 ?Xi ?X2i，此時，OLS法估計等價于求解最小化問題：N? ? ? 2?m?n? (yi $?冷纟 x"0，1，2 i 1令最后所獲得的目標函數(shù)值(也就是殘差平方和) 為RSS1。現(xiàn)在考慮對該優(yōu)化問題施加約束：?2 0并 求解，那么得到目標函數(shù)值 RSS2。比擬上述兩種情況，相對于 RSS1， RSS2是局部 最小。因此，RSS1小于或等于RSS2。應(yīng)該注意到， 原優(yōu)化問

14、題施加約束后對應(yīng)于模型估計結(jié)果：?0'lX1i因此，如果單純依據(jù) R2標準，我們應(yīng)該增加解釋 變量以使模型擬合得更好。增加解釋變量將增加待估 計的參數(shù)，在樣本容量有限的情況下，這并不一定是 明智之舉。這涉及到自由度問題。什么叫自由度？假設(shè)變量x可以自由地取N個值 人公2,xQ，那么x的自由度就是N。然而，如果施 加一個約束， x a，a為常數(shù)，那么x的自由度就 減少了，新的自由度就是N-1?？紤]在樣本回歸直線？?劑 ？X2i下殘差?的自由度問題。對殘差有多少約束？根據(jù)正規(guī)方程 12，有： ？0;?片0，因此存在兩個約束。故殘差的自由度是N-2。如果當樣本回歸函數(shù)是： ? ?0 ?x ?

15、2z，那么殘差的自由度為N-3。顯然，待 估計的參數(shù)越多，那么殘差的自由度越小。自由度過少會帶來什么問題？簡單來說，自由度 過少會使估計精度很低。例如，我們從總體中隨機抽 取Xi,X2,.,Xn來計算x以作總體均值的估計，現(xiàn)在x的 自由度是N，顯然N越大那么以x作為總體均值的估計 越精確。根據(jù)正規(guī)方程，我們是通過殘差來獲得對參數(shù)的 估計，因此，殘差自由度過少意味著我們對參數(shù)的估 計也是不精確的。筆記：舉一個極端的例子，對簡單線性回歸模型，假定我們只有兩 次觀測(y1,x1)、(y2,x2)。顯然，我們可以保證 r2=i，即完全 擬合。但我們得到的這個擬合直線很可能與y與x的真實關(guān)系相去甚遠，畢

16、竟我們只有兩次觀測。事實上，此時殘差的自由度為0 ！我們經(jīng)常需要對估計方法進行自由度調(diào)整。例如，當利用公式Var(x) (x x)2/N來估計總體方差 時，我們實際上是對變量(x x)2求樣本均值。然而應(yīng) 該注意到，約束條件 (x x) 0恒成立，這意味著 變量(x x)2的自由度是N-1而不是N?，F(xiàn)在對估計方 法進行自由度調(diào)整，利用S -(xi x)2作為對N 1總體方差的估計。上述兩種估計具有什么不同的后果 呢？可以證明，Var(x)是有偏估計而S：是無偏估計。 筆記：什么叫有偏估計？如果我們無限次重復(fù)抽取樣本容量為N的樣本，針對每一個樣本都可以依據(jù)公式 Var(x) & x)2

17、/ N計算總體方差的一個估計值。然后， 對這些方差的估計值計算平均值，如果該平均值不等于總體方 差，那么我們就稱 Var(x)是對總體方差的一個有偏估計。抽象一點，即 EVar(x)R2無視了自由度調(diào)整，這由下面的推導(dǎo)可以看出：丄？26R2 1 HyTN |11 (y y)2Var(y)重新定義一個指標，在這里，Var( ?)與Var(y)都是對相應(yīng)總體方差的有偏 估計?，F(xiàn)在我們對自由度作調(diào)整， 即所謂的調(diào)整的R2( R2)：RSS/(N 2)TSS/(N 1)-?R2 1 J 2(y y)2N 1應(yīng)該注意到，如果是針對多元線性回歸模型，待估 計的斜率參數(shù)有k個，另外還有1個截距(即總的待 估

18、計系數(shù)參數(shù)的個數(shù)為k+1個)，那么上述公式就是：R2 1RSS/(N k 1)TSS/(N 1)21(1 R)R2 R2,且可能為負數(shù)思考題:如果用增加解釋變量的方法來提高 R2，這一定會 提高R2嗎？筆記：假設(shè)甲同學(xué)的回歸結(jié)果是 y ?0?羽 與x2?,而乙同學(xué)的回歸結(jié)果是y ? ?人 ？。甲同學(xué)足夠幸運，他獲得 的R2確實比乙同學(xué)所獲得的高，但這是否就意味著，依據(jù)已有 的樣本，甲同學(xué)所選取的模型就一定優(yōu)于乙同學(xué)所選取的呢？答 案是“不一定！對模型的選取不能僅僅依靠 R2這個指標，其 他的因素應(yīng)該被考慮，例如，模型是否符合經(jīng)濟學(xué)理論，估計參 數(shù)是否有符合預(yù)期的符號，這些因素在模型選擇時都十分

19、重要。 另外一點也特別要引起重視， 即被解釋變量不同的模型 例如一 個模型的被解釋變量是log y，而另一個模型其被解釋變量是 y 其R2 或者R2是不可比的?？偠灾?，初學(xué)者要堅決抵抗僅 僅依靠R2來進行模型選擇的誘惑！六、簡單線性回歸模型的拓展：多元線性回歸模型考慮?0 ?X1?2x2，各系數(shù)的估計按照OLS是求解數(shù)學(xué)問題：?2in?1M?。di?2 n 1,diXX?1?oX2?2因此，存在三個正規(guī)方程:(y? ?o?X,i?2x2i )? 0(y?0?xii?2x2i )xii?x1i0(yi?0?xii?2x2i )x2i?x2i0第一個方程意味著殘差之和為零，也意味著? y及其-?

20、 ? ?-y ?o ?xi 億筆記：第一個正規(guī)方程 ？ o可以被改寫為?x°j O,Xoi 1。第二個方程結(jié)合第一個正規(guī)方程意味著殘差與Xi樣本不相關(guān)；第三個方程結(jié)合第一個正規(guī)方程意味著殘差與X2樣本不相關(guān)。根據(jù)上述三個方程，可以獲得 ?0、？?2，在此不給出具體公式。筆記：對于估計結(jié)果? ?) ?人 ?2x2，是不是?2的數(shù)值大于 ?就一定意味著在解釋變量y時x2比x1更加重要呢？答案是“不一定！這是因為，通過對 x2與x1取不同的測量單位，那 么x2與x1前面的估計系數(shù)值將發(fā)生改變。有一種方法可以使估 計系數(shù)不隨解釋變量的測度單位變化而變化，其根本原理如下：Yi3 (啓 i (?

21、2SySy Sx-|? SX2X2)SySX2X21 ?Sy在這里s表示變量的樣本標準差。定義:JyySyXiXiSxiX2X2*? Sy? SX2'2Syb2zxi2?b2? SXl'1sy那么有：Zy bfZxi在新模型中，解釋變量是原變量的標準化，它是無量綱的。保持其他因素不變，當zXii i時，zy bi。注意到zXi(Xii *)，當樣本容量很大時Xi與Sx,分別和總體均值Sxiux及其總體標準差x近似，因此Z勺Xi /鼻。類似，Zy yi / Syi。 zXii i意味著Xii Sx，因此對b的一個 翻譯是，保持其他因素不變，當 xi變化一個標準差時，y約將變 化I

22、?個標準差。類似可以對b2進行翻譯。b被稱為標準化系數(shù)或者系數(shù)。在實踐中，我們可以先利用標準化變量進行無截距回歸得到標準化系數(shù)，然后反推出非標 準化變量回歸模型中的各個斜率系數(shù)的估計值。七、OLS的矩陣代數(shù)(一)矩陣表示總體多元回歸模型是:yio ixii2 X?ikxkii,i 1,N如果用矩陣來描述，首先定義以下向量與矩陣Vi11 X11LXk10丫V2 ,U2,X (?XY)XY ( ?X ? XX ? ( ?XX) 2XX ? ?故, XY XX ?，貝U ? (XX) 1(XY)筆記：1、(ab)/ b (ba)/ b a (bAb)/ b 2Ab。在這里, X12LXk21MMM MOMMyNN1 X1NLXkNk模型的矩陣表示：丫 XUX ?)(丫X ?)，有:二如何得到OLS估計量？求解一個最小化問題：M?n Y(丫 X?)(丫 X?)(丫 ？x)(丫 X?)?(丫丫 YX ? ?XY ?XX ?) 0 ?0而根據(jù)矩陣微分的知識(見下面的筆記)，有：j丫丫！ o "骨(yx) xy am i是向量，Am m是對稱矩陣，a b與b Ab都是標量。重要規(guī) 那么是：一個標量關(guān)于一個列向量的導(dǎo)數(shù)仍是列向量，并且維數(shù)保持不變。2、矩陣微分規(guī)那么與標準的微積分學(xué)中的微分規(guī)那么具