第6章(多元線性回歸的向量表述)

1、計量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽志剛等編著。1第6章 多元線性回歸的向量表述 多元線性回歸模型的向量形式最小二乘法（OLS）的向量表述最小二乘估計量的性質(zhì)LR、Wald和LM檢驗 案例分析計量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽志剛等編著。2多元線性回歸模型的一般形式多元線性回歸模型的一般形式 在實際經(jīng)濟(jì)問題中，一個變量往往受到多個原因變量的影響，在線性回歸模型中則表現(xiàn)為有多個解釋變量，這樣的模型被稱為多元線性回歸模型。 模型的一般形式如下：模型的一般形式如下： ikikiiiXXXY 22110 i=1,2,n (2.3.1)其中：k 為解釋變量的數(shù)目；其中：K為解釋變量個數(shù)

2、；K+1為未知參數(shù)個數(shù) 模型中的未知參數(shù) 稱為偏回歸系數(shù)， 的數(shù)值結(jié)果表明，當(dāng)其他變量保持不變的情況下，X X1 1 增加一個單位，Y Y 平均增加 個單位； 的數(shù)值表明，當(dāng)其他變量保持不變時， X X2 2 增加一個單位，Y Y平均增加 個單位，以此類推。1122計量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽志剛等編著。3第6章 多元線性回歸的向量表述 6.1 多元線性回歸模型的向量表述01 122iiikkiiYxxx1,2,in上式是由n個方程，k+1個未知參數(shù)組成的一個線性方程組，即：101 1122111201 122222201 122kkkknnnkknnYxxxYxxxYxxx把

3、線性方程組寫成矩陣的形式： 計量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽志剛等編著。40112111111222222212111kknnnknnkXXXYXXXYYXXX這個模型相應(yīng)的矩陣表達(dá)式簡記為 YX其中：01121111112222222121(1)1(1) 111,1kknnnknnnnknkkXXXYXXXYYXYXXX 計量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽志剛等編著。5多元線性回歸模型的四種向量表述多元線性回歸模型的四種向量表述 真實的回歸模型：真實的回歸模型： 估計的回歸模型：估計的回歸模型： 真實的回歸線：真實的回歸線： 樣本回歸線：樣本回歸線：YXYXYXYX計量

4、經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽志剛等編著。66.2 OLS估計量的向量表述估計量的向量表述 1()X XX Y因此，回歸參數(shù)的因此，回歸參數(shù)的OLS估計量為：估計量為：計量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽志剛等編著。76.2 OLS估計量的向量表述估計量的向量表述 注：注：OLSOLS估計量中隱含了一個假設(shè)條件估計量中隱含了一個假設(shè)條件 , ,只要模型及樣本數(shù)只要模型及樣本數(shù)據(jù)滿足第四章的假定據(jù)滿足第四章的假定7 7，則，則 一定成立。一定成立。0X X 0X X 計量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽志剛等編著。8隨機誤差項的方差 的估計因為殘差可以表示為： 矩陣 是

5、對稱的冪等矩陣，冪等矩陣是指自身相乘后仍等于自身的矩陣，即 。因此殘差平方和可以表示為：兩邊求期望得： 21111()()()()()uYXYXX XX YIX X XX YIX X XXXuIX X XX uMu1()MIX X XX2MM Quuu M Muu Mu1( ) () E QE u IXX XX u計量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽志剛等編著。9隨機誤差項的方差 的估計由于殘差的平方和是標(biāo)量(Scalar)，可以采用跡(Trace)，即：根據(jù)跡運算的性質(zhì)tr(AB)=tr(BA),上式為：即：所以 的無偏估計量是： 1( ) () E QE tr u IXX XX u

6、112121212( ) ()() () ( )() ( )()()(1)KE QE tr IXX XX uutr IXX XX E uutr Itr XX XXtr ItrX XX XNtr INK2 ()()11QuuEENKNK211QRSSNKNK22計量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽志剛等編著。10OLSOLS估計量估計量 的方差的方差- -協(xié)方差估計協(xié)方差估計因為：則：111()()()()X XX YX XXXuX XX u111121var( )()() ()()()()()()EEX XX uX XX uX XX E uu X X XX X計量經(jīng)濟(jì)學(xué)，高教出版社，王

7、少平、楊繼生、歐陽志剛等編著。11 一、OLS估計量的有限樣本性質(zhì) 在滿足基本假設(shè)的情況下，其結(jié)構(gòu)參數(shù) 的普通最小二乘估計普通最小二乘估計(OLS)(OLS)具有：線性性線性性、無偏性無偏性、有效性有效性。同時，隨著樣本容量增加，參數(shù)估計量具有：一致性、漸近正態(tài)性一致性、漸近正態(tài)性。1 1、線性性、線性性其中,C=(XX)-1 X 為一僅與固定的X有關(guān)的行向量。2、無偏性、無偏性這里利用了假設(shè): E(X )=0 CYYXXX1)(6.3 最小二乘（最小二乘（OLS）估計量的性質(zhì)）估計量的性質(zhì)XXXXXXXYXXX11)()()()()()(1EEEE計量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽

8、志剛等編著。12 3 3、有效性（最小方差性）、有效性（最小方差性） 所謂有效性是指在所有線性無偏估計量中，OLS估計量具有最小方差。為了證明OLS估計量的有效性，現(xiàn)假設(shè)有另一任意的線性無偏估計量：其中矩陣A和C是與X矩陣有關(guān)的(K+1)N階矩陣，上式：為了滿足無偏性，AX=I必須成立，I是單位矩陣。上式可以得到CX=0，同時意味著 ，所以： 1()AYX XXC Y()AYA XuAXAu1()CAX XX()CYC XuCu121()() ()()0EE X XX uuCX XX C計量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽志剛等編著。13因此估計量 的方差-協(xié)方差矩陣為：顯然要使得 的

9、方差最小，必須使C=0，所以 是所有無偏估計量中方差最小的，即OLS估計量具有有效性。 總結(jié)：總結(jié)：高斯馬爾可夫定理(Gauss-Markov theorem) 在給定經(jīng)典線性回歸的假定下，最小二乘估計量是具有最小方差的線性無偏估計量,即OLS估計量是BLUE估計量。var( )var()var()var( )CY計量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽志剛等編著。14二、二、OLSOLS估計量的漸近性質(zhì)估計量的漸近性質(zhì)1.OLS估計量是一致估計量 一致估計量是指對于回歸參數(shù)的真實值 ，樣本容量為N時的OLS估計量記為 ，隨著樣本容量N的逐步增大， 即：2.OLS估計量的正態(tài)性 正態(tài)性是指

10、，在大樣本下，OLS估計量的分布收斂到正態(tài)分布。設(shè) ，則： Nlim()NNp111lim ()NNX XQ21()(0,)dNNQ 計量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽志剛等編著。15補充：樣本容量問題補充：樣本容量問題 最小樣本容量最小樣本容量 所謂“最小樣本容量”，即從最小二乘原理和最大似然原理出發(fā)，欲得到參數(shù)估計量，不管其質(zhì)量如何，所要求的樣本容量的下限。 樣本最小容量必須不少于模型中解釋變量的數(shù)目（包括常數(shù)項）,即 n k+1因為，無多重共線性要求：秩(X)=k+1計量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽志剛等編著。16 2 2、滿足基本要求的樣本容量、滿足基本要求的樣本

11、容量 從統(tǒng)計檢驗的角度： n30 時，Z檢驗才能應(yīng)用； n-k8時, t分布較為穩(wěn)定 一般經(jīng)驗認(rèn)為: 當(dāng)n30或者至少n3(k+1)時，才能說滿足模型估計的基本要求。 模型的良好性質(zhì)只有在大樣本下才能得到理論上的證明。 計量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽志剛等編著。176.4 LR、Wald和和LM檢驗檢驗1.1.似然比似然比(LR)(LR)檢驗檢驗似然比檢驗是三種檢驗中最簡單的，其原假設(shè)和備選假設(shè)分別為： HA：原假設(shè)的約束條件中至少有一個不成立 LR檢驗統(tǒng)計量等于似然函數(shù)的無約束極大值和有約束極大值之差的兩倍，即：其中 分別表示模型中參數(shù)向量的無約束和有約束的極大似然估計結(jié)果。L

12、R檢驗的基本思想是：如果約束條件為真，則無約束和有約束的似然函數(shù)極大值不應(yīng)有顯著的差異，所以，如果二者存在較大差異則認(rèn)為約束條件不成立。 在大樣本下： q 表示約束條件的個數(shù)。 0:( )0Hf2ln( )ln( )LRLFLF, 2( )asyLRq 計量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽志剛等編著。18LR檢驗的判別規(guī)則： 如果 ，則拒絕原假設(shè)；反之不能拒絕原假設(shè)。2.Wald2.Wald檢驗檢驗 LR檢驗既要估計約束條件下的極大似然函數(shù)值，又要估計無約束下的極大似然函數(shù)值，但當(dāng)約束模型的估計很困難時，檢驗就不適用了。而Wald檢驗則只需要對無約束模型進(jìn)行極大似然估計，所以比LR檢驗

13、具有一定的優(yōu)勢。 Wald檢驗的原假設(shè)和備擇假設(shè)為： HA：原假設(shè)的約束條件中至少有一個不成立。如果約束條件是成立的，我們用參數(shù)估計值 來代替參數(shù) ， 應(yīng)該很接近0；而如果約束條件不成立， 將顯著地偏離0。因此構(gòu)造以下統(tǒng)計量： 2( )LRq0:( )0Hf( )f( )f1( ) var( ( )( )Wfff計量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽志剛等編著。19 在原假設(shè)成立的條件下，在大樣本下Wald統(tǒng)計量具有以下漸近分布：q為約束條件的個數(shù)。 Wald檢驗的判別規(guī)則： 如果 ，則拒絕原假設(shè)；反之就不能拒絕原假設(shè)。3.LM檢驗檢驗 當(dāng)無約束模型的估計較容易時，采用Wald檢驗較方便

14、，但是當(dāng)無約束模型的估計很難或根本不可能時，只能采用LM檢驗，LM檢驗又稱為得分檢驗(Score Test)。 LM檢驗的基本方法是首先給出無約束的對數(shù)似然函數(shù)： 2( )asyWq 2( )Wq2ln( ,)LF 計量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽志剛等編著。20對于無約束極大似然估計量 必然有： j=1,2,k 若約束條件成立，則施加約束條件下極大似然估計量 應(yīng)與不施加約束條件下的極大似然估計量 非常接近。也就是說，如果約束條件 成立， 應(yīng)近似為零。拉格朗日乘子檢驗的原理是：如果 顯著不為零，則說明約束條件不成立。 LM檢驗統(tǒng)計量被定義為：其中： 為信息矩陣。在約束條件成立的條件

15、下，LM統(tǒng)計量漸近地服從：q也是約束條件個數(shù)，判別規(guī)則與前面兩種檢驗方法相同。 jln0jLFjjln/jLFln/jLF1lnln( )LFLFLMI( )I2( )asyLMq 計量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽志剛等編著。21對三個檢驗統(tǒng)計量的說明對三個檢驗統(tǒng)計量的說明1.可以證明，當(dāng)樣本容量趨于無窮大時，三種檢驗統(tǒng)計量都具有同樣的極限分布，檢驗結(jié)果是一致的，即三者在大樣本下，同時拒絕原假設(shè)或同時不拒絕原假設(shè)，這被稱為漸近等價； 而對于小或中等樣本容量來說，三者的表現(xiàn)不同且未知，檢驗結(jié)果可能不一致。 在實際應(yīng)用中，對于小或中等樣本容量，在進(jìn)行線性約束檢驗時，通常的F統(tǒng)計量可能更為有效。2.三種檢驗統(tǒng)計量均采用極大似然估計量。LR檢驗同時進(jìn)行有約束和無約束的極大似然估計；Wald只需做無約束極大似然估計；而LM只需做有約束的極大似然估計。3.對于線性回歸模型而言，在有限樣本或小樣本中，WLRLM 。計量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽志剛等編著。226.5 案例分析案例分析計量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽志剛等編著。23計量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽志剛等編著。24計量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐