張曉彤計量經(jīng)濟(jì)學(xué)基礎(chǔ)-第三章

1、第第3 3章章 多元線性回歸模型多元線性回歸模型3.1 3.1 模型的建立及其假定條件模型的建立及其假定條件 1.基本概念基本概念 多元總體線性回歸模型：多元總體線性回歸模型： Y=Y=0 0+1 1X X1 1+2 2X X2 2+ +k kX Xk k+u+u 多元總體線性回歸方程：多元總體線性回歸方程： E(Y)=E(Y)=0 0+1 1X X1 1+2 2X X2 2+ +k kX Xk k1 樣本數(shù)據(jù)結(jié)構(gòu)形式的多元總體線性回歸模型：樣本數(shù)據(jù)結(jié)構(gòu)形式的多元總體線性回歸模型： Y Yi i=0 0+1 1X X1i1i+2 2X X2i2i+ +k kX Xkiki+u+ui i,i=1

2、,2,i=1,2,n,n 它是由它是由n n個方程，個方程，k+1k+1個未知參數(shù)組成的一個線性方程組，個未知參數(shù)組成的一個線性方程組， 即即 這個模型相應(yīng)的矩陣表達(dá)形式是這個模型相應(yīng)的矩陣表達(dá)形式是 Y=X+U2nknknnnkkkkuXXXYuXXXYuXXXY2211022222121021121211101 其中其中3121nnYYYY121nnuuuU1) 1(210kk) 1(212221212111111knknnnkkXXXXXXXXXX 多元樣本線性回歸方程：多元樣本線性回歸方程： 估計的回歸方程的矩陣表達(dá)形式是：估計的回歸方程的矩陣表達(dá)形式是： 其中其中4niXXXYkik

3、iii, 2 , 1,22110XY 121nnYYYY1) 1(210kk 2.模型的假定模型的假定 （1 1）E(uE(ui i)=0)=0，i=1,2,i=1,2,n,n （2 2）Var(uVar(ui i)=E(u)=E(ui i2 2)=)=2 2, i=1,2, i=1,2,n,n （3 3）Cov(uCov(ui i,u,uj j)=E(u)=E(ui iu uj j)=0)=0，ij,i,j=1,2,ij,i,j=1,2,n,n （4 4）Cov(XCov(Xijiju uj j)=0(i=1,2,)=0(i=1,2,k,j=1,2,k,j=1,2,n),n)且且 Cov(X

4、Cov(Xk kX Xl l)=0(kl)=0(kl)。 （5 5）rank(X)=k+1nrank(X)=k+1n （6 6）u ui iN(0,N(0,2 2) )，i=1,2,i=1,2,n,n5 引進(jìn)向量、矩陣記法后，模型的基本假定引進(jìn)向量、矩陣記法后，模型的基本假定1 1、2 2、3 3三條，三條，可以綜合為誤差向量可以綜合為誤差向量U U的方差的方差協(xié)方差矩陣為對角矩陣：協(xié)方差矩陣為對角矩陣： 滿足這種假定的誤差項稱為滿足這種假定的誤差項稱為“球形擾動球形擾動”。6nnnnnnnnnIuuuuuuuuuuuuuuuEuuuuuuEUUEUEUUEUEUVar222222122212

5、121212121),()( )()()(3.2 3.2 最小二乘法最小二乘法 1.1.參數(shù)的最小二乘估計參數(shù)的最小二乘估計 對于含有對于含有k k個解釋變量的多元線性回歸模型個解釋變量的多元線性回歸模型 Y Yi i=0 0+1 1X X1i1i+2 2X X2i2i+ +K KX XKiKi+u+ui i,i=1,2,i=1,2,n,n 和相應(yīng)的估計的樣本回歸方程和相應(yīng)的估計的樣本回歸方程 根據(jù)最小二乘準(zhǔn)則，尋找使下式達(dá)到最小的參數(shù)估計值根據(jù)最小二乘準(zhǔn)則，尋找使下式達(dá)到最小的參數(shù)估計值7kikiiiXXXY221102221102210)()(),(kikiiiiiikXXXYYYeQ 當(dāng)

6、當(dāng)Q Q對對 的一階偏導(dǎo)數(shù)都等于的一階偏導(dǎo)數(shù)都等于0 0，即下列方程組，即下列方程組 同時成立時，同時成立時，Q Q有最小值。有最小值。 對上述方程組加以整理，可得到對上述方程組加以整理，可得到正規(guī)方程組正規(guī)方程組，正規(guī)方程組正規(guī)方程組有有k+1k+1個方程，未知數(shù)也是個方程，未知數(shù)也是k+1k+1個。只要系數(shù)矩陣非奇異個。只要系數(shù)矩陣非奇異( (滿足模型假設(shè)滿足模型假設(shè)5 5，解釋變量之間不存在嚴(yán)格線性關(guān)系即，解釋變量之間不存在嚴(yán)格線性關(guān)系即可可) )，就可以解出，就可以解出 的唯一的一組解，就是的唯一的一組解，就是0 0, , 1 1, ,K K的最小二乘估計值。的最小二乘估計值。8k,1

7、00)()(20)()(20) 1()(2221101221101221100kikikiiikikikiiikikiiiXXXXYQXXXXYQXXXYQk,10 用向量和矩陣的表示方法和運算，多元線性回歸最小二乘估用向量和矩陣的表示方法和運算，多元線性回歸最小二乘估計的推導(dǎo)會簡潔得多。先引進(jìn)參數(shù)估計量、解釋變量回歸值計的推導(dǎo)會簡潔得多。先引進(jìn)參數(shù)估計量、解釋變量回歸值和回歸殘差的下列向量表示：和回歸殘差的下列向量表示：91) 1(210kk121nnYYYY121nneeee 寫成等價的向量方程，則為寫成等價的向量方程，則為 再利用向量、矩陣的運算法則，可以得到殘差平方和再利用向量、矩陣的

8、運算法則，可以得到殘差平方和為為10XY 2)()()()()(22XXYXYYXXXYYXYYXYXYYYYYeeYYeQiii 其中矩陣求導(dǎo)：其中矩陣求導(dǎo)：11ABBBf)(ABBBf2)(ABBf)(ABBf)(022)2(XXYXXXYXYYQ 整理該向量方程，得到下列形式的正規(guī)方程組整理該向量方程，得到下列形式的正規(guī)方程組 當(dāng)當(dāng) 可逆，也就是可逆，也就是X X是滿秩矩陣（滿足假設(shè)是滿秩矩陣（滿足假設(shè)5 5）時，在）時，在上述向量方程兩端左乘的上述向量方程兩端左乘的 逆矩陣，得到逆矩陣，得到 這就是多元線性回歸模型最小二乘估計的矩陣一般公式。這就是多元線性回歸模型最小二乘估計的矩陣一般

9、公式。12XXXXYXXXYXXX1)( 補(bǔ)充：矩陣的運算補(bǔ)充：矩陣的運算 （1 1）矩陣乘法）矩陣乘法 按住鼠標(biāo)左鍵拖放選定存放結(jié)果的單元格區(qū)域，輸入計按住鼠標(biāo)左鍵拖放選定存放結(jié)果的單元格區(qū)域，輸入計算公式算公式=MMULT( )=MMULT( )按按Ctrl+Shift+EnterCtrl+Shift+Enter復(fù)合鍵確認(rèn)。復(fù)合鍵確認(rèn)。 （2 2）矩陣轉(zhuǎn)置）矩陣轉(zhuǎn)置 按住鼠標(biāo)左鍵拖放選定存放結(jié)果的單元格區(qū)域，輸入計按住鼠標(biāo)左鍵拖放選定存放結(jié)果的單元格區(qū)域，輸入計算公式算公式=TRANSPOSE( )=TRANSPOSE( )按按Ctrl+Shift+EnterCtrl+Shift+Ente

10、r復(fù)合鍵確認(rèn)。復(fù)合鍵確認(rèn)。 （3 3）逆矩陣）逆矩陣 按住鼠標(biāo)左鍵拖放選定存放結(jié)果的單元格區(qū)域，輸入計按住鼠標(biāo)左鍵拖放選定存放結(jié)果的單元格區(qū)域，輸入計算公式算公式=MINVERSE( )=MINVERSE( )按按Ctrl+Shift+EnterCtrl+Shift+Enter復(fù)合鍵確認(rèn)。復(fù)合鍵確認(rèn)。133.3 3.3 最小二乘估計量的特性最小二乘估計量的特性 1.1.線性性線性性 所謂線性性是指最小二乘估計量所謂線性性是指最小二乘估計量 是被解釋變量是被解釋變量Y的觀的觀測值的線性函數(shù)。測值的線性函數(shù)。 多元線性回歸模型參數(shù)的最小二乘估計向量為多元線性回歸模型參數(shù)的最小二乘估計向量為 令令

11、則則 矩陣矩陣A是一個非隨機(jī)的常數(shù)矩陣。線性性得證。是一個非隨機(jī)的常數(shù)矩陣。線性性得證。14YXXX1)(XXXA1)(AY 2.2.無偏性無偏性15)()()()(11UXXXXEYXXXEE)()()(11UXXXEUXXXXXE)()(1UEXXX 3.3.最小方差性（有效性）最小方差性（有效性）16)()()()(11UXXXXVarYXXXVarVar)()(11UXXXVarUXXXVar12111)()()()( XXIXXXXXXXUVarXXX21)(XX 證明思路：證明思路： 如果模型參數(shù)向量的任意其他線性無偏估計如果模型參數(shù)向量的任意其他線性無偏估計量量( (b) )的協(xié)

12、方差矩陣的協(xié)方差矩陣Var(Var(b) )，與最小二乘估計的，與最小二乘估計的協(xié)方差矩陣協(xié)方差矩陣Var( )Var( )之間，都滿足之間，都滿足Var(Var(b)-Var( )-Var( )是半正定矩陣是半正定矩陣(Var(Var(b)-Var( )0)-Var( )0)，那么最小，那么最小二乘估計的最小方差性得到證明。二乘估計的最小方差性得到證明。17具體證明：具體證明：因為所設(shè)因為所設(shè)b是線性無偏估計向量，因此可以表示為是線性無偏估計向量，因此可以表示為 b=BY又因為又因為b是無偏估計，因此是無偏估計，因此 E(b)=E(BY)=EB(X+U)=E(BX+BU) =BX+BE(U)

13、=BX=所以必然有所以必然有BX=I計算計算b的方差，有的方差，有Var(b)=VarB(X+U)=Var(+BU) =Var(BU)=BVar(U)B=BB21819 根據(jù)矩陣代數(shù)知識，任意矩陣與自身轉(zhuǎn)置的乘積都根據(jù)矩陣代數(shù)知識，任意矩陣與自身轉(zhuǎn)置的乘積都是半正定矩陣，因此是半正定矩陣，因此 這意味著這意味著 為半正定矩陣。這樣的協(xié)方差為半正定矩陣。這樣的協(xié)方差矩陣之差矩陣之差 也是半正定矩陣。因此多元線性回歸參數(shù)的最小二也是半正定矩陣。因此多元線性回歸參數(shù)的最小二乘估計是最小方差的線性無偏估計。乘估計是最小方差的線性無偏估計。)()(11 XXXBXXXB1111)()()()(XXXXX

14、XXXBXBXXXBB0)(1XXBB1)(XXBB0)()()()(21212XXBBXXBBVarbVar)()(11XXXBXXXB 高斯高斯馬爾可夫定理：馬爾可夫定理： 如果基本假定如果基本假定(1)-(5)(1)-(5)成立，則最小二乘估計量成立，則最小二乘估計量 是是的最優(yōu)線性無偏估計量的最優(yōu)線性無偏估計量(Best Linear (Best Linear Unbiased EstimateUnbiased Estimate，簡記為，簡記為BLUE)BLUE)，也就是說在，也就是說在的所有線性無偏估計量中，的所有線性無偏估計量中， 具有最小方差性。具有最小方差性。203.4 3.4

15、 可決系數(shù)可決系數(shù) 1.1.總離差平方和的分解公式總離差平方和的分解公式 TSS=RSS+ESSTSS=RSS+ESS 2.2.多元樣本可決系數(shù)多元樣本可決系數(shù) 不難發(fā)現(xiàn)可決系數(shù)只與被解釋變量的觀測值以及不難發(fā)現(xiàn)可決系數(shù)只與被解釋變量的觀測值以及回歸殘差有關(guān)，而與解釋變量無直接關(guān)系。因此回歸殘差有關(guān)，而與解釋變量無直接關(guān)系。因此可以將它直接推廣到多元線性回歸分析，作為評可以將它直接推廣到多元線性回歸分析，作為評價多元線性回歸擬合優(yōu)度的指標(biāo)。價多元線性回歸擬合優(yōu)度的指標(biāo)。21TSSESSTSSRSSR12iiiiYYeR222)(1 但是需注意：多元線性回歸模型解釋變量的但是需注意：多元線性回歸

16、模型解釋變量的數(shù)目有多有少，而上述可決系數(shù)數(shù)目有多有少，而上述可決系數(shù)R R2 2又可以證明是又可以證明是解釋變量數(shù)目的增函數(shù)。這意味著不管增加的解解釋變量數(shù)目的增函數(shù)。這意味著不管增加的解釋變量是否對改善模型、擬合程度有意義，解釋釋變量是否對改善模型、擬合程度有意義，解釋變量個數(shù)越多，可決系數(shù)一定會越大。因此，以變量個數(shù)越多，可決系數(shù)一定會越大。因此，以這種可決系數(shù)衡量多元回歸模型的擬合優(yōu)度是有這種可決系數(shù)衡量多元回歸模型的擬合優(yōu)度是有問題的，而且會導(dǎo)致片面追求解釋變量數(shù)量的錯問題的，而且會導(dǎo)致片面追求解釋變量數(shù)量的錯誤傾向。正是由于存在這種缺陷，可決系數(shù)誤傾向。正是由于存在這種缺陷，可決系

17、數(shù)R R2 2在在多元線性回歸分析擬合優(yōu)度評價方面的作用受到多元線性回歸分析擬合優(yōu)度評價方面的作用受到很大的限制。很大的限制。22 克服可決系數(shù)克服可決系數(shù)R R2 2上述缺陷的方法，是對可決系數(shù)上述缺陷的方法，是對可決系數(shù)進(jìn)行適當(dāng)?shù)恼{(diào)整，采用如下調(diào)整的可決系數(shù)：進(jìn)行適當(dāng)?shù)恼{(diào)整，采用如下調(diào)整的可決系數(shù)： 用這個調(diào)整的可決系數(shù)作為評價多元回歸擬合優(yōu)用這個調(diào)整的可決系數(shù)作為評價多元回歸擬合優(yōu)度的評價標(biāo)準(zhǔn)，可以基本消除由于解釋變量數(shù)目度的評價標(biāo)準(zhǔn)，可以基本消除由于解釋變量數(shù)目的差異所造成的影響，更加合理和具有可比性。的差異所造成的影響，更加合理和具有可比性。23) 1/()() 1/(1) 1/()

18、 1/(1222nYYknenTSSknESSRiiii 與與R R2 2有如下關(guān)系：有如下關(guān)系： 當(dāng)當(dāng)n n較大和較大和k k較小時，兩者差別不大，但當(dāng)較小時，兩者差別不大，但當(dāng)n n不不很大而很大而k k又較大時，兩者的差別是比較明顯的。又較大時，兩者的差別是比較明顯的。 (1)(1)若若k1k1，則，則 R R2 2； (2) (2) 可能出現(xiàn)負(fù)值。此情形下，取可能出現(xiàn)負(fù)值。此情形下，取 =0=0。2411)1 (122knnRR2R2R2R2R3.5 3.5 顯著性檢驗顯著性檢驗 1.1.回歸方程的顯著性檢驗（回歸方程的顯著性檢驗（F F檢驗）檢驗） 回歸方程的顯著性檢驗，是指在一定的

19、顯著性水平下，從回歸方程的顯著性檢驗，是指在一定的顯著性水平下，從總體上對模型中被解釋變量與解釋變量之間的線性關(guān)系是總體上對模型中被解釋變量與解釋變量之間的線性關(guān)系是否顯著成立進(jìn)行的一種統(tǒng)計檢驗。否顯著成立進(jìn)行的一種統(tǒng)計檢驗。25 F F檢驗的步驟：檢驗的步驟： 第一步：提出假設(shè)：原假設(shè)第一步：提出假設(shè)：原假設(shè)H H0 0：1 1=2 2= =k k=0=0。 備擇假設(shè)備擇假設(shè)H H1 1：至少有一個：至少有一個j j不等于零不等于零(j=1,2,(j=1,2,k),k)。 第二步：構(gòu)造第二步：構(gòu)造F F統(tǒng)計量：統(tǒng)計量： 第三步：給定顯著水平第三步：給定顯著水平,查查F F分布臨界值分布臨界值

20、F F(k,n-k-1)(k,n-k-1)26) 1,() 1/(/knkFknESSkRSSF 第四步：做出統(tǒng)計決策：第四步：做出統(tǒng)計決策： 若若FFFF(k,n-k-1)(k,n-k-1)時，拒絕時，拒絕H H0 0，接受，接受H H1 1，則認(rèn)為，則認(rèn)為在顯著性水平在顯著性水平下，被解釋變量與解釋變量之間的線下，被解釋變量與解釋變量之間的線性相關(guān)關(guān)系顯著即回歸方程顯著；若性相關(guān)關(guān)系顯著即回歸方程顯著；若FFFF(k,n-k-1)(k,n-k-1)時，時，接受接受H H0 0，則認(rèn)為被解釋變量與解釋變量之間的線性相，則認(rèn)為被解釋變量與解釋變量之間的線性相關(guān)關(guān)系不顯著，即回歸方程不顯著。關(guān)關(guān)

21、系不顯著，即回歸方程不顯著。27 因為因為 ，檢驗統(tǒng)計量還可以表示為，檢驗統(tǒng)計量還可以表示為28TSSESSTSSRSSR12) 1/()1 (/22knRkRF 2.2.解釋變量的顯著性檢驗（解釋變量的顯著性檢驗（t t檢驗）檢驗） 解釋變量的顯著性檢驗，是指在一定的顯著性水平下，解釋變量的顯著性檢驗，是指在一定的顯著性水平下，檢驗?zāi)Ｐ偷慕忉屪兞渴欠駥Ρ唤忉屪兞坑酗@著影響的檢驗?zāi)Ｐ偷慕忉屪兞渴欠駥Ρ唤忉屪兞坑酗@著影響的一種統(tǒng)計檢驗。一種統(tǒng)計檢驗。29 t t檢驗的步驟：檢驗的步驟： 第一步：提出假設(shè)：原假設(shè)第一步：提出假設(shè)：原假設(shè)H H0 0：i i=0=0，備擇假設(shè)，備擇假設(shè)H H1 1：

22、i i00。其中其中i=1,2,i=1,2,k,k 第二步：構(gòu)造第二步：構(gòu)造t t統(tǒng)計量：統(tǒng)計量： 第三步：給定顯著性水平第三步：給定顯著性水平，查，查t t分布臨界值分布臨界值t t/2/2(n-k-1) (n-k-1) 。30kikntXXtiiii, 2 , 1),1()(11, 12 第四步：做出統(tǒng)計決策：第四步：做出統(tǒng)計決策： 當(dāng)當(dāng)|t|ti i|t|t/2/2(n-k-1)(n-k-1)時，拒絕原假設(shè)時，拒絕原假設(shè)H H0 0，接受備，接受備擇假設(shè)擇假設(shè)H H1 1，認(rèn)為，認(rèn)為i i顯著不為零，說明解釋變量顯著不為零，說明解釋變量X Xi i對被對被解釋變量解釋變量Y Y的線性相關(guān)

23、關(guān)系顯著；當(dāng)?shù)木€性相關(guān)關(guān)系顯著；當(dāng)|t|ti i|t|t/2/2(n-k-1)(n-k-1)時，接受原假設(shè)時，接受原假設(shè)H H0 0，拒絕備擇假設(shè)，拒絕備擇假設(shè)H H1 1，認(rèn)為，認(rèn)為i i與零沒與零沒有顯著差異，說明解釋變量有顯著差異，說明解釋變量X Xi i對被解釋變量對被解釋變量Y Y的線性相的線性相關(guān)關(guān)系不顯著。關(guān)關(guān)系不顯著。31 補(bǔ)充：相關(guān)系數(shù)分析補(bǔ)充：相關(guān)系數(shù)分析 復(fù)相關(guān)系數(shù)：復(fù)相關(guān)系數(shù)： 多重樣本決定系數(shù)定義為多重樣本決定系數(shù)定義為R R2 2, , 我們可以把我們可以把R R定義為被解釋變量定義為被解釋變量Y Y關(guān)于關(guān)于X X1 1,X,X2 2, ,X,Xk k的復(fù)相關(guān)的復(fù)相

24、關(guān)系數(shù)。系數(shù)。 很顯然，復(fù)相關(guān)系數(shù)很顯然，復(fù)相關(guān)系數(shù)R R反映了被解釋變量反映了被解釋變量Y Y關(guān)于一組解釋變關(guān)于一組解釋變量量X X1 1,X,X2 2, ,X,Xk k之間的線性相關(guān)程度。之間的線性相關(guān)程度。 簡單相關(guān)系數(shù)：簡單相關(guān)系數(shù)： 解釋變量解釋變量X Xk k與與X Xl l之間的相關(guān)系數(shù)稱為簡單相關(guān)系數(shù)之間的相關(guān)系數(shù)稱為簡單相關(guān)系數(shù)r rklkl。32TSSESSTSSRSSR123.6 3.6 預(yù)測預(yù)測 1.1.點預(yù)測點預(yù)測 求對應(yīng)解釋變量的一組特定值求對應(yīng)解釋變量的一組特定值X X0 0=(1,X=(1,X1010,X,X2020, ,X,Xk0k0) )的被解釋的被解釋變量值變量值Y Y0 0的估計。得到回歸直線以后，點預(yù)測是比較簡單的，的估計。得到回歸直線以后，點預(yù)測是比較簡單的，只要把只要把X X0