計(jì)量經(jīng)濟(jì)學(xué) 第三章 多元線性回歸.ppt

高等學(xué)校經(jīng)濟(jì)學(xué)類核心課程,計(jì)量經(jīng)濟(jì)學(xué),Econometrics,云南財(cái)經(jīng)大學(xué)數(shù)量經(jīng)濟(jì)系,第三章多元線性回歸模型,3.1多元線性回歸模型3.2多元線性回歸模型的參數(shù)估計(jì)3.3多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)3.4多元線性回歸模型的預(yù)測(cè)3.5可線性化的多元非線性回歸模型3.6受約束回歸,3.1多元線性回歸模型,一、模型形式二、基本假定,一、模型形式,注意：（1）解釋變量X的個(gè)數(shù)：k回歸系數(shù)j的個(gè)數(shù)：k1（2）j：偏回歸系數(shù)，表示了Xj對(duì)Y的凈影響（3）X的第一個(gè)下標(biāo)j區(qū)分變量（j1，2，k）第二個(gè)下標(biāo)i區(qū)分觀測(cè)（i1，2，n）,總體回歸函數(shù)（PRF）,樣本回歸函數(shù)（SRF）,樣本回歸模型（SRM）,其中：ei稱為殘差(residuals)，可看成是隨機(jī)誤差項(xiàng)i的近似替代。,2、于是，總體回歸模型可以表示為：,總體回歸模型的矩陣表示,1、總體回歸模型表示了n個(gè)隨機(jī)方程，引入如下矩陣記號(hào)：,2、于是，樣本回歸模型和函數(shù)可以表示為：,樣本回歸模型和函數(shù)的矩陣表示,1、同理，采用如下矩陣記號(hào)：,二、多元線性回歸模型的基本假設(shè),假設(shè)1：解釋變量是非隨機(jī)的或固定的，且各X之間互不相關(guān)（無(wú)多重共線性）。假設(shè)2：隨機(jī)誤差項(xiàng)具有零均值、同方差和無(wú)序列相關(guān)性：E(i)=0Var(i)=2i=1,2,NCov(i,j)=0iji,j=1,2,N假設(shè)3：隨機(jī)誤差項(xiàng)與解釋變量X之間不相關(guān)：Cov(Xji,i)=0i=1,2,N假設(shè)4：服從零均值、同方差、零協(xié)方差的正態(tài)分布iN(0,2)i=1,2,N,基本假設(shè)的矩陣表示,假設(shè)1:n(k+1)矩陣X是非隨機(jī)的，且X的秩=k+1，即X列滿秩。假設(shè)2:,假設(shè)4:向量有一多維正態(tài)分布，即,暗含假設(shè),假設(shè)5：樣本容量趨于無(wú)窮時(shí)，各解釋變量的方差趨于有界常數(shù)，即n時(shí)，,假設(shè)6：回歸模型是正確設(shè)定的,或,其中：Q為一非奇異固定矩陣，矩陣x是由各解釋變量的離差為元素組成的nk階矩陣,3.2多元線性回歸模型的參數(shù)估計(jì),一、普通最小二乘估計(jì)二、參數(shù)估計(jì)量的性質(zhì)三、樣本容量問(wèn)題,參數(shù)估計(jì)的任務(wù)和方法,1、估計(jì)目標(biāo)：回歸系數(shù)j、隨機(jī)誤差項(xiàng)方差22、估計(jì)方法：OLS、ML或者M(jìn)M,*OLS：普通最小二乘估計(jì)*ML：最大似然估計(jì)*MM：矩估計(jì),一、普通最小二乘估計(jì),基本思想：殘差平方和最小基于取得最小值的條件獲得系數(shù)估計(jì)）,殘差平方和：,取得最小值的條件：,正規(guī)方程組：,解此（k1）個(gè)方程組成的正規(guī)方程組，即可求得（k+1)個(gè)未知參數(shù)j的估計(jì)。,最小二乘估計(jì)的矩陣表示,1、正規(guī)方程組的矩陣形式,2、由于XX滿秩(其逆矩陣存在），故有,OLSE的矩陣估計(jì)過(guò)程,矩陣有關(guān)定理,殘差平方和的矩陣表示為：,#參數(shù)估計(jì)的實(shí)例,例3.2.1：在例2.1.1的家庭收入-消費(fèi)支出例中，,誤差方差2的估計(jì),1、基于OLS下，隨機(jī)誤差項(xiàng)的方差的無(wú)偏估計(jì)量為,注意：分母的形式：n-k-1=n-(k+1)。k：解釋變量X的個(gè)數(shù)；k+1：回歸系數(shù)的個(gè)數(shù),2、稱為估計(jì)標(biāo)準(zhǔn)誤或者回歸標(biāo)準(zhǔn)誤（S.Eofregression）,*最大似然估計(jì)*（MaximumLikelihoodEstimate）,1、基本原理：樣本觀測(cè)值出現(xiàn)的概率最大。2、似然函數(shù)：,3、最大似然估計(jì)MLE：,參數(shù)的MLE與參數(shù)的OLSE相同,*矩估計(jì)*（MomentMethod，MM）,1、OLS估計(jì)是通過(guò)得到一個(gè)關(guān)于參數(shù)估計(jì)值的正規(guī)方程組,并對(duì)它進(jìn)行求解而完成的。,2、該正規(guī)方程組可以從另外一種思路來(lái)導(dǎo)出:,兩側(cè)求期望:,矩條件,*矩條件和矩估計(jì)量*,3、由此得到正規(guī)方程組：,解此正規(guī)方程組即得參數(shù)的MM估計(jì)量。,MM估計(jì)量與OLS、ML估計(jì)量等價(jià)。,*關(guān)于矩估計(jì)*,矩方法是工具變量方法(InstrumentalVariables,IV)和廣義矩估計(jì)方法(GeneralizedMomentMethod,GMM)的基礎(chǔ),在矩方法中關(guān)鍵是利用了：E(X)=0如果某個(gè)解釋變量與隨機(jī)項(xiàng)相關(guān)，只要能找到1個(gè)工具變量，仍然可以構(gòu)成一組矩條件。這就是IV。如果存在k+1個(gè)變量與隨機(jī)項(xiàng)不相關(guān)，可以構(gòu)成一組包含k+1方程的矩條件。這就是GMM。OLS只是GMM的一個(gè)特例,二、最小二乘估計(jì)量的性質(zhì),高斯馬爾可夫定理(Gauss-Markovtheorem):在給定經(jīng)典線性回歸的假定下，最小二乘估計(jì)量是具有最小方差的線性無(wú)偏估計(jì)量，即最佳線性無(wú)偏估計(jì)量（BLUE）。,1、線性：,其中,C=(XX)-1X為一僅與固定的X有關(guān)的行向量,2、無(wú)偏性:,這里利用了假設(shè):E(X)=0,3、有效性:,其中利用了:,參數(shù)估計(jì)量的概率分布,1、由參數(shù)估計(jì)量的上述性質(zhì)和基本假設(shè)，易知：,線性性基本假設(shè)正態(tài)分布無(wú)偏性期望為有效性的證明方差表達(dá)式,2、記C=(XX)-1的第j個(gè)主對(duì)角元素為Cjj（j=0,1,k)，則：,三、樣本容量問(wèn)題,最小樣本容量滿足基本要求的樣本容量,1、最小樣本容量,所謂“最小樣本容量”，即從最小二乘原理和最大或然原理出發(fā)，欲得到參數(shù)估計(jì)量，不管其質(zhì)量如何，所要求的樣本容量的下限。樣本最小容量必須不少于模型中解釋變量的數(shù)目（包括常數(shù)項(xiàng)）,即：nk+1因?yàn)椋瑹o(wú)多重共線性要求：秩(X)=k+1,2、基本樣本容量,從統(tǒng)計(jì)檢驗(yàn)的角度：n30時(shí)，Z檢驗(yàn)才能應(yīng)用；n-k8時(shí),t分布較為穩(wěn)定,一般經(jīng)驗(yàn)認(rèn)為:當(dāng)n30或者至少n3(k+1)時(shí)，才能說(shuō)滿足模型估計(jì)的基本要求。,模型的良好性質(zhì)只有在大樣本下才能得到理論上的證明,3.3多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn),一、擬合優(yōu)度檢驗(yàn)二、方程顯著性檢驗(yàn)三、變量顯著性檢驗(yàn),一、擬合優(yōu)度檢驗(yàn),目的：測(cè)定樣本回歸函數(shù)對(duì)樣本觀測(cè)值的擬合緊密程度指標(biāo)：R2、Adj(R2),可決系數(shù)R2(coefficientofdetermination),0R21，該統(tǒng)計(jì)量越接近于1，模型的擬合優(yōu)度越高。,1、定義：,2、問(wèn)題：在模型中增加一個(gè)解釋變量，R2往往增大但是：增加解釋變量個(gè)數(shù)往往得不償失，不重要的變量不應(yīng)引入。增加解釋變量使得估計(jì)參數(shù)增加，從而自由度減小。如果引入的變量對(duì)減少殘差平方和的作用很小，這將導(dǎo)致誤差方差2的增大，引起模型精度的降低。因此：R2需調(diào)整。,調(diào)整的可決系數(shù)Adj(R2)（adjustedcoefficientofdetermination）,1、調(diào)整思路:將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個(gè)數(shù)對(duì)擬合優(yōu)度的影響。,2、自由度：統(tǒng)計(jì)量可自由變化的樣本觀測(cè)值的個(gè)數(shù)，記為df,TSS：dfn1ESS：dfkRSS：dfnk1,注意：df（TSS)=df(ESS)+df(RSS),3、定義：,#Adj(R2)的作用,1、消除擬合優(yōu)度評(píng)價(jià)中解釋變量的多少對(duì)擬合優(yōu)度的影響2、對(duì)于因變量Y相同，而自變量X個(gè)數(shù)不同的模型，不能用R2直接比較擬合優(yōu)度，而應(yīng)使用Adj（R2）。3、可以通過(guò)Adj（R2）的增加變化，決定是否引入一個(gè)新的解釋變量。,Adj（R2）均值,回歸分析的預(yù)測(cè)實(shí)例：,中國(guó)居民人均收入-消費(fèi)支出二元模型例中：2001年人均GDP：4033.1元,于是人均居民消費(fèi)的預(yù)測(cè)值為2001=120.7+0.22134033.1+0.45151690.8=1776.8（元）,實(shí)測(cè)值（90年價(jià)）=1782.2元，相對(duì)誤差：-0.31%,預(yù)測(cè)的置信區(qū)間：,E(2001）的95%的置信區(qū)間為:,（1741.8，1811.7）,2001的95%的置信區(qū)間為:,（1711.1,1842.4）,3.5可線性化的多元非線性回歸模型,線性模型的本質(zhì)含義解釋變量的非線性變量代換法回歸參數(shù)的非線性函數(shù)變換法,實(shí)際中的非線性模型,1、恩格爾曲線(Englecurves)：消費(fèi)者的收入與某類商品需求量之間的函數(shù)關(guān)系。冪函數(shù),2、菲利普斯曲線（Pillipscuves）：通貨膨脹率（貨幣工資率）與失業(yè)率之間的關(guān)系。雙曲線函數(shù),線性模型的本質(zhì)含義,1、被解釋變量Y與解釋變量X之間為線性關(guān)系,2、被解釋變量Y與參數(shù)之間為線性關(guān)系,3、更重要的在于后者,例如：拉弗曲線：描述稅收與稅率關(guān)系S=a+bR+cR2c0（拋物線）,令：X1=r，X2=r2，則原方程變換為：S=a+bX1+cX2c0,1、解釋變量的非線性問(wèn)題變量代換,適用于倒數(shù)模型、多項(xiàng)式模型等,例如：Cobb-Dauglas生產(chǎn)函數(shù)：Q=AKL（冪函數(shù)）,方程兩邊取對(duì)數(shù)：lnQ=lnA+lnK+ln