高等學(xué)校經(jīng)濟學(xué)類經(jīng)典課程計量經(jīng)濟學(xué)第三章多元線性回歸模型

1、高等學(xué)校經(jīng)濟學(xué)類經(jīng)典課程計 量 經(jīng) 濟 學(xué)Econometrics第三章 多元線性回歸模型 3.1 多元線性回歸模型 3.2 多元線性回歸模型的參數(shù)估計 3.3 多元線性回歸模型的統(tǒng)計檢驗 3.4 多元線性回歸模型的預(yù)測 3.5 可線性化的多元非線性回歸模型 3.6 受約束回歸3.1 多元線性回歸模型一、模型形式二、基本假定一、模型形式 注意：（1）解釋變量X的個數(shù)：k 回歸系數(shù) j的個數(shù)：k1 （2）j：偏回歸系數(shù)，表示了Xj對Y的凈影響 （3）X的第一個下標 j 區(qū)分變量（j1，2，k） 第二個下標 i 區(qū)分觀測（i1，2，n）總體回歸函數(shù)（PRF）樣本回歸函數(shù)（SRF）樣本回歸模型（SR

2、M）其中：ei 稱為殘差 (residuals)，可看成是隨機誤差項 i的近似替代。 2、于是，總體回歸模型可以表示為：總體回歸模型的矩陣表示1、總體回歸模型表示了n個隨機方程，引入如下矩陣記號：2、于是，樣本回歸模型和函數(shù)可以表示為：樣本回歸模型和函數(shù)的矩陣表示1、同理，采用如下矩陣記號：二、多元線性回歸模型的基本假設(shè)假設(shè)1：解釋變量是非隨機的或固定的，且各X之間互不相關(guān)（無多重共線性）。假設(shè)2：隨機誤差項具有零均值、同方差和無序列相關(guān)性： E(i)=0 Var (i)=2 i=1,2, ,N Cov(i, j)=0 ij i,j= 1,2, ,N 假設(shè)3：隨機誤差項與解釋變量X之間不相關(guān)：

3、 Cov(Xji, i)=0 i=1,2, ,N 假設(shè)4：服從零均值、同方差、零協(xié)方差的正態(tài)分布 iN(0, 2 ) i=1,2, ,N基本假設(shè)的矩陣表示假設(shè)1: n(k+1)矩陣X是非隨機的，且X的秩=k+1，即X列滿秩。假設(shè)2: 假設(shè)4: 向量 有一多維正態(tài)分布，即 暗含假設(shè)假設(shè)5：樣本容量趨于無窮時，各解釋變量的方差趨于有界常數(shù)，即n時， 假設(shè)6：回歸模型是正確設(shè)定的 或其中：Q為一非奇異固定矩陣，矩陣x是由各解釋變量的離差為元素組成的nk階矩陣 3.2 多元線性回歸模型的參數(shù)估計一、普通最小二乘估計二、參數(shù)估計量的性質(zhì)三、樣本容量問題參數(shù)估計的任務(wù)和方法1、估計目標：回歸系數(shù)j、隨機誤

4、差項方差22、估計方法：OLS、ML或者MM* OLS：普通最小二乘估計 * ML：最大似然估計 * MM：矩估計 一、普通最小二乘估計基本思想：殘差平方和最小基于取得最小值的條件獲得系數(shù)估計） 殘差平方和：取得最小值的條件：正規(guī)方程組： 解此（k1）個方程組成的正規(guī)方程組，即可求得（k+1)個未知參數(shù)j 的估計 。 最小二乘估計的矩陣表示1、正規(guī)方程組的矩陣形式2、由于XX滿秩(其逆矩陣存在），故有 OLSE的矩陣估計過程矩陣有關(guān)定理殘差平方和的矩陣表示為：#參數(shù)估計的實例例：在例的家庭收入-消費支出例中， 誤差方差2的估計1、基于OLS下，隨機誤差項 的方差的無偏估計量為 注意：分母的形式

5、：n-k-1 = n-(k+1)。 k：解釋變量X的個數(shù)； k+1：回歸系數(shù)的個數(shù)2、 稱為估計標準誤或者回歸標準誤（S.E of regression）*最大似然估計*（Maximum Likelihood Estimate）1、基本原理：樣本觀測值出現(xiàn)的概率最大。2、似然函數(shù)：3、最大似然估計MLE：參數(shù)的MLE與參數(shù)的OLSE相同*矩估計*（Moment Method，MM）1、OLS估計是通過得到一個關(guān)于參數(shù)估計值的正規(guī)方程組并對它進行求解而完成的。2、該正規(guī)方程組可以從另外一種思路來導(dǎo)出: 兩側(cè)求期望 :矩條件*矩條件和矩估計量*3、由此得到正規(guī)方程組： 解此正規(guī)方程組即得參數(shù)的MM

6、估計量。1、稱為原總體回歸方程的一組矩條件，表明了原總體回歸方程所具有的內(nèi)在特征。 2、如果隨機抽出原總體的一個樣本，估計出的樣本回歸方程：能夠近似代表總體回歸方程的話，則應(yīng)成立：MM估計量與OLS、ML估計量等價。*關(guān)于矩估計*矩方法是工具變量方法(Instrumental Variables,IV)和廣義矩估計方法(Generalized Moment Method, GMM)的基礎(chǔ)在矩方法中關(guān)鍵是利用了：E(X)=0如果某個解釋變量與隨機項相關(guān)，只要能找到1個工具變量，仍然可以構(gòu)成一組矩條件。這就是IV。如果存在k+1個變量與隨機項不相關(guān)，可以構(gòu)成一組包含k+1方程的矩條件。這就是GMM

7、。OLS只是GMM的一個特例二、最小二乘估計量的性質(zhì)高斯馬爾可夫定理(Gauss-Markov theorem):在給定經(jīng)典線性回歸的假定下，最小二乘估計量是具有最小方差的線性無偏估計量，即最佳線性無偏估計量（BLUE）。1、線性：其中,C=(XX)-1 X 為一僅與固定的X有關(guān)的行向量 2、無偏性:這里利用了假設(shè): E(X)=03、有效性:其中利用了: 參數(shù)估計量的概率分布1、由參數(shù)估計量的上述性質(zhì)和基本假設(shè)，易知： 線性性基本假設(shè) 正態(tài)分布 無偏性 期望為 有效性的證明 方差表達式2、記 C=(XX)-1 的第 j 個主對角元素為 Cjj（j=0,1,k)，則：三、樣本容量問題最小樣本容量

8、滿足基本要求的樣本容量1、最小樣本容量所謂“最小樣本容量”，即從最小二乘原理和最大或然原理出發(fā)，欲得到參數(shù)估計量，不管其質(zhì)量如何，所要求的樣本容量的下限。樣本最小容量必須不少于模型中解釋變量的數(shù)目（包括常數(shù)項）,即：n k+1因為，無多重共線性要求：秩(X)=k+12、基本樣本容量 從統(tǒng)計檢驗的角度： n30 時，Z檢驗才能應(yīng)用； n-k 8時, t分布較為穩(wěn)定 一般經(jīng)驗認為: 當(dāng)n30或者至少n3(k+1)時，才能說滿足模型估計的基本要求。 模型的良好性質(zhì)只有在大樣本下才能得到理論上的證明3.3 多元線性回歸模型的統(tǒng)計檢驗一、擬合優(yōu)度檢驗二、方程顯著性檢驗三、變量顯著性檢驗一、擬合優(yōu)度檢驗

9、目的：測定樣本回歸函數(shù)對樣本觀測值的擬合緊密程度 指標：R2、Adj(R2)可決系數(shù)R2(coefficient of determination)0R21，該統(tǒng)計量越接近于1，模型的擬合優(yōu)度越高。 1、定義：2、問題： 在模型中增加一個解釋變量， R2往往增大 但是：增加解釋變量個數(shù)往往得不償失，不重要的變量不應(yīng)引入。增加解釋變量使得估計參數(shù)增加，從而自由度減小。如果引入的變量對減少殘差平方和的作用很小，這將導(dǎo)致誤差方差2的增大，引起模型精度的降低。 因此：R2需調(diào)整。 調(diào)整的可決系數(shù)Adj(R2)（adjusted coefficient of determination） 1、調(diào)整思路:

10、將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個數(shù)對擬合優(yōu)度的影響。2、自由度：統(tǒng)計量可自由變化的樣本觀測值的個數(shù)，記為dfTSS：dfn1ESS：df kRSS：df nk1注意：df（TSS)=df(ESS)+df(RSS)3、定義：# Adj(R2)的作用1、消除擬合優(yōu)度評價中解釋變量的多少對擬合優(yōu)度的影響2、對于因變量Y相同，而自變量X個數(shù)不同的模型，不能用R2直接比較擬合優(yōu)度，而應(yīng)使用Adj（R2） 。3、可以通過Adj（R2）的增加變化，決定是否引入一個新的解釋變量。Adj（R2）均值x0yxx預(yù)測上限置信上限預(yù)測下限置信下限回歸分析的預(yù)測實例：中國居民人均收入-消費支

11、出二元模型例中：2001年人均GDP：元于是人均居民消費的預(yù)測值為 2001（元） 實測值（90年價）元，相對誤差：-0.31% 預(yù)測的置信區(qū)間 ：E(2001）的95%的置信區(qū)間為: （，）2001的95%的置信區(qū)間為:（）3.5 可線性化的多元非線性回歸模型 線性模型的本質(zhì)含義 解釋變量的非線性變量代換法 回歸參數(shù)的非線性函數(shù)變換法實際中的非線性模型1、恩格爾曲線(Engle curves)：消費者的收入與某類商品需求量之間的函數(shù)關(guān)系。冪函數(shù)2、菲利普斯曲線（Pillips cuves）：通貨膨脹率（貨幣工資率）與失業(yè)率之間的關(guān)系。雙曲線函數(shù)線性模型的本質(zhì)含義1、被解釋變量Y與解釋變量X之間為線性關(guān)系2、被解釋變量Y與參數(shù)之間為線性關(guān)系3、更重要的在于后者 例如：拉弗曲線：描述稅收與稅率關(guān)系 S = a + b R + cR2 c0 （拋物線）令：X1 = r，X2 = r2， 則原方程變換為： S = a + b X1 + c