計量經(jīng)濟(jì)學(xué)第三章-多元線性回歸方程-1ppt課件VIP

1 計量經(jīng)濟(jì)學(xué) Econometrics 經(jīng)濟(jì)計量學(xué) 2 第三章多元線性回歸模型 多元線性回歸模型多元線性回歸模型的參數(shù)估計多元線性回歸模型的統(tǒng)計檢驗多元線性回歸模型的預(yù)測回歸模型的其他形式回歸模型的參數(shù)約束 3 3 1多元線性回歸模型 一 多元線性回歸模型二 多元線性回歸模型的基本假定 4 一 多元線性回歸模型 多元線性回歸模型 表現(xiàn)在線性回歸模型中的解釋變量有多個 一般表現(xiàn)形式 其中 k為解釋變量的數(shù)目 i稱為回歸參數(shù) regressioncoefficient 習(xí)慣上 把常數(shù)項看成為一虛變量的系數(shù) 該虛變量的樣本觀測值始終取1 這樣 模型中解釋變量的數(shù)目為 k 1 i 1 2 n 5 一 多元線性回歸模型 總體回歸函數(shù)的隨機(jī)表達(dá)形式 它的非隨機(jī)表達(dá)式為 方程表示 各變量X值固定時Y的平均響應(yīng) j也被稱為偏回歸系數(shù) 表示在其他解釋變量保持不變的情況下 Xj每變化1個單位時 Y的均值E Y 的變化 或者說 j給出了Xj的單位變化對Y均值的 直接 或 凈 不含其他變量 影響 總體回歸模型n個隨機(jī)方程的矩陣表達(dá)式為 其中 一 多元線性回歸模型 7 一 多元線性回歸模型 樣本回歸函數(shù) 用來估計總體回歸函數(shù)其隨機(jī)表示式 ei稱為殘差或剩余項 residuals 可看成是總體回歸函數(shù)中隨機(jī)擾動項 i的近似替代 樣本回歸函數(shù)的矩陣表達(dá) 或 其中 二 多元線性回歸模型的基本假定 假設(shè)2 解釋變量是非隨機(jī)的或固定的 且各X之間互不相關(guān) 無多重共線性 假設(shè)3 樣本容量趨于無窮時 各解釋變量的方差趨于有界常數(shù) 即n 時 其中 Q為一非奇異固定矩陣 矩陣x是由各解釋變量的離差為元素組成的n k階矩陣 假設(shè)1 回歸模型的設(shè)定是正確的 或 二 多元線性回歸模型的基本假定 假設(shè)4 隨機(jī)誤差項具有零均值 同方差及不序列相關(guān)性假設(shè)5 解釋變量與隨機(jī)項不相關(guān)假設(shè)6 隨機(jī)項滿足正態(tài)分布 上述假設(shè)的矩陣符號表示式 假設(shè)2 n k 1 矩陣X是非隨機(jī)的 且X的秩 k 1 即X滿秩 假設(shè)4 假設(shè)5 E X 0 即 二 多元線性回歸模型的基本假定 11 3 2多元線性回歸模型的參數(shù)估計 一 普通最小二乘估計 二 最大或然估計 三 矩估計四 參數(shù)估計量的性質(zhì)五 樣本容量問題六 估計實例 對于隨機(jī)抽取的n組觀測值 如果樣本函數(shù)的參數(shù)估計值已經(jīng)得到 則有 i 1 2 n 根據(jù)最小二乘原理 參數(shù)估計值應(yīng)該是下列方程組的解 其中 一 普通最小二乘估計 于是得到關(guān)于待估參數(shù)估計值的正規(guī)方程組 一 普通最小二乘估計 正規(guī)方程組的矩陣形式 即 由于X X滿秩 故有 一 普通最小二乘估計 將上述過程用矩陣表示如下 即求解方程組 得到 于是 例3 2 1 在例2 1 1的家庭收入 消費支出例中 可求得 于是 對于正規(guī)方程組 一 普通最小二乘估計 于是 或 或 是多元線性回歸模型正規(guī)方程組的另一種寫法 i 1 2 n 其矩陣形式為 其中 在離差形式下 參數(shù)的最小二乘估計結(jié)果為 一 普通最小二乘估計 樣本回歸函數(shù)的離差形式 一 普通最小二乘估計 隨機(jī)誤差項 的方差 的無偏估計 可以證明 隨機(jī)誤差項 的方差的無偏估計量為 對于多元線性回歸模型 易知 Y的隨機(jī)抽取的n組樣本觀測值的聯(lián)合概率 即為變量Y的或然函數(shù) 二 最大或然估計 對數(shù)或然函數(shù)為 對對數(shù)或然函數(shù)求極大值 也就是對 求極小值 因此 參數(shù)的最大或然估計為 結(jié)果與參數(shù)的普通最小二乘估計相同 二 最大或然估計 三 矩估計 MomentMethod OLS估計是通過得到一個關(guān)于參數(shù)估計值的正規(guī)方程組 并對它進(jìn)行求解而完成的 該正規(guī)方程組可以從另外一種思路來導(dǎo) 求期望 稱為原總體回歸方程的一組矩條件 表明了原總體回歸方程所具有的內(nèi)在特征 由此得到正規(guī)方程組 解此正規(guī)方程組即得參數(shù)的MM估計量 易知MM估計量與OLS ML估計量等價 矩方法是工具變量方法 InstrumentalVariables IV 和廣義矩估計方法 GeneralizedMomentMethod GMM 的基礎(chǔ) 在矩方法中關(guān)鍵是利用了E X 0 如果某個解釋變量與隨機(jī)項相關(guān) 只要能找到1個工具變量 仍然可以構(gòu)成一組矩條件 這就是IV 如果存在 k 1個變量與隨機(jī)項不相關(guān) 可以構(gòu)成一組包含 k 1方程的矩條件 這就是GMM 在滿足基本假設(shè)的情況下 其結(jié)構(gòu)參數(shù) 的普通最小二乘估計 最大或然估計及矩估計仍具有 線性性無偏性有效性同時 隨著樣本容量增加 參數(shù)估計量具有 漸近無偏性漸近有效性一致性 四 參數(shù)估計量的性質(zhì) 26 四 參數(shù)估計量的性質(zhì) 1 線性性其中 C X X 1X 為一僅與固定的X有關(guān)的行向量2 無偏性這里利用了假設(shè) E X 0 27 四 參數(shù)估計量的性質(zhì) 3 有效性 最小方差性 其中利用了 和 四 參數(shù)估計量的性質(zhì) 29 五 樣本容量問題 最小樣本容量所謂 最小樣本容量 即從最小二乘原理和最大或然原理出發(fā) 欲得到參數(shù)估計量 不管其質(zhì)量如何 所要求的樣本容量的下限 樣本最小容量必須不少于模型中解釋變量的數(shù)目 包括常數(shù)項 即n k 1因為 無多重共線性要求 秩 X k 1 2 滿足基本要求的樣本容量 從統(tǒng)計檢驗的角度 n 30時 Z檢驗才能應(yīng)用 n k 8時 t分布較為穩(wěn)定一般經(jīng)驗認(rèn)為 當(dāng)n 30或者至少n 3 k 1 時 才能說滿足模型估計的基本要求 模型的良好性質(zhì)只有在大樣本下才能得到理論上的證明 六 多元線性回歸模型的參數(shù)估計實例 例3 2 2在例2 5 1中 已建立了中國居民人均消費一元線性模型 這里我們再考慮建立多元線性模型 解釋變量 人均GDP GDPP前期消費 CONSP 1 估計區(qū)間 1979 2000年 Eviews軟件估計結(jié)果 33 3 3多元線性回歸模型的統(tǒng)計檢驗 一 擬合優(yōu)度檢驗二 方程的顯著性檢驗 F檢驗 三 變量的顯著性檢驗 t檢驗 四 參數(shù)的置信區(qū)間 34 一 擬合優(yōu)度檢驗 1 可決系數(shù) R2 與調(diào)整的可決系數(shù) 調(diào)整的R2 總離差平方和的分解 則 由于 0 所以有 注意 一個有趣的現(xiàn)象 該統(tǒng)計量越接近于1 模型的擬合優(yōu)度越高 在應(yīng)用過程中發(fā)現(xiàn) 如果在模型中增加一個解釋變量 R2往往增大這就給人一個錯覺 要使得模型擬合得好 只要增加解釋變量即可 但是 現(xiàn)實情況往往是 由增加解釋變量個數(shù)引起的R2的增大與擬合好壞無關(guān) R2需調(diào)整 一 擬合優(yōu)度檢驗 調(diào)整的可決系數(shù) adjustedcoefficientofdetermination 在樣本容量一定的情況下 增加解釋變量必定使得自由度減少 所以調(diào)整的思路是 將殘差平方和與總離差平方和分別除以各自的自由度 以剔除變量個數(shù)對擬合優(yōu)度的影響 其中 n k 1為殘差平方和的自由度 n 1為總體平方和的自由度 一 擬合優(yōu)度檢驗 自由度是指變量可以自由取值的個數(shù) 例如我們要測量學(xué)生的身高X 隨機(jī)抽取10名學(xué)生 如果沒有任何限制 則X可以自由取值10個值 自由度為10 但是如果我們限定10各同學(xué)的平均身高 那么隨機(jī)抽取9名后 最后一名的身高則不能隨意取值了 此時自由度減少一個 為10 1 9 這也是為什么我們在統(tǒng)計學(xué)里說修正的樣本方差 除以n 1 為總體方差的無偏估計量 在計量經(jīng)濟(jì)學(xué)中 對于一個包含k個解釋變量的回歸方程而言 待估計的參數(shù)個數(shù)為k 1 包括常數(shù)項 在我們根據(jù)最小殘差平方和求偏導(dǎo)的過程中 會得到 k 1 個方程構(gòu)成的方程組 這k 1個方程實際上構(gòu)成了對殘差的k 1個限制條件所以凡是涉及到殘差構(gòu)成的統(tǒng)計量 自由度就會減少k 1個 例如顯著性檢驗中的t檢驗和f檢驗的自由度等 什么是自由度 一 擬合優(yōu)度檢驗 2 赤池信息準(zhǔn)則和施瓦茨準(zhǔn)則 為了比較所含解釋變量個數(shù)不同的多元回歸模型的擬合優(yōu)度 常用的標(biāo)準(zhǔn)還有 赤池信息準(zhǔn)則 Akaikeinformationcriterion AIC 施瓦茨準(zhǔn)則 Schwarzcriterion SC 這兩準(zhǔn)則均要求僅當(dāng)所增加的解釋變量能夠減少AIC值或AC值時才在原模型中增加該解釋變量 Eviews的估計結(jié)果顯示 中國居民消費一元例中 AIC 7 09AC 7 19中國居民消費二元例中 AIC 6 68AC 6 83 問題 前期人均居民消費CONSP 1 是否應(yīng)包括在模型中 答 應(yīng)該 因為AIC和AC值都降低了 這說明增加的變量具有解釋能力 應(yīng)該包括在模型中 二 方程的顯著性檢驗 F檢驗 方程的顯著性檢驗 旨在對模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否顯著成立作出推斷 1 方程顯著性的F檢驗 即檢驗?zāi)Ｐ蚘i 0 1X1i 2X2i kXki ii 1 2 n中的參數(shù) j是否顯著不為0 可提出如下原假設(shè)與備擇假設(shè) H0 0 1 2 k 0H1 j不全為0 F檢驗的思想來自于總離差平方和的分解式 TSS ESS RSS 如果這個比值較大 則X的聯(lián)合體對Y的解釋程度高 可認(rèn)為總體存在線性關(guān)系 反之總體上可能不存在線性關(guān)系 因此 可通過該比值的大小對總體線性關(guān)系進(jìn)行推斷 根據(jù)數(shù)理統(tǒng)計學(xué)中的知識 在原假設(shè)H0成立的條件下 統(tǒng)計量 服從自由度為 k n k 1 的F分布 給定顯著性水平 可得到臨界值F k n k 1 由樣本求出統(tǒng)計量F的數(shù)值 通過F F k n k 1 或F F k n k 1 來拒絕或接受原假設(shè)H0 以判定原方程總體上的線性關(guān)系是否顯著成立 對于中國居民人均消費支出的例子 一元模型 F 285 92二元模型 F 2057 3 給定顯著性水平 0 05 查分布表 得到臨界值 一元例 F 1 21 4 32二元例 F 2 19 3 52 顯然有F F k n k 1 即二個模型的線性關(guān)系在95 的水平下顯著成立 46 2 擬合優(yōu)度檢驗與方程顯著性檢驗的關(guān)系 二者原理不同 擬合優(yōu)度是檢驗估計模型對樣本觀測值的擬合程度F檢驗是從樣本觀測值出發(fā)檢驗?zāi)Ｐ涂傮w線性相關(guān)關(guān)系的顯著性二者方法不同 擬合優(yōu)度檢驗直接構(gòu)造了統(tǒng)計量F檢驗采用的是數(shù)理統(tǒng)計中的假設(shè)檢驗二者有具有相關(guān)性 模型對樣本觀測值的擬合程度高 模型總體線性關(guān)系的顯著性就強(qiáng) 2 擬合優(yōu)度檢驗與方程顯著性檢驗的關(guān)系 可推出 與 或 由 48 例題 多項選擇題 根據(jù)可決系數(shù)R2與F統(tǒng)計量之間的關(guān)系 下列哪個選項是正確的 p76A R2 1時 F無窮大B R2 1時 F 1C 0時 F 1D 0時 F無窮大 答案 AC 49 例題 判斷題 1 可決系數(shù)R2衡量的是樣本回歸線對樣本觀測值的擬合程度 2 F統(tǒng)計量是對模型總體線性相關(guān)性的檢驗 答案 對 答案 對 在中國居民人均收入 消費一元模型中 在中國居民人均收入 消費二元模型中 R2要多大才算模型顯著 三 變量的顯著性檢驗 t檢驗 方程的總體線性關(guān)系顯著 每個解釋變量對被解釋變量的影響都是顯著的 因此 必須對每個解釋變量進(jìn)行顯著性檢驗 以決定是否作為解釋變量被保留在模型中 這一檢驗是由對變量的t檢驗完成的 1 t統(tǒng)計量 根據(jù)前面估計量有效性證明結(jié)論 有 以cii表示矩陣 X X 1主對角線上的第i個元素 于是參數(shù)估計量的方差為 其中 2為隨機(jī)誤差項的方差 在實際計算時 用它的估計量代替 因此 可構(gòu)造如下t統(tǒng)計量 2 t檢驗 設(shè)計原假設(shè)與備擇假設(shè) H1 i 0 給定顯著性水平 可得到臨界值t 2 n k 1 由樣本求出統(tǒng)計量t的數(shù)值 通過 t t 2 n k 1 或 t t 2 n k 1 來拒絕或接受原假設(shè)H0 從而判定對應(yīng)的解釋變量是否應(yīng)包括在模型中 H0 i 0 i 1 2 k 注意 一元線性回歸中 t檢驗與F檢驗一致 一方面 t檢驗與F檢驗都是對相同的原假設(shè)H0 1 0進(jìn)行檢驗 另一方面 兩個統(tǒng)計量之間有如下關(guān)系 在中國居民人均收入 消費支出二元模型例中 由應(yīng)用軟件計算出參數(shù)的t值 給定顯著性水平 0 05 查得相應(yīng)臨界值 t0 025 19 2 093 可見 計算的所有t值都大于該臨界值 所以拒絕原假設(shè) 即 包括常數(shù)項在內(nèi)的3個解釋變量都在95 的水平下顯著 都通過了變量顯著性檢驗 四 參數(shù)的置信區(qū)間 參數(shù)的置信區(qū)間用來考察 在一次抽樣中所估計的參數(shù)值離參數(shù)的真實值有多 近 在變量的顯著性檢驗中已經(jīng)知道 容易推出 在 1 的置信水平下 i的置信區(qū)間是 其中 t 2為顯著性水平為 自由度為n k 1的臨界值 在中國居民人均收入 消費支出二元模型例中 給定 0 05 查表得臨界值 t0 025 19 2 093 計算得參數(shù)的置信區(qū)間 0 44 284 197 116 1 0 0937 0 3489 2 0 0951 0 8080 從回歸