計量經(jīng)濟學(xué)課件：第三章 多元線性回歸模型

1、多元線性回歸模型計量經(jīng)濟學(xué)第三章2引子:中國已成為世界汽車產(chǎn)銷第一大國 2009年，為應(yīng)對國際金融危機、確保經(jīng)濟平穩(wěn)較快增長，國家出臺了一系列促進(jìn)汽車消費的政策，有效刺激了汽車消費市場，汽車產(chǎn)銷呈高增長態(tài)勢，首次成為世界汽車產(chǎn)銷第一大國。2009年，汽車產(chǎn)銷分別為1379.1萬輛和1364.5萬輛，同比增長48.3%和46.15%。 是什么因素導(dǎo)致中國汽車數(shù)量的增長? 影響中國汽車行業(yè)發(fā)展的因素并不是單一的，經(jīng)濟增長、消費趨勢、市場行情、業(yè)界心態(tài)、能源價格、道路發(fā)展、內(nèi)外環(huán)境，都會使中國汽車行業(yè)面臨機遇和挑戰(zhàn)。3分析中國汽車行業(yè)未來的趨勢,應(yīng)具體分析這樣一些問題：中國汽車市場發(fā)展的狀況如何？（

2、用銷售量觀測）影響中國汽車銷量的主要因素是什么？ （如收入、價格、費用、道路狀況、能源、政策環(huán)境等）各種因素對汽車銷量影響的性質(zhì)怎樣？（正、負(fù)）各種因素影響汽車銷量的具體數(shù)量關(guān)系是什么？所得到的數(shù)量結(jié)論是否可靠？中國汽車行業(yè)今后的發(fā)展前景怎樣？應(yīng)當(dāng)如何制定汽車的產(chǎn)業(yè)政策？很明顯，只用一個解釋變量已很難分析汽車產(chǎn)業(yè)的發(fā)展, 還需要尋求有更多個解釋變量情況的回歸分析方法。 怎樣分析多種因素的影響？4 本章主要討論: 多元線性回歸模型及古典假定 多元線性回歸模型的估計 多元線性回歸模型的檢驗 多元線性回歸模型的預(yù)測5 第一節(jié) 多元線性回歸模型及古典假定 一、多元線性回歸模型的意義 一般形式：對于有K

3、-1個解釋變量的線性回歸模型 注意：模型中的 （j=1,2,-k）是偏回歸系數(shù) 樣本容量為n 偏回歸系數(shù)： 控制其它解釋量不變的條件下，第j個解釋變量的單位變動對被解釋變量平均值的影響，即對Y平均值“直接”或“凈”的影響。 56 多元線性回歸中的“線性”指對各個回歸系數(shù)而言是“線性”的，對變量則可以是線性的，也可以是非線性的例如：生產(chǎn)函數(shù)取對數(shù)這也是多元線性回歸模型，只是這時變量為lnY、lnL、lnK7 多元總體回歸函數(shù) 條件期望表現(xiàn)形式：將Y的總體條件期望表示為多個解釋變量的函數(shù)，如:注意：這時Y總體條件期望的軌跡是K維空間的一條線個別值表現(xiàn)形式：引入隨機擾動項或表示為 8 多元樣本回歸函

4、數(shù) Y 的樣本條件均值可表示為多個解釋變量的函數(shù) 或回歸剩余（殘差）： 其中 9 二、多元線性回歸模型的矩陣表示 多個解釋變量的多元線性回歸模型的n組樣本觀測值，可表示為 用矩陣表示 910總體回歸函數(shù) 或樣本回歸函數(shù) 或 其中： 都是有n個元素的列向量 是有k 個 元素的列向量 （ k = 解釋變量個數(shù) + 1 ） 是第一列為1的nk階解釋變量數(shù)據(jù)矩陣 ， (截距項可視為解釋變量總是取值為1) 矩陣表示方式11 三、多元線性回歸中的基本假定 假定1：零均值假定 （ i=1，2，-n） 或 E（u）=0 假定2和假定3：同方差和無自相關(guān)假定： 或用方差-協(xié)方差矩陣表示為: （i=j）(ij)0

5、12假定5: 無多重共線性假定 (多元中增加的) 假定各解釋變量之間不存在線性關(guān)系，或各個解釋變量觀測值之間線性無關(guān)?；蚪忉屪兞坑^測值 矩陣X的秩為K(注意X為n行K列)。 Ran(X)= k Rak(XX)=k 即 (XX) 可逆 假定6:正態(tài)性假定12假定4：隨機擾動項與解釋變量不相關(guān) 第二節(jié) 多元線性回歸模型的估計一、普通最小二乘法（OLS）原則：尋求剩余平方和最小的參數(shù)估計式 即求偏導(dǎo)，并令其為0 其中即 1314 用矩陣表示的正規(guī)方程偏導(dǎo)數(shù)因為樣本回歸函數(shù)為 兩邊左乘根據(jù)最小二乘原則則正規(guī)方程為15 OLS估計式 由正規(guī)方程 多元回歸的OLS估計量為當(dāng)只有兩個解釋變量時為：注意： 為

6、X、Y的離差對比簡單線性回歸中16OLS回歸線的數(shù)學(xué)性質(zhì) (與簡單線性回歸相同) 回歸線通過樣本均值 估計值 的均值等于實際觀測值 的均值 剩余項 的均值為零 被解釋變量估計值 與剩余項 不相關(guān) 解釋變量 與剩余項 不相關(guān) （j=1,2,-k）1617二、 OLS估計式的統(tǒng)計性質(zhì) 1、 線性特征 是Y的線性函數(shù)，因 是非隨機或取固定值的矩陣 2、 無偏特性 (證明見教材P101附錄3.1) 3、 最小方差特性 在 所有的線性無偏估計中，OLS估計 具有最小方差 (證明見教材P101或附錄3.2) 結(jié)論：在古典假定下，多元線性回歸的 OLS估 計式是最佳線性無偏估計式（BLUE）18 三、 OL

7、S估計的分布性質(zhì)基本思想： 是隨機變量，必須確定其分布性質(zhì)才可能進(jìn)行區(qū)間估計和假設(shè)檢驗 是服從正態(tài)分布的隨機變量，決定了Y也是服從正態(tài)分布的隨機變量 是Y的線性函數(shù)，決定了 也是服從正態(tài)分布的隨機變量19 的期望 (由無偏性) 的方差和標(biāo)準(zhǔn)誤差： 可以證明 的方差協(xié)方差矩陣為（見下頁） 這里的 （其中 是矩陣 中第 j 行第 j 列的元素） 所以 （j=1,2,-k） 的期望與方差20其中：(由無偏性)(由同方差性)(由OLS估計式)20注意 是向量的方差-協(xié)方差21 四、 隨機擾動項方差 的估計 一般未知，可證明多元回歸中 的無偏 估計為：(證明見P103附錄3.3) 或表示為 將 作標(biāo)準(zhǔn)化

8、變換： 21對比: 一元回歸中22 未知時 的標(biāo)準(zhǔn)化變換因 是未知的， 可用 代替 去估計參數(shù)的標(biāo)準(zhǔn)誤差: 當(dāng)為大樣本時，用估計的參數(shù)標(biāo)準(zhǔn)誤差對 作標(biāo)準(zhǔn)化變換，所得 Z 統(tǒng)計量仍可視為服從正態(tài)分布當(dāng)為小樣本時，用估計的參數(shù)標(biāo)準(zhǔn)誤差對 作標(biāo)準(zhǔn)化變換，所得的 t 統(tǒng)計量服從 t 分布：2223五、 回歸系數(shù)的區(qū)間估計 由于給定 ，查t分布表的自由度為 n-k 的臨界值或或表示為2324 第三節(jié)多元線性回歸模型的檢驗一、多元回歸的擬合優(yōu)度檢驗 多重可決系數(shù)：在多元回歸模型中，由各個解釋 變量聯(lián)合起來解釋了的Y的變差，在Y的總變差中占 的比重，用 表示 與簡單線性回歸中可決系數(shù) 的區(qū)別只是 不同多元回

9、歸中多重可決系數(shù)可表示為 (注意:紅色字體是與一元回歸不同的部分)2425 多重可決系數(shù)的矩陣表示 可用代數(shù)式表達(dá)為 特點:多重可決系數(shù)是模型中解釋變量個數(shù)的不減函 數(shù)，這給對比不同模型的多重可決系數(shù)帶來缺陷， 所以需要修正。 26 修正的可決系數(shù)思想：可決系數(shù)只涉及變差，沒有考慮自由度。 如果用自由度去校正所計算的變差，可糾 正解釋變量個數(shù)不同引起的對比困難?；仡? 自由度：統(tǒng)計量的自由度指可自由變化的樣本觀 測值個數(shù)，它等于所用樣本觀測值的個 數(shù)減去對觀測值的約束個數(shù)。27 可決系數(shù)的修正方法 總變差 TSS 自由度為 n-1 解釋了的變差 ESS 自由度為 k-1 剩余平方和 RSS 自

10、由度為 n-k 修正的可決系數(shù)為 28 修正的可決系數(shù) 與可決系數(shù) 的關(guān)系 已經(jīng)導(dǎo)出： 注意： 可決系數(shù) 必定非負(fù)，但所計算的修正可決系數(shù) 有可能為負(fù)值 解決辦法：若計算的 ，規(guī)定 取值為0 2929二、回歸方程的顯著性檢驗（F檢驗）基本思想： 在多元回歸中包含多個解釋變量，它們與被解釋變量是否有顯著關(guān)系呢？ 當(dāng)然可以分別檢驗各個解釋變量對被解釋變量影響的顯著性。 但是我們首先關(guān)注的是所有解釋變量聯(lián)合起來對被解釋變量影響的顯著性, 或整個方程總的聯(lián)合顯著性，需要對方程的總顯著性在方差分析的基礎(chǔ)上進(jìn)行F檢驗。3030在討論可決系數(shù)時已經(jīng)分析了被解釋變量總變差TSS的分解及自由度： TSS=ESS

11、+RSS注意: Y的樣本方差= 總變差/自由度 即顯然，Y的樣本方差也可分解為兩部分，可用方差分析表分解301.方差分析31總變差 TSS= 自由度 n1 模型解釋了的變差 ESS= 自由度 k1剩余變差 RSS= 自由度 nk 變差來源 平 方 和 自由度 方 差歸于回歸模型 ESS= k-1歸于剩余 RSS= n-k總變差 TSS= n-1基本思想: 如果多個解釋變量聯(lián)合起來對被解釋變量的影響不顯著, “歸于回歸的方差“ 比“歸于剩余的方差”顯著地小應(yīng)是大概率事件。 方差分析表322. F檢驗原假設(shè):（所有解釋變量聯(lián)合起來對被解釋變量的影響不顯著）備擇假設(shè): 不全為0建立統(tǒng)計量(可以證明)

12、: 給定顯著性水平 ，查F分布表中自由度為 k-1 和 n-k 的臨界值 ，并通過樣本觀測值計算F值3233F檢驗方式如果計算的F值大于臨界值 ， 則拒絕 ，說明回歸模型有顯著意義， 即所有解釋變量聯(lián)合起來對Y確有顯著影響。如果計算的F值小于臨界值 ，則不拒絕 ，說明回歸模型沒有顯著 意義，即所有解釋變量聯(lián)合起來對Y沒有顯著影響。34三、各回歸系數(shù)的假設(shè)檢驗注意: 在一元回歸中F檢驗與t檢驗等價, 且但在多元回歸中，F(xiàn)檢驗顯著，不一定每個解釋變量都對Y有顯著影響。還需要分別檢驗當(dāng)其他解釋變量保持不變時，各個解釋變量X對被解釋變量Y是否有顯著影響。 方法： 原假設(shè) （j=1,2,k） 備擇假設(shè)

13、統(tǒng)計量t為： 35給定顯著性水平，查t分布表的臨界值為如果 就不拒絕 ，而拒絕 即認(rèn)為 所對應(yīng)的解釋變量 對被解釋變量Y的影響不顯著。 如果 就拒絕 而不拒絕 即認(rèn)為 所對應(yīng)的解釋變量 對被解釋變量Y的影響是顯著的。討論：在多元回歸中，可以作F檢驗，也可以分別對每個回歸系數(shù)逐個地進(jìn)行 t 檢驗。 F 檢驗與t檢驗的關(guān)系是什么？對各回歸系數(shù)假設(shè)檢驗的作法36第四節(jié)多元線性回歸模型的預(yù)測 一、被解釋變量平均值預(yù)測1. Y平均值的點預(yù)測 方法：將解釋變量預(yù)測值代入估計的方程： 多元回歸時： 或注意: 預(yù)測期的 是第一個元素為1的行向量,不是矩陣,也不是列向量 37 2. Y平均值的區(qū)間預(yù)測 基本思想

14、： （與簡單線性回歸時相同） 由于存在抽樣波動，預(yù)測的平均值 不一定 等于真實平均值 ，還需要對 作區(qū)間估計。 為了對Y作區(qū)間預(yù)測，必須確定平均值預(yù)測值 的抽樣分布。 必須找出與 和 都有關(guān)的統(tǒng)計量, 并要明確其概率分布性質(zhì)。3738區(qū)間預(yù)測的具體作法當(dāng) 未知 時，只得用 代替，這時簡單線性回歸中(回顧簡單線性回歸)3839多元回歸時，與預(yù)測的平均值 和真實平均值 都有關(guān)的是二者的偏差 ： 服從正態(tài)分布，可證明 用 代替，可構(gòu)造 t 統(tǒng)計量區(qū)間預(yù)測的具體作法（多元時）40或者 服從正態(tài)分布，可證明 即標(biāo)準(zhǔn)化當(dāng)用 代替 時 ，可構(gòu)造 t 統(tǒng)計量4041 給定顯著性水平，查t分布表，得自由度為 n

15、-k的臨界值 ，則或區(qū)間預(yù)測的具體作法42二、被解釋變量個別值預(yù)測 基本思想： （與簡單線性回歸時相同） 由于存在隨機擾動 的影響，Y的平均值并不等于Y的個別值。 為了對Y的個別值 作區(qū)間預(yù)測，需要尋找與預(yù)測值 和個別值 有關(guān)的統(tǒng)計量，并要明確其概率分布性質(zhì)。43 已知剩余項 是與預(yù)測值 和個別值 都有關(guān)的變量 并且已知 服從正態(tài)分布，且多元回歸時可證明 當(dāng)用 代替 時，對 標(biāo)準(zhǔn)化的 變量 t 為： 個別值區(qū)間預(yù)測具體作法給定顯著性水平 ，查t分布表得自由度為 n-k 的臨界值 則 因此，多元回歸時Y的個別值的置信度1-的預(yù)測區(qū)間的上下限為4445 第五節(jié) 案例分析研究的目的要求為了研究影響中

16、國稅收收入增長的主要原因，分析中央和地方稅收收入增長的數(shù)量規(guī)律，預(yù)測中國稅收未來的增長趨勢，需要建立計量經(jīng)濟模型。 研究范圍：1978年-2007年全國稅收收入理論分析：為了全面反映中國稅收增長的全貌，選擇包括中央和地方稅收的“國家財政收入”中的“各項稅收”（簡稱“稅收收入”）作為被解釋變量；選擇國內(nèi)生產(chǎn)總值（GDP）作為經(jīng)濟整體增長水平的代表；選擇中央和地方“財政支出”作為公共財政需求的代表；選擇“商品零售價格指數(shù)”作為物價水平的代表。46年份 稅收收入（億元）（Y） 國內(nèi)生產(chǎn)總值（億元）（X2）財政支出（億元）（X3）商品零售價格指數(shù)（%）（X4）1978 519.283624.11122

17、.09100.71979 537.824038.21281.79102.01980 571.704517.81228.83106.01981 629.894862.41138.41102.41982 700.025294.71229.98101.91983775.595934.51409.52101.51984947.357171.01701.02102.819852040.798964.42004.25108.819862090.7310202.22204.91106.019872140.3611962.52262.18107.319882390.4714928.32491.21118.51

18、9892727.4016909.22823.78117.819902821.8618547.93083.59102.119912990.1721617.83386.62102.919923296.9126638.13742.20105.44719934255.3034634.44642.30113.219945126.8846759.45792.62121.719956038.0458478.16823.72114.819966909.8267884.67937.55106.119978234.0474462.69233.56100.819989262.8078345.210798.1897.

19、4199910682.5882067.513187.6797.0200012581.5189468.115886.5098.5200115301.3897314.818902.5899.220022003200420052006200717636.4520017.3124165.6828778.5434804.3545621.97104790.6135822.8159878.3183217.4211923.5249529.922053.1524649.9528486.8933930.2840422.7349781.3598.799.9102.8100.8101103.848序列Y、X2、X3、

20、X4的線性圖可以看出Y、X2、X3都是逐年增長的，但增長速率有所變動，而且X4在多數(shù)年份呈現(xiàn)出水平波動。說明變量間不一定是線性關(guān)系，可探索將模型設(shè)定為以下對數(shù)模型：注意這里的“商品零售價格指數(shù)”（X4）未取對數(shù)。49 三、估計參數(shù)模型估計的結(jié)果為： (0.6397) (0.1355) (0.1557) (0.0055) t= (-4.4538) (3.0420) (4.2788) (2.0856) F=673.7521 df=3050模型檢驗：1、經(jīng)濟意義檢驗：模型估計結(jié)果說明，在假定其它變量不變的情況下，當(dāng)年GDP每增長1%，稅收收入會增長0.4123%；當(dāng)年財政支出每增長1%，平均說來稅收收入會增長0.6664%；當(dāng)年商品零售價格指數(shù)上漲一個百分點，平均說來稅收收入會增長0.0115%。這與理論分析和經(jīng)驗判斷相