第三章 多元線性回歸模型 復制

第三章多元線性回歸模型復制第1頁，共54頁，2023年，2月20日，星期三2引子:中國已成為世界汽車產(chǎn)銷第一大國

2009年，為應(yīng)對國際金融危機、確保經(jīng)濟平穩(wěn)較快增長，國家出臺了一系列促進汽車消費的政策，有效刺激了汽車消費市場，汽車產(chǎn)銷呈高增長態(tài)勢，首次成為世界汽車產(chǎn)銷第一大國。2009年，汽車產(chǎn)銷分別為1379.1萬輛和1364.5萬輛，同比增長48.3%和46.15%。是什么因素導致中國汽車數(shù)量的增長?

影響中國汽車行業(yè)發(fā)展的因素并不是單一的，經(jīng)濟增長、消費趨勢、市場行情、業(yè)界心態(tài)、能源價格、道路發(fā)展、內(nèi)外環(huán)境，都會使中國汽車行業(yè)面臨機遇和挑戰(zhàn)。第2頁，共54頁，2023年，2月20日，星期三3分析中國汽車行業(yè)未來的趨勢,應(yīng)具體分析這樣一些問題：中國汽車市場發(fā)展的狀況如何？（用銷售量觀測）影響中國汽車銷量的主要因素是什么？

（如收入、價格、費用、道路狀況、能源、政策環(huán)境等）各種因素對汽車銷量影響的性質(zhì)怎樣？（正、負）各種因素影響汽車銷量的具體數(shù)量關(guān)系是什么？所得到的數(shù)量結(jié)論是否可靠？中國汽車行業(yè)今后的發(fā)展前景怎樣？應(yīng)當如何制定汽車的產(chǎn)業(yè)政策？很明顯，只用一個解釋變量已很難分析汽車產(chǎn)業(yè)的發(fā)展,還需要尋求有更多個解釋變量情況的回歸分析方法。

怎樣分析多種因素的影響？第3頁，共54頁，2023年，2月20日，星期三4

本章主要討論:●多元線性回歸模型及古典假定●多元線性回歸模型的估計●多元線性回歸模型的檢驗●多元線性回歸模型的預測第4頁，共54頁，2023年，2月20日，星期三5第一節(jié)多元線性回歸模型及古典假定

一、多元線性回歸模型的意義

一般形式：對于有K-1個解釋變量的線性回歸模型

注意：模型中的（j=1,2,---k）是偏回歸系數(shù)樣本容量為n

偏回歸系數(shù)：

控制其它解釋量不變的條件下，第j個解釋變量的單位變動對被解釋變量平均值的影響，即對Y平均值“直接”或“凈”的影響。

5第5頁，共54頁，2023年，2月20日，星期三6多元線性回歸中的“線性”指對各個回歸系數(shù)而言是“線性”的，對變量則可以是線性的，也可以是非線性的例如：生產(chǎn)函數(shù)取對數(shù)這也是多元線性回歸模型，只是這時變量為lnY、lnL、lnK第6頁，共54頁，2023年，2月20日，星期三7

多元總體回歸函數(shù)

條件期望表現(xiàn)形式：將Y的總體條件期望表示為多個解釋變量的函數(shù)，如:注意：這時Y總體條件期望的軌跡是K維空間的一條線個別值表現(xiàn)形式：引入隨機擾動項或表示為

第7頁，共54頁，2023年，2月20日，星期三8

多元樣本回歸函數(shù)

Y的樣本條件均值可表示為多個解釋變量的函數(shù)或回歸剩余（殘差）：

其中

第8頁，共54頁，2023年，2月20日，星期三9多個解釋變量的多元線性回歸模型的n組樣本觀測值，可表示為

用矩陣表示

9第9頁，共54頁，2023年，2月20日，星期三10總體回歸函數(shù)或樣本回歸函數(shù)或

其中：都是有n個元素的列向量是有k個元素的列向量（

k=解釋變量個數(shù)+1）

是第一列為1的n×k階解釋變量數(shù)據(jù)矩陣，

(截距項可視為解釋變量總是取值為1)

矩陣表示方式第10頁，共54頁，2023年，2月20日，星期三11

假定1：零均值假定

（i=1，2，---n）或

E（u）=0

假定2和假定3：同方差和無自相關(guān)假定：

或用方差-協(xié)方差矩陣表示為:

（i=j）(i≠j)0第11頁，共54頁，2023年，2月20日，星期三12假定5:無多重共線性假定

(多元中增加的)

假定各解釋變量之間不存在線性關(guān)系，或各個解釋變量觀測值之間線性無關(guān)?；蚪忉屪兞坑^測值

矩陣X的秩為K(注意X為n行K列)。

Ran(X)=k

Rak(X'X)=k

即(X'X)

可逆

假定6:正態(tài)性假定12假定4：隨機擾動項與解釋變量不相關(guān)第12頁，共54頁，2023年，2月20日，星期三一、普通最小二乘法（OLS）原則：尋求剩余平方和最小的參數(shù)估計式

即求偏導，并令其為0其中即13第13頁，共54頁，2023年，2月20日，星期三14用矩陣表示的正規(guī)方程偏導數(shù)因為樣本回歸函數(shù)為兩邊左乘根據(jù)最小二乘原則則正規(guī)方程為第14頁，共54頁，2023年，2月20日，星期三15OLS估計式

由正規(guī)方程多元回歸的OLS估計量為當只有兩個解釋變量時為：注意：為X、Y的離差對比簡單線性回歸中第15頁，共54頁，2023年，2月20日，星期三16

●回歸線通過樣本均值

●估計值的均值等于實際觀測值的均值

●剩余項的均值為零

●被解釋變量估計值與剩余項不相關(guān)

●解釋變量與剩余項不相關(guān)（j=1,2,---k）16第16頁，共54頁，2023年，2月20日，星期三17

1、

線性特征

是Y的線性函數(shù)，因是非隨機或取固定值的矩陣

2、

無偏特性

(證明見教材P101附錄3.1)3、

最小方差特性

在所有的線性無偏估計中，OLS估計具有最小方差

(證明見教材P101或附錄3.2)

結(jié)論：在古典假定下，多元線性回歸的OLS估計式是最佳線性無偏估計式（BLUE）第17頁，共54頁，2023年，2月20日，星期三18

三、OLS估計的分布性質(zhì)基本思想：●是隨機變量，必須確定其分布性質(zhì)才可能進行區(qū)間估計和假設(shè)檢驗●是服從正態(tài)分布的隨機變量，決定了Y也是服從正態(tài)分布的隨機變量●是Y的線性函數(shù)，決定了也是服從正態(tài)分布的隨機變量第18頁，共54頁，2023年，2月20日，星期三19●的期望(由無偏性)

●的方差和標準誤差：可以證明的方差—協(xié)方差矩陣為（見下頁）

這里的

（其中是矩陣中第j行第j列的元素）所以（j=1,2,---k）

的期望與方差第19頁，共54頁，2023年，2月20日，星期三20其中：(由無偏性)(由同方差性)(由OLS估計式)20注意

是向量的方差-協(xié)方差第20頁，共54頁，2023年，2月20日，星期三21

一般未知，可證明多元回歸中的無偏估計為：(證明見P103附錄3.3)

或表示為

將作標準化變換：

21對比:一元回歸中第21頁，共54頁，2023年，2月20日，星期三22因是未知的，可用代替去估計參數(shù)的標準誤差:●當為大樣本時，用估計的參數(shù)標準誤差對作標準化變換，所得Z統(tǒng)計量仍可視為服從正態(tài)分布●當為小樣本時，用估計的參數(shù)標準誤差對作標準化變換，所得的t統(tǒng)計量服從t分布：22第22頁，共54頁，2023年，2月20日，星期三23五、回歸系數(shù)的區(qū)間估計

由于給定，查t分布表的自由度為n-k的臨界值或或表示為23第23頁，共54頁，2023年，2月20日，星期三24一、多元回歸的擬合優(yōu)度檢驗

多重可決系數(shù)：在多元回歸模型中，由各個解釋變量聯(lián)合起來解釋了的Y的變差，在Y的總變差中占的比重，用表示

與簡單線性回歸中可決系數(shù)的區(qū)別只是不同多元回歸中多重可決系數(shù)可表示為

(注意:紅色字體是與一元回歸不同的部分)24第24頁，共54頁，2023年，2月20日，星期三25

多重可決系數(shù)的矩陣表示

可用代數(shù)式表達為

特點:多重可決系數(shù)是模型中解釋變量個數(shù)的不減函數(shù)，這給對比不同模型的多重可決系數(shù)帶來缺陷，所以需要修正。

第25頁，共54頁，2023年，2月20日，星期三26修正的可決系數(shù)思想：可決系數(shù)只涉及變差，沒有考慮自由度。如果用自由度去校正所計算的變差，可糾正解釋變量個數(shù)不同引起的對比困難?；仡?

自由度：統(tǒng)計量的自由度指可自由變化的樣本觀測值個數(shù)，它等于所用樣本觀測值的個數(shù)減去對觀測值的約束個數(shù)。第26頁，共54頁，2023年，2月20日，星期三27可決系數(shù)的修正方法

總變差TSS自由度為n-1

解釋了的變差ESS自由度為k-1

剩余平方和RSS自由度為n-k

修正的可決系數(shù)為

第27頁，共54頁，2023年，2月20日，星期三28

修正的可決系數(shù)與可決系數(shù)的關(guān)系

已經(jīng)導出：

注意：

可決系數(shù)必定非負，但所計算的修正可決系數(shù)有可能為負值

解決辦法：若計算的，規(guī)定取值為0

第28頁，共54頁，2023年，2月20日，星期三2929基本思想：

在多元回歸中包含多個解釋變量，它們與被解釋變量是否有顯著關(guān)系呢？

當然可以分別檢驗各個解釋變量對被解釋變量影響的顯著性。

但是我們首先關(guān)注的是所有解釋變量聯(lián)合起來對被解釋變量影響的顯著性,或整個方程總的聯(lián)合顯著性，需要對方程的總顯著性在方差分析的基礎(chǔ)上進行F檢驗。第29頁，共54頁，2023年，2月20日，星期三3030在討論可決系數(shù)時已經(jīng)分析了被解釋變量總變差TSS的分解及自由度：

TSS=ESS+RSS注意:Y的樣本方差=總變差/自由度即顯然，Y的樣本方差也可分解為兩部分，可用方差分析表分解301.方差分析第30頁，共54頁，2023年，2月20日，星期三31

變差來源平方和自由度方差歸于回歸模型ESS=k-1歸于剩余RSS=n-k總變差TSS=n-1基本思想:

如果多個解釋變量聯(lián)合起來對被解釋變量的影響不顯著,“歸于回歸的方差“比“歸于剩余的方差”顯著地小應(yīng)是大概率事件。方差分析表

第31頁，共54頁，2023年，2月20日，星期三32原假設(shè):（所有解釋變量聯(lián)合起來對被解釋變量的影響不顯著）備擇假設(shè):

不全為0建立統(tǒng)計量(可以證明):

給定顯著性水平，查F分布表中自由度為k-1和n-k的臨界值，并通過樣本觀測值計算F值32第32頁，共54頁，2023年，2月20日，星期三33F檢驗方式

▼如果計算的F值大于臨界值，則拒絕，說明回歸模型有顯著意義，

即所有解釋變量聯(lián)合起來對Y確有顯著影響。▼如果計算的F值小于臨界值，則不拒絕，說明回歸模型沒有顯著

意義，即所有解釋變量聯(lián)合起來對Y沒有顯著影響。第33頁，共54頁，2023年，2月20日，星期三34注意:

在一元回歸中F檢驗與t檢驗等價,且

(見教材P87證明)但在多元回歸中，F(xiàn)檢驗顯著，不一定每個解釋變量都對Y有顯著影響。還需要分別檢驗當其他解釋變量保持不變時，各個解釋變量X對被解釋變量Y是否有顯著影響。

方法：

原假設(shè)（j=1,2,……k）備擇假設(shè)統(tǒng)計量t為：

第34頁，共54頁，2023年，2月20日，星期三35給定顯著性水平α，查t分布表的臨界值為如果

就不拒絕，而拒絕即認為所對應(yīng)的解釋變量對被解釋變量Y的影響不顯著。如果

就拒絕而不拒絕即認為所對應(yīng)的解釋變量對被解釋變量Y的影響是顯著的。討論：在多元回歸中，可以作F檢驗，也可以分別對每個回歸系數(shù)逐個地進行t檢驗。

F

檢驗與t檢驗的關(guān)系是什么？對各回歸系數(shù)假設(shè)檢驗的作法第35頁，共54頁，2023年，2月20日，星期三36

一、被解釋變量平均值預測1.Y平均值的點預測

方法：將解釋變量預測值代入估計的方程：多元回歸時：

或注意:預測期的是第一個元素為1的行向量,不是矩陣,也不是列向量

第36頁，共54頁，2023年，2月20日，星期三37

2.Y平均值的區(qū)間預測

基本思想：（與簡單線性回歸時相同）

●由于存在抽樣波動，預測的平均值不一定等于真實平均值，還需要對作區(qū)間估計?！駷榱藢作區(qū)間預測，必須確定平均值預測值的抽樣分布?！?/p>

必須找出與和都有關(guān)的統(tǒng)計量,

并要明確其概率分布性質(zhì)。37第37頁，共54頁，2023年，2月20日，星期三38區(qū)間預測的具體作法當未知時，只得用代替，這時簡單線性回歸中(回顧簡單線性回歸)38第38頁，共54頁，2023年，2月20日，星期三39

多元回歸時，與預測的平均值和真實平均值

都有關(guān)的是二者的偏差：服從正態(tài)分布，可證明用代替，可構(gòu)造t統(tǒng)計量區(qū)間預測的具體作法（多元時）第39頁，共54頁，2023年，2月20日，星期三40

服從正態(tài)分布，可證明

即標準化當用代替時，可構(gòu)造t統(tǒng)計量40第40頁，共54頁，2023年，2月20日，星期三41

給定顯著性水平α，查t分布表，得自由度為n-k的臨界值，則或區(qū)間預測的具體作法第41頁，共54頁，2023年，2月20日，星期三42

基本思想：（與簡單線性回歸時相同）

●由于存在隨機擾動的影響，Y的平均值并不等于Y的個別值?！駷榱藢的個別值作區(qū)間預測，需要尋找與預測值和個別值有關(guān)的統(tǒng)計量，并要明確其概率分布性質(zhì)。第42頁，共54頁，2023年，2月20日，星期三43

已知剩余項是與預測值和個別值都有關(guān)的變量并且已知服從正態(tài)分布，且多元回歸時可證明

當用代替時，對標準化的變量t為：

個別值區(qū)間預測具體作法第43頁，共54頁，2023年，2月20日，星期三給定顯著性水平，查t分布表得自由度為n-k的臨界值則

因此，多元回歸時Y的個別值的置信度1-α的預測區(qū)間的上下限為44第44頁，共54頁，2023年，2月20日，星期三45

第五節(jié)案例分析研究的目的要求為了研究影響中國稅收收入增長的主要原因，分析中央和地方稅收收入增長的數(shù)量規(guī)律，預測中國稅收未來的增長趨勢，需要建立計量經(jīng)濟模型。研究范圍：1978年-2007年全國稅收收入理論分析：為了全面反映中國稅收增長的全貌，選擇包括中央和地方稅收的“國家財政收入”中的“各項稅收”（簡稱“稅收收入”）作為被解釋變量；選擇國內(nèi)生產(chǎn)總值（GDP）作為經(jīng)濟整體增長水平的代表；選擇中央和地方“財政支出”作為公共財政需求的代表；選擇“商品零售價格指數(shù)”作為物價水平的代表。第45頁，共54頁，2023年，2月20日，星期三46年份

稅收收入（億元）（Y）

國內(nèi)生產(chǎn)總值（億元）（X2）財政支出（億元）（X3）商品零售價格指數(shù)（%）（X4）1978519.283624.11122.09100.71979537.824038.21281.79102.01980571.704517.81228.83106.01981629.894862.41138.41102.41982700.025294.71229.98101.91983775.595934.51409.52101.51984947.357171.01701.02102.819852040.798964.42004.25108.819862090.7310202.22204.91106.019872140.3611962.52262.18107.319882390.4714928.32491.21118.519892727.4016909.22823.78117.819902821.8618547.93083.59102.119912990.1721617.83386.62102.919923296.9126638.13742.20105.4第46頁，共54頁，2023年，2月20日，星期三4719934255.3034634.44642.30113.219945126.8846759.45792.62121.719956038.0458478.16823.72114.819966909.8267884.67937.55106.119978234.0474462.69233.56100.819989262.8078345.210798.1897.4199910682.5882067.513187.6797.0200012581.5189468.115886.5098.5200115301.3897314.818902.5899.220022003200420052006200717636.4520017.3124165.6828778.5434804.3545621.97104790.6135822.8159878.3183217.4211923.5249529.922053.1524649.9528486.8933930.2840422.7349781.3598.799.9102.8100.8101103.8第47頁，共54頁，2023年，2月20日，星期三48序列Y、X2、X3、X4的線性圖可以看出Y、X2、X3都是逐年增長的，但增長速率有所變動，而且X4在多數(shù)年份呈現(xiàn)出水平波動。說明變量間不一定是線性關(guān)系，可探索將模型設(shè)定為以下對數(shù)模型：注意這里的“商品零售價格指數(shù)”（X4）未取對數(shù)。第48頁，共54頁，2023年，2月20日，星期三49

三、估計參數(shù)模型估計的結(jié)果為：(0.6397)(0.1355)(0.1557)(0.0055)

t=(-4.4538)(3.0420)(4.2788)(2.0856)

F=673.7521df=30第49頁，共54頁，2023年，2月20日，星期三501、經(jīng)濟意義檢驗：模型估計結(jié)果說明，在假定其它變量