第3章 多元線性回歸模型

多元線性回歸模型計量經(jīng)濟學(xué)基礎(chǔ)第三章1第三章多元線性回歸模型

本章主要討論:●多元線性回歸模型及古典假定●多元線性回歸模型的估計●多元線性回歸模型的檢驗●多元線性回歸模型的預(yù)測2第一節(jié)

多元線性回歸模型及古典假定本節(jié)基本內(nèi)容:

一、多元線性回歸模型的意義二、多元線性回歸模型的矩陣表示三、多元線性回歸中的基本假定

3一、多元線性回歸模型的意義例如:有兩個解釋變量的電力消費模型其中:為各地區(qū)電力消費量；為各地區(qū)國內(nèi)生產(chǎn)總值（GDP）；

為各地區(qū)電力價格變動。4多元線性回歸模型的一般形式一般形式：對于有個解釋變量的線性回歸模型模型中參數(shù)是偏回歸系數(shù)，樣本容量為偏回歸系數(shù)：控制其它解釋量不變的條件下，第

個解釋變量的單位變動對應(yīng)變量平均值的影響。5指對各個回歸系數(shù)而言是“線性”的，對變量則可是線性的，也可是非線性的例如：生產(chǎn)函數(shù)取自然對數(shù)多元線性回歸6的總體條件均值表示為多個解釋變量的函數(shù)

多元總體回歸函數(shù)7

的樣本條件均值表示為多個解釋變量的函數(shù)或其中回歸剩余（殘差）：多元樣本回歸函數(shù)8二、多元線性回歸模型的矩陣表示

個解釋變量的多元線性回歸模型的

個觀測樣本，可表示為

9

用矩陣表示10總體回歸函數(shù)或

樣本回歸函數(shù)或

其中：都是有

個元素的列向量是有

個元素的列向量

是第一列為1的階解釋變量數(shù)據(jù)矩陣(截距項可視為解釋變量取值為1)11三、多元線性回歸中的基本假定假定1：零均值假定或

假定2和假定3：同方差和無自相關(guān)假定

假定4：隨機擾動項與解釋變量不相關(guān)

12假定5:無多重共線性假定(多元中)

假定各解釋變量之間不存在線性關(guān)系，或各個解釋變量觀測值之間線性無關(guān)?；蚪忉屪兞坑^測值矩陣

列滿秩(

列)。

即

可逆假定6：正態(tài)性假定13第二節(jié)

多元線性回歸模型的估計本節(jié)基本內(nèi)容:●普通最小二乘法（OLS）●OLS估計式的性質(zhì)●OLS估計的分布性質(zhì)●隨機擾動項方差的估計●回歸系數(shù)的區(qū)間估計

14

一、普通最小二乘法（OLS）最小二乘原則剩余平方和最?。?/p>

求偏導(dǎo),令其為0:15

即

注意到16

用矩陣表示因為樣本回歸函數(shù)為兩邊乘有：因為，則正規(guī)方程為：17由正規(guī)方程多元回歸中二元回歸中注意：

和

為

的離差

OLS估計式18二、OLS估計式的性質(zhì)

OLS估計式

1.線性特征:

是的線性函數(shù)，因是非隨機或取固定值的矩陣

2.無偏特性:

193.

最小方差特性在所有的線性無偏估計中，OLS估計具有最小方差

結(jié)論：在古典假定下，多元線性回歸的OLS估計式是最佳線性無偏估計式（BLUE）20三、OLS估計的分布性質(zhì)基本思想●是隨機變量，必須確定其分布性質(zhì)才可能進行區(qū)間估計和假設(shè)檢驗●是服從正態(tài)分布的隨機變量,決定了

也是服從正態(tài)分布的隨機變量●是

的線性函數(shù)，決定了也是服從正態(tài)分布的隨機變量21

的期望(由無偏性)

的方差和標(biāo)準(zhǔn)誤差：

可以證明的方差-協(xié)方差矩陣為

這里是矩陣中第

行第

列的元素22

四、隨機擾動項方差的估計

多元回歸中的無偏估計為：或表示為

將作標(biāo)準(zhǔn)化變換：

23因是未知的，可用代替去估計參數(shù)的標(biāo)準(zhǔn)誤差:●當(dāng)為大樣本時，用估計的參數(shù)標(biāo)準(zhǔn)誤差對作標(biāo)準(zhǔn)化變換，所得Z統(tǒng)計量仍可視為服從正態(tài)分布●當(dāng)為小樣本時，用估計的參數(shù)標(biāo)準(zhǔn)誤差對

作標(biāo)準(zhǔn)化變換，所得的t統(tǒng)計量服從t分布：

24五、回歸系數(shù)的區(qū)間估計由于給定，查t分布表的自由度為

的臨界值或:或表示為:25第三節(jié)

多元線性回歸模型的檢驗本節(jié)基本內(nèi)容:

●多元回歸的擬合優(yōu)度檢驗●回歸方程的顯著性檢驗（F檢驗）

●各回歸系數(shù)的顯著性檢驗（t檢驗）26一、多元回歸的擬合優(yōu)度檢驗多重可決系數(shù)：在多元回歸模型中，由各個解釋變量聯(lián)合解釋了的

的變差，在

的總變差中占的比重，用表示與簡單線性回歸中可決系數(shù)的區(qū)別只是

不同，多元回歸中多重可決系數(shù)也可表示為

27

特點：多重可決系數(shù)是模型中解釋變量個數(shù)的不減函數(shù)，這給對比不同模型的多重可決系數(shù)帶來缺陷，所以需要修正。多重可決系數(shù)的矩陣表示28思想可決系數(shù)只涉及變差，沒有考慮自由度。如果用自由度去校正所計算的變差，可糾正解釋變量個數(shù)不同引起的對比困難。自由度統(tǒng)計量的自由度指可自由變化的樣本觀測值個數(shù)，它等于所用樣本觀測值的個數(shù)減去對觀測值的約束個數(shù)。修正的可決系數(shù)29可決系數(shù)的修正方法

總變差

自由度為

解釋了的變差

自由度為

剩余平方和

自由度為

修正的可決系數(shù)為

30

特點

可決系數(shù)必定非負，但修正的可決系數(shù)可能為負值，這時規(guī)定

修正的可決系數(shù)與可決系數(shù)的關(guān)系：31二、回歸方程顯著性檢驗（F檢驗）基本思想在多元回歸中有多個解釋變量，需要說明所有解釋變量聯(lián)合起來對應(yīng)變量影響的總顯著性,或整個方程總的聯(lián)合顯著性。對方程總顯著性檢驗需要在方差分析的基礎(chǔ)上進行F檢驗。32總變差自由度

模型解釋了的變差

自由度

剩余變差自由度變差來源平方和自由度方差歸于回歸模型歸于剩余總變差方差分析表33

原假設(shè)備擇假設(shè)不全為0

建立統(tǒng)計量(可以證明):

給定顯著性水平，查F分布表得臨界值并通過樣本觀測值計算

值F檢驗34▼如果(小概率事件發(fā)生了)

則拒絕，說明回歸模型有顯著意義，即所有解釋變量聯(lián)合起來對

有顯著影響。▼如果

(大概率事件發(fā)生了)

則接受，說明回歸模型沒有顯著意義，即所有解釋變量聯(lián)合起來對

沒有顯著影響。35可決系數(shù)與F檢驗由方差分析可以看出，F(xiàn)檢驗與可決系數(shù)有密切聯(lián)系，二者都建立在對應(yīng)變量變差分解的基礎(chǔ)上。F統(tǒng)計量也可通過可決系數(shù)計算：可看出：當(dāng)時，

越大，值也越大當(dāng)

時，結(jié)論：對方程聯(lián)合顯著性檢驗的F檢驗，實際上也是對的顯著性檢驗。

36三、各回歸系數(shù)的顯著性檢驗

（t檢驗）

目的：

在多元回歸中，分別檢驗當(dāng)其他解釋變量保持不變時，各個解釋變量對應(yīng)變量

是否有顯著影響。

方法：

原假設(shè)備擇假設(shè)統(tǒng)計量為：

37t檢驗的方法

給定顯著性水平

，查自由度為時t分布表的臨界值為

如果

就不拒絕而拒絕即認為所對應(yīng)的解釋變量對應(yīng)變量

的影響不顯著。

38

如果

就拒絕而不拒絕即認為所對應(yīng)的解釋變量對應(yīng)變量

的影響是顯著的。在多元回歸中，可分別對每個回歸系數(shù)逐個地進行t檢驗。

注意:在一元回歸中F檢驗與t檢驗等價,且但在多元回歸中F檢驗與t檢驗作用不同。39第四節(jié)

多元線性回歸模型的預(yù)測

本節(jié)基本內(nèi)容:

●應(yīng)變量平均值預(yù)測●應(yīng)變量個別值預(yù)測40一、應(yīng)變量平均值預(yù)測

1.平均值的點預(yù)測

將解釋變量預(yù)測值代入估計的方程：多元回歸時：

或

注意:預(yù)測期的

是第一個元素為1的行向量,不是矩陣,也不是列向量

41

基本思想：

由于存在抽樣波動，預(yù)測的平均值不一定等于真實平均值，還需要對作區(qū)間估計。為對

作區(qū)間預(yù)測，必須確定平均值預(yù)測值的抽樣分布。必須找出與和都有