多元回歸模型估計與假設(shè)檢驗

多元回歸模型估計與假設(shè)檢驗第1頁，共30頁，2023年，2月20日，星期四4.1

二元線性回歸模型：總體回歸函數(shù)

非隨機形式：隨機形式：其中，B1是截距，B2、B3稱為偏回歸系數(shù)。B2

度量了在X3保持不變的情況下，X2變化1單位引起Y的平均變化量；B3

度量了在X2保持不變的情況下，X3變化1單位引起Y的平均變化量。

第2頁，共30頁，2023年，2月20日，星期四例如，

當(dāng)X3保持不變時，X2每增加1單位，Y將平均地增加0.4單位；

當(dāng)X2保持不變時，X3每增加1單位，Y將平均地減少5單位。

4.1

二元線性回歸模型：總體回歸函數(shù)第3頁，共30頁，2023年，2月20日，星期四也就是說，在多元回歸中，偏回歸系數(shù)反映了當(dāng)模型中其他解釋變量保持不變時，某個解釋變量對被解釋變量的條件均值的影響。

多元回歸不但引入了多個解釋變量，而且能夠分離出每個解釋變量對被解釋變量的影響。

4.1

二元線性回歸模型：總體回歸函數(shù)第4頁，共30頁，2023年，2月20日，星期四1.回歸模型是參數(shù)線性的，并且是正確設(shè)定的；2.隨機誤差項的條件均值為零；3.隨機誤差項的方差是常數(shù)（同方差）；4.所有解釋變量都與隨機誤差項不相關(guān)；5.隨機誤差項不存在自相關(guān)。4.2

多元線性回歸的若干假定進一步以上這些假定全部與第三章提到的一元回歸模型的假定完全相同。第5頁，共30頁，2023年，2月20日，星期四

不同的是，多元回歸有多個解釋變量X，因而就多了以下這條對解釋變量之間關(guān)系的假定：

6.解釋變量之間不存在完全共線性，

就是說，解釋變量之間不存在嚴格的線性關(guān)系。

4.2

多元線性回歸的若干假定第6頁，共30頁，2023年，2月20日，星期四

如果X2與X3存在完全共線性，就無法估計偏回歸系數(shù)B2、B3的值。換句話說，不能估計解釋變量X2、X3各自對Y的影響，因為此時X2和X3不是兩個獨立的變量。實踐中很難遇到完全共線性，但近似完全共線性的情況十分常見。如何處理這個問題，將在第八章《多重共線性》詳細討論。4.2

多元線性回歸的若干假定第7頁，共30頁，2023年，2月20日，星期四4.3

多元回歸參數(shù)的估計樣本回歸函數(shù)：

與一元回歸一樣，采用普通最小二乘法(OLS)去估計B1、B2、B3，從而得到它們的OLS估計量b1、b2、b3的值。

即最小化殘差平方和

通過求導(dǎo)，可以算出b1、b2、b3分別為：第8頁，共30頁，2023年，2月20日，星期四特征1

b2和b3表達式的分母相同。特征2

b2和b3表達式是對稱的，即x2，x3互換也可得到相應(yīng)的表達式。4.3

多元回歸參數(shù)的估計第9頁，共30頁，2023年，2月20日，星期四繼而推導(dǎo)出各估計量的方差和標(biāo)準(zhǔn)差：其中，隨機誤差項的方差未知，因而采用其殘差項的方差自由度=樣本容量n-系數(shù)個數(shù)34.3

多元回歸參數(shù)的估計第10頁，共30頁，2023年，2月20日，星期四多元回歸OLS估計量的性質(zhì)：與一元回歸一樣，在古典線性回歸模型的基本假定下，多元回歸OLS估計量也是最優(yōu)線性無偏估計量（BLUE）4.3

多元回歸參數(shù)的估計第11頁，共30頁，2023年，2月20日，星期四

從以上這些討論中不難發(fā)現(xiàn)，二元回歸模型在許多方面是一元回歸模型的直接推廣，只不過估計公式略顯復(fù)雜。

當(dāng)推廣到三元回歸、四元回歸…，那么計算公式將更加復(fù)雜。在這種情況下，必須使用矩陣代數(shù)，以簡化各自表達式。

本課程不會涉及矩陣代數(shù)。4.3

多元回歸參數(shù)的估計第12頁，共30頁，2023年，2月20日，星期四4.4

估計多元回歸的擬合優(yōu)度：判定系數(shù)

與一元回歸一樣，多元回歸的判定系數(shù)依然為：

其中，ESS為解釋平方和，RSS為殘差平方和，TSS為總體平方和（變異）。

判定系數(shù)R2度量了多元回歸模型對Y變異的解釋比例。也就是各解釋變量X對被解釋變量Y變異的聯(lián)合解釋比例。第13頁，共30頁，2023年，2月20日，星期四一個例子:古董鐘的拍賣價格Y：拍賣價格；X2：鐘表年代；X3：競標(biāo)人數(shù)回歸結(jié)果的解釋：其他變量不變，鐘表年代每增加1年，價格平均上升12.74馬克；其他變量不變，競標(biāo)人數(shù)每增加1人，價格平均上升85.76馬克；負的截距沒有實際意義；判定系數(shù)R2相當(dāng)高，約為0.89，說明兩個變量聯(lián)合解釋了拍賣價格89%的變異。樣本數(shù)據(jù)見課本38頁表2-14EVIEWS輸出結(jié)果見課本97頁附錄4A.4第14頁，共30頁，2023年，2月20日，星期四與一元回歸模型一樣，多元回歸模型也可以對每個參數(shù)分別進行顯著性檢驗（單邊或雙邊）。

當(dāng)｜t｜大于5%顯著水平所對應(yīng)的臨界值Z時，則拒絕H0，小于則不拒絕。

當(dāng)然，也可以在EVIEWS輸出結(jié)果里直接讀取相應(yīng)的p值，p值小于5%則拒絕H0，大于則不拒絕。4.7

參數(shù)的顯著性檢驗—t檢驗第15頁，共30頁，2023年，2月20日，星期四…4.7

參數(shù)的顯著性檢驗—t檢驗…第16頁，共30頁，2023年，2月20日，星期四4.8

模型的顯著性檢驗—F檢驗與古典線性回歸模型有關(guān)的一些檢驗：統(tǒng)計檢驗：利用統(tǒng)計原理對參數(shù)和模型的可靠性進行檢驗（擬合優(yōu)度檢驗、參數(shù)的顯著性檢驗、模型的顯著性檢驗等）計量經(jīng)濟學(xué)檢驗：

計量經(jīng)濟學(xué)所特有的檢驗方法（多重共線性檢驗、異方差檢驗、自相關(guān)檢驗等）第17頁，共30頁，2023年，2月20日，星期四與參數(shù)的顯著性檢驗不同，模型的顯著性檢驗的原假設(shè)H0是一個聯(lián)合假設(shè)：即，所有偏回歸系數(shù)同時為0（而不是單獨為0）

這個假設(shè)表示所有的解釋變量對被解釋變量沒有影響，等同于：4.8

模型的顯著性檢驗—F檢驗第18頁，共30頁，2023年，2月20日，星期四F分布,詳見357頁附錄C.4；F分布表,詳見388頁表E-3F統(tǒng)計量：方差分析ANOVA變異來源自由度來自回歸（ESS）k-1來自殘差（RSS）n-k總計（TSS）n-1F統(tǒng)計量服從分子自由度為k-1、分母自由度為n-k的F分布n：樣本容量；k：系數(shù)B的個數(shù)4.8

模型的顯著性檢驗—F檢驗第19頁，共30頁，2023年，2月20日，星期四F

分布n：分子自由度m：分母自由度第20頁，共30頁，2023年，2月20日，星期四檢驗結(jié)果：

如果F值大于顯著水平α的所對應(yīng)的臨界值則拒絕

小于則不拒絕。也可以直接讀取p值，若p小于α，則拒絕H0

大于則不拒絕。F分布,詳見357頁附錄C.4；F分布表,詳見388頁表E-34.8

模型的顯著性檢驗—F檢驗第21頁，共30頁，2023年，2月20日，星期四EViews

回歸結(jié)果第22頁，共30頁，2023年，2月20日，星期四4.9設(shè)定誤差

從回歸結(jié)果中可以看出，X2和X3無論是單獨地、還是聯(lián)合地都對拍賣價格有重要影響。

如果從模型中刪除其中任何一個變量，都會導(dǎo)致模型的設(shè)定誤差。

第7章《模型選擇》將詳細討論模型的設(shè)定誤差。注：查F分布表可知，當(dāng)分子自由度為2、分母自由度為29時，5%顯著水平的F臨界值約為3.32Y：拍賣價格；X2：鐘表年代；X3：競標(biāo)人數(shù)第23頁，共30頁，2023年，2月20日，星期四區(qū)別：這3個回歸方程的截距都不同；一元回歸的斜率系數(shù)與二元回歸的斜率系數(shù)不同；二元回歸的R2明顯大于2個一元回歸的R24.9設(shè)定誤差Y：拍賣價格；X2：鐘表年代；X3：競標(biāo)人數(shù)第24頁，共30頁，2023年，2月20日，星期四

由于自由度的原因，當(dāng)增加回歸模型的解釋變量個數(shù)，判定系數(shù)R2就會越大。

因此，如果兩個回歸模型的解釋變量個數(shù)不同，直接比較它們的判定系數(shù)R2就如同拿蘋果和橘子比。那么，為了判斷各個多元回歸模型擬合優(yōu)度的大小，就需要一根“統(tǒng)一的標(biāo)尺”：校正的判定系數(shù)

（adjustedR-squared）4.10

校正的判定系數(shù)第25頁，共30頁，2023年，2月20日，星期四性質(zhì)：如果,則

隨著解釋變量個數(shù)的增加，校正的判定系數(shù)越來越小于未校正的判定系數(shù)，這是對增加解釋變量的“懲罰”。雖然未校正的判定系數(shù)總為正，但校正的判定系數(shù)

可能為負。推導(dǎo)過程見課本97頁附錄4A.34.10

校正的判定系數(shù)第26頁，共30頁，2023年，2月20日，星期四EViews