第四章 多元回歸：估計與假設檢驗

第四章多元回歸：估計與假設檢驗上海立信會計學院包含多個解釋變量的回歸模型稱為多元回歸模型。多元是指由多種因素對應變量有影響。本章將以三變量線性回歸模型為例來講解多元回歸模型。一旦掌握了三變量模型，就很容易將結論擴展到更多元的線性回歸模型。本章的內(nèi)容如下：1.三變量線性回歸模型與三變量線性回歸模型的假設2.三變量線性回歸模型的OLS估計量以及OLS估計量的方差與標準誤3.多元回歸的擬合優(yōu)度：多元判定系數(shù)4.多元回歸的假設檢驗5.其他問題一、三變量線性回歸模型與三變量線性回歸模型的假設三變量線性回歸模型的非隨機總體回歸函數(shù)（PRF）一般可以表示為：隨機形式：

其中，Y為應變量；X1,X2為解釋變量；u為隨機誤差項；t表示第t期觀察值。B1是截距，表示當X1,X2為零時Y的平均值。B2、B3稱為偏回歸系數(shù)。三變量線性回歸模型的PRF也是給出了在給定解釋變量的情況下，相應的Y總體的條件均值。偏回歸系數(shù)

三變量線性回歸模型中的斜率系數(shù)稱為偏回歸系數(shù)(Partialregressioncoefficient)或偏斜率系數(shù)(partialslopecoefficient)。其表示的意義為，度量了在保持不變的情況下，單位變動引起均值的改變量；同樣，度量了在保持不變的情況下，單位變動引起均值的改變量。

例如：多元線性回歸模型的若干假定(1)回歸模型是參數(shù)線性的。(2)回歸模型是正確設定的。(3)解釋變量與隨機誤差項不相關。(4)隨機誤差項均值為零(5)不同隨機誤差項的方差相同，即：(6)不同隨機誤差項之間不相關，或者無自相關，即：(7)解釋變量和之間不存在完全共線性，即兩個解釋變量之間無確切的線性關系。如果變量能表示為另一變量的線性函數(shù)，則稱和之間是共線性的。在和存在共線性的情況下，不能通過一個樣本估計出和的參數(shù)值。

注意：雖然在實際中很少遇到完全共線性的情況，但是高度共線性或近似共線性的情況還是很常見的。(8)隨機誤差項服從均值為零，方差為的正態(tài)分布，即：二、三變量線性回歸模型的OLS估計量以及OLS估計量的方差與標準誤

1.三變量線性回歸模型的OLS估計量假設某三變量線性回歸模型，其隨機樣本回歸函數(shù)為：其中，、、分別是、、的估計量，為殘差確定樣本回歸函數(shù)為：根據(jù)OLS的原理，對于三變量線性回歸模型來說，求解、、的方法是選擇、、使得下式中的RSS最小化，即：求解該最小化問題后得到如下正規(guī)方程式：將以上三個正規(guī)方程做簡單代數(shù)變換，得到：其中，小寫字母表示與其樣本均值的離差，（例如：）2.三變量模型OLS估計量的方差與標準誤根據(jù)三變量線性回歸模型OLS估計量的推導式可以知道，、、估計量的方差與標準誤為：對于以上諸式中的未知量，可用其OLS估計量來代替，即：3.高斯-馬爾柯夫定理

在滿足古典線性回歸模型假設的前提下，多元線性回歸模型中參數(shù)的估計量依然是總體回歸模型參數(shù)的最優(yōu)線性無偏估計量（BLUE）。例子：古董鐘拍賣德國Triberg鐘表公司每年都舉行古董鐘表拍賣會。現(xiàn)有一個32個鐘表拍賣信息的數(shù)據(jù)（樣本），這些信息包括：鐘表的中標價格、投標人數(shù)、古董鐘的年代。三、多元回歸的擬合優(yōu)度：多元判定系數(shù)

對于多元線性回歸模型來說，也有如下等式的成立：

與雙變量模型相同，決定系數(shù)定義為：其中，為應變量Ｙ的總平方和；為回歸平方和；為殘差平方和。四、多元回歸的假設檢驗

在隨機誤差項服從正態(tài)分布以及多元回歸的其他基本假定的情況下，可以證明、、均服從均值分別為、和，方差分別為、、的正態(tài)分布。1.對零假設進行假設檢驗的檢驗統(tǒng)計量分別為：顯著性檢驗法1.對于假設2.計算t值3.根據(jù)顯著性水平計算臨界值并得到拒絕域4.比較t值和拒絕域并作出判斷置信區(qū)間法由于多元線性回歸模型截距和系數(shù)的檢驗統(tǒng)計量為t統(tǒng)計量，即：所以可以得到一個該參數(shù)的置信度為的置信區(qū)間：

滿足：對比參數(shù)的置信區(qū)間和零假設值，如果置信區(qū)間包含零假設值，則不能拒絕零假設，否則，拒絕零假設。2.檢驗聯(lián)合假設：

對于一個多元線性回歸模型來說，一個或多個解釋變量各自對應變量沒有影響，但卻有可能聯(lián)合對應變量有影響。所以有必要對這些變量的系數(shù)作聯(lián)合的假設檢驗，即檢驗假設：或以上檢驗稱為多元回歸的總體顯著性檢驗。

如何檢驗呢？可以采用方差分析的公式：

對于TSS、RSS、ESS來說，其自由度分別為：平方和自由度

TSSn-1RSSn-k(k為待估參數(shù)個數(shù))ESSk-1平方和自由度

TSSn-1RSSn-3(k為待估參數(shù)個數(shù))ESS