第三章多元線性回歸模型

第三章多元線性回歸模型2第一節(jié)多元回歸模型及基本假定

現(xiàn)實(shí)中引起被解釋變量變化的因素可能有很多個(gè)。

多元總體線性回歸模型的形式為

Yi=b1+

b2X2i+

b3X3i

+…

+bkXki

+ui一、多元線性回歸模型的形式3Yi=β1

+β2

X2i+β3

X3i+ui如二元線性回歸模型：被解釋變量截距項(xiàng)解釋變量隨機(jī)誤差項(xiàng)偏回歸系數(shù)（partialregressioncoefficients）4偏回歸系數(shù)的含義Yi=β1

+β2

X2i+β3

X3i+ui度量X3i保持不變的情況下，E(Y

|X2i,X3i)的變化，即β2度量X2i

的單位變化對(duì)Y均值的“直接”或“凈”影響。β3的含義呢？5若總體個(gè)數(shù)為n，則寫成矩陣形式：6即X稱為數(shù)據(jù)矩陣或設(shè)計(jì)矩陣。7二、古典假定假定1：零均值假定矩陣形式：8假定2：同方差假定假定3：無(wú)自相關(guān)假定統(tǒng)一成矩陣形式：9假定4：隨機(jī)擾動(dòng)項(xiàng)與解釋變量不相關(guān)假定5：正態(tài)性假定，即假定6：解釋變量之間無(wú)多重共線性即各解釋變量的樣本觀測(cè)值之間線性無(wú)關(guān)，解釋變量的樣本觀測(cè)值矩陣的秩為參數(shù)個(gè)數(shù)，從而保證參數(shù)的估計(jì)值唯一。10

當(dāng)總體觀測(cè)值難于得到時(shí)，回歸系數(shù)向量b是未知的，這時(shí)可以由樣本觀測(cè)值進(jìn)行估計(jì)，可表示為但實(shí)際觀測(cè)值與計(jì)算值有偏差，記為：稱為多元樣本回歸函數(shù)。于是11分別稱為回歸系數(shù)估計(jì)值向量、剩余項(xiàng)或殘差向量、

Y的樣本估計(jì)值向量。12第二節(jié)多元回歸模型的估計(jì)設(shè)(Yi,X2i,X3i,…

,Xki)為第i個(gè)觀測(cè)樣本(i=1,2,…,n),一、參數(shù)的最小二乘估計(jì)要使殘差平方和其必要條件是于是13即或14將兩邊同時(shí)左乘得由無(wú)多重共線性假定，即可得參數(shù)向量b的最小二乘估計(jì)式的矩陣表達(dá)式對(duì)于只有兩個(gè)解釋變量的線性回歸模型的參數(shù)的最小二乘估計(jì)，書上給出了具體的代數(shù)表達(dá)式（P80）15回歸殘差為：設(shè)殘差平方和為Q

：令1617正規(guī)方程組（NormalEquation）18下面推導(dǎo)參數(shù)估計(jì)式公式：

即1920類似地于是21同理22（1）無(wú)偏性二、OLS估計(jì)式的統(tǒng)計(jì)性質(zhì)23（3）最小方差性參數(shù)最小二乘估計(jì)是所有線性無(wú)偏估計(jì)量中方差最小的估計(jì)量。（2）線性性每個(gè)參數(shù)估計(jì)量是Yi

(i=1,2,…,n)的線性組合。

即在古典假定條件下，多元線性回歸模型的最小二乘估計(jì)是最佳線性無(wú)偏估計(jì)式。（BestLinearUnbiasedEstimator，BLUE）24

在古典假定條件下，三、OLS估計(jì)的分布性質(zhì)而是Yi的線性函數(shù)，故它們也服從正態(tài)分布。

為了進(jìn)行區(qū)間估計(jì)和假設(shè)檢驗(yàn)，需要弄清參數(shù)估計(jì)量的分布。從而由無(wú)偏性25所以是矩陣中第j行第j列上的元素26四、隨機(jī)擾動(dòng)項(xiàng)方差的估計(jì)

通常s2是未知的，參數(shù)估計(jì)量的無(wú)法計(jì)算，可以證明：是s2的無(wú)偏估計(jì)量。27五、參數(shù)的區(qū)間估計(jì)

當(dāng)用代替s2時(shí)，給定顯著性水平a，查t分布自由度為n-k的臨界值t0，則回歸系數(shù)bj的置信度為1-

a的置信區(qū)間為：28例1

已知線性回歸模型

n=5，并且根據(jù)各個(gè)變量的數(shù)據(jù)計(jì)算出:

（1）求模型中三個(gè)參數(shù)的最小二乘估計(jì);（保留二位小數(shù)）

（2）求估計(jì)參數(shù)的標(biāo)準(zhǔn)差的估計(jì)量。29解：（1）于是又30解：（2）又于是31第三節(jié)多元回歸模型的檢驗(yàn)

為了從估計(jì)出的模型出發(fā)（即SRF），檢驗(yàn)SRF對(duì)樣本觀測(cè)值的擬合程度。與簡(jiǎn)單線性回歸一樣，考察在Y的總變差中由多個(gè)解釋變量作出了解釋的那部分比重。一、擬合優(yōu)度檢驗(yàn)32在中，TSS=RSS+ESS自由度:

n-1=(k-1)+(n-k)由于RankX=k，所以在中獨(dú)立的變量只有k個(gè)，又已知，故的自由度為k-1.33我們用回歸平方和（RSS）與總離差平方和（TSS）的比值表示二元回歸方程的擬合優(yōu)度，稱為多重可決系數(shù)或多重判定系數(shù)即：=RSS+ESS34可用矩陣表示：P79(3.25)式：35由知當(dāng)R2=1時(shí)，從而ei=0，這時(shí)，被解釋變量的總變差完全由解釋變量解釋。此時(shí)，從取得樣本看，樣本觀測(cè)值完全落在樣本回歸線上；當(dāng)R2=0時(shí)，總變差完全不能由解釋變量解釋。R2越接近于1，擬合狀態(tài)越好。36所以可決系數(shù)也可表示為：37問(wèn)題：

在多元線性回歸模型中增加一個(gè)解釋變量，殘差平方和一般會(huì)減小，從而可決系數(shù)會(huì)相應(yīng)增大，那是不是解釋變量越多越好呢？事實(shí)上不是這樣，實(shí)際情況中，經(jīng)濟(jì)現(xiàn)象是錯(cuò)綜復(fù)雜的，一個(gè)模型不可能把它的所有影響因素都考慮進(jìn)去，有時(shí)越追求全面，喪失的是越不準(zhǔn)確，另外，解釋變量越多，損失的自由度越多。38

為了消除因解釋變量個(gè)數(shù)不同對(duì)可決系數(shù)的影響，提出了修正的可決系數(shù)（Adjustedcoefficientofdetermination)注意上式右邊可能為負(fù)值，這是規(guī)定：39

可決系數(shù)只是對(duì)模型擬合優(yōu)度的度量，可決系數(shù)或修正的可決系數(shù)越大，表明列入模型中的解釋變量對(duì)被解釋變量的聯(lián)合影響程度越大，并非各個(gè)解釋變量對(duì)被解釋變量的影響都很大。在回歸分析中，不僅模型的擬合程度要高，而且要求各個(gè)解釋變量對(duì)被解釋變量的影響都是顯著的，即對(duì)總體回歸參數(shù)的估計(jì)值要可靠。因此，在建立模型時(shí)，不能單憑可決系數(shù)的高低斷定模型的優(yōu)劣，在通盤考慮時(shí)，可以適當(dāng)降低對(duì)可決系數(shù)的要求。40

被解釋變量與多個(gè)解釋變量之間是否存在顯著的線性關(guān)系呢？需在總體上是否顯著作出推斷。二、回歸方程的顯著性檢驗(yàn)（F檢驗(yàn)）假設(shè)的形式為原假設(shè)H0：b2=b3=…=bk=0備擇假設(shè)H1：bj（j=2,3,…,k)不全為0統(tǒng)計(jì)量41（3）給定顯著性水平a，在F分布表查自由度為k-1和n-k的臨界值Fa

。（1）提出檢驗(yàn)假設(shè)（4）比較F值與臨界值Fa的大小，檢驗(yàn)步驟：（2）用樣本觀測(cè)值計(jì)算統(tǒng)計(jì)量F的值若F＞Fa，則拒絕原假設(shè)，表明回歸方程顯著；若F＜Fa，則接受原假設(shè)，表明回歸方程不顯著，即列入模型的各個(gè)解釋變量聯(lián)合起來(lái)對(duì)被解釋變量的影響不顯著。42需要指出的是：在一元線性回歸中，由于解釋變量只有一個(gè)，不存在解釋變量聯(lián)合影響的整體檢驗(yàn)問(wèn)題，也就用不著進(jìn)行F檢驗(yàn)。事實(shí)上，對(duì)一元回歸模型的t檢驗(yàn)與F檢驗(yàn)是一致的。事實(shí)上P39（2.43）P48（2.67）而臨界值與也存在平方關(guān)系。43F與R2的關(guān)系F與R2成正比，R2越大,F

值也越大。所以可以把F檢驗(yàn)看成是對(duì)擬合優(yōu)度的檢驗(yàn)。但擬合優(yōu)度的檢驗(yàn)不能取代F檢驗(yàn)。因?yàn)榭蓻Q系數(shù)或修正可決系數(shù)只能提供擬合優(yōu)度的度量，但它沒有回答它的值究竟要達(dá)到多大才算模型通過(guò)了檢驗(yàn)。44

因?yàn)榉匠痰恼w線性關(guān)系顯著，并不表示每個(gè)解釋變量對(duì)被解釋變量的影響都是顯著的，因此，還必須分別對(duì)每個(gè)解釋變量進(jìn)行顯著性進(jìn)行檢驗(yàn)。三、回歸參數(shù)的顯著性檢驗(yàn)（t檢驗(yàn)）我們知道標(biāo)準(zhǔn)化后這里Cjj是第j行第j列元素45而總體方差s2未知，當(dāng)用代替s2時(shí)，此時(shí)構(gòu)造的t

統(tǒng)計(jì)量對(duì)回歸參數(shù)的顯著性檢驗(yàn)分兩種情況：1）檢驗(yàn)估計(jì)的參數(shù)的顯著性：2）檢驗(yàn)解釋變量對(duì)被解釋變量影響的顯著性：46（3）給定顯著性水平a，在

t分布表查自由度為n-k的臨界值ta/2

；（1）提出檢驗(yàn)假設(shè)（4）比較

t值與臨界值ta/2的大小，對(duì)各個(gè)回歸參數(shù)顯著性檢驗(yàn)的步驟：（2）用樣本觀測(cè)值計(jì)算統(tǒng)計(jì)量

的值；若｜t｜＞ta/2，則拒絕原假設(shè)，表明在其他解釋變量不變的情況下，Xj對(duì)Y的影響顯著；反之，若｜t｜＜ta/2

，則接受原假設(shè)，不顯著。H0：bj=bj*(j=1,2,…,k)H1：bj≠bj*(j=1,2,…,k)47（3）給定顯著性水平a，在

t分布表查自由度為n-k的臨界值ta/2

；（1）提出檢驗(yàn)假設(shè)（4）比較

t值與臨界值ta/2的大小，對(duì)各個(gè)解釋變量的顯著性檢驗(yàn)的步驟：（2）用樣本觀測(cè)值計(jì)算統(tǒng)計(jì)量

的值；若｜t｜＞ta/2，則拒絕原假設(shè)，表明在其他解釋變量不變的情況下，Xj對(duì)Y的影響顯著；反之，若｜t｜＜ta/2

，則接受原假設(shè)，不顯著。H0：bj=0(j=2,…,k)H1：bj≠0(j=2,…,k)48第四節(jié)多元線性回歸模型預(yù)測(cè)一、對(duì)Y

平均值的點(diǎn)預(yù)測(cè)將解釋變量預(yù)測(cè)值的行向量代入樣本回歸函數(shù)即得Y的平均值的點(diǎn)預(yù)測(cè)值49二、對(duì)Y

平均值的區(qū)間預(yù)測(cè)

因?yàn)槭请S機(jī)變量，所以也是隨機(jī)變量，為了由預(yù)測(cè)值去對(duì)總體真實(shí)均值E(Yf｜Xf)

作區(qū)間估計(jì)，需要知道的分布及相關(guān)統(tǒng)計(jì)量。5051由于s2未知，當(dāng)用無(wú)偏估計(jì)代替s2時(shí)給定顯著性水平a，查t分布表，得臨界值ta/2，可得均值E(Yf)

置信度為1-a的預(yù)測(cè)區(qū)間為52三、對(duì)Y個(gè)別值的區(qū)間預(yù)測(cè)因?yàn)榫恼龖B(tài)分布，所以也服從正態(tài)分布，且即53由于s2未知，當(dāng)用無(wú)偏估計(jì)代替s2時(shí)給定顯著性水平a，查t分布表，得臨界值ta/2，可得Y的真實(shí)值Yf

的置信度為1-a的預(yù)測(cè)區(qū)間為54例2

以企業(yè)研發(fā)支出（R&D）占銷售額的比重為被解釋變量（Y），以企業(yè)銷售額（X1）與利潤(rùn)占銷售額的比重（X2）為解釋變量，一個(gè)容量為32的樣本企業(yè)的估計(jì)結(jié)果如下：其中括號(hào)中為系數(shù)估計(jì)值的標(biāo)準(zhǔn)差。（1）解釋log(X1)的系數(shù)。如果X1增加10%，估計(jì)Y會(huì)變化多少個(gè)百分點(diǎn)？這在經(jīng)濟(jì)上是一個(gè)很大的影響嗎？（2）針對(duì)R&D強(qiáng)度隨銷售額的增加而提高這一備擇假設(shè)，檢驗(yàn)它不隨X1而變化的假設(shè)。分別在5%和10%的顯著性水平上進(jìn)行這個(gè)檢驗(yàn)。（3）利潤(rùn)占銷售額的比重X2對(duì)R&D強(qiáng)度Y是否在統(tǒng)計(jì)上有顯著的影響？55解（1）log(X1)的系數(shù)表明在其他條件不變時(shí)，log(X1)變化1個(gè)單位，Y變化的單位數(shù)，即Y=0.32log(X1)0.32(X1/X1)=0.32100%，換言之，當(dāng)企業(yè)銷售X1增長(zhǎng)100%時(shí)，企業(yè)研發(fā)支出占銷售額的比重Y會(huì)增加32個(gè)百分點(diǎn)。由此如果X1增加10%，Y會(huì)增加3.2個(gè)百分點(diǎn)。這在經(jīng)濟(jì)上不是一個(gè)較大的影響。56（2）針對(duì)備擇假設(shè)

檢驗(yàn)原假設(shè)

計(jì)算的t統(tǒng)計(jì)量的值為t=0.32/0.22=1.468。在5%的顯著性水平下，自由度為32-3=29的t

分布的臨界值為1.699（單側(cè)），計(jì)算的t值小于該臨界值，所以不拒絕原假設(shè)。意味著R&D強(qiáng)度不隨銷售額的增加而變化。在10%的顯著性水平下，t分布的