第三章-多元線性回歸模型

.,第三章,多元線性回歸模型,.,本章介紹多元線性回歸模型的概念、矩陣表示形式、參數(shù)估計(jì)方法、模型檢驗(yàn)、預(yù)測(cè)及應(yīng)用實(shí)例。多元線性回歸模型在經(jīng)濟(jì)實(shí)踐中有著廣泛的應(yīng)用，比如著名的C-D生產(chǎn)函數(shù)，其取對(duì)數(shù)后即為多元線性回歸模型的形式。再比如GDP關(guān)于消費(fèi)與投資的線性回歸模型等。,.,第三章,第一節(jié),計(jì)量經(jīng)濟(jì)學(xué),.,3.1多元線性回歸模型,一、多元線性回歸模型的引入一元：一個(gè)因素X；多元：多個(gè)因素-X1,X2,Xk被解釋變量還是一個(gè)：Y,.,比如：被解釋變量：某商品的需求量Y；解釋變量：該商品的價(jià)格P、消費(fèi)者收入DPI、替代商品價(jià)格P2；未考慮的量：消費(fèi)偏好等；,.,二、多元總體線性回歸模型總體模型：1、分量式：2、總量式,.,稱之為變量Y關(guān)于變量X1,X2,Xk的k元總體線性回歸模型，Y稱為被解釋變量，X1,X2,Xk稱為解釋變量，k稱為解釋變量個(gè)數(shù)，U稱為隨機(jī)擾動(dòng)項(xiàng)，或隨機(jī)項(xiàng)，或擾動(dòng)項(xiàng)。,.,三、多元樣本線性回歸模型由于經(jīng)濟(jì)變量的總體分布大多數(shù)是未知的，與一元模型類似，我們只能根據(jù)樣本觀察值進(jìn)行統(tǒng)計(jì)推斷，以此來估計(jì)多元總體回歸方程和總體回歸參數(shù)。這時(shí)導(dǎo)出的模型式為：,.,稱為樣本回歸參數(shù)，n稱為樣本容量。稱ei為殘差項(xiàng)，它是擾動(dòng)項(xiàng)ui的估計(jì)量?？傮w模型是理論意義上的，是在做定性研究時(shí)所使用的，在做定量分析時(shí)具體使用的模型也即可操作的是樣本模型。,.,第三章,第二節(jié),計(jì)量經(jīng)濟(jì)學(xué),.,3.2多元線性回歸模型的經(jīng)典假設(shè),10解釋變量X1,X2,Xk是非隨機(jī)的；20E(ui)=030Var(ui)=2i=1,2,nCov(ui,uj)=0ij,i,j=1,2,n40解釋變量X1,X2,Xk線性無關(guān)；50uiN(0,2),.,對(duì)上述假設(shè)條件的理解基本上與一元線性回歸模型類似，因此不再贅述。假設(shè)30中實(shí)際上包含了兩條假設(shè)，這樣寫的原因是為了以后的多元線性回歸模型經(jīng)典假設(shè)的矩陣表示。以上假設(shè)1050合稱為多元線性回歸模型的經(jīng)典假設(shè)，也稱為基本假設(shè)。滿足經(jīng)典假設(shè)的模型稱為經(jīng)典多元線性回歸模型。,.,第三章,第三節(jié),計(jì)量經(jīng)濟(jì)學(xué),.,3.3多元線性回歸模型的矩陣表示一、多元總體線性回歸模型的矩陣表示,.,二、多元樣本線性回歸模型的矩陣表示,.,三、多元模型經(jīng)典假設(shè)的矩陣表示20E(U)=030E(UU)=2In即擾動(dòng)項(xiàng)的方差與協(xié)方差矩陣等于2與單位矩陣之積。40秩(X)=k，且kn。,.,引入幾個(gè)符號(hào)設(shè)=(ij)nm，其中ij為隨機(jī)變量，即為nm階隨機(jī)矩陣（其元素為隨機(jī)變量），定義隨機(jī)矩陣的數(shù)學(xué)期望為：E()=(E(ij)nm即隨機(jī)矩陣的數(shù)學(xué)期望等于對(duì)應(yīng)元素的期望組成的矩陣?？梢宰C明隨機(jī)矩陣的期望有如下性質(zhì),.,(1)設(shè)、為隨機(jī)矩陣，則E(+)=E()+E()即隨機(jī)矩陣和的期望等于期望的和；(2)設(shè)為隨機(jī)矩陣，A、B為非隨機(jī)矩陣，則E(AB)=A(E()B即隨機(jī)矩陣左乘及右乘非隨機(jī)矩陣之后取期望等于先取期望之后再左右乘非隨機(jī)矩陣，但左右次序不能變（因?yàn)榫仃嚦朔]有交換率）。,.,稱E(UU)為擾動(dòng)項(xiàng)U的方差與協(xié)方差矩陣，一般地，設(shè)i為隨機(jī)變量，(i=1,2,.,n)即為隨機(jī)列向量，定義的方差與方差矩陣為：,.,即對(duì)角線上元為各個(gè)分量的方差，其它元素為協(xié)方差，顯然該矩陣為對(duì)稱矩陣，可以證明：,.,VarCov()=E-E()-E()即隨機(jī)列向量的方差與協(xié)方差矩陣等于隨機(jī)列向量減去其期望然后與該項(xiàng)的轉(zhuǎn)置相乘之后取期望。,.,由上可知：,.,VarCov(U)=EU-E(U)U-E(U)=E(UU)=2In即擾動(dòng)項(xiàng)的方差與協(xié)方差矩陣等于2與單位矩陣之積。,.,第三章,第四節(jié),計(jì)量經(jīng)濟(jì)學(xué),.,3.4普通最小二乘估計(jì),對(duì)于多元線性回歸模型，最常用的參數(shù)估計(jì)方法也是普通最小二乘方法（OLS）。其原理與一元線性回歸模型的普通最小二乘估計(jì)的原理類似，也是使擬合誤差平方和為最小。一、矩陣式的普通最小二乘估計(jì)量,.,設(shè)由極值原理可知：最后可得：,.,稱上式為多元線性回歸模型矩陣式的普通最小二乘估計(jì)量（OLS）。由經(jīng)典假設(shè)可知，X的秩等于k，而為正定矩陣，于是可逆，即滿足解釋變量線性無關(guān)的多元線性回歸模型的普通最小二乘估計(jì)量有解。,.,二、正規(guī)方程組上面導(dǎo)出的是矩陣式的普通最小二乘解(OLS)，然而有時(shí)我們需要用到其分量方程組形式,即正規(guī)方程組,下面我們導(dǎo)出正規(guī)方程組。由極值原理可導(dǎo)出多元線性回歸模型的正規(guī)方程組：,.,.,當(dāng)k=2時(shí)，OLS解為：,.,解方程時(shí)的系數(shù)行列式：解時(shí)的分子行列式：,.,第三章,第五節(jié),計(jì)量經(jīng)濟(jì)學(xué),.,3.5最小二乘估計(jì)量的特征,上一章中談到，經(jīng)典一元線性回歸模型的OLS估計(jì)量滿足線性、無偏及方差最小性，即高斯馬爾可夫定理，對(duì)于經(jīng)典多元線性回歸模型的普通最小二乘估計(jì)量，這一性質(zhì)仍然存在，換言之，對(duì)于滿足經(jīng)典假設(shè)的多元線性回歸模型，采用OLS方法所得估計(jì)量也滿足線性、無偏及方差最小性。,.,一、線性性由OLS估計(jì)可知令由解釋變量的非隨機(jī)性可知M為非隨機(jī)矩陣。則為M中的第j+1行與Y的對(duì)應(yīng)元素乘積之和，即故為Yi的線性組合，即線性性成立。,.,二、無偏性由零均值及解釋變量為非隨機(jī)可知：即無偏性得證。,.,三、方差最小性（也稱有效性）首先導(dǎo)出的方差與協(xié)方差矩陣：由于于是OLS估計(jì)量的方差與協(xié)方差矩陣為：,.,即的方差與協(xié)方差矩陣為與之積，因此估計(jì)量的方差為與的第j個(gè)對(duì)角線元素之積(j=1,2,k)。令則,.,由于總體分布未知，于是也未知，令可以證明為總體方差的無偏估計(jì)量。最小方差的證明省略。,.,第三章,第六節(jié),計(jì)量經(jīng)濟(jì)學(xué),.,3.6估計(jì)量的顯著性檢驗(yàn)及置信區(qū)間,對(duì)于多元線性回歸模型的參數(shù)估計(jì)量，其在統(tǒng)計(jì)上是否顯著，也需要作顯著性檢驗(yàn)，即t-顯著性檢驗(yàn)，其檢驗(yàn)方法與一元線性模型的參數(shù)顯著性檢驗(yàn)基本相同，所不同的是現(xiàn)在要對(duì)所有解釋變量前的參數(shù)進(jìn)行顯著性檢驗(yàn)。,.,與一元線性回歸模型的原理完全一樣可導(dǎo)出：以95%的可能性落在區(qū)間：(j=1,2,k)上，稱該區(qū)間為的置信區(qū)間，或稱區(qū)間估計(jì)，置信度為95%.,.,很顯然，置信區(qū)間越小則可信度越高，而置信區(qū)間的半徑中臨界值變化不大，因此估計(jì)量的可信度主要取決于其標(biāo)準(zhǔn)差的估計(jì)量，標(biāo)準(zhǔn)差越小，則可信度越高，標(biāo)準(zhǔn)差越大，則可信度越低。這與t-檢驗(yàn)的顯著性是等價(jià)的，從T統(tǒng)計(jì)量的計(jì)算可知，標(biāo)準(zhǔn)差越小，則t-統(tǒng)計(jì)量的絕對(duì)值越大，即t-值通過臨界值的可能性也大，從而t-檢驗(yàn)顯著的可能性也大。,.,另一方面，從標(biāo)準(zhǔn)差的計(jì)算公式可知，標(biāo)準(zhǔn)差的大小主要取決于總體方差估計(jì)量的大小及對(duì)角線上的元素，而與解釋變量的線性相關(guān)的程度有關(guān)，當(dāng)總體方差估計(jì)量較大以及解釋變量的線性相關(guān)程度較高時(shí)，參數(shù)估計(jì)量的標(biāo)準(zhǔn)差的估計(jì)量也就較大，這時(shí)會(huì)影響參數(shù)的顯著性。,.,第三章,第七節(jié),計(jì)量經(jīng)濟(jì)學(xué),.,3.7回歸方程的顯著性檢驗(yàn),對(duì)于一元線性回歸模型，回歸參數(shù)的顯著性與回歸方程的顯著性是等價(jià)的，而對(duì)于多元線性回歸模型，單個(gè)回歸參數(shù)是顯著的并不等于整個(gè)回歸方程是顯著的，因此還要作回歸方程的顯著性檢驗(yàn)?；貧w方程的顯著性檢驗(yàn)也稱為F檢驗(yàn)，也是一種假設(shè)檢驗(yàn)。,.,F檢驗(yàn)是檢驗(yàn)所有解釋變量合起來對(duì)被解釋變量線性影響的顯著性，單個(gè)解釋變量對(duì)被解釋變量的線性影響是顯著的，合起來之后即線性組合對(duì)被解釋變量的影響未必是顯著的，這相當(dāng)于我們通常所說的整體效率。因此對(duì)于多元模型，回歸方程的顯著性檢驗(yàn)與回歸參數(shù)顯著性檢驗(yàn)是不能相互替代的，,.,即使對(duì)回歸方程中每個(gè)參數(shù)分別進(jìn)行的t-檢驗(yàn)都不顯著，F(xiàn)檢驗(yàn)也可能是顯著的。比如當(dāng)解釋變量之間高度相關(guān)時(shí)就可能出現(xiàn)這種情況，其結(jié)果可能是參數(shù)的標(biāo)準(zhǔn)差大而t值小，但整個(gè)模型仍然能對(duì)數(shù)據(jù)擬合得很好。,.,F-統(tǒng)計(jì)量的計(jì)算公式為：在一般計(jì)量軟件的參數(shù)估計(jì)輸出結(jié)果中均有F-統(tǒng)計(jì)量的值，不必用手工計(jì)算。當(dāng)F-值大于臨界值時(shí)，回歸方程是顯著的，否則，為不顯著的。,“自由度”是指當(dāng)以樣本的統(tǒng)計(jì)量來估計(jì)總體的參數(shù)時(shí)，樣本中獨(dú)立或能自由變化的數(shù)據(jù)的個(gè)數(shù)。,.,第三章,第八節(jié),計(jì)量經(jīng)濟(jì)學(xué),.,3.8擬合優(yōu)度檢驗(yàn)及修正的R2值,在一元線性回歸模型中，我們用樣本決定系數(shù)來衡量回歸方程對(duì)樣本觀察值的擬合程度，即擬合優(yōu)度檢驗(yàn)，這一方法對(duì)多元線性回歸模型仍然適用。與一元線性模型類似，可以證明：TSS=ESS+RSS即樣本總離差可以分解為回歸總離差與殘差平方和之和。,.,令稱R2為多元線性回歸模型的樣本決定系數(shù)，也稱為樣本可決系數(shù)。R2表示被多元回歸方程“解釋”的離差占總離差的比重。顯然,.,由R2的定義可以看出，當(dāng)R2越接近于1時(shí)，說明ESS越接近于TSS，即殘差平方和越小，也就是說回歸方程對(duì)樣本觀察值擬合的越好，因此，我們以R2接近于1的程度來衡量樣本回歸方程對(duì)樣本觀察值的擬合的優(yōu)度，即擬合優(yōu)度檢驗(yàn)，用來說明被解釋變量與被解釋變量之間的線性回歸關(guān)系是否有效。,.,然而，在使用R2時(shí)也存在一些問題，比如，R2與模型中解釋變量的個(gè)數(shù)有關(guān)。在回歸方程中加入更多的解釋變量會(huì)使R2值增大（增加新的解釋變量不會(huì)改變TSS，但是可以增加ESS），因此，給人一種誤解，為提高擬合優(yōu)度，解釋變量越多越好，但事實(shí)上并非如此。,.,用R2度量擬合優(yōu)度的問題在于R2只涉及Y的總離差中被解釋的部分和未被解釋的部分，沒有考慮自由度的個(gè)數(shù)。為了消除擬合優(yōu)度對(duì)模型中解釋變量個(gè)數(shù)的依賴性，我們定義修正的R2值，記作：,.,由R2及的定義可知：可以推得：1；2可能為負(fù)值；3.當(dāng)模型的自由度（n-k）較大時(shí)，R2與比較接近。,.,比R2更適合于衡量擬合優(yōu)度。當(dāng)回歸模型中加入新的解釋變量時(shí)，R2肯定會(huì)增加，而可能增加也可能減少。比如，一個(gè)樣本容量為25的模型，其R2為0.8，但這個(gè)結(jié)果只是在模型中包含了17個(gè)解釋變量時(shí)才得到。而該模型的僅為0.4，這一例子充分說明了R2作為衡量擬合優(yōu)度指標(biāo)的局限性。,.,在實(shí)際應(yīng)用中，由于大多數(shù)情況下，與R2之間的差異不太大，故使用R2作為衡量擬合優(yōu)度的情況也常見。,.,擬合優(yōu)度檢驗(yàn)與F檢驗(yàn)是有聯(lián)系的。可以證明：從(3.36)可知R2越接近于1，則F值越大，反之，若R2越接近于0，則F值越小。因此，一般來說，擬合優(yōu)度較高，則F檢驗(yàn)可以通過，擬合優(yōu)度較差，,.,則F檢驗(yàn)通不過。但是，擬合優(yōu)度檢驗(yàn)與F檢驗(yàn)還是有區(qū)別的，有例子表明，即使擬合優(yōu)度只有0.65，F(xiàn)檢驗(yàn)也是顯著的。因此，雖然二者有聯(lián)系，但是也不能相互替代。F檢驗(yàn)的優(yōu)越性在于它有臨界值，可以斷定顯著與否，而擬合優(yōu)度的好處在于它能說明擬合的程度，它的不足之處在于沒有擬合好與壞的明確標(biāo)準(zhǔn)，一般來說，擬合的好壞視具體問題而定，,.,但是，一個(gè)好的模型首先擬合優(yōu)度要求比較高，從經(jīng)驗(yàn)上講，R20.9。不過擬合優(yōu)度高并不能斷定模型一定可取，較高的擬合優(yōu)度是一個(gè)好模型的必要條件，但不是充分條件。,.,3.9多元線性回歸模型的預(yù)測(cè),以上內(nèi)容，我們研究了多元線性回歸模型的參數(shù)估計(jì)方法及其統(tǒng)計(jì)檢驗(yàn)。本節(jié)介紹如何利用所得回歸方程進(jìn)行經(jīng)濟(jì)預(yù)測(cè)。與一元模型的預(yù)測(cè)問題相類似，多元模型的預(yù)測(cè)也分為條件預(yù)測(cè)與無條件預(yù)測(cè)兩類，下面介紹的是條件預(yù)測(cè)，條件預(yù)測(cè)又分為點(diǎn)預(yù)測(cè)與區(qū)間預(yù)測(cè)。,.,一、點(diǎn)預(yù)測(cè)設(shè)多元線性回歸模型的樣本回歸方程為：給定解釋變量樣本以外的觀察值X2f,X3f,Xkf，令利用上述回歸方程求得被解釋變量的預(yù)測(cè)值：,.,就是Yf的點(diǎn)預(yù)測(cè)值，同時(shí)也是Yf的均值E(Yf|Xf)的預(yù)測(cè)值。二、區(qū)間預(yù)測(cè)由于回歸方程代表的是被解釋變量的一個(gè)主要部分，不是全部，另一部分用擾動(dòng)項(xiàng)來代表，因此，點(diǎn)預(yù)測(cè)值與其真實(shí)值Yf之間有誤差存在。,.,令稱ef為預(yù)測(cè)誤差，ef為隨機(jī)變量。由于擾動(dòng)項(xiàng)為零均值，可以證明,及,.,與參數(shù)估計(jì)量的置信區(qū)間的推導(dǎo)過程相類似，可以得出置信度為1-=95%的Y0的置信區(qū)間為：,.,預(yù)測(cè)區(qū)間越小，預(yù)測(cè)精度就越高，因此預(yù)測(cè)區(qū)間越小越好。怎樣才能縮小預(yù)測(cè)區(qū)間呢？可以從以下三方面考慮：(1)增大樣本容量n。在同樣的置信水平下，n越大，則從t分布表中查得的自由度為nk的臨界值T/2就越小；同時(shí)，增大樣本容量，在一般情況下可使,.,減小，因?yàn)槭街蟹帜傅脑龃笫强隙ǖ?，但分子不一定增大?2)提高模型的擬合優(yōu)度，以減小殘差平方和。這一條是提高預(yù)測(cè)精度的主要方法。,.,(3)減少解釋變量之間的線性相關(guān)程度。由于解釋變量之間的線性相關(guān)程度越高，的取值就越小，（當(dāng)解釋變量完全線性相關(guān)時(shí)，該行列式取值為0）于是中元素取值增大，從而增大了預(yù)測(cè)誤差。,.,多元線性回歸模型應(yīng)用實(shí)例,例3.2我國居民消費(fèi)函數(shù)的實(shí)證分析。眾所周知，從城鄉(xiāng)結(jié)構(gòu)上比較，我國居民人均收入的基礎(chǔ)水平及其發(fā)展速度都存在著很大的差異。按現(xiàn)價(jià)計(jì)算，1978年城鎮(zhèn)居民的可支配收入為343.4元，而同期農(nóng)村居民的家庭人均純收入為133.6元，同期我國居民的人均消費(fèi),.,水平為184元，1999年此三項(xiàng)指標(biāo)分別為9421.6元、2936.4元和4552元，顯然無論是改革開放的初期還是二十一世紀(jì)的今天，農(nóng)村居民的收入水平與城鎮(zhèn)一直存在著很大的差異。由絕對(duì)收入的消費(fèi)理論假設(shè)可知，影響居民消費(fèi)水平的主要因素為收入水平，下面分析農(nóng)村與城鎮(zhèn)居民收入水平對(duì)居民消費(fèi)水平的影響程度。,.,選取我國居民年人均消費(fèi)水平為被解釋變量（Y），選取農(nóng)村居民家庭年人均純收入（X1）及城鎮(zhèn)居民家庭人均可支配收入（X2）為解釋變量。依據(jù)絕對(duì)收入消費(fèi)理論以及對(duì)樣本數(shù)據(jù)的研究，選取線性回歸模型：,.,采用OLS方法，利用Eviews估計(jì)回歸，所用命令為：CREATEA19852005DATAY