多元線性回歸模型-課件

第二章多元線性回歸模型1第一節(jié)多元線性回歸模型及假定第二節(jié)多元線性回歸模型的參數(shù)估計(jì)第三節(jié)多元線性回歸模型的檢驗(yàn)第四節(jié)多元線性回歸模型的置信區(qū)間第五節(jié)可線性化的非線性回歸模型第六節(jié)受約束回歸2一、多元線性回歸模型其一般形式為：由于習(xí)慣上把常數(shù)項(xiàng)看成為一個(gè)虛變量的系數(shù)，在參數(shù)估計(jì)過程中該虛變量的樣本觀測值始終取1。這樣，模型中解釋變量的數(shù)目為（K+1）。代表眾多影響變化的微小因素。

第一節(jié)多元線性回歸模型及假定3

經(jīng)濟(jì)意義：

是的重要解釋變量。可以解釋為在其他因素（變量）不變的條件下，變量每變動(dòng)一個(gè)單位，因變量變動(dòng)個(gè)單位。4當(dāng)給定一個(gè)樣本時(shí)，上述模型表示為

5多元線性回歸模型表示的n個(gè)隨機(jī)方程的矩陣表達(dá)式為：其中，

6多元總體回歸函數(shù)可用矩陣形式表示為多元線性樣本回歸模型的矩陣表達(dá)式為多元線性樣本回歸函數(shù)的矩陣表達(dá)式分別為為回歸系數(shù)估計(jì)值向量為模型的殘差向量7假定1：解釋變量是非隨機(jī)的，即在重復(fù)抽樣中，解釋變量取固定值，且相互之間互不相關(guān)。這表明模型中的解釋變量和隨機(jī)干擾項(xiàng)對被解釋變量的影響是完全獨(dú)立的。二、多元線性回歸模型的若干經(jīng)典假定8假定2：隨機(jī)干擾項(xiàng)與解釋變量之間不相關(guān)。這個(gè)假定說明Xji與隨機(jī)干擾項(xiàng)ui相互獨(dú)立，互不相關(guān)，它們對被解釋變量Yi的影響同樣也是獨(dú)立的。用矩陣表示為9假定3：隨機(jī)干擾項(xiàng)服從零均值，同方差，零協(xié)方差。用矩陣形式表示10假定3：隨機(jī)干擾項(xiàng)服從零均值，同方差，零協(xié)方差。用矩陣形式表示隨機(jī)干擾項(xiàng)的方差—協(xié)方差矩陣11假定4：隨機(jī)干擾項(xiàng)服從正態(tài)分布。即用矩陣形式表示12假定5：正確設(shè)定回歸模型。與一元回歸模型一樣，多元回歸模型的正確設(shè)定也有三個(gè)方面的要求：1.選擇正確的變量進(jìn)入模型；2.對模型的形式進(jìn)行正確的設(shè)定；3.對模型的解釋變量被解釋變量及隨機(jī)干擾項(xiàng)做了正確的假定。上述假定條件稱為多元線性回歸模型的經(jīng)典假定。13第二節(jié)多元線性回歸模型的參數(shù)估計(jì)一、普通最小二乘法

(一)普通最小二乘估計(jì)對于多元線性回歸模型，利用最小二乘法估計(jì)模型的參數(shù)，同樣應(yīng)該使殘差平方和達(dá)到最小，即取最小值。根據(jù)多元函數(shù)的極值原理，分別對求一階偏導(dǎo)數(shù)，并令其為零。14

即：得到下列方程組：

15可寫成矩陣形式正規(guī)方程組因而，這就是向量的OLS估計(jì)16(二)

隨機(jī)干擾項(xiàng)方差估計(jì)值的普通最小二乘估計(jì)

隨機(jī)干擾項(xiàng)的方差的無偏估計(jì)為

這是因?yàn)樵诠烙?jì)時(shí)，n-k-1為自由度即消耗了k+1個(gè)自由度。

必須先求出17對于多元線性回歸模型于是，的概率函數(shù)為二、極大似然估計(jì)法18因?yàn)槭窍嗷オ?dú)立的，所以是隨機(jī)抽取的n組樣本觀測值的聯(lián)合概率，即似然函數(shù)為:

19由于是的單調(diào)函數(shù)，使極大的參數(shù)值也將使極大，即，所以對數(shù)似然函數(shù)為：20可以求出和的估計(jì)參數(shù)21（一）線性性

參數(shù)估計(jì)量是線性估計(jì)量，即是隨機(jī)變量的線性函數(shù)。由于可見，參數(shù)估計(jì)量是被解釋變量的線性組合。三、參數(shù)估計(jì)量的性質(zhì)22（二）無偏性

將代入，得

23（三）有效性

由于

為單位矩陣。24（四）隨機(jī)干擾項(xiàng)方差估計(jì)量的性質(zhì)

由于被解釋變量的估計(jì)值與觀察值之間的殘差于是

隨機(jī)干擾項(xiàng)方差的估計(jì)量為

25例2-1線性回歸模型設(shè)定為用矩陣表示為2627借助于計(jì)量經(jīng)濟(jì)軟件EViews對例2-1進(jìn)行回歸分析對應(yīng)的回歸方程為28一、模型的擬合優(yōu)度檢驗(yàn)二、回歸模型的總體顯著性檢驗(yàn)三、回歸系數(shù)的顯著性檢驗(yàn)第三節(jié)多元線性回歸模型的檢驗(yàn)29一、模型的擬合優(yōu)度檢驗(yàn)（一）R2檢驗(yàn)1.總離差平方和的分解對于有k個(gè)解釋變量的多元線性回歸模型其對應(yīng)的回歸方程為：

30

將與其平均值之間的離差分解如下：

總離差平方和:

回歸平方和:

殘差平方和：31

總離差平方和分解為回歸平方和與殘差平方和兩部分。322.多元樣本可決系數(shù)與擬合優(yōu)度檢驗(yàn)

多元樣本可決系數(shù):

可用回歸平方和占總離差平方和的比重來衡量樣本回歸線對樣本觀測值的擬合同程度。33

可用回歸平方和占總離差平方和的比重來衡量樣本回歸線對樣本觀測值的擬合同程度。的數(shù)值越接近1，表明中總離差平方和中可由樣本回歸線解釋的部分越大，殘差平方和越小，樣本回歸線與樣本觀測值的擬合程度越高；反之則擬合得越差。343.修正樣本可決系數(shù)

R2的大小與模型中解釋變量的數(shù)目有關(guān)，解釋變量的個(gè)數(shù)越多，它的值就越大，在實(shí)際運(yùn)用中需要對其進(jìn)行調(diào)整。

35

調(diào)整的思想是將殘差平方和與總離差平方和之比的分子分母分別用各自的自由度去除，變成均方差之比，以剔除解釋變量個(gè)數(shù)對擬合優(yōu)度的影響。于是，修正的樣本可決系數(shù)為36

調(diào)整的可決系數(shù)與未經(jīng)調(diào)整的可決系數(shù)之間存在如下關(guān)系：或僅僅說明了在給定的樣本條件下，估計(jì)的回歸方程對于樣本觀測值的似合優(yōu)度。37

在實(shí)際應(yīng)用中，或究竟要多大才算模型通過了檢驗(yàn)，沒有絕對的標(biāo)準(zhǔn)，要視具體情況而定。

模型的擬合優(yōu)度并不是評價(jià)模型優(yōu)劣的唯一標(biāo)準(zhǔn)，有時(shí)為了追求模型的經(jīng)濟(jì)意義寧可犧牲一點(diǎn)擬合優(yōu)度。

38在例2-1中，借助于計(jì)量經(jīng)濟(jì)軟件EViews對樣本回歸模型作擬合優(yōu)度檢驗(yàn)：樣本決定系數(shù)：修正樣本決定系數(shù)：可見樣本可決系數(shù)和修正樣本可決系數(shù)都大于0.9，說明模型對數(shù)據(jù)擬合程度較好。說明消費(fèi)慣性與實(shí)際可支配收入對實(shí)際居民消費(fèi)的解釋能力為99.92%，只有8%的其他因素影響。39（二）赤池信息準(zhǔn)則和施瓦茨準(zhǔn)則赤池信息準(zhǔn)則：施瓦茨準(zhǔn)則：這兩個(gè)準(zhǔn)則均要求僅當(dāng)所增加的解釋變量能夠減少AIC值或SC值時(shí)才在原模型中增加該解釋變量。40在例2-1中，EViews軟件的估計(jì)結(jié)果顯示：二元（消費(fèi)慣性與實(shí)際可支配收入）模型AIC與SC的值分別為13.34和13.48分別小于只包含一個(gè)解釋變量（實(shí)際可支配收入）時(shí)的相應(yīng)值14.65和14.75，從這一點(diǎn)來看，可以說消費(fèi)慣性可以作為解釋變量包括在模型中。41二、回歸模型的總體顯著性檢驗(yàn)（F檢驗(yàn)）（一）回歸方程的顯著性檢驗(yàn)

回歸方程的顯著性檢驗(yàn)是指在一定的顯著性水平下，從總體上對模型中被解釋變量與解釋變量之間的線性關(guān)系是否顯著成立而進(jìn)行的一種統(tǒng)計(jì)檢驗(yàn)。42

對于多元線性回歸模型：為了從總體上檢驗(yàn)?zāi)Ｐ椭斜唤忉屪兞颗c解釋變量之間的線性關(guān)系是否顯著，必須對其進(jìn)行顯著性檢驗(yàn)。

43檢驗(yàn)的原假設(shè)與備擇假設(shè)分別為：檢驗(yàn)的思想來自于總離差平方和的分解式：ESS是解釋變量的聯(lián)合對被解釋變量的線性作用的結(jié)果,可通過該比值ESS/RSS的大小對總體線性關(guān)系進(jìn)行推斷。

44

根據(jù)數(shù)理統(tǒng)計(jì)學(xué)中的定義，在成立的條件下，構(gòu)造一個(gè)統(tǒng)計(jì)量：則該統(tǒng)計(jì)量服從自由度為的分布。45

根據(jù)變量的樣本觀測值和估計(jì)值，計(jì)算統(tǒng)計(jì)量的數(shù)值；給定一個(gè)顯著性水平，查分布表，得到一個(gè)臨界值。如果，則在顯著性水平下拒絕原假設(shè)，即模型的線性關(guān)系顯著成立，模型通過方程顯著性檢驗(yàn)。46在例2-1中故模型總體是顯著的。47（二）擬合優(yōu)度檢驗(yàn)與方程總體線性的顯著性檢驗(yàn)之間的關(guān)系

擬合優(yōu)度檢驗(yàn)與方程總體線性的顯著性檢驗(yàn)之間有如下關(guān)系：

檢驗(yàn)可用于度量總體回歸直線的顯著性，也可用于檢驗(yàn)的顯著性。亦即48在例2-1二元模型中：多大才算通過擬合優(yōu)度檢驗(yàn)49三、回歸系數(shù)的顯著性檢驗(yàn)（t檢驗(yàn)）回歸系數(shù)的顯著性檢驗(yàn)，是指在一定的顯著性水平下，檢驗(yàn)?zāi)Ｐ偷慕忉屪兞渴欠駥Ρ唤忉屪兞坑酗@著影響的一種統(tǒng)計(jì)檢驗(yàn)。

50

檢驗(yàn)的原假設(shè)與備擇假設(shè)分別為：

構(gòu)造如下的t檢驗(yàn)統(tǒng)計(jì)量：若,則在水平下拒絕原假設(shè),即對應(yīng)的解釋變量Xj是顯著的；若,則在水平下接受原假設(shè),即對應(yīng)的解釋變量Xj是不顯著的；51在例2-1中

構(gòu)造如下的t檢驗(yàn)統(tǒng)計(jì)量：說明應(yīng)保留在模型中構(gòu)造如下的t檢驗(yàn)統(tǒng)計(jì)量：說明應(yīng)保留在模型中52一、預(yù)測值的點(diǎn)估計(jì)值二、回歸系數(shù)的置信區(qū)間三、預(yù)測值的置信區(qū)間第四節(jié)多元線性回歸模型的置信區(qū)間53

點(diǎn)估計(jì)值就是求解釋變量對應(yīng)的被解釋變量的估計(jì)值。預(yù)測值與實(shí)際值之間存在的誤差為：

一、點(diǎn)估計(jì)值54二、回歸系數(shù)的置信區(qū)間要判斷樣本參數(shù)的估計(jì)值在多大程度上可以近似地替代總體參數(shù)的真值，往往需要通過構(gòu)造一個(gè)以樣本參數(shù)的估計(jì)值為中心的區(qū)間來考察它以多大的概率包含著真實(shí)的參數(shù)值。這種方法就是參數(shù)檢驗(yàn)的置信區(qū)間估計(jì)。55

因?yàn)榉植嫉姆植记€對稱于縱坐標(biāo)軸，所以在給定的置信水平下1-

，我們選取對稱于原點(diǎn)的區(qū)間使得，

56于是得到回歸系數(shù)的置信度為的置信區(qū)間為：1-57在例2-1中的95%置信區(qū)間分別為58（一）的預(yù)測區(qū)間

是服從正態(tài)分布的，將隨機(jī)干擾項(xiàng)的方差用其無偏估計(jì)量代替，可構(gòu)造如下統(tǒng)計(jì)量：三、預(yù)測值的置信區(qū)間59

于是，得到置信度為下的置信區(qū)間：1-60（二）的預(yù)測區(qū)間

設(shè)是實(shí)際預(yù)測值與預(yù)測值之差：

將上式中的用它的估計(jì)值代替；

61

則得到的標(biāo)準(zhǔn)差估計(jì)值，其中，62對于給定的置信度為1-，可以從t分布表中查得臨界值。于是，對于給定的置信度1-，預(yù)測值的置信區(qū)間為：構(gòu)造t統(tǒng)計(jì)量：63在例2-1中對于給定的置信度為0.95下，預(yù)測值的置信區(qū)間為64一、倒數(shù)模型二、k階多項(xiàng)式模型三、半對數(shù)模型四、雙對數(shù)模型（冪函數(shù)模型）第五節(jié)可線性化的非線性回歸模型65一、倒數(shù)模型令已變換為線性回歸模型。得66例2-267二、k階多項(xiàng)式模型令已變換為線性回歸模型。得68三、半對數(shù)模型半對數(shù)模型一般包含對數(shù)模型和指數(shù)模型兩類，是指被解釋變量和解釋變量中，要么被解釋變量一方為對數(shù)形式，要么解釋變量一方都為對數(shù)形式。69對數(shù)模型的一般形式為令得已變換為線性回歸模型。70對數(shù)函數(shù)模型的彈性系數(shù)和邊際系數(shù)都不是常數(shù)。彈性系數(shù)是邊際系數(shù)是71指數(shù)模型的一般形式為令得已變換為線性回歸模型。72指數(shù)函數(shù)模型的彈性系數(shù)和邊際系數(shù)都不是常數(shù)。彈性系數(shù)是邊際系數(shù)是73回歸系數(shù)是近似等于單位時(shí)間內(nèi)的增長率。指數(shù)函數(shù)模型的一個(gè)重要應(yīng)用是估計(jì)經(jīng)濟(jì)變量的增長率把中的換成時(shí)間變量t。

稱為增長模型。74例2-375三、雙對數(shù)模型（冪函數(shù)模型）雙對數(shù)模型是指被解釋變量和解釋變量雙方都為對數(shù)形式，與上面討論的半對數(shù)模型相對應(yīng)。雙對數(shù)模型的一般形式為令得為標(biāo)準(zhǔn)的線性回歸模型。76雙對數(shù)模型的特點(diǎn)是模型彈性系數(shù)為常數(shù)，邊際系數(shù)不是常數(shù)。彈性系數(shù)為邊際系數(shù)為77例2-478一、模型參數(shù)的線性約束二、對回歸模型增加或減少解釋變量三、參數(shù)的穩(wěn)定性四、三大經(jīng)典的非線性約束檢驗(yàn)第六節(jié)受約束回歸79

在建立回歸模型時(shí)，有時(shí)根據(jù)經(jīng)濟(jì)理論需要對模型中變量的參數(shù)施加一定的約束條件。模型施加約束條件后進(jìn)行回歸，稱受約束回歸，與此對應(yīng)，不加任何約束的回歸稱為無約束回歸。80

例如，在估計(jì)柯布-道格拉斯生產(chǎn)函數(shù)（分別為勞動(dòng)和資本的產(chǎn)出彈性）時(shí)，如果規(guī)模報(bào)酬不變，即每一同比例的投入變化有同比例的產(chǎn)出變化，則函數(shù)有約束。

81一、模型參數(shù)的線性約束對模型施加約束得：或如果對式回歸得出參數(shù)的估計(jì)結(jié)果則由約束條件可得：82

然而，對所考查的具體問題能否施加約束條件，需進(jìn)一步進(jìn)行相應(yīng)的檢驗(yàn)。

常用的檢驗(yàn)有：檢驗(yàn)、檢驗(yàn)與檢驗(yàn)，這里主要介紹檢驗(yàn)。83在同一樣本下，記無約束樣本回歸模型為受約束樣本回歸模型為于是受約束樣本回歸模型的殘差平方和RSSR于是84由式RSSR

RSSU從而

ESSRESSU

為無約束樣本回歸模型的殘差平方和RSSU

這意味著，通常情況下，對模型施加約束條件會(huì)降低模型的解釋能力。85

但是，如果約束條件為真，則受約束回歸模型與無約束回歸模型具有相同的解釋能力，RSSR

與

RSSU的差異變小。可用RSSR-RSSU的大小來檢驗(yàn)約束的真實(shí)性。86

即約束條件為真即不可施加約束條件。如果約束條件為真，則受約束回歸模型與無約束回歸模型具有相同的解釋能力，與的差異變小。87

根據(jù)數(shù)理統(tǒng)計(jì)學(xué)的知識：于是：88

如果約束條件無效，RSSR

與RSSU的差異較大，計(jì)算的F值也較大。

于是，可用計(jì)算的F統(tǒng)計(jì)量的值與所給定的顯著性水平下的臨界值作比較，對約束條件的真實(shí)性進(jìn)行檢驗(yàn)。

其中，kU,kR分別為無約束與受約束回歸模型的解釋變量的個(gè)數(shù)（不包括常數(shù)項(xiàng)），kU-kR恰為約束條件的個(gè)數(shù)。89例2-590二、對回歸模型增加或減少解釋變量考慮如下兩個(gè)回歸模型：91統(tǒng)計(jì)量的另一個(gè)等價(jià)式：

相應(yīng)的F統(tǒng)計(jì)量為：92

如果約束條件為真，即額外的變量沒有解釋能力，則F統(tǒng)計(jì)量較小；否則，約束條件為假，意味著額外的變量對F有較強(qiáng)的解釋能力，則F統(tǒng)計(jì)量較大。因此，可通過F的計(jì)算值與臨界值的比較，來判斷額外變量是否應(yīng)包括在模型中。

93三、參數(shù)的穩(wěn)定性

對于時(shí)間序列數(shù)據(jù)，因變量和解釋變量之間的關(guān)系可能會(huì)發(fā)生結(jié)構(gòu)變化，這可能是由經(jīng)濟(jì)系統(tǒng)的需求或供給沖擊帶來的，也可能是制度轉(zhuǎn)變的結(jié)果。因此，建立模型時(shí)往往希望模型的參數(shù)和設(shè)定關(guān)系是穩(wěn)定的，即所謂的結(jié)構(gòu)不變，那么如何檢驗(yàn)結(jié)構(gòu)變化？94（一）鄒氏參數(shù)穩(wěn)定性檢驗(yàn)

假設(shè)需要建立的模型為在兩個(gè)連續(xù)的時(shí)間序列（1,2,…，n1）與（n1+1,…，n1+n2）中，相應(yīng)的模型分別為

合并兩個(gè)時(shí)間序列為(1,2,…,n1,n1+1,…,n1+n2)，則可寫出如下無約束回歸模型95

如果=，表示沒有發(fā)生結(jié)構(gòu)變化，因此可針對如下假設(shè)進(jìn)行檢驗(yàn)：H0:=

式施加上述約束后變換為受約束回歸模型96

因此，檢驗(yàn)的統(tǒng)計(jì)量為：

記RSS1與RSS2為在兩時(shí)間段上分別回歸后所得的殘差平方和，容易驗(yàn)證，于是97參數(shù)穩(wěn)定性的檢驗(yàn)步驟：1.分別以兩連續(xù)時(shí)間序列作為兩個(gè)樣本進(jìn)行回歸，得到相應(yīng)的殘差平方：與；2.將兩序列并為一個(gè)大樣本后進(jìn)行回歸，得到大樣本下的殘差平方和；3.計(jì)算統(tǒng)計(jì)量的值鄒氏參數(shù)穩(wěn)定性檢驗(yàn)。98例2-699（二）鄒氏預(yù)測檢驗(yàn)鄒氏預(yù)測檢驗(yàn)的基本思想：先用前一時(shí)間段個(gè)樣本估計(jì)原模型，再用估計(jì)出的參數(shù)進(jìn)行后一時(shí)間段個(gè)樣本的預(yù)測。如果預(yù)測誤差較大，則說明參數(shù)發(fā)生了變化，否則說明參數(shù)是穩(wěn)定的。

100分別以、表示第一與第二時(shí)間段的參數(shù)，則矩陣式為：101如果參數(shù)沒有發(fā)生變化，則，矩陣式簡化為

檢驗(yàn):102鄒氏預(yù)測檢驗(yàn)步驟：1.在兩時(shí)間段的合成大樣本下做OLS回歸，得受約束模型的殘差平方和；2.對前一時(shí)間段的個(gè)子樣做回歸，得殘差平方和；3.計(jì)算檢驗(yàn)的統(tǒng)計(jì)量，做出判斷。給定顯著性水平，查分布表，得臨界值；如果，則拒絕原假設(shè)，認(rèn)為預(yù)測期發(fā)生了結(jié)構(gòu)變化。103四、三大經(jīng)典的非線性約束檢驗(yàn)估計(jì)線性模型時(shí)也可對模型參數(shù)施加非線性約束。如對模型施加非線性約束

，得到受約束回歸模型：104

該模型無法運(yùn)用普通最小二乘法進(jìn)行估計(jì)的，必須采用非線性最小二乘法進(jìn)行估計(jì)。

非線性約束檢驗(yàn)是建立在最大似然原理基礎(chǔ)上的，有最大似然比檢驗(yàn)、沃爾德檢驗(yàn)與拉格朗日乘數(shù)檢驗(yàn)。105（一）最大似然比檢驗(yàn)（LR）

最大似然比檢驗(yàn)需要估計(jì)無約束回歸模型與受約束回歸模型，運(yùn)用最大似然估計(jì)法，檢驗(yàn)兩個(gè)似然函數(shù)的值的差異是否“足夠”大。

似然比：如果比值不接近于1，說明兩似然函數(shù)值差距較大，則應(yīng)拒絕約束條件為真的假設(shè)；如果比值接近于1，說明兩似然函數(shù)值很接近，應(yīng)接受約束條件為真的假設(shè)。

106具體檢驗(yàn)時(shí)，由于大樣本下：

h是約束條件的個(gè)數(shù)。因此：通過LR統(tǒng)計(jì)量的2分布特性來進(jìn)行判斷。

107例2-7108（二）沃爾德檢驗(yàn)（WD）LR檢驗(yàn)既要估計(jì)約束條件下的極大似然函數(shù)值，又要估計(jì)無約束下的極大似然函數(shù)值，當(dāng)約束模型的估計(jì)很困難時(shí)，此方法尤為適用。沃爾德檢驗(yàn)中，只須估計(jì)無約束模型。如對要檢驗(yàn)約束，只須對該模型進(jìn)行回歸，并判斷與1的差距是否足夠大。109在所有古典假設(shè)都成立的條件下，容易證明

因此，在1+2=1的約束條件下

建立