計(jì)量經(jīng)濟(jì)學(xué)第三章多元線性回歸

1、計(jì)量經(jīng)濟(jì)學(xué)計(jì)量經(jīng)濟(jì)學(xué)授課人：田立法授課人：田立法教材：張曉峒教材：張曉峒計(jì)量經(jīng)濟(jì)學(xué)基礎(chǔ)（第計(jì)量經(jīng)濟(jì)學(xué)基礎(chǔ)（第3版）版）授課班級：金融授課班級：金融0905、0906，信用，信用0901公共信箱：公共信箱：sd_jiliang_ tianlifa計(jì)量經(jīng)濟(jì)學(xué)計(jì)量經(jīng)濟(jì)學(xué)天津商業(yè)大學(xué)經(jīng)濟(jì)學(xué)院天津商業(yè)大學(xué)經(jīng)濟(jì)學(xué)院天津商業(yè)大學(xué)經(jīng)濟(jì)學(xué)院天津商業(yè)大學(xué)經(jīng)濟(jì)學(xué)院2011年9月第三章第三章 多元線性回歸模型多元線性回歸模型 第一節(jié)：模型的建立及其假定條件第一節(jié)：模型的建立及其假定條件第二節(jié)：最小二乘法第二節(jié)：最小二乘法第三節(jié)：最小二乘估計(jì)量的特性第三節(jié)：最小二乘估計(jì)量的特性第四節(jié)：可決系數(shù)第四節(jié)：可決系數(shù)第五節(jié)：顯

2、著性檢驗(yàn)與置信區(qū)間第五節(jié)：顯著性檢驗(yàn)與置信區(qū)間第六節(jié)：預(yù)測第六節(jié)：預(yù)測第七節(jié)：案例分析第七節(jié)：案例分析第一節(jié)第一節(jié) 模型的建立及其假定條件模型的建立及其假定條件1. 為什么要引入多元線性回歸模型？為什么要引入多元線性回歸模型？ 在實(shí)際經(jīng)濟(jì)問題中，一個(gè)經(jīng)濟(jì)變量往往不只受到一個(gè)在實(shí)際經(jīng)濟(jì)問題中，一個(gè)經(jīng)濟(jì)變量往往不只受到一個(gè)經(jīng)濟(jì)因素的影響，而是受到多個(gè)經(jīng)濟(jì)因素的影響。如，商經(jīng)濟(jì)因素的影響，而是受到多個(gè)經(jīng)濟(jì)因素的影響。如，商品的需求量不但受到商品本身價(jià)格的影響，還會(huì)受到消費(fèi)品的需求量不但受到商品本身價(jià)格的影響，還會(huì)受到消費(fèi)者偏好、消費(fèi)者收入以及其它相關(guān)商品價(jià)格、預(yù)期價(jià)格等者偏好、消費(fèi)者收入以及其它相關(guān)

3、商品價(jià)格、預(yù)期價(jià)格等因素的影響。因素的影響。 引入多元線性回歸模型，為我們深入探究某經(jīng)濟(jì)問題引入多元線性回歸模型，為我們深入探究某經(jīng)濟(jì)問題如何被多個(gè)經(jīng)濟(jì)因素所影響提供了可能，并有助于我們解如何被多個(gè)經(jīng)濟(jì)因素所影響提供了可能，并有助于我們解析出經(jīng)濟(jì)問題背后存在的內(nèi)在規(guī)律。析出經(jīng)濟(jì)問題背后存在的內(nèi)在規(guī)律。 多元線性回歸模型是一元線性回歸模型的推廣，其基多元線性回歸模型是一元線性回歸模型的推廣，其基本原理和方法同一元模型完全相似。本原理和方法同一元模型完全相似。 設(shè)設(shè) 是對總體是對總體 的的n次獨(dú)立樣本觀測值，則次獨(dú)立樣本觀測值，則第一節(jié)第一節(jié) 模型的建立及其假定條件模型的建立及其假定條件2. 多元

4、線性回歸模型與一元模型的形式有什么不同？多元線性回歸模型與一元模型的形式有什么不同？iiiuxy10uxxxykk22110多元總體線性回歸方程，簡稱多元總體線性回歸方程，簡稱總體回歸方程總體回歸方程。 是樣本數(shù)據(jù)結(jié)構(gòu)形式的多元總體線性回歸模型，由是樣本數(shù)據(jù)結(jié)構(gòu)形式的多元總體線性回歸模型，由n個(gè)方程、個(gè)方程、k+1個(gè)未知參數(shù)個(gè)未知參數(shù) 組成的一個(gè)線組成的一個(gè)線性方程組。性方程組。niyxxxikiii, 2 , 1),;,(211);,(21yxxxkniuxxxyikikiii, 2 , 1,22110k，10第一節(jié)第一節(jié) 模型的建立及其假定條件模型的建立及其假定條件3. 多元線性回歸模型的

5、方程組與矩陣形式？多元線性回歸模型的方程組與矩陣形式？nknknnnkkkkuxxxyuxxxyuxxxy2211022222121021121211101uxy被解釋向量被解釋向量=解釋變量矩陣解釋變量矩陣未知參數(shù)向量未知參數(shù)向量+隨機(jī)誤差向量隨機(jī)誤差向量第一節(jié)第一節(jié) 模型的建立及其假定條件模型的建立及其假定條件3. 多元線性回歸模型的方程組與矩陣形式？多元線性回歸模型的方程組與矩陣形式？yux)1(211)1(10)1(212221212111)1(21111nnkkknknnnkknnuuuxxxxxxxxxyyy第一節(jié)第一節(jié) 模型的建立及其假定條件模型的建立及其假定條件4. 多元線性回

6、歸模型的樣本估計(jì)形式？多元線性回歸模型的樣本估計(jì)形式？樣本回歸樣本回歸模型模型 矩陣形式為：矩陣形式為：樣本回歸樣本回歸方程方程 矩陣形式為：矩陣形式為：ikikiii +ex x + x+ = y + 22110 + + + = k22110kiiiixxxyexyxy121nneeee表示表示殘差（隨機(jī)誤差項(xiàng)估計(jì)值）的列向量殘差（隨機(jī)誤差項(xiàng)估計(jì)值）的列向量第一節(jié)第一節(jié) 模型的建立及其假定條件模型的建立及其假定條件5. 多元線性回歸模型的假定條件多元線性回歸模型的假定條件假定假定1：e(ui)=0i1,2n1122()0()0()()0nnue uue ueeue uu0這樣，被解釋變量這樣

7、，被解釋變量yi的期望值的期望值為為： e(yi) = 0 + 1x1 i+ 2x2i + kx ki 第一節(jié)第一節(jié) 模型的建立及其假定條件模型的建立及其假定條件5. 多元線性回歸模型的假定條件多元線性回歸模型的假定條件假定假定2：var(ui) = eui - e(ui)2 = e(ui)2 = 2 i1,2,n 這樣，這樣，yi的方差也相同，且等于的方差也相同，且等于 2，即：，即：var(yi) = 2 i1,2,n假定假定3：cov(ui,uj)=e(ui-e(ui)( uj-e(uj)=e(ui,uj)=0(i j ) i，j1,2,n即：隨機(jī)誤差項(xiàng)無序列相關(guān)。即：隨機(jī)誤差項(xiàng)無序列相

8、關(guān)。第一節(jié)第一節(jié) 模型的建立及其假定條件模型的建立及其假定條件5. 多元線性回歸模型的假定條件多元線性回歸模型的假定條件假定假定2和假定和假定3可以由下列矩陣表示：可以由下列矩陣表示：),(2121nnuuuuuue22112212121221 nnnnuuuuuuuuuuuuuuue) ()()()(uueueuueueuvar第一節(jié)第一節(jié) 模型的建立及其假定條件模型的建立及其假定條件5. 多元線性回歸模型的假定條件多元線性回歸模型的假定條件假定假定2和假定和假定3可以由下列矩陣表示：可以由下列矩陣表示：上式稱為隨機(jī)誤差向量上式稱為隨機(jī)誤差向量u的的方差方差協(xié)方差矩陣協(xié)方差矩陣。 )()()

9、()()()()()()(2212212121221nnnnnueuueuueuueueuueuueuueuei2222000000第一節(jié)第一節(jié) 模型的建立及其假定條件模型的建立及其假定條件5.多元線性回歸模型的假定條件多元線性回歸模型的假定條件即樣本觀測值矩陣即樣本觀測值矩陣x必須是滿秩矩陣，應(yīng)滿足：必須是滿秩矩陣，應(yīng)滿足：假定假定4：cov(uj,xij)=0i1,2k；i，j1,2n 即 ui與與xi彼此不相關(guān)彼此不相關(guān)。假定假定5：解釋變量：解釋變量x1,x2,x k之間不存在完全的線性關(guān)系，之間不存在完全的線性關(guān)系，假定假定6：隨機(jī)誤差項(xiàng)服從正態(tài)分布，即：隨機(jī)誤差項(xiàng)服從正態(tài)分布，即u

10、in（0, 2）同時(shí)，被解釋變量也服從正態(tài)分布同時(shí)，被解釋變量也服從正態(tài)分布yin( 0+ 1x1 i+ 2x2i+ kxki, 2)第二節(jié)第二節(jié) 最小二乘法最小二乘法1. 參數(shù)的最小二乘估計(jì)參數(shù)的最小二乘估計(jì)第一步第一步構(gòu)建最小二乘函數(shù)：構(gòu)建最小二乘函數(shù)：），kq, ,(210niie12niiiyy12)(nikikiii)xxx(y1222110第二節(jié)第二節(jié) 最小二乘法最小二乘法kiqi, 2 , 1 , 00，1. 參數(shù)的最小二乘估計(jì)參數(shù)的最小二乘估計(jì)第二步第二步應(yīng)用極值定理，對參數(shù)求導(dǎo)：應(yīng)用極值定理，對參數(shù)求導(dǎo)：0)( )(20)( )(20) 1( )(22211012211012

11、21100kikikiiikikikiiikikiiixxxxyqxxxxyqxxxyq第二節(jié)第二節(jié) 最小二乘法最小二乘法1. 參數(shù)的最小二乘估計(jì)參數(shù)的最小二乘估計(jì)第二步第二步應(yīng)用極值定理，對參數(shù)求導(dǎo)：應(yīng)用極值定理，對參數(shù)求導(dǎo)：ikikikkiikiikiiiikikiiiiikikiiyxxxxxxxyxxxxxxx yxxxn222110111222111022110ikikikkiikiikiiiikikiiiiikikiiyxxxxxxxyxxxxxxxyxxxn222110111222111022110化化簡簡第二節(jié)第二節(jié) 最小二乘法最小二乘法1. 參數(shù)的最小二乘估計(jì)參數(shù)的最小二乘估

12、計(jì)第二步第二步應(yīng)用極值定理，對參數(shù)求導(dǎo)：應(yīng)用極值定理，對參數(shù)求導(dǎo)：寫成矩陣形式寫成矩陣形式ikiiiikkikiikiikiikiiiiikiiiyxyxyxxxxxxxxxxxxxxxn121022111221121第二節(jié)第二節(jié) 最小二乘法最小二乘法1. 參數(shù)的最小二乘估計(jì)參數(shù)的最小二乘估計(jì)第三步第三步解方程組：解方程組：因?yàn)椋阂驗(yàn)椋?2211211212iikiiiiikiikiikiikikinxxxxxxxx xxx xxxx112111112112222212221212111111knknnnknkkknxxxxxxxxxxxxxxxxxxx x第二節(jié)第二節(jié) 最小二乘法最小二乘法1

13、. 參數(shù)的最小二乘估計(jì)參數(shù)的最小二乘估計(jì)第三步第三步解方程組：解方程組：所以：所以：ikiii1i21212222111211yxyxy111nknkknnyyyxxxxxxxxxyx于是：于是：yxxxyxxx)(1 就是就是 的最小二乘估計(jì)量。的最小二乘估計(jì)量。第二節(jié)第二節(jié) 最小二乘法最小二乘法2.最小二乘估計(jì)的矩陣微分法則最小二乘估計(jì)的矩陣微分法則2)()()()()(),(2210xxyxyyxxxyyxyyxyxyyyyyeeyyeqiiik221121xyyyyyyyyyeeeennn其中，其中，第二節(jié)第二節(jié) 最小二乘法最小二乘法2.最小二乘估計(jì)的矩陣微分法則最小二乘估計(jì)的矩陣微分

14、法則對矩陣求對矩陣求 向量的微分，得向量的微分，得022)2(xxyxxxyxyyq整理，得整理，得yxxx于是于是yxxx)(1可見，矩陣微分法與解方程組法的結(jié)果是一樣的。可見，矩陣微分法與解方程組法的結(jié)果是一樣的。第二節(jié)第二節(jié) 最小二乘法最小二乘法例例3.1由經(jīng)濟(jì)理論知，在市場上某種商品的需求量由經(jīng)濟(jì)理論知，在市場上某種商品的需求量主要主要取決于該商品的價(jià)格取決于該商品的價(jià)格和消費(fèi)者的收入和消費(fèi)者的收入。試建立該。試建立該種商品的需求量與商品價(jià)格和消費(fèi)者平均收入之間的線種商品的需求量與商品價(jià)格和消費(fèi)者平均收入之間的線性回歸模型。性回歸模型。第一步：確立研究問題；第一步：確立研究問題；第二步

15、：搜集研究數(shù)據(jù)；第二步：搜集研究數(shù)據(jù)；1x2xy第二節(jié)第二節(jié) 最小二乘法最小二乘法例例3.1第三步：構(gòu)建計(jì)量經(jīng)濟(jì)學(xué)模型；第三步：構(gòu)建計(jì)量經(jīng)濟(jì)學(xué)模型；4050607080901001102345678910x1y4050607080901001105060708090100 110 120 130x2y第二節(jié)第二節(jié) 最小二乘法最小二乘法例例3.1第三步：構(gòu)建計(jì)量經(jīng)濟(jì)學(xué)模型；第三步：構(gòu)建計(jì)量經(jīng)濟(jì)學(xué)模型；21221101801. 03553. 8-8343.113xxxxyim是一個(gè)是一個(gè) n 階對稱冪等矩陣，即階對稱冪等矩陣，即第二節(jié)第二節(jié) 最小二乘法最小二乘法3.隨機(jī)誤差項(xiàng)的方差隨機(jī)誤差項(xiàng)的方差

16、的估計(jì)量的估計(jì)量2muuxxxxiuxxxxu11)()()()()()()(uxxxxxuxyxxxxuxxyyy11exx)x(xim1其中，。mmmm2, 第二節(jié)第二節(jié) 最小二乘法最小二乘法3.隨機(jī)誤差項(xiàng)的方差隨機(jī)誤差項(xiàng)的方差的估計(jì)量的估計(jì)量2則則muumumumumuee)(uxxxxiu1)()1()()()(kxxxtrxtrixxxxitruxxxxiuee)e(e212121n注：符號(hào)注：符號(hào) tr 表示矩陣的跡，它等于矩陣主對角線上元素之和表示矩陣的跡，它等于矩陣主對角線上元素之和.第二節(jié)第二節(jié) 最小二乘法最小二乘法) 1(2kneee3.隨機(jī)誤差項(xiàng)的方差隨機(jī)誤差項(xiàng)的方差的估

17、計(jì)量的估計(jì)量2于是有，于是有，可見，隨機(jī)誤差項(xiàng)的方差可見，隨機(jī)誤差項(xiàng)的方差2 的無偏估計(jì)量為：的無偏估計(jì)量為：) 1() 1(222kneknsieee殘差平方和殘差平方和 的計(jì)算方法如下：的計(jì)算方法如下：第二節(jié)第二節(jié) 最小二乘法最小二乘法3.隨機(jī)誤差項(xiàng)的方差隨機(jī)誤差項(xiàng)的方差的估計(jì)量的估計(jì)量22ieyxyyyxxxxxyx2yyxxyxxyyyxyxyxyxyee1)()()()(2ie請計(jì)算例請計(jì)算例3.1中誤差項(xiàng)方差的回歸標(biāo)準(zhǔn)差。中誤差項(xiàng)方差的回歸標(biāo)準(zhǔn)差。 所謂線性性是指最小二乘估計(jì)量所謂線性性是指最小二乘估計(jì)量 是被解釋變量的觀測值是被解釋變量的觀測值 的線性函數(shù)：的線性函數(shù)： 已知已知

18、 令令 則則 ，a是一個(gè)非隨機(jī)是一個(gè)非隨機(jī) (k+1)n階常數(shù)矩陣。階常數(shù)矩陣。 2. 無偏性無偏性 由由 知知第三節(jié)第三節(jié) 最小二乘估計(jì)量的特性最小二乘估計(jì)量的特性1.線性性線性性nyyy,21yxxx)(1)(1xxxa ayuxxxuxxxxyxxx)()( )()(111)()()()(11uexxxuxxxee由由知知令令則則 ，因，因 b 是是 的無偏估計(jì)量，所以的無偏估計(jì)量，所以從而有從而有第三節(jié)第三節(jié) 最小二乘估計(jì)量的特性最小二乘估計(jì)量的特性3.最小方差性（有效性）最小方差性（有效性），（）（2)(-11uxxx12121111111)()()( )()() ()()()()(

19、)()()(xxxxxixxxxxxuuexxxxxxuuxxxeuxxxuxxxeevarn aypypyayypab)(pxbe)(0px)()( )()()()()()()()(2212122ppvarppxxppxxpapaupaupaebbebebbebebvar第三節(jié)第三節(jié) 最小二乘估計(jì)量的特性最小二乘估計(jì)量的特性高斯高斯馬爾科夫定理馬爾科夫定理如果基本假設(shè)如果基本假設(shè)(1)(5)成立，則最小二乘估計(jì)量成立，則最小二乘估計(jì)量是是的的最優(yōu)線性無偏估計(jì)量（最優(yōu)線性無偏估計(jì)量（blue），即），即的所有線性無偏估的所有線性無偏估計(jì)量中，計(jì)量中，具有最小方差性。具有最小方差性。例例3.3試

20、計(jì)算例試計(jì)算例3.1中中和和的標(biāo)準(zhǔn)差的估計(jì)值。的標(biāo)準(zhǔn)差的估計(jì)值。解：解：12第四節(jié)第四節(jié) 可決系數(shù)可決系數(shù)1.總離差平方和的分解總離差平方和的分解多元回歸模型同一元回歸模型相似，總離差平多元回歸模型同一元回歸模型相似，總離差平方和也可分解為：方和也可分解為：其中其中即即22)(iiyyytss22)(iiy yyrss22)(iiieyyess222iiiey y總離差平方和總離差平方和=回歸平方和回歸平方和+殘差平方和殘差平方和 tss = rss+ ess第四節(jié)第四節(jié) 可決系數(shù)可決系數(shù)2.多元樣本的可決系數(shù)多元樣本的可決系數(shù)修正的多元樣本可決系數(shù)修正的多元樣本可決系數(shù)222222211)(

21、)(iiiiiiyetssessyyyyyytssrssr) 1/() 1/(-1) 1/() 1/(1222nyknentssknessrii11)1 (122knnrr第四節(jié)第四節(jié) 可決系數(shù)可決系數(shù)在實(shí)際應(yīng)用時(shí)，在實(shí)際應(yīng)用時(shí)，和和越大，模型擬合得越好。越大，模型擬合得越好。和和僅僅說明了在給定的樣本條件下，估計(jì)的回歸方程對于樣本僅僅說明了在給定的樣本條件下，估計(jì)的回歸方程對于樣本觀測值擬合的優(yōu)度，擬合優(yōu)度并不是評價(jià)模型優(yōu)劣的惟一標(biāo)觀測值擬合的優(yōu)度，擬合優(yōu)度并不是評價(jià)模型優(yōu)劣的惟一標(biāo)準(zhǔn)。我們并不能僅以準(zhǔn)。我們并不能僅以和和的大小來選擇模型，有時(shí)為了的大小來選擇模型，有時(shí)為了使有重要經(jīng)濟(jì)意義的

22、解釋變量保留在模型中，寧可犧牲一點(diǎn)使有重要經(jīng)濟(jì)意義的解釋變量保留在模型中，寧可犧牲一點(diǎn)擬合優(yōu)度。擬合優(yōu)度。例例3.4計(jì)算例計(jì)算例3.1的可決系數(shù)的可決系數(shù)2r2r2r2r2r2r第五節(jié)第五節(jié) 顯著性檢驗(yàn)與置信區(qū)間顯著性檢驗(yàn)與置信區(qū)間1.回歸方程的顯著性檢驗(yàn)（回歸方程的顯著性檢驗(yàn)（f檢驗(yàn)）檢驗(yàn)） 回歸方程的顯著性檢驗(yàn)是指，在一定的顯著水平下，從回歸方程的顯著性檢驗(yàn)是指，在一定的顯著水平下，從總體上對模型中被解釋變量與解釋變量之間的線性關(guān)系是否總體上對模型中被解釋變量與解釋變量之間的線性關(guān)系是否顯著成立進(jìn)行的一種統(tǒng)計(jì)檢驗(yàn)。顯著成立進(jìn)行的一種統(tǒng)計(jì)檢驗(yàn)。 對于多元回歸模型對于多元回歸模型提出原假設(shè)提出

23、原假設(shè)備擇假設(shè)為備擇假設(shè)為當(dāng)當(dāng)h0成立時(shí)成立時(shí)niuxxxyikikiii, 2 , 1,221100:210kh), 2 , 1(0:1kjhj不等于至少有一個(gè)) 1,() 1/()1 (/) 1/(/22knkfknrkrknesskrss第五節(jié)第五節(jié) 顯著性檢驗(yàn)與置信區(qū)間顯著性檢驗(yàn)與置信區(qū)間1.回歸方程的顯著性檢驗(yàn)（回歸方程的顯著性檢驗(yàn)（f檢驗(yàn)）檢驗(yàn)） 例例3.5 試對例試對例3.1中的估計(jì)的回歸方程進(jìn)行顯著性檢驗(yàn)。中的估計(jì)的回歸方程進(jìn)行顯著性檢驗(yàn)。解：從解：從eviews的輸出結(jié)果中，也能夠直接看出的輸出結(jié)果中，也能夠直接看出第五節(jié)第五節(jié) 顯著性檢驗(yàn)與置信區(qū)間顯著性檢驗(yàn)與置信區(qū)間2.解

24、釋變量的顯著性檢驗(yàn)（解釋變量的顯著性檢驗(yàn)（t檢驗(yàn)檢驗(yàn)） 多元線性回歸模型同一元線性回歸模型一樣，檢驗(yàn)未知多元線性回歸模型同一元線性回歸模型一樣，檢驗(yàn)未知參數(shù)的顯著性也可用參數(shù)的顯著性也可用 t 統(tǒng)計(jì)量：統(tǒng)計(jì)量：已知已知 ，其中，其中有有記記 ，若假設(shè)，若假設(shè)h0成立成立則可得則可得) 1 , 0(1, 12nciiii1) 1(22knekneei) 1()(1, 12kntsctiiiiiiii1, 122)(iiics) 1()()(0kntsstiiiii 第五節(jié)第五節(jié) 顯著性檢驗(yàn)與置信區(qū)間顯著性檢驗(yàn)與置信區(qū)間2.解釋變量的顯著性檢驗(yàn)（解釋變量的顯著性檢驗(yàn)（t檢驗(yàn)檢驗(yàn)）例例3.6試對例試

25、對例3.1的回歸系數(shù)的回歸系數(shù)，進(jìn)行顯著性檢驗(yàn)。進(jìn)行顯著性檢驗(yàn)。解：解：12第五節(jié)第五節(jié) 顯著性檢驗(yàn)與置信區(qū)間顯著性檢驗(yàn)與置信區(qū)間3.回歸系數(shù)的置信區(qū)間回歸系數(shù)的置信區(qū)間已知已知所以，有所以，有例例3.7試對例試對例3.1中的回歸系數(shù)建立置信度為中的回歸系數(shù)建立置信度為95%的置信區(qū)間。的置信區(qū)間。解：基于解：基于eviews的輸出結(jié)果可得的輸出結(jié)果可得和和的置信區(qū)間為的置信區(qū)間為) 1()(kntsiii)() 1(),() 1(2/2/iiiiiskntsknt)6524. 0 ,2923. 0(1997. 0365. 21801. 0 ,1997. 0365. 21801. 0)9377. 2,7730.13(2907. 2365. 23553. 8,2907. 2365. 23553. 812第六節(jié)第六節(jié) 預(yù)測預(yù)測1.點(diǎn)預(yù)測點(diǎn)預(yù)測點(diǎn)預(yù)測：就是將解釋變量點(diǎn)預(yù)測：就是將解釋變量x1,x2,xk的一組特定值：的一組特定值：x0=(1,x10,x20,xk0)代入估計(jì)的回歸方程中，計(jì)算出被解釋