3.1 多元線性回歸模型及參數估計ppt課件

1、12.3多元線性回歸模型的參數估計多元線性回歸模型的參數估計Estimation of Multiple Linear Regression Model 一、一、多元線性回歸模型多元線性回歸模型二、多元線性回歸模型的參數估計二、多元線性回歸模型的參數估計三、三、OLSOLS參數估計量的統計性質參數估計量的統計性質四、樣本容量問題四、樣本容量問題五、五、多元線性回歸模型實例多元線性回歸模型實例2一、一、多元線性回歸模型多元線性回歸模型31 1、多元線性回歸模型的形式、多元線性回歸模型的形式由于：由于： 在實際經濟問題中，一個變量往往受到多個原因變量的影響；在實際經濟問題中，一個變量往往受到多個原

2、因變量的影響； “從一般到簡單從一般到簡單”的建模思路。的建模思路。所以，線性回歸模型中的解釋變量往往有多個，至少開始是這樣。這樣所以，線性回歸模型中的解釋變量往往有多個，至少開始是這樣。這樣的模型被稱為的模型被稱為多元線性回歸模型多元線性回歸模型。多元線性回歸模型參數估計的原理與一元和二元線性回歸模型相同，只多元線性回歸模型參數估計的原理與一元和二元線性回歸模型相同，只是計算更為復雜。是計算更為復雜。4 多元線性回歸模型的一般形式為：多元線性回歸模型的一般形式為： 習慣上，把常數項習慣上，把常數項i看成為一個看成為一個虛變量虛變量的系數，在參數估計過程中該虛變量的系數，在參數估計過程中該虛變

3、量的樣本觀測值始終取的樣本觀測值始終取1。這樣：。這樣： 模型中解釋變量的數目為（模型中解釋變量的數目為（k+1）。）。 i=1,2,n ikikiiiXXXY 221105 多元線性回歸模型的矩陣表達式為：多元線性回歸模型的矩陣表達式為：YX 其中 01211kk() 121nn121nnYYYY) 1(212221212111111knknnnkkXXXXXXXXXX6 2 2、多元線性回歸模型的基本假定、多元線性回歸模型的基本假定多元線性回歸模型在滿足下列基本假設基本假設的情況下，可以采用普通最小二乘法普通最小二乘法（OLS）估計參數。關于多元線性回歸模型的基本假定關于多元線性回歸模型的

4、基本假定標量符號1、解釋變量kXXX,21是非隨機的或固定的；而且各 X 之間互不相關（無無多多重重共共線線性性(no multicollinearity)）矩陣符號1、)1( kn矩陣 X 是非隨機的；且 X 的秩1)( kX，此時XXT也是滿秩的7標量符號2、隨機誤差項具有零均值、同方差及不序列相關 0)(iE ni, 2 , 1 22)()(iiEVar ni, 2 , 1 0)(),(jijiECov ji 矩陣符號2、INNENET2)(, 0)( 0)()()(11nnEEENE nnTENNE11)(21121nnnEI222008標量符號3、解釋變量與隨機項不相關 0),(ij

5、iXCov ni, 2 , 1矩陣符號3、0)(NXET，即 0)()()(11iKiiiiiKiiiiEXEXEXXE9標量符號4、 （為了假設檢驗） ，隨機擾動項服從正態(tài)分布 ), 0(2Ni ni, 2 , 1 矩陣符號4、向量 N 為一多維正態(tài)分布，即 ), 0(2INN10二、多元線性回歸模型的參數估計二、多元線性回歸模型的參數估計111 1、普通最小二乘估計、普通最小二乘估計普通最小二乘估計普通最小二乘估計隨機抽取被解釋變量和解釋變量的 n 組樣本觀測值： kjniXYjii, 2 , 1 , 0, 2 , 1),(如果模型的參數估計值j已經求得，則有： kikiiiiXXXY22

6、110（i=1,2,n ） 12根據最小二乘原理，參數估計值應該是下列方程組的解： 0120000QQQQk其中 2112)(niiiniiYYeQnikikiiiXXXY1222110)(13 解該（k+1）個方程組成的線性代數方程組，即可得到(k+1)個待估參數的估計值, , ,jjk 012 。于是得到關于待估參數估計值的正規(guī)方程組： 0)(0)(0)(0)(221102221102122110122110kikikiikiiikikiiiiikikiiiikikiiiXXXXXYXXXXXYXXXXXYXXXY14 上述估計過程的矩陣表示：上述估計過程的矩陣表示：對于模型YX，如果模型

7、的參數估計值B已經得到，則有： YXeXY其中 e eeen12從而，被解釋變量的觀測值與估計值之差的平方和為： 2112)(niiiniiYYeQ)( )(XYXYee15根據最小二乘原理，參數估計值應該是下列方程組的解： () ()YXYX 0求解過程如下： 00)(2(0)2(0)(0)(XXYXXXYXYXXXYYXXXYYXYYXYXYYY16隨機誤差項的均值為隨機誤差項的均值為0，方差的估計量為：，方差的估計量為： 21e enk于是，得到正規(guī)方程組：于是，得到正規(guī)方程組： X YX X參數的最小二乘估計值為：參數的最小二乘估計值為： () X XX Y1172 2、最大或然估計、

8、最大或然估計Y Y的隨機抽取的的隨機抽取的n組樣本觀測值的聯合概率組樣本觀測值的聯合概率 LP yyyeennyxxxnniiikkin(,)(,)()()()() ()212121212122201 122222YXYX18對數或然函數為對數或然函數為參數的最大或然估計參數的最大或然估計 結果與參數的普通最小二乘估計相同結果與參數的普通最小二乘估計相同 LLn LnLn*( )()() () 2122YXYX() X XX Y119三、三、OLSOLS參數估計量的統計性質參數估計量的統計性質對于滿足基本假設的多元線性回歸模型YX，其參數的普通最小二乘估計具有線性、無偏性和有效性三個特性。 2

9、01線性 由() X XX Y1， 可知參數j), 2 , 1 , 0(kj的普通最小二乘估計j為), 2 , 1(niYi的線性函數。 2無偏性 參數估計量的無偏性證明如下： )()()()()()(1XXXXXXXYXXX11EEEE這里利用了解釋變量與隨機誤差項不相關的假設，即 E()X 0213有效性 12112121111)()()()()()()()()()()() )()()( XXXXXXXXXXXXXXXXXX1XXXXXXIXXEEEEEECov其中利用了 ()X XX Y1XXXXXXX11)()()(E() 2I根據高斯馬爾可夫定理，上述方差在所有無偏估計量的方差中是最

10、小的，所以普通最小二乘參數估計量具有有效性。 22主對角線給出了各參數估計j的方差，其余部分給出了不同參數估計i與j的協方差，故稱為參數估計向量B的方方差差- -協協方方差差矩矩陣陣。 由于矩陣 k k k k E B B B B E ) )( ( 1 1 0 0 1 1 0 0 2 1 1 0 0 1 1 2 1 1 0 0 1 1 0 0 1 1 0 0 2 0 0 ) ( ) )( ( ) )( ( ) )( ( ) ( ) )( ( ) )( ( ) )( ( ) ( k k k k k k k k k k E E E E E E E E E (3. 參數估計量的方差參數估計量的方差-

11、 -協方差矩陣協方差矩陣234隨機誤差項方差估計量的性質 由于被解釋變量的估計值與觀測值之間的殘差 eYXMXXXXIXXXXXXXXXX)()()()(111殘差的平方和為: e eM M因 為XXXXIM1)(為 對 稱 等 冪 矩 陣 ， 即 MM，MMMM2 所以有 e eM)1()()()()(212121kntrtrtrEEXXXXIXXXXIXXXXIee其中符號“tr”表示矩陣的跡，其定義為矩陣主對角線元素的和。于是 21Enk()e e所以，隨機誤差項方差的無偏估計量為 21 een k24關關于于YXBYYee的的證證明明：MYYXX)XX(IYXX)XX(YBXYYYe1

12、1MYMY(MY)(MYee可以證明，)XX)XX(IM1為對稱等冪矩陣， 即 MM ，MM2，于是： BXYYYYXX)XX(YYYYXX)XX(IYMYYee11由于BXY為一數量，故 YXB)BXY(BXY，于是： YXBYYee25四、樣本容量問題四、樣本容量問題1、 最小樣本容量最小樣本容量2 2、滿足基本要求的樣本容量、滿足基本要求的樣本容量 計量經濟學模型，說到底是從表現已經發(fā)生的經濟活動的樣本數據計量經濟學模型，說到底是從表現已經發(fā)生的經濟活動的樣本數據中尋找經濟活動中內含的規(guī)律性，所以，它對樣本數據具有很強的依賴中尋找經濟活動中內含的規(guī)律性，所以，它對樣本數據具有很強的依賴性

13、。性。 26 最小樣本容量最小樣本容量最小樣本容量：是指從最小二乘原理出發(fā)，欲得到參數估計量，不管其質最小樣本容量：是指從最小二乘原理出發(fā)，欲得到參數估計量，不管其質量如何，所要求的樣本容量的下限。量如何，所要求的樣本容量的下限。樣本容量必須不少于模型中解釋變量的數目（包括常數項），這就是最小樣本容量必須不少于模型中解釋變量的數目（包括常數項），這就是最小樣本容量：樣本容量： nk1272 2、滿足基本要求的樣本容量、滿足基本要求的樣本容量 雖然當雖然當 nk+1 時，可以得到參數估計量，但除了參數估計量質量不好以外，時，可以得到參數估計量，但除了參數估計量質量不好以外，一些建立模型所必須的后

14、續(xù)工作也無法進行。一些建立模型所必須的后續(xù)工作也無法進行。 一般經驗認為，當一般經驗認為，當n 30或者至少或者至少nk 31()時，時，才能說滿足模才能說滿足模型估計的基本要求。型估計的基本要求。 28五、五、多元線性回歸模型實例多元線性回歸模型實例29中國消費函數模型中國消費函數模型根據消費模型的一般形式，選擇消費總額為被解釋變量，國內生產總值和前一年的消費總額為解釋變量，變量之間關系為簡單線性關系，選取1981年至1996年統計數據為樣本觀測值。 30中國消費數據表 單位：億元 年 份 消費總額 國內生產總值前一年消費額 年 份 消費總額 國內生產總值 前一年消費額19813309490

15、129761989105561646693601982363854893309199011362183201055619834021607636381991131462128011362198446947164402119921595225864131461985577387924694199320182345011595219866542101335773199427216471112018219877451117846542199534529594052721619889360147047451199640172684983452931模型估計結果D ep en d en t V aria

16、b le: C O N S M eth od : L east S q u ares D ate: 0 2 /2 5 /0 3 Tim e: 1 7 :4 7 S am p le: 1 9 8 1 1 9 9 6 In clu d ed ob servation s: 1 6 V ariab le C oefficien t S td . E rror t-S tatistic P rob . C 5 4 0 .5 2 8 6 8 4 .3 0 1 5 3 6 .4 1 1 8 4 8 0 .0 0 0 0 G D P 0 .4 8 0 9 4 8 0 .0 2 1 8 6 1 2 2 .0

17、0 0 3 5 0 .0 0 0 0 C O N S 1 0 .1 9 8 5 4 5 0 .0 4 7 4 0 9 4 .1 8 7 9 6 9 0 .0 0 1 1 R -sq u ared 0 .9 9 9 7 7 3 M ean d ep en d en t var 1 3 6 1 8 .9 4 A d ju sted R -sq u ared 0 .9 9 9 7 3 9 S .D . d ep en d en t var 1 1 3 6 0 .4 7 S .E . of reg ression 1 8 3 .6 8 3 1 A kaike in fo criterion 1 3 .4 3 1 6