李子奈計量經(jīng)濟學22一元線性回歸

§2.2一元線性回歸模型的參數(shù)估計

一、一元線性回歸模型的基本假設(shè)二、參數(shù)的普通最小二乘估計（OLS）三、參數(shù)估計的最大或然法(ML)四、最小二乘估計量的性質(zhì)五、參數(shù)估計量的概率分布及隨機干擾項方差的估計

李子奈計量經(jīng)濟學22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第1頁!單方程計量經(jīng)濟學模型分為兩大類：

線性模型和非線性模型線性模型中，變量之間的關(guān)系呈線性關(guān)系非線性模型中，變量之間的關(guān)系呈非線性關(guān)系

一元線性回歸模型：只有一個解釋變量

i=1,2,…,nY為被解釋變量，X為解釋變量，0與1為待估參數(shù)，為隨機干擾項李子奈計量經(jīng)濟學22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第2頁!

回歸分析的主要目的是要通過樣本回歸函數(shù)（模型）SRF盡可能準確地估計總體回歸函數(shù)（模型）PRF。

估計方法有多種，其種最廣泛使用的是普通最小二乘法（ordinaryleastsquares,OLS）。

為保證參數(shù)估計量具有良好的性質(zhì)，通常對模型提出若干基本假設(shè)。

注：實際這些假設(shè)與所采用的估計方法緊密相關(guān)。

李子奈計量經(jīng)濟學22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第3頁!

一、線性回歸模型的基本假設(shè)

假設(shè)1、解釋變量X是確定性變量，不是隨機變量；

假設(shè)2、隨機誤差項具有零均值、同方差和不序列相關(guān)性：E(i)=0i=1,2,…,nVar(i)=2i=1,2,…,nCov(i,j)=0i≠ji,j=1,2,…,n

假設(shè)3、隨機誤差項與解釋變量X之間不相關(guān)：Cov(Xi,i)=0i=1,2,…,n

假設(shè)4、服從零均值、同方差、零協(xié)方差的正態(tài)分布i~N(0,2)i=1,2,…,n李子奈計量經(jīng)濟學22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第4頁!

另外，在進行模型回歸時，還有兩個暗含的假設(shè)：

假設(shè)5：隨著樣本容量的無限增加，解釋變量X的樣本方差趨于一有限常數(shù)。即

假設(shè)6：回歸模型是正確設(shè)定的

假設(shè)5旨在排除時間序列數(shù)據(jù)出現(xiàn)持續(xù)上升或下降的變量作為解釋變量，因為這類數(shù)據(jù)不僅使大樣本統(tǒng)計推斷變得無效，而且往往產(chǎn)生所謂的偽回歸問題（spuriousregressionproblem）。假設(shè)6也被稱為模型沒有設(shè)定偏誤（specificationerror）李子奈計量經(jīng)濟學22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第5頁!方程組（*）稱為正規(guī)方程組（normalequations）。

李子奈計量經(jīng)濟學22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第6頁!順便指出，記則有

可得

（**）式也稱為樣本回歸函數(shù)的離差形式。（**）注意：在計量經(jīng)濟學中，往往以小寫字母表示對均值的離差。

李子奈計量經(jīng)濟學22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第7頁!在滿足基本假設(shè)條件下，對一元線性回歸模型：

隨機抽取n組樣本觀測值（Xi,Yi）（i=1,2,…n）。那么Yi服從如下的正態(tài)分布：于是，Y的概率函數(shù)為（i=1,2,…n）假如模型的參數(shù)估計量已經(jīng)求得，為李子奈計量經(jīng)濟學22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第8頁!

由于或然函數(shù)的極大化與或然函數(shù)的對數(shù)的極大化是等價的，所以，取對數(shù)或然函數(shù)如下：李子奈計量經(jīng)濟學22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第9頁!例2.2.1：在上述家庭可支配收入-消費支出例中，對于所抽出的一組樣本數(shù)，參數(shù)估計的計算可通過下面的表2.2.1進行。

李子奈計量經(jīng)濟學22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第10頁!

四、最小二乘估計量的性質(zhì)當模型參數(shù)估計出后，需考慮參數(shù)估計值的精度，即是否能代表總體參數(shù)的真值，或者說需考察參數(shù)估計量的統(tǒng)計性質(zhì)。一個用于考察總體的估計量，可從如下幾個方面考察其優(yōu)劣性：

（1）線性性，即它是否是另一隨機變量的線性函數(shù)；

（2）無偏性，即它的均值或期望值是否等于總體的真實值；

（3）有效性，即它是否在所有線性無偏估計量中具有最小方差。李子奈計量經(jīng)濟學22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第11頁!高斯—馬爾可夫定理(Gauss-Markovtheorem)

在給定經(jīng)典線性回歸的假定下，最小二乘估計量是具有最小方差的線性無偏估計量。李子奈計量經(jīng)濟學22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第12頁!李子奈計量經(jīng)濟學22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第13頁!

由于最小二乘估計量擁有一個“好”的估計量所應具備的小樣本特性，它自然也擁有大樣本特性。

李子奈計量經(jīng)濟學22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第14頁!李子奈計量經(jīng)濟學22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第15頁!在最大或然估計法中，因此，2的最大或然估計量不具無偏性，但卻具有一致性。

李子奈計量經(jīng)濟學22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第16頁!1、如果假設(shè)1、2滿足，則假設(shè)3也滿足;

2、如果假設(shè)4滿足，則假設(shè)2也滿足。注意：

以上假設(shè)也稱為線性回歸模型的經(jīng)典假設(shè)或高斯（Gauss）假設(shè)，滿足該假設(shè)的線性回歸模型，也稱為經(jīng)典線性回歸模型（ClassicalLinearRegressionModel,CLRM）。

李子奈計量經(jīng)濟學22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第17頁!二、參數(shù)的普通最小二乘估計（OLS）

給定一組樣本觀測值（Xi,Yi）（i=1,2,…n）要求樣本回歸函數(shù)盡可能好地擬合這組值.

普通最小二乘法（Ordinaryleastsquares,OLS）給出的判斷標準是：二者之差的平方和最小。李子奈計量經(jīng)濟學22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第18頁!記上述參數(shù)估計量可以寫成：

稱為OLS估計量的離差形式（deviationform）。由于參數(shù)的估計結(jié)果是通過最小二乘法得到的，故稱為普通最小二乘估計量（ordinaryleastsquaresestimators）。

李子奈計量經(jīng)濟學22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第19頁!

三、參數(shù)估計的最大或然法(ML)

最大或然法(MaximumLikelihood,簡稱ML)，也稱最大似然法，是不同于最小二乘法的另一種參數(shù)估計方法，是從最大或然原理出發(fā)發(fā)展起來的其它估計方法的基礎(chǔ)。

基本原理：對于最大或然法，當從模型總體隨機抽取n組樣本觀測值后，最合理的參數(shù)估計量應該使得從模型中抽取該n組樣本觀測值的概率最大。李子奈計量經(jīng)濟學22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第20頁!因為Yi是相互獨立的，所以的所有樣本觀測值的聯(lián)合概率，也即或然函數(shù)(likelihoodfunction)為：

將該或然函數(shù)極大化，即可求得到模型參數(shù)的極大或然估計量。李子奈計量經(jīng)濟學22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第21頁!解得模型的參數(shù)估計量為：

可見，在滿足一系列基本假設(shè)的情況下，模型結(jié)構(gòu)參數(shù)的最大或然估計量與普通最小二乘估計量是相同的。李子奈計量經(jīng)濟學22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第22頁!因此，由該樣本估計的回歸方程為：

李子奈計量經(jīng)濟學22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第23頁!（4）漸近無偏性，即樣本容量趨于無窮大時，是否它的均值序列趨于總體真值；（5）一致性，即樣本容量趨于無窮大時，它是否依概率收斂于總體的真值；（6）漸近有效性，即樣本容量趨于無窮大時，是否它在所有的一致估計量中具有最小的漸近方差。

這三個準則也稱作估計量的小樣本性質(zhì)。擁有這類性質(zhì)的估計量稱為最佳線性無偏估計量（bestlinerunbiasedestimator,BLUE）。

當不滿足小樣本性質(zhì)時，需進一步考察估計量的大樣本或漸近性質(zhì)：李子奈計量經(jīng)濟學22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第24頁!證：易知故同樣地，容易得出

李子奈計量經(jīng)濟學22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第25頁!（2）證明最小方差性其中，ci=ki+di，di為不全為零的常數(shù)則容易證明普通最小二乘估計量（ordinaryleastSquaresEstimators）稱為最佳線性無偏估計量（bestlinearunbiasedestimator,BLUE）

李子奈計量經(jīng)濟學22一元線性回歸共29頁，您現(xiàn)在瀏覽的是第26頁!

五、參數(shù)估計量的概率分布及隨機干擾項方差的估計

李子奈計量經(jīng)濟學22一元線性回歸共29頁，