一元線性模型的參數(shù)估計分析

1、2.3 一元線性回歸模型的參數(shù)估計(Estimation of Simple Linear Regression Model) 一、參數(shù)的普通最小二乘估計（OLS） 二、參數(shù)估計的最大或然法(ML)三、參數(shù)估計的矩法(MM) 四、最小二乘估計量的性質 五、參數(shù)估計量的概率分布及隨機干 擾項方差的估計 如果線性方程組的系數(shù)行列式D不等于零， 則方程組有唯一解 （1）CRAMMER法則解CRAMMER法則應用所以 1、Crammer法則只能用于求解方程個數(shù)與未知數(shù) 個數(shù)相等的線性方程組；2、Crammer法則只能求得系數(shù)行列式不為零時的 線性方程組的唯一解； 即如果方程個數(shù)與未知數(shù)個數(shù)不相等，或系

2、數(shù) 行列式等于零，則Crammer法則失效。3、計算量大，要計算 n+1 個 n 階行列式的值。 CRAMMER法則應用局限一、參數(shù)的普通最小二乘估計（OLS）1、最小二乘原理根據被解釋變量的所有觀測值與估計值之差的平方和最小的原則求得參數(shù)估計量。 為什么取平方和？給定一組樣本觀測值（Xi, Yi）（i=1,2,n）要求樣本回歸函數(shù)盡可能好地擬合這組值.方程組（*）稱為正規(guī)方程組（normal equations）。 2、正規(guī)方程組3、參數(shù)估計量記上述參數(shù)估計量可以寫成： 稱為OLS估計量的離差形式（deviation form）。 由于參數(shù)的估計結果是通過最小二乘法得到的，故稱為普通最小二乘

3、估計量（ordinary least squares estimators）。 順便指出 ，記則有 可得 （*）式也稱為樣本回歸函數(shù)的離差形式。（*）注意： 在計量經濟學中，往往以小寫字母表示對均值的離差。 4、“估計量”（estimator）和“估計值” (estimate)的區(qū)別 如果給出的參數(shù)估計結果是由一個具體樣本資料計算出來的，它是一個“估計值”，或者“點估計”，是參數(shù)估計量的一個具體數(shù)值；如果把上式看成參數(shù)估計的一個表達式，那么，則是Yi的函數(shù)，而Yi是隨機變量，所以參數(shù)估計也是隨機變量，在這個角度上，稱之為“估計量”。 5、例題（采用Eviews進行OLS估計）數(shù)據OLS估計二、

4、參數(shù)估計的最大似然法(ML)1、最大似然法最大似然法(Maximum Likelihood,ML)，也稱最大或然法，是不同于最小二乘法的另一種參數(shù)估計方法，是從最大或然原理出發(fā)發(fā)展起來的其它估計方法的基礎?；驹恚寒攺哪Ｐ涂傮w隨機抽取n組樣本觀測值后，最合理的參數(shù)估計量應該使得從模型中抽取該n組樣本觀測值的概率最大。ML必須已知隨機項的分布。2、估計步驟Yi的分布Yi的概率函數(shù) Y的所有樣本觀測值的聯(lián)合概率似然函數(shù) 對數(shù)似然函數(shù) 對數(shù)似然函數(shù)極大化的一階條件結構參數(shù)的ML估計量3、討論在滿足一系列基本假設的情況下，模型結構參數(shù)的最大似然估計量與普通最小二乘估計量是相同的。但是，分布參數(shù)的估計

5、結果不同。4、例題ML估計三、參數(shù)估計的矩法(MM)矩估計的基本原理是用相應的樣本矩來估計總體矩。對一元線性回歸模型，在滿足基本假設時，存在兩個總體矩條件。相應的樣本矩條件構成關于待估參數(shù)的正規(guī)方程組。求解該方程組，得到參數(shù)估計。參數(shù)估計與OLS估計相同。由基本假設，寫出兩個總體矩條件 相應的樣本矩條件構成正規(guī)方程組MM估計 例2.3.1：在上述家庭可支配收入-消費支出例中，對于所抽出的一組樣本數(shù)，參數(shù)估計的計算可通過下面的表2.3.1進行。表2.3.1 參數(shù)估計計算表 因此，由該樣本估計的回歸方程為： 四、最小二乘估計量的性質 當模型參數(shù)估計出后，需考慮參數(shù)估計值的精度，即是否能代表總體參數(shù)

6、的真值，或者說需考察參數(shù)估計量的統(tǒng)計性質。 一個用于考察總體的估計量，可從如下幾個方面考察其優(yōu)劣性： （1）線性性，即它是否是另一隨機變量的線性函數(shù)；1、概述（2）無偏性，即它的均值或期望值是否等于總體的真實值；（3）有效性，即它是否在所有線性無偏估計量中具有最小方差。（4）漸近無偏性，即樣本容量趨于無窮大時，是否它的均值序列趨于總體真值；（5）一致性，即樣本容量趨于無窮大時，它是否依概率收斂于總體的真值；（6）漸近有效性，即樣本容量趨于無窮大時，是否它在所有的一致估計量中具有最小的漸近方差。 這三個準則也稱作估計量的小樣本性質。 擁有這類性質的估計量稱為最佳線性無偏估計量（best line

7、r unbiased estimator, BLUE）。 當不滿足小樣本性質時，需進一步考察估計量的大樣本或漸近性質：2、高斯馬爾可夫定理(Gauss-Markov theorem)在給定經典線性回歸的假定下，最小二乘估計量是具有最小方差的線性無偏估計量。下面分別對最小二乘估計量的線性性、無偏性和有效性進行證明，作為不熟悉的同學的自學內容。證：易知故同樣地，容易得出 （2）證明最小方差性其中，ci=ki+di，di為不全為零的常數(shù)則容易證明由于最小二乘估計量擁有一個“好”的估計量所應具備的小樣本特性，它自然也擁有大樣本特性。 五、參數(shù)估計量的概率分布及隨機干擾項方差的估計1、參數(shù)估計量的概率分布 2、隨機干擾項的方差2的估計 2又稱為總體方差。 由于隨機項i不可觀測，只能從i的估計殘差ei出發(fā)，