回歸模型的參數(shù)估計(jì)課件

第二節(jié)回歸模型的參數(shù)估計(jì)一、最小二乘估計(jì)（OLS）⒈選擇最佳擬合曲線的標(biāo)準(zhǔn)從幾何意義上說(shuō)，樣本回歸曲線應(yīng)盡可能靠近樣本數(shù)據(jù)點(diǎn)。選擇最佳擬合曲線的標(biāo)準(zhǔn)可以確定為：使總的擬合誤差（即總殘差）達(dá)到最小。用最小二乘法描述就是：所選擇的回歸模型應(yīng)該使所有觀察值的殘差平方和達(dá)到最小。⒉OLS的基本思路不同的估計(jì)方法可得到不同的樣本回歸參數(shù)和，所估計(jì)的也不同。理想的估計(jì)方法應(yīng)使和的差即殘差越小越好。因?yàn)榭烧韶?fù)，所以可以取最小，（選擇平方的原因：介紹）即：

得到：此方程組為正規(guī)方程組，解此方程組得：其中，案例2.1&2.2課本p24、p27EViews軟件操作二、最小二乘估計(jì)的性質(zhì)㈠參數(shù)估計(jì)式的評(píng)價(jià)標(biāo)準(zhǔn)⒈無(wú)偏性前提：重復(fù)抽樣中估計(jì)方法固定、樣本數(shù)不變、經(jīng)重復(fù)抽樣的觀測(cè)值，可得一系列參數(shù)估計(jì)值。參數(shù)估計(jì)值的分布稱為的抽樣分布，其密度函數(shù)記為f()如果E()=稱是參數(shù)的無(wú)偏估計(jì)式，是另一種方式產(chǎn)生的模型參數(shù)的估計(jì)量，抽樣分布為，若的期望不是等于的真實(shí)值，則稱是有偏的，偏倚為E()-，見(jiàn)下圖⒉最小方差性（有效性）前提：樣本相同、用不同的方法估計(jì)參數(shù)，可以找到若干個(gè)不同的估計(jì)式。目標(biāo)：努力尋求其抽樣分布具有最小方差的估計(jì)式——最小方差準(zhǔn)則，或稱最佳性準(zhǔn)則。見(jiàn)下圖有效性衡量了參數(shù)估計(jì)值與參數(shù)真值平均離散程度的大小。既是無(wú)偏的同時(shí)又具有最小方差的估計(jì)式，稱為最佳無(wú)偏估計(jì)式。概率密度圖2.7⒊一致性思想：當(dāng)樣本容量較小時(shí)，有時(shí)很難找到最佳無(wú)偏估計(jì)，需要考慮擴(kuò)大樣本容量（估計(jì)方法不變，樣本數(shù)逐步擴(kuò)大，分析性質(zhì)是否改善）一致性：當(dāng)樣本容量n趨于無(wú)窮大時(shí)，如果估計(jì)式按概率收斂于總體參數(shù)的真實(shí)值，就稱這個(gè)估計(jì)式是的一致估計(jì)式。limP(-)＝1漸進(jìn)無(wú)偏估計(jì)式是當(dāng)樣本容量變得足夠大時(shí)，其偏倚趨于零的估計(jì)式。見(jiàn)下圖㈡高斯－馬爾可夫定理由OLS估計(jì)式可以看出，可以用觀測(cè)樣本和唯一表示。因?yàn)榇嬖跇颖境闃硬▌?dòng)，OLS估計(jì)的是隨機(jī)變量。OLS估計(jì)式是點(diǎn)估計(jì)式。在古典回歸模型的若干假定成立的情況下，最小二乘估計(jì)是所有線性無(wú)偏估計(jì)量中的有效估計(jì)量。稱OLS估計(jì)為“最佳線性無(wú)偏估計(jì)量”。⒈線性特征;⒉無(wú)偏性;⒊最小方差性⒋一致性證明過(guò)程參見(jiàn)p30~32,也可從精品課程網(wǎng)站下載。結(jié)論：OLS估計(jì)式是BLUE。㈢系數(shù)的估計(jì)誤差與置信區(qū)間1、和1?b的概率分布其次，和1?b分別是iY的線性組合，因此、1?b的概率分布取決于Y。在是正態(tài)分布的假設(shè)下，Y是正態(tài)分布，因此和1?b也服從正態(tài)分布，其分布特征（密度函數(shù)）由其均值和方差唯一決定。

首先，由于解釋變量iX是確定性變量，隨機(jī)誤差項(xiàng)i是隨機(jī)性變量，因此被解釋變量iY是隨機(jī)變量，且其分布（特征）與i相同?？梢宰C明：總體方差2s的無(wú)偏估計(jì)量為

2?22-=?neis

2、隨機(jī)誤差項(xiàng)的方差2s的估計(jì)

在估計(jì)的參數(shù)2?b和1?b的方差和標(biāo)準(zhǔn)差的表達(dá)式中，都含有隨機(jī)擾動(dòng)項(xiàng)方差2s=)var(i。2s又稱為總體方差。

由于2s實(shí)際上是未知的，因此2?b和1?b的方差與標(biāo)準(zhǔn)差實(shí)際上無(wú)法計(jì)算。由于隨機(jī)項(xiàng)i不可觀測(cè)，只能從i的估計(jì)——?dú)埐頸e出發(fā)，對(duì)總體方差2s進(jìn)行估計(jì)。在總體方差2s的無(wú)偏估計(jì)量2?s求出后，估計(jì)的參數(shù)2?b和1?b的方差和標(biāo)準(zhǔn)差的估計(jì)量分別是：的樣本方差：

=22?)?(VarsbS2XX

的樣本標(biāo)準(zhǔn)差：

=2?)?(Ssb

的樣本方差：

?=221?)?(inXVarsb的樣本標(biāo)準(zhǔn)差：

?=21)?(inXSb

1?b1?b2?b2?bS2XX

S2XX

S2XX

⒊系數(shù)的置信區(qū)間見(jiàn)p34※五、極大似然法ML極大似然法（MaximumLikelihood,ML）

，也稱最大似然法，是不同于最小二乘法的另一種參數(shù)估計(jì)方法，是從最大或然原理出發(fā)發(fā)展起來(lái)的其它估計(jì)方法的基礎(chǔ)。

基本原理：

對(duì)于最小二乘法，當(dāng)從模型總體隨機(jī)抽取n組樣本觀測(cè)值后，最合理的參數(shù)估計(jì)量應(yīng)該使得模型能最好地?cái)M合樣本數(shù)據(jù)。

對(duì)于極大似然法，當(dāng)從模型總體隨機(jī)抽取n組樣本觀測(cè)值后，最合理的參數(shù)估計(jì)量應(yīng)該使得從模型中抽取該n組樣本觀測(cè)值的概率最大。對(duì)于一元線性回歸模型：

iiiXYmbb++=21i=1,2,…n隨機(jī)抽取n組樣本觀測(cè)值iiXY,（i=1,2,…n），假如模型的參數(shù)估計(jì)量已經(jīng)求得到，為$b1和$b2，那么iY服從如下的正態(tài)分布：

iY～),??(221sbbiXN+于是，iY的概率函數(shù)為

2212)??(2121)(iiXYieYPbbsps---=i=1,2,…,n

將該或然函數(shù)極大化，即可求得到模型參數(shù)的極大或然估計(jì)量。因?yàn)閕Y是相互獨(dú)立的，所以Y的所有樣本觀測(cè)值的聯(lián)合概率，也即似然函數(shù)(likelihoodfunction)為：

),,,(),?,?(21221nYYYPL×××=msbb

22122)??(2