普通最小二乘法OLS

1、普通最小二乘法OLS普通最小二乘法Ordinary Least Square，簡(jiǎn)稱(chēng)OLS,是應(yīng)用最多的 參數(shù)估計(jì)方法,也是從最小二乘原理出發(fā)的其他估計(jì)方法的根底，是必須熟練掌握的一種方法。ES 2.2A懾小二乘原理在已經(jīng)獲得樣本觀測(cè)值yi，xi i=1,2,n的情況下見(jiàn)圖中的散點(diǎn)，假設(shè)模型的參數(shù)估計(jì)量已經(jīng)求AA得到，為：0和,并且是最合理的參數(shù)估計(jì)量,那么直線(xiàn)方程見(jiàn)圖中的直線(xiàn)AAAyi =?o1 Xii=1,2,n(222)應(yīng)該能夠最好地?cái)M合樣本數(shù)據(jù)。其中Ayi為被解釋變量的估計(jì)值，它是由參數(shù)估計(jì)量和解釋變量的觀測(cè)值計(jì)算得到的。 那么,被解釋變量的估計(jì)值與觀測(cè)值應(yīng)該在總體上最為接近,斷的標(biāo)準(zhǔn)是

2、二者之差的平方和最小。nQ 八(yi -i TF2八2UiQ隔MT遲彳=遲 U遲(y-%-f?x)=minQ(%,|J1)' 1 1為什么用平方和？因?yàn)槎咧羁烧韶?fù)，簡(jiǎn)單求和可能將很大的誤差抵消掉，只有平方和才能反映二者在總體上的接近程度。這就是最小二乘原那么。那么，就可以從最小二乘 原那么和樣本觀測(cè)值出發(fā)，求得參數(shù)估計(jì)量。由于naQ 八 5 -)21na a(wXi)21AAA是：0、：1的二次函數(shù)并且非負(fù)，所以其極小值總是存在的。根據(jù)羅彼塔法那么，當(dāng)Q對(duì)：0、A：1的一階偏導(dǎo)數(shù)為0時(shí)，Q到達(dá)最小。即容易推得特征方程:nzi 二nzi丄(yi -x®解得:。八?。,卄？

3、i' yiXi所以有:(224)?0 - f?Xj)=無(wú) &-?)=£-?o-險(xiǎn)=瓦XiXi2Xi)C X)C yj-X)(w - y)n x-c Xi)i =1?o Vf?X于是得到了符合最小二乘原那么的參數(shù)估計(jì)量。為減少計(jì)算工作量，許多教科書(shū)介紹了采用樣本值的' (x - X)2i =1(226)離差形式的參數(shù)估計(jì)量的計(jì)算公式。由于現(xiàn)在計(jì)量經(jīng)濟(jì)學(xué)計(jì)算機(jī)軟件被普遍采用，計(jì)算工作量已經(jīng)不是什么問(wèn)題。但離差形式的計(jì)算公式在其他方面也有應(yīng)用，故在此寫(xiě)出有關(guān)公式，不作詳細(xì)說(shuō)明。記Xiyi226 的參數(shù)估計(jì)量可以寫(xiě)成n(227)tdf?o = y-f?x至此，完成了模型估計(jì)的第一項(xiàng)任務(wù)。下面進(jìn)行模型估計(jì)的第二項(xiàng)任務(wù)， 即求隨機(jī)誤差項(xiàng)方 差的估計(jì)量。記e =呢=比一 ?為第i個(gè)樣本觀測(cè)點(diǎn)的殘差，即被解釋變量的估計(jì)值與觀測(cè)值之差。那么隨機(jī)誤差項(xiàng)方差的估計(jì)量為；：?2、e2n - 2(2.2.8)在關(guān)于二？2的無(wú)偏性的證明中，將給出的推導(dǎo)過(guò)程，有興趣的讀者可以參考 有關(guān)資料。在結(jié)束普通最小二乘估計(jì)的時(shí)候，需要交代一個(gè)重要的概念，即“估計(jì)量和“估計(jì)值的區(qū)別。由給出的參數(shù)估計(jì)結(jié)果是由一個(gè)具體樣本資料計(jì)算出來(lái)的，它是一個(gè)“估 計(jì)值，或者“點(diǎn)估計(jì)，是參數(shù)估計(jì)量：0和的一個(gè)具體數(shù)值；但從另一個(gè)角度，僅僅AAAA。在本章后續(xù)內(nèi)容中，有時(shí)把 0和把看成