最小二乘估計量的性質(zhì)

1、第三節(jié)最小二乘估計量的性質(zhì)三大性質(zhì)：線性特性、無偏性和最小偏差性一、線性特性的含義線性特性是指參數(shù)估計值和B分別是觀測值Y或者是擾動項日的 12tt線性組合，或者叫線性函數(shù)，也可以稱之為可以用Yt或者是四,來表示。1、B的線性特征證明2（1）由E的計算公式可得：2需要指出的是，這里用到了因為土不全為零，可設(shè)b ，從而，b不全為零，故日=ZbY。這說明（3是Y的線性組 t Z x 2t2t t2 tt合。（2）因為k = 3+3 x +日，所以有t 12 t t這說明B2是四t的線性組合。需要指出的是，這里用到了Z b =尋=瀏=0以及t Z X2 Z X22、E的線性特征證明1（1）因為b =

2、 y-B X，所以有12這里，令a = -Xb，則有=ZaY n1這說明（31是Y的線性組合。（2）因為回歸模型為y = 3+3 X +日，所以12 t t因為 Za=z n - Xbj=z n - x z b=i。而所以，B =B +Za日 11t t這說明R是H t的線性組合。至此，參數(shù)的線性特性證明完畢。問題參數(shù)估計值線性特性的深層次含義是什么？要根據(jù)被解釋變量、 隨機擾動項和的隨機性來理解。二、無偏性的含義所謂無偏性是指估計值的均值等于真實值。在這里，無偏性是指參數(shù)估計值和E的期望值分別等于總體參數(shù)3和3。其數(shù)學(xué)上要求是1212E G ）=p 和 E 6 ）=p1122證明：根據(jù)參數(shù)估

3、計值的線性特征，我們推導(dǎo)出：B =8 +Z a H，所以有：11t t相似地，8 =8 +Zb H，所以有22t t三、最優(yōu)性（有的書本上直接稱之為最小方差性）的含義最優(yōu)性是指用最小二乘法得到的參數(shù)估計值和b在各種線性無偏12估計中得到的方差最小。根據(jù)上述的定義，我們可以任意假設(shè)日是用其他方法得到的總體參數(shù) 2E的一個線性無偏估計。2因為扁具有線性特性，我們可以得到：2（3 *=Z c Y =Z c（8+8 X +H）2t tt 12 t tE *)= E(ScY) = E(Sc (p +p X +p )2t tt 12 t t=ScE(P +P X +p )=SC p+ S c E (p X

4、t )+ScEj) t1t 2 tt t=p Sc +Sc P E(X )+ 0=p1 S ct+p2 S ；x又因為B*是用其他方法得到的總體參數(shù)日的一個無偏估計，所以有 22所以由上述兩個結(jié)果，可以得到： 上述式子要成立，必須同時滿足兩個條件，即Sc廣 0 和 SctX=1現(xiàn)在求p*的方差：2varG)= var(ScY )= ESc Y -E(ScY 力22t tt tt tt 一2 = Et tt t土 *2cY -E(ScY )12 = ErSct 一2 = Et tt t土 *2cY -Sc Y一=E=E日 + c |Ll + + c |Ll )1 12 2t t=E=S c 2

5、E (四 2 )+SS c 目 E (叩)ttt s t s+ - +(c L L(c L c L + c L c L =E=S c 2 E (四 2 )+SS c 目 E (叩)ttt s t s因為根據(jù)假設(shè)條件（常數(shù)方差和非自相關(guān)，即 var（旦）=E（旦-E（旦）2 = E （ 2 ）=6 和所以，有S方差的最后一項為 2這是因為Sc = 0和Sc X = 1因此，有var6*）=b2S（c -b +b2Sb2 2ut tu t很明顯，當(dāng)c = b時，p*方差最小，此時，最小值為var&*）=b2Sb2。t t22u t而在此時，有B * =S c Y =S b Y =B 2t tt t

6、 2即兩個估計值相等。因為*的最小方差等于B的方差，即var G*） var G ），因此，我們說， 2222（3在所有線性無偏估計中的方差最小，且最小方差為： 2同理，我們可以證明，日在所有線性無偏估計中的方差最小，且參數(shù)1估計值的方差為：var G ）=”U X；）1n 乙 x 2t 。由此，說明，最小 二乘估計具有BLUE（best linear unbiased estimation）性質(zhì)。從而在統(tǒng)計學(xué)和計量經(jīng)濟學(xué)中得到廣泛應(yīng)用。第四節(jié)系數(shù)的顯著性檢驗一、系數(shù)估計值的特性：1、根據(jù)系數(shù)估計值的線性特性，我們知道系數(shù)估計值是Y和七的線 性組合。又因為y和四,都服從正態(tài)分布，所以，我們可以

7、自然得到兩 點：一是系數(shù)估計值是隨機變量（這里是在數(shù)學(xué)上再次予以證明）； 二是系數(shù)估計值服從正態(tài)分布。從而，可以用隨機變量的一些數(shù)字特 征來表示。通常，我們采用的是均值與方差。系數(shù)估計值的均值是多少呢？根據(jù)系數(shù)估計值的無偏性，我們知道，e ）=3，E（3 ）=3。1122這說明系數(shù)估計值31和32這兩個隨機變量的數(shù)學(xué)期望（均值）分別等 于總體參數(shù)（實際值）。系數(shù)估計值的方差又是多少呢？根據(jù)系數(shù)估計值的最小方差性的證明，我們得到了其方差，即有var(p )=”UX；)var(3 )=b2Zb2 =以1n 乙 x 22 u t 乙 x 2t ，t 。至此，我們可以用隨機變量的數(shù)學(xué)期望和方差來刻畫p

8、和日這12nj)兩個隨機變量的分布，即有：p八服從均值為p、方差為b: Zx；的11n 乙 x 2t正態(tài)分布；而&2服從均值為P 2、方差為正態(tài)分布；而&2服從均值為P 2、方差為d,1Itt可以描述為：N p11可以描述為：N p11、2K)可以明顯看出的是，在系數(shù)的描述中，方差中含有隨機擾動項的 方差，其他我們可以得到。隨機擾動項是總體回歸模型中的誤差項， 無法得到，只能對其估計。二、隨機誤差項方差的估計因為總體回歸模型為：y .p+p x +日 t 12 t t而樣本回歸模型為：y = B +B X + e t 12 t t從形式上看，樣本回歸模型中的殘差e可以看作隨機擾動項t口的估計值

9、。進一步，殘差e的方差可以作為隨機擾動項口的ttt方差b 2的估計值。uy = B +B X + e t 1 2 t tYy = B +B X + e t 1 2 t tY =B +(3 X t 1 2 t樣本回歸直線為:樣本回歸模型的左右兩邊減去樣本回歸直線的左右兩邊，可得:y -Y =e，把這個式子重新安排一下，可以得到：t t t現(xiàn)在，重點要求的是e的兩個部分，即Y -y)和 (y -y)。這兩部分知道之后，才能求的方差。t對樣本回歸模型y = B +B X + 兩邊分別對t求和，再除以n, t 12 t t有：由前邊的正規(guī)方程組，我們曾經(jīng)知道，點（X, y ）在樣本回歸直線上，用數(shù)學(xué)的

10、語言來講，就有：y = B +BX，因此，有125 + ,，進而，有 Y =。+。X12對總體回歸模型y = p +p x +四兩邊分別對t求和，再除以n, t 12 t t有：Y=6 + 6 x +旦所以，由J 12_t _ t，可得，Y = 61 + 62 X + 口將兩部分結(jié)合起來，現(xiàn)在，我們可以得到：可以得到： =G _6 ）尤+口），（從這個式子我們可以看出 t22 t t什么呢？）至此，已經(jīng)將殘差與擾動項聯(lián)系起來了。由此，我們可以得到：進一步，有：在這三項當(dāng)中，有：所以，第一項為E X2E G2 62 ） =X2 .- =b2t第二項為：第三項為：故有EG ;）=% +（ 1巧2

11、= （n 2也就是說如令S2 =工，則意味著E（S2）=。2。這說明s 2是q的無偏估 （n 2）RR計量。前面，我們已經(jīng)求得。在p和pp的方差中都含12。在p和pp的方差中都含12101，X10 TOC o 1-5 h z It 7日這樣，代入得到pp和b的12有未知量日這樣，代入得到pp和b的12可以用s2 =E e作為q2的估計值(n - 2)日方差的估計值分別為：S 2 = S 2g X；和 S 2 =SP1 n 乙 x 2P2 E x 2分別稱為回歸模型的標(biāo)準(zhǔn)差、參數(shù)tt分別稱為回歸模型的標(biāo)準(zhǔn)差、參數(shù)s=底，s. yspr，s.=店估計值p和p的標(biāo)準(zhǔn)差。212知道了估計值的方差估計值

12、，就可以對參數(shù)進行顯著性檢 驗，也可以估計總體參數(shù)的置信區(qū)間。二參數(shù)估計的顯著性檢驗以上一節(jié)家庭消費支出和收入之間的關(guān)系的例子來說明，通過選取樣本，我們得到了總體參數(shù)P和口 P 2的估計值分別為P和P。通過這個估計值，我們知道了家庭消費支出和 12收入的具體數(shù)量關(guān)系?，F(xiàn)在，需要知道的是，通過樣本得到 的估計值能夠正確地反映總體參數(shù)嗎？這需要通過假設(shè)檢 驗來做出判斷。1、關(guān)于假設(shè)檢驗假設(shè)檢驗指利用樣本得到的信息來判斷總體是否具有 某種制定的特征。例如：某藥品生產(chǎn)線上規(guī)定，每片藥片的 凈重是400毫克，標(biāo)準(zhǔn)差是4毫克。今連續(xù)檢查20片藥片，平均藥片重量為395.4毫克。問藥片的重量是否已經(jīng)偏離了額

13、定凈重值？假設(shè)：對總體分布特征的假設(shè)假設(shè)檢驗：根據(jù)樣本信息來判斷總體分布是否具有指定 的特征，這個過程叫假設(shè)檢驗。就家庭消費支出而言，我們關(guān)注的是家庭消費支出與收 入之間是否真的存在回歸關(guān)系，也就是說我們關(guān)注總體參數(shù) 31和3 2是否不等于零。因此，我們這里的假設(shè)是對總體參數(shù) 的假設(shè)，我們這里的檢驗是對總體參數(shù)的假設(shè)檢驗，我們要 運用的假設(shè)檢驗的工具是用樣本工具得到的與和有關(guān)的12檢驗的工具。這就是用樣本信息來推斷總體。1、對總體均值的假設(shè)檢驗因為我們關(guān)注的是解釋變量和被解釋變量之間的關(guān)系 是否真實存在，因此，我們需要檢驗的是總體均值是否為零。 對總體均值的假設(shè)檢驗可分三種情況：（1）總體服從

14、正態(tài)分布，總體方差已知，樣本大小無限制（2）總體總體分布未知，總體方差未知，大樣本（3）總體服從正態(tài)分布，總體方差未知，小樣本我們這里符合的是總體服從正態(tài)分布，總體方差未知， 小樣本。2、用什么來檢驗？（檢驗工具，統(tǒng)計量）我們已經(jīng)知道，參數(shù)估計值滿足：.(b2(X2)1 U 1， n乙 X2Vt 710/ 、J22, L X2 kt.要盡可能利用關(guān)于b和b TOC o 1-5 h z 的信息。將B和B由正態(tài)分布轉(zhuǎn)化為標(biāo)準(zhǔn)正態(tài)分布統(tǒng)計量： 1“2在這兩統(tǒng)計量中，varG）編varG）我們都不知道，原因在于12g未知。但我們前邊已經(jīng)證明乙產(chǎn)是。2的無偏估計量。u（n - 2） u因此，對于大樣本情

15、況，我們可以用集=5代替,進而 （ 一 2）u這樣，z= B 一求得 varQ） var）以及 S.=S. =Jg這樣，z= B 一日（01）和2 = 日（01）和2 =為：Z 盤1 1 N（01）和 Z 就 2 2 N（01）。55Ap2從而可以利用這兩個統(tǒng)計量對總體參數(shù)p和p進行檢驗。（什如何檢驗12如何檢驗么含義）就是說，我們可以對比如 =以進行檢驗。2呢？就是考察我們算出來的統(tǒng)計量z=M%=y是否服從Pr2正態(tài)分布。對于一元線性回歸模型而言，我們關(guān)心的是解釋 變量能否解釋被解釋變量，在數(shù)學(xué)上這表現(xiàn)為p *是否成2立。因此，我們可以進行下假設(shè):零假設(shè) h :p =0 02備擇假設(shè) H .

16、012在零假設(shè)條件下，z “M%=匕服從標(biāo)準(zhǔn)正態(tài)分布，我們用在零假設(shè)條件下，2這個統(tǒng)計量進行檢驗。在一般情況下，樣本容量不滿足大樣本條件，這時要用t統(tǒng)計量，所做的檢驗稱之為t分布檢驗。這時t統(tǒng)計量為:t =% -2 =3 t =% -2 =3 =2S 2S 2 : S 2 TOC o 1-5 h z 6262*2關(guān)于t分布t分布的含義是隨機變量落入一定區(qū)域的概率。給定顯 著性水平以和自由度(n-2),則t落入?yún)^(qū)間(-t (n - 2), t (n - 2)a 2a 2內(nèi)的概率為：P Lt . (n 一 2) t t ； (n - 2)=a，此式子等價于尸 t (n P !|t| t ； (n

17、- 2)22Pl t 2(n-2)，則可以認(rèn)為備擇假設(shè)成立，即6技0。因此，我們通常的希望是t統(tǒng)計量值大于臨界值。t統(tǒng)計量 值我們可以根據(jù)樣本計算出來，而臨界值可以通過查表得到。問題：t值與P值的關(guān)系是什么？相應(yīng)地，我們可以對總體參數(shù)值p進行檢驗。過程為：i零假設(shè)為：H0: Pi = 0備擇假設(shè)為：Hi： P2豐0 人計算統(tǒng)計量t=七JS 2查t分布表，得出臨界值t（-2）。接受備擇假設(shè)，即認(rèn)為p技。a 2-），則拒絕零假設(shè)，a 2若14a 2-），則拒絕零假設(shè)，a 2若14頃-2）三、總體參數(shù)的置信區(qū)間1、p的置信區(qū)間 1由 P L （n - 2） t 2.15落在了 H。的拒絕域，所以 結(jié)

18、論是?不為零。|輸出格式的最下部分給出了評價估計的回歸函數(shù)的若干個統(tǒng)計量的值。依 縱向順序，這些統(tǒng)計量依次是可決系數(shù)R2、調(diào)整的可決系數(shù)R2 （第3章介紹）、回歸函數(shù) 的標(biāo)準(zhǔn)差（s.e.，即均方誤差的算術(shù)根6）、殘差平方和、對數(shù)極大似然函數(shù)值（第10章介 紹）、DW統(tǒng)計量的值（第6章介紹）、被解釋變量的平均數(shù)（?。⒈唤忉屪兞康臉?biāo)準(zhǔn)差（s（七）、 赤池（Akaike）信息準(zhǔn)則（是一個選擇變量最優(yōu)滯后期的統(tǒng)計量X施瓦茨（Schwatz）準(zhǔn)則（是一個選擇變量最優(yōu)滯后期的統(tǒng)計量）、F統(tǒng)計量（第3章介紹）的值以及F統(tǒng)計量取值 大于該值的概率。根據(jù)EViews輸出結(jié)果（圖2.15），寫出OLS估計式如下：y t = -0.7629 + 0.4043 氣（2.64）（-0.6）（12.1）R2 = 0.91, s. e. = 2.04其中括號內(nèi)數(shù)字是相應(yīng)t統(tǒng)計量的值。s.e.是回歸函數(shù)的標(biāo)準(zhǔn)誤差，即S = tU12.；（16 2）。 R2是可決系數(shù)。R 2 = 0.91說明上式的擬合情況較好。匕變差的91%由變量孔解釋。檢驗回 歸