第三講基本假設(shè)和參數(shù)的估計(jì)

第三講基本假設(shè)和參數(shù)的估計(jì)第1頁(yè)，共23頁(yè)，2023年，2月20日，星期一①不線(xiàn)性相關(guān)一定不相關(guān)；②有相關(guān)關(guān)系并不意味著一定有因果關(guān)系；③？分析對(duì)稱(chēng)地對(duì)待任何（兩個(gè)）變量，兩個(gè)變量都被看作是隨機(jī)的。④？分析對(duì)變量的處理方法存在不對(duì)稱(chēng)性，即區(qū)分應(yīng)變量（被解釋變量）和自變量（解釋變量）：前者是隨機(jī)變量，后者不是。判斷、填空第2頁(yè)，共23頁(yè)，2023年，2月20日，星期一樣本回歸函數(shù)樣本回歸模型利用樣本回歸模型，觀(guān)察值可以表示為利用總體回歸模型，觀(guān)察值可以表示為總體回歸模型總體回歸函數(shù)第3頁(yè)，共23頁(yè)，2023年，2月20日，星期一樣本回歸函數(shù)（模型）與總體回歸函數(shù)（模型）的區(qū)別總體回歸函數(shù)是未知的，但它是確定的；樣本回歸函數(shù)是隨抽樣波動(dòng)而變化的，可以有許多條總體回歸函數(shù)的參數(shù)和是確定的常數(shù)；而樣本回歸函數(shù)的參數(shù)和是隨抽樣而變化的隨機(jī)變量總體回歸模型中的是不可直接觀(guān)測(cè)的；樣本回歸模型的是只要估計(jì)出樣本回歸的參數(shù)就可以計(jì)算的數(shù)值。第4頁(yè)，共23頁(yè)，2023年，2月20日，星期一§2.2一元線(xiàn)性回歸模型的基本假設(shè)

§2.3一元線(xiàn)性回歸模型的參數(shù)估計(jì)（1）一、參數(shù)的普通最小二乘估計(jì)（OLS）二、一元線(xiàn)性回歸模型的基本假設(shè)三、最小二乘估計(jì)量的性質(zhì)第5頁(yè)，共23頁(yè)，2023年，2月20日，星期一

一元線(xiàn)性回歸模型：只有一個(gè)解釋變量

i=1,2,…,nY為被解釋變量，X為解釋變量，0與1為待估參數(shù)，為隨機(jī)干擾項(xiàng).

若有n個(gè)樣本觀(guān)測(cè)點(diǎn)也可寫(xiě)為第6頁(yè)，共23頁(yè)，2023年，2月20日，星期一

一、參數(shù)的普通最小二乘估計(jì)（OLS）

給定一組樣本觀(guān)測(cè)值（Xi,Yi）（i=1,2,…n）普通最小二乘法歸功于德國(guó)數(shù)學(xué)家高斯第7頁(yè)，共23頁(yè)，2023年，2月20日，星期一普通最小二乘法（Ordinaryleastsquares,OLS）的基本思路：在來(lái)自于總體的n個(gè)觀(guān)測(cè)點(diǎn)中，試圖找到一條直線(xiàn)，使得這些點(diǎn)到這條直線(xiàn)的垂直距離的平方和最小

令求關(guān)于和的偏導(dǎo)數(shù)，并令其為0，得：（1）第8頁(yè)，共23頁(yè)，2023年，2月20日，星期一方程組（1）或（2）稱(chēng)為正規(guī)方程組（normalequations）。

整理得（2）第9頁(yè)，共23頁(yè)，2023年，2月20日，星期一記上述參數(shù)估計(jì)量可以寫(xiě)成：

稱(chēng)為OLS估計(jì)量的離差形式（deviationform）。由于參數(shù)的估計(jì)結(jié)果是通過(guò)最小二乘法得到的，故稱(chēng)為普通最小二乘估計(jì)量（ordinaryleastsquaresestimators）。

第10頁(yè)，共23頁(yè)，2023年，2月20日，星期一順便指出，記則有

可得

（**）式也稱(chēng)為樣本回歸函數(shù)的離差形式。（**）注意：

在計(jì)量經(jīng)濟(jì)學(xué)中，往往以小寫(xiě)字母表示對(duì)均值的離差。

?第11頁(yè)，共23頁(yè)，2023年，2月20日，星期一這樣一旦從樣本數(shù)據(jù)得到OLS估計(jì)值，便容易畫(huà)出樣本回歸線(xiàn)，它具有如下性質(zhì)（課本60頁(yè)第9題）1、樣本回歸直線(xiàn)經(jīng)過(guò)樣本的均值點(diǎn)，2、殘差的均值為0，即有：即有3、不相關(guān)與區(qū)分估計(jì)量和估計(jì)值第12頁(yè)，共23頁(yè)，2023年，2月20日，星期一

回歸分析的主要目的是要通過(guò)樣本回歸函數(shù)（模型）SRF盡可能準(zhǔn)確地估計(jì)總體回歸函數(shù)（模型）PRF。

二、線(xiàn)性回歸模型的基本假設(shè)不僅僅是得到和，而且要對(duì)真實(shí)的做出推斷。

和或者說(shuō)，我們想知道與其期望值有多接近

具體地說(shuō)下面我們要介紹的就是經(jīng)典假設(shè)，滿(mǎn)足該假設(shè)的線(xiàn)性回歸模型稱(chēng)為經(jīng)典線(xiàn)性回歸模型。問(wèn)題：通過(guò)OLS法，得到了OLS估計(jì)量，夠用了嗎？必須知道Y的產(chǎn)生方式依賴(lài)于X與u第13頁(yè)，共23頁(yè)，2023年，2月20日，星期一假設(shè)1回歸模型是正確設(shè)定的；變量正確（沒(méi)遺沒(méi)漏）；函數(shù)形式正確否則模型設(shè)定偏誤假設(shè)2

解釋變量X是確定性變量，不是隨機(jī)變量，在重復(fù)抽樣中取固定值。假設(shè)3解釋變量X在所抽取的樣本中具有變異性，而且隨著樣本容量的無(wú)限增加，解釋變量X的樣本方差趨于一個(gè)非零的有限常數(shù)。即第14頁(yè)，共23頁(yè)，2023年，2月20日，星期一假設(shè)4隨機(jī)誤差項(xiàng)具有給定條件下的零均值、同方差和不序列相關(guān)性：前4個(gè)假定也專(zhuān)門(mén)稱(chēng)為高斯-馬爾科夫假設(shè)。這些假設(shè)能夠保證下面介紹的估計(jì)方法具有良好的效果。

第15頁(yè)，共23頁(yè)，2023年，2月20日，星期一假設(shè)5、隨機(jī)誤差項(xiàng)與解釋變量X之間不相關(guān)：

Cov(Xi,i)=0i=1,2,…,n假設(shè)6、隨機(jī)誤差項(xiàng)服從零均值、同方差的正態(tài)分布，即

若不知其概率分布，那我們將無(wú)法將它們與其真實(shí)值相聯(lián)系。由于是隨機(jī)變量，所以我們需要清楚他們的概率分布，而他們將取決于對(duì)的概率分布所做的假定。第16頁(yè)，共23頁(yè)，2023年，2月20日，星期一為什么是正態(tài)假定呢？隨機(jī)干擾項(xiàng)代表回歸模型中未明顯引進(jìn)的許多自變量（對(duì)因變量）的總影響，我們希望這些被忽略的變量所起的影響是微小的。于是利用統(tǒng)計(jì)學(xué)中著名的中心極限定理就能證明，如果存在大量獨(dú)立且相同分布的隨機(jī)變量，隨著這些變量個(gè)數(shù)的無(wú)限增大，他們的總和將趨向正態(tài)分布。正是這個(gè)中心極限定理為隨機(jī)干擾項(xiàng)正態(tài)性假定提供了理論基礎(chǔ)2、正態(tài)分布的一個(gè)性質(zhì)是，正態(tài)分布變量的任何線(xiàn)性函數(shù)都是正態(tài)分布。3、正態(tài)分布是一個(gè)比較簡(jiǎn)單、僅涉及兩個(gè)參數(shù)（均值和方差）的分布；他為人們所熟知，他的理論性質(zhì)在數(shù)理統(tǒng)計(jì)學(xué)中受到廣泛的研究。4、如果我們?cè)谔幚硇颖净蛴邢奕萘繒r(shí)，比如說(shuō)數(shù)據(jù)小于100次觀(guān)測(cè)，那么正態(tài)假定就起到關(guān)鍵作用。她不僅有助于我們推導(dǎo)出OLS估計(jì)量精確的概率分布，而且是我們能用t、F和卡方分布來(lái)對(duì)回歸模型進(jìn)行統(tǒng)計(jì)檢驗(yàn)。第17頁(yè)，共23頁(yè)，2023年，2月20日，星期一重要提示幾乎沒(méi)有那個(gè)實(shí)際問(wèn)題能夠同時(shí)滿(mǎn)足所有基本假設(shè)。通過(guò)模型理論的發(fā)展，就可以克服違背基本假設(shè)所帶來(lái)的問(wèn)題違背基本假設(shè)的處理構(gòu)成了以下內(nèi)容：異方差問(wèn)題（違背同方差假設(shè)）序列相關(guān)問(wèn)題（違背序列不相關(guān)假設(shè)）共線(xiàn)性問(wèn)題（違背解釋變量不相關(guān)假設(shè)）隨機(jī)解釋變量問(wèn)題（解釋變量不確定，與隨機(jī)誤差項(xiàng)相關(guān)）注意：所有的假定都是關(guān)于PRF，而不是SRF第18頁(yè)，共23頁(yè)，2023年，2月20日，星期一

三、最小二乘估計(jì)量的性質(zhì)在給定經(jīng)典線(xiàn)性回歸模型的假定條件（前四個(gè)）下，最小二乘估計(jì)具有一些理想的或最優(yōu)的性質(zhì)。這些性質(zhì)包含在著名的高斯—馬爾科夫定理之中

為說(shuō)明這個(gè)定理，我們?cè)倩仡櫹乱粋€(gè)估計(jì)量的最優(yōu)線(xiàn)性無(wú)偏性質(zhì)（bestlinearunbiasednessproperty，BLUE）

（1）線(xiàn)性性，即它是否是另一隨機(jī)變量的線(xiàn)性函數(shù)；

（2）無(wú)偏性，即它的均值或期望值是否等于總體的真實(shí)值；

（3）有效性，即它是否在所有線(xiàn)性無(wú)偏估計(jì)量中具有最小方差。以上三條稱(chēng)為估計(jì)量的有限樣本性質(zhì)或小樣本性質(zhì)。

第19頁(yè)，共23頁(yè)，2023年，2月20日，星期一漸進(jìn)無(wú)偏性：即樣本容量趨于無(wú)窮大時(shí)，他的均值序列是否趨于總體均值。一致性：即樣本容量趨于無(wú)窮大時(shí)，他是否依概率收斂于總體的真值。漸進(jìn)有效性：即樣本容量趨于無(wú)窮大時(shí)，他在所有的一致估計(jì)量中是否具有最小的漸進(jìn)方差。這三個(gè)準(zhǔn)則稱(chēng)為估計(jì)量的大樣本漸進(jìn)性質(zhì)第20頁(yè)，共23頁(yè)，2023年，2月20日，星期一高斯—馬爾可夫定理(Gauss-Markovtheorem)

在給定經(jīng)典線(xiàn)性回歸的假定下，最小二乘估計(jì)量在無(wú)偏線(xiàn)性估計(jì)量一類(lèi)中，有最小方差，就是說(shuō)他們是BLUE

第21頁(yè)，共2