第二章簡(jiǎn)單線性回歸模型

1

第二章

簡(jiǎn)單線性回歸模型

計(jì)量經(jīng)濟(jì)學(xué)引子:中國(guó)旅游業(yè)總收入將超過(guò)3000億美元嗎？

未來(lái)我國(guó)旅游需求將快速增長(zhǎng)，根據(jù)中國(guó)政府所制定的遠(yuǎn)景目標(biāo)，到2020年，中國(guó)入境旅游人數(shù)將達(dá)到2.1億人次；國(guó)際旅游外匯收入580億美元，國(guó)內(nèi)旅游收入2500億美元。到2020年，中國(guó)旅游業(yè)總收入將超過(guò)3000億美元，相當(dāng)于國(guó)內(nèi)生產(chǎn)總值的8%至11%。（來(lái)源：《2008年中國(guó)旅行社發(fā)展研究咨詢報(bào)告》）

（參考現(xiàn)狀：第一產(chǎn)業(yè)占GDP的15%，建筑業(yè)占GDP的7%）●什么決定性因素能使中國(guó)旅游業(yè)總收入超過(guò)3000億美元?●旅游業(yè)的發(fā)展與這種決定性因素的數(shù)量關(guān)系究竟是什么？●怎樣具體測(cè)定旅游業(yè)發(fā)展與這種決定性因素的數(shù)量關(guān)系?23

第一節(jié)回歸分析與回歸函數(shù)

一、相關(guān)分析與回歸分析

1、經(jīng)濟(jì)變量之間的相互關(guān)系

性質(zhì)上可能有三種情況:◆確定性的函數(shù)關(guān)系

Y=f(X)可用數(shù)學(xué)方法計(jì)算◆不確定的統(tǒng)計(jì)關(guān)系—相關(guān)關(guān)系

Y=f（X）+ε(ε為隨機(jī)變量)可用統(tǒng)計(jì)方法分析

◆沒(méi)有關(guān)系不用分析

◆相關(guān)關(guān)系的描述

最直觀的描述方式——坐標(biāo)圖（散布圖、散點(diǎn)圖））

4函數(shù)關(guān)系相關(guān)關(guān)系(線性)沒(méi)有關(guān)系相關(guān)關(guān)系(非線性)2、相關(guān)關(guān)系55

相關(guān)關(guān)系的類型

●

從涉及的變量數(shù)量看

簡(jiǎn)單相關(guān)多重相關(guān)（復(fù)相關(guān)）●

從變量相關(guān)關(guān)系的表現(xiàn)形式看

線性相關(guān)——散布圖接近一條直線非線性相關(guān)——散布圖接近一條曲線●

從變量相關(guān)關(guān)系變化的方向看

正相關(guān)——變量同方向變化，同增同減負(fù)相關(guān)——變量反方向變化，一增一減不相關(guān)6

3、相關(guān)程度的度量—相關(guān)系數(shù)

如果和總體的全部數(shù)據(jù)都已知，和的方差和協(xié)方差也已知，則

X和Y的總體線性相關(guān)系數(shù)：

其中：-----X的方差-----Y的方差-----X和Y的協(xié)方差特點(diǎn)：●總體相關(guān)系數(shù)只反映總體兩個(gè)變量

和

的線性相關(guān)程度●對(duì)于特定的總體來(lái)說(shuō)，

和

的數(shù)值是既定的，總體相關(guān)系數(shù)

是客觀存在的特定數(shù)值?！窨傮w的兩個(gè)變量

和的全部數(shù)值通常不可能直接觀測(cè)，所以總體相關(guān)系數(shù)一般是未知的。

7如果只知道X和Y的樣本觀測(cè)值，則X和Y的樣本線性相關(guān)系數(shù)為：

其中：和分別是變量X和Y的樣本觀測(cè)值，和分別是變量X和Y樣本值的平均值注意:是隨抽樣而變動(dòng)的隨機(jī)變量。X和Y的樣本線性相關(guān)系數(shù)：相關(guān)系數(shù)較為簡(jiǎn)單,也可以在一定程度上測(cè)定變量間的數(shù)量關(guān)系,但是對(duì)于具體研究變量間的數(shù)量規(guī)律性還有局限性。

●

X和Y都是相互對(duì)稱的隨機(jī)變量，●

線性相關(guān)系數(shù)只反映變量間的線性相關(guān)程度，不能說(shuō)明非線性相關(guān)關(guān)系●

樣本相關(guān)系數(shù)是總體相關(guān)系數(shù)的樣本估計(jì)值，由于抽樣波動(dòng)，樣本相關(guān)系數(shù)是隨抽樣而變動(dòng)的隨機(jī)變量，其統(tǒng)計(jì)顯著性還有待檢驗(yàn)

8對(duì)相關(guān)系數(shù)的正確理解和使用94、回歸分析回歸的古典意義：

高爾頓遺傳學(xué)的回歸概念

(父母身高與子女身高的關(guān)系)子女的身高有向人的平均身高"回歸"的趨勢(shì)回歸的現(xiàn)代意義：一個(gè)被解釋變量對(duì)若干個(gè)解釋變量依存關(guān)系的研究回歸的目的（實(shí)質(zhì)）：由解釋變量去估計(jì)被解釋變量的平均值10●被解釋變量Y的條件分布和條件概率：

當(dāng)解釋變量X取某固定值時(shí)（條件），Y的值不確定，Y的不同取值會(huì)形成一定的分布，這是Y的條件分布。

X取某固定值時(shí)，Y取不同值的概率稱為條件概率?！癖唤忉屪兞縔的條件期望：對(duì)于X

的每一個(gè)取值，對(duì)Y所形成的分布確定其期望或均值，稱為Y的條件期望或條件均值，用表示。注意:Y的條件期望是隨X的變動(dòng)而變動(dòng)的

YX明確幾個(gè)概念（為深刻理解“回歸”）11●回歸線：對(duì)于每一個(gè)X的取值，都有Y的條件期望

與之對(duì)應(yīng)，代表Y的條件期望的點(diǎn)的軌跡形成的直線或曲線稱為回歸線。●回歸函數(shù)：被解釋變量Y的條件期望

隨解釋變量X的變化而有規(guī)律的變化，如果把Y的條件期望表現(xiàn)為X的某種函數(shù)

，這個(gè)函數(shù)稱為回歸函數(shù)?；貧w函數(shù)分為：總體回歸函數(shù)和樣本回歸函數(shù)

X

Y12每月家庭可支配收入

X2000250030003500400045005000550060006500131215301631184320372277246929243515352113401619172619742210238828893338372139541400171317862006232525263090365038654108每1548175018352265241926813156380240264345月1688181418852367252228873300408741654812家173819851943248526653050332142984380庭180020412037251527993189365443124580消19022186207826892887335338424413費(fèi)220021792713291335344074支231222982898303837104165出2316292331673834

Y238730533310249831873510268932861591191520922586275430393396385340364148舉例:假如已知由100個(gè)家庭構(gòu)成的總體的數(shù)據(jù)

(單位:元)二、總體回歸函數(shù)（PRF）13消費(fèi)支出的條件期望與收入關(guān)系的圖形對(duì)于本例的總體，家庭消費(fèi)支出的條件期望與家庭收入基本是線性關(guān)系,可以把家庭消費(fèi)支出的條件均值表示為家庭收入的線性函數(shù)：14

1.總體回歸函數(shù)的概念

前提：假如已知所研究的經(jīng)濟(jì)現(xiàn)象的總體的被解釋變量Y和解釋變量X的每個(gè)觀測(cè)值，那么，可以計(jì)算出總體被解釋變量Y的條件期望并將其表現(xiàn)為解釋變量X的某種函數(shù)這個(gè)函數(shù)稱為總體回歸函數(shù)（PRF）

本質(zhì):

總體回歸函數(shù)實(shí)際上表現(xiàn)的是特定總體中被解釋變量隨解釋變量的變動(dòng)而變動(dòng)的某種規(guī)律性。

計(jì)量經(jīng)濟(jì)學(xué)的根本目的是要探尋變量間數(shù)量關(guān)系的規(guī)律,也就要努力去尋求總體回歸函數(shù)。15

●條件期望表現(xiàn)形式例如Y的條件期望是解釋變量X的線性函數(shù)，可表示為：

●個(gè)別值表現(xiàn)形式（隨機(jī)設(shè)定形式）對(duì)于一定的，Y的各個(gè)別值并不一定等于條件期望，而是分布在的周圍，若令各個(gè)與條件期望的偏差為，顯然是個(gè)隨機(jī)變量則有

2.總體回歸函數(shù)的表現(xiàn)形式PRF●作為總體運(yùn)行的客觀規(guī)律，總體回歸函數(shù)是客觀存在的，但在實(shí)際的經(jīng)濟(jì)研究中總體回歸函數(shù)通常是未知的，只能根據(jù)經(jīng)濟(jì)理論和實(shí)踐經(jīng)驗(yàn)去設(shè)定。計(jì)量經(jīng)濟(jì)學(xué)研究中“計(jì)量”的根本目的就是要尋求總體回歸函數(shù)。●我們所設(shè)定的計(jì)量模型實(shí)際就是在設(shè)定總體回歸函數(shù)的具體形式?！窨傮w回歸函數(shù)中Y與X的關(guān)系可以是線性的，也可以是非線性的。

163.如何理解總體回歸函數(shù)17計(jì)量經(jīng)濟(jì)學(xué)中,線性回歸模型的“線性”有兩種解釋：◆就變量而言是線性的:Y的條件期望（均值）是X的線性函數(shù)

◆就參數(shù)而言是線性的:Y的條件期望（均值）是參數(shù)β的線性函數(shù)

注意：在計(jì)量經(jīng)濟(jì)學(xué)中，線性回歸模型主要指就參數(shù)而言是“線性”的,只要對(duì)參數(shù)而言是線性的,都可以歸于線性回歸?！熬€性”的判斷◆概念

在總體回歸函數(shù)中，反映除X以外其他所有因素對(duì)Y

的影響?！粜再|(zhì)

是其期望為0具有一定分布的隨機(jī)變量重要性：隨機(jī)擾動(dòng)項(xiàng)的性質(zhì)決定著計(jì)量經(jīng)濟(jì)分析結(jié)

果的性質(zhì)和計(jì)量經(jīng)濟(jì)方法的選擇18

三、隨機(jī)擾動(dòng)項(xiàng)●是未知影響因素的代表(理論的模糊性)●

是無(wú)法取得數(shù)據(jù)的已知影響因素的代表(數(shù)據(jù)欠缺)●

是眾多細(xì)小影響因素的綜合代表(非系統(tǒng)性影響)●

模型可能存在設(shè)定誤差(變量、函數(shù)形式的設(shè)定）●

模型中變量可能存在觀測(cè)誤差(變量數(shù)據(jù)不符合實(shí)際)●

變量可能有內(nèi)在隨機(jī)性(人類經(jīng)濟(jì)行為的內(nèi)在隨機(jī)性)19引入隨機(jī)擾動(dòng)項(xiàng)的原因樣本回歸線：

對(duì)于X的一定值，取得Y的樣本觀測(cè)值，可計(jì)算其條件均值，樣本觀測(cè)值條件均值的軌跡，稱為樣本回歸線。樣本回歸函數(shù)：如果把被解釋變量Y的樣本條件均值

表示為解釋變量X的某種函數(shù)，這個(gè)函數(shù)稱為樣本回歸函數(shù)（SRF）

20XYSRF四、樣本回歸函數(shù)（SRF）21

樣本回歸函數(shù)如果為線性函數(shù)，可表示為

其中：是與相對(duì)應(yīng)的Y的樣本條件均值和分別是樣本回歸函數(shù)的參數(shù)

個(gè)別值（實(shí)際值）形式：被解釋變量Y的實(shí)際觀測(cè)值不完全等于樣本條件均值，二者之差用表示，稱為剩余項(xiàng)或殘差項(xiàng)：則或樣本回歸函數(shù)的函數(shù)形式條件均值形式：●樣本回歸線隨抽樣波動(dòng)而變化:每次抽樣都能獲得一個(gè)樣本，就可以擬合一條樣本回歸線，（SRF不唯一)

●樣本回歸函數(shù)的函數(shù)形式應(yīng)與設(shè)定的總體回歸函數(shù)的函數(shù)形式一致。

●樣本回歸線只是樣本條件均值的軌跡，還不是總體回歸線，它至多只是未知的總體回歸線的近似表現(xiàn)。22樣本回歸函數(shù)的特點(diǎn)

SRF1SRF2

YX

A

X

23PRFSRF樣本回歸函數(shù)與總體回歸函數(shù)的關(guān)系

如果能夠通過(guò)某種方式獲得和的數(shù)值，顯然:●和是對(duì)總體回歸函數(shù)參數(shù)和的估計(jì)●是對(duì)總體條件期望的估計(jì)●

在概念上類似總體回歸函數(shù)中的，可視

為對(duì)的估計(jì)。24對(duì)比：

總體回歸函數(shù)

樣本回歸函數(shù)對(duì)樣本回歸的理解25

目的：

計(jì)量經(jīng)濟(jì)分析的目標(biāo)是尋求總體回歸函數(shù)。即用樣本回歸函數(shù)SRF去估計(jì)總體回歸函數(shù)PRF。由于樣本對(duì)總體總是存在代表性誤差，SRF總會(huì)過(guò)高或過(guò)低估計(jì)PRF。要解決的問(wèn)題：尋求一種規(guī)則和方法，使其得到的SRF的參數(shù)和盡可能“接近”總體回歸函數(shù)中的參數(shù)和的真實(shí)值。這樣的“規(guī)則和方法”有多種，如矩估計(jì)、極大似然估計(jì)、最小二乘估計(jì)等。其中最常用的是最小二乘法?；貧w分析的目的

一、簡(jiǎn)單線性回歸的基本假定

為什么要作基本假定？●只有具備一定的假定條件，所作出的估計(jì)才具有良好的統(tǒng)計(jì)性質(zhì)。●模型中有隨機(jī)擾動(dòng)項(xiàng)，估計(jì)的參數(shù)是隨機(jī)變量，顯然參數(shù)估計(jì)值的分布與擾動(dòng)項(xiàng)的分布有關(guān)，只有對(duì)隨機(jī)擾動(dòng)的分布作出假定，才能比較方便地確定所估計(jì)參數(shù)的分布性質(zhì)，也才可能進(jìn)行假設(shè)檢驗(yàn)和區(qū)間估計(jì)等統(tǒng)計(jì)推斷。假定分為：◆對(duì)模型和變量的假定◆對(duì)隨機(jī)擾動(dòng)項(xiàng)的假定

26第二節(jié)簡(jiǎn)單線性回歸模型的最小二乘估計(jì)例如對(duì)于

●假定模型設(shè)定是正確的（變量和模型無(wú)設(shè)定誤差）●假定解釋變量X在重復(fù)抽樣中取固定值。

●假定解釋變量X是非隨機(jī)的，或者雖然X是隨機(jī)的，但與擾動(dòng)項(xiàng)u是不相關(guān)的。(從變量X角度看是外生的)注意:解釋變量非隨機(jī)在自然科學(xué)的實(shí)驗(yàn)研究中相對(duì)容易滿足，經(jīng)濟(jì)領(lǐng)域中變量的觀測(cè)是被動(dòng)不可控的，X非隨機(jī)的假定并不一定都滿足。271.對(duì)模型和變量的假定

假定1：零均值假定:

在給定X的條件下，的條件期望為零

假定2：同方差假定:

在給定X的條件下，的條件方差為某個(gè)常數(shù)

28X

Y2.對(duì)隨機(jī)擾動(dòng)項(xiàng)u的假定29

假定3：無(wú)自相關(guān)假定:

隨機(jī)擾動(dòng)項(xiàng)的逐次值互不相關(guān)

假定4：解釋變量是非隨機(jī)的，或者雖然是隨機(jī)的但與擾動(dòng)項(xiàng)不相關(guān)

30假定5：對(duì)隨機(jī)擾動(dòng)項(xiàng)分布的正態(tài)性假定，假定服從均值為零、方差為的正態(tài)分布

（說(shuō)明：正態(tài)性假定并不影響對(duì)參數(shù)的點(diǎn)估計(jì)，所以有時(shí)不列入基本假定，但這對(duì)確定所估計(jì)參數(shù)的分布性質(zhì)是需要的。且根據(jù)中心極限定理，當(dāng)樣本容量趨于無(wú)窮大時(shí)，的分布會(huì)趨近于正態(tài)分布。所以正態(tài)性假定有合理性）由于其中的和是非隨機(jī)的，是隨機(jī)變量，因此Y是隨機(jī)變量，

的分布性質(zhì)決定了的分布性質(zhì)。

對(duì)的一些假定可以等價(jià)地表示為對(duì)的假定：

假定1：零均值假定

假定2：同方差假定假定3：無(wú)自相關(guān)假定

假定5：正態(tài)性假定

31在對(duì)的基本假定下Y的分布性質(zhì)1.OLS（ＯrdinaryLeastSquares)

的基本思想●理想的估計(jì)結(jié)果應(yīng)使估計(jì)的與真實(shí)的的差(即剩余)總的來(lái)說(shuō)越小越好●因可正可負(fù)，總有，所以可以取最小，即在觀測(cè)值Y和X確定時(shí)，的大小決定于和。要解決的問(wèn)題:：如何尋求能使

最小的

和。32二、普通最小二乘法（OLS）

=最小稱之為正規(guī)方程，求解得33取偏導(dǎo)數(shù)并令其為0，可得正規(guī)方程整理得即2.正規(guī)方程和估計(jì)量34

參數(shù)估計(jì)優(yōu)劣的評(píng)價(jià)標(biāo)準(zhǔn)：（1）無(wú)偏性：如果，則稱是參數(shù)

的無(wú)偏估計(jì)量，否則是有偏估計(jì)，存在其偏倚。（2）有效性：既是無(wú)偏的同時(shí)又具有最小方差特性的估計(jì)量。（3）一致性：當(dāng)樣本容量n趨于無(wú)窮大時(shí)，依概率收斂于總體參數(shù)的真實(shí)值，4.OLS估計(jì)量的統(tǒng)計(jì)性質(zhì)

1、線性特性：

為Y的線性函數(shù)

2、

無(wú)偏特性：

3、最小方差特性

(有效性)在所有的線性無(wú)偏估計(jì)中，OLS估計(jì)具有最小