第2講 簡單線性回歸

1計量經(jīng)濟學(xué)(1)

簡單二元回歸y=b0+b1x+u2本章大綱簡單回歸模型的定義普通最小二乘法的推導(dǎo)OLS的操作技巧測量單位和函數(shù)形式OLS估計量的期望值和方差過原點回歸3

講義大綱一些術(shù)語的注解一個簡單假定條件期望零值假定何為普通最小二乘法普通最小二乘法的推導(dǎo)4

術(shù)語注解在簡單二元回歸模型y=b0+b1x+u中，y通常被稱為因變量，左邊變量，被解釋變量，或回歸子。x通常被稱為自變量，右邊變量，解釋變量，回歸元，協(xié)變量，或控制變量。5

等式y(tǒng)=b0+b1x+u只有一個非常數(shù)回歸元。我們稱之為簡單回歸模型，兩變量回歸模型或雙變量回歸模型.b0,b1被稱為回歸系數(shù)。b0也被稱為常數(shù)項或截矩項，或截矩參數(shù)。b1代表了回歸元x的邊際效果，也被成為斜率參數(shù)。u

為誤差項或擾動項，它代表了除了x之外可以影響y的因素。6線性的含義：y和x之間并不一定存在線性關(guān)系，但是，只要通過轉(zhuǎn)換可以使y的轉(zhuǎn)換形式和x的轉(zhuǎn)換形式存在相對于參數(shù)的線性關(guān)系，該模型即稱為線性模型。如,y=eb0+b1x+u

。7簡單二元回歸模型例子如：簡單的工資方程

wage=b0+b1(yearsofeducation)+u上述簡單工資函數(shù)描述了受教育年限和工資之間的關(guān)系,b1

衡量了多接受一年教育工資可以增加多少。8....y4y1y2y3x1x2x3x4}}{{u1u2u3u4xy總體回歸線，樣本觀察點和相應(yīng)誤差E(y|x)=b0+b1x9....y4y1y2y3x1x2x3x4}}{{?1?2?3?4xy樣本回歸線，樣本數(shù)據(jù)點和相關(guān)的誤差估計項10推導(dǎo)方法（一）：OLS正式解一個最小化問題，即通過選取參數(shù)而使下列值最?。?1推導(dǎo)方法（一）如果直接解上述方程我們得到下面兩式：12普通最小二乘法的推導(dǎo)13

因此OLS估計出的斜率為14普通最小二乘法的推導(dǎo) 根據(jù)樣本均值的定義以及加總的性質(zhì)，可將第一個條件寫為15普通最小二乘法的推導(dǎo)（二）：矩方法回歸的基本思想是從樣本去估計總體參數(shù)。我們用{(xi,yi):i=1,…,n}來表示一個隨機樣本，并假定每一觀測值滿足yi=b0+b1xi+ui。16普通最小二乘法的推導(dǎo)首先由E(u|x)=E(u)=0可知：Cov(x,u)=E(xu)=0為什么?Cov(x,u)=E(xu)–E(x)E(u)而由E(u|x)=E(u)=0可得Cov(x,u)=E(xu)=0。17普通最小二乘法的推導(dǎo)可將u=y–

b0

–

b1x代入以得上述兩個矩條件。這樣我們可以得到兩個矩條件約束：E(y–

b0

–

b1x)=0E[x(y–

b0

–

b1x)]=018普通最小二乘法的推導(dǎo)（二）目標(biāo)是通過選擇參數(shù)值，使得在樣本中矩條件也可以成立。樣本中矩條件可以表示為：19關(guān)于u的假定假定總體中誤差項u的平均值為零 E(u)=0 (2.5)該假定是否具有很大的限制性呢?20關(guān)于u的假定比如,E(u)=5.那么 y=(b0+5)+b1x+(u-5),

所以,E(u*)=E(u-5)=0.上述推導(dǎo)說明我們總可以通過調(diào)整常數(shù)項來實現(xiàn)誤差項的均值為零,因此該假定的限制性不大。21條件期望零值假定

我們需要對u和x之間的關(guān)系做一個關(guān)鍵假定。理想狀況是對x的了解并不增加對u的任何信息。換句話說，我們需要u和x完全不相關(guān)：E(u|x)=E(u)22由于我們已經(jīng)假定了E(u)=0，因此有E(u|x)=E(u)=0。該假定是何含義？ E(u|x)=E(u)=0.(2.6)條件期望零值假定23

在教育一例中，假定u代表內(nèi)在能力，條件期望零值假定說明不管解釋教育的年限如何，該能力的平均值相同。

E(ability|edu=6)=E(ability|edu=18)=0.條件期望零值假定24假設(shè)期末成績分?jǐn)?shù)取決于出勤次數(shù)和影響學(xué)生現(xiàn)場發(fā)揮的因素，如學(xué)生個人素質(zhì)。score=b0+b1attend+u那么上述模型中假設(shè)（2.6）何時能夠成立？條件期望零值假定25OLS斜率估計法總結(jié)斜率估計量等于樣本中x

和y

的協(xié)方差除以x的方差。若x

和y

正相關(guān)則斜率為正，反之為負(fù)。26

關(guān)于OLS的更多信息OLS法是要找到一條直線，使殘差平方和最小。殘差是對誤差項的估計，因此，它是擬合直線（樣本回歸函數(shù)）和樣本點之間的距離。27講義總結(jié)介紹簡單線性回歸模型介紹通過隨機樣本的數(shù)據(jù)運用普通最小二乘法估計斜率和截距的參數(shù)值28(2)

簡單二元回歸

y=b0+b1x+u29本章大綱簡單回歸模型的定義推導(dǎo)普通最小二乘法的估計量OLS的操作技巧測量單位和回歸方程形式OLS估計量的期望值和方差過原點的回歸30講義大綱OLS的代數(shù)特性擬合優(yōu)度Goodnessoffit使用stata做OLS回歸改變測量單位對OLS統(tǒng)計量的效果31OLS的代數(shù)性質(zhì)OLS的樣本殘差平均值也為零.32OLS的代數(shù)性質(zhì)解釋變量和OLS殘差之間的樣本協(xié)方差為零：33OLS的代數(shù)性質(zhì)OLS回歸線總是通過樣本的均值。34

OLS的代數(shù)性質(zhì)我們可把每一次觀測看作由被解釋部分和未解釋部分構(gòu)成.預(yù)測值和殘差在樣本中是不相關(guān)的35

OLS的代數(shù)性質(zhì)36更多術(shù)語：擬合優(yōu)度定義總平方和為總平方和SST是對y在樣本中所有變動的度量，即它度量了y在樣本中的分散程度將總平方和除以n-1，我們得到y(tǒng)的樣本方差。37更多術(shù)語解釋平方和定義為它度量了y的預(yù)測值的在樣本中的變動殘差平方和定義為殘差平方和度量了殘差的樣本變異38SST,SSR和SSEy

的總變動可以表示為已解釋的變動SSE和未解釋的變動SSR之和，即：SST=SSE+SSR39證明SST=SSE+SSR因此我們得到：SST=SSE+SSR.該證明中我們使用了一個事實,即樣本中因變量的擬合值和殘差不相關(guān).40擬合優(yōu)度我們?nèi)绾魏饬繕颖净貧w線是否很好地擬合了樣本數(shù)據(jù)呢?

可以計算模型解釋的總平方和的比例，并把它定義為回歸的R-平方R2=SSE/SST=1–SSR/SST41擬合優(yōu)度R-平方是已解釋的變動占所有變動的比例它因此可被看作是y的樣本變動中被可以被x解釋的部分R-平方的值總是在0和1之間42擬合優(yōu)度在社會科學(xué)中，特別是在截面數(shù)據(jù)分析中,回歸方程得到小的R-平方值并不罕見。值得強調(diào)的是表面上低的R-平方值不一定說明

OLS回歸方程是沒有價值的43擬合優(yōu)度Example2.8

CEO薪水和凈資產(chǎn)回報Example2.9競選結(jié)果和選舉活動開支44

例：CEO的薪水和資本權(quán)益報酬率45

例：CEO的薪水和資本權(quán)益報酬率變量salary衡量了已1000美元為單位的年薪，其最小值，均值和最大值分別為：(min,mean,max)=(223,1281,14822).Roe＝凈收入/所有者權(quán)益，為三年平均值。N=209.估計得到的關(guān)系為： (estimatedsalary)=963.191+18.501roe.46例：CEO的薪水和資本權(quán)益報酬率對估計量的解釋：963.19:常數(shù)項的估計值衡量了當(dāng)roe為零時CEO的薪水。18.5:b1

的估計值反應(yīng)了ROE若增加一個百分點工資將增加18500美元。如果roe=30,估計的薪水應(yīng)該是多少?47使用Stata進(jìn)行OLS回歸

我們已經(jīng)推導(dǎo)出公式計算參數(shù)的OLS估計值，所幸的是我們不必親手去計算它們。

在Stata中進(jìn)行回歸非常簡單，要讓y對x進(jìn)行回歸，只需要輸入regyx48測量單位假定薪水的單位是美元，而不是千美元，salarys.在Salarys對roe進(jìn)行回歸時OLS截距和斜率的估計值是多少？49測量單位原估計方程(estimatedsalarys)=963.191+18.501roe現(xiàn)在估計方程

(estimatedsalarys)=963191+18501roe一般而言，當(dāng)因變量乘上常數(shù)c，而自變量不改變時，OLS的截距和斜率估計量也要乘上c。50測量單位如果定義roedec=roe/100，那么樣本回歸線將會從 (estimatedsalary)=963.191+18.501roe改變到(estimatedsalary)=963.191+1850.1roedec一般而言，如果自變量除以或乘上某個非零常數(shù)，c，那么OLS斜率將乘以或除以c，而截距則不改變。51在簡單回歸中加入非線性線性關(guān)系并不適合所有的經(jīng)濟學(xué)運用然而，通過對因變量和自變量進(jìn)行恰當(dāng)?shù)亩x,我們可以在簡單回歸分析中非常容易地處理許多y和x之間的非線性關(guān)系.52自然對數(shù)

53在工資—教育的例子中，假定每增加一年的教育，工資的百分比增長都是相同的能夠給出不變的百分比效果的模型是：如果,可以得到54例2.10將對數(shù)工資方程和該方程相比55自然對數(shù)的另一個重要用途是用于獲得彈性為常數(shù)的模型在CEO的薪水和企業(yè)銷售額的例子中，常數(shù)彈性模型是56

變量的原始形式和其自然對數(shù)的不同組合

57簡單二元回歸(3)

y=b0+b1x+u58本章大綱

二元回歸模型的定義推導(dǎo)普通最小二乘法的估計量OLS的操作技巧測量單位和函數(shù)形式OLS估計量的期望值和方差過原點回歸59OLS估計量的期望值和方差從總體中抽取的不同的隨機樣本可得到不同的OLS估計量，我們將研究這些OLS估計量的分布。首先，我們在一些假定下證明OLS的無偏性。60假定SLR.1（關(guān)于參數(shù)是線性的）在總體模型中，因變量y和自變量x和誤差

u的關(guān)系可寫作 y=b0+b1x+u,

其中b0和

b1

分別是總體的截距參數(shù)和斜率參數(shù)61假定SLR.2（隨機抽樣）：假定我們從總體模型隨機抽取容量為n的樣本,

{(xi,yi):i=1,2,…,n},那么可以寫出樣本模型為：

yi=b0+b1xi+ui62假定SLR.3和SLR.4

SLR.3,零條件期望：假定E(u|x)=0.那么在隨機樣本中我們有E(ui|xi)=0SLR.4(自變量中的樣本變動)：在樣本中，自變量x并不是一個不變常數(shù)。63定理2.1（OLS的無偏性）使用假定SLR.1到SLR.4，我們可以得到無論b0,和b1取什么值，它們的OLS估計量的期望值等于它們各自的真值。證明:64OLS的無偏性（繼續(xù)）為了考慮無偏性，我們需要用總體的參數(shù)改寫估計量

把公式簡單地改寫為65OLS的無偏性（繼續(xù)）66OLS的無偏性（繼續(xù)）因此，分子可被改寫為:67OLS的無偏性（繼續(xù)）68OLS的無偏性（繼續(xù)）69無偏性總結(jié)

b1

和

b0

的OLS估計量是無偏的

無偏性的證明依賴于我們的四個假定-----如果任何假定不成立，OLS未必是無偏的記住無偏性是對估計量的描述------對于一個給定的樣本我們可能靠近也可能遠(yuǎn)離真實的參數(shù)值70例2.12學(xué)生的數(shù)學(xué)表現(xiàn)和學(xué)校的午餐項目Using409Michiganhighschooldatafor1992–1993,weestimatedthat Predictedmath10=32.14-0.319lnchprg, Math10:mathsscoreforthe10thgrade Lnchprg:partipationofthelunchprogram 該例研究了是否參加學(xué)校的免費午餐項目是否能夠提高學(xué)生在數(shù)學(xué)考試中的成績。我們用Math10來表示10年級學(xué)生的數(shù)學(xué)成績，用Lnchprg表示可以參加學(xué)校的免費午餐項目的學(xué)生的比例。71學(xué)生的數(shù)學(xué)成績和學(xué)校的免費午餐項目估計所得方程說明參加免費午餐的學(xué)生的比例越多，他們的成績越差?？尚艈?？72學(xué)生的數(shù)學(xué)成績和學(xué)校的免費午餐項目產(chǎn)生上述結(jié)果的一個可能是u和x是相關(guān)的。比如，u包括了貧困率，它影響學(xué)生的學(xué)習(xí)表現(xiàn)，又和是否有資格參加免費午餐項目高度相關(guān)。73OLS估計量的抽樣方差現(xiàn)在我們知道估計量的隨機抽樣分布以真值為中心;接下來想知道的是這個分布散開的程度;了解這一點（分布的分散程度），將對我們?nèi)绾文軌蛟谒械墓烙嬃恐?，或至少在無偏估計量這一類估計量中選出最優(yōu)的一個具有一定的指導(dǎo)意義。74OLS估計量的抽樣方差在一個附加假定下計算這個方差會容易的多，因此有假定SLR.5(同方差性):Var(u|x)=s2(Homoskedasticity)

75..x1x2同方差的情形E(y|x)=b0+b1xyf(y|x)76.x

x1x2yf(y|x)異方差的情形x3..E(y|x)=b0+b1x77OLS的抽樣方差（繼續(xù)）

Var(u|x)=E(u2|x)-[E(u|x)]2E(u|x)=0,所以

s2

=E(u2|x)=E(u2)=Var(u)因此s2也是無條件方差，被稱作誤差方差

s,誤差方差的平方根，被稱作是誤差的標(biāo)準(zhǔn)差

所以:E(y|x)=b0+b1xandVar(y|x)=s278工資方程中的異方差性當(dāng)Var(y|x)值和x

相關(guān)時，我們稱誤差項具有異方差性。舉例來說，如果我們假設(shè)工資一式滿足同方差性，那么就意味著不管educ值為何水平，工資的分布相對于教育水平而言都是相同的。Var(u|educ)=Var(wage|educ)=s2如果接受高等教育的人面臨的機會更多，收入的差異可能更大，在這一情形中，上述假定未必成立。79OLS的方差（繼續(xù)）80OLS的方差（繼續(xù)）81定理2.2(OLS