一元線性回歸方程概述課件

回歸的含義一元回歸模型的建立參數(shù)估計——最小二乘法隨機誤差項的古典假定最小二乘估計量的性質(zhì)最小二乘估計量的概率分布回歸系數(shù)的顯著性檢驗與置信區(qū)間用樣本可決系數(shù)檢驗回歸方程的擬合優(yōu)度案例分析第二章一元線性回歸模型回歸的含義第二章一元線性回歸模型

回歸概念的提出FrancisGalton最先使用“回歸（regression）”。父母高，子女也高；父母矮，子女也矮。給定父母的身高，子女平均身高趨向于“回歸”到全體人口的平均身高。F.加爾頓是達爾文的表弟，是研究智力的先驅(qū)者之一，他非常嚴(yán)肅，非常聰明，但也有些瘋狂，他出生在一個貴格教徒家庭中，祖上是著名的和平主義者，有趣的是，他家的名下卻有生產(chǎn)槍支的企業(yè)。高爾頓是個申通，6歲便能閱讀和背誦莎士比亞的作品，他在更小的時候已經(jīng)會說了希臘語和拉丁語。他似乎對什么事情都感興趣，成年后的高爾頓在氣象學(xué)、心理學(xué)、攝影學(xué)，甚至是刑事司法領(lǐng)域都有所建樹（他倡導(dǎo)使用指紋分析的科學(xué)方法來確定罪犯身份）。此外，他還發(fā)明了“標(biāo)準(zhǔn)差”這一統(tǒng)計概念及線性回歸法，并用這些數(shù)學(xué)工具來研究人類的行為。一、回歸的含義回歸概念的提出FrancisGalton最先使用“

回歸的現(xiàn)代釋義回歸分析用于研究一個變量關(guān)于另一個（些）變量的具體依賴關(guān)系的計算方法和理論。商品需求函數(shù)：

生產(chǎn)函數(shù)：

菲利普斯曲線：

拉弗曲線：

回歸的現(xiàn)代釋義回歸分析用于研究一個變量關(guān)于另一個（些）變

等式左邊的變量被稱為被解釋變量（explainedvariable）因變量（dependentvariable）響應(yīng)變量（responsevariable）被預(yù)測變量（predictedvariable）回歸子（regressand）

回歸的現(xiàn)代釋義

等式右邊的變量被稱為解釋變量（explanatoryvariable）

自變量（independentvariable）控制變量（controlvariable）預(yù)測變量（predictorvariable）回歸元（regressor）。等式左邊的變量被稱為回歸的現(xiàn)代釋義等式右邊的變量在多數(shù)對經(jīng)濟理論的檢驗中（包括對公共政策的評價），經(jīng)濟學(xué)家的目標(biāo)就是要退訂一個變量（比如受教育程度）對另一個變量（如犯罪率或工人的生產(chǎn)率）具有因果效應(yīng)（causaleffect）。有時可能會很簡單就能發(fā)現(xiàn)兩個或多個變量之間存在很強的聯(lián)系，但除非能得到某種因果關(guān)系，否則這種聯(lián)系很難令人信服。其他條件不變（ceterisparibus）：意味著“其他（相關(guān)因素保持不變）”的概念，它在因果分析中有重要的作用。這個概念看似簡單，但是除非在極為特殊的條件下，很難實現(xiàn)多數(shù)經(jīng)驗研究中的一個關(guān)鍵問題是：要做出一個因果推斷，是否能使其他足夠多的因素保持不變呢？只要方法得當(dāng)，用計量經(jīng)濟方法可以模擬一個其他條件不變的實驗——通過對模型進行假定。

回歸分析中的因果關(guān)系和其他條件不變的概念在多數(shù)對經(jīng)濟理論的檢驗中（包括對公共政策的評價），經(jīng)濟學(xué)家的二、一元線性回歸模型

回歸分析都是從如下假設(shè)前提開始的：Y和X是代表某個總體的變量，我們感興趣的是“用X解釋Y”或“研究Y如何隨X而變化”在寫出用X解釋Y的模型時，面臨三個問題Y和X的函數(shù)關(guān)系是怎么樣的？如何考慮其他影響Y的因素呢？我們?nèi)绾尾拍艽_信我們得到的是，是在其他條件不變情況下的Y和X之間的關(guān)系？二、一元線性回歸模型回歸分析都是從如下假設(shè)前提開始Y=0

+1

X+u其中：Y——被解釋變量；X——解釋變量；u——隨機誤差項；表示除X之外其他影響Y的因素，一元回歸分析將除X之外的其他所有影響Y的因素都看成了無法觀測的因素0，1—回歸系數(shù)（待定系數(shù)或待估參數(shù)）

1是斜率系數(shù)，是主要的研究對象0是常數(shù)項，也被稱作截距參數(shù)，很少被當(dāng)做分析的核心我們可以通過建立一個如下的關(guān)于Y和X的方程來解決上述三個問題總體回歸模型Y=0+1X+u其中：Y——被解釋變量；X一元線性回歸方程概述課件

為解決上面提到的第三個問題，及如何在忽略其他因素的同時，又得到其他因素不變情況下X對Y的影響呢？這需要我們對無法觀測的u和X之間的關(guān)系加以約束，并且只有如此，才能從一個隨機樣本數(shù)據(jù)中獲得β0和β1的可靠估計量。E(u)=0

即無法觀測的因素的平均值為零，不會對結(jié)果產(chǎn)生影響E(u|X)=0

根據(jù)X的不同把總體劃分為若干部分，每個部分中無法

觀測的因素都具有想通的平均值，且這個共同的平均值

必然等于整個總體中u的平均值，即u是均值獨立的。為解決上面提到的第三個問題，及如何在忽略其他因素的同根據(jù)上面的假定對原模型取期望得：E(Y|X)=E[(0+1X+u)|X]E(Y|Xi)

=0+1X

總體回歸函數(shù)E(Y|X)是X的一個線性函數(shù)，它表示Y中可以由X解釋的部分，線性意味著X變化一個單位，Y的期望改變β1個單位。對于任意給定的X值，Y的分布都是以E(Y|X)為中心的。

=0+1X+E(u|X)=0+1X總體回歸函數(shù)（直線）

根據(jù)上面的假定對原模型取期望得：E(Y|X)=E[(0+XiYiY1Y2Y3u1u2u3e2e3e1E(Y|Xi)

=0

+1

Xi

通?？傮w回歸函數(shù)E(Y)=0+1X是觀測不到的，利用樣本得到的是對它的估計，即對0和1的估計。令{(Xi,Yi):i=1,…,n}表示從總體中抽取的一個樣本容量為n的隨機樣本，對于每個i，可以寫出：其中ui是第i次觀測的誤差項（估計的）樣本回歸函數(shù)：（估計的）樣本回歸模型：其中ei是第i次觀測的殘差XiYiY1Y2Y3u1u2u3e2e3e1E(Y|Xi)對于所研究的經(jīng)濟問題，通?？傮w回歸直線E(Yi|Xi)

=0

+1Xi

是觀測不到的?？梢酝ㄟ^收集樣本來對總體（真實的）回歸直線做出估計。

樣本回歸模型：

其中：為Yi的估計值（擬合值）；為0

,1

的估計值；ei為殘差，可視為ui的估計值。三、參數(shù)估計——最小二乘法樣本回歸直線：對于所研究的經(jīng)濟問題，通常總體回歸直線E(Yi|Xi)=如何得到一條能夠較好地反映這些點變化規(guī)律的直線呢？如何得到一條能夠較好地反映這些點變化規(guī)律的直線呢？對于參數(shù)的估計采用最小二乘估計法、最小二乘法的原則是以“殘差平方和最小”確定直線位置（即估計參數(shù)）。（Q為殘差平方和）Q===則通過Q最小確定這條直線，即確定，以為變量，把它們看作是Q的函數(shù)，就變成了一個求極值的問題，可以通過求導(dǎo)數(shù)得到。

樣本回歸模型：

對于參數(shù)的估計采用最小二乘估計法、最小二乘法的原則是以“殘差則通過Q最小確定這條直線，即確定，以為變量，把它們看作是Q的函數(shù)，就變成了一個求極值的問題，可以通過求導(dǎo)數(shù)得到。求Q對兩個待估參數(shù)的偏導(dǎo)數(shù)：=

=0=

=0正規(guī)方程組即則通過Q最小確定這條直線，即確定根據(jù)以上兩個偏導(dǎo)方程得以下正規(guī)方程（Normalequation）：根據(jù)以上兩個偏導(dǎo)方程得以下正規(guī)方程（Normalequat對于Wage1中的數(shù)據(jù)，利用EVIEWS軟件，可得到一元回歸模型估計結(jié)果：對于Wage1中的數(shù)據(jù)，利用EVIEWS軟件，可得到一元回歸OLS回歸直線的性質(zhì)

（1）殘差和等于零（2）估計的回歸直線過點.

（3）Yi

的擬合值的平均數(shù)等于其樣本觀測值的平均數(shù).由正規(guī)方程可得。OLS回歸直線的性質(zhì)（1）殘差和等于零（2）估計的回=

（4）Cov（ei,Xi）=0=

=

（5）Cov（ei,）=0=（4）Cov（ei,Xi）=0==（5）Cov（e利用OLS方法得到一個樣本回歸模型（一條樣本回歸線）后，問題結(jié)束了嗎？為什么要用普通最小二乘法？樣本回歸模型有無窮多個，我們僅僅得到其中一個，它能反映真實的總體回歸模型嗎？樣本回歸模型對數(shù)據(jù)的擬合程度可以接受嗎？如何用樣本回歸模型進行預(yù)測？問題結(jié)束了嗎？利用OLS方法得到一個樣本回歸模型（一條樣本回歸線）后，問題假定1：零期望假定：E(ui|Xi)=0。四、古典線性回歸模型的基本假定E(Y|Xi)

=0

+1

XiXY0假定1：零期望假定：E(ui|Xi)=0。四、古典線性回假定2：同方差性假定：Var(ui)=E[ui

-E(ui)]2=E(ui2)=

2。XY0同方差XY0異方差假定2：同方差性假定：Var(ui)=E[ui-E(假定3：無序列相關(guān)（無自相關(guān)）假定：Cov(ui,uj)=E[(ui-E(ui))(uj

-E(uj))]=E(uiuj)=0,(i

j)。無自相關(guān)正自相關(guān)負(fù)自相關(guān)假定3：無序列相關(guān)（無自相關(guān)）假定：無自相關(guān)正自相關(guān)負(fù)自相關(guān)假定4：解釋變量X與隨機誤差項uCov(ui,Xi)=E[(ui-E(ui))(Xi

-E(Xi))]=E(ui

Xi)=0

如果X為確定性變量，該假定自然滿足假定5：ui

服從正態(tài)分布，即ui

N(0,

2

)。假定4：解釋變量X與隨機誤差項u假定5：ui服從正態(tài)分布，五、OLS估計量的性質(zhì)

高斯-馬爾可夫定理如果滿足古典線性回歸模型的基本假定（假定1-假定5），則在所有的線性估計量中，OLS估計量是最優(yōu)線性無偏估計量（BLUE）。線性性無偏性有效性五、OLS估計量的性質(zhì)高斯-馬爾可夫定理如果滿足古典線性回都是Yi的線性函數(shù)。證明：=

=

=

令代入上式，得：=

線性性都是Yi的線性函數(shù)。證明：===令代入上式，得：=證明：======

無偏性=11無偏估計量有偏估計量證明：======無偏性=11無偏估計量有偏OLS估計量的方差比其他線性無偏估計量的方差都小。

最小方差性與有效性1OLS估計量的方差比其他線性無偏估計量的方差都小。最小方

一致性（了解）1概率密度一致性（了解）1概率密度OLS估計量的方差為什么要估計方差？方差反映了數(shù)據(jù)的離散程度和估計結(jié)果的精確性。受教育年限與每小時工資1OLS估計量的方差為什么要估計方差？方差反映了數(shù)據(jù)的離散一元線性回歸方程概述課件一元線性回歸方程概述課件總體（隨機誤差項）真實方差2的估計量：2的估計總體（隨機誤差項）真實方差2的估計量：2的估計2、方差（1）的期望（2）的期望1、期望（2）的方差（1）的方差服從N（）N（）服從Yi=0

+1

Xi

+ui，所以Yi~N(0

+1

Xi

,

2

)線性性概率分布是進行假設(shè)檢驗的前提六、假設(shè)檢驗與置信區(qū)間OLS估計量的概率分布2、方差（1）的期望（2）的期望顯著性檢驗（t檢驗）的基本步驟首先，提出原假設(shè)和備擇假設(shè)：

H0：

H1：

其次，確定并計算統(tǒng)計量：

＝最后，給定顯著性水平，查自由度為n-2的t分布表。則，

如果不能拒絕H0：1=0，認(rèn)為X對Y沒有顯著影響。

如果拒絕H0：1=0

，認(rèn)為X對Y有顯著影響。

同理,可對0

進行顯著性檢驗。

模型：顯著性檢驗（t檢驗）的基本步驟首先，提出原假設(shè)和備擇假設(shè)=2.5%t(n-2)-t0.025t0.025=2.5%95%0雙側(cè)=2.5%t(n-2)-t0.025t0.025=2.5受教育年限與每小時工資n=130-2.2012.201H0：1=0H1：10受教育年限與每小時工資n=130-2.2012.201H0：受教育年限與每小時工資n=1301.796H0：1=0H1：1>0受教育年限與每小時工資n=1301.796H0：1=0

對于雙變量模型，自由度總為(n-2)

經(jīng)驗分析中，常用的有1%、5%和10%。為了避免顯著水平選擇的隨意性，通常要給出p值。對于雙變量模型，自由度總為(n-2)p值t(n-2)-t0.025t0.025p/20tp值>0.05，接受原假設(shè)t(n-2)-t0.025t0.025p/20tp值<0.05，拒絕原假設(shè)雙側(cè)檢驗p值t(n-2)-t0.025t0.025p/20tp值

用p值判斷參數(shù)的顯著性的方法（雙側(cè)）方法：將給定的顯著性水平與p值比較：?若p值<

，則在顯著性水平下拒絕原假設(shè)H0:=0,

即認(rèn)為X對Y有顯著影響；?若p值

，則在顯著性水平下接受原假設(shè)H0:=0，

即認(rèn)為X對Y沒有顯著影響；規(guī)則：當(dāng)p值<時，p值越小，越能拒絕原假設(shè)H0用p值判斷參數(shù)的顯著性的方法（雙側(cè)）方法：將給定的顯著由于：由大括號內(nèi)不等式表示置信水平為1-α?xí)r1的置信區(qū)間：得：P{t/2

(n-2)

}=1-

同理,可求得的置信區(qū)間為：

-t/2(n-2)

0

t/2(n-2)

由于：由大括號內(nèi)不等式表示置信水平為1-α?xí)r1的置信區(qū)間：受教育年限與每小時工資n=13通過置信區(qū)間，可以直接對H0：1=0進行檢驗嗎？受教育年限與每小時工資n=13通過置信區(qū)間，可以直接對H0：離差平方和的分解可決系數(shù)擬合優(yōu)度：是指回歸直線對觀測值的擬合程度。顯然，若觀測值離回歸直線近，則擬合優(yōu)度好，反之，則擬合優(yōu)度差，度量擬合優(yōu)度的統(tǒng)計量是可決系數(shù)。

七、用可決系數(shù)來檢驗回歸方程的擬合優(yōu)度離差平方和的分解擬合優(yōu)度：是指回歸直線對觀測值的擬合程度。顯

離差平方和的分解........YXYi

Xi

A0=+=+總離差

=回歸差

+殘差

回歸差：由樣本回歸直線解釋的部分

殘差：不能由樣本回歸直線解釋的部分

可以證明:

離差平方和的分解........YXYiXiA0=+=證明:==由于：

===0所以：

總離差平方和＝回歸平方和＋殘差平方和TSS=RSS+ESS

總離差平方和＝估計平方和＋剩余平方和TSS=ESS+RSS證明:==由于：===0所以：總離差平方和

可決系數(shù)＋=1回歸平方和在總離差平方和中所占的比重越大，說明樣本回歸直線對樣本值擬合的程度越好。因此，用來表示擬合優(yōu)度的樣本可決系數(shù)定義為：R2

=

===

=R2的取值范圍是

[0，1]。對于一組數(shù)據(jù)，TSS是不變，所以RSS↑（↓），ESS↓（↑）

可決系數(shù)＋=1回歸平方和在總離差平方和中所占的比重越大，R2=0時表明解釋變量X與被解釋變量Y之間不存在線性關(guān)系；R2=1時表明樣本回歸線與樣本值重合，這種情況極少發(fā)生；一般情況下，R2越接近1表示擬合程度越好，X對Y的解釋能力越強。另外：

R2===R2===R2=0時表明解釋變量X與被解釋變量Y之間不存在線性關(guān)系可決系數(shù)R2相關(guān)系數(shù)r就模型而言就兩個變量而言說明解釋變量對被解釋變量的解釋程度度量兩個變量線性依存程度。度量不對稱的因果關(guān)系度量不含因果關(guān)系的對稱相關(guān)關(guān)系取值：[0,1]取值：[－1,1]

相關(guān)系數(shù)與可決系數(shù)的關(guān)系(R2=r2)可決系數(shù)R2相關(guān)系數(shù)r就模型而言就兩個變量而言說明解釋變量對點預(yù)測Yi區(qū)間預(yù)測（1）單個值Yi的區(qū)間預(yù)測（2）均值E(Yi)的區(qū)間預(yù)測八、一元線性回歸方程的預(yù)測點預(yù)測Yi八、一元線性回歸方程的預(yù)測如果經(jīng)過檢驗，樣本回歸方程的擬合優(yōu)度好，且回歸系數(shù)的估計值顯著不為0，則可以用回歸方程進行預(yù)測。預(yù)測分為點預(yù)測和區(qū)間預(yù)測。

1、點預(yù)測

假設(shè)X0為解釋變量的一個已知點，則帶入樣本回歸方程即可得到Y(jié)0的估計值:2、區(qū)間預(yù)測

估計值是一個點預(yù)測值，它可以是（1）總體真值Y0的預(yù)測值；也可以是（2）總體回歸線E(Y0/X0)的預(yù)測值。現(xiàn)在根據(jù)來對（1）（2）進行區(qū)間預(yù)測。

如果經(jīng)過檢驗，樣本回歸方程的擬合優(yōu)度好，且回歸系數(shù)的估計值顯的分布是：所以，E(Y0|X0)

的預(yù)測區(qū)間是:（1）條件期望E(Y0|X0)的預(yù)測區(qū)間

的分布是：所以，E(Y0|X0)的預(yù)測區(qū)間是:（1）條件（1）個值Y0的預(yù)測區(qū)間

的分布是：所以，Y0的預(yù)測區(qū)間是:（1）個值Y0的預(yù)測區(qū)間的分布是：所以，Y0的預(yù)測區(qū)間是SRF各種預(yù)測值的關(guān)系Y的個別值的置信區(qū)間Y均值的置信區(qū)間SRF各種預(yù)測值的關(guān)系Y的個別值的置信區(qū)間Y均值的置信區(qū)間

提出問題：改革開放以來隨著中國經(jīng)濟的快速發(fā)展，居民的消費水平也不斷增長。但全國各地區(qū)經(jīng)濟發(fā)展速度不同，居民消費水平也有明顯差異。為了分析什么是影響各地區(qū)居民消費支出有明顯差異的最主要因素，并分析影響因素與消費水平的數(shù)量關(guān)系，可以建立相應(yīng)的計量經(jīng)濟模型去研究。

研究范圍：全國各省市2002年城市居民家庭平均每人每年消費截面數(shù)據(jù)模型。

案例分析提出問題：改革開放以來隨著中國經(jīng)濟的快速發(fā)展，居民的消理論分析：影響各地區(qū)城市居民人均消費支出的因素有多種，但從理論和經(jīng)驗分析，最主要的影響因素應(yīng)是居民收入。從理論上說可支配收入越高，居民消費越多，但邊際消費傾向大于0，小于1。建立模型：

其中：Y—城市居民家庭平均每人每年消費支出(元)

X—城市居民人均年可支配收入(元)理論分析：影響各地區(qū)城市居民人均消費支出的因素有多種，但從理數(shù)據(jù)：從2002年《中國統(tǒng)計年鑒》中得到地區(qū)城市居民家庭平均每人每年消費支出(元)Y城市居民人均年可支配收入(元)

X北京天津河北山西內(nèi)蒙古遼寧吉林黑龍江上海江蘇浙江安徽福建江西山東河南湖北10284.607191.965069.284710.964859.885342.644973.884462.0810464.006042.608713.084736.526631.684549.325596.324504.685608.9212463.929337.566679.685234.356051.066524.526260.166100.5613249.808177.6411715.606032.409189.366334.647614.366245.406788.52數(shù)據(jù)：從2002年《中國統(tǒng)計年鑒》中得到地區(qū)城市（接上頁數(shù)據(jù)表）地區(qū)城市居民家庭平均每人每年消費支出(元)

Y城市居民人均年可支配收入(元)X湖南廣東廣西海南重慶四川貴州云南西藏陜西甘肅青海寧夏新疆5574.728988.485413.445459.646360.245413.084598.285827.926952.445278.045064.245042.526104.925636.406958.5611137.207315.326822.727238.046610.805944.087240.568079.126330.846151.446170.526067.446899.64（接上頁數(shù)據(jù)表）地區(qū)城市居民家庭平均每人每年消費估計參數(shù)

具體操作：使用EViews軟件包。估計結(jié)果：假定模型中隨機擾動滿足基本假定，可用OLS法。估計參數(shù) 具體操作：使用EViews軟件包。估計結(jié)果：假定表示為表示為

1.可決系數(shù)：R2=0.9357，模型整體上擬合好。

2.系數(shù)顯著性檢驗：給定，查t分布表，在自由度為n-2=29時臨界值為因為t=20.44023

>

說明“城鎮(zhèn)人均可支配收入”對“城鎮(zhèn)人均消費支出”有顯著影響。

3.用P值檢驗

>>p=0.0000模型檢驗0.05α=

4.經(jīng)濟意義檢驗：

估計的解釋變量的系數(shù)為0·758511，說明城鎮(zhèn)居民人均可支配收入每增加1元，人均年消費支出平均將增加0·758511元。這符合經(jīng)濟理論對邊際消費傾向的界定。

4.經(jīng)濟意義檢驗：點預(yù)測：西部地區(qū)的城市居民人均年可支配收入第一步爭取達到1000美元(按現(xiàn)有匯率即人民幣8270元)，代入估計的模型得第二步再爭取達到1500美元(即人民幣12405元)，利用所估計的模型可預(yù)測這時城市居民可能達到的人均年消費支出水平

經(jīng)濟預(yù)測點預(yù)測：經(jīng)濟預(yù)測回歸的含義一元回歸模型的建立參數(shù)估計——最小二乘法隨機誤差項的古典假定最小二乘估計量的性質(zhì)最小二乘估計量的概率分布回歸系數(shù)的顯著性檢驗與置信區(qū)間用樣本可決系數(shù)檢驗回歸方程的擬合優(yōu)度案例分析第二章一元線性回歸模型回歸的含義第二章一元線性回歸模型

回歸概念的提出FrancisGalton最先使用“回歸（regression）”。父母高，子女也高；父母矮，子女也矮。給定父母的身高，子女平均身高趨向于“回歸”到全體人口的平均身高。F.加爾頓是達爾文的表弟，是研究智力的先驅(qū)者之一，他非常嚴(yán)肅，非常聰明，但也有些瘋狂，他出生在一個貴格教徒家庭中，祖上是著名的和平主義者，有趣的是，他家的名下卻有生產(chǎn)槍支的企業(yè)。高爾頓是個申通，6歲便能閱讀和背誦莎士比亞的作品，他在更小的時候已經(jīng)會說了希臘語和拉丁語。他似乎對什么事情都感興趣，成年后的高爾頓在氣象學(xué)、心理學(xué)、攝影學(xué)，甚至是刑事司法領(lǐng)域都有所建樹（他倡導(dǎo)使用指紋分析的科學(xué)方法來確定罪犯身份）。此外，他還發(fā)明了“標(biāo)準(zhǔn)差”這一統(tǒng)計概念及線性回歸法，并用這些數(shù)學(xué)工具來研究人類的行為。一、回歸的含義回歸概念的提出FrancisGalton最先使用“

回歸的現(xiàn)代釋義回歸分析用于研究一個變量關(guān)于另一個（些）變量的具體依賴關(guān)系的計算方法和理論。商品需求函數(shù)：

生產(chǎn)函數(shù)：

菲利普斯曲線：

拉弗曲線：

回歸的現(xiàn)代釋義回歸分析用于研究一個變量關(guān)于另一個（些）變

等式左邊的變量被稱為被解釋變量（explainedvariable）因變量（dependentvariable）響應(yīng)變量（responsevariable）被預(yù)測變量（predictedvariable）回歸子（regressand）

回歸的現(xiàn)代釋義

等式右邊的變量被稱為解釋變量（explanatoryvariable）

自變量（independentvariable）控制變量（controlvariable）預(yù)測變量（predictorvariable）回歸元（regressor）。等式左邊的變量被稱為回歸的現(xiàn)代釋義等式右邊的變量在多數(shù)對經(jīng)濟理論的檢驗中（包括對公共政策的評價），經(jīng)濟學(xué)家的目標(biāo)就是要退訂一個變量（比如受教育程度）對另一個變量（如犯罪率或工人的生產(chǎn)率）具有因果效應(yīng)（causaleffect）。有時可能會很簡單就能發(fā)現(xiàn)兩個或多個變量之間存在很強的聯(lián)系，但除非能得到某種因果關(guān)系，否則這種聯(lián)系很難令人信服。其他條件不變（ceterisparibus）：意味著“其他（相關(guān)因素保持不變）”的概念，它在因果分析中有重要的作用。這個概念看似簡單，但是除非在極為特殊的條件下，很難實現(xiàn)多數(shù)經(jīng)驗研究中的一個關(guān)鍵問題是：要做出一個因果推斷，是否能使其他足夠多的因素保持不變呢？只要方法得當(dāng)，用計量經(jīng)濟方法可以模擬一個其他條件不變的實驗——通過對模型進行假定。

回歸分析中的因果關(guān)系和其他條件不變的概念在多數(shù)對經(jīng)濟理論的檢驗中（包括對公共政策的評價），經(jīng)濟學(xué)家的二、一元線性回歸模型

回歸分析都是從如下假設(shè)前提開始的：Y和X是代表某個總體的變量，我們感興趣的是“用X解釋Y”或“研究Y如何隨X而變化”在寫出用X解釋Y的模型時，面臨三個問題Y和X的函數(shù)關(guān)系是怎么樣的？如何考慮其他影響Y的因素呢？我們?nèi)绾尾拍艽_信我們得到的是，是在其他條件不變情況下的Y和X之間的關(guān)系？二、一元線性回歸模型回歸分析都是從如下假設(shè)前提開始Y=0

+1

X+u其中：Y——被解釋變量；X——解釋變量；u——隨機誤差項；表示除X之外其他影響Y的因素，一元回歸分析將除X之外的其他所有影響Y的因素都看成了無法觀測的因素0，1—回歸系數(shù)（待定系數(shù)或待估參數(shù)）

1是斜率系數(shù)，是主要的研究對象0是常數(shù)項，也被稱作截距參數(shù)，很少被當(dāng)做分析的核心我們可以通過建立一個如下的關(guān)于Y和X的方程來解決上述三個問題總體回歸模型Y=0+1X+u其中：Y——被解釋變量；X一元線性回歸方程概述課件

為解決上面提到的第三個問題，及如何在忽略其他因素的同時，又得到其他因素不變情況下X對Y的影響呢？這需要我們對無法觀測的u和X之間的關(guān)系加以約束，并且只有如此，才能從一個隨機樣本數(shù)據(jù)中獲得β0和β1的可靠估計量。E(u)=0

即無法觀測的因素的平均值為零，不會對結(jié)果產(chǎn)生影響E(u|X)=0

根據(jù)X的不同把總體劃分為若干部分，每個部分中無法

觀測的因素都具有想通的平均值，且這個共同的平均值

必然等于整個總體中u的平均值，即u是均值獨立的。為解決上面提到的第三個問題，及如何在忽略其他因素的同根據(jù)上面的假定對原模型取期望得：E(Y|X)=E[(0+1X+u)|X]E(Y|Xi)

=0+1X

總體回歸函數(shù)E(Y|X)是X的一個線性函數(shù)，它表示Y中可以由X解釋的部分，線性意味著X變化一個單位，Y的期望改變β1個單位。對于任意給定的X值，Y的分布都是以E(Y|X)為中心的。

=0+1X+E(u|X)=0+1X總體回歸函數(shù)（直線）

根據(jù)上面的假定對原模型取期望得：E(Y|X)=E[(0+XiYiY1Y2Y3u1u2u3e2e3e1E(Y|Xi)

=0

+1

Xi

通常總體回歸函數(shù)E(Y)=0+1X是觀測不到的，利用樣本得到的是對它的估計，即對0和1的估計。令{(Xi,Yi):i=1,…,n}表示從總體中抽取的一個樣本容量為n的隨機樣本，對于每個i，可以寫出：其中ui是第i次觀測的誤差項（估計的）樣本回歸函數(shù)：（估計的）樣本回歸模型：其中ei是第i次觀測的殘差XiYiY1Y2Y3u1u2u3e2e3e1E(Y|Xi)對于所研究的經(jīng)濟問題，通?？傮w回歸直線E(Yi|Xi)

=0

+1Xi

是觀測不到的?？梢酝ㄟ^收集樣本來對總體（真實的）回歸直線做出估計。

樣本回歸模型：

其中：為Yi的估計值（擬合值）；為0

,1

的估計值；ei為殘差，可視為ui的估計值。三、參數(shù)估計——最小二乘法樣本回歸直線：對于所研究的經(jīng)濟問題，通常總體回歸直線E(Yi|Xi)=如何得到一條能夠較好地反映這些點變化規(guī)律的直線呢？如何得到一條能夠較好地反映這些點變化規(guī)律的直線呢？對于參數(shù)的估計采用最小二乘估計法、最小二乘法的原則是以“殘差平方和最小”確定直線位置（即估計參數(shù)）。（Q為殘差平方和）Q===則通過Q最小確定這條直線，即確定，以為變量，把它們看作是Q的函數(shù)，就變成了一個求極值的問題，可以通過求導(dǎo)數(shù)得到。

樣本回歸模型：

對于參數(shù)的估計采用最小二乘估計法、最小二乘法的原則是以“殘差則通過Q最小確定這條直線，即確定，以為變量，把它們看作是Q的函數(shù)，就變成了一個求極值的問題，可以通過求導(dǎo)數(shù)得到。求Q對兩個待估參數(shù)的偏導(dǎo)數(shù)：=

=0=

=0正規(guī)方程組即則通過Q最小確定這條直線，即確定根據(jù)以上兩個偏導(dǎo)方程得以下正規(guī)方程（Normalequation）：根據(jù)以上兩個偏導(dǎo)方程得以下正規(guī)方程（Normalequat對于Wage1中的數(shù)據(jù)，利用EVIEWS軟件，可得到一元回歸模型估計結(jié)果：對于Wage1中的數(shù)據(jù)，利用EVIEWS軟件，可得到一元回歸OLS回歸直線的性質(zhì)

（1）殘差和等于零（2）估計的回歸直線過點.

（3）Yi

的擬合值的平均數(shù)等于其樣本觀測值的平均數(shù).由正規(guī)方程可得。OLS回歸直線的性質(zhì)（1）殘差和等于零（2）估計的回=

（4）Cov（ei,Xi）=0=

=

（5）Cov（ei,）=0=（4）Cov（ei,Xi）=0==（5）Cov（e利用OLS方法得到一個樣本回歸模型（一條樣本回歸線）后，問題結(jié)束了嗎？為什么要用普通最小二乘法？樣本回歸模型有無窮多個，我們僅僅得到其中一個，它能反映真實的總體回歸模型嗎？樣本回歸模型對數(shù)據(jù)的擬合程度可以接受嗎？如何用樣本回歸模型進行預(yù)測？問題結(jié)束了嗎？利用OLS方法得到一個樣本回歸模型（一條樣本回歸線）后，問題假定1：零期望假定：E(ui|Xi)=0。四、古典線性回歸模型的基本假定E(Y|Xi)

=0

+1

XiXY0假定1：零期望假定：E(ui|Xi)=0。四、古典線性回假定2：同方差性假定：Var(ui)=E[ui

-E(ui)]2=E(ui2)=

2。XY0同方差XY0異方差假定2：同方差性假定：Var(ui)=E[ui-E(假定3：無序列相關(guān)（無自相關(guān)）假定：Cov(ui,uj)=E[(ui-E(ui))(uj

-E(uj))]=E(uiuj)=0,(i

j)。無自相關(guān)正自相關(guān)負(fù)自相關(guān)假定3：無序列相關(guān)（無自相關(guān)）假定：無自相關(guān)正自相關(guān)負(fù)自相關(guān)假定4：解釋變量X與隨機誤差項uCov(ui,Xi)=E[(ui-E(ui))(Xi

-E(Xi))]=E(ui

Xi)=0

如果X為確定性變量，該假定自然滿足假定5：ui

服從正態(tài)分布，即ui

N(0,

2

)。假定4：解釋變量X與隨機誤差項u假定5：ui服從正態(tài)分布，五、OLS估計量的性質(zhì)

高斯-馬爾可夫定理如果滿足古典線性回歸模型的基本假定（假定1-假定5），則在所有的線性估計量中，OLS估計量是最優(yōu)線性無偏估計量（BLUE）。線性性無偏性有效性五、OLS估計量的性質(zhì)高斯-馬爾可夫定理如果滿足古典線性回都是Yi的線性函數(shù)。證明：=

=

=

令代入上式，得：=

線性性都是Yi的線性函數(shù)。證明：===令代入上式，得：=證明：======

無偏性=11無偏估計量有偏估計量證明：======無偏性=11無偏估計量有偏OLS估計量的方差比其他線性無偏估計量的方差都小。

最小方差性與有效性1OLS估計量的方差比其他線性無偏估計量的方差都小。最小方

一致性（了解）1概率密度一致性（了解）1概率密度OLS估計量的方差為什么要估計方差？方差反映了數(shù)據(jù)的離散程度和估計結(jié)果的精確性。受教育年限與每小時工資1OLS估計量的方差為什么要估計方差？方差反映了數(shù)據(jù)的離散一元線性回歸方程概述課件一元線性回歸方程概述課件總體（隨機誤差項）真實方差2的估計量：2的估計總體（隨機誤差項）真實方差2的估計量：2的估計2、方差（1）的期望（2）的期望1、期望（2）的方差（1）的方差服從N（）N（）服從Yi=0

+1

Xi

+ui，所以Yi~N(0

+1

Xi

,

2

)線性性概率分布是進行假設(shè)檢驗的前提六、假設(shè)檢驗與置信區(qū)間OLS估計量的概率分布2、方差（1）的期望（2）的期望顯著性檢驗（t檢驗）的基本步驟首先，提出原假設(shè)和備擇假設(shè)：

H0：

H1：

其次，確定并計算統(tǒng)計量：

＝最后，給定顯著性水平，查自由度為n-2的t分布表。則，

如果不能拒絕H0：1=0，認(rèn)為X對Y沒有顯著影響。

如果拒絕H0：1=0

，認(rèn)為X對Y有顯著影響。

同理,可對0

進行顯著性檢驗。

模型：顯著性檢驗（t檢驗）的基本步驟首先，提出原假設(shè)和備擇假設(shè)=2.5%t(n-2)-t0.025t0.025=2.5%95%0雙側(cè)=2.5%t(n-2)-t0.025t0.025=2.5受教育年限與每小時工資n=130-2.2012.201H0：1=0H1：10受教育年限與每小時工資n=130-2.2012.201H0：受教育年限與每小時工資n=1301.796H0：1=0H1：1>0受教育年限與每小時工資n=1301.796H0：1=0

對于雙變量模型，自由度總為(n-2)

經(jīng)驗分析中，常用的有1%、5%和10%。為了避免顯著水平選擇的隨意性，通常要給出p值。對于雙變量模型，自由度總為(n-2)p值t(n-2)-t0.025t0.025p/20tp值>0.05，接受原假設(shè)t(n-2)-t0.025t0.025p/20tp值<0.05，拒絕原假設(shè)雙側(cè)檢驗p值t(n-2)-t0.025t0.025p/20tp值

用p值判斷參數(shù)的顯著性的方法（雙側(cè)）方法：將給定的顯著性水平與p值比較：?若p值<

，則在顯著性水平下拒絕原假設(shè)H0:=0,

即認(rèn)為X對Y有顯著影響；?若p值

，則在顯著性水平下接受原假設(shè)H0:=0，

即認(rèn)為X對Y沒有顯著影響；規(guī)則：當(dāng)p值<時，p值越小，越能拒絕原假設(shè)H0用p值判斷參數(shù)的顯著性的方法（雙側(cè)）方法：將給定的顯著由于：由大括號內(nèi)不等式表示置信水平為1-α?xí)r1的置信區(qū)間：得：P{t/2

(n-2)

}=1-

同理,可求得的置信區(qū)間為：

-t/2(n-2)

0

t/2(n-2)

由于：由大括號內(nèi)不等式表示置信水平為1-α?xí)r1的置信區(qū)間：受教育年限與每小時工資n=13通過置信區(qū)間，可以直接對H0：1=0進行檢驗嗎？受教育年限與每小時工資n=13通過置信區(qū)間，可以直接對H0：離差平方和的分解可決系數(shù)擬合優(yōu)度：是指回歸直線對觀測值的擬合程度。顯然，若觀測值離回歸直線近，則擬合優(yōu)度好，反之，則擬合優(yōu)度差，度量擬合優(yōu)度的統(tǒng)計量是可決系數(shù)。

七、用可決系數(shù)來檢驗回歸方程的擬合優(yōu)度離差平方和的分解擬合優(yōu)度：是指回歸直線對觀測值的擬合程度。顯

離差平方和的分解........YXYi

Xi

A0=+=+總離差

=回歸差

+殘差

回歸差：由樣本回歸直線解釋的部分

殘差：不能由樣本回歸直線解釋的部分

可以證明:

離差平方和的分解........YXYiXiA0=+=證明:==由于：

===0所以：

總離差平方和＝回歸平方和＋殘差平方和TSS=RSS+ESS

總離差平方和＝估計平方和＋剩余平方和TSS=ESS+RSS證明:==由于：===0所以：總離差平方和

可決系數(shù)＋=1回歸平方和在總離差平方和中所占的比重越大，說明樣本回歸直線對樣本值擬合的程度越好。因此，用來表示擬合優(yōu)度的樣本可決系數(shù)定義為：R2

=

===

=R2的取值范圍是

[0，1]。對于一組數(shù)據(jù)，TSS是不變，所以RSS↑（↓），ESS↓（↑）

可決系數(shù)＋=1回歸平方和在總離差平方和中所占的比重越大，R2=0時表明解釋變量X與被解釋變量Y之間不存在線性關(guān)系；R2=1時表明樣本回歸線與樣本值重合，這種情況極少發(fā)生；一般情況下，R2越接近1表示擬合程度越好，X對Y的解釋能力越強。另外：

R2===R2===R2=0時表明解釋變量X與被解釋變量Y之間不存在線性關(guān)系可決系數(shù)R2相關(guān)系數(shù)r就模型而言就兩個變量而言說明解釋變量對被解釋變量的解釋程度度量兩個變量線性依存程度。度量不對稱的因果關(guān)系度量不含因果關(guān)系的對稱相關(guān)關(guān)系取值：[0,1]取值：[－1,1]

相關(guān)系數(shù)與可決系數(shù)的關(guān)系(R2=r2)可決系數(shù)R2相關(guān)系數(shù)r就模型而言就兩個變量而言說明解釋變量對點預(yù)測Yi區(qū)間預(yù)測（1）單個值Yi的區(qū)間預(yù)測（2）均值E(Yi)的區(qū)間預(yù)測八、一元線性回歸方程的預(yù)測點預(yù)測Yi八、一元線性回歸方程的預(yù)測如果經(jīng)過檢驗，樣本回歸方程的擬合優(yōu)度好，且回歸系數(shù)的估計值顯著不為0，則可以用回歸方程進行預(yù)測。預(yù)測分為點預(yù)測和區(qū)間預(yù)測。

1、點預(yù)測

假設(shè)X0為解釋變量的一個已知點，則帶入樣本回歸方程即可得到Y(jié)0的估計值:2、區(qū)間預(yù)測

估計值是一個點預(yù)測值，它可以是（1）總體真值Y0的預(yù)測值；也可以是（2）總體回歸線E(Y0/X0)的預(yù)測值?，F(xiàn)在根據(jù)來對（1）（2）進行區(qū)間預(yù)測。

如果經(jīng)過檢驗，樣本回歸方程的擬合優(yōu)度好，且回歸系數(shù)的估計值顯的分布是：所以，E(Y0|X0)

的預(yù)測區(qū)間是:（1）條件期望E(Y0|X0)的預(yù)測區(qū)間

的分布是：所以，E(Y0|X0)的預(yù)測區(qū)間是:（1）條件（1）個值Y0