第2講 普通最小二乘法

1、第二講第二講 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010第二講第二講 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010第二講第二講 普通最小二乘法普通最小二乘法（教材第（教材第2 2章、第章、第3 3章）章）第二講第二講 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010主要內(nèi)容主要內(nèi)容v一元回歸模型的最小二乘（一元回歸模型的最小二乘（OLS）估計(jì)）估計(jì)v多元回歸模型的最小二乘（多元回歸模型的最小二乘（OL

2、S）估計(jì)）估計(jì)v回歸方程的擬合：決定系數(shù)回歸方程的擬合：決定系數(shù)第二講第二講 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010引言引言v回歸分析中的主要目的是根據(jù)樣本回歸函數(shù)回歸分析中的主要目的是根據(jù)樣本回歸函數(shù)（SRF）來估計(jì)總體回歸函數(shù)（）來估計(jì)總體回歸函數(shù)（PRF），但是，），但是，由于抽樣的波動(dòng)，根據(jù)由于抽樣的波動(dòng)，根據(jù)SRF估計(jì)出來的估計(jì)出來的PRF充其充其量只是真實(shí)量只是真實(shí)PRF的一個(gè)近似的結(jié)果。的一個(gè)近似的結(jié)果。v能否設(shè)計(jì)一種規(guī)則或估計(jì)方法，使得這種近似結(jié)能否設(shè)計(jì)一種規(guī)則或估計(jì)方法，使得這種近似結(jié)果的誤差盡可能??？果

3、的誤差盡可能??？v本講將介紹一種最簡單的估計(jì)方法本講將介紹一種最簡單的估計(jì)方法普通最小普通最小二乘法（二乘法（Ordinary Least Square，OLS）第二講第二講 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010一一元回歸模型的元回歸模型的OLS估計(jì)估計(jì)vPRF： 是不可直接觀測的，是不可直接觀測的，要通過要通過SRF： 去估計(jì)。去估計(jì)。v殘差：殘差： 是實(shí)際值是實(shí)際值 與其估計(jì)值與其估計(jì)值 之差。之差。12iiiYXe12iiiYX=12iiiiieYYYXiYiY第二講第二講 普通最小二乘法普通最小二乘法 Schoo

4、l of Management and Economics, 2010普通最小二乘法普通最小二乘法（1 1）采用）采用“殘差和最小殘差和最小”確定直線位置？確定直線位置？（2 2）采用）采用“殘差絕對(duì)值殘差絕對(duì)值和最小和最小”確定直線位置？確定直線位置？（3 3）最小二乘法最小二乘法的原則的原則是以是以“殘差平方和最小殘差平方和最小”確定直線位置。確定直線位置。 et第二講第二講 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010一元回歸模型的估計(jì)問題一元回歸模型的估計(jì)問題v最小二乘法采用殘差平方和最小的準(zhǔn)則：最小二乘法采用殘差平方和

5、最小的準(zhǔn)則：22201111()()nnniiiiiiiieYYYX2011(,)niief12iiix yx02YX()iixXX()iiyYY其中，其中，怎樣得到的？怎樣得到的？22201120110120112m in0120 20 iiiiiiiiiiiiiiiiiiiiinnneYXeYXeYXXYXY XXXX YXYX 22022)() ()(iiiiiXYYiix yYXxXXXX最小二乘估計(jì)量的數(shù)學(xué)推導(dǎo)：最小二乘估計(jì)量的數(shù)學(xué)推導(dǎo)：正規(guī)方程正規(guī)方程第二講第二講 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010OLSO

6、LS估計(jì)量的性質(zhì)估計(jì)量的性質(zhì)v根據(jù)最小化殘差平方和算出來的參數(shù)估計(jì)量叫做根據(jù)最小化殘差平方和算出來的參數(shù)估計(jì)量叫做普通最小二乘（普通最小二乘（OLS）估計(jì)量。估計(jì)量。樣本回歸線通過樣本回歸線通過Y和和X的樣本均值的樣本均值殘差之和為殘差之和為0OLS是是“最優(yōu)最優(yōu)”的估計(jì)方法的估計(jì)方法第二講第二講 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010一個(gè)例子：一個(gè)例子：Eviews演示演示v收入消費(fèi)問題（收入消費(fèi)問題（ data_2.1 ）：）：Y是消費(fèi)，是消費(fèi)，X是是收入。收入。01YX=回歸方程：回歸方程：需要填入的變量需要填入的變

7、量回歸結(jié)果回歸結(jié)果回歸曲線圖回歸曲線圖第二講第二講 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010思考題思考題v影響一個(gè)家庭消費(fèi)決策的僅僅是收入因素嗎？影響一個(gè)家庭消費(fèi)決策的僅僅是收入因素嗎？v除了身高，你認(rèn)為還有哪些因素會(huì)影響一個(gè)人的除了身高，你認(rèn)為還有哪些因素會(huì)影響一個(gè)人的體重？體重？v第二講第二講 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010多元回歸模型的多元回歸模型的OLS估計(jì)估計(jì)v最簡單的多元線性回歸是三變量模型最簡單的多元線性回歸是三變量模型三變量模型，

8、即含有一個(gè)因變量和兩個(gè)解釋變量，其三變量模型，即含有一個(gè)因變量和兩個(gè)解釋變量，其總體回歸函數(shù)總體回歸函數(shù)PRF為：為：01122iiiiYXX2iX表示什么意思？表示什么意思？第二講第二講 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010多元線性回歸的基本概念多元線性回歸的基本概念v多個(gè)自變量的回歸模型多個(gè)自變量的回歸模型假定多元線性回歸模型假定多元線性回歸模型12233kkYXXX那么對(duì)被解釋變量那么對(duì)被解釋變量Y與解釋變量與解釋變量X2 2，X3，Xk作了作了n次觀測后，將所得的次觀測后，將所得的n組樣本代入上式有組樣本代入上式

9、有 1122133111kkYXXX2122233222kkYXXX12233nnnkknnYXXX第二講第二講 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010多元線性回歸的基本概念多元線性回歸的基本概念以矩陣形式表示，有以矩陣形式表示，有12nYYYY2131111223222223111kknnknknXXXXXXXXX= X+nk第二講第二講 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010普通最小二乘估計(jì)普通最小二乘估計(jì)v多元線性回歸模型多元線性回歸模型yX假定

10、假定1： 0E為什么有這個(gè)假定？為什么有這個(gè)假定？ 2var( )（未知）（未知）第二講第二講 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010普通最小二乘估計(jì)普通最小二乘估計(jì)v普通最小二乘估計(jì)法（普通最小二乘估計(jì)法（OLS）1、原理：殘差平方和最小、原理：殘差平方和最小 () ()yXyXy yy XX yX X 乘出來是乘出來是什么？什么？怎樣估計(jì)怎樣估計(jì) ？ 若矩陣若矩陣 的逆存在，則上述方程有解的逆存在，則上述方程有解X X 1()X XX y假定假定2：數(shù)據(jù)矩陣數(shù)據(jù)矩陣X列滿秩，即矩陣列滿秩，即矩陣 的逆存在。的逆存在。

11、X X 列滿秩的隱含意思是各個(gè)自變量之間相互獨(dú)立。列滿秩的隱含意思是各個(gè)自變量之間相互獨(dú)立。 對(duì)對(duì)求導(dǎo)并令其等于求導(dǎo)并令其等于0可得可得 X XX ykk滿足什么條件，這滿足什么條件，這個(gè)方程才有解？個(gè)方程才有解？ 滿足什么條件，滿足什么條件， 才可逆？才可逆？ X X 列滿秩的經(jīng)濟(jì)含義是什么？列滿秩的經(jīng)濟(jì)含義是什么？ 第二講第二講 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010思考題思考題p 最小二乘估計(jì)量最小二乘估計(jì)量 是隨機(jī)變量嗎？為什么？是隨機(jī)變量嗎？為什么？p 判斷一個(gè)估計(jì)量好壞的標(biāo)準(zhǔn)是什么？判斷一個(gè)估計(jì)量好壞的標(biāo)準(zhǔn)是什

12、么？第二講第二講 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010普通最小二乘估計(jì)普通最小二乘估計(jì)v普通最小二乘估計(jì)法（普通最小二乘估計(jì)法（OLS）2、估計(jì)方法優(yōu)劣的評(píng)判、估計(jì)方法優(yōu)劣的評(píng)判無偏性無偏性111()()()()X XX yX XXXX XX1 ()EX XE X估計(jì)值的均值為估計(jì)值的均值為若無偏，則有若無偏，則有 |0EX假定假定3： 因在假定因在假定1之下有之下有 |0cov, |cov, 00EXX EXXE X假定假定3是什么意思？是什么意思？ 若有若有 則有則有 有效性有效性1111var ()() ()()

13、()()EE X XXX X XX XX EX X X假定假定4： 2EI 21var ()X X可以證明這就是最小方差。可以證明這就是最小方差。 高斯高斯馬爾可夫定理：馬爾可夫定理：若前述假定條件成立，若前述假定條件成立，OLS估計(jì)量是估計(jì)量是最佳線性無偏估計(jì)量（最佳線性無偏估計(jì)量（BLUEBLUE）。 假定假定4是什么意思？是什么意思？ 一致性：一致性：limp在有限樣本情形中，經(jīng)典回歸模型假定數(shù)據(jù)在有限樣本情形中，經(jīng)典回歸模型假定數(shù)據(jù)X是是固定變量，否則最小二乘估計(jì)量可能是有偏的。固定變量，否則最小二乘估計(jì)量可能是有偏的。但在大樣本情況下，即便但在大樣本情況下，即便X是隨機(jī)的，只要是隨機(jī)

14、的，只要X滿滿足一些條件，最小二乘估計(jì)量將依概率收斂于足一些條件，最小二乘估計(jì)量將依概率收斂于真實(shí)值。真實(shí)值。1. X的每一列的每一列xk不退化。不退化。2. 隨著樣本量的增加，個(gè)體觀測值變得不重要。隨著樣本量的增加，個(gè)體觀測值變得不重要。3. X列滿秩。列滿秩。第二講第二講 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010經(jīng)典模型的基本假設(shè)經(jīng)典模型的基本假設(shè)經(jīng)典回歸模型的基本假設(shè)：經(jīng)典回歸模型的基本假設(shè)：假定假定1： 0E假定假定2：數(shù)據(jù)矩陣數(shù)據(jù)矩陣X列滿秩，即矩陣列滿秩，即矩陣 的逆存在。的逆存在。 X X |0EX假定假定3：

15、 假定假定4： 2EI 第二講第二講 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010普通最小二乘估計(jì)普通最小二乘估計(jì)v普通最小二乘估計(jì)法（普通最小二乘估計(jì)法（OLS）3最小二乘估計(jì)系數(shù)的特征最小二乘估計(jì)系數(shù)的特征 若一個(gè)多元回歸中的變量是無關(guān)的，則多元回歸的斜率若一個(gè)多元回歸中的變量是無關(guān)的，則多元回歸的斜率 與在多個(gè)簡單回歸中的斜率相同。與在多個(gè)簡單回歸中的斜率相同。 回歸超平面通過數(shù)據(jù)的均值點(diǎn)，回歸擬合值的均值等于回歸超平面通過數(shù)據(jù)的均值點(diǎn)，回歸擬合值的均值等于 實(shí)際值的均值。實(shí)際值的均值。 M：用它乘以任一向量：用它乘以任一

16、向量y，都將產(chǎn)生，都將產(chǎn)生y對(duì)對(duì)x回歸的殘差向量?；貧w的殘差向量。 注意兩個(gè)特殊矩陣注意兩個(gè)特殊矩陣M和和P P（射影矩陣，投影矩陣）：用它乘以任一向量（射影矩陣，投影矩陣）：用它乘以任一向量y，都將產(chǎn)生都將產(chǎn)生y對(duì)對(duì)x回歸的最小二乘擬合值?；貧w的最小二乘擬合值。 11()()eyXyX X XX yIX X XXyMy令擬合值令擬合值 ，則有，則有 yXyyeIM yPy1()PX X XX偏回歸系數(shù)偏回歸系數(shù)1122yXX1111122()()X XXyX1221221*1*222() ()()X M XX M yX XX y其中其中 ， 。 *212XM X*1yM y解釋：解釋： 是是

17、X2對(duì)對(duì)X1進(jìn)行回歸后的殘差變量，進(jìn)行回歸后的殘差變量， 是是y對(duì)對(duì)X1進(jìn)行進(jìn)行回歸后的殘差變量?；貧w后的殘差變量。這個(gè)過程排除了或篩掉了的影響，這個(gè)過程排除了或篩掉了的影響，所以叫偏回歸系數(shù)。所以叫偏回歸系數(shù)。 *2X*y偏回歸系數(shù)的解釋：偏回歸系數(shù)的解釋：當(dāng)其它變量相同（保持其他變量不變）當(dāng)其它變量相同（保持其他變量不變）時(shí)，特定變量對(duì)解釋變量的邊際影響（貢獻(xiàn)）。時(shí)，特定變量對(duì)解釋變量的邊際影響（貢獻(xiàn)）。 多元回歸方程的妙用：多元回歸方程的妙用：加什么，去什么。加什么，去什么。第二講第二講 普通最小二乘法普通最小二乘法 School of Management and Economics,

18、 2010思考題思考題v一個(gè)超市的老總準(zhǔn)備根據(jù)銷售經(jīng)理的能力來確定一個(gè)超市的老總準(zhǔn)備根據(jù)銷售經(jīng)理的能力來確定其工資水平？他能實(shí)現(xiàn)嗎？其工資水平？他能實(shí)現(xiàn)嗎？v如果某經(jīng)理在春節(jié)期間賣出了大量的商品，他的如果某經(jīng)理在春節(jié)期間賣出了大量的商品，他的能力真的很強(qiáng)嗎？能力真的很強(qiáng)嗎？v怎樣才能解決超市老總的困擾呢？怎樣才能解決超市老總的困擾呢？第二講第二講 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010一個(gè)例子：美國國防預(yù)算支出（一個(gè)例子：美國國防預(yù)算支出（data_2.2） 為了說明美國的為了說明美國的經(jīng)濟(jì)實(shí)力對(duì)其國防預(yù)算經(jīng)濟(jì)實(shí)力對(duì)其國防

19、預(yù)算的影響，的影響，現(xiàn)考慮如下模型現(xiàn)考慮如下模型:1223344ittttYXXX=其中其中Yt年度年度t的國防預(yù)算支出，的國防預(yù)算支出，10億美元計(jì)億美元計(jì)X2t=年度年度t的的GNP，10億美元計(jì)億美元計(jì)X3t=年度年度t的軍事銷售，的軍事銷售，10億美元計(jì)億美元計(jì)X4t=年度年度t的太空工業(yè)銷售，的太空工業(yè)銷售，10億美元計(jì)億美元計(jì)在上述方程中，哪些是控制變量？在上述方程中，哪些是控制變量？ 19621981年美國國防預(yù)算支出數(shù)據(jù)年美國國防預(yù)算支出數(shù)據(jù)需要填入的變量需要填入的變量點(diǎn)擊點(diǎn)擊回歸結(jié)果回歸結(jié)果根據(jù)回歸結(jié)果，你的結(jié)論是什么？根據(jù)回歸結(jié)果，你的結(jié)論是什么？怎樣選擇控制變量？怎樣選擇

20、控制變量？控制變量的選擇：控制變量的選擇：去什么，加什么。去什么，加什么。怎么算出來的？怎么算出來的？第二講第二講 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010思考題思考題v既然既然OLS估計(jì)量是估計(jì)量是BLUE，那么是否采用，那么是否采用OLS就就能得到滿意的結(jié)果呢？能得到滿意的結(jié)果呢？v即便是最好的，也不是令人滿意的。即便是最好的，也不是令人滿意的。v針對(duì)一組給定的樣本，怎樣判斷回歸方程的擬合針對(duì)一組給定的樣本，怎樣判斷回歸方程的擬合程度？程度？第二講第二講 普通最小二乘法普通最小二乘法 School of Manageme

21、nt and Economics, 2010222回歸方程的總體擬合度回歸方程的總體擬合度v從幾何意義上看，擬合優(yōu)度是指樣本回歸線對(duì)樣從幾何意義上看，擬合優(yōu)度是指樣本回歸線對(duì)樣本數(shù)據(jù)擬合得有多好。本數(shù)據(jù)擬合得有多好。樣本回樣本回歸線歸線樣本點(diǎn)樣本點(diǎn)總平方總平方和和回歸平方和回歸平方和殘差殘差平方平方和和樣本均值線樣本均值線一般情況下，不可能出現(xiàn)全部觀測點(diǎn)都落在樣本回一般情況下，不可能出現(xiàn)全部觀測點(diǎn)都落在樣本回歸線上。顯然若觀測值離回歸線近，則擬合程度好。歸線上。顯然若觀測值離回歸線近，則擬合程度好。 因此，一個(gè)直觀的評(píng)判標(biāo)準(zhǔn)是：殘差平方和在總平因此，一個(gè)直觀的評(píng)判標(biāo)準(zhǔn)是：殘差平方和在總平方和中

22、所占的比例越小，則擬合得越好。方和中所占的比例越小，則擬合得越好。e第二講第二講 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010擬合優(yōu)度擬合優(yōu)度判定系數(shù)（判定系數(shù)（R2）：）：21RSSRTSS回歸平方和總平方和2222222221TSS: ()ESS()()RSS TSS=ESS+RSSiiiiiiiiiyYYyYYYYeyxy總平方和回歸平方和： =殘差平方和：第二講第二講 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010擬合優(yōu)度擬合優(yōu)度 可以證明當(dāng)在回歸方程中加入另一變量時(shí)，可以證明當(dāng)在回歸方程中加入另一變量時(shí)，R2值不會(huì)下降。值不會(huì)下降。因此，考慮調(diào)整的（用自由度）因此，考慮調(diào)整的（用自由度） R2 20()1(1)e e nKRy M yn 為什么要采用調(diào)整的為什么要采用調(diào)整的R2 ？自由度：觀測樣本個(gè)數(shù)減去待估計(jì)系數(shù)的個(gè)數(shù)。自由度：觀測樣本個(gè)數(shù)減去待估計(jì)系數(shù)的個(gè)數(shù)。當(dāng)增加一個(gè)變量時(shí)，當(dāng)增加一個(gè)變量時(shí)， 可能上升，也可能下降，甚至為負(fù)?？赡苌仙?，也可能下降，甚至為負(fù)。上升還是下降依賴于新