選擇性樣本模型

1、4.5 4.5 受限被解釋變量數(shù)據(jù)模型受限被解釋變量數(shù)據(jù)模型選擇性樣本選擇性樣本 model with limited dependent variable selective samples model一、社會經(jīng)濟(jì)生活中的選擇性樣本問題一、社會經(jīng)濟(jì)生活中的選擇性樣本問題 二、二、“截?cái)嘟財(cái)唷睌?shù)據(jù)計(jì)量經(jīng)濟(jì)學(xué)模型的最大似然估計(jì)數(shù)據(jù)計(jì)量經(jīng)濟(jì)學(xué)模型的最大似然估計(jì)三、三、“截?cái)嘟財(cái)唷睌?shù)據(jù)計(jì)量經(jīng)濟(jì)學(xué)模型的數(shù)據(jù)計(jì)量經(jīng)濟(jì)學(xué)模型的heckman兩步估兩步估計(jì)計(jì) 四、四、“歸并歸并”數(shù)據(jù)計(jì)量經(jīng)濟(jì)學(xué)模型的最大似然估計(jì)數(shù)據(jù)計(jì)量經(jīng)濟(jì)學(xué)模型的最大似然估計(jì)五、選擇性樣本的經(jīng)驗(yàn)判斷和檢驗(yàn)五、選擇性樣本的經(jīng)驗(yàn)判斷和檢驗(yàn) th

2、e bank of sweden prize in economic sciences in memory of alfred nobel 2000 for his development of theory and methods for analyzing selective samples”james j heckmanusa “shadow prices, market wages and labour supply”, econometrica 42 (4), 1974, p679-694 發(fā)現(xiàn)并提出發(fā)現(xiàn)并提出“選擇性樣本選擇性樣本”問題問題。 “sample selection b

3、ias as a specification error”, econometrica 47(1), 1979, p153-161 證明了偏誤的存在并提出了證明了偏誤的存在并提出了heckman兩步修正法。兩步修正法。一、社會經(jīng)濟(jì)生活中的選擇性樣本問題一、社會經(jīng)濟(jì)生活中的選擇性樣本問題 1 1、“截?cái)嘟財(cái)唷保╰runcationtruncation）問題）問題 不能從全部截面?zhèn)€體，而只能從一部分個體中隨不能從全部截面?zhèn)€體，而只能從一部分個體中隨機(jī)抽取被解釋變量的樣本觀測值。機(jī)抽取被解釋變量的樣本觀測值。 分為兩種情況分為兩種情況: 一是，所抽取的部分個體的觀測值都大于或者小于某一是，所抽取的部

4、分個體的觀測值都大于或者小于某個確定值，即出現(xiàn)個確定值，即出現(xiàn)“掐頭掐頭”或者或者“去尾去尾”的現(xiàn)象，與的現(xiàn)象，與其它個體的觀測值相比較，存在明顯的其它個體的觀測值相比較，存在明顯的“截?cái)帱c(diǎn)截?cái)帱c(diǎn)”。 二是，所抽取的樣本觀測值來自于具有某些特征的部二是，所抽取的樣本觀測值來自于具有某些特征的部分個體，但是樣本觀測值的大小與其它個體的觀測值分個體，但是樣本觀測值的大小與其它個體的觀測值相比較，并不存在明顯的相比較，并不存在明顯的“截?cái)帱c(diǎn)截?cái)帱c(diǎn)”。 樣本選擇受到限制。樣本選擇受到限制。2 2、“歸并歸并” (censoring)(censoring)問題問題 將被解釋變量的處于某一范圍的樣本觀測值

5、都用將被解釋變量的處于某一范圍的樣本觀測值都用一個相同的值代替。一個相同的值代替。 經(jīng)常出現(xiàn)在經(jīng)常出現(xiàn)在“檢查檢查”、“調(diào)查調(diào)查”活動中，因此也稱為活動中，因此也稱為“檢查檢查”(censoring) 問題。問題。 需求函數(shù)模型中用實(shí)際消費(fèi)量作為需求量的觀測值，需求函數(shù)模型中用實(shí)際消費(fèi)量作為需求量的觀測值，如果存在供給限制，就出現(xiàn)如果存在供給限制，就出現(xiàn)“歸并歸并”問題。問題。 被解釋變量觀測值存在最高和最低的限制。例如考試被解釋變量觀測值存在最高和最低的限制。例如考試成績，最高成績，最高100，最低，最低0，出現(xiàn)，出現(xiàn)“歸并歸并”問題。問題。 被解釋變量樣本觀測值受到限制。被解釋變量樣本觀測

6、值受到限制。二、二、“截?cái)嘟財(cái)唷睌?shù)據(jù)計(jì)量經(jīng)濟(jì)學(xué)模型的最數(shù)據(jù)計(jì)量經(jīng)濟(jì)學(xué)模型的最大似然估計(jì)大似然估計(jì) 1 1、思路、思路 如果一個單方程計(jì)量經(jīng)濟(jì)學(xué)模型，只能從如果一個單方程計(jì)量經(jīng)濟(jì)學(xué)模型，只能從“掐頭掐頭”或者或者“去尾去尾”的連續(xù)區(qū)間隨機(jī)抽取被解釋變量的的連續(xù)區(qū)間隨機(jī)抽取被解釋變量的樣本觀測值，那么很顯然，抽取每一個樣本觀測樣本觀測值，那么很顯然，抽取每一個樣本觀測值的概率以及抽取一組樣本觀測值的聯(lián)合概率，值的概率以及抽取一組樣本觀測值的聯(lián)合概率，與被解釋變量的樣本觀測值不受限制的情況是不與被解釋變量的樣本觀測值不受限制的情況是不同的。同的。 如果能夠知道在這種情況下抽取一組樣本觀測值如果能夠知

7、道在這種情況下抽取一組樣本觀測值的聯(lián)合概率函數(shù)，那么就可以通過該函數(shù)極大化的聯(lián)合概率函數(shù)，那么就可以通過該函數(shù)極大化求得模型的參數(shù)估計(jì)量。求得模型的參數(shù)估計(jì)量。2 2、截?cái)喾植?、截?cái)喾植?fafpa()()() fcfpcbabadbccb()( )()() 111如果服從均勻分布u(a, b)，但是它只能在(c, b)內(nèi)取得樣本觀測值，那么取得每一個樣本觀測值的概率 為隨機(jī)變量分布范圍內(nèi)的一個常數(shù) fafpae()( )()()()()()() /() 211121 2222paa()()( )11服從正態(tài)分布 是標(biāo)準(zhǔn)正態(tài)分布條件概率函數(shù) 3 3、截?cái)啾唤忉屪兞繑?shù)據(jù)模型的最大似然估計(jì)、截?cái)啾?/p>

8、解釋變量數(shù)據(jù)模型的最大似然估計(jì) yii xiin( ,)02ynixxii(,)2f yyaii()() /)() /)11xxiiln(ln()ln)()lnlnyaiinin 2212122121xxii ln()lyyiiiiiinin2ii2iixx2xg0 224211122ia() xi iii() ()1 求解該求解該1階極值條件，即可以得到模型的參數(shù)估階極值條件，即可以得到模型的參數(shù)估計(jì)量。計(jì)量。 由于這是一個復(fù)雜的非線性問題，需要采用迭代由于這是一個復(fù)雜的非線性問題，需要采用迭代方法求解，例如牛頓法。方法求解，例如牛頓法。4 4、演示例題、演示例題農(nóng)村居民消費(fèi)模型農(nóng)村居民消費(fèi)

9、模型 根據(jù)對農(nóng)民消費(fèi)行為的分析，發(fā)現(xiàn)農(nóng)民的消費(fèi)水根據(jù)對農(nóng)民消費(fèi)行為的分析，發(fā)現(xiàn)農(nóng)民的消費(fèi)水平（平（y）既取決于來自于農(nóng)業(yè)生產(chǎn)經(jīng)營的持久收）既取決于來自于農(nóng)業(yè)生產(chǎn)經(jīng)營的持久收入（入（x1），也受到來自于從事非農(nóng)生產(chǎn)的瞬時收），也受到來自于從事非農(nóng)生產(chǎn)的瞬時收入（入（x2）的影響?，F(xiàn)有某地區(qū)）的影響?，F(xiàn)有某地區(qū)50戶農(nóng)戶的人均消戶農(nóng)戶的人均消費(fèi)、人均持久收入和人均瞬時收入的樣本觀測值費(fèi)、人均持久收入和人均瞬時收入的樣本觀測值，試圖建立該地區(qū)農(nóng)民消費(fèi)模型。，試圖建立該地區(qū)農(nóng)民消費(fèi)模型。 50, 2 , 121210ixxyiiii說明：后面的估計(jì)結(jié)果如果與教科書不同，則是教科書中的數(shù)據(jù)存在錯誤（第說

10、明：后面的估計(jì)結(jié)果如果與教科書不同，則是教科書中的數(shù)據(jù)存在錯誤（第34、43樣本的樣本的x2的觀測值中的小數(shù)點(diǎn)誤寫為逗號），本課件的結(jié)果是正確的。的觀測值中的小數(shù)點(diǎn)誤寫為逗號），本課件的結(jié)果是正確的。 樣樣本本觀觀測測值值 選擇截?cái)鄶?shù)據(jù)選擇截?cái)鄶?shù)據(jù)ml估計(jì)估計(jì) 將樣本視為不受限制的隨機(jī)抽取將樣本視為不受限制的隨機(jī)抽取 將樣本視為人均消費(fèi)大于將樣本視為人均消費(fèi)大于1500元的范圍內(nèi)隨機(jī)抽取元的范圍內(nèi)隨機(jī)抽取 將樣本視為在人均消費(fèi)大于將樣本視為在人均消費(fèi)大于1500元、小于元、小于6000元的范圍元的范圍內(nèi)隨機(jī)抽取內(nèi)隨機(jī)抽取 比較比較3種假設(shè)下的對數(shù)似然函數(shù)值可見，隨著截種假設(shè)下的對數(shù)似然函數(shù)值可

11、見，隨著截?cái)鄥^(qū)間的縮小，抽取同一個樣本的概率增大，致斷區(qū)間的縮小，抽取同一個樣本的概率增大，致使對數(shù)似然函數(shù)值增大。使對數(shù)似然函數(shù)值增大。 5 5、為什么截?cái)啾唤忉屪兞繑?shù)據(jù)模型不能采用、為什么截?cái)啾唤忉屪兞繑?shù)據(jù)模型不能采用普通最小二乘估計(jì)普通最小二乘估計(jì) 對于截?cái)啾唤忉屪兞繑?shù)據(jù)計(jì)量經(jīng)濟(jì)學(xué)模型，如果對于截?cái)啾唤忉屪兞繑?shù)據(jù)計(jì)量經(jīng)濟(jì)學(xué)模型，如果仍然把它看作為經(jīng)典的線性模型，采用仍然把它看作為經(jīng)典的線性模型，采用ols估計(jì)，估計(jì)，會產(chǎn)生什么樣的結(jié)果？會產(chǎn)生什么樣的結(jié)果？ 因?yàn)橐驗(yàn)閥i只能在大于只能在大于a的范圍內(nèi)取得觀測值，那么的范圍內(nèi)取得觀測值，那么yi的條件均值為：的條件均值為： e y yayy

12、 ya dyaaiiiiiai()()() /)() /)xxxiii1e y yaiii()() xi y ya e y yauuiiiiiii ()() xi iix e yyaddiiiiiiiiii()()()()xxiii2i211var uiiiii()()() 22211 由于被解釋變量數(shù)據(jù)的截?cái)鄦栴}，使得原模型變由于被解釋變量數(shù)據(jù)的截?cái)鄦栴}，使得原模型變換為包含一個非線性項(xiàng)模型。換為包含一個非線性項(xiàng)模型。 如果采用如果采用ols直接估計(jì)原模型：直接估計(jì)原模型： 實(shí)際上忽略了一個非線性項(xiàng)；實(shí)際上忽略了一個非線性項(xiàng)； 忽略了隨機(jī)誤差項(xiàng)實(shí)際上的異方差性。忽略了隨機(jī)誤差項(xiàng)實(shí)際上的異方差

13、性。 這就造成參數(shù)估計(jì)量的偏誤，而且如果不了解解釋變這就造成參數(shù)估計(jì)量的偏誤，而且如果不了解解釋變量的分布，要估計(jì)該偏誤的嚴(yán)重性也是很困難的。量的分布，要估計(jì)該偏誤的嚴(yán)重性也是很困難的。 三、三、“截?cái)嘟財(cái)唷睌?shù)據(jù)計(jì)量經(jīng)濟(jì)學(xué)模型的數(shù)據(jù)計(jì)量經(jīng)濟(jì)學(xué)模型的heckmanheckman兩步估計(jì)兩步估計(jì) 說明說明 如果對截?cái)啾唤忉屪兞繑?shù)據(jù)計(jì)量經(jīng)濟(jì)學(xué)模型采用如果對截?cái)啾唤忉屪兞繑?shù)據(jù)計(jì)量經(jīng)濟(jì)學(xué)模型采用最大似然估計(jì)，必須首先求得最大似然估計(jì)，必須首先求得“截?cái)喾植冀財(cái)喾植肌?，為，為此，必須存在明確的此，必須存在明確的“截?cái)帱c(diǎn)截?cái)帱c(diǎn)”。 在實(shí)際的截?cái)鄶?shù)據(jù)模型中，這個條件經(jīng)常不能被在實(shí)際的截?cái)鄶?shù)據(jù)模型中，這個條件經(jīng)

14、常不能被滿足，諸如利用上市公司為樣本研究全部企業(yè)的滿足，諸如利用上市公司為樣本研究全部企業(yè)的行為，就不存在明確的被解釋變量的行為，就不存在明確的被解釋變量的“截?cái)帱c(diǎn)截?cái)帱c(diǎn)”。 關(guān)于這類模型的估計(jì)，關(guān)于這類模型的估計(jì)，heckman于于1979年提出年提出了兩步修正法。了兩步修正法。 下面以一個實(shí)例說明兩步修正法的原理和步驟。下面以一個實(shí)例說明兩步修正法的原理和步驟。 1 1、heckmanheckman兩步修正模型兩步修正模型 sample selection bias as a specification error, econometrica 47(1), 1979, p153-161 模

15、型模型 為了研究為了研究企業(yè)企業(yè)經(jīng)理報(bào)酬經(jīng)理報(bào)酬w與影響因素與影響因素x之間的關(guān)系，在之間的關(guān)系，在上市公司上市公司中隨機(jī)抽取中隨機(jī)抽取n1個企業(yè)為樣本，建立如下的模個企業(yè)為樣本，建立如下的模型：型： 11, 2 , 1niwii1ix- 為了修正偏誤，為了修正偏誤，在全部企業(yè)（包括上市和未上市）中隨在全部企業(yè)（包括上市和未上市）中隨機(jī)抽取機(jī)抽取n2個企業(yè)為樣本，建立如下的二元離散選擇模型：個企業(yè)為樣本，建立如下的二元離散選擇模型： 22*, 2 , 1niyii2iz經(jīng)理報(bào)酬模型經(jīng)理報(bào)酬模型上市傾向模型上市傾向模型 修正原理修正原理)()0(21*12iziiiieye)()0,(21*2i

16、1iizxxiiiieyweiiiywe1*)0,(1iixx)()(222i2izzi11, 2 , 1niwiii1ix逆米爾斯比逆米爾斯比inverse mills ratio 該模型已經(jīng)修正了選擇性偏誤，可以采用該模型已經(jīng)修正了選擇性偏誤，可以采用ols進(jìn)行估進(jìn)行估計(jì)。計(jì)。2 2、heckmanheckman兩步估計(jì)步驟兩步估計(jì)步驟 具體步驟如下：具體步驟如下： 第一步：利用從全部企業(yè)（包括上市和未上市）中隨第一步：利用從全部企業(yè)（包括上市和未上市）中隨機(jī)抽取的樣本，估計(jì)上市傾向模型機(jī)抽取的樣本，估計(jì)上市傾向模型 ；并利用估計(jì)結(jié)果；并利用估計(jì)結(jié)果計(jì)算逆米爾斯比的值。計(jì)算逆米爾斯比的值。

17、 第二步，利用選擇性樣本觀測值和計(jì)算得到的逆米爾第二步，利用選擇性樣本觀測值和計(jì)算得到的逆米爾斯比的值，將斯比的值，將(1)作為一個待估計(jì)參數(shù)，估計(jì)經(jīng)理報(bào)作為一個待估計(jì)參數(shù)，估計(jì)經(jīng)理報(bào)酬模型，得到酬模型，得到1的估計(jì)。的估計(jì)。 注意，在抽取樣本時間必須保證所有選擇性樣本包含注意，在抽取樣本時間必須保證所有選擇性樣本包含于全部樣本之中于全部樣本之中。四、四、“歸并歸并”數(shù)據(jù)計(jì)量經(jīng)濟(jì)學(xué)模型的數(shù)據(jù)計(jì)量經(jīng)濟(jì)學(xué)模型的最大似然估計(jì)最大似然估計(jì) 1 1、思路、思路 以一種簡單的情況為例，討論以一種簡單的情況為例，討論“歸并歸并”問題的計(jì)問題的計(jì)量經(jīng)濟(jì)學(xué)模型。即假設(shè)被解釋變量服從正態(tài)分布，量經(jīng)濟(jì)學(xué)模型。即假設(shè)

18、被解釋變量服從正態(tài)分布，其樣本觀測值以其樣本觀測值以0為界，凡小于為界，凡小于0的都?xì)w并為的都?xì)w并為0，大于大于0的則取實(shí)際值。如果的則取實(shí)際值。如果y*以表示原始被解釋變以表示原始被解釋變量，量，y以表示歸并后的被解釋變量，那么則有：以表示歸并后的被解釋變量，那么則有： yyyyy000當(dāng)當(dāng)*yn*( ,) 2 單方程線性單方程線性“歸并歸并”問題的計(jì)量經(jīng)濟(jì)學(xué)模型為：問題的計(jì)量經(jīng)濟(jì)學(xué)模型為： yii xiin( ,)02如果能夠得到如果能夠得到y(tǒng)i的概率密度函數(shù)，那么就可以方便的概率密度函數(shù)，那么就可以方便地采用最大似然法估計(jì)模型，這就是研究這類問題地采用最大似然法估計(jì)模型，這就是研究這類問

19、題的思路。的思路。由于該模型是由由于該模型是由tobin于于1958年最早提出的，所以年最早提出的，所以也稱為也稱為tobin模型。模型。2 2、“歸并歸并”變量的正態(tài)分布變量的正態(tài)分布 由于原始被解釋變量由于原始被解釋變量y*服從正態(tài)分布，有服從正態(tài)分布，有 p yp y()()*001p yp yy( )()*當(dāng)03 3、歸并被解釋變量數(shù)據(jù)模型的最大似然估計(jì)、歸并被解釋變量數(shù)據(jù)模型的最大似然估計(jì) 該似然函數(shù)由兩部分組成，一部分對應(yīng)于沒有限該似然函數(shù)由兩部分組成，一部分對應(yīng)于沒有限制的觀測值，是經(jīng)典回歸部分；一部分對應(yīng)于受制的觀測值，是經(jīng)典回歸部分；一部分對應(yīng)于受到限制的觀測值。到限制的觀測

20、值。 這是一個非標(biāo)準(zhǔn)的似然函數(shù)，它實(shí)際上是離散分這是一個非標(biāo)準(zhǔn)的似然函數(shù)，它實(shí)際上是離散分布與連續(xù)分布的混合。布與連續(xù)分布的混合。 如何理解后一部分？如何理解后一部分？ lnln()ln()lnlyiyyii 122122200xxii為什么要求和？ 如果樣本觀測值不是以如果樣本觀測值不是以0為界，而是以某一個數(shù)為界，而是以某一個數(shù)值值a為界，則有為界，則有 yayayyya當(dāng)當(dāng)*yn*( ,) 2估計(jì)原理與方法相同。估計(jì)原理與方法相同。4 4、演示例題、演示例題 將將3個個5800視視為歸并為歸并數(shù)據(jù)數(shù)據(jù) 選擇歸并估計(jì)選擇歸并估計(jì) 估計(jì)結(jié)果估計(jì)結(jié)果 比較不受限制和歸并假設(shè)下的對數(shù)似然函數(shù)值可

21、比較不受限制和歸并假設(shè)下的對數(shù)似然函數(shù)值可見，將樣本中見，將樣本中3個個5800元的觀測值視為元的觀測值視為5800元的元的歸并時，歸并時，抽取該觀測值的概率顯著增大，致使模抽取該觀測值的概率顯著增大，致使模型估計(jì)的對數(shù)似然函數(shù)值顯著增大。型估計(jì)的對數(shù)似然函數(shù)值顯著增大。 5 5、歸并被解釋變量模型最大似然估計(jì)的條件、歸并被解釋變量模型最大似然估計(jì)的條件 構(gòu)造歸并數(shù)據(jù)似然函數(shù)時是以一個基本假設(shè)為條件構(gòu)造歸并數(shù)據(jù)似然函數(shù)時是以一個基本假設(shè)為條件的，即假設(shè)歸并數(shù)據(jù)中不可觀測的部分和可觀測的的，即假設(shè)歸并數(shù)據(jù)中不可觀測的部分和可觀測的部分具有相同的分布，例如都服從正態(tài)分布。部分具有相同的分布，例如都

22、服從正態(tài)分布。 如果這一條件得不到滿足，就不能得到似然函數(shù)，如果這一條件得不到滿足，就不能得到似然函數(shù)，最大似然估計(jì)將遇到困難。最大似然估計(jì)將遇到困難。 這時，這時，heckman兩步估計(jì)是一種合適的估計(jì)方法。兩步估計(jì)是一種合適的估計(jì)方法。 五、選擇性樣本的經(jīng)驗(yàn)判斷和檢驗(yàn)五、選擇性樣本的經(jīng)驗(yàn)判斷和檢驗(yàn) 1 1、經(jīng)驗(yàn)判斷、經(jīng)驗(yàn)判斷 選擇性樣本問題是對微觀截面?zhèn)€體而言的，所以選擇性樣本問題是對微觀截面?zhèn)€體而言的，所以對于時間序列樣本，不考慮選擇性樣本問題。對于時間序列樣本，不考慮選擇性樣本問題。 如果以截面上的全部個體作為樣本，不考慮截?cái)嗳绻越孛嫔系娜總€體作為樣本，不考慮截?cái)鄦栴}。如果按照抽樣理論選取截面上的部分個體問題。如果按照抽樣理論選取截面上的部分個體作為樣本，盡管樣本觀測值處