第八講非線性回歸

1、非線性回歸函數(shù)非線性回歸函數(shù)線性回歸的最大特點(diǎn)是：總體回歸函數(shù)線性回歸的最大特點(diǎn)是：總體回歸函數(shù)的斜率為常數(shù)。故的斜率為常數(shù)。故X變化一個(gè)單位對(duì)變化一個(gè)單位對(duì)Y的的效應(yīng)不依賴于效應(yīng)不依賴于X本身的取值。本身的取值。我們今天研究的非線性回歸中，總體回我們今天研究的非線性回歸中，總體回歸函數(shù)的斜率不再是常數(shù)，歸函數(shù)的斜率不再是常數(shù)，X的變化對(duì)的變化對(duì)Y的效應(yīng)依賴于一個(gè)或多個(gè)自變量的取值。的效應(yīng)依賴于一個(gè)或多個(gè)自變量的取值。非線性回歸函數(shù)的一般建模方法非線性回歸函數(shù)的一般建模方法我們考慮測試成績和地區(qū)收入的關(guān)系我們考慮測試成績和地區(qū)收入的關(guān)系二次回歸模型二次回歸模型在在stata中需要用中需要用ge

2、n命令產(chǎn)生一個(gè)新的變命令產(chǎn)生一個(gè)新的變量表示：量表示：Income2。gen income2=income2reg TestScore income income2通過通過t檢驗(yàn)我們發(fā)現(xiàn)，檢驗(yàn)我們發(fā)現(xiàn)， Income2顯著，所以，可顯著，所以，可以得出結(jié)論，二次模型優(yōu)于線性模型。以得出結(jié)論，二次模型優(yōu)于線性模型。如何決定是用線性還是非線性？如何決定是用線性還是非線性？最簡單的辦法是利用最簡單的辦法是利用t檢驗(yàn)考察二次方的顯檢驗(yàn)考察二次方的顯著性：著性：對(duì)于方程對(duì)于方程我們需要檢驗(yàn)我們需要檢驗(yàn)income2前的系數(shù)前的系數(shù)2是否顯是否顯著。著。非線性設(shè)定形式中非線性設(shè)定形式中X變化對(duì)變化對(duì)Y的效

3、應(yīng)的效應(yīng)想知道在固定其他自變量想知道在固定其他自變量X2、X3Xk的情形下，當(dāng)自變量的情形下，當(dāng)自變量X1變化變化X時(shí)，預(yù)期時(shí)，預(yù)期因變量因變量Y如何變化。當(dāng)總體回歸函數(shù)為線如何變化。當(dāng)總體回歸函數(shù)為線性時(shí)，很容易計(jì)算這個(gè)效應(yīng)，性時(shí)，很容易計(jì)算這個(gè)效應(yīng)， Y=11X1但當(dāng)回歸函數(shù)為非線性時(shí)，由于但當(dāng)回歸函數(shù)為非線性時(shí)，由于Y的預(yù)期的預(yù)期變化依賴于自變量的取值，因此其計(jì)算變化依賴于自變量的取值，因此其計(jì)算較復(fù)雜。較復(fù)雜。我們假定非線性總體回歸的一般公式為我們假定非線性總體回歸的一般公式為書中的兩個(gè)例子書中的兩個(gè)例子1。地區(qū)收入從。地區(qū)收入從10-11（單位是千美（單位是千美元）元）2。地區(qū)收入從

4、。地區(qū)收入從40-4122(607.33.85 11 0.0423 11 )(607.33.85 100.0423 10 )2.96Y22(607.33.85 41 0.0423 41 )(607.33.85 400.0423 40 )0.42Y可以看出，可以看出，income對(duì)對(duì)testscore的彈性的彈性逐漸變小。逐漸變小。效應(yīng)估計(jì)的標(biāo)準(zhǔn)誤差效應(yīng)估計(jì)的標(biāo)準(zhǔn)誤差在上例中在上例中利用多元回歸建立非線性模型的利用多元回歸建立非線性模型的一般方法一般方法 (1)確定一種可能的非線性關(guān)系。最佳做法確定一種可能的非線性關(guān)系。最佳做法是利用經(jīng)濟(jì)理論和你對(duì)實(shí)際應(yīng)用的了解提出是利用經(jīng)濟(jì)理論和你對(duì)實(shí)際應(yīng)用的

5、了解提出一種可能的非線性關(guān)系。在看數(shù)據(jù)之前，問一種可能的非線性關(guān)系。在看數(shù)據(jù)之前，問自己聯(lián)系自己聯(lián)系Y和和X的回歸函數(shù)斜率是否依賴于的回歸函數(shù)斜率是否依賴于X或其他自變量的取值?；蚱渌宰兞康娜≈怠?(2)確定一個(gè)非線性函數(shù)并用確定一個(gè)非線性函數(shù)并用OLS估計(jì)其參估計(jì)其參數(shù)。后續(xù)章節(jié)將會(huì)學(xué)習(xí)多種非線性函數(shù)形式。數(shù)。后續(xù)章節(jié)將會(huì)學(xué)習(xí)多種非線性函數(shù)形式。 (3)確定非線性模型是否改進(jìn)了線性模型。大確定非線性模型是否改進(jìn)了線性模型。大多數(shù)情況下可以利用多數(shù)情況下可以利用t統(tǒng)計(jì)量和統(tǒng)計(jì)量和F統(tǒng)計(jì)量來檢驗(yàn)統(tǒng)計(jì)量來檢驗(yàn)總體回歸函數(shù)是線性的原假設(shè)和非線性的備擇總體回歸函數(shù)是線性的原假設(shè)和非線性的備擇假設(shè)。假

6、設(shè)。 (4)畫出非線性回歸函數(shù)估計(jì)圖。（線性擬合畫出非線性回歸函數(shù)估計(jì)圖。（線性擬合圖）。圖）。 (5)利用前面講的公式估計(jì)利用前面講的公式估計(jì)X變化對(duì)變化對(duì)Y的效應(yīng)。的效應(yīng)。非線性函數(shù)的形式非線性函數(shù)的形式一。多項(xiàng)式函數(shù)一。多項(xiàng)式函數(shù)常用的多項(xiàng)式函數(shù)：常用的多項(xiàng)式函數(shù)：r=2 二次回歸模型二次回歸模型r=3 立方回歸模型立方回歸模型2012iiiYXXu230123iiiiYXXXu是否需要多項(xiàng)式函數(shù)是否需要多項(xiàng)式函數(shù)然后利用然后利用F統(tǒng)計(jì)量進(jìn)行檢驗(yàn)統(tǒng)計(jì)量進(jìn)行檢驗(yàn)1。最直觀的辦法是畫散點(diǎn)圖。最直觀的辦法是畫散點(diǎn)圖。2。很多涉及經(jīng)濟(jì)數(shù)據(jù)的應(yīng)用中，非線性。很多涉及經(jīng)濟(jì)數(shù)據(jù)的應(yīng)用中，非線性函數(shù)都是

7、光滑的，也就是不存在急劇的函數(shù)都是光滑的，也就是不存在急劇的跳躍或跳躍或“尖峰尖峰”。則選擇較小的多項(xiàng)式。則選擇較小的多項(xiàng)式最高階數(shù)，如最高階數(shù)，如2, 3或或4較合適。較合適。02004006008001000 x102000004000006000008000001000000y202004006008001000 x102.00e+084.00e+086.00e+088.00e+081.00e+09y302004006008001000 x102.00e+114.00e+116.00e+118.00e+111.00e+12y4二次方、三次方二次方、三次方和四次方曲線和四次方曲線23012

8、3riiiriiYXXXXu選取好最高階數(shù)后，按照下列步驟進(jìn)行：選取好最高階數(shù)后，按照下列步驟進(jìn)行：(1)選定最大的選定最大的r值并估計(jì)值并估計(jì)r階多項(xiàng)式回歸。階多項(xiàng)式回歸。(2)利用利用t統(tǒng)計(jì)量檢驗(yàn)統(tǒng)計(jì)量檢驗(yàn)Xr的系數(shù)的系數(shù)r為零的假設(shè)。為零的假設(shè)。如果拒絕原假設(shè)，則如果拒絕原假設(shè)，則Xr應(yīng)包含在回歸中，應(yīng)包含在回歸中，故使用故使用r階多項(xiàng)式。階多項(xiàng)式。 (3)如果在步驟如果在步驟(2)中不能拒絕中不能拒絕rr =0，則從，則從回歸中剔除回歸中剔除Xr并估計(jì)并估計(jì)r-1階多項(xiàng)式回歸。接著階多項(xiàng)式回歸。接著檢驗(yàn)檢驗(yàn)Xr-1的系數(shù)是否為零。如果拒絕則使用的系數(shù)是否為零。如果拒絕則使用r-1階多項(xiàng)

9、式。階多項(xiàng)式。 (4)如果在步驟如果在步驟(3)中不能拒絕中不能拒絕r-1r-1 =0 ，重復(fù)這一步直到回歸中最高次方的系數(shù)統(tǒng)計(jì)顯重復(fù)這一步直到回歸中最高次方的系數(shù)統(tǒng)計(jì)顯著為止。著為止。例一例一例二例二在工資方程中，建立在工資方程中，建立ln(wage)與與exper的多項(xiàng)式關(guān)系。的多項(xiàng)式關(guān)系。對(duì)數(shù)形式對(duì)數(shù)形式對(duì)數(shù)形式經(jīng)常用于表示變量的百分率變對(duì)數(shù)形式經(jīng)常用于表示變量的百分率變化。例如：化。例如：在消費(fèi)者需求的經(jīng)濟(jì)分析中，通常假定在消費(fèi)者需求的經(jīng)濟(jì)分析中，通常假定價(jià)格上漲價(jià)格上漲1%導(dǎo)致需求量下降一定的導(dǎo)致需求量下降一定的 百百分率。稱價(jià)格上漲分率。稱價(jià)格上漲1%引起的需求下降引起的需求下降百

10、分率為價(jià)格彈性百分率為價(jià)格彈性(elasticity)。對(duì)數(shù)形式是經(jīng)濟(jì)學(xué)中最常用的形式，廣泛地應(yīng)用在對(duì)數(shù)形式是經(jīng)濟(jì)學(xué)中最常用的形式，廣泛地應(yīng)用在各個(gè)領(lǐng)域中：各個(gè)領(lǐng)域中：例如：在宏觀經(jīng)濟(jì)學(xué)中，我們?nèi)绻胙芯坷纾涸诤暧^經(jīng)濟(jì)學(xué)中，我們?nèi)绻胙芯客顿Y投資的的增增長率長率，通常用，通常用 表示，其中表示，其中一般可以表達(dá)為：一般可以表達(dá)為：( )( )I tI t( )( ) /I tdI tdt( )1ln( )( )( )( )I tdI tI tI tI tdt三種對(duì)數(shù)回歸模型三種對(duì)數(shù)回歸模型關(guān)鍵問題是理解關(guān)鍵問題是理解1的含義的含義因?yàn)樵撃Ｐ椭幸驗(yàn)樵撃Ｐ椭衁不是對(duì)數(shù)形式而不是對(duì)數(shù)形式而X是是，

11、所以有時(shí)稱它為所以有時(shí)稱它為線性對(duì)數(shù)模型線性對(duì)數(shù)模型。在線性對(duì)數(shù)模型中，在線性對(duì)數(shù)模型中， 1 表示表示X變變化化1%引起引起Y的變化為的變化為0.01 1 。推導(dǎo)：我們考察自變量推導(dǎo)：我們考察自變量X變化變化X的過程。的過程。此時(shí)：此時(shí)：010111()()ln() ln()ln()ln()()f XXf XXXXXXXXX即即X變化變化1%時(shí)，時(shí)， 為為0.01。XX例子例子收入每增加收入每增加1%時(shí)，成績會(huì)增加時(shí)，成績會(huì)增加0.01*26.42=0.3642分。分。結(jié)論：線形對(duì)數(shù)形式一般用來表示結(jié)論：線形對(duì)數(shù)形式一般用來表示當(dāng)自變量變化當(dāng)自變量變化1%時(shí)，因變量變化的時(shí)，因變量變化的具體

12、數(shù)值。具體數(shù)值。書中的兩個(gè)例子書中的兩個(gè)例子1。地區(qū)收入從。地區(qū)收入從10-11（單位是千美（單位是千美元）元）2。地區(qū)收入從。地區(qū)收入從40-41例一：例一：Y=557.8+36.42ln(11) - 557.8+36.42ln(10) =36.42*ln(11)-ln(10)=3.47Y=557.8+36.42ln(41) - 557.8+36.42ln(40) =36.42*ln(14)-ln(40)=0.90線性對(duì)數(shù)回歸函數(shù)線性對(duì)數(shù)回歸函數(shù)如何理解如何理解1的含義的含義因?yàn)樵撃Ｐ椭幸驗(yàn)樵撃Ｐ椭衁是對(duì)數(shù)形式而是對(duì)數(shù)形式而X不是不是，所以有時(shí)稱它為所以有時(shí)稱它為對(duì)數(shù)線性模型對(duì)數(shù)線性模型。在

13、線性對(duì)數(shù)模型中，在線性對(duì)數(shù)模型中， 1 表示表示X變化變化1個(gè)個(gè)單位引起單位引起Y的變化為的變化為(100*1)%。推導(dǎo)：我們考察自變量推導(dǎo)：我們考察自變量X變化變化X的過程。的過程。此時(shí)：此時(shí)：01011()()ln()ln( )()() ()f XXf XYYYYYXXXX1YXY 我們考慮一個(gè)大學(xué)畢業(yè)生年齡和收入關(guān)系的例子。我們考慮一個(gè)大學(xué)畢業(yè)生年齡和收入關(guān)系的例子。很多雇傭合同都指出職工多工作一年，則他或她很多雇傭合同都指出職工多工作一年，則他或她的收入就增加一定的百分率。的收入就增加一定的百分率。由該回歸知年齡每增加由該回歸知年齡每增加1歲，預(yù)計(jì)收入增加歲，預(yù)計(jì)收入增加(100*0.

14、0086)*=0.86%再考慮工資方程中，教育年限每增加再考慮工資方程中，教育年限每增加1年工資年工資增加的百分率。增加的百分率。注意：因?yàn)樽宰兞坎话魏螌?duì)數(shù)形式，注意：因?yàn)樽宰兞坎话魏螌?duì)數(shù)形式，所以所以對(duì)數(shù)線性模型對(duì)數(shù)線性模型的擬合圖是的擬合圖是一條直線。一條直線。6.46.456.56.556.60204060incomelntestscrFitted values如何理解如何理解1的含義的含義因?yàn)樵撃Ｐ椭幸驗(yàn)樵撃Ｐ椭衁是對(duì)數(shù)形式是對(duì)數(shù)形式X也是也是，所，所以有時(shí)稱它為以有時(shí)稱它為雙對(duì)數(shù)模型雙對(duì)數(shù)模型。在線性對(duì)數(shù)模型中，在線性對(duì)數(shù)模型中， 1 表示表示X變化變化1%個(gè)單位引起個(gè)單位引

15、起Y的變化為的變化為1%。雙對(duì)數(shù)函數(shù)最典型的例子是生產(chǎn)函數(shù)production。原則原則1：在解釋變量均顯著的前提下，當(dāng)被：在解釋變量均顯著的前提下，當(dāng)被解釋變量解釋變量Y的函數(shù)形式相同時(shí)，可以通過的函數(shù)形式相同時(shí)，可以通過adj R2比較模型的優(yōu)劣。比較模型的優(yōu)劣。但如果被解釋變量但如果被解釋變量Y的函數(shù)形式不同，例如的函數(shù)形式不同，例如一個(gè)是一個(gè)是ln(Y)，而另一個(gè)是，而另一個(gè)是Y，則通過，則通過adj R2比較模型的優(yōu)劣沒有意義。比較模型的優(yōu)劣沒有意義。 原則二：根據(jù)經(jīng)濟(jì)理論和對(duì)問題的實(shí)踐認(rèn)知原則二：根據(jù)經(jīng)濟(jì)理論和對(duì)問題的實(shí)踐認(rèn)知確定用確定用Y的對(duì)數(shù)形式是否有意義。的對(duì)數(shù)形式是否有意義

16、。經(jīng)常使用對(duì)數(shù)形式表示增長率的經(jīng)濟(jì)指標(biāo)：經(jīng)常使用對(duì)數(shù)形式表示增長率的經(jīng)濟(jì)指標(biāo)：GDP 投資投資 消費(fèi)消費(fèi) 工資工資 成績成績 等等。等等。測試成績和地區(qū)收入的多項(xiàng)式和測試成績和地區(qū)收入的多項(xiàng)式和對(duì)數(shù)模型對(duì)數(shù)模型挑選一種最好的函數(shù)形式：挑選一種最好的函數(shù)形式：到底選擇多項(xiàng)式還是對(duì)數(shù)？到底選擇多項(xiàng)式還是對(duì)數(shù)？在多項(xiàng)式和對(duì)數(shù)中哪種形式最好？在多項(xiàng)式和對(duì)數(shù)中哪種形式最好？多項(xiàng)式和對(duì)數(shù)的組合效果如何？多項(xiàng)式和對(duì)數(shù)的組合效果如何？1。多項(xiàng)式形式。多項(xiàng)式形式結(jié)論，立方形式改進(jìn)了方程，并且結(jié)論，立方形式改進(jìn)了方程，并且income3前的系數(shù)顯著，因此采用立方形式。前的系數(shù)顯著，因此采用立方形式。我們嘗試使用對(duì)

17、數(shù)的高次方形式我們嘗試使用對(duì)數(shù)的高次方形式立方和線性對(duì)數(shù)形式的比較立方和線性對(duì)數(shù)形式的比較因?yàn)槭蔷€性對(duì)數(shù)，所以可以比較因?yàn)槭蔷€性對(duì)數(shù)，所以可以比較adj R2。由于本題線性對(duì)數(shù)較高，所以采用線性由于本題線性對(duì)數(shù)較高，所以采用線性對(duì)數(shù)形式。對(duì)數(shù)形式。自變量的交互作用（交乘項(xiàng)）自變量的交互作用（交乘項(xiàng)）解釋變量之間往往不是相互獨(dú)立的，當(dāng)解釋變量之間往往不是相互獨(dú)立的，當(dāng)兩個(gè)解釋變量之間相互影響，對(duì)被解釋兩個(gè)解釋變量之間相互影響，對(duì)被解釋變量具有交互作用時(shí)，往往引入交乘項(xiàng)。變量具有交互作用時(shí)，往往引入交乘項(xiàng)。即即某個(gè)自變量變化對(duì)某個(gè)自變量變化對(duì)Y的效應(yīng)依賴于另一的效應(yīng)依賴于另一個(gè)自變量取值。個(gè)自變量

18、取值。我們將分三種情況考慮：我們將分三種情況考慮：1。兩個(gè)自變量都是虛擬變量；。兩個(gè)自變量都是虛擬變量；2。一個(gè)自變量是虛擬變量而另一個(gè)是連。一個(gè)自變量是虛擬變量而另一個(gè)是連續(xù)變量；續(xù)變量；3。兩個(gè)變量都是連續(xù)變量。兩個(gè)變量都是連續(xù)變量。兩個(gè)虛擬變量的交互作用兩個(gè)虛擬變量的交互作用其中其中Y是工資的對(duì)數(shù)，是工資的對(duì)數(shù)，D1表示性別（表示性別（1為女性），為女性），D2表示是否擁有大學(xué)學(xué)位（表示是否擁有大學(xué)學(xué)位（1為有）。為有）。按照上，固定性別時(shí)，無論男性女性，按照上，固定性別時(shí)，無論男性女性，擁有大學(xué)學(xué)位的效應(yīng)是一樣的。但現(xiàn)實(shí)擁有大學(xué)學(xué)位的效應(yīng)是一樣的。但現(xiàn)實(shí)情況是，在勞動(dòng)市場中文憑的價(jià)值對(duì)

19、男情況是，在勞動(dòng)市場中文憑的價(jià)值對(duì)男性和女性而言是不同的。性和女性而言是不同的。 顯然，上述形式?jīng)]有考慮到性別和獲得顯然，上述形式?jīng)]有考慮到性別和獲得大學(xué)學(xué)位的交互作用，因此我們引入一大學(xué)學(xué)位的交互作用，因此我們引入一個(gè)交乘項(xiàng)個(gè)交乘項(xiàng)D1*D2進(jìn)行修正。進(jìn)行修正。分析：分析：1。給定。給定D1的取值，的取值，D2=0 和和D2=1的數(shù)的數(shù)學(xué)期望為：學(xué)期望為：E(Y|D1=d1,D2=0)=0+1d1E(Y|D1=d1,D2=1)=0+1d1+ 2+3d1第二項(xiàng)減去第一項(xiàng)，得第二項(xiàng)減去第一項(xiàng)，得2+3d1這是大學(xué)畢業(yè)生和非大學(xué)畢業(yè)生對(duì)這是大學(xué)畢業(yè)生和非大學(xué)畢業(yè)生對(duì)Y的影響效應(yīng)的影響效應(yīng)之差。但我

20、們發(fā)現(xiàn)，這種效應(yīng)依賴于之差。但我們發(fā)現(xiàn)，這種效應(yīng)依賴于d1。當(dāng)當(dāng)d1=0(男性男性) 對(duì)對(duì)Y的效應(yīng)為的效應(yīng)為2當(dāng)當(dāng)d1=0(女性女性) 對(duì)對(duì)Y的效應(yīng)為的效應(yīng)為2+33即是女性和男性獲得大學(xué)學(xué)位的效即是女性和男性獲得大學(xué)學(xué)位的效應(yīng)之差。應(yīng)之差?？梢?，是否大學(xué)畢業(yè)可見，是否大學(xué)畢業(yè)(D2)對(duì)工資對(duì)數(shù)的對(duì)工資對(duì)數(shù)的影響效果不僅取決于它本身，而且取決影響效果不僅取決于它本身，而且取決于性別于性別(D1)。在固定英語學(xué)習(xí)者百分率在固定英語學(xué)習(xí)者百分率HiEL時(shí)的情況下，從低學(xué)生時(shí)的情況下，從低學(xué)生/教師比學(xué)區(qū)變到高學(xué)生教師比學(xué)區(qū)變到高學(xué)生/教師比學(xué)區(qū)的效應(yīng)預(yù)測值為教師比學(xué)區(qū)的效應(yīng)預(yù)測值為2+3d1，在本題中為，在本題中為-1.9-3.5HiEL。在本題中我們還可以求以下數(shù)據(jù)：在本題中我們還可以求以下數(shù)據(jù)：1。低學(xué)生。低學(xué)生/教師比和低英語學(xué)習(xí)者百分率學(xué)區(qū)教師比和低英語學(xué)習(xí)者百分率學(xué)區(qū)的樣本平均側(cè)試成績。的樣本平均側(cè)試成績。2。低學(xué)生。低學(xué)生/教師比和高英語學(xué)習(xí)者百分率學(xué)區(qū)教師比和高英語學(xué)習(xí)者百分率學(xué)區(qū)的樣本平均側(cè)試成績。的樣本平均側(cè)試成績。3。高學(xué)生。高學(xué)生/教師比和低英語學(xué)習(xí)者百分率學(xué)區(qū)教師比和低英語學(xué)習(xí)者百分率學(xué)區(qū)的樣本平均側(cè)試成績。的樣本平均側(cè)試成績。4。高學(xué)生。高學(xué)生/教師比和高英語學(xué)習(xí)者百分率學(xué)區(qū)教師比和高英語學(xué)習(xí)者百分率學(xué)區(qū)的樣本平均側(cè)試成績。