第8章 非線性回歸_第1頁
第8章 非線性回歸_第2頁
第8章 非線性回歸_第3頁
第8章 非線性回歸_第4頁
第8章 非線性回歸_第5頁
已閱讀5頁,還剩86頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

1、8.1 可化為線性回歸的曲線回歸8.2 多項式回歸8.3 非線性模型8.4 本章小結與評注y=0+1ex + (8.1) 可線性化的曲線回歸模型, 也稱為本質線性回歸模型 只須令x=ex即可化為y對x是線性的形式y(tǒng)=0+1x+需要指出的是,新引進的自變量只能依賴于原始變量,而不能與未知參數有關。y=0+1x+2x2+pxp + (8.2)令x1=x,x2=x2,,xp=xp,于是得到y(tǒng)關于x1,x2,,xp的線性表達式y(tǒng)=0+1x1+2x2+pxp+ (8.2)式本來只有一個自變量x,是一元p次多項式回歸,在線性化后,變?yōu)閜元線性回歸。y=aeb xe (8.3)可線性化的曲線回歸模型, 也稱

2、為本質線性回歸模型 對等式兩邊同時取自然對數,得:lny=lna+bx+令y=lny, 0=lna,1=b,于是得到y(tǒng)關于x的一元線性回歸模型y=0+1x+不可以線性化的曲線回歸模型, 也稱為本質非線性回歸模型 y= aeb x +(8.4) 當b未知時,不能通過對等式兩邊同時取自然對數的方法將回歸模型線性化,只能用非線性最小二乘方法求解。 (8.3)式的誤差項稱為乘性誤差項 (8.4)式的誤差項稱為加性誤差項。 一個非線性回歸模型是否可以線性化,不僅與回歸函數的形式有關,而且與誤差項的形式有關。 在對非線性回歸模型線性化時,總是假定誤差項的形式就是能夠使回歸模型線性化的形式,為了方便,常常省

3、去誤差項,僅寫出回歸函數的形式。 例如把回歸模型(8.3)式y(tǒng)=aeb xe簡寫為 y=aeb xSPSS軟件給出的10種常見的可線性化的曲線回歸方程 除了以上SPSS軟件中收入的幾種曲線回歸外,另外幾種其他常用的曲線回歸,例如1. 雙曲函數 baxxy或等價地表示為 xbay11(a0, b0)2. S型曲線 xbeay1 此S型曲線當a0,b0時,是x的增函數。 當x+時,y1/a ; x-時,y0。 y=0與y=1/a是這條曲線的兩條漸進線。 S型曲線有多種,其共同特點是曲線首先是緩慢增長,在達到某點后迅速增長,在超過某點后又變?yōu)榫徛鲩L,并且趨于一個穩(wěn)定值。 S型曲線在社會經濟等很多領

4、域都有應用,例如某種產品的銷售量與時間的關系,樹木、農作物的生長與時間的關系等。 SPSS軟件中的S型曲線y=exp(b0+b1/t): 當b10時,曲線在t的正實軸上是t的減函數,不是通常意義下的S型曲線。 SPSS軟件中的邏輯函數在0b1F -0.0516 0.004 -0.2376 0.053 -0.3034 0.021 -0.3126 0.030 -0.378 0.016 X22 ProbF 0.00245 0.100 0.00336 0.033 0.00323 0.048 0.0046 0.019 X3 ProbF -0.292 0.107 -1.115 0.168 -1.430 0

5、.033 X23 ProbF 0.0206 0.251 0.0317 0.039 X13 ProbF -2.33 0.058 R-square 83.14 92.12 97.11 98.73 99.99 22X 此時的逐步回歸共進行了5步,依次選入了X2, X22= ,X3,X23=X2 X3,X13= X1 X3共5個變量,共計算出5個回歸模型: 第一個回歸模型最先選入的是X2,說明無水碳酸鈉的含量是最重要的影響因素; 第二個回歸模型再選入的是X22= ,進一步說明無水碳酸鈉的含量是最重要的影響因素,并且說明y與X2的關系是非線性的22200245. 02375. 0975. 5XXy 容易

6、求出此方程在X2=48.548時達極小值y=0.197,比第6號實驗值y=0.147略高。 22X再看第三個回歸方程: 322229. 000336. 0303. 0311. 7XXXy 為使y值最小,X3應該最大,取X3=1.4,X2的取值與X3無關,容易求出此方程在X2=45.145,X3=1.4時達極小值y=0.074,低于第6號實驗值y=0.147。第四個回歸方程是: 2223237.8730.31260.003231.1150.0206yXXXX X 在回歸方程含有X3的兩項1.115 X3+0.0206 X2X3中,當X254時是X3的減函數,根據對第二和第三兩個回歸方程的分析,兩

7、個方程中X2的最優(yōu)解分別是48和45,所以有理由認為X254,y是X3的減函數,X3越大y越小,因此取X3=1.4。 把X3=1.4代入以上方程中,解得X2的極小值是X2=43.944,所以第四個回歸方程的最優(yōu)組合是X2=44,X3=1.4,此時最優(yōu)預測值y=0.080,與第三個回歸方程的最優(yōu)解基本相同。 第五個方程是: 其中包含了變量X1,并且是作為與X3的交互作用形式出現,說明EDTA對實驗指標本身沒有影響,只是通過焦亞硫酸鈉對實驗產生弱的影響。仿照對第四個回歸方程求最優(yōu)解的方法,首先確定X1和X3是y的減函數,分別取最大值X1=0.12和X3=1.4,然后再解得X2=41.241。最優(yōu)預

8、測值y= 0.1280 ,可以視為接近0。22232313 9.16-0.3790.00406 -1.43 0.0317 -2.33 yXXXX XX X 比較第三、四、五這3個回歸模型,回歸方程的決定系數分別是: 97.11、98.73、99.99%, 從回歸的效果看第五個回歸的效果最好,但是有6個估計參數,而y的數據只有7個,所以估計的誤差會較大。 第三、四兩個回歸模型的實驗條件基本相同,預測值也很接近,約為0.080,明顯小于第6號實驗的吸收度y=0.147,是一組穩(wěn)定的好條件,見表6.13。最 優(yōu) 搭 配 回歸 模型 X1(g) X2(g) X3(g) 最優(yōu) 預測值 二 三 四 五 0

9、.00 0.00 0.00 0.12 48 45 44 41 0.0 1.4 1.4 1.4 0.197 0.074 0.080 0.000 表表6.13 6.13 吸收度的最優(yōu)實驗條件吸收度的最優(yōu)實驗條件 本例的文獻17對吸收度y值先取了倒數作為實驗指標,其數值越大越好,然后建立回歸方程。這樣做的一個好處是避免了本例回歸模型五預測值為負值的情況,但是回歸方程的效果不好。文獻中得到的最優(yōu)條件是X1=0.12、X2=38、X3=1.4,和本例第五個模型相差不大。 一、非線性最小二乘一、非線性最小二乘非線性回歸模型一般可記為:yi = f (xi,)+i , i=1,2,n (8.9)其中,yi是

10、因變量, 非隨機向量xi=(xi1,xi2,,xik) 是自變量, =(0,1,,p )是未知參數向量, i是隨機誤差項并且滿足獨立同分布假定,即n),2, 1,j , (i j i , 0ji , ),cov(n , 2, 1,i , 0)E(2jii 對非線性回歸模型 我們仍使用最小二乘法估計參數,即求使得 niiixfyQ12),()(pjfxfyQnijjjiijjj, 2, 1 , 0 0),(21稱為非線性最小二乘估計的正規(guī)方程組 在非線性回歸中,平方和分解式SST=SSR+SSE不再成立。類似于線性回歸中的復判定系數,定義非線性回歸的相關比為: SSTSSER12相關比也稱為相關

11、指數。 二、非線性回歸模型的應用二、非線性回歸模型的應用 例例8.4 一位藥物學家使用下面的非線性模型對藥物反應擬合回歸模型:iiiccxccy12001 自變量x是藥劑量,用級別表示; 因變量y是藥物反應程度,用百分數表示。 3個參數c0、c1、c2都是非負的,根據專業(yè)知識,c0的上限是100%, 3個參數的初始值取為c0=100,c1=5,c2=4.8。測得9個反應數據如下:X1086420Y100806040200-20圖圖8.3 藥物反應程度散點圖藥物反應程度散點圖 在SPSS的Regression菜單下點選Nonlinear,進入非線性回歸對話框,將y點入因變量框,在model Ex

12、pression框中輸入回歸函數c0-c0/(1+(x/c2)*c1),然后點Parameters進入參數設置框賦給未知參數初值。y yy 本例回歸離差平方和SSR=15156.55,而總離差平方和SST=14917.89116的限制回歸迭代就收斂了。 龔珀茲模型和幾種常見的非線性回歸模型可以用三和值法求解,見參考文獻15第13章。 在正態(tài)誤差假定下,非線性回歸的最小二乘估計與極大似然估計是相同的,而極大似然估計具有好的大樣本性質,例如漸近無偏性、漸近正態(tài)性、一致性等。因而非線性最小二乘估計值比三和值更精確,可以把三和值法的參數估計值作為求解非線性最小二乘的初值?!纠纠?.6】 下表8.9是

13、我國從19502005年歷年大陸總人口數,試用威布爾(Weibull)曲線擬合數據并做預測。威布爾曲線如下:tcyka b 其中參數k是變量發(fā)展的上限,參數a 0, 0 b 0。表表8.9 我國歷年大陸總人口數我國歷年大陸總人口數 單位:億人單位:億人 根據人口學的專業(yè)預測,我國人口上限為16億人,因此取k的初值=16,取b的初值=0.5,取c的初值=1。 對以上初值把t=1時(即1950年)=5.5196代入,得, 用以上初值做非線性最小二乘,得下面的輸出結果8.7。從中看到,人口上限為k=15.76億人,這與人口學預測的人口上限16億人完全一致。圖8.5是用Excel繪制的人口趨勢預測圖,

14、其中粗實線是觀測值,虛細線是預測值。12()aky2(165.5)21圖圖8.5 威布爾模型預測我國人口趨勢圖威布爾模型預測我國人口趨勢圖 【例【例8.6】 柯布道格拉斯生產函數研究。在計量經濟學中有一種熟知的C-D(CobbDouglas)生產函數 yAK L 其中,y為產出,K(資本)、L(勞力)為兩個投入要素,A0為效率系數、和為K和L的產出彈性,A、 均為待估參數。 是產出對資本投入的彈性系數,度量在勞動投入保持不變時資本投入增加1%時產出增加的百分比。 是產出對勞動投入的彈性系數,度量在資本投入保持不變時勞動投入增加1%時產出增加的百分比。 兩個彈性系數之和 + 表示規(guī)模報酬(ret

15、urns to scale)。+ =1表示規(guī)模報酬不變,即1倍的投入帶來1倍的產出;+ 1表示規(guī)模報酬遞減,即1倍的投入帶來少于1倍的產出;+ 1表示規(guī)模報酬遞增,即1倍的投入帶來大于1倍的產出。 其中,y是國內生產總值GDP (單位:億元), K是資金投入,包括固定資產投資和庫存占用資 金(單位:億元), L是就業(yè)總人數(單位:萬人)。 (1)假設隨機誤差項為相乘的,我們可以用兩邊取對數的辦法,按照(8.15)式將模型轉化線性形式,對數變換后的數據見表8.14,用SPSS作線性回歸得如下結果: 得兩個彈性系數為=0.902, =0.361,資金的貢獻率大于勞動力的貢獻率。規(guī)模報酬+ =0.9

16、02+0.361=1.2631表示規(guī)模報酬遞增。效率系數A=0.1242。其中系數 的顯著性概率P值=0.087,顯著性較弱。得乘性誤差項的C-D生產函數為:0.9020.3610.1242yKL 對加性誤差項模型,不能通過變量變換數轉化成線性模型,只能用非線性最小二乘法求解未知參數。以上面乘性誤差項的參數為初值做非線性最小二乘,經過81步迭代得下面的輸出結果8.。其中參數的置信度為95%的置信區(qū)間為(-0.555 ,1.565),包含0在內,因而不能認為非0,顯著性較弱。得乘性誤差項的C-D生產函數為:0.9220.5050.020yKL 使用線性化的乘性誤差項模型,由共線性檢驗得方差擴大因

17、子VIF=15.5。使用嶺回歸,選取嶺參數k=0.20,這時R2從原來的0.998 14下降為0.980 58,得嶺回歸如下:* Ridge Regression with k = 0.20 * B SE(B) Beta B/SE(B)lnK .49700385 .02048319 .51558506 24.26398868lnL 2.18274631 .11798929 .39309616 18.49952910Constant -18.43784255 1.27336521 .00000000 -14.47961853 其中=0.4970, =2.183,A= 表明勞動力的貢獻率遠大于資金

18、的貢獻率,與普通最小二乘的結果完全相反。并且 =2.183也不符合經濟意義。 從統(tǒng)計方法看,嶺回歸的結果是可信的,但是我們對其計算結果卻無法給出合理的解釋。18.43899.828 10e三、其他形式的非線性回歸三、其他形式的非線性回歸 非線性最小二乘是使殘差平方和達極小的方法,其最大的缺點是缺乏穩(wěn)健性。當數據存在異常值時,參數的估計效果變得很差。因而在一些場合,我們希望用一些更穩(wěn)健的殘差損失函數代替平方損失函數n1i2ii),x(fy()(Q絕對值殘差損失函數 niiixfyQ1| ),(|)( 利用SPSS的非線性回歸程序,可以用數值計算法求解多種損失函數的回歸估計值。以下以例3.2北京經濟開發(fā)區(qū)數據為例,說明用SPSS軟件的最小絕對值法求解方法。 1進入非線性回歸對話框,在因變量框中點入y,在Model Expressions框中輸入回歸方程表達式b0+b1*x1+b2*x2; 2.給參數賦初值,以普通最小二乘估計值為初始值,初始值為b0=-213.7,b1=2.185,b2=0.368,點Continue返回非線性回歸對話框; 3.點選Options選項,進入Options選項框選擇數值計算方法,默認的計算方法是

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論