SAS學(xué)習(xí)系列25.非線性回歸

-.z.25.非線性回歸現(xiàn)實世界中嚴格的線性模型并不多見，它們或多或少都帶有*種程度的近似；在不少情況下，非線性模型可能更加符合實際。對變量間非線性相關(guān)問題的曲線擬合，處理的方法主要有：〔1〕首先確定非線性模型的函數(shù)類型，對于其中可線性化問題則通過變量變換將其線性化，從而歸結(jié)為前面的多元線性回歸問題來解決；〔2〕假設(shè)實際問題的曲線類型不易確定時，由于任意曲線皆可由多項式來逼近，故?？捎枚囗検交貧w來擬合曲線；〔3〕假設(shè)變量間非線性關(guān)系式〔多數(shù)未知〕，且難以用變量變換法將其線性化，則進展數(shù)值迭代的非線性回歸分析?！惨弧晨勺儞Q為線性的非線性回歸在很多場合，可以對非線性模型進展線性化處理，尤其是可變換為線性的非線性回歸，運用最小二乘法進展推斷，對線性化后的線性模型，可以應(yīng)用REG過程步進展計算。例1有實驗數(shù)據(jù)如下：*1.11.21.31.41.51.61.71.81.922.12.22.32.4Y109.9540.4520.0924.5311.027.394.952.721.821.490.820.30.20.22試分別采用指數(shù)回歸〔y=aeb*〕方法進展回歸分析。代碼：datae*am25_1;input*y;cards;1.1109.951.240.451.320.091.424.531.511.021.67.391.74.951.82.721.91.8221.492.10.822.20.32.30.22.40.22;run;procsgplotdata=e*am25_1;scatter*=*y=y;run;proccorrdata=e*am25_1;var*y;run;datanew1;sete*am25_1;v=log(y);run;procsgplotdata=new1;scatter*=*y=v;title'變量代換后數(shù)據(jù)';run;procregdata=new1;var*v;modelv=*;printcli;title'殘差圖';plotresidual.*predicted.;run;datanew2;sete*am25_1;y1=14530.28*e*p(-4.73895**);run;procgplotdata=new2;ploty**=1y1**=2/overlay;symbolv=doti=nonecv=red;symbol2i=smcolor=blue;title'指數(shù)回歸圖';run;運行結(jié)果：程序說明：〔1〕調(diào)整后的R2=0.9831，說明擬合程度很好；F檢驗的P值=0.0001<α=0.05，拒絕原假設(shè)，故直線回歸的斜率不為0；〔2〕將線性回歸系數(shù)代入，得到原回歸方程y=14530.28*e?4.73895*〔3〕殘差圖趨勢，符合殘差隨機正態(tài)分布的假設(shè)〔不帶其它明顯趨勢〕。二、多項式回歸一般函數(shù)都可用多項式來逼近，故多項式回歸分析可用來處理相當(dāng)廣泛的非線性問題。對觀測數(shù)據(jù)(*t,yt),t=1,…,N.多項式回歸模型為：令則模型可寫為：Y=*B+ε當(dāng)*列滿秩時，用最小二乘估計可求得其多項式回歸方程。但由于的計算既復(fù)雜又不穩(wěn)定，故一般采用正交多項式法來進展多項式回歸。多項式模型可以直接應(yīng)用GLM〔廣義線性模型〕求解。例2市種畜場奶牛群1—12月份(*1)，產(chǎn)犢母牛平均產(chǎn)奶量(y)的資料如程序數(shù)據(jù)步中，試對該資料配置一個適宜的回歸方程。代碼：datae*am25_2;input*1y;*2=*1**1;datalines;13833.4373476.7623811.5883466.2233769.4793395.4243565.74103807.0853481.99113817.0363372.82123884.52;run;procsgplotdata=e*am25_2;scatter*=*1y=y;title'原始數(shù)據(jù)散點圖';run;procregdata=e*am25_2;modely=*1*2;run;運行結(jié)果：程序說明：〔1〕觀察數(shù)據(jù)的散點圖，更適合二次多項式擬合，也可以測試幾種不同次數(shù)的多項式擬合選擇其中最優(yōu)的；〔2〕將回歸系數(shù)代入多項式方程得到：y=4117.20136-204.93668*1+15.78570*12三、不能變換為線性的非線性回歸該類非線性回歸分析就是利用最小二乘準則來估計回歸系數(shù)β，使得殘差平方和最小。一般來用數(shù)值迭代法來進展，先選定回歸系數(shù)的初值β0，按照給定的步長和搜索方向逐步迭代，直到殘差平方和到達最小。有5種常用的非線性回歸迭代方法：高斯-牛頓法〔Gauss-Newton〕、最速下降法〔梯度法〕、牛頓法〔Newton〕、麥夸特法〔Marquardt〕、正割法〔DUD〕。高斯-牛頓法在初值選取適當(dāng)，且可逆時非常有效，但在其他情形，其求解較為困難，對此，Marguardt對其中的正則系數(shù)陣作適當(dāng)修正，得到了改良算法?！捕砅ROCNLIN過程步對于不能線性化的非線性模型。其估計不能直接運用經(jīng)典的最小二乘法，而需要運用其他估計方法，如加權(quán)最小二乘法、直接搜索法、直接最優(yōu)法與Taylor級數(shù)展開法進展線性逼近。此時，可以利用NLIN過程步實現(xiàn)相應(yīng)的計算，它是采用最小誤差平方法及迭代推測法來建立一個非線性模型，估計參數(shù)默認采用高斯-牛頓迭代法。NLIN過程不保證一定可以算出符合最小誤差平方法之標(biāo)準的參數(shù)估計值。根本語法：PROCNLINdata=數(shù)據(jù)集</可選項>;PARMS參數(shù)名=數(shù)值;MODEL因變量=表達式</可選項>;<BOUNDS不等式;><CONTROL變量;><der.參數(shù)名=表達式;><OUTPUTout=輸出數(shù)據(jù)集</可選統(tǒng)計量>;>說明：〔1〕NLIN的可選項包括：outest＝輸出數(shù)據(jù)集——輸出每步迭代的結(jié)果；best＝n——只輸出最好的n組殘差平方和；method＝gauss|marquardt|newton|gradient|dud|——設(shè)定參數(shù)估計的迭代方法，默認為gauss〔沒有der.語句〕；〔2〕PARMS語句指定參數(shù)并賦值，一般包括參數(shù)名、初始值〔GridSearch可以幫助選擇適宜的初始值〕、迭代準則；例如：parmsb0=0b1=1to10b2=1to10by2b3=1,10,100;〔3〕bounds語句用于設(shè)定參數(shù)的約束，主要是不等式約束，約束間用逗號分隔。例如，boundsa<=20,b>30,1<=c<=10;〔4〕der.語句用于計算模型關(guān)于各參數(shù)的偏導(dǎo)數(shù)，相應(yīng)格式為：一階偏導(dǎo)數(shù)：der．參數(shù)名＝表達式;二階偏導(dǎo)數(shù)：der．參數(shù)名．參數(shù)名＝表達式;例如，對于模型modely=b0*(1－e*p(-b1**));二階偏導(dǎo)數(shù)表達式：der.b0.b1=**e*p(-b1**);例3根據(jù)對已有數(shù)據(jù)的*Y散點圖的觀察和分析，發(fā)現(xiàn)Y隨*增長趨勢是減緩的，并且Y趨向一個極限值，我們認為用負指數(shù)增長曲線來擬合模型較為適宜。代碼：datae*pd;input*y;datalines;0200.570300.720400.810500.870600.910700.940800.950900.971000.981100.991201.001300.991400.991501.001601.001700.991801.001901.002000.992101.00;prolindata=e*pdbest=10method=gauss;parmsb0=0to2by0.5b1=0.01to0.09by0.01;modely=b0*(1-e*p(-b1**));der.b0=1-e*p(-b1**);der.b1=b0***e*p(-b1**);outputout=e*poutp=ygs;run;goptionsreset=globalgunit=pctcback=whiteborderhtitle=6hte*t=3fte*t=swissbcolors=(back);procgplotdata=e*pout;ploty**ygs**/ha*is=a*is1va*is=a*is2overlay;symbol1i=nonev=pluscv=redh=2.5w=2;symbol2i=joinv=nonel=1h=2.5w=2;a*is1order=20to210by10;a*is2order=0.5to1.1by0.05;title1'y=b0*(1-e*p(-b1**)';title2'procnlinmethod=gauss';run;運行結(jié)果：程序說明：〔1〕parms語句設(shè)置了初始值網(wǎng)格值為b0取0,0.5,1,1.5,2共5個值，b1取0.01,0.02,…,0.09共9個值，所有可能組合為5×9=45,選項best=10要求輸出殘差平方和最小的前10種組合；〔2〕最好的迭代初始值為b0=1.0000，b1=0.0400，此時回歸模型殘差為ESS=0.00140;從該迭代初始值開場經(jīng)過4次迭代誤差平方和的變化就滿足收斂準則〔ESS值幾乎不變〕，停頓迭代；〔3〕高斯-牛頓迭代算法要求給出模型對參數(shù)b0和b1的一階偏導(dǎo)數(shù)表達式：der.語句用來表示上面兩個一階偏導(dǎo)數(shù)表達式；〔4〕output語句輸出一個新數(shù)據(jù)集e*pout，包括原數(shù)據(jù)集和非