SAS統(tǒng)計之第六章 非線性回歸

1、第六章 非線性回歸 1.1.可以轉(zhuǎn)化為直線的曲線回歸可以轉(zhuǎn)化為直線的曲線回歸2.2.不可轉(zhuǎn)化為直線的曲線回歸不可轉(zhuǎn)化為直線的曲線回歸3.3.多項式回歸多項式回歸第六章 非線性回歸 非線性回歸的三種類型非線性回歸的三種類型1、可轉(zhuǎn)化為直線回歸的曲線回歸、可轉(zhuǎn)化為直線回歸的曲線回歸 包括指數(shù)函數(shù)曲線、對數(shù)函數(shù)曲線、冪包括指數(shù)函數(shù)曲線、對數(shù)函數(shù)曲線、冪函數(shù)曲線、函數(shù)曲線、S型函數(shù)曲線和雙曲線函數(shù)等回型函數(shù)曲線和雙曲線函數(shù)等回歸模型，可以通過數(shù)學(xué)變換方法轉(zhuǎn)化為直線歸模型，可以通過數(shù)學(xué)變換方法轉(zhuǎn)化為直線回歸問題來解決?；貧w問題來解決。2、不可轉(zhuǎn)化為直線回歸的曲線回歸、不可轉(zhuǎn)化為直線回歸的曲線回歸 函數(shù)表

2、達式比較復(fù)雜很難或不能轉(zhuǎn)化為函數(shù)表達式比較復(fù)雜很難或不能轉(zhuǎn)化為直線回歸模型的曲線回歸模型。直線回歸模型的曲線回歸模型。第六章 非線性回歸 非線性回歸的三種類型非線性回歸的三種類型3、多項式回歸、多項式回歸 一元多項式回歸一元多項式回歸（一個自變量，有一次項、二（一個自變量，有一次項、二 次項次項高次項等，圖形是曲線。）高次項等，圖形是曲線。） 多元多項式回歸多元多項式回歸（兩個或多個自變量，各有一（兩個或多個自變量，各有一次項、二次項次項、二次項高次項和交叉乘積項等，圖形是曲面。）高次項和交叉乘積項等，圖形是曲面。） 反應(yīng)面回歸反應(yīng)面回歸（多個自變量、一次或二次多項式回（多個自變量、一次或二次

3、多項式回歸，圖形是曲面。）歸，圖形是曲面。）第一節(jié) 可以轉(zhuǎn)化為直線的曲線回歸一、第一節(jié) 可轉(zhuǎn)化為直線的曲線回歸二、第一節(jié) 可轉(zhuǎn)化為直線的曲線回歸三、第一節(jié) 可轉(zhuǎn)化為直線的曲線回歸四、S形曲線（Logistic曲線）1. 基本形式bxaeky12. 圖形第一節(jié) 可轉(zhuǎn)化為直線的曲線回歸k令得：bxayyklnln3. 線性化方法整理后，取自然對數(shù)得：yykyaalnln，bxay第一節(jié) 可轉(zhuǎn)化為直線的曲線回歸將三對觀察值帶入下式，可解得：312232131222)(yyyyyyyyykk值的計算（1）k若是累積百分數(shù)，則 k=100%（2）否則取接近 關(guān)系的三對觀察值2)(312xxx),(),(

4、),(332211yxyxyx第一節(jié) 可轉(zhuǎn)化為直線的曲線回歸五、第一節(jié) 可轉(zhuǎn)化為直線的曲線回歸常用的可轉(zhuǎn)化為直線的曲線模型常用的可轉(zhuǎn)化為直線的曲線模型：第第 種曲線模型種曲線模型: y=a+bx*x. 第第 種曲線模型種曲線模型: y=a+bx*x*x. 第第 種曲線模型種曲線模型: y=1/(a+bx) 第第 種曲線模型種曲線模型: y=1/(a+b*exp(-x) 第第 種曲線模型種曲線模型: y=1/(a+bx*x)第第 種曲線模型種曲線模型: y=1/(a+bx*x*x) 第第 種曲線模型種曲線模型: y=a*exp(bx)第第 種曲線模型種曲線模型: y=a*exp(bx*x)第第

5、種曲線模型種曲線模型: y=a*b(x*x*x)第第 10 10 種曲線模型種曲線模型: :y=(a+bx)/x 第一節(jié) 可轉(zhuǎn)化為直線的曲線回歸第第 1111 種曲線模型種曲線模型: y=a+b*ln(x)第第 1212 種曲線模型種曲線模型: y=a+b*x第第 1313 種曲線模型種曲線模型: y=x/(a+bx) 第第 1414 種曲線模型種曲線模型: y=a*(xb) 第第 1515 種曲線模型種曲線模型: y=a*(bx) 第第 1616 種曲線模型種曲線模型: y=1/(a+b*ln(x)第第 1717 種曲線模型種曲線模型: y=1/(a+b*x)第第 1818 種曲線模型種曲線

6、模型: y=a*exp(b/x)第第 1919 種曲線模型種曲線模型: y=L+K/(1+a*exp(bx)第第 2020 種曲線模型種曲線模型: :y=b0+b1*x+b2*x*x第第 2121 種曲線模型種曲線模型: :y=b0+b1*x+b2*x*x+b3*x*x*x第一節(jié) 可轉(zhuǎn)化為直線的曲線回歸實例1：指數(shù)曲線的擬合序號序號天數(shù)天數(shù) x枝稍生長枝稍生長量量 y12345670510152025302.13.76.412.218.126.334.50.7421.3081.8562.5012.8963.2703.541合計合計105103.316.114yyln散點圖：采用指數(shù)曲線模型：b

7、xaey 實例1：曲線回歸aalnyyln曲線模型直線化bxay lnln實例1：曲線回歸令：bxay 則：實例1：曲線回歸7007/1052275/222nxxSSx805.667/114.16105515.308/nyxyxSPyx實例1：曲線回歸0954. 0700808.66xyxSSSPb8705. 00 .150954. 0302. 2xbya實例1：曲線回歸aaln388. 28705. 0eeaaxbxeaey0954. 0388. 2得指數(shù)曲線模型：實例1：曲線回歸9831.02yxR決定系數(shù)：01. 00001. 0032. 4)5(01. 0pttx和y回歸關(guān)系達極顯著。

8、回歸系數(shù)b檢驗：5206.17ndft，實例2：對數(shù)曲線的擬合xlnxyxlnxy5101520253035401.6092.3032.7082.9963.2193.4013.5553.68982.065.052.044.036.030.025.021.045505560657075803.8073.9124.0074.0944.1744.2484.3174.38217.014.011.09.07.56.05.04.0用光電比色計測定溶液中葉綠素濃度（用光電比色計測定溶液中葉綠素濃度（x，mg/Lmg/L）和透光度（和透光度（y）的關(guān)系，試擬合曲線模型。）的關(guān)系，試擬合曲線模型。散點圖：采用對

9、數(shù)曲線模型：xbayln實例2：曲線回歸實例2：曲線回歸xbaylnxxlnbxay對數(shù)曲線模型直線化令：化為：則：341.916/423.56313.208/222nxxSSx214.27616/5 .428423.56864.1234/nyxyxSPyx實例2：曲線回歸計算：實例2：曲線回歸568.29341.9214.276xyxSSSPb05.131526.3)568.29(781.26xbya得線性回歸模型：131.0529.568yx9965.02yxR決定系數(shù)：0.01| |(14)2.977tty和x線性回歸關(guān)系達極顯著回歸系數(shù)b的顯著性檢驗：14231.63ndft，對數(shù)回歸

10、方程：131.0529.568lnyx實例2：曲線回歸第二節(jié) 不可轉(zhuǎn)化為直線的曲線回歸1.非線性回歸模型第二節(jié) 不可轉(zhuǎn)化為直線的曲線回歸y=F(x1,x2,x3xm；)+其中：F為數(shù)學(xué)函數(shù)關(guān)系表達式 =(1,2,m) 為回歸系數(shù) 為隨機誤差將觀測值帶入非線性回歸模型簡記為：第二節(jié) 不可轉(zhuǎn)化為直線的曲線回歸Y=F()+E其中：Y=(y1,y2,yn)為y的觀察值向量 =(1,2,m)為回歸系數(shù) E=(1,2,n)為隨機誤差向量用最小二乘法估計回歸系數(shù)，使殘差平方和：達到最小值。 非線性回歸系數(shù)的計算一般采用數(shù)值迭代法來進行。11( )( )( )22eQE EYFYF第二節(jié) 不可轉(zhuǎn)化為直線的曲線

11、回歸2.回歸系數(shù)的計算回歸系數(shù)的數(shù)值迭代法計算步驟第二節(jié) 不可轉(zhuǎn)化為直線的曲線回歸1.選定回歸系數(shù)的初始值02.選擇適當(dāng)?shù)乃阉鞣较蛳蛄亢筒介Lt3.計算新回歸系數(shù) = 0 + t 使得 Qe() Qe(0)4.重復(fù)上述2-3步的過程，直至Qe() 達到最小值為止 1974年，Bard給出了使Qe()下降的充要條件：第二節(jié) 不可轉(zhuǎn)化為直線的曲線回歸得到迭代公式 = 0 + t = 0 + tPG(Y-F()其中：P 為任意正定矩陣 G 為F 函數(shù)的梯度 t 滿足Qe()Qe(0)的正實數(shù) = PG(Y-F()3.常用計算迭代方向的方法第二節(jié) 不可轉(zhuǎn)化為直線的曲線回歸1）Gauss 高斯-牛頓法（缺

12、省方法） （一階偏導(dǎo)數(shù)）2）Newton 牛頓法（一、二階偏導(dǎo)數(shù)）3）Marquardt 麥夸特法（一階偏導(dǎo)數(shù)）4）Gradient 梯度法（最速下降法） （一階偏導(dǎo)數(shù)）5）Dud 正割法（無需偏導(dǎo)數(shù)）第三節(jié) 多項式回歸1.多項式回歸模型第三節(jié) 多項式回歸 在數(shù)學(xué)上，一般函數(shù)都可以用多項式來逼近，當(dāng)兩個變量間的關(guān)系復(fù)雜難于確定時，可以使用多項式回歸來擬合。y=b0+b1x1+b2x2+bkxk+ k次多項式回歸模型：2. 回歸次數(shù)的初步確定 擬合多項式回歸的兩個變量有n對觀察值時，最多可以配到k=n-1次多項式。 根據(jù)散點圖所表現(xiàn)的曲線趨勢，回歸模型的次數(shù)為： k= 波峰數(shù) + 波谷數(shù) + 1

13、 若波動較大或峰谷兩側(cè)嚴重不對稱，可再增加一次。k=1(波谷)+1=2k=2(波峰)+1(波谷)+1=4第三節(jié) 多項式回歸3. 回歸系數(shù)的計算第三節(jié) 多項式回歸對于n對觀測數(shù)據(jù)，令則模型可以表示為：Y=XB+E最小二乘法解得：B=(XX) -1XY21112222233321111kkkknnnxxxxxxXxxxxxxnyyyY21mbbbbB210n214. 回歸關(guān)系的假設(shè)檢驗第三節(jié) 多項式回歸 變量y的總平方和(SSy)分解為回歸平方和(U)和誤差平方和(Q)回歸項自由度為：k（自變量次數(shù)）誤差項自由度為：n-k-1QUSSy檢驗統(tǒng)計量F：) 1(knQkUF5. 回歸系數(shù)的假設(shè)檢驗第三節(jié) 多項式回歸對于x任意i次項分量回歸系數(shù)的檢驗ibiSbt 1.t1.t檢驗檢驗 H H0 0 ：i0 0 統(tǒng)計量統(tǒng)計量t t ：其中：其中： 自由度：自由度：n-k-1，Q Q 為誤差平方和為誤差平方和 C C(i+1)(i+1)為矩陣為矩陣(XX)(XX)-1-1的的( (i+1)(+1)(i+1)+1)元素元素(1)(1)ibyiiSSc1ySQ nm5. 回歸系數(shù)的假設(shè)檢驗第三節(jié) 多項式回歸1/1/) 1)(1(2knQcbknQUFiiii2.F2.F檢驗檢驗 H H0 0 ：i0 0其中：其中：U Ui 為為x xi對對y y的回歸平方和，的回