SAS統(tǒng)計(jì)之第六章 非線性回歸

第六章

非線性回歸

可以轉(zhuǎn)化為直線的曲線回歸不可轉(zhuǎn)化為直線的曲線回歸多項(xiàng)式回歸第六章

非線性回歸

非線性回歸的三種類(lèi)型1、可轉(zhuǎn)化為直線回歸的曲線回歸

包括指數(shù)函數(shù)曲線、對(duì)數(shù)函數(shù)曲線、冪函數(shù)曲線、S型函數(shù)曲線和雙曲線函數(shù)等回歸模型，可以通過(guò)數(shù)學(xué)變換方法轉(zhuǎn)化為直線回歸問(wèn)題來(lái)解決。2、不可轉(zhuǎn)化為直線回歸的曲線回歸

函數(shù)表達(dá)式比較復(fù)雜很難或不能轉(zhuǎn)化為直線回歸模型的曲線回歸模型。第六章

非線性回歸

非線性回歸的三種類(lèi)型3、多項(xiàng)式回歸一元多項(xiàng)式回歸（一個(gè)自變量，有一次項(xiàng)、二次項(xiàng)…高次項(xiàng)等，圖形是曲線。）多元多項(xiàng)式回歸（兩個(gè)或多個(gè)自變量，各有一次項(xiàng)、二次項(xiàng)…高次項(xiàng)和交叉乘積項(xiàng)等，圖形是曲面。）

反應(yīng)面回歸（多個(gè)自變量、一次或二次多項(xiàng)式回歸，圖形是曲面。）第一節(jié)可以轉(zhuǎn)化為直線

的曲線回歸一、第一節(jié)可轉(zhuǎn)化為直線的曲線回歸二、第一節(jié)可轉(zhuǎn)化為直線的曲線回歸三、第一節(jié)可轉(zhuǎn)化為直線的曲線回歸四、S形曲線（Logistic曲線）1.基本形式2.圖形第一節(jié)可轉(zhuǎn)化為直線的曲線回歸k令得：3.線性化方法整理后，取自然對(duì)數(shù)得：第一節(jié)可轉(zhuǎn)化為直線的曲線回歸將三對(duì)觀察值帶入下式，可解得：k值的計(jì)算（1）k若是累積百分?jǐn)?shù)，則k=100%（2）否則取接近關(guān)系的三對(duì)觀察值第一節(jié)可轉(zhuǎn)化為直線的曲線回歸五、第一節(jié)可轉(zhuǎn)化為直線的曲線回歸常用的可轉(zhuǎn)化為直線的曲線模型：第

１

種曲線模型:y=a+bx*x.

第

２

種曲線模型:y=a+bx*x*x.第

３

種曲線模型:y=1/(a+bx)

第

４

種曲線模型:y=1/(a+b*exp(-x))

第

５

種曲線模型:y=1/(a+bx*x)第

６

種曲線模型:y=1/(a+bx*x*x)

第

７

種曲線模型:y=a*exp(bx)第

８

種曲線模型:y=a*exp(bx*x)第

９

種曲線模型:y=a*b^(x*x*x)第10種曲線模型:y=(a+bx)/x

第一節(jié)可轉(zhuǎn)化為直線的曲線回歸第

11

種曲線模型:y=a+b*ln(x)第

12

種曲線模型:y=a+b*√x第

13

種曲線模型:y=x/(a+bx)

第

14

種曲線模型:y=a*(x^b)

第

15

種曲線模型:y=a*(b^√x)第

16

種曲線模型:y=1/(a+b*ln(x))第

17

種曲線模型:y=1/(a+b*√x)第

18

種曲線模型:y=a*exp(b/x)第

19

種曲線模型:y=L+K/(1+a*exp(bx))第

20

種曲線模型:y=b0+b1*x+b2*x*x第

21

種曲線模型:y=b0+b1*x+b2*x*x+b3*x*x*x第一節(jié)可轉(zhuǎn)化為直線的曲線回歸實(shí)例1：指數(shù)曲線的擬合序號(hào)天數(shù)x枝稍生長(zhǎng)量y12345670510152025302.13.76.412.218.126.334.50.7421.3081.8562.5012.8963.2703.541合計(jì)105103.316.114

散點(diǎn)圖：采用指數(shù)曲線模型：實(shí)例1：曲線回歸

曲線模型直線化實(shí)例1：曲線回歸令：則：實(shí)例1：曲線回歸實(shí)例1：曲線回歸

實(shí)例1：曲線回歸

得指數(shù)曲線模型：實(shí)例1：曲線回歸決定系數(shù)：x和y’回歸關(guān)系達(dá)極顯著?；貧w系數(shù)b檢驗(yàn)：實(shí)例2：對(duì)數(shù)曲線的擬合x(chóng)lnxyxlnxy5101520253035401.6092.3032.7082.9963.2193.4013.5553.68982.065.052.044.036.030.025.021.045505560657075803.8073.9124.0074.0944.1744.2484.3174.38217.014.011.09.07.56.05.04.0用光電比色計(jì)測(cè)定溶液中葉綠素濃度（x，mg/L）和透光度（y）的關(guān)系，試擬合曲線模型。

散點(diǎn)圖：采用對(duì)數(shù)曲線模型：實(shí)例2：曲線回歸實(shí)例2：曲線回歸對(duì)數(shù)曲線模型直線化令：化為：則：實(shí)例2：曲線回歸計(jì)算：實(shí)例2：曲線回歸

得線性回歸模型：決定系數(shù)：y和x’線性回歸關(guān)系達(dá)極顯著回歸系數(shù)b的顯著性檢驗(yàn)：對(duì)數(shù)回歸方程：實(shí)例2：曲線回歸第二節(jié)不可轉(zhuǎn)化為直線

的曲線回歸1.非線性回歸模型第二節(jié)不可轉(zhuǎn)化為直線的曲線回歸y=F(x1,x2,x3…xm；β)+ε其中：F為數(shù)學(xué)函數(shù)關(guān)系表達(dá)式

β=(β1,β2,…,βm)’為回歸系數(shù)

ε

為隨機(jī)誤差將觀測(cè)值帶入非線性回歸模型簡(jiǎn)記為：第二節(jié)不可轉(zhuǎn)化為直線的曲線回歸Y=F(β)+E其中：Y=(y1,y2,…,yn)’為y的觀察值向量

β=(β1,β2,…,βm)’為回歸系數(shù)

E=(ε1,ε2,…,εn)’為隨機(jī)誤差向量用最小二乘法估計(jì)回歸系數(shù)β，使殘差平方和：達(dá)到最小值。非線性回歸系數(shù)的計(jì)算一般采用數(shù)值迭代法來(lái)進(jìn)行。第二節(jié)不可轉(zhuǎn)化為直線的曲線回歸2.回歸系數(shù)的計(jì)算回歸系數(shù)的數(shù)值迭代法計(jì)算步驟第二節(jié)不可轉(zhuǎn)化為直線的曲線回歸1.選定回歸系數(shù)β的初始值β02.選擇適當(dāng)?shù)乃阉鞣较蛳蛄喀ず筒介L(zhǎng)t3.計(jì)算新回歸系數(shù)

β=β0+t·Δ

使得Qe(β)<Qe

(β0)4.重復(fù)上述2-3步的過(guò)程，直至Qe(β)達(dá)到最小值為止1974年，Bard給出了使Qe(β)下降的充要條件：第二節(jié)不可轉(zhuǎn)化為直線的曲線回歸得到迭代公式

β=β0+t·Δ=β0+tPG‘(Y-F(β))其中：P

為任意正定矩陣

G

為F函數(shù)的梯度

t

滿足Qe(β)<Qe

(β0)的正實(shí)數(shù)

Δ

=PG‘(Y-F(β))3.常用計(jì)算迭代方向的方法第二節(jié)不可轉(zhuǎn)化為直線的曲線回歸1）Gauss高斯-牛頓法（缺省方法）

（一階偏導(dǎo)數(shù)）2）Newton牛頓法（一、二階偏導(dǎo)數(shù)）3）Marquardt麥夸特法（一階偏導(dǎo)數(shù)）4）Gradient梯度法（最速下降法）

（一階偏導(dǎo)數(shù)）5）Dud正割法（無(wú)需偏導(dǎo)數(shù)）第三節(jié)多項(xiàng)式回歸1.多項(xiàng)式回歸模型第三節(jié)多項(xiàng)式回歸在數(shù)學(xué)上，一般函數(shù)都可以用多項(xiàng)式來(lái)逼近，當(dāng)兩個(gè)變量間的關(guān)系復(fù)雜難于確定時(shí)，可以使用多項(xiàng)式回歸來(lái)擬合。y=b0+b1x1+b2x2+…+bkxk+ε

k次多項(xiàng)式回歸模型：2.回歸次數(shù)的初步確定擬合多項(xiàng)式回歸的兩個(gè)變量有n對(duì)觀察值時(shí)，最多可以配到k=n-1次多項(xiàng)式。根據(jù)散點(diǎn)圖所表現(xiàn)的曲線趨勢(shì)，回歸模型的次數(shù)為：

k=波峰數(shù)+波谷數(shù)+1

若波動(dòng)較大或峰谷兩側(cè)嚴(yán)重不對(duì)稱(chēng)，可再增加一次。k=1(波谷)+1=2k=2(波峰)+1(波谷)+1=4第三節(jié)多項(xiàng)式回歸3.回歸系數(shù)的計(jì)算第三節(jié)多項(xiàng)式回歸對(duì)于n對(duì)觀測(cè)數(shù)據(jù)，令則模型可以表示為：Y=XB+E最小二乘法解得：B=(X’X)-1X’Y4.回歸關(guān)系的假設(shè)檢驗(yàn)第三節(jié)多項(xiàng)式回歸變量y的總平方和(SSy)分解為回歸平方和(U)和誤差平方和(Q)回歸項(xiàng)自由度為：k（自變量次數(shù)）誤差項(xiàng)自由度為：n-k-1檢驗(yàn)統(tǒng)計(jì)量F：5.回歸系數(shù)的假設(shè)檢驗(yàn)第三節(jié)多項(xiàng)式回歸對(duì)于x任意i次項(xiàng)分量回歸系數(shù)的檢驗(yàn)1.t檢驗(yàn)

H0

：βi＝0統(tǒng)計(jì)量t：其中：自由度：n-k-1，Q

為誤差平方和C(i+1)(i+1)為矩陣(X’X)-1的(i+1)(i+1)元素5.回歸系數(shù)的假設(shè)檢驗(yàn)第三節(jié)多項(xiàng)式回歸2.F檢驗(yàn)

H0

：βi＝0其中：Ui

為xi對(duì)y的回歸平方和，Q

為誤差平方和C(i+1)(i