第六章 非線性回歸

第六章

非線性回歸

曲線回歸多項式回歸第六章

非線性回歸

非線性回歸的類型1、曲線回歸

包括指數(shù)函數(shù)曲線、對數(shù)函數(shù)曲線、冪函數(shù)曲線、S型函數(shù)曲線和雙曲線函數(shù)等比較簡單的曲線回歸模型。

函數(shù)表達式比較復雜的曲線回歸模型。第六章

非線性回歸

非線性回歸的類型2、多項式回歸一元多項式回歸（一個自變量，有一次項、二次項…高次項等，圖形是曲線。）多元多項式回歸（兩個或多個自變量，各有一次項、二次項…高次項和交叉乘積項等，圖形是曲面。）

反應(yīng)面回歸（多個自變量、一次或二次多項式回歸，圖形是曲面。）第一節(jié)常見曲線回歸形式一、第一節(jié)常見的曲線回歸二、第一節(jié)常見的曲線回歸三、第一節(jié)常見的曲線回歸四、S形曲線（Logistic曲線）1.基本形式2.圖形第一節(jié)常見的曲線回歸k五、第一節(jié)常見的曲線回歸常見的曲線模型：第

１

種曲線模型:y=a+bx*x.

第

２

種曲線模型:y=a+bx*x*x.第

３

種曲線模型:y=1/(a+bx)

第

４

種曲線模型:y=1/(a+b*exp(-x))

第

５

種曲線模型:y=1/(a+bx*x)第

６

種曲線模型:y=1/(a+bx*x*x)

第

７

種曲線模型:y=a*exp(bx)第

８

種曲線模型:y=a*exp(bx*x)第

９

種曲線模型:y=a*b^(x*x*x)第10種曲線模型:y=(a+bx)/x

第一節(jié)常見的曲線回歸第

11

種曲線模型:y=a+b*ln(x)第

12

種曲線模型:y=a+b*√x第

13

種曲線模型:y=x/(a+bx)

第

14

種曲線模型:y=a*(x^b)

第

15

種曲線模型:y=a*(b^√x)第

16

種曲線模型:y=1/(a+b*ln(x))第

17

種曲線模型:y=1/(a+b*√x)第

18

種曲線模型:y=a*exp(b/x)第

19

種曲線模型:y=L+K/(1+a*exp(bx))第

20

種曲線模型:y=b0+b1*x+b2*x*x第一節(jié)常見的曲線回歸實例1：曲線的擬合序號天數(shù)x枝稍生長量y12345670510152025302.13.76.412.218.126.334.5合計105103.3

散點圖：采用指數(shù)曲線模型：實例1：曲線回歸實例2：對數(shù)曲線的擬合xyxy51015202530354082.065.052.044.036.030.025.021.0455055606570758017.014.011.09.07.56.05.04.0用光電比色計測定溶液中葉綠素濃度（x，mg/L）和透光度（y）的關(guān)系，試擬合曲線模型。

散點圖：采用對數(shù)曲線模型：實例2：曲線回歸第二節(jié)曲線回歸1.非線性回歸模型第二節(jié)曲線回歸y=F(x1,x2,x3…xm；β)+ε其中：F為數(shù)學函數(shù)關(guān)系表達式

β=(β1,β2,…,βm)’為回歸系數(shù)

ε

為隨機誤差將觀測值帶入非線性回歸模型簡記為：第二節(jié)曲線回歸Y=F(β)+E其中：Y=(y1,y2,…,yn)’為y的觀察值向量

β=(β1,β2,…,βm)’為回歸系數(shù)

E=(ε1,ε2,…,εn)’為隨機誤差向量用最小二乘法估計回歸系數(shù)β，使殘差平方和：達到最小值，即可得到正規(guī)方程組。 但非線性正規(guī)方程組一般不能用代數(shù)變換方法來求解回歸系數(shù)，一般采用數(shù)值迭代法來進行。第二節(jié)曲線回歸2.回歸系數(shù)的計算回歸系數(shù)的數(shù)值迭代法計算步驟第二節(jié)曲線回歸1.選定回歸系數(shù)β的初始值β02.選擇適當?shù)乃阉鞣较蛳蛄喀ず筒介Lt3.計算新回歸系數(shù)

β=β0+t·Δ

使得Qe(β)<Qe

(β0)4.重復上述2-3步的過程，直至Qe(β)達到最小值為止1974年，Bard給出了使Qe(β)下降的充要條件：第二節(jié)曲線回歸得到迭代公式

β=β0+t·Δ=β0+tPG‘(Y-F(β))其中：P

為任意正定矩陣

G

為F函數(shù)的梯度

t

滿足Qe(β)<Qe

(β0)的正實數(shù)

Δ

=PG‘(Y-F(β))3.常用計算迭代方向的方法第二節(jié)曲線回歸1）Gauss高斯-牛頓法（缺省方法）

（一階偏導數(shù)）2）Newton牛頓法（一、二階偏導數(shù)）3）Marquardt麥夸特法（一階偏導數(shù)）4）Gradient梯度法（最速下降法）

（一階偏導數(shù)）5）Dud正割法（無需偏導數(shù)）第三節(jié)多項式回歸1.多項式回歸模型第三節(jié)多項式回歸在數(shù)學上，一般函數(shù)都可以用多項式來逼近，當兩個變量間的關(guān)系復雜難于確定時，可以使用多項式回歸來擬合。y=b0+b1x1+b2x2+…+bkxk+ε

k次多項式回歸模型：2.回歸次數(shù)的初步確定擬合多項式回歸的兩個變量有n對觀察值時，最多可以配到k=n-1次多項式。根據(jù)散點圖所表現(xiàn)的曲線趨勢，回歸模型的次數(shù)為：

k=波峰數(shù)+波谷數(shù)+1

若波動較大或峰谷兩側(cè)嚴重不對稱，可再增加一次。k=1(波谷)+1=2k=2(波峰)+1(波谷)+1=4第三節(jié)多項式回歸3.回歸系數(shù)的計算第三節(jié)多項式回歸對于n對觀測數(shù)據(jù)，令則模型可以表示為：Y=XB+E最小二乘法解得：B=(X’X)-1X’Y4.回歸關(guān)系的假設(shè)檢驗第三節(jié)多項式回歸變量y的總平方和(SSy)分解為回歸平方和(U)和誤差平方和(Q)回歸項自由度為：k（自變量次數(shù)）誤差項自由度為：n-k-1檢驗統(tǒng)計量F：5.回歸系數(shù)的假設(shè)檢驗第三節(jié)多項式回歸對于x任意i次項分量回歸系數(shù)的檢驗1.t檢驗

H0

：βi＝0統(tǒng)計量t：其中：自由度：n-k-1，Q

為誤差平方和C(i+1)(i+1)為矩陣(X’X)-1的(i+1)(i+1)元素5.回歸系數(shù)的假設(shè)檢驗第三節(jié)多項式回歸2.F檢驗

H0

：βi＝0其中：Ui

為xi對y的回歸平方和，Q

為誤差平方和C(i+1)(i+1)為矩陣(X’X)-1的(i+1)(i+1)元素