(5.2.11)-3.6 回歸分析2-非線性回歸

（PPT2）同學(xué)，你好，今天我們繼續(xù)討論數(shù)據(jù)建模中的統(tǒng)計模型——回歸分析。上一節(jié)我們介紹了回歸分析的基本概念與一元線性回歸，這節(jié)我們將介紹多元線性回歸和非線性回歸。（PPT3）先來看多元線性回歸。本部分由多元線性回歸模型、回歸系數(shù)估計、回歸方程的顯著性檢驗、回歸系數(shù)的顯著性檢驗四部分構(gòu)成。（PPT4）（動畫1）設(shè)y是一個可觀測的隨機(jī)變量，它受到m個非隨機(jī)變量因素x_1,x_2,...,x_m和隨機(jī)誤差epsilon的影響。若y與x_1,x_2,...,x_m有如下線性關(guān)系：y=beta_0+beta_1*x_1+...+beta_m*x_m+epsilon其中，beta_0,beta_1,beta_m是固定的未知參數(shù)，稱為回歸系數(shù)，epsilon是均值為0，方差為sigma^2的隨機(jī)變量，稱該模型為多元線性回歸模型。（動畫2）對于總體（x_1,x_2,...,x_m;y）的n組觀測值(x_i1,x_i2,...,x_im;y_i)(i=1,2,...,n)，模型的矩陣形式表示為：Y=X*beta+epsilon（動畫3）其中：y=[y_1,y_2,...y_n]為觀測值向量，X的第1列為1，第2列為總體x_1的n組觀測值（x_11,x_21,...,x_n1），依次，第m+1列為x_m的n組觀測值（x_1m,x_2m,...,x_nm），稱之為回歸設(shè)計矩陣，beta=（beta_0,beta_1,beta_m）稱為待估計向量，epsilon為不可觀測的n維隨機(jī)向量，它的分量相互獨立，與總體同分布。（PPT5）下面我們介紹回歸系數(shù)估計——最小二乘法（動畫1）與一元線性回歸討論類似，beta_hat是使得殘差平方和最小的beta的最小二乘估計，即S(beta_hat)=minS(beta)（動畫2）beta的最小方差線性無偏估計為beta_hat=(X’X)的逆乘以X’Y，記為L的逆乘以X’Y（動畫3）Y對于X的多元回歸方程為：Y_hat=Xbeta_hat（PPT6）接下來介紹回歸方程顯著性檢驗（動畫1）檢驗因變量與所有的自變量和之間是否存在一個顯著的線性關(guān)系，也被稱為總體的顯著性檢驗。（動畫2）平方和ST依然分解為回歸平方和SR+殘差平方和SE（動畫3）現(xiàn)提出假設(shè)，H0:beta0=beta1=...=beta_m=0H1：beta0,beta1,beta_m不全為0（動畫4）當(dāng)H0為真時，則表示y不受x的影響，說明模型不成立；當(dāng)H1真時，則x與y之間有一定的線性關(guān)系，說明模型可以成立。（PPT7）（動畫1）多元線性回歸模型的顯著性檢驗用F統(tǒng)計量或校正的判定系數(shù)Ra的平方。（動畫2）H0成立時，F(xiàn)統(tǒng)計量為：F=SR比m除以SE比（n-m-1）服從第一自由度為m，第二自由度為n-m-1的F分布。（動畫3）對于給定的顯著性水平alpha，找出分子自由度為m,分母自由度為n-m-1的F分布的臨界值F_alpha，根據(jù)F的計算值與臨界值的大小比較可以判定回歸方程是否顯著。（PPT8）（動畫1）判定系數(shù)檢驗（動畫2）校正的判定系數(shù)等于復(fù)相關(guān)系數(shù)R的平方-m(1-R的平方)比（n-m-1）。（動畫3）其中，R=根號下SR/ST（PPT9）下面介紹回歸系數(shù)的顯著性檢驗（動畫1）回歸系數(shù)的檢驗就是用來確定每一個單個的自變量xi對因變量y的影響是否顯著。（動畫2）需要對每一個自變量都要單獨進(jìn)行檢驗。（動畫3）采用t檢驗。（動畫4）在多元線性回歸中，回歸方程的顯著性檢驗不再等價于回歸系數(shù)的顯著性檢驗（PPT10）思路及步驟（動畫1）假設(shè)H0:beta_i=0,H1:beta_i不等于0（動畫2）檢驗統(tǒng)計量t_i=beta_i_hat除以根號下c_ii*SR比（n-m-1）服從自由度為(n-m-1)的t分布（動畫3）計算給定顯著性水平下的t分布臨界值，根據(jù)t_i與臨界值的大小確定回歸系數(shù)是否顯著。（PPT11）最后，我們簡要介紹第四部分——非線性回歸（PPT12）（動畫1）非線性回歸的特點是因變量y與x之間不是線性關(guān)系（動畫2）思想方法：可通過變量代換轉(zhuǎn)換成線性關(guān)系（動畫3）注意要點：并非所有的非線性模型都可以化為線性模型（動畫4）幾種常見的非線性模型及其變換：雙曲線方程；冪函數(shù)方程；指數(shù)曲線方程；對數(shù)曲線方程；S型曲線方程具體形式如下：（PPT13）第1種，雙曲線方程：（動畫1）基本形式為：1/y=a+b/x（動畫2）線性化變化公式為X=1/x,Y=1/y（動畫3）圖形具有如下特征（PPT14）第2種，冪函數(shù)方程（動畫1）基本形式為：y=a*x的b次方（動畫2）線性化變化公式為X=lnx,Y=lny（動畫3）圖形具有如下特征（PPT15）第3種，指數(shù)曲線方程（動畫1）基本形式為：y=a*e的x分之b次方（動畫2）線性化變化公式為X=1/x,Y=lny（動畫3，動畫4）圖形單調(diào)遞減（動畫5）或基本形式為y=a*e的bx次方（動畫6）線性化變化公式為X=x,Y=lny（動畫7）圖形單調(diào)遞增（PPT16）第4種，對數(shù)曲線方程（動畫1）基本形式為：y=a+b*lnx（動畫2）線性化變化公式為X=lnx,Y=y（動畫3）圖像如下：（動畫4）（PPT17）第5種，S型曲線方程（動畫1）基本形式為：y=1除以a+b*e的負(fù)x次方（動畫2）線性化變化公式為X=e的負(fù)x次方,Y=1/y（動畫3，4）圖像特征如下（PPT18）最后介紹一個非線性回歸的例子（動畫1）下面是某公司在六年里獲得的利潤.（單位：萬元），根據(jù)這些數(shù)據(jù)研究利潤與年份的回歸關(guān)系：（動畫2）先作一個散點圖（動畫3）將數(shù)對（1,112），（2,149），…，（6,867）標(biāo)在平面上，觀察這些點的位置，發(fā)現(xiàn)用指數(shù)曲線y=abx來描述x與y之間的關(guān)系是比較合適的.（PPT19）（動畫1）按上面所述，作變換：X=x,Y=lny（動畫2）變換后的線性方程為：Y=lna+lnb*X（動畫3）記alpha=lna,beta=lnb,則方程變?yōu)椋篩=alpha+beta*X（PPT20）（動畫1）把原變量觀測值轉(zhuǎn)化為新變量觀測值，相關(guān)計算見下表（動畫2）寫出回歸設(shè)計矩陣，（動畫3）L矩陣，（動畫4）以及Y向量（PPT21）（動畫1）利用一元線性回歸的最小二乘估計得alpha=4.2580,beta=0.4073（動畫2）新變量的回歸方程為:Y=4.2580+0.4073X（動畫3）再利用Y=lny,X=x，得到lny=4.2580+0.4073x（動畫4）化簡可得原變量間的非線性回歸方程為y=77.67*(1.502)的x次方。（PPT22）最后我們來看一下模型拓展。（PPT23）（動畫1）如要研究產(chǎn)品質(zhì)量和用戶滿意度之間的因果關(guān)