第七章回歸分析

1、Statistical Analysis System 教師：薛河儒教師：薛河儒 教授教授 Email: Statistical Analysis System第七章第七章 回歸分析回歸分析 回歸分析概念：回歸分析概念： 回歸分析回歸分析(Regression Analysis)是研究一個變量是研究一個變量Y與其它若干變量與其它若干變量X之間相關(guān)關(guān)系的一種數(shù)學(xué)工具，它是在一組試驗(yàn)或觀測數(shù)據(jù)的之間相關(guān)關(guān)系的一種數(shù)學(xué)工具，它是在一組試驗(yàn)或觀測數(shù)據(jù)的基礎(chǔ)上，尋找被隨機(jī)性掩蓋了的變量之間的依基礎(chǔ)上，尋找被隨機(jī)性掩蓋了的變量之間的依 存關(guān)系。粗略地講，存關(guān)系。粗略地講，可以理解為用一種確定的函數(shù)關(guān)系去近

2、似代替比較復(fù)雜的相關(guān)關(guān)可以理解為用一種確定的函數(shù)關(guān)系去近似代替比較復(fù)雜的相關(guān)關(guān)系，這個函數(shù)稱為回歸函數(shù)，在實(shí)際問題中稱為經(jīng)驗(yàn)公式?；貧w系，這個函數(shù)稱為回歸函數(shù)，在實(shí)際問題中稱為經(jīng)驗(yàn)公式?；貧w分析所研究的主分析所研究的主 要問題就是如何利用變量要問題就是如何利用變量X，Y的觀察值（樣的觀察值（樣本），對回歸函數(shù)進(jìn)行統(tǒng)計(jì)推斷，包括對它進(jìn)行估計(jì)及檢驗(yàn)與它本），對回歸函數(shù)進(jìn)行統(tǒng)計(jì)推斷，包括對它進(jìn)行估計(jì)及檢驗(yàn)與它有關(guān)的假設(shè)等。有關(guān)的假設(shè)等。Statistical Analysis System目目 錄錄7.1 一般回歸分析過程一般回歸分析過程 REG7.2 多項(xiàng)式回歸分析過程多項(xiàng)式回歸分析過程 RSRE

3、G7.3 逐步回歸分析過程逐步回歸分析過程 STEPWISE7.4 非線性回歸分析過程非線性回歸分析過程 NLINStatistical Analysis System7.1 一般回歸分析過程一般回歸分析過程 REG7.1.1 概述概述 REG過程是一個通用回歸過程，用最小二乘法估計(jì)過程是一個通用回歸過程，用最小二乘法估計(jì)線性回歸模型。線性回歸模型。 此過程可以有多個模型此過程可以有多個模型(MODEL)語句，語句，輸入數(shù)據(jù)可以是原始樣本數(shù)據(jù)，也可以是相關(guān)陣，輸入數(shù)據(jù)可以是原始樣本數(shù)據(jù)，也可以是相關(guān)陣， 可打可打印模型中的參數(shù)估計(jì)值、預(yù)測值、殘差及置信區(qū)間等，印模型中的參數(shù)估計(jì)值、預(yù)測值、殘差

4、及置信區(qū)間等，并可作線性假設(shè)檢驗(yàn)。并可作線性假設(shè)檢驗(yàn)。Statistical Analysis System7.1 一般回歸分析過程一般回歸分析過程 REG7.1.2 過程說明過程說明 可用下列語句調(diào)用可用下列語句調(diào)用REG過程：過程： (紅色表示常用的選項(xiàng)紅色表示常用的選項(xiàng)) PROC REG 選項(xiàng)選項(xiàng);/ ALL/ SIMPLE/ NOPRINT/ CORR/ USSCP label:MODEL 因變量表因變量表=回歸變量表回歸變量表/選項(xiàng)選項(xiàng); / NOPRINT/ NOINT/ I/ XPX/ ALL/ P/ R/ CLM/ CLI / DW/ PARTIAL OUTPUT OUT=數(shù)

5、據(jù)集數(shù)據(jù)集 關(guān)鍵字關(guān)鍵字=名稱表名稱表;/ PREDICTED(或或P) /RESIDUAL(或或R)/ I95/ U95/ STDR/ TDI/ STUDENT BY 變量表變量表;/對對BY指定的變量分組分別進(jìn)行分析指定的變量分組分別進(jìn)行分析Statistical Analysis System7.1 一般回歸分析過程一般回歸分析過程 REG7.1.3 使用說明使用說明 1. 如果有一個回歸變量有缺項(xiàng)值，那么該觀測值不參與分析。如果有一個回歸變量有缺項(xiàng)值，那么該觀測值不參與分析。 2. 輸入數(shù)據(jù)集可以是樣本數(shù)據(jù)集，也可以是相關(guān)陣或離差陣。輸入數(shù)據(jù)集可以是樣本數(shù)據(jù)集，也可以是相關(guān)陣或離差陣。

6、例如，例如， 設(shè)有回歸變量設(shè)有回歸變量X1，X2，X3及因變量及因變量Y，其樣本數(shù)據(jù)集為，其樣本數(shù)據(jù)集為RAW，則可先用，則可先用CORR過程產(chǎn)生一個輸出數(shù)據(jù)集，然后再調(diào)用過程產(chǎn)生一個輸出數(shù)據(jù)集，然后再調(diào)用REG過程建立回歸方程過程建立回歸方程Y=b0+b1X1+b2X2+b3X3例如：例如： PROC CORR DATA=RAW OUTP=R; VAR Y X1 X2 X3; PROC REG DATA=R; MODEL Y=X1 X2 X3;Statistical Analysis System7.1 一般回歸分析過程一般回歸分析過程 REG 例例7.1 一元一次及二次回歸。一元一次及二次

7、回歸。 測得某種液體的熱容量測得某種液體的熱容量Y和溫度和溫度X的數(shù)據(jù)，試確定的數(shù)據(jù)，試確定X與與Y的關(guān)系式。的關(guān)系式。 程序如下：程序如下： TITLE一元一次及二次回歸一元一次及二次回歸; DATA CT; INPUT X Y; XSQ=X*X; CARDS; 5 1.0029 10 1.0013 15 1.0001 20 0.9990 25 0.9981 30 0.9979 35 0.9978 40 0.9981 45 0.9987 50 0.9996 ; PROC REG; MODEL Y=X/P CLI; MODEL Y=X XSQ/P CLI; OUTPUT OUT=CXX P=p

8、red L95=l95 U95=u95;/將數(shù)據(jù)將數(shù)據(jù)p,l95,u05給給CXX并輸出并輸出 PROC PLOT DATA=CXX;/畫畫CXX的散點(diǎn)圖的散點(diǎn)圖 PLOT pred*X=P u95*X=U l95*X=L/OVERLAY VPOS=40 HPOS=60;/在一個坐標(biāo)平面內(nèi)重疊顯示在一個坐標(biāo)平面內(nèi)重疊顯示 RUN; 程序中建立了兩個程序中建立了兩個Y與與X的關(guān)系式的關(guān)系式:Y=a+bX及及Y=a+bX+cX*X并分別以二次模型的觀測值、值信并分別以二次模型的觀測值、值信度為度為95的置信區(qū)間的上限及下限的置信區(qū)間的上限及下限為縱坐標(biāo)，為縱坐標(biāo)，X 為橫坐標(biāo)，在同一坐為橫坐標(biāo)，在

9、同一坐標(biāo)系中作散點(diǎn)圖。標(biāo)系中作散點(diǎn)圖。Statistical Analysis System一元二次回歸一元二次回歸 Analysis of VarianceSum of Mean Source DF Squares Square F Value ProbF Model 2 0.00003 0.00001 1775.948 0.0001 Error 7 0.00000 0.00000 C Total 9 0.00003 Root MSE 0.00008 R-square 0.9980 Dep Mean 0.99935 Adj R-sq 0.9975 C.V. 0.00842 Parameter

10、 Estimates Parameter Standard T for H0： Variable DF Estimate Error Parameter=0 Prob |T| INTERCEP 1 1.004940 0.00009898 10152.922 0.0001 X 1 -0.000428 0.00000827 -51.783 0.0001 XSQ 1 0.000006424 0.00000015 43.852 0.0001Statistical Analysis System一元一次回歸一元一次回歸Model：MODEL1Dependent Variable： Y Analysis

11、of VarianceSum of Mean Source DF Squares Square F Value ProbF Model 1 0.00001 0.00001 6.752 0.0317 Error 8 0.00001 0.00000 C Total 9 0.00003 Root MSE 0.00131 R-square 0.4577 Dep Mean 0.99935 Adj R-sq 0.3899 C.V. 0.13080 Parameter Estimates Parameter Standard T for H0： Variable DF Estimate Error Para

12、meter=0 Prob |T| INTERCEP 1 1.001407 0.00089295 1121.461 0.0001 X 1 -0.000074788 0.00002878 -2.598 0.0317由輸出結(jié)果知，第一個線性模型在0.05水平下是顯著的，預(yù)測模型為：Y=1.001407-0.000075X而二次模型在0.0001水平下是顯著的，預(yù)測模型為： Y=1.004940-0.000428X+0.000006424X*X復(fù)相關(guān)系數(shù)接近1，預(yù)測值與實(shí)測值更接近，回歸效果更好，因此Y與X 的關(guān)系應(yīng)選用二次模型。Statistical Analysis System7.1 一般回歸分

13、析過程一般回歸分析過程 REG 例例7.2 多元線性回歸。多元線性回歸。 某地區(qū)二化螟的第一代成蟲發(fā)生量某地區(qū)二化螟的第一代成蟲發(fā)生量Y與四個因素有關(guān)，與四個因素有關(guān)，這四個因素是：這四個因素是： X1：冬季積雪期限：冬季積雪期限(單位為周單位為周) X2：每年化雪日期每年化雪日期(以以2月月1日為日為1) X3：二月份平均氣溫：二月份平均氣溫() X4：三月份平均氣溫：三月份平均氣溫() Y：二化螟發(fā)生總量：二化螟發(fā)生總量(頭頭)試建立二化螟發(fā)生總量的回歸方程。試建立二化螟發(fā)生總量的回歸方程。Statistical Analysis System7.1 一般回歸分析過程一般回歸分析過程 RE

14、G程序如下：程序如下： TITLE1多元線性回歸多元線性回歸; DATA AMO; INPUT Y X1-X4 ; CARDS; 9 10 26 0.2 3.6 17 12 26 -1.4 4.4 34 14 40 -0.8 1.7 42 16 32 0.2 1.4 40 19 51 -1.4 0.9 27 16 33 0.2 2.1 4 7 26 2.7 2.7 27 7 25 1.0 4.0 13 12 17 2.2 3.7 56 11 24 -0.8 3.0 15 12 16 -0.5 4.9 8 7 16 2.0 4.1 20 11 15 1.1 4.7 ; PROC REG ; MO

15、DEL Y=X1 X2 X3 X4/P CLI ; RUN;Statistical Analysis System多元線性回歸多元線性回歸Analysis of VarianceSum of Mean Source DF Squares Square F Value ProbF Model 4 1993.17075 498.29269 4.546 0.0329 Error 8 876.82925 109.60366 C Total 12 2870.00000 Root MSE 10.46918 R-square 0.6945 Dep Mean 24.00000 Adj R-sq 0.5417

16、C.V. 43.62157 Parameter Estimates Parameter Standard T for H0： Variable DF Estimate Error Parameter=0 Prob |T| INTERCEP 1 138.070972 50.55376284 2.731 0.0258 X1 1 -1.008792 1.42454732 -0.708 0.4990 X2 1 -1.658353 0.82923516 -2.000 0.0805 X3 1 -11.188564 3.88023702 -2.883 0.0204 X4 1 -16.978982 6.421

17、56442 -2.644 0.0295在在0.05水平下水平下回歸模型顯著，回歸模型顯著，在在0.1水平下水平下X2，X3及及X4均顯著，均顯著，X1不顯著。不顯著。 回回歸方程為：歸方程為： Y=138.070972-1.008792X1-1.658353X2-11.88564X3-16.978982X4Statistical Analysis System7.2 多項(xiàng)式回歸分析過程多項(xiàng)式回歸分析過程 RSREG 7.2.1 概述概述 RSREG過程擬合二次響應(yīng)曲面，過程擬合二次響應(yīng)曲面， 回歸模型中可包含回歸模型中可包含自變量的平方項(xiàng)及交叉乘積項(xiàng)自變量的平方項(xiàng)及交叉乘積項(xiàng),因此又稱多項(xiàng)式回

18、歸模因此又稱多項(xiàng)式回歸模型。型。 SAS系統(tǒng)中的其它過程，如系統(tǒng)中的其它過程，如GLM過程，也可解過程，也可解決響應(yīng)曲面問題，但是決響應(yīng)曲面問題，但是RSREG過程更有效。過程更有效。Statistical Analysis System7.2 多項(xiàng)式回歸分析過程多項(xiàng)式回歸分析過程 RSREG7.2.2 過程說明過程說明 可用下列語句調(diào)用可用下列語句調(diào)用RSREG過程：過程： PROC RSREG 選項(xiàng)選項(xiàng); MODEL 因變量因變量=自變量自變量/選項(xiàng)選項(xiàng); BY 變量表變量表; 1. PROC RSREG 選項(xiàng)選項(xiàng); 常用的選項(xiàng)有：常用的選項(xiàng)有： DATA=數(shù)據(jù)集數(shù)據(jù)集 指定輸入數(shù)據(jù)集，缺

19、省時(shí)為最新建立指定輸入數(shù)據(jù)集，缺省時(shí)為最新建立的數(shù)據(jù)集。的數(shù)據(jù)集。 2. MODEL 響應(yīng)變量響應(yīng)變量=自變量自變量/選項(xiàng)選項(xiàng); Statistical Analysis System7.2 多項(xiàng)式回歸分析過程多項(xiàng)式回歸分析過程 RSREG常用的選項(xiàng)有：常用的選項(xiàng)有： LACKFIT 要求進(jìn)行擬合不佳檢驗(yàn)。若選用此項(xiàng)，則須先將自變要求進(jìn)行擬合不佳檢驗(yàn)。若選用此項(xiàng)，則須先將自變量排序。量排序。 COVAR=n 指定模型中前指定模型中前n個自變量為簡單回歸自變量而不是二次個自變量為簡單回歸自變量而不是二次項(xiàng)。項(xiàng)。NOPRINT 抑制打印方差分析及典型分析。抑制打印方差分析及典型分析。 3. BY變

20、量表變量表; 對對BY變量所定義的觀測值分組分別進(jìn)行分析。變量所定義的觀測值分組分別進(jìn)行分析。7.2.4 舉例舉例 例例7.3 有一大麥氮磷肥用量配比試驗(yàn)，施氮量有一大麥氮磷肥用量配比試驗(yàn)，施氮量X1(公斤公斤/畝畝)為五個為五個水平，施磷量水平，施磷量(公斤公斤 /畝畝)為四個水平。測得氮磷肥配比試驗(yàn)平均產(chǎn)為四個水平。測得氮磷肥配比試驗(yàn)平均產(chǎn)量量Y(公斤公斤/畝畝)，試建立，試建立Y與與X1及及X2的二元二次回歸方程。的二元二次回歸方程。 Statistical Analysis System7.2 多項(xiàng)式回歸分析過程多項(xiàng)式回歸分析過程 RSREG程序如下：程序如下： TITLE二元二次多項(xiàng)

21、式回歸二元二次多項(xiàng)式回歸; DATA YIELD; INPUT X1 X2 Y; LABEL X1=氮氮 X2=磷磷 Y=產(chǎn)量產(chǎn)量; CARDS; 0.0 0 84.5 0.0 2 105.5 0.0 4 156.0 0.0 6 154.0 2.5 0 100.0 2.5 2 131.5 2.5 4 177.0 2.5 6 188.0 5.0 0 142.0 5.0 2 165.5 5.0 4 211.0 5.0 6 217.0 7.5 0 175.5 7.5 2 193.0 7.5 4 245.0 7.5 6 255.0 10.0 0 161.0 10.0 2 172.0 10.0 4 23

22、3.5 10.0 6 235.5 ; PROC RSREG; MODEL Y=X1 X2; RUN;Statistical Analysis System二元二次多項(xiàng)式回歸二元二次多項(xiàng)式回歸 Coding Coefficients for the Independent Variables Factor Subtracted off Divided by X1 5.000000 5.000000 X2 3.000000 3.000000 Response Surface for Variable Y： 產(chǎn)量 Response Mean 175.125000 Root MSE 15.111235

23、 R-Square 0.9284 Coef. of Variation 8.6288 Degrees of Type I Sum Regression Freedom of Squares R-Square F-Ratio ProbF Linear 2 39193 0.8775 85.817 0.0000 Quadratic 2 2268.598214 0.0508 4.967 0.0234 Crossproduct 1 5.445000 0.0001 0.0238 0.8795 Total Regress 5 41467 0.9284 36.319 0.0000 Degrees of Sum

24、 of Residual Freedom Squares Mean Square Total Error 14 3196.891786 228.349413 Degrees of Parameter Standard T for H0： Parameter Freedom Estimate Error Parameter=0 Prob|T| INTERCEPT 1 74.147857 11.119123 6.668 0.0000 X1 1 18.047714 3.605044 5.006 0.0002 X2 1 19.627500 5.704366 3.441 0.0040 X1*X1 1 -

25、0.948571 0.323092 -2.936 0.0108 X2*X1 1 0.066000 0.427410 0.154 0.8795 X2*X2 1 -0.968750 0.844744 -1.147 0.2707對原自變量對原自變量X1、X2分別進(jìn)行轉(zhuǎn)分別進(jìn)行轉(zhuǎn)換：換：X1=(X1-5)/5 X2=(X2-3)/3模型中的線性及二次回歸項(xiàng)均顯模型中的線性及二次回歸項(xiàng)均顯著著(=0.05)，交叉項(xiàng)不顯著。，交叉項(xiàng)不顯著。 由由原變量建立的回歸方程為：原變量建立的回歸方程為： Y=74.147857+18.047714X1+19.627500X2-0.948571X1*X1 +0.066

26、000X1*X2-0.968750X2*X2X1*X2與與X2*X2兩項(xiàng)不顯著。兩項(xiàng)不顯著。 輸出結(jié)果還給出了用變換后的輸出結(jié)果還給出了用變換后的變量建立的模型參數(shù)估計(jì)值變量建立的模型參數(shù)估計(jì)值。Statistical Analysis System7.3 逐步回歸分析過程逐步回歸分析過程 STEPWISE 7.3.1 概述概述 STEPWISE過程可在全體自變量中找出其作用最顯著的部分自變量來建立回歸方程，此過程提供五種逐步回歸方法。Statistical Analysis System7.3 逐步回歸分析過程逐步回歸分析過程 STEPWISE 7.3.2 過程說明過程說明 可用下列語句調(diào)用

27、可用下列語句調(diào)用STEPWISE過程：過程： PROC STEPWISE 選項(xiàng)選項(xiàng); MODEL 因變量因變量=自變量自變量/選項(xiàng)選項(xiàng); BY 變量變量;Statistical Analysis System7.3 逐步回歸分析過程逐步回歸分析過程 STEPWISE 7.3.4 舉例舉例 例例7.4 逐步回歸分析逐步回歸分析 某地區(qū)某地區(qū)1963年至年至1980年年18年的春糧播種面積為年的春糧播種面積為X1(萬畝萬畝)，化肥施用量為，化肥施用量為X2(500噸噸) ，肥豬頭，肥豬頭數(shù)數(shù)X3(萬頭萬頭)，水稻抽穗揚(yáng)花期降水量為，水稻抽穗揚(yáng)花期降水量為X4及春及春糧產(chǎn)量糧產(chǎn)量Y(500噸噸)，試

28、建立春糧產(chǎn)量的預(yù)報(bào)模型。，試建立春糧產(chǎn)量的預(yù)報(bào)模型。Statistical Analysis System程序如下：程序如下： TITLE1逐步回歸分析逐步回歸分析; DATA YIELD; INPUT X1-X4 Y; LABEL X1=播種面積播種面積 X2=施肥用量施肥用量; LABEL X3=養(yǎng)豬養(yǎng)豬頭數(shù)頭數(shù) X4=降水量降水量 Y=春糧產(chǎn)春糧產(chǎn)量量; CARDS; 137 4 15 27 309 148 6 26 38 400 154 10 33 20 454 157 18 38 99 520 153 13 41 43 516 151 10 39 33 459 151 15 37 4

29、6 531 154 16 38 78 558 155 27 44 52 607 155 36 51 22 541 156 46 53 39 597 155 47 51 28 558 157 48 51 46 619 156 60 52 59 618 159 96 52 70 742 164 191 57 52 805 164 186 68 38 859 156 195 74 32 855 ; PROC STEPWISE; MODEL Y=X1-X4; RUN;Statistical Analysis System逐步回歸分析逐步回歸分析tepwise Procedure for Depende

30、nt Variable YStep 1 Variable X3 Entered R-square = 0.85890646 C(p)= 43.16549537DF Sum of Squares Mean Square F ProbFRegression 1 328629.63607533 328629.63607533 97.40 0.0001Error 16 53984.36392467 3374.02274529Total 17 382614.00000000Parameter Standard Type IIVariable Estimate Error Sum of Squares F

31、 ProbFINTERCEP 138.02412869 47.41140043 28595.15580345 8.48 0.0102X3 9.83361669 0.99640045 328629.63607533 97.40 0.0001Bounds on condition number： 1， 1-Step 2 Variable X2 Entered R-square = 0.92950851 C(p) = 16.56035153DF Sum of Squares Mean Square F ProbFRegression 2 355642.96789963 177821.48394981

32、 98.90 0.0001Error 15 26971.03210037 1798.06880669Total 17 382614.00000000Parameter Standard Type IIVariable Estimate Error Sum of Squares F ProbFINTERCEP 264.80789133 47.62183599 55597.57931226 30.92 0.0001X2 1.07390189 0.27706310 27013.33182430 15.02 0.0015X3 5.70949076 1.28887726 35284.00963138 1

33、9.62 0.0005Bounds on condition number： 3.139764， 12.55906- 第一步引入變量X3，第二步引入變量X2，第三步又引入變量X4，以后既沒有變量剔除也沒有變量引入，故最終模型中僅包含變量X3，X2和X4。輸出結(jié)果給出了由這三個變量建立的線性模型的參數(shù)估計(jì)值及顯著性檢驗(yàn)等。Statistical Analysis System逐步回歸分析逐步回歸分析Step 3 Variable X4 Entered R-square = 0.96392407 C(p) = 4.61653451DF Sum of Squares Mean Square F Pr

34、obFRegression 3 368810.84281379 122936.94760460 124.69 0.0001Error 14 13803.15718621 985.93979901Total 17 382614.00000000Parameter Standard Type IIVariable Estimate Error Sum of Squares F ProbFINTERCEP 205.05939930 38.86931817 27440.74604456 27.83 0.0001X2 1.09987019 0.20528681 28301.61086710 28.71

35、0.0001X3 5.62602957 0.95468018 34240.38241305 34.73 0.0001X4 1.35926946 0.37194002 13167.87491417 13.36 0.0026Bounds on condition number： 3.14353， 21.85908-All variables in the model are significant at the 0.1500 level.No other variable met the 0.1500 significance level for entry into the model.Summary of Stepwise Procedure for Dependent Variable Y Variable Number Partial ModelStep Entered Removed In R*2 R*2 C(p) F ProbF 1 X3 1 0.8589 0.8589 43.1655 97.3999 0.0001 2 X2 2 0.0706 0.9295 16.5604 15.0235 0.0015 3 X4 3 0.0344 0.9639 4.6165 13.35