回歸分析精品課件

1、回歸分析2022/9/151第1頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二一元線性回歸多元線性回歸回歸分析方法數(shù)學(xué)模型及定義*模型參數(shù)估計(jì)*檢驗(yàn)、預(yù)測(cè)與控制可線性化的一元非線性回歸（曲線回歸）數(shù)學(xué)模型及定義*模型參數(shù)估計(jì)*多元線性回歸中的檢驗(yàn)與預(yù)測(cè)逐步回歸分析2022/9/152第2頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二一、數(shù)學(xué)模型例1 測(cè)16名成年女子的身高與腿長(zhǎng)所得數(shù)據(jù)如下：以身高x為橫坐標(biāo)，以腿長(zhǎng)y為縱坐標(biāo)將這些數(shù)據(jù)點(diǎn)（xI，yi）在平面直角坐標(biāo)系上標(biāo)出.散點(diǎn)圖解答2022/9/153第3頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二一元線性回歸

2、分析的主要任務(wù)是：返回、1、用試驗(yàn)值（樣本值）對(duì)0b1b和s作點(diǎn)估計(jì)；、2、對(duì)回歸系數(shù)0b1b作假設(shè)檢驗(yàn)； 3、在x=0 x處對(duì)y作預(yù)測(cè)，對(duì)y作區(qū)間估計(jì).2022/9/154第4頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二二、模型參數(shù)估計(jì)1、回歸系數(shù)的最小二乘估計(jì)2022/9/155第5頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二其中， 2022/9/156第6頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二返回2022/9/157第7頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二三、檢驗(yàn)、預(yù)測(cè)與控制1、回歸方程的顯著性檢驗(yàn)2022/9/158第8頁，

3、共58頁，2022年，5月20日，9點(diǎn)24分，星期二2022/9/159第9頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二（）F檢驗(yàn)法 （）t檢驗(yàn)法以下介紹三種不同的檢驗(yàn)方法，它們的本質(zhì)是相同的2022/9/1510第10頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二（）r檢驗(yàn)法2022/9/1511第11頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二2、回歸系數(shù)的置信區(qū)間2022/9/1512第12頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二3、預(yù)測(cè)與控制（1）預(yù)測(cè):對(duì)固定的x值預(yù)測(cè)相應(yīng)的y值2022/9/1513第13頁，共58頁，2022年，5月

4、20日，9點(diǎn)24分，星期二（2）控制返回2022/9/1514第14頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二四、可線性化的一元非線性回歸 （曲線回歸）例2 出鋼時(shí)所用的盛鋼水的鋼包，由于鋼水對(duì)耐火材料的侵蝕， 容積不斷增大.我們希望知道使用次數(shù)與增大的容積之間的關(guān) 系.對(duì)一鋼包作試驗(yàn)，測(cè)得的數(shù)據(jù)列于下表：解答2022/9/1515第15頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二散點(diǎn)圖此即非線性回歸或曲線回歸 問題（需要配曲線）配曲線的一般方法是：2022/9/1516第16頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二通常選擇的六類曲線如下：返回2022

5、/9/1517第17頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二2 多元線性回歸多元線性回歸在工程上更為有用。一、數(shù)學(xué)模型及定義2022/9/1518第18頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二2022/9/1519第19頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二返回2022/9/1520第20頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二二、模型參數(shù)估計(jì)解得估計(jì)值 2022/9/1521第21頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二返回2022/9/1522第22頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二三、

6、多元線性回歸中的檢驗(yàn)與預(yù)測(cè) （）F檢驗(yàn)法（）r檢驗(yàn)法(殘差平方和）2022/9/1523第23頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二2、預(yù)測(cè)（1）點(diǎn)預(yù)測(cè)（2）區(qū)間預(yù)測(cè)返回2022/9/1524第24頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二四、逐步回歸分析 實(shí)際問題中影響因變量的因素可能很多，我們希望從中挑選出影響顯著的自變量來建立回歸模型，這就涉及到變量選擇的問題。逐步回歸是一種從眾多變量中有效地選擇重要變量的方法。，它是在多元線性回歸的基礎(chǔ)上派生出來的一種算法技巧。 “最優(yōu)”的回歸方程就是包含所有對(duì)Y有影響的變量, 而不包含對(duì)Y影響不顯著的變量回歸方程。20

7、22/9/1525第25頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二（4）“有進(jìn)有出”的逐步回歸分析。（1）從所有可能的因子（變量）組合的回歸方程中選擇最優(yōu)者；（2）從包含全部變量的回歸方程中逐次剔除不顯著因子；（3）從一個(gè)變量開始，把變量逐個(gè)引入方程；選擇“最優(yōu)”的回歸方程有以下幾種方法： 以第四種方法，即逐步回歸分析法在篩選變量方面較為理想.2022/9/1526第26頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二 這個(gè)過程反復(fù)進(jìn)行，直至既無不顯著的變量從回歸方程中剔除，又無顯著變量可引入回歸方程時(shí)為止。逐步回歸分析法的思想： 從一個(gè)自變量開始，視自變量Y作用的顯著程

8、度，從大到地依次逐個(gè)引入回歸方程。 當(dāng)引入的自變量由于后面變量的引入而變得不顯著時(shí)，要將其剔除掉。 引入一個(gè)自變量或從回歸方程中剔除一個(gè)自變量，為逐步回歸的一步。 對(duì)于每一步都要進(jìn)行Y值檢驗(yàn)，以確保每次引入新的顯著性變量前回歸方程中只包含對(duì)Y作用顯著的變量。返回2022/9/1527第27頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二統(tǒng)計(jì)工具箱中的回歸分析命令1、多元線性回歸2、多項(xiàng)式回歸3、非線性回歸4、逐步回歸返回2022/9/1528第28頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二1. 多元線性回歸 b=regress( Y, X )1)確定回歸系數(shù)的點(diǎn)估計(jì)值：2

9、022/9/1529第29頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二3、畫出殘差及其置信區(qū)間： rcoplot（r，rint）2)求回歸系數(shù)的點(diǎn)估計(jì)和區(qū)間估計(jì)、并檢驗(yàn)回歸模型： b, bint,r,rint,stats=regress(Y,X,alpha)回歸系數(shù)的區(qū)間估計(jì)殘差用于檢驗(yàn)回歸模型的統(tǒng)計(jì)量，有三個(gè)數(shù)值：相關(guān)系數(shù)r2、F值、與F對(duì)應(yīng)的概率p置信區(qū)間 顯著性水平（缺省時(shí)為0.05）2022/9/1530第30頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二例1解：1、輸入數(shù)據(jù)： x=143 145 146 147 149 150 153 154 155 156 1

10、57 158 159 160 162 164; X=ones(16,1) x; Y=88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102;2、回歸分析及檢驗(yàn)： b,bint,r,rint,stats=regress(Y,X) b,bint,statsTo MATLAB(liti11)題目2022/9/1531第31頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二3、殘差分析，作殘差圖： rcoplot(r,rint) 從殘差圖可以看出，除第二個(gè)數(shù)據(jù)外，其余數(shù)據(jù)的殘差離零點(diǎn)均較近，且殘差的置信區(qū)間均包含零點(diǎn)，這說明回歸模型 y=-16.073

11、+0.7194x能較好的符合原始數(shù)據(jù)，而第二個(gè)數(shù)據(jù)可視為異常點(diǎn). 4、預(yù)測(cè)及作圖：z=b(1)+b(2)*x plot(x,Y,k+,x,z,r)返回To MATLAB(liti12)2022/9/1532第32頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二多 項(xiàng) 式 回 歸 （一）一元多項(xiàng)式回歸 （1）確定多項(xiàng)式系數(shù)的命令：p，S=polyfit（x，y，m）（2）一元多項(xiàng)式回歸命令：polytool（x，y，m）1、回歸：y=a1xm+a2xm-1+amx+am+1 此命令產(chǎn)生一個(gè)交互式的畫面，畫面中有擬合曲線和y的置信區(qū)間。通過左下方的Export菜單，可以輸出回歸系數(shù)等。20

12、22/9/1533第33頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二2、預(yù)測(cè)和預(yù)測(cè)誤差估計(jì)：（1）Y=polyval（p，x）求polyfit所得的回歸多項(xiàng)式在x處的預(yù) 測(cè)值Y； （2）Y，DELTA=polyconf（p，x，S，alpha）求polyfit所得 的回歸多項(xiàng)式在x處的預(yù)測(cè)值Y及預(yù)測(cè)值的顯著性為1- alpha的置信區(qū)間Y DELTA；alpha缺省時(shí)為0.5.一元多項(xiàng)式回歸也可以化為多元線性回歸來解。2022/9/1534第34頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二法一 直接作二次多項(xiàng)式回歸： t=1/30:1/30:14/30; s=11.86

13、 15.67 20.60 26.69 33.71 41.93 51.13 61.49 72.90 85.44 99.08 113.77 129.54 146.48; p,S=polyfit(t,s,2)To MATLAB（liti21）得回歸模型為 ：2022/9/1535第35頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二法二化為多元線性回歸：t=1/30:1/30:14/30;s=11.86 15.67 20.60 26.69 33.71 41.93 51.13 61.49 72.90 85.44 99.08 113.77 129.54 146.48;T=ones(14,1) t

14、 (t.2);b,bint,r,rint,stats=regress(s,T);b,statsTo MATLAB(liti22)得回歸模型為 ：Y=polyconf(p,t,S) plot(t,s,k+,t,Y,r)預(yù)測(cè)及作圖To MATLAB(liti23)2022/9/1536第36頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二（二）多元二項(xiàng)式回歸命令：rstool（x，y，model, alpha）nm矩陣顯著性水平（缺省時(shí)為0.05）n維列向量2022/9/1537第37頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二 命令rstool產(chǎn)生一個(gè)交互式畫面，畫面中有m個(gè)

15、圖形，這m個(gè)圖形分別給出了一個(gè)獨(dú)立變量xi（另m-1個(gè)變量取固定值）與y的擬合曲線，以及y的置信區(qū)間。可以通過鍵入不同的xi值來獲得相應(yīng)的y值。2022/9/1538第38頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二 例3 設(shè)某商品的需求量與消費(fèi)者的平均收入、商品價(jià)格的統(tǒng)計(jì)數(shù) 據(jù)如下，建立回歸模型，預(yù)測(cè)平均收入為1000、價(jià)格為6時(shí) 的商品需求量.解 直接用多元二項(xiàng)式回歸：x1=1000 600 1200 500 300 400 1300 1100 1300 300;x2=5 7 6 6 8 7 5 4 3 9;y=100 75 80 70 50 65 90 100 110 60;

16、x=x1 x2; rstool(x,y,purequadratic)2022/9/1539第39頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二 在畫面左下方的下拉式菜單中選”all”, 則beta、rmse和residuals都傳送到Matlab工作區(qū)中.在左邊圖形下方的方框中輸入800，右邊圖形下方的方框中輸入6。 則畫面左邊的“Predicted Y”下方的數(shù)據(jù)變?yōu)?6.3971，即預(yù)測(cè)出平均收入為800、價(jià)格為6時(shí)的商品需求量為86.3971.2022/9/1540第40頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二在Matlab工作區(qū)中輸入命令： beta, rms

17、eTo MATLAB(liti31)2022/9/1541第41頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二非線性回 歸 （1）確定回歸系數(shù)的命令： beta，r，J=nlinfit（x，y，model, beta0）（2）非線性回歸命令：nlintool（x，y，model, beta0，alpha）1、回歸：殘差Jacobian矩陣，用于估計(jì)預(yù)測(cè)誤差需要的數(shù)據(jù)。回歸系數(shù)的初值是事先用m-文件定義的非線性函數(shù)估計(jì)出的回歸系數(shù)輸入數(shù)據(jù)x、y分別為 矩陣和n維列向量，對(duì)一元非線性回歸，x為n維列向量。其中個(gè)參數(shù)含義同前，alpha為顯著性水平，缺省時(shí)為0.05。該命令產(chǎn)生一個(gè)交互式的

18、畫面，畫面中有擬合曲線和y的置信區(qū)間。通過左下方的Export菜單，可以輸出回歸系數(shù)等。2022/9/1542第42頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二2、預(yù)測(cè)和預(yù)測(cè)誤差估計(jì)：該命令用于求nlinfit 或nlintool所得的回歸函數(shù)在x處的預(yù)測(cè)值Y及預(yù)測(cè)值的顯著性為1-alpha的置信區(qū)間Y DELTA.Y，DELTA=nlpredci（model, x，beta，r，J）2022/9/1543第43頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二例 4 對(duì)第一節(jié)例2，求解如下：2、輸入數(shù)據(jù)： x=2:16; y=6.42 8.20 9.58 9.5 9.7 1

19、0 9.93 9.99 10.49 10.59 10.60 10.80 10.60 10.90 10.76; beta0=8 2;3、求回歸系數(shù)： beta,r ,J=nlinfit(x,y,volum,beta0)； beta得結(jié)果：beta = 11.6036 -1.0641即得回歸模型為：To MATLAB(liti41)題目2022/9/1544第44頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二4、預(yù)測(cè)及作圖： YY,delta=nlpredci(volum,x,beta,r ,J)； plot(x,y,k+,x,YY,r)To MATLAB(liti42)2022/9/1

20、545第45頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二例5 財(cái)政收入預(yù)測(cè)問題：財(cái)政收入與國(guó)民收入、工業(yè)總產(chǎn)值、農(nóng)業(yè)總產(chǎn)值、總?cè)丝?、就業(yè)人口、固定資產(chǎn)投資等因素有關(guān)。下表列出了1952-1981年的原始數(shù)據(jù)，試構(gòu)造預(yù)測(cè)模型。 解 設(shè)國(guó)民收入、工業(yè)總產(chǎn)值、農(nóng)業(yè)總產(chǎn)值、總?cè)丝?、就業(yè)人口、固定資產(chǎn)投資分別為x1、x2、x3、x4、x5、x6，財(cái)政收入為y，設(shè)變量之間的關(guān)系為：y= ax1+bx2+cx3+dx4+ex5+fx6使用非線性回歸方法求解。2022/9/1546第46頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二1 對(duì)回歸模型建立M文件model.m如下: funct

21、ion yy=model(beta0,X) a=beta0(1); b=beta0(2); c=beta0(3); d=beta0(4); e=beta0(5); f=beta0(6); x1=X(:,1); x2=X(:,2); x3=X(:,3); x4=X(:,4); x5=X(:,5); x6=X(:,6); yy=a*x1+b*x2+c*x3+d*x4+e*x5+f*x6; 2022/9/1547第47頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二2. 主程序liti6.m如下:X=598.00 349.00 461.00 57482.00 20729.00 44.00 .

22、 2927.00 6862.00 1273.00 100072.0 43280.00 496.00;y=184.00 216.00 248.00 254.00 268.00 286.00 357.00 444.00 506.00 . 271.00 230.00 266.00 323.00 393.00 466.00 352.00 303.00 447.00 . 564.00 638.00 658.00 691.00 655.00 692.00 657.00 723.00 922.00 . 890.00 826.00 810.0;beta0=0.50 -0.03 -0.60 0.01 -0.02

23、 0.35;betafit = nlinfit(X,y,model,beta0)To MATLAB(liti6）2022/9/1548第48頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二 betafit = 0.5243 -0.0294 -0.6304 0.0112 -0.0230 0.3658即y= 0.5243x1-0.0294x2-0.6304x3+0.0112x4-0.0230 x5+0.3658x6結(jié)果為:返 回2022/9/1549第49頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二逐 步 回 歸逐步回歸的命令是： stepwise（x，y，inmodel，al

24、pha） 運(yùn)行stepwise命令時(shí)產(chǎn)生三個(gè)圖形窗口：Stepwise Plot，Stepwise Table，Stepwise History. 在Stepwise Plot窗口，顯示出各項(xiàng)的回歸系數(shù)及其置信區(qū)間. Stepwise Table 窗口中列出了一個(gè)統(tǒng)計(jì)表，包括回歸系數(shù)及其置信區(qū)間，以及模型的統(tǒng)計(jì)量剩余標(biāo)準(zhǔn)差（RMSE）、相關(guān)系數(shù)（R-square）、F值、與F對(duì)應(yīng)的概率P.矩陣的列數(shù)的指標(biāo)，給出初始模型中包括的子集（缺省時(shí)設(shè)定為全部自變量）顯著性水平（缺省時(shí)為0.5）自變量數(shù)據(jù), 階矩陣因變量數(shù)據(jù)， 階矩陣2022/9/1550第50頁，共58頁，2022年，5月20日，9點(diǎn)2

25、4分，星期二例6 水泥凝固時(shí)放出的熱量y與水泥中4種化學(xué)成分x1、x2、x3、 x4 有關(guān)，今測(cè)得一組數(shù)據(jù)如下，試用逐步回歸法確定一個(gè) 線性模 型.1、數(shù)據(jù)輸入：x1=7 1 11 11 7 11 3 1 2 21 1 11 10;x2=26 29 56 31 52 55 71 31 54 47 40 66 68;x3=6 15 8 8 6 9 17 22 18 4 23 9 8;x4=60 52 20 47 33 22 6 44 22 26 34 12 12;y=78.5 74.3 104.3 87.6 95.9 109.2 102.7 72.5 93.1 115.9 83.8 113.3 109.4;x=x1 x2 x3 x4;2022/9/1551第51頁，共58頁，2022年，5月20日，9點(diǎn)24分，星期二2、逐步回歸：（1）先在初始模型中取全部自變量： stepwise(x,y)得圖Stepwise Plot 和表Stepwise Table圖Stepwise P