高等教育逐步回歸分析

1、回歸分析MATLAB工具箱一、多元線性回歸多元線性回歸：1、確定回歸系數(shù)的點(diǎn)估計(jì)值：命令為：b=regress(Y, X )b表示Y表示X表示2、求回歸系數(shù)的點(diǎn)估計(jì)和區(qū)間估計(jì)、并檢驗(yàn)回歸模型：命令為：b, bint,r,rint,stats=regress(Y,X,alpha)bint表示回歸系數(shù)的區(qū)間估計(jì).r表示殘差.rint表示置信區(qū)間.stats表示用于檢驗(yàn)回歸模型的統(tǒng)計(jì)量,有三個(gè)數(shù)值：相關(guān)系數(shù)r2、F值、與F對(duì)應(yīng)的概率p.說明：相關(guān)系數(shù)越接近1,說明回歸方程越顯著；時(shí)拒絕,F越大,說明回歸方程越顯著；與F對(duì)應(yīng)的概率p時(shí)拒絕H0,回歸模型成立.alpha表示顯著性水平(缺省時(shí)為0.05)

2、3、畫出殘差及其置信區(qū)間.命令為：rcoplot(r,rint)例1.如下程序.解：(1)輸入數(shù)據(jù).x=143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164' X=ones(16,1) x;Y=88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102'(2)回歸分析及檢驗(yàn). b,bint,r,rint,stats=regress(Y,X) b,bint,stats得結(jié)果：b = bint = -16.0730 -33.7071 1.5612 0.7194 0.60

3、47 0.8340 stats = 0.9282 180.9531 0.0000即；的置信區(qū)間為-33.7017,1.5612, 的置信區(qū)間為0.6047,0.834; r2=0.9282, F=180.9531, p=0.0000,我們知道p<0.05就符合條件, 可知回歸模型 y=-16.073+0.7194x成立.(3)殘差分析,作殘差圖.rcoplot(r,rint)從殘差圖可以看出,除第二個(gè)數(shù)據(jù)外,其余數(shù)據(jù)的殘差離零點(diǎn)均較近,且殘差的置信區(qū)間均包含零點(diǎn),這說明回歸模型 y=-16.073+0.7194x能較好的符合原始數(shù)據(jù),而第二個(gè)數(shù)據(jù)可視為異常點(diǎn). (4)預(yù)測(cè)及作圖.z=b(

4、1)+b(2)*x plot(x,Y,'k+',x,z,'r')二、多項(xiàng)式回歸 (一)一元多項(xiàng)式回歸.1、一元多項(xiàng)式回歸：(1)確定多項(xiàng)式系數(shù)的命令：p,S=polyfit(x,y,m)說明：x=(x1,x2,xn),y=(y1,y2,yn)；p=(a1,a2,am+1)是多項(xiàng)式y(tǒng)=a1xm+a2xm-1+amx+am+1的系數(shù)；S是一個(gè)矩陣,用來估計(jì)預(yù)測(cè)誤差.(2)一元多項(xiàng)式回歸命令：polytool(x,y,m)2、預(yù)測(cè)和預(yù)測(cè)誤差估計(jì).(1)Y=polyval(p,x)求polyfit所得的回歸多項(xiàng)式在x處的預(yù)測(cè)值Y；(2)Y,DELTA=polyconf(

5、p,x,S,alpha)求polyfit所得的回歸多項(xiàng)式在x處的預(yù)測(cè)值Y及預(yù)測(cè)值的顯著性為1-alpha的置信區(qū)間Y±DELTA；alpha缺省時(shí)為0.5.例1. 觀測(cè)物體降落的距離s與時(shí)間t的關(guān)系,得到數(shù)據(jù)如下表,求s.(關(guān)于t的回歸方程)t (s)1/302/303/304/305/306/307/30s (cm)11.8615.6720.6026.6933.7141.9351.13t (s)8/309/3010/3011/3012/3013/3014/30s (cm)61.4972.9085.4499.08113.77129.54146.48解法一：直接作二次多項(xiàng)式回歸.t=1

6、/30:1/30:14/30; s=11.86 15.67 20.60 26.69 33.71 41.93 51.13 61.49 72.90 85.44 99.08 113.77 129.54 146.48;p,S=polyfit(t,s,2)得回歸模型為：解法二：化為多元線性回歸.t=1/30:1/30:14/30;s=11.86 15.67 20.60 26.69 33.71 41.93 51.13 61.49 72.90 85.44 99.08 113.77 129.54 146.48;T=ones(14,1) t' (t.2)'b,bint,r,rint,stats=

7、regress(s',T);b,stats得回歸模型為：預(yù)測(cè)及作圖：Y=polyconf(p,t,S)plot(t,s,'k+',t,Y,'r')(二)多元二項(xiàng)式回歸多元二項(xiàng)式回歸命令：rstool(x,y,model, alpha)說明：x表示n´m矩陣；Y表示n維列向量；alpha：顯著性水平(缺省時(shí)為0.05)；model表示由下列4個(gè)模型中選擇1個(gè)(用字符串輸入,缺省時(shí)為線性模型)：linear(線性)：purequadratic(純二次)：interaction(交叉)：quadratic(完全二次)：例1. 設(shè)某商品的需求量與消費(fèi)者

8、的平均收入、商品價(jià)格的統(tǒng)計(jì)數(shù)據(jù)如下,建立回歸模型,預(yù)測(cè)平均收入為1000、價(jià)格為6時(shí)的商品需求量.需求量10075807050659010011060收入1000600 1200500300400130011001300300價(jià)格5766875439解法一：選擇純二次模型,即.直接用多元二項(xiàng)式回歸：x1=1000 600 1200 500 300 400 1300 1100 1300 300;x2=5 7 6 6 8 7 5 4 3 9;y=100 75 80 70 50 65 90 100 110 60'x=x1' x2'rstool(x,y,'purequa

9、dratic')在左邊圖形下方的方框中輸入1000,右邊圖形下方的方框中輸入6，則畫面左邊的“Predicted Y”下方的數(shù)據(jù)變?yōu)?8.47981,即預(yù)測(cè)出平均收入為1000、價(jià)格為6時(shí)的商品需求量為88.4791.在畫面左下方的下拉式菜單中選”all”, 則beta、rmse和residuals都傳送到Matlab工作區(qū)中.在Matlab工作區(qū)中輸入命令：beta, rmse得結(jié)果：beta = 110.5313 0.1464 -26.5709 -0.0001 1.8475 rmse = 4.5362故回歸模型為：剩余標(biāo)準(zhǔn)差為4.5362, 說明此回歸模型的顯著性較好.解法二：將化

10、為多元線性回歸：X=ones(10,1) x1' x2' (x1.2)' (x2.2)'b,bint,r,rint,stats=regress(y,X);b,stats結(jié)果為: b = 110.5313 0.1464 -26.5709 -0.0001 1.8475 stats = 0.9702 40.6656 0.0005三、非線性回歸 1、非線性回歸：(1)確定回歸系數(shù)的命令：beta,r,J=nlinfit(x,y,model, beta0)說明：beta表示估計(jì)出的回歸系數(shù)；r表示殘差；J表示Jacobian矩陣；x,y表示輸入數(shù)據(jù)x、y分別為矩陣和n維列

11、向量,對(duì)一元非線性回歸,x為n維列向量；model表示是事先用m-文件定義的非線性函數(shù)；beta0表示回歸系數(shù)的初值.(2)非線性回歸命令：nlintool(x,y,model, beta0,alpha)2、預(yù)測(cè)和預(yù)測(cè)誤差估計(jì)：Y,DELTA=nlpredci(model, x,beta,r,J)表示nlinfit 或nlintool所得的回歸函數(shù)在x處的預(yù)測(cè)值Y及預(yù)測(cè)值的顯著性為1-alpha的置信區(qū)間Y±DELTA.例1. 如下程序.解：(1)對(duì)將要擬合的非線性模型y=a,建立m-文件volum.m如下： function yhat=volum(beta,x)yhat=beta(

12、1)*exp(beta(2)./x);(2)輸入數(shù)據(jù)： x=2:16; y=6.42 8.20 9.58 9.5 9.7 10 9.93 9.99 10.49 10.59 10.60 10.80 10.60 10.90 10.76; beta0=8 2'(3)求回歸系數(shù)： beta,r ,J=nlinfit(x',y','volum',beta0)； beta(4)運(yùn)行結(jié)果：beta = 11.6036 -1.0641即得回歸模型為：(5)預(yù)測(cè)及作圖： YY,delta=nlpredci('volum',x',beta,r ,J)

13、； plot(x,y,'k+',x,YY,'r')四、逐步回歸1、逐步回歸的命令：stepwise(x,y,inmodel,alpha)說明：x表示自變量數(shù)據(jù),階矩陣；y表示因變量數(shù)據(jù),階矩陣；inmodel表示矩陣的列數(shù)的指標(biāo),給出初始模型中包括的子集(缺省時(shí)設(shè)定為全部自變量)；alpha表示顯著性水平(缺省時(shí)為0.5).2、運(yùn)行stepwise命令時(shí)產(chǎn)生三個(gè)圖形窗口：Stepwise Plot,Stepwise Table,Stepwise History.在Stepwise Plot窗口,顯示出各項(xiàng)的回歸系數(shù)及其置信區(qū)間.(1)Stepwise Table

14、窗口中列出了一個(gè)統(tǒng)計(jì)表,包括回歸系數(shù)及其置信區(qū)間,以及模型的統(tǒng)計(jì)量剩余標(biāo)準(zhǔn)差(RMSE)、相關(guān)系數(shù)(R-square)、F值、與F對(duì)應(yīng)的概率P.例1. 水泥凝固時(shí)放出的熱量y與水泥中4種化學(xué)成分x1、x2、x3、 x4有關(guān),今測(cè)得一組數(shù)據(jù)如下,試用逐步回歸法確定一個(gè)線性模型.序號(hào)12345678910111213x17111117113122111110x226295631525571315447406668x3615886917221842398x46052204733226442226341212y78.574.3104.387.695.9109.2102.772.593.1115.983

15、.8113.3109.4解：(1)數(shù)據(jù)輸入：x1=7 1 11 11 7 11 3 1 2 21 1 11 10'x2=26 29 56 31 52 55 71 31 54 47 40 66 68'x3=6 15 8 8 6 9 17 22 18 4 23 9 8'x4=60 52 20 47 33 22 6 44 22 26 34 12 12'y=78.5 74.3 104.3 87.6 95.9 109.2 102.7 72.5 93.1 115.9 83.8 113.3 109.4'x=x1 x2 x3 x4;(2)逐步回歸.先在初始模型中取全部自變量：stepwise(x,y)得圖Stepwise Plot 和表Stepwise Table.圖Stepwise Plot中四條直線都是虛線,說明模型的顯著性不好.從表Stepw