回歸分析的原理及Matlab操作

?建立因變量y與自變量x1,…,xm

間的回歸模型(經(jīng)驗(yàn)公式)；?對回歸模型的可信度進(jìn)行檢驗(yàn)；?判斷每個(gè)自變量xi對y的影響是否顯著；?診斷回歸模型是否適合這組數(shù)據(jù)；?利用回歸模型對y進(jìn)行預(yù)測或?qū)進(jìn)行控制.回歸分析在一組數(shù)據(jù)的基礎(chǔ)上研究這樣幾個(gè)問題本文檔共49頁；當(dāng)前第1頁；編輯于星期二\12點(diǎn)10分§1一元線性回歸例1測16名成年女子的身高與腿長所得數(shù)據(jù)如下：以身高x為橫坐標(biāo)，以腿長y為縱坐標(biāo)將這些數(shù)據(jù)點(diǎn)（xI，yi）在平面直角坐標(biāo)系上標(biāo)出.散點(diǎn)圖解答本文檔共49頁；當(dāng)前第2頁；編輯于星期二\12點(diǎn)10分一元線性回歸分析的主要任務(wù)是：返回本文檔共49頁；當(dāng)前第3頁；編輯于星期二\12點(diǎn)10分一、模型參數(shù)估計(jì)1、回歸系數(shù)的最小二乘估計(jì)本文檔共49頁；當(dāng)前第4頁；編輯于星期二\12點(diǎn)10分，本文檔共49頁；當(dāng)前第5頁；編輯于星期二\12點(diǎn)10分二、檢驗(yàn)、預(yù)測與控制1、回歸方程的顯著性檢驗(yàn)本文檔共49頁；當(dāng)前第6頁；編輯于星期二\12點(diǎn)10分（Ⅰ）F檢驗(yàn)法

（Ⅱ）t檢驗(yàn)法本文檔共49頁；當(dāng)前第7頁；編輯于星期二\12點(diǎn)10分（Ⅲ）r檢驗(yàn)法本文檔共49頁；當(dāng)前第8頁；編輯于星期二\12點(diǎn)10分2、回歸系數(shù)的置信區(qū)間本文檔共49頁；當(dāng)前第9頁；編輯于星期二\12點(diǎn)10分3、預(yù)測與控制（1）預(yù)測本文檔共49頁；當(dāng)前第10頁；編輯于星期二\12點(diǎn)10分（2）控制返回本文檔共49頁；當(dāng)前第11頁；編輯于星期二\12點(diǎn)10分§2可線性化的一元非線性回歸（曲線回歸）

例2出鋼時(shí)所用的盛鋼水的鋼包，由于鋼水對耐火材料的侵蝕，容積不斷增大.我們希望知道使用次數(shù)與增大的容積之間的關(guān)系.對一鋼包作試驗(yàn)，測得的數(shù)據(jù)列于下表：解答本文檔共49頁；當(dāng)前第12頁；編輯于星期二\12點(diǎn)10分散點(diǎn)圖此即非線性回歸或曲線回歸

問題（需要配曲線）配曲線的一般方法是：本文檔共49頁；當(dāng)前第13頁；編輯于星期二\12點(diǎn)10分通常選擇的六類曲線如下：返回（如：CUMCM2007年A題中國人口增長預(yù)測）本文檔共49頁；當(dāng)前第14頁；編輯于星期二\12點(diǎn)10分§3多元線性回歸返回本文檔共49頁；當(dāng)前第15頁；編輯于星期二\12點(diǎn)10分二、模型參數(shù)估計(jì)解得估計(jì)值

本文檔共49頁；當(dāng)前第16頁；編輯于星期二\12點(diǎn)10分返回本文檔共49頁；當(dāng)前第17頁；編輯于星期二\12點(diǎn)10分三、多元線性回歸中的檢驗(yàn)與預(yù)測

（Ⅰ）F檢驗(yàn)法（Ⅱ）r檢驗(yàn)法(殘差平方和）本文檔共49頁；當(dāng)前第18頁；編輯于星期二\12點(diǎn)10分2、預(yù)測（1）點(diǎn)預(yù)測（2）區(qū)間預(yù)測返回本文檔共49頁；當(dāng)前第19頁；編輯于星期二\12點(diǎn)10分四、逐步回歸分析（4）“有進(jìn)有出”的逐步回歸分析。（1）從所有可能的因子（變量）組合的回歸方程中選擇最優(yōu)者；（2）從包含全部變量的回歸方程中逐次剔除不顯著因子；（3）從一個(gè)變量開始，把變量逐個(gè)引入方程；選擇“最優(yōu)”的回歸方程有以下幾種方法：

“最優(yōu)”的回歸方程就是包含所有對Y有影響的變量,而不包含對Y影響不顯著的變量回歸方程。以第四種方法，即逐步回歸分析法在篩選變量方面較為理想.

在實(shí)際中，影響Y的因素很多，這些因素可能存在多重共線性（相關(guān)性），這就對系數(shù)的估計(jì)帶來不合理的解釋，從而影響對Y的分析和預(yù)測。本文檔共49頁；當(dāng)前第20頁；編輯于星期二\12點(diǎn)10分這個(gè)過程反復(fù)進(jìn)行，直至既無不顯著的變量從回歸方程中剔除，又無顯著變量可引入回歸方程時(shí)為止。逐步回歸分析法的思想：從一個(gè)自變量開始，視自變量Y作用的顯著程度，從大到小地依次逐個(gè)引入回歸方程。當(dāng)引入的自變量由于后面變量的引入而變得不顯著時(shí)，要將其剔除掉。引入一個(gè)自變量或從回歸方程中剔除一個(gè)自變量，為逐步回歸的一步。對于每一步都要進(jìn)行Y值檢驗(yàn)，以確保每次引入新的顯著性變量前回歸方程中只包含對Y作用顯著的變量。返回本文檔共49頁；當(dāng)前第21頁；編輯于星期二\12點(diǎn)10分統(tǒng)計(jì)工具箱中的回歸分析命令1、多元線性回歸2、多項(xiàng)式回歸3、非線性回歸4、逐步回歸返回本文檔共49頁；當(dāng)前第22頁；編輯于星期二\12點(diǎn)10分多元線性回歸

b=regress(Y,X)1、確定回歸系數(shù)的點(diǎn)估計(jì)值：本文檔共49頁；當(dāng)前第23頁；編輯于星期二\12點(diǎn)10分3、畫出殘差及其置信區(qū)間：rcoplot（r，rint）2、求回歸系數(shù)的點(diǎn)估計(jì)和區(qū)間估計(jì)、并檢驗(yàn)回歸模型：

[b,bint,r,rint,stats]=regress(Y,X,alpha)回歸系數(shù)的區(qū)間估計(jì)殘差用于檢驗(yàn)回歸模型的統(tǒng)計(jì)量，有三個(gè)數(shù)值：相關(guān)系數(shù)r2、F值、與F對應(yīng)的概率p殘差置信區(qū)間顯著性水平（缺省時(shí)為0.05）本文檔共49頁；當(dāng)前第24頁；編輯于星期二\12點(diǎn)10分例1解：1、輸入數(shù)據(jù)：x=[143145146147149150153154155156157158159160162164]';X=[ones(16,1)x];Y=[8885889192939395969897969899100102]';2、回歸分析及檢驗(yàn)：[b,bint,r,rint,stats]=regress(Y,X)b,bint,statsToMATLAB(liti11)題目本文檔共49頁；當(dāng)前第25頁；編輯于星期二\12點(diǎn)10分3、殘差分析，作殘差圖：rcoplot(r,rint)從殘差圖可以看出，除第二個(gè)數(shù)據(jù)外，其余數(shù)據(jù)的殘差離零點(diǎn)均較近，且殘差的置信區(qū)間均包含零點(diǎn)，這說明回歸模型y=-16.073+0.7194x能較好的符合原始數(shù)據(jù)，而第二個(gè)數(shù)據(jù)可視為異常點(diǎn).4、預(yù)測及作圖：z=b(1)+b(2)*xplot(x,Y,'k+',x,z,'r')返回ToMATLAB(liti12)本文檔共49頁；當(dāng)前第26頁；編輯于星期二\12點(diǎn)10分多項(xiàng)式回歸（一）一元多項(xiàng)式回歸

（1）確定多項(xiàng)式系數(shù)的命令：[p，S]=polyfit（x，y，m）（2）一元多項(xiàng)式回歸命令：polytool（x，y，m）1、回歸：y=a1xm+a2xm-1+…+amx+am+12、預(yù)測和預(yù)測誤差估計(jì)：（1）Y=polyval（p，x）求polyfit所得的回歸多項(xiàng)式在x處的預(yù)測值Y；（2）[Y，DELTA]=polyconf（p，x，S，alpha）求polyfit所得的回歸多項(xiàng)式在x處的預(yù)測值Y及預(yù)測值的顯著性為1-alpha的置信區(qū)間YDELTA；alpha缺省時(shí)為0.5.本文檔共49頁；當(dāng)前第27頁；編輯于星期二\12點(diǎn)10分法一直接作二次多項(xiàng)式回歸：

t=1/30:1/30:14/30;s=[11.8615.6720.6026.6933.7141.9351.1361.4972.9085.4499.08113.77129.54146.48];[p,S]=polyfit(t,s,2)ToMATLAB（liti21）得回歸模型為：本文檔共49頁；當(dāng)前第28頁；編輯于星期二\12點(diǎn)10分法二化為多元線性回歸：t=1/30:1/30:14/30;s=[11.8615.6720.6026.6933.7141.9351.1361.4972.9085.4499.08113.77129.54146.48];T=[ones(14,1)t'(t.^2)'];[b,bint,r,rint,stats]=regress(s',T);b,statsToMATLAB(liti22)得回歸模型為：Y=polyconf(p,t,S)plot(t,s,'k+',t,Y,'r')預(yù)測及作圖ToMATLAB(liti23)本文檔共49頁；當(dāng)前第29頁；編輯于星期二\12點(diǎn)10分（二）多元二項(xiàng)式回歸命令：rstool（x，y，’model’,alpha）nm矩陣顯著性水平（缺省時(shí)為0.05）n維列向量本文檔共49頁；當(dāng)前第30頁；編輯于星期二\12點(diǎn)10分例3設(shè)某商品的需求量與消費(fèi)者的平均收入、商品價(jià)格的統(tǒng)計(jì)數(shù)據(jù)如下，建立回歸模型，預(yù)測平均收入為1000、價(jià)格為6時(shí)的商品需求量.法一直接用多元二項(xiàng)式回歸：x1=[10006001200500300400130011001300300];x2=[5766875439];y=[10075807050659010011060]';x=[x1'x2'];rstool(x,y,'purequadratic')本文檔共49頁；當(dāng)前第31頁；編輯于星期二\12點(diǎn)10分在畫面左下方的下拉式菜單中選”all”,則beta、rmse和residuals都傳送到Matlab工作區(qū)中.在左邊圖形下方的方框中輸入1000，右邊圖形下方的方框中輸入6。則畫面左邊的“PredictedY”下方的數(shù)據(jù)變?yōu)?8.47981，即預(yù)測出平均收入為1000、價(jià)格為6時(shí)的商品需求量為88.4791.本文檔共49頁；當(dāng)前第32頁；編輯于星期二\12點(diǎn)10分在Matlab工作區(qū)中輸入命令：beta,rmseToMATLAB(liti31)本文檔共49頁；當(dāng)前第33頁；編輯于星期二\12點(diǎn)10分結(jié)果為:b=110.53130.1464-26.5709-0.00011.8475stats=0.970240.66560.0005法二ToMATLAB(liti32)返回將化為多元線性回歸：本文檔共49頁；當(dāng)前第34頁；編輯于星期二\12點(diǎn)10分非線性回歸（1）確定回歸系數(shù)的命令：

[beta，r，J]=nlinfit（x，y，’model’,beta0）（2）非線性回歸命令：nlintool（x，y，’model’,beta0，alpha）1、回歸：殘差Jacobian矩陣回歸系數(shù)的初值是事先用m-文件定義的非線性函數(shù)估計(jì)出的回歸系數(shù)輸入數(shù)據(jù)x、y分別為矩陣和n維列向量，對一元非線性回歸，x為n維列向量。2、預(yù)測和預(yù)測誤差估計(jì)：[Y，DELTA]=nlpredci（’model’,x，beta，r，J）求nlinfit或nlintool所得的回歸函數(shù)在x處的預(yù)測值Y及預(yù)測值的顯著性為1-alpha的置信區(qū)間YDELTA.本文檔共49頁；當(dāng)前第35頁；編輯于星期二\12點(diǎn)10分例4對第一節(jié)例2，求解如下：2、輸入數(shù)據(jù)：x=2:16;y=[6.428.209.589.59.7109.939.9910.4910.5910.6010.8010.6010.9010.76];beta0=[11.6789-1.1107]';3、求回歸系數(shù)：[beta,r,J]=nlinfit(x',y','volum',beta0)；beta得結(jié)果：beta=11.6037-1.0642即得回歸模型為：ToMATLAB(liti41)題目本文檔共49頁；當(dāng)前第36頁；編輯于星期二\12點(diǎn)10分4、預(yù)測及作圖：[YY,delta]=nlpredci('volum',x',beta,r,J)；plot(x,y,'k+',x,YY,'r')ToMATLAB(liti42)本文檔共49頁；當(dāng)前第37頁；編輯于星期二\12點(diǎn)10分例5財(cái)政收入預(yù)測問題：財(cái)政收入與國民收入、工業(yè)總產(chǎn)值、農(nóng)業(yè)總產(chǎn)值、總?cè)丝?、就業(yè)人口、固定資產(chǎn)投資等因素有關(guān)。下表列出了1952-1981年的原始數(shù)據(jù)，試構(gòu)造預(yù)測模型。

解設(shè)國民收入、工業(yè)總產(chǎn)值、農(nóng)業(yè)總產(chǎn)值、總?cè)丝?、就業(yè)人口、固定資產(chǎn)投資分別為x1、x2、x3、x4、x5、x6，財(cái)政收入為y，設(shè)變量之間的關(guān)系為：y=ax1+bx2+cx3+dx4+ex5+fx6使用非線性回歸方法求解。本文檔共49頁；當(dāng)前第38頁；編輯于星期二\12點(diǎn)10分1．

對回歸模型建立M文件model.m如下:functionyy=model(beta0,X)a=beta0(1);b=beta0(2);c=beta0(3);d=beta0(4);e=beta0(5);f=beta0(6);x1=X(:,1);x2=X(:,2);x3=X(:,3);x4=X(:,4);x5=X(:,5);x6=X(:,6);yy=a*x1+b*x2+c*x3+d*x4+e*x5+f*x6;

本文檔共49頁；當(dāng)前第39頁；編輯于星期二\12點(diǎn)10分2.

主程序liti6.m如下:X=[598.00349.00461.0057482.0020729.0044.00…………..2927.006862.001273.00100072.043280.00496.00];y=[184.00216.00248.00254.00268.00286.00357.00444.00506.00...271.00230.00266.00323.00393.00466.00352.00303.00447.00...564.00638.00658.00691.00655.00692.00657.00723.00922.00...890.00826.00810.0]';beta0=[0.50-0.03-0.600.01-0.020.35];betafit=nlinfit(X,y,'model',beta0)ToMATLAB(liti6）本文檔共49頁；當(dāng)前第40頁；編輯于星期二\12點(diǎn)10分betafit=0.5243-0.0294-0.63040.0112-0.02300.3658即y=0.5243x1-0.0294x2-0.6304x3+0.0112x4-0.0230x5+0.3658x6結(jié)果為:返回本文檔共49頁；當(dāng)前第41頁；編輯于星期二\12點(diǎn)10分逐步回歸逐步回歸的命令是：stepwise（x，y，inmodel，alpha）運(yùn)行stepwise命令時(shí)產(chǎn)生三個(gè)圖形窗口：StepwisePlot，StepwiseTable，StepwiseHistory.在StepwisePlot窗口，顯示出各項(xiàng)的回歸系數(shù)及其置信區(qū)間.StepwiseTable窗口中列出了一個(gè)統(tǒng)計(jì)表，包括回歸系數(shù)及其置信區(qū)間，以及模型的統(tǒng)計(jì)量剩余標(biāo)準(zhǔn)差（RMSE）、相關(guān)系數(shù)（R-square）、F值、與F對應(yīng)的概率P.矩陣的列數(shù)的指標(biāo)，給出初始模型中包括的子集（缺省時(shí)設(shè)定為全部自變量）顯著性水平（缺省時(shí)為0.5）自變量數(shù)據(jù),階矩陣因變量數(shù)據(jù)，n×1階矩陣本文檔共49頁；當(dāng)前第42頁；編輯于星期二\12點(diǎn)10分例6水泥凝固時(shí)放出的熱量y與水泥中4種化學(xué)成分x1、x2、x3、x4

有關(guān)，今測得一組數(shù)據(jù)如下，試用逐步回歸法確定一個(gè)線性模型.1、數(shù)據(jù)輸入：x1=[7111117113122111110]';x2=[26295631525571315447406668]';x3=[615886917221842398]';x4=[6052204733226442226341212]';y=[78.574.3104.387.695.9109.2102.772.593.1115.983.8113.3109.4]';x=[x1x2x3x4];本文檔共49頁；當(dāng)前第43頁；編輯于星期二\12點(diǎn)10分2、逐步回歸：（1）先在初始模型中取全部自變量：stepwise(x,y)得圖StepwisePl