應用數(shù)理統(tǒng)計-回歸分析

1、1x第五章回歸分析回歸分析是對變量之間作相關(guān)分析，并由實驗數(shù)據(jù)建立因變量y(R.V)與多個變量(自變量)，x2,，xk之間的數(shù)學模型，并對12k模型作檢驗以及作短期的預測1、一元線性回歸設(shè)y=a+bx+s,為y與x線性回歸的數(shù)學模型yN(a+bx,a2)或SN(0,b2)，由n組實測值(x,y)，(x,y)，(x,y)，由散點1122nn圖大致描繪出y與x呈線性關(guān)系y.=a+bx,+.,sn(o,b2),i=1,2,，n回歸分析是由n對實測數(shù)據(jù)估計參數(shù)a、b建立線性回歸方程y=a+bx，稱勺為殘差，其殘差平方和Q(a，b)=工y-(a+bx)2,i=1由最小二乘法使誤差平方和達最小，即minQ

2、(a,b).詈=2Z：yi-(a+bxi)=0i=1=0或a+b-Zxni=11nyni=1由x=-Zx,y=丄工y，得nii=1nii=1a+xb=y_zznxa+(厶x2)b二厶xyiiiaQdb=-2Zy.-(a+bx.)xi=1i=1i=1(表明x、y一定在回歸直線上)為二元一次線性方程組,其系數(shù)行列式_nnxYx2ii=1YxYb=DbDxxyiii=1i=1n乙x2-nx2iii=1nxy-nxyii=-T=inx2一nx2ii=1=Yx2nx2=工(x-x)2H0,iii=1i=1所以方程組有唯一組解，唯一的最小點，一元回歸分析入Lb=LxxTOC o 1-5 h z/X./X.

3、a=y-xb得所求線性回歸方程為y=a+bx其中，L=Y(x-x)(y-y)Yxy-nxy，為x、y的父叉乘積和;xyiiiii=1i=1nnnrL=(x-x)2xZj(x-x)xZj(x-x)x2-nx2，為xxxiiiiii=1i=1i=1i=1的離差平方和；L=Y（y-y）2Yy2-ny2，為y的（總的）離差平方和.yyiii=1i=1例6.1為研究建材產(chǎn)量與基建投資之間的相關(guān)關(guān)系以及建立他們的線性關(guān)系式，統(tǒng)計了某市一年12月相關(guān)數(shù)據(jù)，如下：基建投資x（億元）13.5514.3815.5215.1717.4817.6320.0523.1425.2525.8824.8327.40建材產(chǎn)量y

4、（萬噸）7.658.098.317.888.908.419.5311.0111.1911.1310.7711.35解：（1）建立y與x的回歸方程工x=240.28藝y=114.22Xx2=5089.84,iiii=1i=1i=1X12y2=1111.01iX12xy=2367.19，n=12iii=1i=1r=20.02,丁=9.52,L=Xx2-12X2=280.2352,xxii=1L=Xxy一12xy=80.1052,xyiii=1l=Xy2-12y2=23.4452,yyii=1則b=行=80.1052=0.286,L280.2352xxa=y-xb=9.5220.02X0.286=3

5、.79,所以所求一元線性回歸方程為y=3.79+0.286x回代原始數(shù)據(jù)x=13.55,y=7.65,y=3.79+13.55X0.286=7.6653；111又對x=27.40,y=11.35,y=3.79+27.40X0.286=11.6264121212有一定誤差但在可控范圍內(nèi)2）給出x、y的樣本相關(guān)系數(shù)并檢驗X、Y的相關(guān)系數(shù)cov(X,Y)卩XY_、D(X)JD(Y)E(XY)-E(X)E(Y)樣本相關(guān)系數(shù)為R,L2則R2=xyL80.10252280.2352x23.4452=0.9767,R=0.9983xxyyxxxx般|rIVI,表明建材產(chǎn)量與基建投資以98.83%存在著相關(guān)關(guān)

6、系,1.17%是由隨機誤差影響所致H0：p=0；H：pEn2可以證明T=t(n2)，拒絕域Tt(n2),1R212210.97672對.=05查表10.025(10)=22281，樣本值T=09983X=20.474口2.2281，表明x、y有顯著的相關(guān)性，或由相關(guān)關(guān)系表R=0.9983仏=0576.3）回歸方程的顯著性檢驗（線性顯著性）H0：b=0,不顯著；H1：b#0顯著.n1稱U=工（y-y）2為回歸平方和，ii=11I.b乙a+bx(a+bx)/i=1n1=(b)2乙(xx)2=(b)2L=ixxi=1bL.xyLb叫-L=Lxxxx2nY(xx)(yy)ii-i=4Lb=Lxx=1y

7、(-)yLiiLxxi=1xx(、xxiLxxn乙(xx)ii=1其中cixiLny=Ycy,iiii=1i=lL丿i=1xxxy1ycy(xx),=1iLii=1xxi=1Yc2=丄y(xx)2ii=1xxi=1xx3yn(x一x)xcx=工i_iiLi_1i_1xx1=xL=1.Lxxxx由y.=a+bx+&yN(a+bx,b2),E(y)=a+bx，iiiiiiiD(y)=inb2，由于正態(tài)分布的線性組合藝cy仍然服從正態(tài)分布，所以iiE(b)=工i_1入I1bNb,bLXXynnnc(a+bx)=ayc+bycx=b，iiiiii_1i_1i_1D(b)=為c2D(y)=b2Xc2=b

8、iiiLi_1i_1xx入，標準化LN(0,1).xxii2，4當H0成立時，b=02b2nLX2(1)，b2xx即b2x2(1)，殘差平方和nQ=y(y-y)2=工ii(y-y)-(y-y)iiTOC o 1-5 h znnn.=工(yy)2+乙(y一y)22工(y一y)(y一y)iiiii_1i_1i_1=L+2by(y一y)(x一y)yyiii_1=L+2bLyyxy=L-U(離差平方和的分解)yy HYPERLINK l bookmark14 o Current Document L1n又亠=工(y-刃2x2(n-1)及X2-分布的可加性b2b2ii_1x2(n一2)b2b-bxx口t

9、(n2)T檢驗法）當H0成立時，a=0.05,拒絕域|t5由樣本值t(n2)a2U=bL=0.286X80.1052=22.91,xyQ=LU=23.445222.91=0.5352yy0.286,0.5352V12-2x280.2352=20.669t(10)=2.2281,0.025拒絕H0表明y與X是有顯著的線性相關(guān)關(guān)系.4）整個回歸方程的檢驗H：整體回歸方程不顯著；化：整體回歸方程顯著U2/1F=L=(n2)F(1,n-2)(F檢驗法)./(n2)QQ2方差分析表方差來源平方和自由度均方F值回歸U=22.91122.91殘差Q=0.5352100.05352428.01總離.心、內(nèi)L=

10、23.445yy11對a=0.01,查表F(1,n-2)=F(1,10)=10.04,a0.01F=428.01口F(1?n-2)=10.04a整個回歸方程高度顯著(5)對方差。2作估計由乞b2X2(n-2),E=EX2(n2)=n2,令b2為b2的估計量，是b2的一個無偏估計量，由樣本甘2=竺=0.05352.1226)預測1點預測若已知x=30.16,132區(qū)間預測則y13=3.79+030.16=12,416.可以證明T當X=30.16,則1312.416土2.2281x聲“+丄可-亙12212280.2352=12.4160.6206=11.7954,13.03662、多元線性回歸設(shè)y

11、=b0+bX+bx+切sn(0,b2),k個自變量x1，xx,011kk12kn組實測值(x,x,x,y)，(x,x,x,y)，1121k111222k221n2n,x,yknn)，y=b+bxH+bxi011ikki殘差平方和Q=工2=工y-(b+bx+bx)2,ii011ikkii=1i=1分別對bo，b1，b2，b求偏導數(shù)，并令其為零，得k+1個方012k程、k+1個未知數(shù)的正規(guī)線性方程組，其矩陣形式為XtXB=XtY.右xtx工0,B(xtx)-1xty，其中1xx11211xxx:12221xx-1n2nxk1xk2,xtx為一個k+1階矩(k+1)xnnx(k+1)xkn陣，b0b1為k+1維列向量，(k+1)x1bk(k+1)x1y1Ynx1y2為n維列向量，ynnx1則xTY為k+1維列向量(k+1)xnnx1多元線性回歸方程y=b+bx+bx011kk例1某銀行前5月的利潤與兩個投資項目有相關(guān)關(guān)系利潤y（百萬）項目一（億元）項目二（億元）利潤y（百萬）項目一（億元）項目二（億元）月份123453I8353152454646建立二元線性回歸方程X5x3，Y5X1XTX5x35x35I525I5558I258II29XTX5x35x3=20#0,（XTX卜2674.5-8_,(XtX=_53490-1604.5I-1.5