應(yīng)用回歸分析課后習(xí)題參考答案

1、2.1一元線性回歸模型有哪些基本假定？答：1.解釋變量XX2，上Xp,是非隨機(jī)變量，觀測(cè)值Xi!,Xi2,上，Xp是常數(shù)。2. 等方差及不相關(guān)的假定條件為日叨=0,i =1,2,A ,nk2，i = jcov(ij) h(i, j =1,2A , n)0,i幻這個(gè)條件稱為高斯-馬爾柯夫(Gauss-Markov)條件，簡(jiǎn)稱G-M條件。在此條 件下，便可以得到關(guān)于回歸系數(shù)的最小二乘估計(jì)及誤差項(xiàng)方差 二2估計(jì)的一些重 要性質(zhì)，如回歸系數(shù)的最小二乘估計(jì)是回歸系數(shù)的最小方差線性無(wú)偏估計(jì)等。3. 正態(tài)分布的假定條件為廠2(N(0衛(wèi)),i=1,2A,n3, %,A , %相互獨(dú)立在此條件下便可得到關(guān)于回歸

2、系數(shù)的最小二乘估計(jì)及-2估計(jì)的進(jìn)一步結(jié)果，如它們分別是回歸系數(shù)的最及 匚2的最小方差無(wú)偏估計(jì)等，并且可以作回歸的顯著性檢驗(yàn)及區(qū)間估計(jì)。4. 通常為了便于數(shù)學(xué)上的處理，還要求n p,及樣本容量的個(gè)數(shù)要多于解 釋變量的個(gè)數(shù)。在整個(gè)回歸分析中，線性回歸的統(tǒng)計(jì)模型最為重要。一方面是因?yàn)榫€性回歸的應(yīng)用最廣泛；另一方面是只有在回歸模型為線性的假設(shè)下，才能的到比較深入和一般的結(jié)果；再就是有許多非線性的回歸模型可以通過(guò)適當(dāng)?shù)霓D(zhuǎn)化變?yōu)榫€性回 歸問(wèn)題進(jìn)行處理。因此，線性回歸模型的理論和應(yīng)用是本書(shū)研究的重點(diǎn)。1. 如何根據(jù)樣本(Xi,xi2,上，xip; yj(i =1,2,上，n)求出：0, “ ：2,上廠p及方

3、差匚2的估計(jì)；2. 對(duì)回歸方程及回歸系數(shù)的種種假設(shè)進(jìn)行檢驗(yàn)；3. 如何根據(jù)回歸方程進(jìn)行預(yù)測(cè)和控制，以及如何進(jìn)行實(shí)際問(wèn)題的結(jié)構(gòu)分析。2.2考慮過(guò)原點(diǎn)的線性回歸模型% =1氷 ；i, i =1,2，n誤差；!，；2，上，；n仍滿足基本假定。求的最小二 乘估計(jì)。nn答：Q( 1)八( -E(yJ)2 八-譏)2i =1i =i.:Q一(y - -iXi)Xii丄xyi 2 '-a x2i di Jn=0,即 v Xi yii 4n'Xiyii 4n、Xi2i丄n送xw解得,即!？的最小二乘估計(jì)為f?2i 4I-l.:.y2.3 證明：Q ( ' 0 ,1)=刀(yi-0-1

4、Xi )2fBP因?yàn)?Q (0,1)=min Q (0,1 )-Q:?2:Q而Q ( o,1 )非負(fù)且在R上可導(dǎo),當(dāng)Q取得最小值時(shí)，有0A AA呱即-2 刀(yi- 0- 1 Xi )=0-2刀(yi - ： 0- 1 Xi) Xi =0A Aa A又e = yi -( °0+°1 x )= yi - B 0 -卩1 Xi.” e =o,刀 e x =0(即殘差的期望為0,殘差以變量X的加權(quán)平均值為零)2.4解：參數(shù)B 0,B 1的最小二乘估計(jì)與最大似然估計(jì)在&iN(0,2 )i=1,2，n的條件下等價(jià)。2 .證明：因?yàn)?；i N(* ),i "2.

5、6;2 所以Yi 八 01X1N(： 01X1,1) 其最大似然函數(shù)為nL(：0, r盧2)=二：/i(Yi) =(2=2)/2exp-2' M -(：0 T0,X2Ln山札戸®2)=才1 n( 2心2)-1 n2、 1 、2 J2-id22 imYi -( r 0,Xi)2已知使得Ln (L)最大的氏,翼就是B , P的最大似然估計(jì)值。0 1nnQ=E (Yi -YV =遲(Y 偲 +%Xi)2即使得下式最?。?1因?yàn)榍『镁褪亲钚《斯烙?jì)的目標(biāo)函數(shù)相同。2所以，在；iN(0f ),i胡,2,.n的條件下，參數(shù)b 0,b 1的最小二乘估計(jì)與最大似然估計(jì)等價(jià)2.5.證明：0是：

6、0的無(wú)偏估計(jì)。證明:若要證明：0是：0的無(wú)偏估計(jì)，則只需證明E( ：0)= ：0。X-M = Lxy / Lxx因?yàn)椋?，：1的最小二乘估計(jì)為y 一 -x其中Lxy八(Xi -x)(yi y)二為 Xiyi nxy 二為 Xi yiXi 二 yinLxx八(Xi X)2 二亠 Xi22-nx=112XiXi)2E( 0)=E(一 ?x %y 一 ?-X ) = E(門 i 4-X'Xj -x yi )=E y n-x£)yiLxx=E_ XjXxLxx-L-XiJ=E(其中(-i生n_ Xi -XxLxx)+E( v(丄一 X) -XiLxx)+E( v n(呂Lxx)Xi

7、_X) '0Lxx(丄-x”) ,(n-n LnLxx產(chǎn)、(Xi X)Lxx iT遲(Xi由于y-X)=0,所以 7 n Lxx = 0Lxx-XXi)'-( (Xi -X)Xi)Lxx i 呂Lxx：i(XLxx i d(Xi-X)(Xi-X) 一 _)=1(X - x) =0yi ='o-Xi；又因?yàn)橐辉€性回歸模型為各r獨(dú)立同分布,其分布為 N(0f2)所以E(；i)=0所以LXX、.(卡XX)：-XiX3)：0=e( e(o) -4(n_xLxx-'o所以:o是:o的無(wú)偏估計(jì)。八* yi2.6解：因?yàn)?n v,育yx,y Lxx yi聯(lián)立式，得到1 y

8、x八(x nL )y1i - XVar(:)二Var( x 0y n'xx)yn 1 Xi - X八(X*)Var(yi)i 胡 n Lxxn=xA &xL)LxxnLxx因?yàn)長(zhǎng)xx±(Xi-X)，沙十。xxi生，所以1 嘰。)監(jiān)(X)2y(XiX)2x'(X x)i=1LxxnLxx21 (X)_ n Lxx2(Xi x)丿(X)2.7證明平方和分解公式：SST=SSE+SSR一nn證明：sst=e(yyf =x (%-?)+(? -y2i =1i dnnn八?i -y 2 2、yi -?i)(?i -y ' yi -？)2i 1i di dnn八

9、V-、2、yi _?) 2 =SSR SSEi =1i =12.8驗(yàn)證三種檢驗(yàn)的關(guān)系，即驗(yàn)證:(1) (n- 2)rtJ -r2；7(2)SSR/1Lxx 弭2SSE/(n»SSR 二：證明：(1)因?yàn)長(zhǎng)xx 和二SSEn -2，所以(n - 2)SSR(n-2)SSRssTSSEn-2SSESSESST2又因?yàn)閞SSRSST,所以1 _rSST - SSR SSE(n -2)rSSTSST故(2)/-r2得證。SSR八(y?. -y)i呂n(彳？Xji生-y)2 八-x)-y)2n=送(f?(Xi _x)2 =l?2Lxxi 4l SSR/1F =SSE/(n -2)2.9 驗(yàn)證(

10、2.63 )r式:var (e)=仁丄.xi-xnL xx證明：var (e) = var(y.-y.)= var (y.) - var (y.)-2cov (y.,y.)A.var (y.)var (0 °+A.p x.)1 x.-2cov (y.,y +- -2- 2a沁21 +(Xi-X)2b 21 + (xr x)nLxxInLxx1(Xi-x)-丄nLxx-02其中： covye Xix12= cov y j ,y covyi，（Xi-X）1 丿= cov(Xi-X)yi yiXX1 n ) -y，' y- x covin v i i22 xr x 2 十CJL x

11、x一 2、+ *i-X)nLxx注：各個(gè)因變量yi, y2 y是獨(dú)立的隨機(jī)變量var(X Y)二 var(X) var(Y)_2cov(X,Y)2.10用第9題證明A2CJ2'巳曰n-2 是二2的無(wú)偏估計(jì)量證明：E(Jn z n - 2 i =1Eyyi丄Jn - 2 i =1丄Jn - 2 i =1var ein-2 id2送1-幺二xlCTn Lxx(n - 2 b n-22=ff注：var(X)= E(x2)E(X )2 _ F2.11 驗(yàn)證 r F n 2證明:SSRF 二 SSE(n -2)SSE_ (n-2)二 *(n_2)所以有 SSL FSSE2_SSR_ SSR _1

12、_1_ Fr 二苛二 SSR SSE = 1 SSE .（n-2）= F n-2/SSR i J /f 丿以上表達(dá)式說(shuō)明r 2與 F等價(jià)，但我們要分別引入這兩個(gè)統(tǒng)計(jì)量，而不是只 引入其中一個(gè)。理由如下： r 2與 F，n都有關(guān)，且當(dāng)n較小時(shí)，r較大，尤其當(dāng)n趨向于2時(shí)，|r| 趨向于1，說(shuō)明x與y的相關(guān)程度很高；但當(dāng)n趨向于2或等于2時(shí)，可能回歸 方程并不能通過(guò)F的顯著性檢驗(yàn)，即可能x與y都不存在顯著的線性關(guān)系。所以, 僅憑r較大并不能斷定x與y之間有密切的相關(guān)關(guān)系，只有當(dāng)樣本量n較大時(shí)才 可以用樣本相關(guān)系數(shù)r判定兩變量間的相關(guān)程度的強(qiáng)弱。 F檢驗(yàn)檢驗(yàn)是否存在顯著的線性關(guān)系，相關(guān)系數(shù)的顯著性檢

13、驗(yàn)是判斷回歸直線與回歸模型擬合的優(yōu)劣，只有二者結(jié)合起來(lái)，才可以更好的回歸結(jié)果的好壞。2.12如果把自變量觀測(cè)值都乘以2,回歸參數(shù)的最小二乘法估計(jì) 氏和岡會(huì)發(fā)生 什么變化？如果把自變量觀測(cè)值都加上 2,回歸參數(shù)的最小二乘估計(jì) 區(qū)和氏會(huì)發(fā) 生什么變化？解：解法（一）：我們知道當(dāng)一必；i，E（yi）=時(shí)，用最小二乘法估1邑s刃-i-iA =山計(jì)的?和？分別為U當(dāng)x： = 2xi時(shí)有錯(cuò)誤!未找到引用源壬二一232丙=2x科1-1尹=丄士丈壬5+兀點(diǎn)）=戸+死直 « i-L沖 i-l將帶入得到爐y稲n£（年刃5刃2-1-竊i-1當(dāng)Xj =2 Xj時(shí) 源。輕 2-1錯(cuò)誤!未找到引用有錯(cuò)

14、誤!未找到引用源。 錯(cuò)誤!未找到引用源 將帶入得到雋=y-An另（陽(yáng)-耳3 -刃 U1另（獰-初3-1解法（二）：當(dāng)%=札+咕+遇，E（yJ=Po+0iX時(shí)，有nnQ（氏，片）二（y -E（yJ）2 =遲札眼）2i=1i =1當(dāng) x=2Xi 時(shí) yi = ：0 2 ：iXj ；i 二 yi ix E（y）= ：o，2 ixinnnQ（B°,跆二遲（y-E（yy （yi+RiXi02毗=遲（y九 _Bix）2ii 4i當(dāng) Xi"=Xi +2y= Bo +加 +2當(dāng) +Bi = yi +21E（y；） = + 盼 +2為當(dāng)nnnQ（ , J 八 A -E（yJ）2 八（yi 2

15、 r-一：。-一：必 - 2 J 八卜。_非）2i Ai Airh由最小二乘法可知,離差平方和Q（ :0 , :1）=Q（ :0 , :1） =Q（ :0, :1）時(shí),其估計(jì)值應(yīng) 當(dāng)有錯(cuò)誤!未找到引用源。即回歸參數(shù)的最小二乘估計(jì) 氐和網(wǎng)在自變量觀測(cè)值變化時(shí)不會(huì)變。2.13如果回歸方程錯(cuò)誤!未找到引用源。相應(yīng)的相關(guān)系數(shù)r很大，則用它預(yù)測(cè)時(shí), 預(yù)測(cè)誤差一定較小。這一結(jié)論能成立嗎？對(duì)你的回答說(shuō)明理由。解：這一結(jié)論不成立。因?yàn)橄嚓P(guān)系數(shù) r表示x與錯(cuò)誤!未找到引用源。線性關(guān)系 的密切程度，而它接近1的程度與數(shù)據(jù)組數(shù)有關(guān)。n越小，r越接近1。n=2時(shí), |r|=1。因此僅憑相關(guān)系數(shù)說(shuō)明x與?有密切關(guān)系是不

16、正確的。只有在樣本量較 大時(shí)，用相關(guān)系數(shù)r判定兩變量之間的相關(guān)程度才可以信服， 這樣預(yù)測(cè)的誤差才 會(huì)較小。2.14解：（1）散點(diǎn)圖為：（2） x與y大致在一條直線上，所以x與y大致呈線性關(guān)系(3)得:到計(jì)算表：XY2(Xi -X)2(Yi -Y)(Xi -X)(Yi -Y)Y?&-Y)2(Y?-Yi)21104100206（-14）2（-4）2210Ifl-1aa1001013（-7）2（3）2320000200042010027727254044004034142(-6) 2和15100和Lxx=10Lyy=600和 Lxy=70和100SSR=490SSE=110均3均20均201

17、 n 2磴 Wn2sse 二空3所以回歸方程為：W = %十國(guó)X = -1 + 7X A2CF(4)J、330 6.1所以， 3時(shí)：N(00,+學(xué)聲2)0的置信區(qū)間為匕(x2；7丹k 21 : N(_1,)xx同理，因?yàn)長(zhǎng)xx，所以，查表知,GL辭給磁(班3陸AP1的置信區(qū)間為=20-3 7 - -1.xx0(5) 因?yàn)閚 LxxAA.所以，卩0的置信區(qū)間為(-21.21,19.21 ),卩1的置信區(qū)間為(0.91,13.09 )。2 SSR SSR 490(6) 決疋系數(shù)R20.817SST Lyy 600(7) 計(jì)算得出，方差分析表如下：方差來(lái)源平方和自由度均方F值SSR490149013

18、.364SSE110336.667SST6004查表知，F(xiàn)0.05(1,3)=10.13 , F值>F0.05(1,3)，故拒絕原假設(shè)，說(shuō)明回歸 方程顯著。1的顯著性檢驗(yàn)(8) 做回歸系數(shù)B計(jì)算t統(tǒng)計(jì)量：查表知，n -2)說(shuō)明x和Y有顯著的線性關(guān)系(9)做相關(guān)系數(shù)r的顯著性檢驗(yàn)：因?yàn)?2所以，相關(guān)系數(shù)R : 0.951=鮎曲=3.182。1匚7帀213.66 £/330 履3所以，t>t0.05/2(3)，所以接受原假設(shè),只2嚴(yán)Si?SST Lyy 600因?yàn)椴楸碇琻-2等于3時(shí) =1%勺值為0.959 =5%勺值為0.878。所以，a =5%v|r|v 口 =故x與y

19、有顯著的線性關(guān)系。(10) 殘差表為:序號(hào)xyA y殘差e111064221013-33320200442027-75540346殘差圖為:(11) 當(dāng) X0=4.2 時(shí)苦A A其95%勺置信區(qū)間可近似為 近似為y±2口，即為：(17.1，392.15 解：(1) 畫(huà)散點(diǎn)圖；散點(diǎn)圖，得到散點(diǎn)圖(表 1)如下:圖形一舊對(duì)話框-fi X-7 5C-I1（2） x與y之間是否大致呈線性關(guān)系？ 由上面（1）散點(diǎn)圖可以看出，x與y之間大致呈線性關(guān)系。用最小二乘估計(jì)求出回歸方程；分析一回歸一線性，得到“回歸系數(shù)顯著性檢驗(yàn)表（表 2）如 下:Coefficie ntsaModelUn sta nd

20、ardized Coefficie ntsSta ndardizedCoefficie ntstBStd. ErrorBeta1(Co nsta nt).118.355.333每周簽發(fā)的新保單數(shù)目x.004.000.9498.509a. Dependent Variable:每周加班工作時(shí)間y由上表可知:AAnJWulETii喘1.D-0=0.1181=0.004所以可得回歸方程為：y =0.118+0.004x（4）求回歸標(biāo)準(zhǔn)誤差二；分析一回歸一線性，得到“方析分析表（表 3）”如下:ANOVAbModelSum ofSquaresdfMean SquareFSig.1Regressi on

21、16.682116.68272.396.000aResidual1.8438.230Total18.5259a. Predictors: (Co nsta nt),每周簽發(fā)的新保單數(shù)目xb. Dependent Variable:每周加班工作時(shí)間y2=n -2v(yLyi)SSE 1.843=n - 2 =10 -2 =0.23=0.48由上表可得，SSE=1.843 n=10故回歸標(biāo)準(zhǔn)誤差為:P P(5)給出0與1的置信度為95%勺區(qū)間估計(jì); 由表2可以看出，當(dāng)置信度為95%寸，AP0的預(yù)測(cè)區(qū)間為：-0.701 , 0.937 1的預(yù)測(cè)區(qū)間為：0.003 , 0.005(6)計(jì)算x與y的決定

22、系數(shù)；分析一回歸一線性，得到“模型概要表(表 4)”如下:Model SummarybModelRR SquareAdjusted R SquareStd. Error of theEstimate1.949a.900.888.4800a. Predictors: (Co nsta nt),每周簽發(fā)的新保單數(shù)目xb. Dependent Variable:每周加班工作時(shí)間y由上表可知，x與y的決定系數(shù)為0.9，可以看到很接近于1,這就說(shuō)明此 模型的擬合度很好。(7)對(duì)回歸方程作方差分析；由“方差分析表(表3)”可得，F(xiàn)-值=72.396，, B我們知道，當(dāng)原假設(shè)H0： 1=0成立時(shí)，F(xiàn)服從自由

23、度為(1, n-2)的F分布(見(jiàn) P38 )，臨界值 Fa ( 1，n-2) =F0.05 (1，8) =5.32因?yàn)?F-值=72.396>5.32 ,所以拒絕原假設(shè)，說(shuō)明回歸方程顯著，即x與y有顯著的線性關(guān)系。（8）做回歸系數(shù)：1顯著性的檢驗(yàn)；由“回歸系數(shù)顯著性檢驗(yàn)表（表 2）”可得，A1的t檢驗(yàn)統(tǒng)計(jì)量為t=8.509，對(duì)應(yīng)p-值近似為0， pc， 說(shuō)明每周簽發(fā)的新報(bào)單數(shù)目x對(duì)每周加班工作時(shí)間y有顯著的影響（9）做相關(guān)系數(shù)的顯著性檢驗(yàn)；分析一相關(guān)一雙變量，得到“相關(guān)分析表（表 5）”如下:Correlati ons每周簽發(fā)的新保單數(shù)目x每周加班工作 時(shí)間y每周簽發(fā)的新保單數(shù)目xPea

24、rs onCorrelati on1.949*Sig. (2-tailed).000N1010每周加班工作時(shí)間yPears onCorrelati on.949*1Sig. (2-tailed).000N1010*. Correlation is significant at the 0.01 level (2-tailed).由上表可知，相關(guān)系數(shù)為0.949，說(shuō)明x與y顯著線性相關(guān)。 （10）對(duì)回歸方程作殘差圖并作相應(yīng)的分析；Normal P-P 尸lot of Regression Standardized ResidualDependent Variable:毎周加閔士-r1 作時(shí)問(wèn)*U

25、.U0.2CJ.4口用.日1 .OObs rved Cu m ProbqEd E30 pfiMdlll從上圖可以看出，殘差是圍繞e=0隨即波動(dòng)的，滿足模型的基本假設(shè)。(11) 該公司預(yù)計(jì)下一周簽發(fā)新保單 xo=iooo張，需要的加班時(shí)間是多少？當(dāng) x0=1000 張時(shí),yo =0.118+0.004 X 1000=4.118 小時(shí)。(12) 給出y0的置信水平為95%勺精確預(yù)測(cè)區(qū)間和近似預(yù)測(cè)區(qū)間。(13) 給出E ( y0 )置信水平為95%勺區(qū)間估計(jì)。最后兩問(wèn)一起解答：在計(jì)算回歸之前，把自變量新值x0輸入樣本數(shù)據(jù)中，因變量的相應(yīng)值空 缺，然后在Save對(duì)話框中點(diǎn)選Individul 和Mean計(jì)算因變量單個(gè)新值y。和因 變量平均值E( y0)的置信區(qū)間。結(jié)果顯示在原始數(shù)據(jù)表中，如下圖所示(由于排版問(wèn)題，中間部分圖省略)：y°的精確預(yù)測(cè)區(qū)間為：2.519 , 4.887E ( y° )的區(qū)間估計(jì)為：3.284, 4.123而y°的近似預(yù)測(cè)區(qū)間則根據(jù)y°-2二手動(dòng)計(jì)算，結(jié)