天大matlab大作業(yè)逐步回歸方法分析

1、逐步回歸分析方法在實際中,影響 Y 的因素很多,這些因素可能存在多重共線性相關(guān) 性,這就對系數(shù)的估計帶來不合理的解釋,從而影響對 Y 的分析和 預(yù)測.“最優(yōu)的回歸方程就是包含所有對 Y 有影響的變量 , 而不包含對 Y 影響不顯著的變量回歸方程.選擇“最優(yōu)的回歸方程有以下幾種方法：1從所有可能的因子變量組合的回歸方程中選擇最優(yōu)者；2從包含全部變量的回歸方程中逐次剔除不顯著因子；3從一個變量開始,把變量逐個引入方程；4“有進有出的逐步回歸分析.以第四種方法,即逐步回歸分析法在篩選變量方面較為理想 . 逐步回歸分析法的思想：從一個自變量開始, 視自變量 Y 作用的顯著程度, 從大到小地依 次逐個引

2、入回歸方程.當引入的自變量由于后面變量的引入而變得不顯著時,要將其剔除 掉.引入一個自變量或從回歸方程中剔除一個自變量, 為逐步回歸的對于每一步都要進行丫值檢驗,以保證每次引入新的顯著性變量 前回歸方程中只包含對丫作用顯著的變量這個過程反復(fù)進行,直至既無不顯著的變量從回歸方程中剔除, 又無顯著變量可引入回歸方程時為止.原理:1、最優(yōu)選擇的標準設(shè)n為觀測樣本數(shù),X 為所有自變量構(gòu)成的集合,Xi, X2,Xi,XmXil為X的子集.(1)均方誤差s2最小s2 ASe(A)/nil到達最小(2) 預(yù)測均方誤差最小J(A) n一1一 SE an 1 1到達最小(3) 統(tǒng)計量最小準那么Cp a s &a

3、mp; A2| n7n m 1到達最小l ln nn到達最小(4) AIC或BIC準那么2lAIC(A) ln Se A 一 BIC(A) ln Se A n或(5) 修正R2準那么R21 J(1 R2)n l到達最大2、選擇最優(yōu)回歸子集的方法1選擇最優(yōu)子集的簡便方法： 逐步篩選法 STEPWISE 向前引入法或 前進法 FORWARD 向后剔除法或后退法 BACKWARD2計算量最大的全子集法：R2 選擇法 RSQUARECp選擇法CP修正 R2 選擇法 ADJRSQ.3計算量適中的選擇法：最小 R2 增量法 MINR最大 R2 增量法 MAXR步驟1、前進法：事先給定挑選自變量進入方程的顯

4、著性水平, 按自變量對因變量 y 的奉獻由大到小依次挑選自變量進入方程,直到方程外沒有顯著的 自變量可引入為止.該方法的特點是：自變量一旦被選入,就永遠保存在模型中(1)2分別計算這m個一元回歸方程中回歸系數(shù)的檢驗統(tǒng)計量 F,記為：Fi1, F21,F1)1 m取最大值Fk1maxF11, F21, ,F；假設(shè)F；F進F1, n 2停止篩選；假設(shè)F；F進F1 n 2選入Xk1,不妨設(shè)Xk1是X1,進入步驟3;3分別將自變量組Xi,x2 , Xi,X3 , Xi,Xm與因變量y建立二元回歸方程,計算回歸方程中X2 , X3,Xm的回歸系數(shù)檢驗統(tǒng)計量F, 記為:F 2,F2, ,F223m取其最大

5、值Fk22 max F22 , F32 , ,Fm2 ,假設(shè)F2 屜 F 1 n 2 1那么停止篩選,y與x1之間的回歸方程就是最優(yōu)的回歸方程；假設(shè)2Fk2F進 F 1, n 2 1選進Xk2,不妨設(shè)Xk2是X2,進入步驟(4).(4) 對已經(jīng)選入模型的變量,x1, x2,如同前面的方法做下去,直 到所有未被選入模型的自變量的 F值都小于相應(yīng)的臨界值為止,這時 的回歸方程就是最優(yōu)回歸方程.前進法的一般步驟： 假設(shè)已進行了 I步篩選,并選入自變量x1, x2,xl,現(xiàn)進行第1+1步篩選： 停止篩選 ,上一步得到的回歸方程,即為最優(yōu)的回歸方程； 假設(shè)分別將自 變 量 組x1,x2, ,xl , x

6、l 1,x1,x2, , xl,xl 2X.X2, ,x|,xm與y建立I + 1元回歸方程；回歸方程中 xl 1, xl 2 ,xm的回歸系數(shù)檢驗統(tǒng)計量記為:Fll11,Fll21, ,Fml 1Fkll 11l 1 l 1l 1max Fl 1 ,Fl 2 , ,FmFkllF (1, n (l 1) 1)Fkll 11 F (1, n (l 1) 1)將 xkl 1 選進模型,進行下一步篩選. 前進法的缺點：不能反映自變量選進模型后的變化情況2、后退法：事先給定從方程中剔除自變量的顯著性水平, 開始全部自變量都 在模型中,然后按自變量對 y 的奉獻由小到大依次剔除, 直至方程中 沒有不顯

7、著的變量可剔除為止. 該方法的特點是：自變量一旦被剔除,就不再進入模型(1)建立全部自變量x1, x2,xm對因變量y的回歸方程,對方程中m個自變量的回歸系數(shù)bl, b2,bm進行F檢驗,相應(yīng)的F值記為：F11,F21, Fm1取最小值Fk11 min F11,F21, , Fm1假設(shè)FkiF出F 1 n m 1沒有自變量可剔除,此時的回歸方程就是最優(yōu)的回歸方程1Fk F 出 F 1 n m 1剔除Xki,不妨設(shè)Xk1是Xm,進入步驟2.2建立xl, x2,xm-1與因變量y的回歸方程,對方程中自變 量的回歸系數(shù)進行F檢驗,相應(yīng)的F值記為：F12,F22, ,Fm2 1取最小值F k22min

8、F12,F22,Fm2 m假設(shè)Fk22F出F 1, n (m1) 1那么無自變量可剔除,此時的回歸方程即最優(yōu)的回歸方程；假設(shè)Fk2 F出 F 1, n m 1 1將Xk2從模型中剔除,不妨設(shè)xk2就是xm-1,進入步驟3;3重復(fù)前面的做法,直至回歸方程中各變量回歸系數(shù)的 F值均大 于臨界值, 即方程中沒有變量可剔除為止, 此時的回歸方程就是最優(yōu) 的回歸方程.后退法的一般步驟：假設(shè)已經(jīng)進行了 I步剔除,模型中的自變量為x1, x2,xm-l,現(xiàn) 進行第 l+1 步剔除：建立x1,x2,xm-l對y的回歸方程,對方程中x1,x2,xm-l的回歸系數(shù)進行 F 檢驗,相應(yīng)的 F 統(tǒng)計量記為 ：F l

9、1,F l 1, ,F l 1 12m l取最小值l 1 l 1 l 1 l 1 Fkll 11 min F1l 1,F2l 1, ,Fml 1l假設(shè)Fkl 1 F 1,n m l 1 kl 1那么停止篩選,y與x1, x2,xm-l之間的回歸方程即為最優(yōu)的回歸方程；假設(shè)Fkll 11 F 1,n m l 1那么剔除 xkl 1 ,不妨設(shè) xkl 1 為 xm l ,進行下一步篩選.后退法的缺點：開始把全部自變量都引入模型,計算量大.3、逐步篩選法：該方法在前進法的根底上, 引進后退法的思想. 即對每一個自變 量隨著其對回歸方程奉獻的變化, 隨時地引入或剔除模型, 使得最終 回歸方程中的變量對

10、 y 的影響都是顯著的,而回歸方程外的變量對 y 的影響都是不顯著的,該方法即通常所說的逐步回歸法.設(shè)y是因變量,xl, x2,xm是所有自變量,yi, xi1, xi2, xim (i= 1, 2,n)是獨立抽取的n組樣本.設(shè)自變量被選進模型的顯著性水平為被剔除模型的顯著性水平為2° 1 2 1(1)計算離差矩陣SS11S12S1mS1 ySSm mS21S22S2mS2ySm1Sm2SmmSmy(2)逐步篩選自變量第一步篩選：計算各自變量的奉獻:2VjSjySjj取最大值Vk maxVj11 j m對Xk1的作用是否顯著進行統(tǒng)計檢驗:Se1St Vk；F F 1 1,n111 7

11、那么結(jié)束所有自變量皆與y無關(guān),不能建立回歸方程；假設(shè)F F 1 1,n那么將xki選入模型,并將s轉(zhuǎn)化為sm進行第二步篩選;其中第二步篩選:s1按m m 1s1m (m1Sj1)SijS-s2；S2s22)s1m) s2mS11y)s21ySk1)1(1) smsk1ySmuSm12s(1)mmsmySk1iSk1k1Sik1 Sk1j -當iSk1k1丄當iSk1 k1k1k1, jk1k1籠當 i k1, j k1sk1k1計算各自變量的奉獻模型外自變量的奉獻:Vi2Sii模型中自變量的 xk1奉獻:k1s(1) 2k1y計算F其中SeStVk22取模型外自變量的最大奉獻值,即(1, n-

12、2-1)那么篩選結(jié)束,第一步中所建立的回歸方程即最優(yōu)回歸方程;FF 1,n211 ,那么選Xk2進入模型,將s 1m m1化為Sm2m 1,進行第三步篩選;2222s11S12S1 mS1y2222S21S22S2mS2ys 2m m 12222Sk21Sk22Sk2mSk2y2222Sm1Sm2smmSmy其中Sj11Sk2k21 1Sik2 Sk2 jk2,jk22Sj1Sk2k2k2, jk2亠當i j k2Sk2k21F 當 i k2, j k2Sk2 k2第三步：從第三步開始,先檢驗已經(jīng)引入方程中的自變量是否滿足顯著性水平2,假設(shè)有不滿足顯著性水平 2的自變量,依次剔除最不顯著的,再

13、 從方程外挑選滿足著性水平的最顯著的自變量進入模型 即從第三步 開始,先進行變量的剔除,再進行變量的選進.逐步回歸法篩選自變量的一般步驟為：假設(shè)已經(jīng)進行I步篩選,并且已經(jīng)選入p個自變量,相應(yīng)的殘差平方和為Se,離差矩陣為1S11IS12IS1mIS1y1S21IS22IS2mIS2ys 1m m 11Sk2 1ISk2 2ISk2mISk2yISm1ISm2IQ mmImy那么第步的篩選過程為：a計算自變量的奉獻:l 1X不在模型中SylVi11Sil 2-SyL(xi在模型中)Sib檢驗已選入的自變量是否顯著 取模型中變量的最小值:vk(l 1)一切便選的1計算sEl1)n p 1其中SEStVkl1假設(shè)F F21,n p11將xk剔除,轉(zhuǎn)入d；1,那么xk不能被剔除,轉(zhuǎn)入cc取模型外變量奉獻的最大值,假設(shè)F F21,n pvkl1-切未燈的jVj11計算Vk11St Vj 1n (p 1) 1F1 1,n p 1F1 1, n p 11,那么篩選結(jié)束,轉(zhuǎn)入3；1,貝S選入xk,轉(zhuǎn)入d