逐步回歸分析概要知識(shí)分享

1、逐步回歸分析概要（4）AIC或或BIC準(zhǔn)則準(zhǔn)則 nlASAAICE2ln)( nnlASABICElnln)(或 達(dá)到最小 （5）修正）修正2R準(zhǔn)則準(zhǔn)則)1 (122RlninR達(dá)到最大 4.6.2 選擇最優(yōu)回歸子集的方法選擇最優(yōu)回歸子集的方法（1）選擇最優(yōu)子集的簡(jiǎn)便方法： 逐步篩選法（STEPWISE） 向前引入法或 前進(jìn)法（FORWARD） 向后剔除法或后退法（BACKWARD）（2）計(jì)算量最大的全子集法：R2選擇法（RSQUARE）Cp選擇法（CP）修正R2選擇法（ADJRSQ）。 最小R2增量法（MINR）最大R2增量法（MAXR）（3）計(jì)算量適中的選擇法： 4.6.3逐步回歸的基本思

2、想與步驟逐步回歸的基本思想與步驟基本思想：逐個(gè)引入自變量，每次引入對(duì)y影響最顯著的自變量，并對(duì)方程中的老變量逐個(gè)進(jìn)行檢驗(yàn)，把變得不顯著的變量逐個(gè)從方程中剔除，最終的回歸方程中既不漏掉對(duì)y影響顯著的變量，又不包含對(duì)y影響不顯著的變量。4.6.3.1前進(jìn)法（前進(jìn)法（FORWARD）原理：原理：事先給定挑選自變量進(jìn)入方程的顯著性水平，按自變量對(duì)因變量y的貢獻(xiàn)由大到小依次挑選自變量進(jìn)入方程，直到方程外沒有顯著的自變量可引入為止。該方法的特點(diǎn)是：自變量一旦被選入，就永遠(yuǎn)保留在模型中。圖圖4.1 逐步回歸的基本步驟逐步回歸的基本步驟11211,mFFF112111,max1mkFFFF2111nFFFk，

3、進(jìn)2111nFFFk，進(jìn)1kx1kx1x21,xx31,xxmxx ,122322,mFFF223222,max2mkFFFF12122nFFFk，進(jìn)12122nFFFk，進(jìn)121,llxxxx221,llxxxxmlxxxx,21mllxxx,2111211,lmllllFFF112111,max1lmlllllkFFFFl) 1) 1(, 1 (11lnFFlkl) 1) 1(, 1 (11lnFFlkl1lkx4.6.3.2 后退法（后退法（BACKWARD）原理：原理：事先給定從方程中剔除自變量的顯著性水平，開始全部自變量都在模型中，然后按自變量對(duì)y的貢獻(xiàn)由小到大依次剔除，直至方程中沒

4、有不顯著的變量可剔除為止。 該方法的特點(diǎn)是：自變量一旦被剔除，就不再進(jìn)入模型， 11211,mFFF112111,min1mkFFFF1111mnFFFk，出1111mnFFFk，出212221,mFFF2122212,min2mkFFFF1) 1(122mnFFFk，出1) 1(122mnFFFk，出11211,llmllFFF,min1121111llmlllkFFFFl1, 111lmnFFlkl1, 111lmnFFlkl1lkx1lkxlmx4.6.3.3 逐步篩選法逐步篩選法原理：原理： 該方法在前進(jìn)法的基礎(chǔ)上，引進(jìn)后退法的思想。即對(duì)每一個(gè)自變量隨著其對(duì)回歸方程貢獻(xiàn)的變化，隨時(shí)地引

5、入或剔除模型，使得最終回歸方程中的變量對(duì)y的影響都是顯著的，而回歸方程外的變量對(duì)y的影響都是不顯著的，該方法即通常所說的逐步回歸法。121021mymmmmymymmmssssssssssssSS21222221111211 jjjyjssV21 11)1(max1jmjkVV1kx 11111nSVFEk 111kTEVSS11, 11nFF11, 11nFF 11 mmS )1()1()1(2)1(1)1()1()1(2)1(1)1(2)1(2)1(22)1(21)1(1)1(1)1(12)1(111)1(1111mymmmmykmkkkymymmmssssssssssssssssS 11

6、1111111111111111111kjkisskjiskjkisssskjkissskkikkkkkjkikijkkikij，當(dāng)當(dāng)，當(dāng)，當(dāng)其中 11mmS 22iyiiisVs1kx )1(2)1(21111kkykkssV 212(2)maxkjj kVV一切 12222nSVFEk 222kTEVSS12, 11nFF12, 11nFF2kx 11 mmS 21 mmS 22222122222122222222212121212211212222mymmmmykmkkkymymmmssssssssssssssssS 221121221111221122222222222221kjkis

7、skjiskjkisssskjkissskkikkkkkjkikijkkjkij，當(dāng)當(dāng)，當(dāng)，當(dāng)22 lES lmylmmlmlmlyklmklklklylmlllylmlllmmssssssssssssssssS212122222111121112222 2112liyiliililiyiliisxsVsxs（ 不在模型中）（ 在模型中）1)1(minljjlkVV一切已入選的1)1(1pnSVFlElk11lkTlEVSS1, 12pnFF1, 12pnFF1)1(maxljjlkVV一切未入選的11(1)1lklTkVFSVnp11,1 1FFnp 11,1 1FFnp lmmS111lm

8、mS22221111111211111121222211111112111(1)12llllmyllllmylmmllllkkk mk yllllmmmmmyssssssssSssssssss kjkisskjiskjkisssskjkissslkkliklkklkklkjliklijlkklkjlij，當(dāng)當(dāng)，當(dāng)，當(dāng)114.7 可化為線性回歸的曲線回歸可化為線性回歸的曲線回歸（1）對(duì)于雙曲線型函數(shù)：）對(duì)于雙曲線型函數(shù)： xbayxt1btay（2）冪函數(shù)型）冪函數(shù)型 ：baxy xbaylnlnlnyzlnxtln冪函數(shù)圖形 （3）指數(shù)曲線型：）指數(shù)曲線型： bxeaybxay lnlnyzlnaaln0bxaz0（5）S型函數(shù)：型函數(shù)： xbeay1xbeay1yz1btayS型曲線圖形（6）多