自變量選擇與逐步回歸課件

1、第七章第七章自變量選擇與逐步回歸 多元線性回歸方程中所包含的自變量是根據(jù)專(zhuān)多元線性回歸方程中所包含的自變量是根據(jù)專(zhuān)業(yè)知識(shí)和經(jīng)驗(yàn)事先選擇好的，但在許多回歸分析的、業(yè)知識(shí)和經(jīng)驗(yàn)事先選擇好的，但在許多回歸分析的、應(yīng)用中，由于沒(méi)有清晰的理論依據(jù)，回歸模型所包應(yīng)用中，由于沒(méi)有清晰的理論依據(jù)，回歸模型所包含的自變量難以預(yù)先確定，如果將一些不重要的自含的自變量難以預(yù)先確定，如果將一些不重要的自變量也引入方程，會(huì)降低模型的精度，因此選擇有變量也引入方程，會(huì)降低模型的精度，因此選擇有意義的自變量是回歸分析的第一步。意義的自變量是回歸分析的第一步。 選擇自變量的基本思路是：盡可能將回歸效果選擇自變量的基本思路是：

2、盡可能將回歸效果顯著的自變量選入回歸方程中，將作用不顯著的特顯著的自變量選入回歸方程中，將作用不顯著的特別是與自變量有密切線性關(guān)系的自變量排除在外。別是與自變量有密切線性關(guān)系的自變量排除在外。 第七章 第一節(jié)第一節(jié)機(jī)動(dòng) 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 自變量選擇對(duì)估計(jì)和預(yù)測(cè)的影響在多元線性回歸模型中，自變量的選擇實(shí)質(zhì)上就是模型的選擇。), 0(2nnINXY其中：Y是nx1的觀測(cè)值，X是nxm結(jié)構(gòu)矩陣，并假定X的秩為m。 現(xiàn)設(shè)一切可供選擇的變量是t個(gè) ,它們組成的回歸模型稱為全模型（記m=t+1)是mx1未知參數(shù)向量，qp,qpXXX下面的回歸模型稱為選模型：下面的回歸模型稱為選模型：), 0(

3、2nppINXYtxxx,21txxx,211 tp現(xiàn)從現(xiàn)從這這t個(gè)變量中選個(gè)變量中選t變量，不妨設(shè)變量，不妨設(shè)矩陣矩陣X可作如下的分塊（記：可作如下的分塊（記：） ，那么對(duì)全模型中的參數(shù)，那么對(duì)全模型中的參數(shù) 和結(jié)構(gòu)和結(jié)構(gòu)自變量的選擇問(wèn)題可以看成是這樣二個(gè)問(wèn)題自變量的選擇問(wèn)題可以看成是這樣二個(gè)問(wèn)題： 究竟應(yīng)用全模型還是用選模型；究竟應(yīng)用全模型還是用選模型； 若用選模型，則究竟應(yīng)包含多少變量最適合。如若用選模型，則究竟應(yīng)包含多少變量最適合。如果全模型為真，而我們用了選模型，這就表示在果全模型為真，而我們用了選模型，這就表示在方程中丟掉了部分有用變量，相反，如果選模型方程中丟掉了部分有用變量，相

4、反，如果選模型為真，而我們選用了全模型，這就表示在方程中為真，而我們選用了全模型，這就表示在方程中引入了一些無(wú)用變量，下面從參數(shù)估計(jì)和預(yù)測(cè)兩引入了一些無(wú)用變量，下面從參數(shù)估計(jì)和預(yù)測(cè)兩個(gè)角度來(lái)看一看由于模型選擇不當(dāng)帶來(lái)的后果。個(gè)角度來(lái)看一看由于模型選擇不當(dāng)帶來(lái)的后果。為了討論方便起見(jiàn)，先引入幾個(gè)記號(hào)： 2,全模型中參數(shù) 的估計(jì)： 1()X XX Y211()()Y IX X XX YnR X其中：R(X)為矩陣X的秩。 2,在選模型中參數(shù)在選模型中參數(shù) 的估計(jì)：的估計(jì)：121()1()()ppppppppppXXX YYIXXXXYnR X),(),()(11tppqpxxxxxxx在在 上的預(yù)

5、測(cè)值上的預(yù)測(cè)值pppxy分塊矩陣求逆公式： DCCBA1111111111111111111111111)()(CBCDBCDCDBBCCDBBCDBCDDBCDCDBCCDBDCCBA均方誤差的概念 對(duì)無(wú)偏估計(jì)常用 來(lái)衡量估計(jì)量的好壞，而對(duì)有偏估計(jì)則相應(yīng)采用均方誤差 Var)(EMSE注注:由上述定理說(shuō)明,若全模型為真的而誤用選模型 ppx作為y值的預(yù)測(cè)的話,所得的估計(jì)是有偏的. 但預(yù)測(cè)方差會(huì)有所下降。 而對(duì)有偏的估計(jì)，一般可用均方差去表明估計(jì)的好壞,在均方誤差的意義下，預(yù)測(cè)的均方誤差也是會(huì)下降。所以刪去一些影響不大，但回歸系數(shù)方差過(guò)大的變量（用 為非負(fù)定矩陣來(lái)()qqqD 表示）,對(duì)預(yù)測(cè)精

6、度的提高是有利的. 綜合以上所述,一般我們盡可能使模型的變量少而精,要引入對(duì)y有顯著影響的變量,而對(duì)y并不很顯著的變量要?jiǎng)h除,這樣不僅對(duì)估計(jì)而且對(duì)預(yù)測(cè)也有利. 第七章 第二節(jié)第二節(jié)機(jī)動(dòng) 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 自變量選擇方法自變量選擇準(zhǔn)則自變量選擇準(zhǔn)則若一個(gè)多元回歸的問(wèn)題中有若一個(gè)多元回歸的問(wèn)題中有t可供選擇的自變量，那可供選擇的自變量，那么所有可能的回歸方程有么所有可能的回歸方程有 2t-1個(gè)，下面給出一些自個(gè)，下面給出一些自變量選擇的準(zhǔn)則，希望能從變量選擇的準(zhǔn)則，希望能從 2t-1個(gè)回歸方程中選擇個(gè)回歸方程中選擇一個(gè)最合理的方程一個(gè)最合理的方程. 對(duì)全模型，記：對(duì)全模型，記：SSTS

7、SERXXXXHYHIYSSE1,)(,)(21對(duì)選模型，記：對(duì)選模型，記：SSTSSERXXXXHYHIYSSEppppppppp1,)(,)(21準(zhǔn)則準(zhǔn)則1 平均殘差平方和達(dá)到最小. pnSSEPp2準(zhǔn)則準(zhǔn)則3 預(yù)測(cè)偏差預(yù)測(cè)偏差 的方差的方差 2)(pppnJJ準(zhǔn)則準(zhǔn)則4 平均預(yù)測(cè)均方誤差平均預(yù)測(cè)均方誤差Sp達(dá)到最小。達(dá)到最小。 211pppnS準(zhǔn)則準(zhǔn)則5 Cp統(tǒng)計(jì)量統(tǒng)計(jì)量22sSSEnpCpp其中三其中三s2是全模型中是全模型中 2的無(wú)偏估計(jì)的無(wú)偏估計(jì). 準(zhǔn)則準(zhǔn)則7 AIC準(zhǔn)則準(zhǔn)則 AIC準(zhǔn)則的定義：AIC=-2（模型的對(duì)數(shù)似然估計(jì)函數(shù)的極大值）+2（模型中獨(dú)立參數(shù)的個(gè)數(shù)） 第七章 第三

8、節(jié)第三節(jié)機(jī)動(dòng) 目錄 上頁(yè) 下頁(yè) 返回 結(jié)束 逐步回歸一、全局選擇法一、全局選擇法對(duì)自變量各種不同的組合所建立的回歸方程進(jìn)行比對(duì)自變量各種不同的組合所建立的回歸方程進(jìn)行比較，從全部組合中挑出一個(gè)較，從全部組合中挑出一個(gè)“最優(yōu)最優(yōu)”的回歸方程。的回歸方程。 uR2可用來(lái)評(píng)價(jià)回歸方程優(yōu)劣?？捎脕?lái)評(píng)價(jià)回歸方程優(yōu)劣。u隨著自變量增加，隨著自變量增加，R2不斷增大，對(duì)兩個(gè)不不斷增大，對(duì)兩個(gè)不 同個(gè)數(shù)自變量回歸方程比較，須考慮方程同個(gè)數(shù)自變量回歸方程比較，須考慮方程 包含自變量個(gè)數(shù)影響，應(yīng)對(duì)包含自變量個(gè)數(shù)影響，應(yīng)對(duì)R2進(jìn)行校正。進(jìn)行校正。u所謂所謂“最優(yōu)最優(yōu)”回歸方程指回歸方程指 最大者。最大者。2cR總總

9、殘殘）（MSMS11pn1nR11R 22c 2cR1.1.校正決定系數(shù)校正決定系數(shù) 選擇法選擇法2. 2. 選擇法選擇法pCP為方程中自變量個(gè)數(shù)。為方程中自變量個(gè)數(shù)。最優(yōu)方程的最優(yōu)方程的Cp期望值是期望值是p+1。應(yīng)選擇應(yīng)選擇Cp最接近最接近P+1的回歸方程為最優(yōu)。的回歸方程為最優(yōu)。 mp 1p2nMSSSC mpp ）（）（殘殘殘殘 是由是由 個(gè)自變量作回歸的誤差個(gè)自變量作回歸的誤差平方和，平方和， 是從全部是從全部m個(gè)自變量的回歸模個(gè)自變量的回歸模型中得到的殘差均方。型中得到的殘差均方。pSS )(殘)(mppmMS )(殘總膽固醇 甘油三脂 胰島素 糖化血 血糖 （mmol/L） (m

10、mol/L) (U/ml) 紅蛋白(%) (mmol/L) 序號(hào) i X1 X2 X3 X4 Y 1 5.68 1.90 4.53 8.2 11.2 2 3.79 1.64 7.32 6.9 8.8 3 6.02 3.56 6.95 10.8 12.3 4 4.85 1.07 5.88 8.3 11.6 5 4.60 2.32 4.05 7.5 13.4 6 6.05 0.64 1.42 13.6 18.3 7 4.90 8.50 12.60 8.5 11.1 8 7.08 3.00 6.75 11.5 12.1 9 3.85 2.11 16.28 7.9 9.6 10 4.65 0.63 6

11、.59 7.1 8.4 11 4.59 1.97 3.61 8.7 9.3 12 4.29 1.97 6.61 7.8 10.6 13 7.97 1.93 7.57 9.9 8.4 14 6.19 1.18 1.42 6.9 9.6 15 6.13 2.06 10.35 10.5 10.9 16 5.71 1.78 8.53 8.0 10.1 17 6.40 2.40 4.53 10.3 14.8 18 6.06 3.67 12.79 7.1 9.1 19 5.09 1.03 2.53 8.9 10.8 20 6.13 1.71 5.28 9.9 10.2 21 5.78 3.36 2.96

12、8.0 13.6 22 5.43 1.13 4.31 11.3 14.9 23 6.50 6.21 3.47 12.3 16.0 24 7.98 7.92 3.37 9.8 13.2 25 11.54 10.89 1.20 10.5 20.0 26 5.84 0.92 8.61 6.4 13.3 27 3.84 1.20 6.45 9.6 10.4 27名糖尿病人的血糖及有關(guān)變量的測(cè)量結(jié)果 如果自變量個(gè)數(shù)為4，則所有的回歸模型有241 15個(gè)；當(dāng)自變量數(shù)個(gè)數(shù)為10時(shí)，所有可能的回歸為 2101 1023個(gè)；當(dāng)自變量數(shù)個(gè)數(shù)為50時(shí)，所有可能的回歸為25011015個(gè)。二、逐步選擇法二、逐步選擇法

13、全局選擇計(jì)算量很大：全局選擇計(jì)算量很大： 6個(gè)變量，計(jì)算個(gè)變量，計(jì)算26-1=63個(gè)方程；個(gè)方程； 10個(gè)變量，計(jì)算個(gè)變量，計(jì)算210-1=1023個(gè)方程。個(gè)方程。按選入變量順序不同分按選入變量順序不同分前進(jìn)法、后退法與逐步回前進(jìn)法、后退法與逐步回歸法歸法，共同特點(diǎn)是每一步只引，共同特點(diǎn)是每一步只引 入或剔除一個(gè)自變?nèi)牖蛱蕹粋€(gè)自變量量Xj。n對(duì)對(duì)Xj的取舍要進(jìn)行的取舍要進(jìn)行F檢驗(yàn)：檢驗(yàn)： ）（）（殘殘回回1pn/SS1/XSSF ljlj 計(jì)算進(jìn)行到第計(jì)算進(jìn)行到第l步時(shí)：步時(shí)：p :方程中自變量個(gè)數(shù)方程中自變量個(gè)數(shù)SS回：回：Xj的偏回歸平方和的偏回歸平方和SS殘：殘：殘差平方和殘差平方和缺

14、點(diǎn)：缺點(diǎn)：后續(xù)變量的引入可能使先前引入的變量變的后續(xù)變量的引入可能使先前引入的變量變的 不重要。不重要。入入入入 P FF )1pn, 1(jXj入選入選1.前進(jìn)法前進(jìn)法（只選不剔）（只選不剔）自變量從無(wú)到有、從少到多自變量從無(wú)到有、從少到多 Y對(duì)每一個(gè)自變量作直線回歸，對(duì)對(duì)每一個(gè)自變量作直線回歸，對(duì)回歸平方和回歸平方和最大最大的自變量作的自變量作F檢驗(yàn)，有意義（檢驗(yàn)，有意義（P?。﹦t引入。?。﹦t引入。在此基礎(chǔ)上，計(jì)算其它自變量的在此基礎(chǔ)上，計(jì)算其它自變量的偏回歸平方和偏回歸平方和，選，選取偏回歸平方和取偏回歸平方和最大者最大者作作F檢驗(yàn)，檢驗(yàn)， 2.后退法（后退法（只剔不選）只剔不選）開(kāi)始方

15、程中包含全部自變量開(kāi)始方程中包含全部自變量，然后從方程中選取，然后從方程中選取偏回歸平方和最小的自變量作偏回歸平方和最小的自變量作F檢驗(yàn)以決定是否從檢驗(yàn)以決定是否從方程中剔除，直至無(wú)自變量可以從方程中剔除為方程中剔除，直至無(wú)自變量可以從方程中剔除為止。止。缺點(diǎn)：缺點(diǎn)：當(dāng)某些自變量高度相關(guān)時(shí)，可能得不出正確當(dāng)某些自變量高度相關(guān)時(shí)，可能得不出正確 結(jié)果。結(jié)果。出出出出 P FF )1pn, 1(jXj剔除剔除 3.逐步回歸法（先選后剔，雙向篩選）逐步回歸法（先選后剔，雙向篩選）p開(kāi)始方程中無(wú)自變量，從方程外選取偏回歸平方開(kāi)始方程中無(wú)自變量，從方程外選取偏回歸平方和最大的自變量作和最大的自變量作F檢

16、驗(yàn)以決定是否選入方程；檢驗(yàn)以決定是否選入方程；p每引一個(gè)自變量進(jìn)入方程后，從方程中選取偏回每引一個(gè)自變量進(jìn)入方程后，從方程中選取偏回歸平方和最小的自變量作歸平方和最小的自變量作F檢驗(yàn)以決定是否從方程檢驗(yàn)以決定是否從方程中剔除；中剔除；p直至方程外無(wú)自變量可引入，方程內(nèi)無(wú)自變量可直至方程外無(wú)自變量可引入，方程內(nèi)無(wú)自變量可剔除為止。剔除為止。 出出出出 P FF )1pn, 1(jXj剔除剔除內(nèi)剔內(nèi)剔入入入入 P FF )1pn, 1(jXj入選入選外引外引入入值定的越小選取自變量標(biāo)準(zhǔn)越嚴(yán)，被選值定的越小選取自變量標(biāo)準(zhǔn)越嚴(yán)，被選 入方程內(nèi)入方程內(nèi)自變量數(shù)越少。自變量數(shù)越少。 入入值越大則反之。值越

17、大則反之。小樣本：小樣本：入入=0.05，出出=0.10。 大樣本：大樣本：入入=0.10，出出=0.15。 入入出出，以免以免Xj上一步剔除后下一步又被選入上一步剔除后下一步又被選入逐步回歸法流程圖逐步回歸法流程圖 例例 222.5519 84.5570 142.4347- 89.8025 67.6962 84.5570 86.4407 57.3863- 26.7286 31.3687 142.4347- 57.3863- 350.3106 9.4929- 53.9523-89.8025 26.7286 9.4929- 172.3648 67.3608 67.6962 31.3687 53.

18、9523- 67.3608 0103.66 l ij84.5570 b86.4407b 57.3863-b26.7286b31.3687 142.4347- b57.3863-b350.3106b9.4929-b53.9523-89.8025b26.7286b9.4929-b172.3648 b67.360867.6962 b31.3687 b53.9523- b67.3608 b0103.664321432143214321 6382. 0b 2706. 0b 3515. 0b 1424. 0b4321 1. 全回歸全回歸 9259.11Y1185. 9X 1467. 6X 8407. 2X

19、 8126. 5X6382. 0b 2706. 0b 3515. 0b 1424. 0b43214321 9433. 5XbXbXbYbmm22110 ）（4321X6382. 0X2706. 0X3515. 0X1424. 09433. 5Y 6008. 05519.2227107.133SSSSR2 總總回回2.決定系數(shù)決定系數(shù)R2血糖含量變異的血糖含量變異的60%可由總膽固醇、甘油三酯、可由總膽固醇、甘油三酯、胰島素和糖化血紅蛋白的變異解釋。胰島素和糖化血紅蛋白的變異解釋。 選選X4前先建立前先建立4個(gè)直線回歸方程；個(gè)直線回歸方程；選選X1前先建立前先建立1個(gè)含個(gè)含3個(gè)自變量、個(gè)自變量、

20、 3個(gè)含個(gè)含2個(gè)個(gè) 自變量的多元線性回歸方程。自變量的多元線性回歸方程。 0.10P 92. 2FF788.14)1127/(837.139714.821pn/SS1/XSSF0.10(1,25)141 ）（）（殘殘回回）第第一一步步（選選：4X 0.10P 93. 2FF244. 5) 1227/(762.114076.251pn/SS1/XSSF0.10(1,24)212 ）（）（殘殘回回）第第二二步步（剔剔：無(wú)無(wú)，選選：1X 0.10P 94. 2FF185. 3)1327/(804.100958.131pn/SS1/XSSF0.10(1,23)333 ）（）（殘殘回回）第第三三步步（剔

21、剔：無(wú)無(wú)，選選：3X 0.10P 95. 2FF962. 2) 1427/(841.88963.111pn/SS1/XSSF0.10(1,22)424 ）（）（殘殘回回）第第四四步步（剔剔：無(wú)無(wú)，選選：2X 0.15P 92. 2FF0.15(1,22) 152. 0) 1427/(841.88613. 01pn/SS1/XSSF515 ）（）（殘殘回回）第第五五步步（剔剔：1X 逐逐步步回回歸歸方方程程的的方方差差分分析析表表 變變異異來(lái)來(lái)源源 自自由由度度 SS MS F P 總總變變異異 26 222.5519 回回 歸歸 3 133.0980 44.366 11.41 0.0001 殘

22、殘 差差 23 89.4540 3.889 432X6632. 0X2871. 0X4023. 04996. 6Y 逐步回歸法流程圖逐步回歸法流程圖在自變量很多時(shí)，其中有的因素可能對(duì)應(yīng)變量的影響不是很大，而且x之間可能不完全相互獨(dú)立的，可能有種種互作關(guān)系。在這種情況下可用逐步回歸分析，進(jìn)行x因子的篩選，這樣建立的多元回歸模型預(yù)測(cè)效果會(huì)更較好。 逐步回歸分析，首先要建立因變量y與自變量x之間的總回歸方程，再對(duì)總的方程及每個(gè)自變量進(jìn)行假設(shè)檢驗(yàn)。當(dāng)總的方程不顯著時(shí)，表明該多元回歸方程線性關(guān)系不成立；而當(dāng)某個(gè)自變量對(duì)y影響不顯著時(shí)，應(yīng)該把它剔除，重新建立不包含該因子的多元回歸方程。篩選出有顯著影響的因

23、子作為自變量，并建立“最優(yōu)”回歸方程。 回歸方程包含的自變量越多，回歸平方和越大，剩余的平方和越小，剩余均方也隨之較小，預(yù)測(cè)值的誤差也愈小，模擬的效果愈好。但是方程中的變量過(guò)多，預(yù)報(bào)工作量就會(huì)越大，其中有些相關(guān)性不顯著的預(yù)報(bào)因子會(huì)影響預(yù)測(cè)的效果。因此在多元回歸模型中，選擇適宜的變量數(shù)目尤為重要。 例例變量說(shuō)明如下： X1X1糧糧 食食X11X11煙草類(lèi)煙草類(lèi)X2X2淀粉及薯類(lèi)淀粉及薯類(lèi)X12X12酒和飲料酒和飲料X3X3干豆類(lèi)及豆制品干豆類(lèi)及豆制品X13X13干鮮瓜果類(lèi)干鮮瓜果類(lèi)X4X4油脂類(lèi)油脂類(lèi)X14X14糕點(diǎn)類(lèi)糕點(diǎn)類(lèi)X5X5肉禽及制品肉禽及制品X15X15奶及奶制品奶及奶制品X6X6蛋蛋

24、 類(lèi)類(lèi)X16X16其他食品其他食品X7X7水產(chǎn)品類(lèi)水產(chǎn)品類(lèi)X17X17在外用餐在外用餐X8X8菜菜 類(lèi)類(lèi)X18X18食品加工服務(wù)費(fèi)食品加工服務(wù)費(fèi)X9X9調(diào)味品調(diào)味品Y Y消費(fèi)性支出消費(fèi)性支出X10X10 糖糖 類(lèi)類(lèi)1）準(zhǔn)備分析數(shù)據(jù) 在SPSS數(shù)據(jù)編輯窗口中，用“Data”命令2）啟動(dòng)線性回歸過(guò)程 單擊SPSS主菜單的“Analyze”下的“Regression”中“Linear”項(xiàng)3) 設(shè)置分析變量 設(shè)置因變量：將左邊變量列表中的“y”變量，選入到“Dependent”因變量顯示欄里。 設(shè)置自變量：將左邊變量列表中的“x1”“x21”變量，全部選移到“Independent(S)”自變量欄里。

25、 設(shè)置控制變量: 本例子中不使用控制變量，所以不選擇任何變量。 選擇標(biāo)簽變量: 選擇“DIST”為標(biāo)簽變量。 選擇加權(quán)變量: 本例子沒(méi)有加權(quán)變量，因此不作任何設(shè)置。 4）回歸方式 在“Method”分析方法框中選中“Stepwise”逐步分析方法。該方法是根據(jù)“Options”選擇對(duì)話框中顯著性檢驗(yàn)（F）的設(shè)置，在方程中進(jìn)入或剔除單個(gè)變量，直到所建立的方程中不再含有可加入或可剔除的變量為止。5) 設(shè)置變量檢驗(yàn)水平 “Options” “Stepping Method Criteria”框里的設(shè)置用于逐步回歸分析的選擇標(biāo)準(zhǔn)。 其中“Use probability of F”選項(xiàng)，提供設(shè)置顯著性F

26、檢驗(yàn)的概率。如果一個(gè)變量的F檢驗(yàn)概率小于或等于進(jìn)入“Entry”欄里設(shè)置的值，那么這個(gè)變量將被選入回歸方程中；當(dāng)回歸方程中變量的F值檢驗(yàn)概率大于剔除“Removal”欄里設(shè)置的值，則該變量將從回歸方程中被剔除。由此可見(jiàn)，設(shè)置F檢驗(yàn)概率時(shí)，應(yīng)使進(jìn)入值小于剔除值。 “Ues F value” 選項(xiàng)，提供設(shè)置顯著性F檢驗(yàn)的分布值。如果一個(gè)變量的F值大于所設(shè)置的進(jìn)入值（Entry），那么這個(gè)變量將被選入回歸方程中；當(dāng)回歸方程中變量的F值小于設(shè)置的剔除值（Removal），則該變量將從回歸方程中被剔除。同時(shí)，設(shè)置F分布值時(shí)，應(yīng)該使進(jìn)入值大于剔除值。 本例子使用顯著性F檢驗(yàn)的概率，在進(jìn)入“Entry”欄里

27、設(shè)置為“0.15”，在剔除“Removal”欄里設(shè)置為“0.20”（剔除的概率值應(yīng)比進(jìn)入的值大），如圖2-89所示。 6）設(shè)置輸出統(tǒng)計(jì)量“Statistics” “Regression Coefficients”回歸系數(shù)選項(xiàng)： “Estimates”輸出回歸系數(shù)和相關(guān)統(tǒng)計(jì)量。 “Residuals”殘差選項(xiàng)： 其它輸入選項(xiàng) “Model fit”輸出相關(guān)系數(shù)、相關(guān)系數(shù)平方、調(diào)整系數(shù)、估計(jì)標(biāo)準(zhǔn)誤、ANOVA表。 7）繪圖選項(xiàng)“Plots” 8) 保存分析數(shù)據(jù)的選項(xiàng)“Save” “Predicted Values”預(yù)測(cè)值欄選項(xiàng)： 本例選中“Unstandardized”非標(biāo)準(zhǔn)化預(yù)測(cè)值。 “Dist

28、ances”距離欄選項(xiàng)： “Prediction Intervals”預(yù)測(cè)區(qū)間選項(xiàng)： “Save to New File”保存為新文件： “Export model information to XML file” 導(dǎo)出統(tǒng)計(jì)過(guò)程中的回歸模型信息到指定文件。本例不選。 “Residuals” 保存殘差選項(xiàng)： “Influence Statistics” 統(tǒng)計(jì)量的影響。 9）提交執(zhí)行 在主對(duì)話框里單擊“OK”，提交執(zhí)行，結(jié)果將顯示在輸出窗口中10) 結(jié)果分析 主要結(jié)果: 逐步回歸每一步進(jìn)入或剔除回歸模型中的變量情況逐步回歸每一步的回歸模型的統(tǒng)計(jì)量：R 是相關(guān)系數(shù)；R Square 相關(guān)系數(shù)的平方，

29、又稱判定系數(shù)，判定線性回歸的擬合程度：用來(lái)說(shuō)明用自變量解釋因變量變異的程度（所占比例）；Adjusted R Square 調(diào)整后的判定系數(shù)；Std. Error of the Estimate 估計(jì)標(biāo)準(zhǔn)誤差。 Model SummaryModel Summarym m.902a.813.807*.933b.871.861*.948c.899.888*.963d.928.917*.968e.938.925*.971f.944.930*.974g.949.934*.980h.960.946*.979i.959.946*.983j.967.955*.983k.966.956*.987l.974.9

30、64*Model123456789101112RR SquareAdjustedR SquareStd. Error ofthe EstimatePredictors: (Constant), X17a. Predictors: (Constant), X17, X13b. Predictors: (Constant), X17, X13, X7c. Predictors: (Constant), X17, X13, X7, X15d. Predictors: (Constant), X17, X13, X7, X15, X3e. Predictors: (Constant), X17, X1

31、3, X7, X15, X3, X12f. Predictors: (Constant), X17, X13, X7, X15, X3, X12, X18g. Predictors: (Constant), X17, X13, X7, X15, X3, X12, X18,X8h. Predictors: (Constant), X17, X7, X15, X3, X12, X18, X8i. Predictors: (Constant), X17, X7, X15, X3, X12, X18, X8,X1j. Predictors: (Constant), X17, X7, X3, X12,

32、X18, X8, X1k. Predictors: (Constant), X17, X7, X3, X12, X18, X8, X1, X4l. Dependent Variable: Ym. 逐步回歸每一步的回歸模型的方差分析2E+0081216546904.1126.48549649000291712034.4973E+008302E+0082115868436.094.15034459032281230679.7303E+008302E+008379763264.9780.0422690611027996522.5773E+008302E+008461761649.6683.85719

33、14930626736511.7633E+008302E+008549925519.4775.3331656830725662732.2853E+008303E+008641868164.3767.0481498691824624454.9283E+008303E+008736102883.1561.6191347572223585900.9753E+008303E+008831945523.2766.1041063171822483259.9223E+008303E+008736466125.2176.7141093302823475349.0443E+008303E+00883217668

34、1.5080.602878245222399202.3853E+008303E+008736738028.8393.577902970323392595.7673E+008303E+008832401220.77102.034698613822317551.7423E+00830RegressionResidualTotalRegressionResidualTotalRegressionResidualTotalRegressionResidualTotalRegressionResidualTotalRegressionResidualTotalRegressionResidualTotalRegressionResidualTotalRegressionResidualTotalRegressionResidualTotalRegressionResidualTotalRegressionResidualTotalModel123456789101112Sum ofSquare