逐步回歸分析

1、逐步回歸分析1、逐步回歸分析的主要思路在實際問題中，人們總是希望從對因變量J有影響的諸多變量中選擇一些變量作為自變量，應(yīng)用多元回歸分析的方法建立“最優(yōu)”回歸方程以便對因變量進行預報或控制。所謂“最優(yōu)”回歸方程，主要是指希望在回歸方程中包含所有對因變量J影響顯著的自變量而不包含對J影響不顯著的自變量的回歸方程。逐步回歸分析正是根據(jù)這種原則提出來的一種回歸分析方法。它的主要思路是在考慮的全部自變量中按其對丁的作用大小，顯著程度大小或者說貢獻大小，由大到小地逐個引入回歸方程，而對那些對作用不顯著的變量可能始終不被引人回歸方程。另外，已被引人回歸方程的變量在引入新變量后也可能失去重要性，而需要從回歸方

2、程中剔除出去。引人一個變量或者從回歸方程中剔除一個變量都稱為逐步回歸的一步，每一步都要進行F檢驗，以保證在引人新變量前回歸方程中只含有對了影響顯著的變量，而不顯著的變量已被剔除。逐步回歸分析的實施過程是每一步都要對已引入回歸方程的變量計算其偏回歸平方和（即貢獻）,然后選一個偏回歸平方和最小的變量，在預先給定的F水平下進行顯著性檢驗，如果顯著則該變量不必從回歸方程中剔除，這時方程中其它的幾個變量也都不需要剔除（因為其它的幾個變量的偏回歸平方和都大于最小的一個更不需要剔除）。相反，如果不顯著，則該變量要剔除，然后按偏回歸平方和由小到大地依次對方程中其它變量進行F檢驗。將對J影響不顯著的變量全部剔除

3、，保留的都是顯著的。接著再對未引人回歸方程中的變量分別計算其偏回歸平方和，并選其中偏回歸平方和最大的一個變量，同樣在給定?水平下作顯著性檢驗，如果顯著則將該變量引入回歸方程，這一過程一直繼續(xù)下去，直到在回歸方程中的變量都不能剔除而又無新變量可以引入時為止，這時逐步回歸過程結(jié)束。2、逐步回歸分析的主要計算步驟確定F檢驗值在進行逐步回歸計算前要確定檢驗每個變量是否顯若的F檢驗水平，以作為引人或剔除變量的標準。F檢驗水平要根據(jù)具體問題的實際情況來定。一般地，為使最終的回歸方程中包含較多的變量，F(xiàn)水平不宜取得過高，即顯著水平“不宜太小。F水平還與自由度有關(guān)，因為在逐步回歸過程中，回歸方程中所含的變量的

4、個數(shù)不斷在變化，因此方差分析中的剩余自由度也總在變化，為方便起見常按外一t-1計算自由度。1為原始數(shù)據(jù)觀測組數(shù)，E為估計可能選人回歸方程的變量個數(shù)。例如；1=15，估計可能有23個變量選入回歸方程，因此取自由度為15-3-1=11,查F分布表，當a=0.1,自由度Qif=11時，臨界值及=323,并且在弓入變量時，自由度取力=1,人二”上-2,F檢驗的臨界值記&,在剔除變量時自由度取:.一.F檢驗的臨界值記A,并要求R之當,實際應(yīng)用中常取8二網(wǎng)。（2）逐步計算如果已計算j步（包含f=0）,且回歸方程中已引入!個變量，則第f+1步的計算為：（口）計算全部自變量的貢獻（偏回歸平方和）。（3

5、）在已引入的自變量中，檢查是否有需要剔除的不顯著變量。這就要在已引入的變量中選取具有最小r值的一個并計算其F值，如果FS5,表示該變量不顯著，應(yīng)將其從回歸方程中剔除，計算轉(zhuǎn)至（C）。如'則不需要剔除變量，這時則考慮從未引入的變量中選出具有最大值的一個并計算F值，如果F片，則表示該變量顯著，應(yīng)將其引人回歸方程，計算轉(zhuǎn)至（C）。如果,表示已無變量可選入方程，則逐步計算階段結(jié)束，計算轉(zhuǎn)人（3）o（C）剔除或引人一個變量后，相關(guān)系數(shù)矩陣進行消去變換，第f+1步計算結(jié)束。其后重復（&）（C）再進行下步計算。由上所述，逐步計算的每一步總是先考慮剔除變量，僅當無剔除時才考慮引入變量。實際計算

6、時，開頭幾步可能都是引人變量，其后的某幾步也可能相繼地剔除幾個變量。當方程中已無變量可剔除，且又無變量可引入方程時，第二階段逐步計算即告結(jié)束，這時轉(zhuǎn)入第三階段。（3）其他計算，主要是計算回歸方程入選變量的系數(shù)、復相關(guān)系數(shù)及殘差等統(tǒng)計量。逐步回歸選取變量是逐漸增加的。選取第1個變量時僅要求與前面已選的J-1個變量配合起來有最小的殘差平方和，因此最終選出的1個重要變量有時可能不是使殘差平方和最小的1個，但大量實際問題計算結(jié)果表明，這I個變量常常就是所有1個變量的組合中具有最小殘差平方和的那一個組合，特別當不太大時更是如此，這表明逐步回歸是比較有效的方法。引人回歸方程的變量的個數(shù)與各變量貢獻的顯著性

7、檢驗中所規(guī)定的F檢驗的臨界值片與網(wǎng)的取值大小有關(guān)。如果希望多選一些變量進人回歸方程，則應(yīng)適當增大檢驗水平a值，即減小凡:月的值，特別地，當月=鳥二口時，則全部變量都將被選入，這時逐步回歸就變?yōu)橐话愕亩嘣€性回歸。相反，如果a取得比較小，即片與F?取得比較大時，則入選的變量個數(shù)就要減少。止匕外，還要注意，在實際問題中，當觀測數(shù)據(jù)樣本容量力較小時，入選變量個數(shù)I不宜選得過大，否則被確定的系數(shù)號的精度將較差©IZmanage-comFuelModel240RecessionLineY-0975+0.928XRS=0d4Sk>pe=1Mercep*-0/Typicalregressio

8、nanalysis30PredictedRate*of-Spread(fUmin)相關(guān)分析研究的是現(xiàn)象之間是否相關(guān)、相關(guān)的方向和密切程度，一般不區(qū)別自變量或因變量。而回歸分析則要分析現(xiàn)象之間相關(guān)的具體形式，確定其因果關(guān)系，并用數(shù)學模型來表現(xiàn)其具體關(guān)系。比如說,從相關(guān)分析中我們可以得知質(zhì)量”和用戶滿意度”變量密切相關(guān)，但是這兩個變量之間到底是哪個變量受哪個變量的影響，影響程度如何，則需要通過回歸分析方法來確定。一般來說，回歸分析是通過規(guī)定因變量和自變量來確定變量之間的因果關(guān)系，建立回歸模型，并根據(jù)實測數(shù)據(jù)來求解模型的各個參數(shù)，然后評價回歸模型是否能夠很好的擬合實測數(shù)據(jù)；如果能夠很好的擬合，則可以

9、根據(jù)自變量作進一步預測?；乇P帚分析法是定量H測方法之一。它依擄i事物內(nèi)部因素建化的因果系來H測事物未來的彝展超勢。由于它依擄i的是事物內(nèi)部的樊展規(guī)律，因此造槿方法比較精確I。汨膝艮工作中常用的是一元性回盤帚和多元性回盤帚模型。一元性回盤帚是指事物樊展的自燮量典因燮量之是罩因素的曾軍性系，它的模型可以表示卷：y=a+bx其中y是因燮量，x是自燮量，a是常數(shù)，b是回值帚系數(shù)。多元性回盤帚是指一彳固因燮量典多偃I自燮量之的性系。模型的一般型式卷：y=a+b1x1+b2x2+,+bnxn其中，y是因燮量，x1、x2、，xn是自燮量，a是常數(shù)，bl、b2、，bn是回H帚系數(shù)。什么是回歸分析？釋義回歸分析一個統(tǒng)計預測模型，用以描述和評估應(yīng)變量與一個或多個自變量之間的關(guān)系?；貧w分析的應(yīng)用。優(yōu)點基于一個給定的商業(yè)指標（應(yīng)變量）與其相關(guān)商業(yè)驅(qū)動因素（說明變量）交互作用關(guān)系，回歸分析能夠?qū)υ撝笜私Y(jié)果進行預測。例如，回歸分析能夠預測根據(jù)你的廣告花費以及你雇用的銷售人數(shù)預測出你的銷售量。當然，真實地回歸分析模型要比這個例子復雜得多，需要更多的變量。沒有人能夠真正看到未來是什么模樣，但是，得益于現(xiàn)代統(tǒng)計學、經(jīng)濟計量學理論模型以及BusinessIntelligence商業(yè)智能軟件的幫助，我們確實可以對未來發(fā)生的事情進行預測和評估。Regressio