多元線性回歸實(shí)例分析

SPSS--回歸-多元線性回歸模型案例解析?。ㄒ唬┒嘣€性回歸，主要是研究一個(gè)因變量與多個(gè)自變量之間的相關(guān)關(guān)系，跟一元回歸原理差不多，區(qū)別在于影響因素（自變量）更多些而已，例如：一元線性回歸方程為：Y=為十呂X十E毫無疑問，多元線性回歸方程應(yīng)該為：上圖中的x1,x2,xp分別代表“自變量”Xp截止，代表有？個(gè)自變量，如果有“N組樣本，那么這個(gè)多元線性回歸，將會(huì)組成一個(gè)矩陣，如下圖所示：記n組樣本分別是（xz少…改=,令"耳iX12…七、伍1y=,Xh1X2\工22…X2p■■■，8=A的J與1…5）\'肝）|Y=i那么，多元線性回歸方程矩陣形式為：其中：代表隨機(jī)誤差，其中隨機(jī)誤差分為：可解釋的誤差和不可解釋的誤差，隨機(jī)誤差必須滿足以下四個(gè)條件，多元線性方程才有意義（一元線性方程也一樣）1：服成正太分布，即指：隨機(jī)誤差必須是服成正太分別的隨機(jī)變量。2：無偏性假設(shè)，即指：期望值為03：同共方差性假設(shè)，即指，所有的隨機(jī)誤差變量方差都相等4：獨(dú)立性假設(shè)，即指：所有的隨機(jī)誤差變量都相互獨(dú)立，可以用協(xié)方差解釋。今天跟大家一起討論一下，spss---多元線性回歸的具體操作過程，下面以教程教程數(shù)據(jù)為例，分析汽車特征與汽車銷售量之間的關(guān)系。通過分析汽車特征跟汽車銷售量的關(guān)系，建立擬合多元線性回歸模型。數(shù)據(jù)如下圖所示：16.91939.38414114858820.39718.7801.38019.7479.2311752791.56139.35027.85183.26763.72916.9436.63611.18614.786145.519136.12624.62942.59313.740201909.25028.67636.12512.47511.22610.31011.62622.25523.5563900013.36022.52527.10025.72518.225resale16.3G019.87518.22629一72642.00070.9194.626.30019G.231.96620G.813.260180.92150028.400176.0188.023.99033.96062.00026.99033.40038.90021.97576174.068.4201.0200.6194.8201.244.47639.66631.01046.225178.0192.0198.217G.0192.9192.0196.627.88639.89516.63618.89019.390200.0207.2107.0107.5110.5190.4200.9197.9106.9114.6102.6108.7113.0111.410901090113.8112.2112.2108.0點(diǎn)擊“分析”一一回歸一一線性一一進(jìn)入如下圖所示的界面:將“銷售量”作為“因變量”拖入因變量框內(nèi)，將“車長，車寬，耗油率，車凈重等10個(gè)自變量拖入自變量框內(nèi)，如上圖所示，在“方法”旁邊，選擇“逐步”，當(dāng)然，你也可以選擇其它的方式，如果你選擇“進(jìn)入”默認(rèn)的方式，在分析結(jié)果中，將會(huì)得到如下圖所示的結(jié)果：（所有的自變量，都會(huì)強(qiáng)行進(jìn)入）箱入/秋去的爽量"3模型輸入的孌星移去的孌量方法1耗油量:邁時(shí)，車Priceinthousandsr.,Vehicletvpe,軍覓Enginesize,Fuel,^apapity,\Wheelbase,Horsepower輸X.3.己輸入所有請求的菱量斯b.因變星:Log-transformedsales如果你選擇“逐步”這個(gè)方法，將會(huì)得到如下圖所示的結(jié)果：（將會(huì)根據(jù)預(yù)先設(shè)定的“F統(tǒng)計(jì)量的概率值進(jìn)行篩選，最先進(jìn)入回歸方程的“自變量”應(yīng)該是跟“因變量”關(guān)系最為密切，貢獻(xiàn)最大的，如下圖可以看出，車的價(jià)格和車軸跟因變量關(guān)系最為密切，符合判斷條件的概率值必須小于0.05，當(dāng)概率值大于等于0.1時(shí)將會(huì)被剔除）

輸入/秩去的爽量彳模型輸入的查量移去的變量方法1Priceinthousand^步進(jìn)《準(zhǔn)則;F-to-enter的翻率<=.050*F-tc-remov/e的概率=「:①￡Wheelbase步進(jìn)r準(zhǔn)則:r-to-enter的期率<=.050廠'F-to-remov/e的概率>Fa,因變量：Log-transformed:sales“選擇變量(E)”框內(nèi)，我并沒有輸入數(shù)據(jù)，如果你需要對(duì)某個(gè)“自變量”進(jìn)行條件篩選，可以將那個(gè)自變量，移入“選擇變量框”內(nèi)，有一個(gè)前提就是：該變量從未在另一個(gè)目標(biāo)列表中出現(xiàn)！，再點(diǎn)擊“規(guī)則”設(shè)定相應(yīng)的“篩選條件”即可，如下圖所示：點(diǎn)擊“統(tǒng)計(jì)量”彈出如下所示的框，如下所示:曲戲性回歸，統(tǒng)計(jì)量ix巨1歸系散5估計(jì)回巨1歸系散5估計(jì)回□置信區(qū)間永平嘟切,□協(xié)方差逅辟&）瓣差.Durbin-WatsonfU）可，個(gè)案診斷（2）?籬群值（史@所有個(gè)案M摸型欺合度:地-jR方變化但）□描述性□部樣相關(guān)和偏相關(guān)性凹共線性診斷L）3標(biāo)準(zhǔn)差槌芭J取消［幫助-.在“回歸系數(shù)”下面勾選“估計(jì)，在右側(cè)勾選”模型擬合度“和”共線性診斷“兩個(gè)選項(xiàng)，再勾選“個(gè)案診斷”再點(diǎn)擊“離群值”一般默認(rèn)值為“3”，（設(shè)定異常值的依據(jù)，只有當(dāng)殘差超過3倍標(biāo)準(zhǔn)差的觀測才會(huì)被當(dāng)做異常值）點(diǎn)擊繼續(xù)。提示：共線性檢驗(yàn)，如果有兩個(gè)或兩個(gè)以上的自變量之間存在線性相關(guān)關(guān)系，就會(huì)產(chǎn)生多重共線性現(xiàn)象。這時(shí)候，用最小二乘法估計(jì)的模型參數(shù)就會(huì)不穩(wěn)定，回歸系數(shù)的估計(jì)值很容易引起誤導(dǎo)或者導(dǎo)致錯(cuò)誤的結(jié)論。所以，需要勾選“共線性診斷”來做判斷通過容許度可以計(jì)算共線性的存在與否？容許度TOL=1-RI平方或方差膨脹因子（VIF）:VIF=1/1-RI平方，其中RI平方是用其他自變量預(yù)測第I個(gè)變量的復(fù)相關(guān)系數(shù)，顯然，VIF為TOL的倒數(shù)，TOL的值越小，VIF的值越大，自變量XI與其他自變量之間存在共線性的可能性越大。提供三種處理方法：1：從有共線性問題的變量里刪除不重要的變量2：增加樣本量或重新抽取樣本。3：采用其他方法擬合模型，如領(lǐng)回歸法，逐步回歸法，主成分分析法。再點(diǎn)擊“繪制”選項(xiàng)，如下所示：

「標(biāo)準(zhǔn)化殘差圖直方圖正態(tài)概率圖巳｝口廣生所有部冬囹〔已幕助「標(biāo)準(zhǔn)化殘差圖直方圖正態(tài)概率圖巳｝口廣生所有部冬囹〔已上圖中：DEPENDENT（因變量）ZPRED（標(biāo)準(zhǔn)化預(yù)測值）ZRESID（標(biāo)準(zhǔn)化殘差）DRESID（剔除殘差）ADJPRED（修正后預(yù)測值）SRSID（學(xué)生化殘差）SDRESID（學(xué)生化剔除殘差）一般我們大部分以“自變量”作為X軸，用“殘差”作為Y軸，但是，也不要忽略特殊情況，這里我們以“ZPRED（標(biāo)準(zhǔn)化預(yù)測值）作為x〃軸，分別用“SDRESID（血生化剔除殘差）”和“ZRESID（標(biāo)準(zhǔn)化殘差）作為Y軸，分別作為兩組繪圖變量。再點(diǎn)擊”保存“按鈕，進(jìn)入如下界面：

如上圖所示：勾選“距離”下面的“cook距離”選項(xiàng)（cook距離，主要是指：把一個(gè)個(gè)案從計(jì)算回歸系數(shù)的樣本中剔除時(shí)所引起的殘差大小，cook距離越大，表明該個(gè)案對(duì)回歸系數(shù)的影響也越大）在“預(yù)測區(qū)間”勾選“均值”和“單值”點(diǎn)擊“繼續(xù)”按鈕，再點(diǎn)擊“確定按鈕，得到如下所示的分析結(jié)果：（此分析結(jié)果，采用的是“逐步法”得到的結(jié)果）模型匯總口模型RR方調(diào)整R方標(biāo)準(zhǔn)恰計(jì)的誤差1,552a.3041.1155342,655b.4-30.4221.013572預(yù)測變量:（常量）,Priceinthousands.?￥頁洞j變量:‘］常量￡P(guān)Nceinthousands；Wheelbase亍q.因變量:Log-transformedsalesAn&vac模型平方和！df均方FSig.1回歸81.7201917'2065.670,ooad殘差18S.6621501.244總計(jì)'265.3S3_1.51玉回歸115.311257.65656.122,ooab殘差153.0721491.027總計(jì)'265.3S31.51頊測匿量:（常量予；Priceinihotjeands&宇頑變量:t常量iPriceinlliousandsf,Wheelbase^-c-.因變星：Log-transformedsale's已徘豚的爽量弓模型BetaIn.嘩Sig：..偏擔(dān)美共線性統(tǒng)計(jì)星容差明F最小容差1Vehicletype:25133.854：ooo-.301.990■1.002.990Engin&.size,:342a4.12B.血..320.6111.636.611Horsepower,257a.041..167.2933.417.293Wheelbase.35635.710M.424.獨(dú)L012.90S車寬.24433.517,tiJ01.277：092■1.121.892-車長,30Sa4.79J0.IilOO；..365如J6-1.025.976車凈重.34634.&00M.353-.722■1.3057'^2Fueltapacity,266a3.687.血..28Sf-：0210■1.219.-.820耗油量:邁J升-,19Sa-2.58.4w<207.75JST.319".7531Vehicletype,1-29b1.920.056.157.&35■1：f97.827Engine-.size,145b1.576.117'一』282.246.445Horsepower,02Sb.229.019..019.25J63.91.0；.256年寬-,025b-s275.734-.023-：4702TN6.470車長,02>b.237?.劇3.-020項(xiàng)'3.44.9.290車凈重,105b典叫..034.3657741.365Fuelcapacity,002b.024.931.002：4432:齡9.443耗油量:邁餅.014b.164初口.014：.5591.790.559模型中的預(yù)測變量:（信量LPriceinthousands*模型中的禎湎變量:｛常量）,Priceinthousands.Wheelbase*囪變量：Log-transformed^'ales系歉模型非標(biāo)準(zhǔn)化系數(shù)標(biāo)準(zhǔn)系數(shù)翎".共線性統(tǒng)計(jì)量B標(biāo)準(zhǔn)誤差試用版容差VIF1:速量）4.634.1.94/24.090.000Priceinthousands-.051.006":-.552?胡.1M.0001.00Q1.0002-1.日遂1.151.11-6Priceinthousands-.055,（w-.590?舊48].000.9881.012Wheelbase.061.011.356■571S,.000.9881.0Ha.因變量：Log-transformedsales共妹性診斷尋模型推數(shù)特街直條T牛索引方差比例PriceinthousandsWheelbase111.8851.000.0E,0E2.115■4.05-1,94,94212.3471.000@0；.002：.150■4.351.01..9.7.013.003-33.412.99.00.99a.因變量:Log-transformedsales袈差領(lǐng)汁量日極小值均值標(biāo)荏偏差N-；245405.64204:'3^9052.8685121^5'標(biāo)準(zhǔn)預(yù)測值-4.0452.693.002.9明155預(yù)測值的標(biāo)準(zhǔn)誤差.0醐.354130.057155調(diào)整的預(yù)測值-.440425.6^214.：3以89皿.874840155-蜜差-4.9711U2.327782.005131..99S146155標(biāo)準(zhǔn)殘差-4.9052.297.005.9551抽’Student化殘差-4.9502.307..：.99f4155-已刪除的殘差-5.0631552：.34S876.0065801.01741.3155Student化已咧［除的殘差-5瀝2.341.0021.016155'Mahal距蔑.00117.4161.-96434231^5'如咔的距富.000:151.000：.ov155居中杠桿值.000.115.01'3.023散點(diǎn)圖Log-transformedsales82.674.97Q71.0269.725°O85.517.51313.10831932039(^6.13515.3534.&崢.臾5罪乃*支牛洗猝眺16.53526.93520.2321.41°O°12.05髀朔甲82.674.97Q71.0269.725°O85.517.51313.10831932039(^6.13515.3534.&崢.臾5罪乃*支牛洗猝眺16.53526.93520.2321.41°O°12.05髀朔甲.693?JI.^579922.19519.46舞。葺^22.512131518.575°16.2425.345017.5。。10.B3519.04519840

16.08

14.299.9檔毓串％◎靠此IW自45.5Q19播.6245.70569.749.9133424.4046.305%10.14525.45OToT2SPSS-回歸一多元線性回歸結(jié)果分析（二），最近一直很忙，公司的潮起潮落，就好比人生的跌巖起伏，眼看著一步步走向衰弱，卻無能為力，也許要學(xué)習(xí)“步步驚心”里面“四阿哥”的座右銘：“行到水窮處”，”坐看云起時(shí)“。接著上一期的“多元線性回歸解析”里面的內(nèi)容，上一次，沒有寫結(jié)果分析，這次補(bǔ)上，結(jié)果分析如下所示：結(jié)果分析1:

輸入/醵去的爽量彳模型輸人的查量移去的變量方法1Priceinthousand^步進(jìn)f準(zhǔn)則;F-to-enter的翻率＜=.050礦F-tc-remov/e的概率=2Wheelbase步迸《準(zhǔn)則;F-to-enter的翻率<=.050廠F-to-remov/e的概率』1C0）-a,因變量：Log-transformedsales由于開始選擇的是“逐步”法，逐步法是“向前”和“向后”的結(jié)合體，從結(jié)果可以看出，最先進(jìn)入“線性回歸模型”的是“priceinthousands"建立了模型1，緊隨其后的是“Wheelbase"建立了模型2,所以，模型中有此方法有個(gè)概率值，當(dāng)小于等于0.05時(shí),進(jìn)入“線性回歸模型”（最先進(jìn)入模型的，相關(guān)性最強(qiáng)，關(guān)系最為密切）當(dāng)大于等0.1時(shí)，從“線性模型中”剔除模型匯總。摸型RR方調(diào)整R方標(biāo)準(zhǔn)恰計(jì)的誤差1,552a.304：：^001.1155347,655b.4-30.4221.013572白.預(yù)測變星：（常量LPriceirithousarids.^：b.福棚變量常量Phceinthousands,-Wheelbase十q.國變爽:Log-transformedsales模型平方和df埠方FSig.1回歸817'2018172065.B70,ooad殘茬185.6621501.244總計(jì)'265.3S3_1.51Z回歸115.311257.65656.1'22,ooab殘差153.0721491.027總計(jì)'265.3S31.51頊測變星：（常量蓋Priceinihoijsands?預(yù)剜變量:t信量Priceinthousands,Wheelbase"■￡-.囪孌量：Log-transformedsale's結(jié)果分析：1：從“模型匯總”中可以看出，有兩個(gè)模型，（模型1和模型2）從R2擬合優(yōu)度來看，模型2的擬合優(yōu)度明顯比模型1要好一些（0.422>0.300）2：從“Anova”表中，可以看出“模型2”中的“回歸平方和”為115.311，“殘差平方和”為153.072，由于總平方和二回歸平方和+殘差平方和，由于殘差平方和（即指隨即誤差，不

可解釋的誤差）由于“回歸平方和”跟“殘差平方和”幾乎接近，所有，此線性回歸模型只解釋了總平方和的一半，3：根據(jù)后面的“F統(tǒng)計(jì)量”的概率值為0.00，由于0.00<0.01，隨著“自變量”的引入，其顯著性概率值均遠(yuǎn)小于0.01，所以可以顯著地拒絕總體回歸系數(shù)為0的原假設(shè)，通過ANOVA方差分析表可以看出“銷售量”與“價(jià)格”和“軸距”之間存在著線性關(guān)系，至于線性關(guān)系的強(qiáng)弱，需要進(jìn)一步進(jìn)行分析。巳徘隆的變量乞模型BetaInSig：...偏相關(guān)共線性統(tǒng)計(jì)星容差曳IF最小容差1Vehicletype1S54.000.301.9901.002.990Engine-.gize：342a4.1218.血..320.6111.636.611Horsepower.2673）。笠.U41..167.293.3.417.29.3Wheelbase.356^5.71-8：obo-.424.孫1：012.90S車寬,2443'3.517.&I1.277：0921.1-21.092車長,308a479J0...WO；..365部'1.025.976車凈重,346a4.&00：obo-.353.722■1.3S57^2Fuelcapacity,266a■3：6S7.血一一血?.8我1.219.-.020耗油量:邁J升-.19驢-2.58.4RT1<207.758.7582Vehicletype.1狎1.925.056.157.&35■1：197.027Engine-.gize,145bi：.576.117'一一1：拓2.246.445Horsepower,028b'.229.819..019.256.3.91.0；.256車寬-,025b--.275.7&4-.023'：4701.126.470車長,02>b.237?面3一一口由3.44.9.290車凈重,105b,^U&；..084.365\2.741.365Fuelcapacity,002b.024.931.002：44-32處9.443耗油量:邁餅,014b■.164由布..014：,5591.790.559模型中的預(yù)測變量:（常量Priceinthousands“糧型中的預(yù)福變量：（常量"PNreinthousands.Wheelbase*醫(yī)］變量：Log-transformed^ales結(jié)果分析：1：從“已排除的變量”表中，可以看出：“模型2”中各變量的T檢的概率值都大于“0.05”所以，不能夠引入“線性回歸模型”必須剔除。

系歉模型非標(biāo)準(zhǔn)化系數(shù)標(biāo)準(zhǔn)系數(shù)專^ig：.共線性統(tǒng)計(jì)量B標(biāo)準(zhǔn)誤差試用版容差VIF1:嫦量）4.684.1.94/24.090.000Priceinthousands-.051.006":-.552■/8.:104.0001.00Q1.0002（常量）1.151.116Priceinthousands-.055-.590?遇,4折.000.90S1.0UWheelbase.061.011.356■5.7T8_.000?一頃i.ona.因變量：Log-transformedsales從“系數(shù)a”表中可以看出：1：多元線性回歸方程應(yīng)該為：銷售量=-1.822-0.055*價(jià)格+0.061*軸距但是，由于常數(shù)項(xiàng)的sig為（0.116>0.1）所以常數(shù)項(xiàng)不具備顯著性，所以，我們再看后面的“標(biāo)準(zhǔn)系數(shù)”，在標(biāo)準(zhǔn)系數(shù)一列中，可以看到“常數(shù)項(xiàng)”沒有數(shù)值，已經(jīng)被剔除所以：標(biāo)準(zhǔn)化的回歸方程為：銷售量=-0.59*價(jià)格+0.356*軸距2：再看最后一列“共線性統(tǒng)計(jì)量”，其中“價(jià)格”和“軸距”兩個(gè)容差和“vif都一樣，而且VIF都為1.012,且都小于5,所以兩個(gè)自變量之間沒有出現(xiàn)共線性，容忍度和膨脹因子是互為倒數(shù)關(guān)系，容忍度越小，膨脹因子越大，發(fā)生共線性的可能性也越大共線性診斷m模型維數(shù)特宙直條f牛索引方差比例PriceinthousandsWheelbase111.8851.000.06.062.115■4.05-1,94,94212.8471.000j均.002：.1504.351.01..97.013.003-33.412.99,0C.99a.因變量:Log-transformedsales或差筑汁量日極小值彼大值均值標(biāo)茴偏差N預(yù)洌值-；245405.64204.:哉9CI52.8685121^5'標(biāo)準(zhǔn)預(yù)測值-4.0452.693.002.934伯5預(yù)測值的標(biāo)準(zhǔn)誤差.唳.354130.057155調(diào)整的預(yù)測值-.440425.6^214-凸以8如了.8