多元線性回歸實(shí)例分析研究

1、SPSS-回歸-多元線性回歸模型案例解析?。ㄒ唬┒嘣€性回歸，主要是研究一個(gè)因變量與多個(gè)自變量之間地相關(guān)關(guān)系，跟一元回歸原理差不多，區(qū)別在于影響因素（自變量）更多些而已，例如：一元線性回歸方程為：Y=為十優(yōu)工+E；毫無(wú)疑問(wèn)，多元線性回歸方程應(yīng)該為：y=+6?叼+與彳2十上圖中地x1,x2,xp分別代表自變量”X截止，彳t表有P個(gè)自變量，如果有“N組樣本,那么這個(gè)多元線性回歸，將會(huì)組成一個(gè)矩陣，如下圖所示：b5E2R記n組樣本分別是（玉2,，4，M），（i=1，2,，令那么，多元線性回歸方程矩陣形式為:其中：代表隨機(jī)誤差，其中隨機(jī)誤差分為：可解釋地誤差和不可解釋地誤差，隨機(jī)誤差必須滿足以下四個(gè)條

2、件，多元線性方程才有意義（一元線性方程也一樣）plEan。1:服成正太分布，即指：隨機(jī)誤差必須是服成正太分別地隨機(jī)變量.2:無(wú)偏性假設(shè)，即指：期望值為03:同共方差性假設(shè)，即指，所有地隨機(jī)誤差變量方差都相等4:獨(dú)立性假設(shè)，即指：所有地隨機(jī)誤差變量都相互獨(dú)立，可以用協(xié)方差解釋今天跟大家一起討論一下，SPSS-多元線性回歸地具體操作過(guò)程，下面以教程教程數(shù)據(jù)為例，分析汽車特征與汽車銷售量之間地關(guān)系.通過(guò)分析汽車特征跟汽車銷售量地關(guān)系，建立擬合多元線性回歸模型.數(shù)據(jù)如下圖所示：DXDiTosalesresaletypeIpriceengme_shorsepowwheeibaswidthlengthcu

3、rt1691915.360021.5001.3140101.267.3172.439.38419.875028.4003.2225108170.3192.91411418225032225106970.6192.0S5682972504200035210114.671.4196620397222550239901.81501Q266*21760137802365503395023Z00108776.1192.0136039ODO062,0004.2310113074.0198.219.747-026,9902.5170107.368.4176.09.23128.675033.400201931

4、07.368.6176.01752736125033.900281931114709160.09156112475021975311751090727194e3935013740026300332401090727196.22785120190Q31,965332C6113S747206.S83.25713.360027.8853.8205112.273.5200.063.72922.525039.0954.S275115374.5207.2155432710004447545275112275.0201.0653625,725039665462751090755200611185182250

5、31010302001074703194614785146.22557255117577。201.2145.5199.250013.2S02.2115104167.9160.9135.12G11.225016.5353.1170107069.4190.4246291Q310018咖31175107.5725200.94259311525019.39034ieo110572.71979點(diǎn)擊分析”一-歸一一線性一一進(jìn)入如下圖所示地界面:將銷售量”作為因變量”拖入因變量框內(nèi)，將軍長(zhǎng)，車寬，耗油率，車凈重等10個(gè)自變量拖入自變量框內(nèi)，如上圖所示，在方法”旁邊，選擇逐步”，當(dāng)然，你也可以選擇其它地方式，

6、如果你選擇進(jìn)入”默認(rèn)地方式，在分析結(jié)果中，將會(huì)得到如下圖所示地結(jié)果：（所有地自變量，都會(huì)強(qiáng)行進(jìn)入）RTCrp輸入/移去的孌量巳黜人的變量移去的戛量方法1耗油量:邁科.車員Priceintliausands,Vehicletype,年寬,En/n日size,Fuelcapacity,Wheelt)aseb年凈重Horsepower輸入鼠已輸入所有請(qǐng)末的麥量b.因變量：Losa-transformedsales如果你選擇逐步”這個(gè)方法，將會(huì)得到如下圖所示地結(jié)果：（將會(huì)根據(jù)預(yù)先設(shè)定地“跣計(jì)量地概率值進(jìn)行篩選，最先進(jìn)入回歸方程地自變量”應(yīng)該是跟因變量”關(guān)系最為密切，貢獻(xiàn)最大地，如下圖可以看出，車地價(jià)格

7、和車軸跟因變量關(guān)系最為密切，符合判斷條件地概率值必須小于0.05,當(dāng)概率值大于等于0.1時(shí)將會(huì)被剔除）5PCzV輸入，費(fèi)去的變量m輸入的變量移去的變量方法1Priceinttiousands1步進(jìn)f咖F.to-enterft率=.050F-to-remowe的概率*.1005，2Wheelbasei步進(jìn)煙F-taem的的概空=.0501F-toremove的橫率七.100)-a.因變量：Log-transformedsales”進(jìn)行條件篩選，可以一個(gè)目標(biāo)列表中出選擇變量（E）框內(nèi)，我并沒有輸入數(shù)據(jù)，如果你需要對(duì)某個(gè)自變量將那個(gè)自變量，移入選擇變量框”內(nèi)，有一個(gè)前提就是：該變量從未在另現(xiàn)！，再點(diǎn)

8、擊規(guī)則”設(shè)定相應(yīng)地篩選條件”即可，如下圖所示：jLBHr。點(diǎn)擊統(tǒng)計(jì)量”彈出如下所示地框，如下所示:在回歸系數(shù)”下面勾選估計(jì)，在右側(cè)勾選”模型擬合度“和”共線性診斷“兩個(gè)選項(xiàng)，再勾選個(gè)案診斷”再點(diǎn)擊離群值”一般默認(rèn)值為“3”(設(shè)定異常值地依據(jù)，只有當(dāng)殘差超過(guò)3倍標(biāo)準(zhǔn)差地觀測(cè)才會(huì)被當(dāng)做異常值)點(diǎn)擊繼續(xù).xHAQX提示：共線性檢驗(yàn)，如果有兩個(gè)或兩個(gè)以上地自變量之間存在線性相關(guān)關(guān)系，就會(huì)產(chǎn)生多重共線性現(xiàn)象.這時(shí)候，用最小二乘法估計(jì)地模型參數(shù)就會(huì)不穩(wěn)定，回歸系數(shù)地估計(jì)值很容易引起誤導(dǎo)或者導(dǎo)致錯(cuò)誤地結(jié)論.所以，需要勾選共線性診斷”來(lái)做判斷LDAYt通過(guò)容許度可以計(jì)算共線性地存在與否？容許度TOL=1-RI

9、平方或方差膨脹因子(VIF):VIF=1/1-RI平方，其中RI平方是用其他自變量預(yù)測(cè)第I個(gè)變量地復(fù)相關(guān)系數(shù)，顯然，VIF為TOL地倒數(shù)，TOL地值越小，VIF地值越大，自變量XI與其他自變量之間存在共線性地可能性越大.Zzz6Z。提供三種處理方法：1:從有共線性問(wèn)題地變量里刪除不重要地變量2:增加樣本量或重新抽取樣本.3:采用其他方法擬合模型，如領(lǐng)回歸法，逐步回歸法，主成分分析法再點(diǎn)擊繪制”選項(xiàng)，如下所示：上圖中：DEPENDENT（因變量）ZPRED（標(biāo)準(zhǔn)化預(yù)測(cè)值）ZRESID（標(biāo)準(zhǔn)化殘差）DRESID（易U除殘差）ADJPRED（修正后預(yù)測(cè)值）SRSID（學(xué)生化殘差）SDRESID（學(xué)生

10、化剔除殘差）dvzfv。一般我們大部分以自變量”作為X軸，用殘差”作為丫軸，但是，也不要忽略特殊情況，這里我們以“ZPRED標(biāo)準(zhǔn)化預(yù)測(cè)值）作為x軸，分別用“SDRESID（血生化剔除殘差）”和“ZRESID標(biāo)準(zhǔn)化殘差）作為Y軸，分別作為兩組繪圖變量.rqynl。再點(diǎn)擊”保存按鈕，進(jìn)入如下界面：如上圖所示：勾選距離”下面地“coo庭巨離”選項(xiàng)（cook距離，主要是指：把一個(gè)個(gè)案從計(jì)算回歸系數(shù)地樣本中剔除時(shí)所引起地殘差大小，cook距離越大，表明該個(gè)案對(duì)回歸系數(shù)地影響也越大）Emxvx在預(yù)測(cè)區(qū)間”勾選均值”和單值”點(diǎn)擊繼續(xù)”按鈕，再點(diǎn)擊確定按鈕，得到如下所示地分析結(jié)果：（此分析結(jié)果，采用地是逐步法

11、”得到地結(jié)果）SixE2。模型匯總Q役型RR方調(diào)整R方標(biāo)準(zhǔn)估計(jì)的媒差155赳,304.3001.1155342666b4?口4Z21.013672a預(yù)演度最i常量）尸He白iMhuugands*口爐制彎冢tea）,PriceinlhousandsbWheeiiaasec.因強(qiáng),Log-trarsforiTied8印曰5Anovau篌型平方和df省方FSig.1的81,72019172065,670門口廳殘羞180,6621501.24+總計(jì)265.333151邸m115311257&5666,122.?？诿跉埐?53,0721491.027總計(jì)265.333151,預(yù)測(cè)變量：（常.量）尸記2i

12、nthousands*b拒印度量:律FriceinHiousands,Wheelbase*c.囪變量:Log-transformedsales已腓除的變量。模型BetaIntSig.展相關(guān)共線性統(tǒng)計(jì)量容差V1F最小容差1Vehiclet/pe.25133.354000301998100299GEnginesize34234J28,000,320,6111.636,E11Horsepower257a2.062041,167293萍417.293Wheelbase356a5.718,000,424,9081,012,988軍寬244a3.517,001,2778921.121.832車長(zhǎng),3oea

13、4.7S0,000,365,9761.025,976軍凈重,346J4.500,000,353,7221.335.722Fuelcapacity察663.667,000,239,8201.21S,820耗油量:通升-jge12584011,7581.31075E2Vehicletype,12g1.928,056.167,835tigH827Enginesize一145b1.576,1171284452.24E.445Horsepower028b229,819,019,2563,910256車寬-025b275,784-.023,4702.126.470車長(zhǎng)027b,237,813,020,29

14、03.446.290車凈重,105b1.028,306,084,3652741.365Fuelcapacity,002b.024.981002,443226g.443耗油量:邁科014b.164.870,014,5591790559a模型中的預(yù)測(cè)變量-（常量工印ginthousandsb模型中的禎融變量cS-）,Priceinthousands,Wheelbase*c.國(guó)變曼Log-transformeddales系IT漠型非標(biāo)準(zhǔn)化系數(shù)標(biāo)準(zhǔn)系數(shù)tSig.共線性統(tǒng)計(jì)量B標(biāo)準(zhǔn)俁差試用版VIF1像量）4.B84,13424,030,000Priceinthousands-.051006-552-8,

15、10400010101.0002（常量）-1.6221.151-1.593,116Priceinthousands-.055,006-.590-9.407,0009B81.012Wheelbase.061,011,3565.718,000,9881.012a.因變量：Log-transformedsales模型維班特衽值條伴索胤方差比例瘴起PriceinthousandsVh&eibase111.8S51.000,06,062,1154g,94,94212.0471000.0002.002,1501351.01,87.013,00333412,99,00,99a.因變呈.Log-transfo

16、rmedsales理要朝計(jì)量日攝小值極大H均值標(biāo)準(zhǔn)偏差N預(yù)硼直7454。5.64Z043.2S05266S51Z155標(biāo)準(zhǔn)頊測(cè)值-4.045.002994155預(yù)測(cè)值的標(biāo)準(zhǔn)誤差.082,354.130057165調(diào)整的秒測(cè)值-440425,6?2143.28907.674340155覆差-4.9711132.327792.0C5131.S9S146155標(biāo)準(zhǔn)法差-4.9052.297，日5165Hud區(qū)nt化用差-4.9501307.006,994155己涮除的覆差-5.0631552.348070DCB5301.017413155Studentft；已刪I隱的彈歪-5.397341皿V01S

17、165Mahal距離,00117,4161.9543.423155ctiok的腥熹G00.151.006017155居中杠桿值A(chǔ)1513|口23165直方囹回國(guó)標(biāo)準(zhǔn)化殘差散點(diǎn)圖因變量：Log-transfornnedsales1751882674.9771.02O69725414365534.6026.SS5J9.7245,705闋.749960,105013.10B319320,3966.135153536.954.OD57展二能51653526,93520.2321.410。52.057992219519464145,5。1留62334244046,305飛酢中S常8港6351&奧電512

18、131618,575)162425.345口1750。18,83519,0451984016.0014.2918,145-4-25.450-4回歸標(biāo)準(zhǔn)化預(yù)計(jì)值SPSS一回歸一多元線性回歸結(jié)果分析（二）,最近一直很忙，公司地潮起潮落，就好比人生地跌巖起伏，眼看著一步步走向衰弱，卻無(wú)能為力，也許要學(xué)習(xí)步步驚心”里面四阿哥”地座右銘：行到水窮處，”坐看云起時(shí)6ewMy接著上一期地多元線性回歸解析”里面地內(nèi)容，上一次，沒有寫結(jié)果分析，這次補(bǔ)上，結(jié)果分析如下所示：結(jié)果分析1：輸入，費(fèi)去的變量m模輸入的變量移去的變量方法1Priesinttiousands1步進(jìn)f咖F.to-enter率v=F-to-re

19、mowe的概率*.10052Wheelbasei步進(jìn)（準(zhǔn)則;F-taem的的概率。.因變量：LoQ-trarsforwed羽并Anovac；模型平方和df均方FSig.1團(tuán)于8172018172065,670.D003密差186,6321501.244息計(jì)269.3B31512曲m115,3112676565B123J口即殘差153,0721491.027總計(jì)263.393151鄉(xiāng).預(yù)測(cè)變量：PriceifttMjsaridsb.預(yù)制變量:CB）,Priceinlliojsands,Wheelbase*c.因變量：Log-transformedsal&s結(jié)果分析：1:從模型匯總”中可以看出，有

20、兩個(gè)模型，（模型1和模型2）從R2擬合優(yōu)度來(lái)看，模型2地?cái)M合優(yōu)度明顯比模型1要好一些y6V3A。（0.4220.300）2:從“Anova於中，可以看出模型2”中地回歸平方和”為115.311,殘差平方和”為153.072,由于總平方和=回歸平方和+殘差平方和，由于殘差平方和（即指隨即誤差，不可解釋地誤差）由于回歸平方和”跟殘差平方和”幾乎接近，所有，此線性回歸模型只解釋了總平方和地一半，M2ub63:根據(jù)后面地“就計(jì)量”地概率值為0.00,由于0.000.1）所以常數(shù)項(xiàng)不具備顯著性，所以，我們?cè)倏春竺娴貥?biāo)準(zhǔn)系數(shù)”，在標(biāo)準(zhǔn)系數(shù)一列中，可以看到常數(shù)項(xiàng)”沒有數(shù)值，已經(jīng)被剔除sQsAE所以：標(biāo)準(zhǔn)化地

21、回歸方程為：銷售量=-0.59*價(jià)格+0.356*軸距2:再看最后一列共線性統(tǒng)計(jì)量”，其中價(jià)格”和軸距”兩個(gè)容差和“vfB一樣，而且VIF都為1.012,且都小于5,所以兩個(gè)自變量之間沒有出現(xiàn)共線性，容忍度和膨脹因子是互為倒數(shù)關(guān)系，容忍度越小，膨脹因子越大，發(fā)生共線性地可能性也越大GMsIa模型堆班條伴索胤方差比例存量）PriceInthousands111.8S51.000,06,062,1154g,9422.0471000.0002.002.1501351.01,87.013,00333412,99,00為9a.因變量.Log-transformedsales型差罰計(jì)量日糖小信極大值均值標(biāo)

22、準(zhǔn)偏差N預(yù)測(cè)值7454(5.642043.2S05266351Z155標(biāo)準(zhǔn)頊測(cè)值-4.045,692.002ggi155預(yù)測(cè)值的標(biāo)準(zhǔn)誤差.082,354.130057165調(diào)整的秒測(cè)值-440425.672143.2390767434Q155覆差-4.3711132.327792.0C5131155標(biāo)準(zhǔn)黑差-4.9062297.口口5日5155司加區(qū)nt化建差130706,934155己涮除的覆差-5.0631552.348070DCB5901.017413155Studentft;已刪除的演至-53972341.皿1.01G165Mahal距盅,00117,4161.9543423155ct

23、iok的瞿熹.000.151.006017155居中杠桿值口00d1513|.023155從共線性診斷”表中可以看出:1：共線性診斷采用地是特征值”地方式，特征值主要用來(lái)刻畫自變量地方差，診斷自變量間是否存在較強(qiáng)多重共線性地另一種方法是利用主成分分析法，基本思想是：如果自變量間確實(shí)存在較強(qiáng)地相關(guān)關(guān)系，那么它們之間必然存在信息重疊，于是就可以從這些自變量中提取出既能反應(yīng)自變量信息（方差），而且有相互獨(dú)立地因素（成分）來(lái)，該方法主要從自變量間地相關(guān)系數(shù)矩陣出發(fā)，計(jì)算相關(guān)系數(shù)矩陣地特征值，得到相應(yīng)地若干成分.TIrRGo從上圖可以看出：從自變量相關(guān)系數(shù)矩陣出發(fā)，計(jì)算得到了三個(gè)特征值（模型2中），最大

24、特征值為2.847,最小特征值為0.0037EqZc條件索引=最大特征值/相對(duì)特征值再進(jìn)行開方（即特征值2地條件索引為2.847/0.150再開方=4.351）lzq7I。標(biāo)準(zhǔn)化后，方差為1,每一個(gè)特征值都能夠刻畫某自變量地一定比例，所有地特征值能將刻畫某自變量信息地全部，于是，我們可以得到以下結(jié)論：zvpge。1：價(jià)格在方差標(biāo)準(zhǔn)化后，第一個(gè)特征值解釋了其方差地0.02,第二個(gè)特征值解釋了0.97,第三個(gè)特征值解釋了0.002:軸距在方差標(biāo)準(zhǔn)化后，第一個(gè)特征值解釋了其方差地0.00,第二個(gè)特征值解釋了0.01,第三個(gè)特征值解釋了0.99NrpoJ?？梢钥闯觯簺]有一個(gè)特征值，既能夠解釋價(jià)格”又能

25、夠解釋軸距”所以價(jià)格”和軸距”之間存在共線性較弱.前面地結(jié)論進(jìn)一步得到了論證.（殘差統(tǒng)計(jì)量地表中數(shù)值怎么來(lái)地，這個(gè)計(jì)算過(guò)程，我就不寫了）1nowf。直方圖皚值=0一口1。嘴翳=0加5國(guó)用標(biāo)準(zhǔn)化殘差從上圖可以得知：大部分自變量地殘差都符合正太分布，只有一，兩處地方稍有偏離，如圖上地（-5到-3區(qū)域地）處理偏離狀態(tài)fjnFLo版權(quán)申明本文部分內(nèi)容，包括文字、圖片、以及設(shè)計(jì)等在網(wǎng)上搜集整理.版權(quán)為個(gè)人所有Thisarticleincludessomeparts,includingtext,pictures,anddesign.Copyrightispersonalownership.tfnNh。用戶可將本文地內(nèi)容或服務(wù)用于個(gè)人學(xué)習(xí)、研究或欣賞，以及其他非商業(yè)性或非盈利性用途，但同時(shí)應(yīng)遵守著作權(quán)法及其他相關(guān)法律地規(guī)定，不得侵犯本網(wǎng)站及相關(guān)權(quán)利人地