4-回歸分析實(shí)習(xí).doc

回歸分析實(shí)習(xí)一、 實(shí)習(xí)目的1）掌握SPSS軟件中實(shí)現(xiàn)回歸分析的過(guò)程和參數(shù)選擇。2）掌握回歸分析的基本原理，擬合優(yōu)度檢驗(yàn)、回歸方程的顯著性檢驗(yàn)（F檢驗(yàn)）和回歸系數(shù)b的顯著性檢驗(yàn)的意義。3）結(jié)合專業(yè)背景知識(shí)解釋回歸分析結(jié)果。二、 回歸分析原理回歸分析是一種處理變量的統(tǒng)計(jì)相關(guān)關(guān)系的一種數(shù)理統(tǒng)計(jì)方法。在處理地質(zhì)數(shù)據(jù)時(shí)，經(jīng)常要研究變量與變量之間的關(guān)系。 變量之間的關(guān)系一般分為兩種。一種是完全確定關(guān)系，即函數(shù)關(guān)系；一種是相關(guān)關(guān)系，即變量之間既存在著密切聯(lián)系，但又不能由一個(gè)或多個(gè)變量的值求出另一個(gè)變量的值。對(duì)于這種彼此聯(lián)系比較緊密的變量，人們總希望建立一定的公式，以便變量之間互相推測(cè)?；貧w分析的基本思想是: 雖然自變量和因變量之間沒(méi)有嚴(yán)格的、確定性的函數(shù)關(guān)系, 但可以設(shè)法找出最能代表它們之間關(guān)系的數(shù)學(xué)表達(dá)形式。回歸分析主要解決以下幾個(gè)方面的問(wèn)題:1)通過(guò)分析大量的樣本數(shù)據(jù)，確定變量之間的數(shù)學(xué)關(guān)系式。2)對(duì)所確定的數(shù)學(xué)關(guān)系式的可信程度進(jìn)行各種統(tǒng)計(jì)檢驗(yàn)，并區(qū)分出對(duì)某一特定變量影響較為顯著的變量和影響不顯著的變量。3)利用所確定的數(shù)學(xué)關(guān)系式，根據(jù)一個(gè)或幾個(gè)變量的值來(lái)預(yù)測(cè)或控制另一個(gè)特定變量的取值，并給出這種預(yù)測(cè)或控制的精確度。 對(duì)于一元線性回歸模型的確定:一般先做散點(diǎn)圖(Graphs -Scatter-Simple),以便進(jìn)行簡(jiǎn)單地觀測(cè)。若散點(diǎn)圖的趨勢(shì)大概呈線性關(guān)系，可以建立線性方程，若不呈線性分布，可建立其它方程模型。對(duì)于多元線性回歸常用的方法是逐步回歸分析-Stepwise 。逐步回歸方法的基本思想：對(duì)全部的自變量x1,x2,.,xp,按它們對(duì)Y貢獻(xiàn)的大小進(jìn)行比較，并通過(guò)F檢驗(yàn)法，選擇偏回歸平方和顯著的變量進(jìn)入回歸方程，每一步只引入一個(gè)變量，同時(shí)建立一個(gè)偏回歸方程。當(dāng)一個(gè)變量被引入后，對(duì)原已引入回歸方程的變量，逐個(gè)檢驗(yàn)他們的偏回歸平方和。如果由于引入新的變量而使得已進(jìn)入方程的變量變?yōu)椴伙@著時(shí)，則及時(shí)從偏回歸方程中剔除。在引入了兩個(gè)自變量以后，便開(kāi)始考慮是否有需要剔除的變量。只有當(dāng)回歸方程中的所有自變量對(duì)Y都有顯著影響而不需要剔除時(shí)，在考慮從未選入方程的自變量中，挑選對(duì)Y有顯著影響的新的變量進(jìn)入方程。不論引入還是剔除一個(gè)變量都稱為一步。不斷重復(fù)這一過(guò)程，直至無(wú)法剔除已引入的變量，也無(wú)法再引入新的自變量時(shí)，逐步回歸過(guò)程結(jié)束。擬合優(yōu)度檢驗(yàn)：回歸方程的擬合優(yōu)度檢驗(yàn)就是要檢驗(yàn)樣本數(shù)據(jù)聚集在樣木回歸直線周?chē)拿芗潭龋瑥亩袛嗷貧w方程對(duì)樣本數(shù)據(jù)的代表程度?；貧w方程的擬合優(yōu)度檢驗(yàn)一般用判定系數(shù)實(shí)現(xiàn)。判定系數(shù)：01，越接近于1，表明回歸直線的擬合程度越好；反之，越接近于0，回歸直線的擬合程度越差。對(duì)于一元線性回歸，用判定系數(shù) (R Square)判定一元線性回歸方程的擬合程度對(duì)于多元線性回歸，用調(diào)整判定系數(shù)Adjusted (Adjusted R Square)判定一個(gè)多元線性回歸方程的擬合程度?；貧w方程的顯著性檢驗(yàn)（F檢驗(yàn)）：回歸方程的顯著性檢驗(yàn)是對(duì)因變量與所有自變量之間的線性關(guān)系是否顯著的一種假設(shè)檢驗(yàn)。根據(jù)給定的顯著水平(SPSS中默認(rèn)值為0.05)，計(jì)算F值所對(duì)應(yīng)的相伴概率值p(SPSS輸出結(jié)果中的Sig)。如果p，則回歸方程不顯著。回歸系數(shù)的顯著性檢驗(yàn)（t檢驗(yàn)）回歸系數(shù)的顯著性檢驗(yàn)，就是根據(jù)樣本估計(jì)的結(jié)果對(duì)總體回歸系數(shù)的有關(guān)假設(shè)進(jìn)行檢驗(yàn)。之所以對(duì)回歸系數(shù)進(jìn)行顯著性檢驗(yàn)，是因?yàn)榛貧w方程的顯著性檢驗(yàn)只能檢驗(yàn)所有回歸系數(shù)是否同時(shí)與零有顯著性差異，它不能保證回歸方程中不包含不能較好解釋說(shuō)明因變量變化的自變量，因此，可以通過(guò)回歸系數(shù)顯著性檢驗(yàn)對(duì)每個(gè)回歸系數(shù)進(jìn)行考察。根據(jù)給定的顯著水平(SPSS中默認(rèn)值為0.05)，計(jì)算t值所對(duì)應(yīng)的相伴概率值p(SPSS輸出結(jié)果中的Sig)。如果p，則應(yīng)剔除出回歸方程。三、實(shí)習(xí)內(nèi)容一元線性回歸分析、多元線性回歸分析?；镜牟襟E：先做數(shù)據(jù)散點(diǎn)圖，若散點(diǎn)圖的趨勢(shì)大概呈線性關(guān)系，可以建立線性回歸模型。利用SPSS得到模型關(guān)系式，是否是我們所要的，要看回歸方程的顯著性檢驗(yàn)（F檢驗(yàn)）和回歸系數(shù)b的顯著性檢驗(yàn)(t檢驗(yàn))，還要看擬合程度 (相關(guān)系數(shù)的平方,一元回歸用R Square，多元回歸用Adjusted R Square)實(shí)例及SPSS中有關(guān)參數(shù)的含義： 【例】某種水泥在凝固時(shí)放出的熱量y(卡/克)與水泥中下列四種化學(xué)成分有關(guān): 的成分(%),: 的成分(%),: 的成分(%),: 的成分(%)。所測(cè)定數(shù)據(jù)如表所示, 試建立y與、及的線性回歸模型。 表試驗(yàn)序號(hào)172666078.52129155274.331156820104.34113184787.6575263395.961155922109.27371176102.78131224472.59254182293.1102147426115.911140233483.8121166912113.3131068812109.41、操作步驟：按Analyze(分析)-Regression(回歸分析)-Linear(線性)得如下“Linear Regression(線性回歸)”對(duì)話框。從彈出的Linear Regression對(duì)話框中左側(cè)的變量列表中選擇y變量使之添加到Dependent(因變量)框中，表示該變量是因變量；選擇變量x1、x2、x3、x4添加到Independent(s)(自變量)，表示其為自變量。注：當(dāng)有多組自變量和與其相對(duì)應(yīng)的多種不同的變量篩選方法時(shí)，可以通過(guò)使用Previous和Next按鈕將它們放置在不同的塊 (Block)中。塊設(shè)置可以使作各種探索性的回歸分析。具體執(zhí)行的步驟為如下： (1)SPSS從當(dāng)前塊(Block)(默認(rèn)為1)開(kāi)始，提取自變量和相應(yīng)的變量篩選方法對(duì)回歸方程進(jìn)行擬合。 (2)自動(dòng)提取下一塊中的自變量組和相應(yīng)的變量篩選方法，再上一個(gè)回歸方程的基礎(chǔ)上再次進(jìn)行擬合，直到結(jié)束。l 在Method(方法)框中可以選擇多元線性回歸分析的自變量篩選方法：Enter選項(xiàng):強(qiáng)行進(jìn)入法，表示所選自變量全部進(jìn)入回歸模型，該選項(xiàng)是SPSS默認(rèn)的方式。Remove選項(xiàng):消去法，表示建立回歸方程時(shí)，根據(jù)設(shè)定的條件從回歸方程中剔除部分自變量。Backward選項(xiàng):向后剔除法，根據(jù)在Option對(duì)話框中所設(shè)定的判據(jù)，先建立全模型，然后根據(jù)設(shè)置的判據(jù)，每次剔除一個(gè)使方差分析中的F值最小的自變量，直到回歸方程中不再含有不符合判據(jù)的自變量為止。Forward選項(xiàng):向前選擇法，根據(jù)在Option對(duì)話框中所設(shè)定的判據(jù)，從無(wú)自變量開(kāi)始，在擬合過(guò)程中，對(duì)被選擇的自變量進(jìn)行方差分析，每次加入一個(gè)F值最大的變量，直至所有符合判據(jù)的變量都進(jìn)入模型為止(第一個(gè)引入模型的自變量應(yīng)該與因變量間相關(guān)系數(shù)的絕對(duì)值最大)。Stepwise選項(xiàng):逐步進(jìn)入法，它是向前選擇變量法和向后剔除變量法的結(jié)合。根據(jù)在Option對(duì)話框中所設(shè)定的判據(jù)，首先根據(jù)方差分析結(jié)果選擇符合判據(jù)的自變量且與因變量相關(guān)程度最高的進(jìn)入回歸方程。根據(jù)向前選擇變量法選入自變量，然后根據(jù)向后剔除法，將模型中F值最小的且符合剔除判據(jù)的變量剔除出模型，重復(fù)進(jìn)行直到回歸方程中的們變量均符合進(jìn)入模型的判據(jù)，模型外的自變量都不符合進(jìn)入模型的判據(jù)為止。l Selection Variable(選擇變量)框用來(lái)對(duì)樣本數(shù)據(jù)進(jìn)行篩選，挑選滿足一定條件的樣本數(shù)據(jù)進(jìn)行線性回歸分析。l Case Labels(觀察量標(biāo)簽)框用來(lái)表示作圖時(shí)，以哪個(gè)變量作各樣本數(shù)據(jù)點(diǎn)的標(biāo)志變量。l WSL(WSL加權(quán))選項(xiàng)是存在異方差時(shí)，利用加權(quán)最小二乘法替代普通最小二乘法估計(jì)回歸模型參數(shù)。 通過(guò)WSL可以選定一個(gè)變量作為權(quán)重變量。在實(shí)際問(wèn)題中，如果無(wú)法自行確定權(quán)重變量，可以用SPSS的權(quán)重估計(jì)來(lái)實(shí)現(xiàn)。l 點(diǎn)擊Statistics (統(tǒng)計(jì))按鈕，打開(kāi)Linear Regression：Statistica對(duì)話框，用來(lái)選擇輸出哪些統(tǒng)計(jì)量 Estimates(估計(jì)): SPSS默認(rèn)的輸出項(xiàng)。輸出與回歸系數(shù)相關(guān)統(tǒng)計(jì)量。如回歸系數(shù)、回歸系數(shù)的標(biāo)準(zhǔn)誤差、標(biāo)準(zhǔn)回歸系數(shù)、t統(tǒng)計(jì)量和相應(yīng)的相伴概率值(Sig)、各自變量的容忍度等。其中，標(biāo)準(zhǔn)化回歸系數(shù)有助于判斷多元回歸方程中各自變量的單位不統(tǒng)一時(shí)，哪個(gè)自變量對(duì)因變量的影響較大。 Confidence intervals(信賴區(qū)間):輸出每一個(gè)非標(biāo)準(zhǔn)化回歸系數(shù)95%的可信區(qū)間。 Covariance matrix(協(xié)方差矩陣):輸出方程中各自變量間的相關(guān)系數(shù)矩陣和各變量的協(xié)方差矩陣。 Model fit(模型擬合):輸出判定系數(shù)、調(diào)整的判定系數(shù)、回歸方程的標(biāo)準(zhǔn)誤差，F(xiàn)檢驗(yàn)的ANOVA方差分析表。該選項(xiàng)為默認(rèn)選項(xiàng)。 R squared change(R平方變化):表示當(dāng)回歸方程中引入或剔除一個(gè)自變量后R2、F值產(chǎn)生的變化量。 Descriptives(描述): 輸出自變量和因變量的均值、標(biāo)準(zhǔn)差、相關(guān)系數(shù)矩陣及單側(cè)檢驗(yàn)概率。 Part and partial correlation(部分和偏相關(guān)):輸出方程中各自變量與因變量之間的簡(jiǎn)單相關(guān)系數(shù)、偏相關(guān)系數(shù)與部分相關(guān)系數(shù)。 Collinearity diagnostics(共線性診斷):多重共線形分析，輸出各自變量的容限度、方差膨脹因子、最小容忍度、特征值、條件指標(biāo)、方差比例等Residuals(殘差)欄是有關(guān)殘差分析的選擇項(xiàng)： Durbin-Watson:輸出Durbin-Watson檢驗(yàn)值。 Casewise diagnostics(Casewise診斷):輸出標(biāo)準(zhǔn)化殘差絕對(duì)值3(SPSS默認(rèn)值)的樣本數(shù)據(jù)點(diǎn)的相關(guān)信息，包括:標(biāo)準(zhǔn)化殘差、觀測(cè)值、預(yù)測(cè)值、殘差。另外，還輸出最小預(yù)測(cè)值、最小殘差、最大預(yù)測(cè)值、最大殘差、最小標(biāo)準(zhǔn)化預(yù)測(cè)值、最小標(biāo)準(zhǔn)化殘差、最大標(biāo)準(zhǔn)化預(yù)測(cè)值、最大標(biāo)準(zhǔn)化殘差以及關(guān)于預(yù)測(cè)值、殘差、標(biāo)準(zhǔn)預(yù)測(cè)值、標(biāo)準(zhǔn)殘差的均值和標(biāo)準(zhǔn)差。 Outliers outside standard devistion(分離到外部):用來(lái)設(shè)置奇異值的判據(jù)。默認(rèn)為3倍的標(biāo)準(zhǔn)差。 All case(所有觀察量):輸出所有樣本數(shù)據(jù)的有關(guān)殘差值。 l 點(diǎn)擊Plots(繪圖)按鈕，將打開(kāi)Linear Regression: Plots對(duì)話框。該對(duì)話框用來(lái)設(shè)置對(duì)殘差序列作圖形分析，從而檢驗(yàn)殘差序列的正態(tài)性、隨機(jī)性和是否存在異方差現(xiàn)象(默認(rèn)情況下，不輸出圖形)。 在左上角的源變量框中，選擇DEPENDENT(因坐量)使之添加到X或y軸變量框，再選擇其他變量使之添加到y(tǒng)或X軸坐量框?？梢宰鳛檩S變量的，除因變量外還有以下參數(shù):ZPRED選項(xiàng):標(biāo)準(zhǔn)化預(yù)測(cè)值。ZRESID選項(xiàng):標(biāo)準(zhǔn)化殘差。DRESID選項(xiàng):剔除殘差。ADJPRED選項(xiàng):修正后預(yù)測(cè)值。SRESID選項(xiàng):學(xué)生化殘差。SDRESID選項(xiàng):學(xué)生化剔除殘差。 Standardized Residual Plots(標(biāo)準(zhǔn)化殘差圖)欄中可選擇使用直方圖正態(tài)概率圖。 Histogram(直方圖):輸出帶有正態(tài)曲線的標(biāo)準(zhǔn)化殘差的直方圖。 Normal probability plots(正態(tài)概率圖):殘差的正態(tài)概率圖，檢查殘差的正態(tài)性。 Produce all partial plots(產(chǎn)生所有的偏差圖)選項(xiàng)，輸出每一個(gè)自變量殘差相對(duì)于因變量殘差的散布圖。l 點(diǎn)擊Linear Regression對(duì)話框中的Save按鈕，彈出對(duì)話框。在該對(duì)話框中能夠設(shè)置將回歸分析的結(jié)果保存到SPSS數(shù)據(jù)編輯窗口的變量中，還是某個(gè)SPSS的數(shù)據(jù)文件中。 Predicted Values(預(yù)測(cè)值)欄中選項(xiàng)如下：Unstandardized(不標(biāo)準(zhǔn)化):保存非標(biāo)準(zhǔn)化預(yù)測(cè)值。Standdized(標(biāo)準(zhǔn)化):保存標(biāo)準(zhǔn)化預(yù)測(cè)值。Adjusted(調(diào)整):保存調(diào)節(jié)預(yù)測(cè)值。S.E.of mean predictions(平均標(biāo)準(zhǔn)誤差預(yù)測(cè)):保存預(yù)測(cè)值的標(biāo)準(zhǔn)誤差。 Distances(距離)欄中選項(xiàng)如下：Mahalanobis:保存Mahalanobis距離。Cooks:保存Cook距離。Leverage values:保存中心點(diǎn)杠桿值。 Prediction Intervals(預(yù)測(cè)區(qū)間)欄中選項(xiàng)如下： Mean(平值):保存預(yù)測(cè)區(qū)間高低限的平均值。Individual(單值):保存一個(gè)觀測(cè)量上限與下限的預(yù)測(cè)區(qū)間。Confidence Interval(信賴區(qū)間)參數(shù)框:可確定置信區(qū)間，默認(rèn)值為95%。 Residuals(殘差)欄中選項(xiàng)如下: Unstandardized(不標(biāo)準(zhǔn)化): 保存非標(biāo)準(zhǔn)化殘差。 Stadardized(標(biāo)準(zhǔn)化): 標(biāo)準(zhǔn)化殘差。 Studentized(學(xué)生化): 學(xué)生化殘差。 Deleted(刪除): 剔除殘差。 Studentized deleted(學(xué)生化刪除):學(xué)生剔除殘差。 Influence Statistics(影響點(diǎn)的統(tǒng)計(jì)量)欄中選項(xiàng)如下： DfBeta(s)：因排除一個(gè)特定的觀測(cè)值所引起的回歸系數(shù)的變化。一般情況下，該值如果大于2，則被排除的觀測(cè)值有可能是影響點(diǎn)。 Stanardized DfBets(s):標(biāo)準(zhǔn)化的DfBeta值。 DfFit： 因排除一個(gè)特定的觀測(cè)值所引起的預(yù)測(cè)值得變化。 Standardized DfFit: 標(biāo)準(zhǔn)化的DfFit值。 Covariance ratio: 協(xié)方差比矩陣，剔除一個(gè)影響點(diǎn)觀測(cè)量的協(xié)方差矩陣與全部觀測(cè)量的協(xié)方差矩陣比。 Save to New File欄中，選中Coefficients Statistics選項(xiàng)，可將回歸系數(shù)結(jié)果保存到一個(gè)指定的文件中。 Export model information to XML file欄，表示將模型的有關(guān)信息輸出到一個(gè)XML型文件中。l 點(diǎn)擊Linear Regression對(duì)話框中的Options命令，打開(kāi)圖對(duì)話框。在該對(duì)話框中可以對(duì)多元線性回歸分析中與自變量的篩選有關(guān)的參數(shù)進(jìn)行設(shè)定，同時(shí)也可以設(shè)置對(duì)缺失值采用不同的處理方法。 Stepping Method Criteria(逐步方法標(biāo)準(zhǔn))欄:用于設(shè)定與多元線性回歸分析中自變量的篩選有關(guān)的參數(shù)。 Use probalitlity of F(使用F分布的概率)：SPSS默認(rèn)，以回歸系數(shù)顯著性檢驗(yàn)中各自變量的F統(tǒng)計(jì)量的相伴概率作為自變量是否引入模型或者從模型剔除的標(biāo)準(zhǔn)。 Entry(默認(rèn)值為0.05)表示當(dāng)一個(gè)自變量的F統(tǒng)計(jì)量的相伴概率值sig0.05時(shí)，應(yīng)拒絕Ho，認(rèn)為該變量對(duì)因變量影響是顯著的，應(yīng)被引入回歸方程中。 Removal(默認(rèn)值為0.10)表示如果當(dāng)方程中一個(gè)自變量的F統(tǒng)計(jì)量的相伴概率值sig0.10時(shí)，則不能拒絕Ho，可以認(rèn)為該變量對(duì)因變量影響是不顯著的，應(yīng)從回歸方程剔除。在實(shí)際應(yīng)用中，我們可以根據(jù)具體情況修改這兩個(gè)參數(shù)。但應(yīng)使Entry值小于Remove值。否則，自變量一進(jìn)入方程就會(huì)被立即剔除。 Use F value(試用F值)選項(xiàng)，表示以回歸系數(shù)顯著性檢驗(yàn)中的各自變量的F統(tǒng)計(jì)量作為自變量進(jìn)入模型或從模型剔除的標(biāo)準(zhǔn): Entry(默認(rèn)值為3.84)表示當(dāng)一個(gè)變量的F值3.84時(shí)，該變量被選入模型中。 Removal(默認(rèn)值為2.71)表示當(dāng)一個(gè)變量的F值2.71時(shí)，該變量從模型中被剔除選中Include constant In equation選項(xiàng)，表示再回歸方程中將包含常數(shù)項(xiàng)，該選項(xiàng)為默認(rèn)選項(xiàng)。MissingValues(缺失值)欄是對(duì)缺失值的處理欄: Exclude cases listwise:表示刪除所有帶缺失值的樣本數(shù)據(jù)。 Exclude cases pairwise:表示如果計(jì)算過(guò)程涉及到某個(gè)有缺失值的變量，則暫時(shí)刪除那些在該變量上是缺失值的個(gè)案。 Replace with mean:表示將所有變量的缺失值都以相應(yīng)變量的均值代替。2、輸出結(jié)果與分析：下表輸出的是被引入或從回歸方程中被剔除的各變量以及采用的方法。下表輸出的是常用統(tǒng)計(jì)量。從這部分結(jié)果看出，對(duì)編號(hào)為2的模型，相關(guān)系數(shù)R=0.986，判定系數(shù)R2=0.972，調(diào)整的判定系數(shù)為0.967，回歸估計(jì)的標(biāo)準(zhǔn)誤差為2.7343。說(shuō)明樣本回歸方程的代表性強(qiáng)。下表為方差分析表。從這部分結(jié)果看出，對(duì)編號(hào)為2的模型，統(tǒng)計(jì)量F=176.627，相伴概率(表中的Sig) p0.001。說(shuō)明自變量x1、x4與因變量y之間確有線性回歸關(guān)系。另外，Sum of Squares一欄中分別表示回歸平方和(2641.001)、殘差平方和(74.762)以及總平方和(2715.763)，df為自由度。下表為回歸系數(shù)分析。其中，Unstandardized Coefficients