線性回歸分析

§8.3線性回歸分析一、回歸分析原理回歸分析實(shí)際上就是建立某種數(shù)學(xué)模型并做檢驗(yàn)。假定：一列（或多列）數(shù)據(jù)的變化同另一列數(shù)據(jù)的變化呈某種函數(shù)關(guān)系，衡量數(shù)據(jù)聯(lián)系強(qiáng)度的指標(biāo)，并通過指標(biāo)檢驗(yàn)其符合的程度，就稱為回歸分析。回歸分析包括：一元回歸、多元回歸以及線性回歸和非線性回歸：一元回歸：Y（因變量）取值：y1y2y3…X（自變量）取值：x1x2x3…建立一元線性回歸方程：Y=BX+C（方程中的B為回歸系數(shù)，C為常數(shù)）或者是非線性回歸方程：Y=f(X)多元回歸：Y（因變量）取值：y1y2y3…X1（自變量1）取值:x11x12x13…X2（自變量2）取值:x21x22x23………Xn（自變量n）取值:

xn1xn2xn3…建立多元線性回歸方程：Y=B1X1+B2X2…+BnXn+B0（方程中的Bi為回歸系數(shù)）或者是非線性回歸方程：Y=f（X1X2…Xn）二、回歸分析的概念假定測量數(shù)據(jù)為:因變量自變量1自變量2…自變量ny1x11x21…

xn1y2x12x22…

xn2………ymx1mx2m…

xnm建立因變量與自變量的關(guān)系，回歸方程：Y=B1X1+B2X2…+B0納入前：

εj為隨機(jī)因素影響，即殘差。納入后：

要求組內(nèi)離差平方和最小。

納入方程的自變量應(yīng)滿足：①自變量的作用顯著X的變化應(yīng)引起Y的顯著變化。從而需要對回歸方程做F檢驗(yàn)：組間離差平方和：組內(nèi)離差平方和：總離差平方和：回歸均方差（組間方差）：殘差均方差（組內(nèi)方差）：計(jì)算F值，由F值查表，得到P。討論顯著度水平：<=α自變量作用顯著P

>α自變量作用不顯著將未進(jìn)入方程的某自變量Xi與Y做方差分析，各水平均值差異顯著，滿足：F>3.84或P<=0.05則該Xi可以進(jìn)入回歸方程。而已進(jìn)入回歸方程的Xi與回歸后的Y如果出現(xiàn)：F<2.71,P>0.1則該Xi必須從回歸方程中剔除。②方程中回歸系數(shù)的作用顯著對已進(jìn)入方程的變量的回歸系數(shù)做T檢驗(yàn)，該檢驗(yàn)的零假設(shè)是Bi=0，即回歸系數(shù)可以忽略，備擇假設(shè)是Bi不為零。T值的計(jì)算為：通過查表可以得到P（即：SigT）。若P>0.1的Xi須可以考慮首先從回歸方程中剔除。其中：Bi為偏回歸系數(shù)SEBi為偏回歸系數(shù)的標(biāo)準(zhǔn)誤③欲進(jìn)入方程的自變量應(yīng)當(dāng)與已進(jìn)入的自變量相關(guān)程度足夠低。引進(jìn)描述相關(guān)程度的量：容忍度Tolerance，即變量之間的相關(guān)系數(shù)的顯著度水平。若：Tolerance>0.0001表明欲進(jìn)入方程的自變量與其它自變量的相關(guān)程度低，即：xi與xj相關(guān)程度低，則xi可以進(jìn)入回歸方程。三、自變量納入回歸方程的方式SPSSforWin8.0系統(tǒng)提供的自變量納入方程的方式有五種，分別為：①強(qiáng)行介入法Enter（一次性進(jìn)入）這是一種不檢驗(yàn)F和Tolerance，一次將全部自變量無條件地納入回歸方程。②強(qiáng)行剔除Remove（一次性剔除）指定某些變量不能進(jìn)入方程。這種方法通常同別的方法聯(lián)合使用，而不能首先或單獨(dú)使用，因?yàn)榈谝淮问褂没騿为?dú)使用將意味著沒有哪個變量進(jìn)入方程。③逐步進(jìn)入Stepwise每次選擇符合進(jìn)入條件的自變量進(jìn)入方程，進(jìn)入后立即檢驗(yàn)，不合格者剔除，直到全部合格自變量進(jìn)入方程。④反向剔除Backward先強(qiáng)行介入，再逐個剔除不合格變量，直到全合格。⑤正向進(jìn)入Forward每次選擇符合進(jìn)入條件的自變量進(jìn)入方程，逐個選擇，逐個進(jìn)入，直到全部合格自變量進(jìn)入方程。四、操作步驟⒈回歸分析命令菜單執(zhí)行：[Statistics][Regression][Linear]選擇因變量到：“Dependent”因變量框內(nèi)選擇若干個自變量移動到：“Independent(s)”自變量框內(nèi)。⒉回歸方法“Method”下拉菜單提供了五種回歸方法供選擇：強(qiáng)行介入法Enter正向進(jìn)入Forward反向剔除Backward逐步進(jìn)入Stepwise強(qiáng)行剔除Remove“Block1ofn”可以將回歸步驟分為若干組塊。在指定了一組因變量和自變量后，可以用“Next”按鈕再建立另一個組塊，以便再次指定一組因變量和自變量。在建立了若干組塊以后，執(zhí)行回歸分析命令，將能夠逐一組塊地進(jìn)行分析。例如：在研究“小麥產(chǎn)量”時，收集了“土壤成分”、“農(nóng)家肥料”、“化肥”、“灌溉”以及“種谷物的產(chǎn)量”等數(shù)據(jù)。假定：“小麥產(chǎn)量”為因變量。要求在回歸方程中先以“土壤成分”、“化肥”和“種谷物的產(chǎn)量”為自變量，然后剔除“種谷物的產(chǎn)量”，再將其它自變量根據(jù)系統(tǒng)的計(jì)算來確定是否納入方程。因此可以分成三個組塊來完成：①在第一組塊Block1中使用強(qiáng)行介入法Enter，選“土壤成分”、“化肥”和“種谷物的產(chǎn)量”為自變量。單擊“Next”按鈕。②在第二組塊Block2中使用強(qiáng)行剔除Remove，選擇“種谷物的產(chǎn)量”。再單擊“Next”按鈕。③在第三組塊Block3中使用正向進(jìn)入Forward，選擇其它自變量。在最后結(jié)果中，“土壤成分”、“化肥”將成為自變量無條件進(jìn)入方程，而“種谷物的產(chǎn)量”將不出現(xiàn)在方程中，其它自變量將根據(jù)其對方程的作用顯著程度決定是否進(jìn)入方程?！癝electionVariable”為指定抽樣變量以及抽樣規(guī)則。例如：以年份year為抽樣變量，并指定抽樣規(guī)則為1985年以后的樣本，則可以指定“SelectionVariable”為year。在定義抽樣規(guī)則項(xiàng)“DefineSelectionrule”中定義：Greaterthan1985。⒊統(tǒng)計(jì)量的計(jì)算單擊計(jì)算統(tǒng)計(jì)按鈕：“Statistics”在計(jì)算統(tǒng)計(jì)對話窗口中，可以見到如下幾方面的內(nèi)容：⑴回歸系數(shù)的計(jì)算RegressionCoefficients：①“Estimates”計(jì)算各個自變量的回歸系數(shù)B、相關(guān)系數(shù)R、標(biāo)準(zhǔn)誤SEB、標(biāo)準(zhǔn)化回歸系數(shù)Beta、t檢驗(yàn)的雙側(cè)概率以及容忍度Tolerance。②“Confidenceinterval”回歸系數(shù)的95%的置信區(qū)間。③“Covariancematrix”生成協(xié)方差矩陣。⑵統(tǒng)計(jì)輸出選項(xiàng)①“Modelfit”模式擬合。計(jì)算相關(guān)系數(shù)R、可決系數(shù)R2、調(diào)整相關(guān)系數(shù)AdjustedR-Square以及計(jì)算標(biāo)準(zhǔn)誤Std.ErrorofEstimates。②“Rsquaredchange”可決系數(shù)的變化。當(dāng)納入的一個自變量的可決系數(shù)顯著大于其它自變量的可決系數(shù)，說明該自變量能夠很好地描述因變量。③“Descriptives”計(jì)算描述統(tǒng)計(jì)量：平均值、標(biāo)準(zhǔn)差、相關(guān)系數(shù)的顯著度水平的檢驗(yàn)矩陣。④“PartandpartialCorrelate”計(jì)算零階以及偏相關(guān)系數(shù)。⑤“Collinearitydiagnostics”自變量線性相關(guān)檢驗(yàn)，即容忍度檢驗(yàn)。⑶殘差及樣本的檢驗(yàn)①“Durbin-Watson”杜賓-沃特森檢驗(yàn)對殘差的系列相關(guān)檢驗(yàn)。進(jìn)一步還計(jì)算殘差與自變量值的匯總統(tǒng)計(jì)。②“Casewisediagnostic”樣本診斷對符合回歸標(biāo)準(zhǔn)的樣本進(jìn)行檢驗(yàn)，并產(chǎn)生樣本診斷表。其中有兩個標(biāo)準(zhǔn)可供選擇：●Outliersoutside(n)Standarddeviations：奇異值(Outlier)的診斷。定義大于n個標(biāo)準(zhǔn)差的樣本觀測值為奇異值。系統(tǒng)默認(rèn)n=3。●Allcases：診斷所有的樣本。⒋生成回歸統(tǒng)計(jì)圖形單擊統(tǒng)計(jì)圖形按鈕“Plots”可以定義作圖變量以及圖形類型。系統(tǒng)將根據(jù)所選擇的變量和圖形類型產(chǎn)生相應(yīng)的圖形。圖形包括：①散點(diǎn)圖(Scatterplot)在對話窗口變量列表中選擇自變量X和因變量Y建立圖形。圖形中的每個點(diǎn)將是這兩個變量的值決定的。用“Scatternof”的按鈕“Previous”和“Next”可以定義更多的自變量X和因變量Y來產(chǎn)生圖形。圖形對話窗口允許生成最多達(dá)9個散點(diǎn)圖。變量列表中的變量分別表示：DEPENDENT：因變量*ZPRED標(biāo)準(zhǔn)化預(yù)測值（預(yù)測值就是回歸后因變量的取值，區(qū)別于回歸前的觀測值）*ZRESID標(biāo)準(zhǔn)化殘差（預(yù)測值與觀測值之差的標(biāo)準(zhǔn)化）*DRESID剔除殘差*ADJPRED調(diào)整預(yù)測值*SRESID經(jīng)過t值化的殘差*SDRESID經(jīng)過t值化的剔除殘差②偏回歸圖復(fù)選項(xiàng)“Produceallpartialplot”將生成每個自變量的殘差同因變量的殘差圖。③標(biāo)準(zhǔn)化殘差圖復(fù)選項(xiàng)“Histogram”標(biāo)準(zhǔn)化殘差的直方圖。復(fù)選項(xiàng)“Normalprobabilityplot”正態(tài)概率圖，顯示了標(biāo)準(zhǔn)化殘差的觀測積累概率同期望積累概率的關(guān)系。五、保存變量“Save”將把分析產(chǎn)生的結(jié)果用新變量保存起來。可以保存的新變量有：①預(yù)測值項(xiàng)PredictedValuesUnstandardized非標(biāo)準(zhǔn)化預(yù)測值變量Standardized標(biāo)準(zhǔn)化預(yù)測值變量Adjusted調(diào)整預(yù)測值變量S.E.ofmeanpredictions預(yù)測值的標(biāo)準(zhǔn)誤變量②距離值項(xiàng)Distances保存有關(guān)不同距離計(jì)算的變量：Mahalanobis關(guān)于Mahalanobis距離變量Cook's關(guān)于Cook距離變量Leveragevalues關(guān)于中心點(diǎn)杠桿值變量預(yù)測區(qū)間項(xiàng)Predictionintervals保存預(yù)測區(qū)間有關(guān)的變量：Mean預(yù)測區(qū)間上下限的平均值變量Individual觀測區(qū)間變量③殘差項(xiàng)Residuals保存有關(guān)殘差的變量Unstandardized非標(biāo)準(zhǔn)化殘差變量Standardized標(biāo)準(zhǔn)化殘差變量Studentized學(xué)生化殘差變量Deleted剔除殘差變量StandardizedDeleted標(biāo)準(zhǔn)化剔除殘差變量④影響統(tǒng)計(jì)項(xiàng)Influencestatistics保存有關(guān)影響統(tǒng)計(jì)的變量DfBeta(s)產(chǎn)生的變量將反映：剔除一個可能是影響點(diǎn)的觀測值所引起的回歸系數(shù)的變化。當(dāng)一個觀測值的標(biāo)準(zhǔn)化殘差的絕對值超過3，則該觀測值就是奇異值，回歸運(yùn)算不應(yīng)考慮StandardizedDfBeta(s)經(jīng)標(biāo)準(zhǔn)化的DfBeta(s)值。DfFit產(chǎn)生的變量將反映：剔除一個可能是影響點(diǎn)的觀測值所引起的預(yù)測值的變化。CovarianceRatio生成一個協(xié)方差率矩陣。該矩陣將是剔除一個可能是影響點(diǎn)的觀測值后的協(xié)方差矩陣與保留全部觀測值的協(xié)方差矩陣之比。⑤Savetonewfile項(xiàng)選項(xiàng)CoefficientsStatistics的作用是生成一個關(guān)于回歸系數(shù)的文件。六、選項(xiàng)“Options”選項(xiàng)：⑴SteppingMethodCriteria項(xiàng)本選項(xiàng)是設(shè)置變量納入方程或從方程中剔除的判據(jù)的。UseprobabilityofF用F檢驗(yàn)的顯著度水平SigF。默認(rèn)值F的Pin<=0.05可以納入回歸方程。F的Pout>=0.1將從回歸方程中剔除。UseFvalue用F檢驗(yàn)的F值本身為判據(jù)。當(dāng)Fin值>=3.84，將可以納入回歸方程。當(dāng)Fout值<=2.71，將從回歸方程中剔除。⑵Includeconstantinequation在回歸方程中是否包含常數(shù)項(xiàng)。⑶Missingvalue項(xiàng)Excludecaseslistwise排除列表中變量含有缺失值的樣本。Excludecasespariwise排除運(yùn)算變量含有缺失值的樣本。Replacewithmean用平均值代替缺失值參與運(yùn)算。七、線性回歸分析所產(chǎn)生的結(jié)果經(jīng)過線性回歸分析，可以產(chǎn)生的主要結(jié)果有：⒈回歸方程

例如：Salnow=1.73408Salbeg+2.98048960Edle