SPSS統(tǒng)計分析第六章回歸分析1.ppt

第六章 回歸分析,變量之間的聯(lián)系,確定型的關(guān)系：指某一個或某幾個現(xiàn)象的變動必然會引起另一個現(xiàn)象確定的變動，他們之間的關(guān)系可以使用數(shù)學(xué)函數(shù)式確切地表達(dá)出來，即y=f(x)。當(dāng)知道x的數(shù)值時，就可以計算出確切的y值來。如圓的周長與半徑的關(guān)系：周長=2r。 非確定關(guān)系：例如，在發(fā)育階段，隨年齡的增長，人的身高會增加。但不能根據(jù)年齡找到確定的身高，即不能得出11歲兒童身高一定就是1.40米公分。年齡與身高的關(guān)系不能用一般的函數(shù)關(guān)系來表達(dá)。研究變量之間既存在又不確定的相互關(guān)系及其密切程度的分析稱為相關(guān)分析。,回歸分析,如果把其中的一些因素作為自變量，而另一些隨自變量的變化而變化的變量作為因變量，研究他們之間的非確定因果關(guān)系，這種分析就稱為回歸分析。 回歸分析是研究一個自變量或多個自變量與一個因變量之間是否存在某種線性關(guān)系或非線性關(guān)系的一種統(tǒng)計學(xué)方法。,線性回歸分析； 曲線回歸分析； 二維Logistic回歸分析； 多維Logistic回歸分析； 概率單位回歸分析； 非線性回歸分析； 權(quán)重估計分析； 二階段最小二乘分析； 最優(yōu)編碼回歸。,一、線性回歸,（一）一元線性回歸方程 直線回歸分析的任務(wù)就是根據(jù)若干個觀測（xi，yi）i=1n找出描述兩個變量x、y之間關(guān)系的直線回歸方程y=a+bx。y是變量y的估計值。求直線回歸方程y=a+bx,實(shí)際上是用回歸直線擬合散點(diǎn)圖中的各觀測點(diǎn)。常用的方法是最小二乘法。也就是使該直線與各點(diǎn)的縱向垂直距離最小。即使實(shí)測值y與回歸直線y之差的平方和(y-y)2達(dá)到最小。(y-y)2也稱為剩余（殘差）平方和。因此求回歸方程y=a+bx的問題，歸根到底就是求(y-y)2取得最小值時a和b的問題。a稱為截距，b為回歸直線的斜率，也稱回歸系數(shù)。,1、一元線性回歸方程的適用條件,線形趨勢：自變量與因變量的關(guān)系是線形的，如果不是，則不能采用線性回歸來分析。 獨(dú)立性：可表述為因變量y的取值相互獨(dú)立，它們之間沒有聯(lián)系。反映到模型中，實(shí)際上就是要求殘差間相互獨(dú)立，不存在自相關(guān)。 正態(tài)性：自變量x的任何一個線形組合，因變量y均服從正態(tài)分布，反映到模型中，實(shí)際上就是要求隨機(jī)誤差項(xiàng)i服從正態(tài)分布。 方差齊性：自變量的任何一個線形組合，因變量y的方差均齊性，實(shí)質(zhì)就是要求殘差的方差齊。,2、一元線性回歸方程的檢驗(yàn),檢驗(yàn)的假設(shè)是總體回歸系數(shù)為0。另外要檢驗(yàn)回歸方程對因變量的預(yù)測效果如何。 （1）回歸系數(shù)的顯著性檢驗(yàn) 對斜率的檢驗(yàn)，假設(shè)是：總體回歸系數(shù)為0。檢驗(yàn)該假設(shè)的t值計算公式是；t=b/SEb,其中SEb是回歸系數(shù)的標(biāo)準(zhǔn)誤。 對截距的檢驗(yàn)，假設(shè)是：總體回歸方程截距a=0。檢驗(yàn)該假設(shè)的t值計算公式是： t=a/SEa,其中SEa是截距的標(biāo)準(zhǔn)誤。,（2） R2判定系數(shù),在判定一個線性回歸直線的擬合度的好壞時，R2系數(shù)是一個重要的判定指標(biāo)。 R2判定系數(shù)等于回歸平方和在總平方和中所占的比率，即R2體現(xiàn)了回歸模型所能解釋的因變量變異性的百分比。如果R2=0.775，則說明變量y的變異中有77.5是由變量X引起的。當(dāng)R21時，表示所有的觀測點(diǎn)全部落在回歸直線上。當(dāng)R2=0時，表示自變量與因變量無線性關(guān)系。 為了盡可能準(zhǔn)確的反應(yīng)模型的擬合度，SPSS輸出中的Adjusted R Square是消除了自變量個數(shù)影響的R2的修正值。,（3）方差分析,體現(xiàn)因變量觀測值與均值之間的差異的偏差平方和SSt是由兩個部分組成： SSt=SSrSSe SSr：回歸平方和，反應(yīng)了自變量X的重要程度； SSe ：殘差平方和，它反應(yīng)了實(shí)驗(yàn)誤差以及其他意外因素對實(shí)驗(yàn)結(jié)果的影響。這兩部分除以各自的自由度，得到它們的均方。 統(tǒng)計量F=回歸均方殘差均方。當(dāng) F值很大時，拒絕接受b=0的假設(shè)。,（4）DurbinWatson檢驗(yàn),在對回歸模型的診斷中，有一個非常重要的回歸模型假設(shè)需要診斷，那就是回歸模型中的誤差項(xiàng)的獨(dú)立性。如果誤差項(xiàng)不獨(dú)立，那么對回歸模型的任何估計與假設(shè)所作出的結(jié)論都是不可靠的。其參數(shù)稱為DW或D。D的取值范圍是0D4，統(tǒng)計學(xué)意義如下： 當(dāng)殘差與自變量互為獨(dú)立時D2； 當(dāng)相鄰兩點(diǎn)的殘差為正相關(guān)時，D2,（5）殘差圖示法,在直角坐標(biāo)系中，以預(yù)測值y為橫軸，以y與y之間的誤差et為縱軸(或?qū)W生化殘差與擬和值或一個自變量），繪制殘差的散點(diǎn)圖。如果散點(diǎn)呈現(xiàn)出明顯的規(guī)律性則,認(rèn)為存在自相關(guān)性或者非線性或者非常數(shù)方差的問題。,（二）多元線性回歸,多元線性回歸：根據(jù)多個自變量的最優(yōu)組合建立回歸方程來預(yù)測因變量的回歸分析稱為多元回歸分析。多元回歸分析的模型為：y=b0+b1x1+b2x2+ +bnxn 其中y為根據(jù)所有自變量x計算出的估計值, b0為常數(shù)項(xiàng), b1、b2 bn稱為y對應(yīng)于x1、x2 xn的偏回歸系數(shù)。偏回歸系數(shù)表示假設(shè)在其他所有自變量不變的情況下，某一個自變量變化引起因變量變化的比率。 多元線性回歸模型也必須滿足一元線性回歸方程中所述的假設(shè)理論。,2.多元線性回歸分析中的參數(shù),（l）復(fù)相關(guān)系數(shù) R 復(fù)相關(guān)系數(shù)表示因變量 xi 與他的自變量y之間線性相關(guān)密切程度的指標(biāo)，復(fù)相關(guān)系數(shù)使用字母R表示。 復(fù)相關(guān)系數(shù)的取值范圍在01之間。其值越接近1表示其線性關(guān)系越強(qiáng)，越接近0表示線性關(guān)系越差。,（2）R2判定系數(shù)與經(jīng)調(diào)整的判定系數(shù),與一元回歸方程相同，在多元回歸中也使用判定系數(shù)R2來解釋回歸模型中自變量的變異在因變量變異中所占比率。 但是，判定系數(shù)的值隨著進(jìn)入回歸方程的自變量的個數(shù)（或樣本容量的大小n）的增加而增大。因此，為了消除自變量的個數(shù)以及樣本量的大小對判定系數(shù)的影響，引進(jìn)了經(jīng)調(diào)整的判定系數(shù)（Adjusted R Square）。,K為自變量的個數(shù)，n為觀測量數(shù)目。自變量的個數(shù)大于1時，其值小于判定系數(shù)。自變量個數(shù)越多，與判定系數(shù)的差值越大。,（3）零階相關(guān)系數(shù)、部分相關(guān)與偏相關(guān)系數(shù),零階相關(guān)系數(shù)（ZeroOrder）計算所有自變量與因變量之間的簡單相關(guān)系數(shù)。 部分相關(guān)（Part Correlation）表示：在排除了其他自變量對 xi的影響后，當(dāng)一個自變量進(jìn)入回歸方程模型后，復(fù)相關(guān)系數(shù)的平均增加量。 偏相關(guān)系數(shù)（Partial Correlation ）表示：在排除了其他變量的影響后；自變量 Xi與因變量y之間的相關(guān)程度。部分相關(guān)系數(shù)小于偏相關(guān)系數(shù)。偏相關(guān)系數(shù)也可以用來作為篩選自變量的指標(biāo)，即通過比較偏相關(guān)系數(shù)的大小判別哪些變量對因變量具有較大的影響力。,3、多元線性回歸分析的檢驗(yàn),建立了多元回歸方程后，需要進(jìn)行顯著性檢驗(yàn)，以確認(rèn)建立的數(shù)學(xué)模型是否很好的擬和了原始數(shù)據(jù)，即該回歸方程是否有效。利用殘差分析，確定回歸方程是否違反了假設(shè)理論。對各自變量進(jìn)行檢驗(yàn)。其假設(shè)是總體的回歸方程自變量系數(shù)或常數(shù)項(xiàng)為0。以便在回歸方程中保留對因變量y值預(yù)測更有效的自變量。以便確定數(shù)學(xué)模型是否有效。,（l）方差分析,多元回歸方程也采用方差分析方法對回歸方程進(jìn)行檢驗(yàn)，檢驗(yàn)的H0假設(shè)是總體的回歸系數(shù)均為0（無效假設(shè)），H1假設(shè)是總體的回歸系數(shù)不全為0（備選假設(shè)）。它是對整個回歸方程的顯著性檢驗(yàn)。使用統(tǒng)計量F進(jìn)行檢驗(yàn)。原理與一元回歸的方程分析原理相同。,（2）偏回歸系數(shù)與常數(shù)項(xiàng)的檢驗(yàn),在多元回歸分析中，可能有的自變量對因變量的影響很強(qiáng)，而有的影響很弱，甚至完全沒有作用，這樣就有必要對自變量進(jìn)行選擇，使回歸方程中只包含對因變量有統(tǒng)計學(xué)意義的自變量； 檢驗(yàn)的假設(shè)是：各自變量回歸系數(shù)為0，常數(shù)項(xiàng)為0。它使用的統(tǒng)計量是t； t=偏回歸系數(shù)/偏回歸系數(shù)的標(biāo)準(zhǔn)誤,（3）方差齊性檢驗(yàn),方差齊性是指殘差的分布是常數(shù)，與預(yù)測變量或因變量無關(guān)。即殘差應(yīng)隨機(jī)的分布在一條穿過0點(diǎn)的水平直線的兩側(cè)。在實(shí)際應(yīng)用中，一般是繪制因變量預(yù)測值與學(xué)生殘差的散點(diǎn)圖。在線性回歸Plots對話框中的源變量表中,選擇SRESID（學(xué)生氏殘差）做Y軸；選擇ZPRED（標(biāo)準(zhǔn)化預(yù)測值）做X軸就可以在執(zhí)行后的輸出信息中顯示檢驗(yàn)方差齊性的散點(diǎn)圖。,共線性診斷,在回歸方程中，雖然各自變量對因變量都是有意義的，但某些自變量彼此相關(guān)，即存在共線性的問題。給評價自變量的貢獻(xiàn)率帶來困難。因此，需要對回歸方程中的變量進(jìn)行共線性診斷；并且確定它們對參數(shù)估計的影響。 當(dāng)一組自變量精確共線性時，必須刪除引起共線性的一個和多個自變量，否則不存在系數(shù)唯一的最小二乘估計。因?yàn)閯h除的自變量并不包含任何多余的信息，所以得出的回歸方程并沒有失去什么。當(dāng)共線性為近似時，一般是將引起共線性的自變量刪除，但需要掌握的原則是：務(wù)必使丟失的信息最少。,進(jìn)行共線性論斷常用的參數(shù)有,（l）容許度（Tolerance） 在只有兩個自變量的情況下，自變量X1與X2之間共線性體現(xiàn)在兩變量間相關(guān)系數(shù)r12上。精確共線性時對應(yīng)r1221，當(dāng)它們之間不存在共線性時r1220。 r122越接近于1，共線性越強(qiáng)。 多于兩個自變量的情況， Xi與其他自變量X之間的復(fù)相關(guān)系數(shù)的平方體現(xiàn)其共線性，稱它為Ri2。它的值越接近1，說明自變量之間的共線性程度越大。,容許度定義為Tolil一Ri2 當(dāng)容許度的值較小時，自變量Xi 與其他自變量X之間存在共線性。 使用容許度作為共線性量度指標(biāo)的條件是，觀測量應(yīng)大致近似于正態(tài)分布，但在大多數(shù)情況下觀測量的正態(tài)分布的假設(shè)是不被接受的。而且，由于容許度中相關(guān)系數(shù)對極端值極為敏感, 所以用它來作為共線性的量度指標(biāo)是不適合的。,（2）方差膨脹因子（VIF） 方差膨脹因于（VIF）定義為 VIF1/(l一Ri2 )，即它是容許度的倒數(shù)。它的值越大，自變量之間存在共線性的可能性越大。 （3）條件參數(shù)（Condition Index） 條件參數(shù)是在計算特征值時產(chǎn)生的一個統(tǒng)計量，其具體含義尚不大清楚，但己經(jīng)提出一些原則：其數(shù)值越大，說明自變量之間的共線性的可能性越大；有些學(xué)者提議，條件參數(shù)30時認(rèn)為有共線性存在的可能性，但理論上并沒有得到證明。特征值（Eigenvalue）如果很小，就應(yīng)該懷疑共線性的存在。,例 題,Data09-03美國某銀行雇員情況調(diào)查，建立一個使用初始工資（salbegin）、工作經(jīng)驗(yàn)（prevexp）、工作時間（jobtime）、工作類型（jobcat）、受教育年限（educ）預(yù)測當(dāng)前工資（salary）的回歸方程。,1變量間線性關(guān)系的初步探索,在獲得數(shù)據(jù)后，應(yīng)將所得到的數(shù)據(jù)繪圖，探索因變量隨自變量變化的趨勢。以便確定數(shù)據(jù)是否適合線性模型。如果數(shù)據(jù)之間大致呈線性關(guān)系，可以建立線性回歸方程。如果圖中數(shù)據(jù)不呈線性分布，那么還可以根據(jù)其他回歸方程模型的觀測量分布圖形特點(diǎn)以及建立各方程后所得的判定系數(shù)R2進(jìn)行比較后確定一種最佳模型。見曲線擬合及非線性回歸。 通過散點(diǎn)圖還可以發(fā)現(xiàn)奇異值，如圖中畫圈的觀測值要認(rèn)真檢查數(shù)據(jù)的合理性。,2、選擇自變量和因變量,3、選擇回歸分析方法,Enter選項(xiàng)，強(qiáng)行進(jìn)入法，即所選擇的自變量全部進(jìn)人回歸模型，該選項(xiàng)是默認(rèn)方式。 Remove選項(xiàng)，消去法，建立的回歸方程時，根據(jù)設(shè)定的條件剔除部分自變量。,Forward選項(xiàng)，向前選擇法，根據(jù)在option對話框中所設(shè)定的判據(jù)，從無自變量開始。在擬合過程中，對被選擇的自變量進(jìn)行方差分析，每次加入一個F值最大的變量，直至所有符合判據(jù)的變量都進(jìn)入模型為止。第一個引入歸模型的變量應(yīng)該與因變量間相關(guān)系數(shù)絕對值最大。,Backward選項(xiàng)，向后剔除法，根據(jù)在option對話框中所設(shè)定的判據(jù)，先建立全模型，然后根據(jù)設(shè)置的判據(jù)，每次剔除一個使方差分析中的F值最小的自變量，直到回歸方程中不再含有不符合判據(jù)的自變量為止。,Stepwise選項(xiàng)，逐步進(jìn)入法，它是向前選擇變量法與向后剔除變量方法的結(jié)合。根據(jù)在 option對話框中所設(shè)定的判據(jù)，首先根據(jù)方差分析結(jié)果選擇符合判據(jù)的自變量且對因變量貢獻(xiàn)最大的進(jìn)入回歸方程。根據(jù)向前選擇變量法則選入變量。然后根據(jù)向后剔除法，將模型中F值最小的且符合剔除判據(jù)的變量剔除出模型，重復(fù)進(jìn)行直到回歸方程中的自變量均符合進(jìn)入模型的判據(jù)，模型外的自變量都不符合進(jìn)入模型的判據(jù)為止。,4、選擇參與回歸的觀測量,根據(jù)變量值選擇參與回歸分析的觀測量，將作為參照的變量進(jìn)入 Selection Variable框中，單擊 Rule按鈕。打開 Set Rule對話框。,5、Statistics按鈕,Estimates：輸出回歸系數(shù)B、B的標(biāo)準(zhǔn)誤、標(biāo)準(zhǔn)回歸系數(shù)beta、B的t值及t值的雙側(cè)檢驗(yàn)的顯著性水平； Confidence interval：輸出每一個非標(biāo)準(zhǔn)化回歸系數(shù)95的可信區(qū)間； Covariance maxtrix：輸出非標(biāo)準(zhǔn)化回歸系數(shù)的協(xié)方差矩陣、各變量的相關(guān)系數(shù)矩陣；,Model fit（模型擬合）：輸出引入模型與從模型中剔除的變量，提供復(fù)相關(guān)系數(shù)R，R2及其修正值，估計值的標(biāo)準(zhǔn)誤，方差分析表； R squared change：表示回歸方差中引入或剔除一個自變量后的R2變化量； Descriptives：輸出合法觀測量的數(shù)目、變量的平均值、標(biāo)準(zhǔn)差、相關(guān)系數(shù)矩陣和單側(cè)檢驗(yàn)顯著性水平,Part and partial correlations：輸出部分相關(guān)系數(shù)、偏相關(guān)系數(shù)、零階相關(guān)系數(shù)； Collinearity diagnostics：輸出方差膨脹因子及特征值； DurbinWatson：輸出DurbinWatson統(tǒng)計量及可能的奇異值； Casewise diagnostics：輸出觀測量檢測表；,6、plot按鈕,Dependent：因變量； ZPRED:標(biāo)準(zhǔn)化預(yù)測值 ZRESID:標(biāo)準(zhǔn)化殘差 DRESID:剔除殘差 ADJPRED:修正后預(yù)測值 SRESID:學(xué)生化殘差 SDRESID：學(xué)生化剔除殘差,Histogrom：輸出帶有正態(tài)曲線的標(biāo)準(zhǔn)化殘差的直方圖； Normal probability plot：殘差的正態(tài)概率圖，檢查殘差的正態(tài)性； Produce all partial plots：輸出一個自變量殘差相對于因變量殘差的散布圖。,Option按鈕,Stepping method criteria(設(shè)置變量引入模型或從模型中剔除的判據(jù)) Use probability of F：采用F概率作為變量引入模型或從模型中剔除的判據(jù)。 Entry：0.05當(dāng)一個變量的sigT值0.05時該變量被引入方程； Removal：0.10當(dāng)一個變量的sigT值0.10時該變量從回歸方程剔除。,Use F values（采用F值作為變量引入模型或從模型中剔除的判據(jù)） Entry：0.05當(dāng)一個變量的sigF值3.84時該變量被引入方程； Removal：0.10當(dāng)一個變量的sigF值2.71時該變量從回歸方程剔除。,練習(xí)題,為研究男性高血壓患者血壓與年齡、身高、體重等變量間的關(guān)系，隨機(jī)測量了32名40歲以上的男性患者的血壓、年齡、體重以及吸煙史（過去吸煙或現(xiàn)在吸煙設(shè)置為1，不吸煙為0）。試建立回歸方程。 Mreg2.sav,二、曲線回歸分析,線性回歸可以滿足許多數(shù)據(jù)分析，然而線性回歸不會對所有的問題都適用，有時因變量與自變量是通過一個已知或未知的非線性函數(shù)關(guān)系相聯(lián)系。盡管有可能通過一些函數(shù)的轉(zhuǎn)換方法，在一定范圍內(nèi)將它們轉(zhuǎn)變?yōu)榫€性關(guān)系，但這種轉(zhuǎn)換有可能導(dǎo)致更為復(fù)雜的計算或數(shù)據(jù)失真。,在很多情況下有兩個相關(guān)的變量，用戶希望利用其中的一個變量對另一個變量進(jìn)行預(yù)測，此時可采用的方法也很多；從簡單的直線模型到復(fù)雜的時間序列模型。如果不能馬上根據(jù)觀測量數(shù)據(jù)確定一種最佳模型，可以利用曲線估計在眾多的回歸模型中來建立一個簡單而又比較適合的模型。,例 題,汽車每加侖汽油行駛的里程數(shù)（mpg）與汽車重量（weight）建立回歸方程。 Data1301,線形回歸方程Y=b0+b1X 二次回歸方程Y=b0+b1X+b2X2 復(fù)合曲線回歸方程Y=b0(b1X) 等比級數(shù)曲線回歸方程 對數(shù)回歸方程 三次回歸方程Y=b0+b1X+b2X2+b3X3,三、 Logistic回歸分析,多元線性回歸要求Y是呈正態(tài)分布的連續(xù)型隨機(jī)變量。難以處理因變量為二值變量的情況。在醫(yī)學(xué)中，存在很多二值