醫(yī)學研究的數(shù)據(jù)管理與分析——第十章2

1、第十章 SPSS軟件應用（三）第二節(jié)第二節(jié) 回歸分析回歸分析回歸分析的概念尋求有關聯(lián)（相關）的變量之間的關系主要內容：n從一組樣本數(shù)據(jù)出發(fā)，確定這些變量間的定量關系式n對這些關系式的可信度進行各種統(tǒng)計檢驗n從影響某一變量的諸多變量中，判斷哪些變量的影響顯著，哪些不顯著n利用求得的關系式進行預測和控制回歸分析的過程在回歸過程中包括：Liner：線性回歸Curve Estimation：曲線估計Binary Logistic： 二分變量邏輯回歸Multinomial Logistic：多分變量邏輯回歸Ordinal 序回歸Probit：概率單位回歸Nonlinear：非線性回歸Weight Est

2、imation：加權估計2-Stage Least squares：二段最小平方法Optimal Scaling 最優(yōu)編碼回歸回歸菜單回歸菜單回歸分析（regression analysis) 確定兩種或兩種以上變數(shù)間相互依賴的定量關系的一種統(tǒng)計分析方法。p涉及的自變量的多少a. 一元回歸分析b. 多元回歸分析p自變量和因變量之間的關系類型，a. 線性回歸分析b. 非線性回歸分析線性回歸回歸分析一般步驟：確定回歸方程中的解釋變量（自變量）和被解釋變量（因變量）確定回歸模型建立回歸方程對回歸方程進行各種檢驗利用回歸方程進行預測線性回歸一元線性回歸模型是指只有一個解釋變量的線性回歸模型，用于揭示被

3、解釋變量與另一個解釋變量之間的線性關系。一元線性回歸數(shù)學模型：其中0和1是未知參數(shù)，分別稱為回歸常數(shù)和回歸系數(shù)，稱為隨機誤差，是一個隨機變量，且應該滿足兩個前提條件： E( )=0 var()=201yx線性回歸模型線性回歸多元線性回歸模型是指有多個解釋變量的線性回歸模型，用于揭示被解釋變量與其他多個解釋變量之間的線性關系。多元線性回歸數(shù)學模型：其中0、1、 p都是未知參數(shù)，分別稱為回歸常數(shù)和偏回歸系數(shù)，稱為隨機誤差，是一個隨機變量，且同樣滿足兩個前提條件： E( )=0 var()=201122ppyxxx線性回歸線性回歸模型線性回歸模型假設條件線性回歸模型假設條件（1）正態(tài)性假設：即所研究

4、的變量均服從正態(tài)分布；（2）等方差假設：即各變量總體的方差是相等的；（3）獨立性假設, 即各變量之間是相互獨立的；（4）殘差項無自相關性，即誤差項之間互不相關，Cov(i，j）= 0回歸參數(shù)的普通最小二乘估計（OLSE）線性回歸方程確定后的任務是利用已經收集到的樣本數(shù)據(jù)，根據(jù)一定的統(tǒng)計擬合準則，對方程中的各參數(shù)進行估計。普通最小二乘就是一種最為常見的統(tǒng)計擬合準則。最小二乘法將偏差距離定義為離差平方和，即 （1）最小二乘估計就是尋找參數(shù)0 、1、 p的估計值0 、 1、 p，使式（1）達到極小。通過求極值原理（偏導為零）和解方程組，可求得估計值，SPSS將自動完成。2011(,)()npiiiQ

5、yE y線性回歸一元線性回歸方程: y=a+bxa稱為截距b為回歸直線的斜率用R2判定系數(shù)判定一個線性回歸直線的擬合程度：用來說明用自變量解釋因變量變異的程度（所占比例）多元線性回歸方程: y=b0+b1x1+b2x2+bnxnb0為常數(shù)項b1、b2、bn稱為y對應于x1、x2、xn的偏回歸系數(shù)用Adjusted R2調整判定系數(shù)判定一個多元線性回歸方程的擬合程度：用來說明用自變量解釋因變量變異的程度（所占比例）線性回歸模型的檢驗項目線性回歸模型的檢驗項目（1）回歸系數(shù)的檢驗（t檢驗）。（2）回歸方程的檢驗（F檢驗）。（3）擬合程度判定（可決系數(shù)R2）。（4）D.W檢驗（殘差項是否自相關）。（

6、5）共線性檢驗（多元線性回歸）。（6）殘差圖示分析（判斷異方差性和殘差序列自相關）。 u回歸方程的統(tǒng)計檢驗u回歸方程的擬合優(yōu)度檢驗（相關系數(shù)檢驗）一元線性回歸的擬合優(yōu)度檢驗采用R2統(tǒng)計量，稱為判定系數(shù)或決定系數(shù)，數(shù)學定義為22121()()niiniiyyRyy21()niiyy其中 稱為回歸平方和（SSA） 稱為總離差平方和（SST）21()niiyy線性回歸線性回歸u回歸方程的統(tǒng)計檢驗u回歸方程的擬合優(yōu)度檢驗（相關系數(shù)檢驗） R2取值在0-1之間， R2越接近于1，說明回歸方程對樣本數(shù)據(jù)點的擬合優(yōu)度越高。多元線性回歸的擬合優(yōu)度檢驗采用 統(tǒng)計量，稱為調整的判定系數(shù)或調整的決定系數(shù)，數(shù)學定義為

7、2R式中n-p-1、n-1分別是SSE和SST的自由度。其取值范圍和意義與一元回歸方程中的R2是相同的。u回歸方程的統(tǒng)計檢驗u回歸方程的擬合優(yōu)度檢驗（相關系數(shù)檢驗）2111SSEnpSSTnR 線性回歸u回歸方程的統(tǒng)計檢驗u回歸方程的顯著性檢驗（F檢驗）一元線性回歸方程顯著性檢驗的零假設是1=0，檢驗采用F統(tǒng)計量，其數(shù)學定義為：2121()()2niiniiiyyMSAFMSEyyn即平均的SSA/平均的SSE，F(xiàn)統(tǒng)計量服從（1，n-2）個自由度的F分布。SPSS將會自動計算檢驗統(tǒng)計量的觀測值以及對應的概率p值，如果p值小于給定的顯著性水平，則應拒絕零假設，認為線性關系顯著。線性回歸u回歸方程

8、的統(tǒng)計檢驗u回歸方程的顯著性檢驗（F檢驗）多元線性回歸方程顯著性檢驗的零假設是各個偏回歸系數(shù)同時為零，檢驗采用F統(tǒng)計量，其數(shù)學定義為：即平均的SSA/平均的SSE，F(xiàn)統(tǒng)計量服從（p，n-p-1）個自由度的F分布。SPSS將會自動計算檢驗統(tǒng)計量的觀測值以及對應的概率p值，如果p值小于給定的顯著性水平，則應拒絕零假設，認為y與x的全體的線性關系顯著。2121()()1niiniiiyyPMSAFMSEyynP線性回歸u回歸方程的統(tǒng)計檢驗u回歸系數(shù)的顯著性檢驗（t檢驗）一元線性回歸方程的回歸系數(shù)顯著性檢驗的零假設是1=0，檢驗采用t統(tǒng)計量，其數(shù)學定義為：121()niitxxt統(tǒng)計量服從n-2個自由

9、度的t分布。 SPSS將會自動計算t統(tǒng)計量的觀測值以及對應的概率p值，如果p值小于給定的顯著性水平，則應拒絕零假設，認為x對y有顯著貢獻，線性關系顯著。線性回歸u回歸方程的統(tǒng)計檢驗u回歸系數(shù)的顯著性檢驗（t檢驗）多元線性回歸方程的回歸系數(shù)顯著性檢驗的零假設是i=0，檢驗采用t統(tǒng)計量，其數(shù)學定義為：ti統(tǒng)計量服從n-p-1個自由度的t分布。 SPSS將會自動計算ti統(tǒng)計量的觀測值以及對應的概率p值，如果p值小于給定的顯著性水平，則應拒絕零假設，認為xi對y有顯著貢獻，應保留在線性方程中。21()injiijixxt（i=1,2, ，p）線性回歸lt檢驗與F檢驗的關系l一元回歸中,F檢驗與t檢驗一

10、致,即: F=t2,兩種檢驗可以相互替代l在多元回歸中，F(xiàn)檢驗與t檢驗不能相互替代lF統(tǒng)計量和R2值的關系l如果回歸方程的擬合優(yōu)度高，F(xiàn)統(tǒng)計量就越顯著。F統(tǒng)計量越顯著，回歸方程的擬合優(yōu)度就會越高。u回歸方程的統(tǒng)計檢驗u殘差分析所謂殘差是指由回歸方程計算所得的預測值與實際樣本值之間的差距，即iiiyye它是回歸模型中 的估計值。如果回歸方程能較好地反映被解釋變量的特征和變化規(guī)律，那么殘差序列中應不包含明顯的規(guī)律性和趨勢性。殘差分析包括以下內容：殘差服從正態(tài)分布，其平均值等于0；殘差取值與X的取值無關；殘差不存在自相關；殘差方差相等。 i線性回歸u回歸方程的統(tǒng)計檢驗u殘差分析均值為0的正態(tài)性分析殘

11、差均值為0的正態(tài)性分析，可以通過繪制殘差圖進行分析，如果殘差均值為0，殘差圖中的點應在縱坐標為0的橫線上下隨機散落著。正態(tài)性可以通過繪制標準化（或學生化）殘差的累計概率圖來分析線性回歸u回歸方程的統(tǒng)計檢驗u殘差分析獨立性分析 繪制殘差序列的序列圖以樣本期（或時間）為橫坐標，殘差為縱坐標，如果殘差隨時間的推移呈規(guī)律性變化，則存在一定的正或負相關性。計算殘差的自相關系數(shù)取值在-1到+1之間，接近于+1表明序列存在正自相關性。 DW（DurbinWatson）檢驗DW取值在0至4之間，直觀判斷標準是DW=4，殘差序列完全負自相關；DW=2，完全無自相關；DW=0，完全正自相關。線性回歸u回歸方程的統(tǒng)

12、計檢驗u殘差分析異方差分析 繪制殘差圖如果殘差的方差隨著解釋變量值的增加呈增加（或減少）的趨勢，說明出現(xiàn)了異方差現(xiàn)象。線性回歸u回歸方程的統(tǒng)計檢驗u殘差分析異方差分析 等級相關分析得到殘差序列后首先對其取絕對值，然后計算出殘差和解釋變量的秩，最后計算Spearman等級相關系數(shù)，并進行等級相關分析。具體過程見相關分析相關章節(jié)。線性回歸u回歸方程的統(tǒng)計檢驗u殘差分析探測樣本中的異常值和強影響點（對于y值）強影響點：指對多重線性回歸模型參數(shù)估計有很強影響的數(shù)據(jù)點標準化殘差ZRE由于殘差是服從均值為0的正態(tài)分布，因此可以根據(jù)3準則進行判斷，首先對殘差進行標準化 ，絕對值大于3對應的觀察值為異常值。學

13、生化殘差SRE剔除殘差DRE（或剔除學生化殘差SDRE）上述SRE、SDRE的直觀判斷標準同標準化殘差ZRE。iZREe線性回歸線性回歸變量多重共線性問題多重共線性：是指自變量間存在線性相關，即一個自變量可用其他一個或幾個自變量的線性表達式進行表示。導致偏回歸系數(shù)存在無窮多個解或無解，出現(xiàn)偏回歸系數(shù)難以有合乎專業(yè)知識的解釋容忍度Tol容忍度值越接近于1，表示多重共線性越弱。SPSS變量多重共線性的要求不很嚴格，只是在容忍度值太小時給出相應警告信息。方差膨脹因子VIF膨脹因子是容忍度的倒數(shù)，越接近于1，表示解釋變量間的多重共線性越弱。通常如果VIFi大于等于10，說明解釋變量xi與其余解釋變量之

14、間有嚴重的多重共線性。線性回歸21iiTolR 變量多重共線性問題特征根和方差比這里的特征根是指相關系數(shù)矩陣的特征根。如果最大特征根遠遠大于其他特征根的值，則說明這些解釋變量之間具有相當多的重疊信息。條件指數(shù)ki10 ki 100時，認為多重共線性較強， ki 100時，認為多重共線性很嚴重多重共線性的解決方法逐步回歸嶺回歸主成分回歸路徑分析線性回歸miiku變量篩選問題向前篩選策略 解釋變量不斷進入回歸方程的過程，首先選擇與被解釋變量具有最高線性相關系數(shù)的變量進入方程，并進行各種檢驗；其次在剩余的變量中挑選與解釋變量偏相關系數(shù)最高并通過檢驗的變量進入回歸方程。向后篩選策略 變量不斷剔除出回歸

15、方程的過程，首先所有變量全部引入回歸方程并檢驗，然后在回歸系數(shù)顯著性檢驗不顯著的一個或多個變量中，剔除t檢驗值最小的變量。逐步篩選策略 向前篩選與向后篩選策略的綜合線性回歸逐步回歸分析的基本原理按每個變量在方程中對應變量作用的大小，由大到小依次引入回歸方程。具體作法：每引入一個自變量都要對回歸方程中每一個已引入的自變量的作用作統(tǒng)計意義檢驗，當發(fā)現(xiàn)一個或幾個已被引入的自變量的作用無統(tǒng)計意義時，即行剔除。每剔除一個自變量后，也要對仍留在回歸方程中的自變量逐個作統(tǒng)計意義檢驗。如果發(fā)現(xiàn)方程中還存在作用無統(tǒng)計意義的自變量時，也就剔除，直到沒有變量可引入，也無剔除時為止前進、后退、逐步法的側重點不同。當自

16、變量間不存在簡單線性相關時，三種方法計算結果一致。當自變量間存在一定的簡單線性相關時：前進法側重于向模型中引入單獨作用較強的變量后退法側重于向模型中引入聯(lián)合作用較強的變量逐步法介于兩者之間應用線性回歸方程應注意的問題1、作回歸分析要有實際意義，不能把毫無關聯(lián)的兩種現(xiàn)象勉強作回歸分析，即便有回歸關系，也不一定有因果關系，還必須對兩種現(xiàn)象間的內在聯(lián)系有所認識，即能從專業(yè)理論上作出合理解釋或有所依據(jù)2、在進行線性回歸分析時，應繪散點圖，當觀察點的分布有直線趨勢，才適宜作直線回歸分析。散點圖還能提示資料有無異常點，異常點對方程估計影響較大3、線性回歸方程的適用范圍一般以自變量的取值范圍為限，在此范圍求

17、出y的估計值，稱為內插，超出自變量取值范圍稱外延。若無充分理由證明超過自變量取值范圍還是直線，應該避免外延n回歸分析基本操作（1）選擇菜單AnalyzeRegressionLinear,出現(xiàn)如下對話框因變量自變量條件變量標志變量篩選策略線性回歸（2）將因變量選入Dependent框（3）將一個或多個自變量選入Independengt（s）框（4）在Method框中選擇回歸分析中自變量的篩選策略。其中Enter表示所選變量強行進入回歸方程，是SPSS默認策略，通常用在一元線性回歸分析中；Remove表示從回歸方程中剔除所選變量；Stepwise表示逐步篩選策略；Backward、Forward分

18、別表示向后、向前篩選策略。n回歸分析基本操作線性回歸（5）上述（3）、（4）中確定的自變量和篩選策略可放置在不同的Block中，單擊 “Next”和“Previous”按鈕設置多組自變量和變量篩選策略，并放在不同Block中，SPSS將按照設置順序依次進行分析?！癇lock”設置便于作各種探索性的回歸分析。n回歸分析基本操作線性回歸（6）選擇一個變量作為條件變量到Selection Variable框中，并單擊“Rule”按鈕給定一個判斷條件。只有變量值滿足給定條件的樣本數(shù)據(jù)才參與線性回歸分析。線性回歸n回歸分析基本操作（7）在Case Labels框中指定哪個變量作為數(shù)據(jù)樣本點的標志變量，該

19、變量的值將標在回歸分析的輸出圖形中。（8）WLS Weight中選人權重變量，主要用于加權最小二乘法。 至此便完成了線性回歸分析的基本操作，SPSS將根據(jù)指定自動進行回歸分析，并將結果輸出到輸出窗口中。線性回歸n回歸分析基本操作n回歸分析的其他操作StatisticsStatistics選項選項輸出與回歸系數(shù)相關的統(tǒng)計量，包括回歸系數(shù)、回歸系數(shù)標準誤、標準化回歸系數(shù)、回歸系數(shù)顯著性檢驗的t統(tǒng)計量和概率p值，個解釋變量的容忍度。每個非標準化回歸系數(shù)的95%置信區(qū)間輸出各解釋變量間的相關系數(shù)、協(xié)方差以及各回歸系數(shù)的方差線性回歸輸出判定系數(shù)、調整的判定系數(shù)、回歸方程的標準誤、回歸方程顯著性檢驗的方差

20、分析表每個解釋變量進入方程后引起的判定系數(shù)的變化量和F值的變化量（偏F統(tǒng)計量）輸出個解釋變量和被解釋變量的均值、標準差、相關系數(shù)矩陣及單側檢驗概率值輸出方程中各解釋變量與被解釋變量之間的簡單相關、偏相關系數(shù)和部分相關線性回歸n回歸分析的其他操作StatisticsStatistics選項選項多重共線性分析：輸出各解釋變量的容忍度、方差膨脹因子、特征值、條件指標、方差比例等DW值輸出標準化殘差絕對值大于等于3（默認）的樣本數(shù)據(jù)的相關信息線性回歸n回歸分析的其他操作StatisticsStatistics選項選項PlotsPlots選項選項標準化預測值標準化殘差剔除殘差調整的預測值學生化殘差剔除學

21、生化殘差標準化殘差序列直方圖標準化殘差序列正態(tài)分布累計概率圖依次繪制被解釋變量與各解釋變量的散點圖線性回歸n回歸分析的其他操作將選中結果作為新變量存入數(shù)據(jù)文件或新文件將選中結果作為新變量存入數(shù)據(jù)文件或新文件預測值觀測值與均值偏差預測值區(qū)間殘差值剔除某case后改變值SaveSave選項選項OptionsOptions選項選項設置多元線性回歸分析中解釋變量進入或剔除出回歸方程的標準偏F統(tǒng)計量的概率值線性回歸n回歸分析的其他操作回歸分析中是否包含常數(shù)項【結果形式結果形式】可決系數(shù)-自變量可解釋因變量的比例模型的方差分析H0: b1=bn=0模型中常數(shù)項與回歸系數(shù)的檢驗回歸方程為time=-1.95

22、5+3.457diamH0:a=0H0:bi=0u線性回歸分析的應用舉例例10-2-1線性回歸【實例實例】為研究某公司職工當前工資水平（為研究某公司職工當前工資水平（salarysalary），），收集了影響因素收集了影響因素6 6個，即開始工資（個，即開始工資（salbeginsalbegin $ $）、受）、受教育時間（教育時間（educeduc）、來公司工作時間（）、來公司工作時間（jobtimejobtime）、工）、工種（種（jobcatjobcat）、來前工作經驗（）、來前工作經驗（prevexpprevexp）及是否少數(shù)）及是否少數(shù)民族（民族（minorityminority），

23、試用多元線性回歸對該公司當前工），試用多元線性回歸對該公司當前工資水平建立恰當回歸模型。資水平建立恰當回歸模型?！緮?shù)據(jù)準備數(shù)據(jù)準備】見下頁見下頁6個影響因素變量自變量逐步篩選【設置界面設置界面】【statistics按鈕按鈕】【Save按鈕按鈕】【結果形式結果形式】先后選入自變量， minority未選入未選入剔除變量復相關系數(shù)，隨自變量的加入而增大，較大，線性相關高可決系數(shù)D-W統(tǒng)計量值：在1.52.5間無顯著自相關性隨自變量的加入,線性模型都有顯著效果H0:b1=b5=0H0:b1=b2=b3=0隨自變量的加入，因變量與自變量都顯著線性相關H0:a=0，bi=0 (j=1,.,5)標準化回

24、歸系數(shù)(無量綱)，用于比較各變量重要程度大小 可見，第可見，第5個回歸方程為個回歸方程為 salary=-15038.574+1.365salbegin+5859.585jobcat-19.553prevexp+154.698jobtime+539.642educ 復相關系數(shù)復相關系數(shù)R=0.917，可決系數(shù)，可決系數(shù)R2=0.84，經檢驗，回，經檢驗，回歸模型、回歸系數(shù)及歸模型、回歸系數(shù)及D-W檢驗都有顯著統(tǒng)計學意義。檢驗都有顯著統(tǒng)計學意義。 對工資水平影響較大的因素依次為對工資水平影響較大的因素依次為 開始工資、工種、來前工作經驗、來公司工作時間、受教開始工資、工種、來前工作經驗、來公司工

25、作時間、受教育時間。育時間。曲線回歸（估計、擬合） 變量間的相關關系中，并不總是表現(xiàn)出線性關系，非線性關系也是極為常見的。變量之間的非線性關系可以劃分為本質線性關系和本質非線性關系。本質線性關系是指變量關系形式上雖然呈非線性關系，但可通過變量變換為線性關系，并最終可通過線性回歸分析建立線性模型。本質非線性關系是指變量關系不僅形式上呈非線性關系，而且也無法變換為線性關系。本節(jié)的曲線估計是解決本質線性關系問題的。 Curve Estimation: 曲線估計分析曲線估計分析 曲線回歸曲線回歸（估計、擬合）：選定一種用函數(shù)表達曲線，（估計、擬合）：選定一種用函數(shù)表達曲線，使理論數(shù)據(jù)與實際數(shù)據(jù)間的差異

26、盡可能小。使理論數(shù)據(jù)與實際數(shù)據(jù)間的差異盡可能小。解決問題解決問題：(1)曲線模型的選擇；曲線模型的選擇；(2)模型參數(shù)的確定。模型參數(shù)的確定。 本質非線性關系本質線性關系非線性關系線性關系變量間關系可以經變量變換轉化為線性關系，可以經變量變換轉化為線性關系，SPSS中中Curve Estimation解決。解決。不能經變換轉化為線性關系，用迭代或分段平不能經變換轉化為線性關系，用迭代或分段平均值等方法處理，均值等方法處理， SPSS中中Nonlinear解決解決基本思路基本思路：通過散點圖及專業(yè)、經驗等確定函數(shù)類型，：通過散點圖及專業(yè)、經驗等確定函數(shù)類型，再利用再利用SPSSSPSS解決。解決

27、。SPSS曲線估計中，首先，在不能明確究竟哪種模型更接近樣本數(shù)據(jù)時，可在多種可選擇的模型中選擇幾種模型；然后SPSS自動完成模型的參數(shù)估計，并輸出回歸方程顯著性檢驗的F值和概率p值、判定系數(shù)R2等統(tǒng)計量；最后，以判定系數(shù)為主要依據(jù)選擇其中的最優(yōu)模型，并進行預測分析等。另外，SPSS曲線估計還可以以時間為解釋變量實現(xiàn)時間序列的簡單回歸分析和趨勢外推分析。Curve Estimation中提供了中提供了11種本質線性模型：種本質線性模型：曲線估計的基本操作 可通過繪制并觀察樣本數(shù)據(jù)的散點圖粗略確定被解釋變量和解釋變量之間的相關關系，為曲線擬合中的模型選擇提供依據(jù)。SPSS曲線估計的基本操作步驟是：

28、（1）選擇菜單AnalyzeRegressionCurve Estimation，出現(xiàn)窗口如下頁所示。（2）把被解釋變量選到Dependent框中。（3）曲線估計中的解釋變量可以是相關因素變量也可是時間變量。如果解釋變量為相關因素變量，則選擇Variable選項，并把一個解釋變量指定到Independent框；如果選擇Time參數(shù)則表示解釋變量為時間變量。（4）在Models中選擇幾種模型。（5）選擇Plot Models選項繪制回歸線；選擇Display ANOVA table輸出各個模型的方差分析表和各回歸系數(shù)顯著性檢驗結果。 至此，完成了曲線估計的操作，SPSS將根據(jù)選擇的模型自動進行曲線估計，并將結果顯示到輸出窗口中?！緦嵗龑嵗磕钞a品零售商已知產品的廣告投入和銷售某產品零售商已知產品的廣告投入和銷售額的數(shù)據(jù)，試找出適當?shù)幕貧w方程。額的數(shù)據(jù)，試找出適當?shù)幕貧w方程。【作散點圖預分析作散點圖預分析】 Graphs-scatter/dotGraphs-scatt