第7章 相關(guān)分析與回歸分析(含SPSS)

第七章

相關(guān)分析與回歸分析

本章內(nèi)容第一節(jié)相關(guān)分析第二節(jié)線性回歸分析第三節(jié)曲線估計第一節(jié)相關(guān)分析一、相關(guān)分析的概念與類型（一）相關(guān)分析的基本概念相關(guān)關(guān)系是指變量之間存在的不確定的依存關(guān)系，即當一個變量取一定值時，另一變量無法依確定的函數(shù)取唯一確定的值，然而它仍按某種規(guī)律在一定的范圍內(nèi)變化。（二）相關(guān)關(guān)系的類型1、按相關(guān)關(guān)系的程度，分為完全相關(guān)、不完全相關(guān)和零相關(guān)。2、按相關(guān)變量的變化方向，分為正相關(guān)和負相關(guān)。3、按相關(guān)關(guān)系的表現(xiàn)形式，分為線性相關(guān)和曲線相關(guān)。4、按變量多少，分為單相關(guān)、復(fù)相關(guān)和偏相關(guān)。5、按相關(guān)性質(zhì)，分為“真實相關(guān)”和“虛假相關(guān)”繪制散點圖和計算相關(guān)系數(shù)是相關(guān)分析最常用的工具，它們的相互結(jié)合能夠達到較為理想的分析效果。二、散點圖（一）散點圖的特點繪制散點圖是相關(guān)分析過程中極為常用且非常直觀的分析方法，它將數(shù)據(jù)以點的形式畫在直角平面上。通過觀察散點圖可以比較直觀地看出變量之間的相關(guān)關(guān)系以及它們的強弱程度和數(shù)據(jù)的可能走向。通常橄欖球和棒狀代表了數(shù)據(jù)對的主要結(jié)構(gòu)和特征，可以利用曲線將這種主要結(jié)構(gòu)的輪廓描述出來，使數(shù)據(jù)的主要特征更突顯。（二）散點圖在SPSS中的實現(xiàn)1、建立或打開數(shù)據(jù)文件后，進入“Graphs”→“LegacyDialogs”→“Scatter/Dot”主對話框，如圖7-1所示。圖7-1散點圖主對話框

2、選擇散點圖的類型。SPSS中提供了四種散點圖，分別是簡單散點圖（Simple）、重疊散點圖（Overlay）、矩陣散點圖（Matrix）和三維散點圖（3-D）。3、根據(jù)所選擇的散點圖的類型，按Define按鈕對散點圖作具體定義。不同類型的散點圖其具體的定義選項略有差別。三、相關(guān)系數(shù)（一）相關(guān)系數(shù)的概念和分析步驟相關(guān)系數(shù)能夠以數(shù)字的方式準確描述變量間的線性關(guān)系程度和方向。相關(guān)系數(shù)的分析步驟：1、計算樣本相關(guān)系數(shù)對不同類型的變量應(yīng)采用不同的相關(guān)系數(shù)指標，但它們的取值范圍和含義都是相同的，即相關(guān)系數(shù)沒有單位，其值在-1~+1之間。

2、對樣本來自的兩總體是否存在顯著的線性關(guān)系進行推斷。（1）提出原假設(shè)：總體中兩個變量間的相關(guān)系數(shù)為0，即兩總體無顯著的線性相關(guān)關(guān)系。

（2）選擇檢驗統(tǒng)計量。對不同類型的變量應(yīng)采用不同的相關(guān)系數(shù)，對應(yīng)也應(yīng)采用不同的檢驗統(tǒng)計量。（3）計算檢驗統(tǒng)計量的觀測值和相伴概率值。（4）給定顯著性水平，并作出決策。如果相伴概率值小于或等于給定的顯著性水平，則拒絕原假設(shè)；如果相伴概率值大于給定的顯著性水平，則不能拒絕原假設(shè)。（二）相關(guān)系數(shù)的種類1、Pearson簡單相關(guān)系數(shù)Pearson簡單相關(guān)系數(shù)用來度量定距型變量間的線性相關(guān)關(guān)系，它的數(shù)學(xué)定義為：

(7.1)Pearson簡單相關(guān)系數(shù)的檢驗統(tǒng)計量為統(tǒng)計量，其數(shù)學(xué)定義為：

(7.2)SPSS將自動計算Pearson簡單相關(guān)系數(shù)、檢驗統(tǒng)計量的觀察值和對應(yīng)的概率值。

2、Spearman等級相關(guān)系數(shù)Spearman等級相關(guān)系數(shù)用來度量定序變量間的線性相關(guān)關(guān)系，設(shè)計思想與Pearson簡單相關(guān)系數(shù)相同，只是數(shù)據(jù)為非定距的，故計算時并不直接采用原始數(shù)據(jù)，而是利用數(shù)據(jù)的秩，用兩變量的秩代替代入Pearson簡單相關(guān)系數(shù)計算公式中，于是其中的和的取值范圍被限制在1和之間，且可被簡化為：式中：

如果兩變量的正相關(guān)性較強，它們秩的變化具有同步性，于是的值較小，r趨向于1；如果兩變量的正相關(guān)性較弱，它們秩的變化不具有同步性，于是的值較大，r趨向于0；在小樣本下，在零假設(shè)成立時，Spearman等級相關(guān)系數(shù)服從Spearman分布；在大樣本下，Spearman等級相關(guān)系數(shù)的檢驗統(tǒng)計量為Z統(tǒng)計量，定義為：Z統(tǒng)計量近似服從標準正態(tài)分布。SPSS將自動計算Spearman等級相關(guān)系數(shù)，檢驗統(tǒng)計量的觀察值和相伴概率值。3、Kendallτ相關(guān)系數(shù)Kendallτ相關(guān)采用非參數(shù)檢驗方法用來度量定序變量間的線性相關(guān)關(guān)系。它利用變量秩數(shù)據(jù)計算一致對數(shù)目和非一致對數(shù)目。

Kendallτ相關(guān)正是要對此進行檢驗。Kendallτ統(tǒng)計量的數(shù)學(xué)定義為

(7.5)

在小樣本下Kendallτ服從Kendall分布。在大樣本下采用的檢驗統(tǒng)計量為

(7.6)

在公式（7.6）中，統(tǒng)計量近似服從標準正態(tài)分布。SPSS將自動計算Kendallτ相關(guān)、檢驗統(tǒng)計量的觀測值和相伴概率值。（三）相關(guān)系數(shù)在SPSS中的實現(xiàn)1、建立或打開數(shù)據(jù)文件后，進入Analyze→Correlate→Bivariate主對話框，如圖7-4所示。圖7-4相關(guān)分析主對話框

2、選擇參加計算相關(guān)系數(shù)的變量到Variables框。3、CorrelationCoefficients分析方法選擇項，有三種相關(guān)系數(shù)，如Pearson復(fù)選項、Spearman復(fù)選項、Kendall’stau-b復(fù)選項，對應(yīng)于三種分析方法。4、TestofSignificance選擇顯著性檢驗類型。Twotailed雙尾檢驗選項，Onetailed單尾檢驗選項。5、FlagsignificantCorrelations復(fù)選項，如果選中此項，輸出結(jié)果中除顯示統(tǒng)計檢驗的概率值以外，還輸出星號標記，相關(guān)系數(shù)右上方使用“*”表示顯著水平為5%；用“**”表示其顯著水平為1%。6、Options對話框中的選擇項在相關(guān)分析主對話框中單擊“Options”按鈕，展開Options對話框，如圖7-5所示。圖7-5Options對話框（1）Statistics選擇項中有兩個有關(guān)統(tǒng)計量的選擇項：①Meansandstandarddeviations復(fù)選項，要求計算并輸出均值與標準差；②Cross-productdeviationsandcovariances復(fù)選項，要求計算并輸出叉積離差陣和協(xié)方差陣。（2）MissingValues選擇項中有兩個關(guān)于缺失值處理方法的選擇項：①Excludecasespairwise選項，僅剔除正在參與計算的兩個變量值是缺失值的觀測量。②Excludecaseslistwise選項，剔除帶有缺失值的所有觀測量。四、偏相關(guān)分析（一）偏相關(guān)分析和偏相關(guān)系數(shù)偏相關(guān)分析也稱凈相關(guān)分析，它在控制其他變量的線性影響的條件下分析兩變量間的線性相關(guān)性，所采用的工具是偏相關(guān)系數(shù)（凈相關(guān)系數(shù)）。偏相關(guān)分析的主要用途是根據(jù)觀測資料應(yīng)用偏相關(guān)分析計算偏相關(guān)系數(shù)，可以判斷哪些解釋變量對被解釋變量的影響較大，而選擇作為必須考慮的解釋變量。這樣在計算多元回歸分析時，只要保留起主要作用的解釋變量，用較少的解釋變量描述被解釋變量的平均變動量。

利用偏相關(guān)系數(shù)進行變量間相關(guān)分析通常需要完成以下兩大步驟：1、計算樣本的偏相關(guān)系數(shù)。在分析變量和之間的凈相關(guān)時，當控制了的線性作用后，和之間的一階偏相關(guān)系數(shù)定義為

(7.7)偏相關(guān)系數(shù)的取值范圍及大小含義與相關(guān)系數(shù)相同。

2、對樣本來自的兩總體是否存在顯著的偏相關(guān)進行推斷。（1）提出原假設(shè)：兩總體的偏相關(guān)系數(shù)與零無顯著差異。（2）選擇檢驗統(tǒng)計量。偏相關(guān)系數(shù)的檢驗統(tǒng)計量為統(tǒng)計量。（3）計算檢驗統(tǒng)計量的觀測值和相伴概率。（4）給定顯著性水平，并作出決策。如果相伴概率值小于或等于給定的顯著性水平，則拒絕原假設(shè)；如果相伴概率值大于給定的顯著性水平，則不能拒絕原假設(shè)。（二）偏相關(guān)系數(shù)在SPSS中的實現(xiàn)1、建立或打開數(shù)據(jù)文件后，進入Analyze→Correlate→Partial主對話框，如圖7-6所示。圖7-6偏相關(guān)分析主對話框

2、選擇分析變量送入Valiables框，選擇控制變量進入Controllingfor框。3、在TestofSignificance欄中選擇輸出偏相關(guān)檢驗的雙尾（Two-tailed）概率值還是單尾（One-tailed）概率值。

4、選擇Displayactualsignificancelevel復(fù)選項，表示顯示相關(guān)系數(shù)的同時，顯示實際的顯著性概率。不選擇此項，其顯著性概率使用星號“*”來代替。

5、在偏相關(guān)分析主對話框中單擊“Options”按鈕，進入Options對話框，如圖7-7所示。圖7-7偏相關(guān)分析的選項對話框

（1）Statistics統(tǒng)計量選擇項，有兩個選項：①Meansandstandarddeviations復(fù)選項，要求SPSS計算并顯示各分析變量的均值和標準差。②Zero-ordercorrelations復(fù)選項，要求顯示零階相關(guān)矩陣，即Pearson相關(guān)矩陣。（2）MissingValues處理缺失值觀測量的選擇項。第二節(jié)線性回歸分析（一）回歸分析的概念和一般步驟1、回歸分析的概念回歸分析是指根據(jù)相關(guān)關(guān)系的具體形態(tài)，選擇一個合適的數(shù)學(xué)模型，來近似地表達變量間的平均變化關(guān)系?；貧w分析不僅可以提供變量之間相關(guān)關(guān)系的數(shù)學(xué)表達式，而且還可以利用所得的經(jīng)驗公式，根據(jù)一個或幾個變量的值，預(yù)測或控制另一個變量的值，并且可以知道這種預(yù)測和控制可達到什么樣的精確程度。另外，還可以進行因素分析。因此，回歸分析是一種應(yīng)用極為廣泛的數(shù)量分析方法。2、回歸分析的一般步驟（1）確定回歸方程中的解釋變量（自變量）和被解釋變量（因變量）。（2）確定回歸模型。（3）建立回歸方程。（4）對回歸方程進行各種檢驗。（5）利用回歸方程進行預(yù)測。利用SPSS進行回歸分析時，應(yīng)重點關(guān)注上述過程中第一步和最后一步，至于中間各步，SPSS會自動進行計算并給出最佳的模型。（二）線性回歸模型1、一元線性回歸模型一元線性回歸模型是指只有一個解釋變量的線性回歸模型，用于揭示被解釋變量與另一個解釋變量之間的線性關(guān)系。數(shù)學(xué)模型是：

(7.9)式（7.9）中為解釋變量；為被解釋變量；為截距，即常量；為回歸系數(shù)，表明解釋變量對被解釋變量的影響程度；為隨機誤差。公式表明：被解釋變量的變化可由兩部分來解釋，第一部分由解釋變量的變化引起的的線性變化部分；第二部分由其他隨機因素引起的的變化部分。

用最小二乘法求解方程中的兩個參數(shù)，得到：2、多元線性回歸方程多元線性回歸方程是指含有多個解釋變量的線性回歸模式，用于揭示被解釋變量與其他多個解釋變量之間的線性關(guān)系。數(shù)學(xué)模型為：

(7.12)式（7.12）是一個元線性回歸模型，其中有個解釋變量。、、…、分別稱為回歸常數(shù)和偏回歸系數(shù)，為隨機誤差。公式表明：被解釋變量的變化可由兩部分來解釋，第一部分由個解釋變量變化引起的的線性變化部分；第二部分由其他隨機因素引起的的變化部分。、

（三）線性回歸方程的假設(shè)理論德國數(shù)學(xué)家高斯提出5個假設(shè)理論，即正態(tài)性假設(shè)、等方差假設(shè)、獨立性假設(shè)、無自相關(guān)性假設(shè)、與的不相關(guān)性。滿足這些假設(shè)的線性回歸模型稱為古典線性模型：（四）線性回歸分析的數(shù)據(jù)要求1、解釋變量與被解釋變量應(yīng)該是數(shù)值型變量，分類變量應(yīng)重新編碼為啞變量或其他類型的對比變量。2、被解釋變量的分布必須是正態(tài)的，被解釋變量的方差分布必須是一個常數(shù)。被解釋變量和每一個解釋變量變量的關(guān)系必須是線性關(guān)系，所有的觀察量必須是相互獨立的。二、線性回歸方程的統(tǒng)計檢驗（一）回歸方程的擬合優(yōu)度檢驗回歸方程的擬合優(yōu)度檢驗就是要檢驗樣本數(shù)據(jù)點聚集在回歸直線周圍的密集程度，從而評價回歸方程對樣本數(shù)據(jù)的代表程度。我們知道，被解釋變量各個觀察值之間的差異主要是由解釋變量的不同取值和其他因素造成的。用公式表示為：

(7.13)(7.14)從式（7.14）中可以看出，當所有樣本點都落在回歸直線上，回歸方程的擬合優(yōu)度一定是最高的。擬合優(yōu)度的統(tǒng)計量正是基于這種基本思想構(gòu)造出來的。

1、一元線性回歸方程的擬合優(yōu)度檢驗在判定一個線性回歸直線的擬合優(yōu)度的好壞時，判定系數(shù)系數(shù)是一個重要的判定指標。判定系數(shù)等于回歸平方和在總平方和中所占的比率，即體現(xiàn)了回歸模型所能解釋的被解釋變量變異性的百分比。計算公式為：

=(7.15)2、多元線性回歸方程的擬合優(yōu)度檢驗在多元線性回歸方程中采用調(diào)整的作為擬合優(yōu)度檢驗指標，計算公式為：Adjusted=（7.16）（二）回歸方程的顯著性檢驗回歸方程的顯著性檢驗是檢驗被解釋變量與所有解釋變量之間的線性關(guān)系是否顯著，是否可以用線性模型來描述被解釋變量和解釋變量之間的關(guān)系?；貧w方程顯著性檢驗的基本出發(fā)點與擬合優(yōu)度檢驗非常相識。1、一元線性回歸方程的顯著性檢驗一元線性回歸方程顯著性檢驗的原假設(shè)是：回歸系數(shù)與零無顯著差異。一元線性回歸方程顯著性檢驗采用統(tǒng)計量，計算公式為：（7.17）SPSS將自動計算統(tǒng)計量及相伴概率值。如果相伴概率值小于或等于給定的顯著性水平，則拒絕原假設(shè)；如果相伴概率值大于給定的顯著性水平，則不能拒絕原假設(shè)。2、多元線性回歸方程的顯著性檢驗多元線性回歸方程顯著性檢驗的原假設(shè)是：所有偏回歸系數(shù)同時與零無顯著差異。多元線性回歸方程顯著性檢驗采用統(tǒng)計量，計算公式為：

SPSS將自動計算統(tǒng)計量及相伴概率值。如果相伴概率值小于或等于給定的顯著性水平，則拒絕原假設(shè)；如果相伴概率值大于給定的顯著性水平，則不能拒絕原假設(shè)。

通過上面的分析不難發(fā)現(xiàn)，回歸方程的顯著性檢驗和回歸方程的擬合優(yōu)度檢驗有異曲同工之處?；貧w方程的擬合優(yōu)度越高，回歸方程的顯著性檢驗也會越顯著。但應(yīng)注意的是，回歸方程的擬合優(yōu)度檢驗實質(zhì)上并非統(tǒng)計學(xué)的統(tǒng)計檢驗問題，它不涉及統(tǒng)計檢驗的一系列步驟，因此，回歸方程的擬合優(yōu)度檢驗本質(zhì)上僅僅是一種刻畫性的描述，不涉及對解釋變量和被解釋變量總體線性關(guān)系的推斷，而這恰恰是回歸方程顯著性檢驗所要實現(xiàn)的目標。（三）回歸系數(shù)的顯著性檢驗回歸系數(shù)的顯著性檢驗的主要目的是研究回歸方程中的每個解釋變量與被解釋變量之間是否存在顯著的線性關(guān)系，也就是研究每個解釋變量能否有效地解釋被解釋變量的線性關(guān)系，它們能否應(yīng)保留在線性回歸方程中?；貧w系數(shù)顯著性檢驗是圍繞回歸系數(shù)（或偏回歸系數(shù)）估計值的抽樣分布展開的，由此構(gòu)造服從某種理論分布的檢驗統(tǒng)計量，并進行檢驗。1、一元線性回歸方程的回歸系數(shù)顯著性檢驗一元線性回歸方程的回歸系數(shù)顯著性檢驗的原假設(shè)是：回歸系數(shù)與零無顯著差異。回歸系數(shù)顯著性檢驗一般采用檢驗的方法，其計算公式為：

(7.19)SPSS在自動計算回歸系數(shù)的值后，會給出相伴概率值。如果相伴概率值小于或等于給定的顯著性水平，則拒絕原假設(shè)；如果相伴概率值大于給定的顯著性水平，則不能拒絕原假設(shè)。2、多元線性回歸方程的回歸系數(shù)顯著性檢驗一元線性回歸方程的回歸系數(shù)顯著性檢驗的原假設(shè)是：第個偏回歸系數(shù)與零無顯著差異。回歸系數(shù)顯著性檢驗一般采用檢驗的方法，其計算公式為：

(7.21)SPSS在自動計算每個回歸系數(shù)的值后，會給出相伴概率值。如果相伴概率值小于或等于給定的顯著性水平，則拒絕原假設(shè)；如果相伴概率值大于給定的顯著性水平，則不能拒絕原假設(shè)。

在一元線性回歸分析中，回歸方程顯著性檢驗和回歸系數(shù)顯著性檢驗的作用是相同的，兩者可以相互替代。同時，回歸方程顯著性檢驗中統(tǒng)計量恰好等于回歸系數(shù)顯著性檢驗中統(tǒng)計量的平方。多元線性模型中，回歸方程顯著性檢驗與回歸系數(shù)顯著性檢驗的作用不盡相同?；貧w方程顯著性檢驗只能檢驗所有偏回歸系數(shù)是否同時為零?；貧w系數(shù)顯著性檢驗對每個偏回歸系數(shù)是否為零進行逐一考察。因此，多元線性回歸方程中的這兩種檢驗不能互相替代。（四）回歸方程的殘差分析所謂殘差是指由回歸方程計算所得的預(yù)測值與實際樣本值之間的差距。它是回歸模型中的估計值，由多個形成的序列稱為殘差序列。數(shù)學(xué)表達式為：

(7.23)殘差分析是回歸方程檢驗中的重要組成部分，其出發(fā)點是：如果回歸方程能夠較好地反映被解釋變量的特征和變化規(guī)律，那么殘差序列中應(yīng)不包含明顯的規(guī)律性和趨勢性。殘差分析正是基于這種考慮并圍繞對殘差的檢驗展開，主要任務(wù)有以下四個方面。1、殘差均值為0的正態(tài)性分析殘差均值為0的正態(tài)性分析，又名殘差的正態(tài)性檢驗。對于殘差序列的正態(tài)性分析，我們可以通過繪制殘差圖對該問題進行分析。殘差圖也是一種散點圖，圖中一般橫坐標是解釋變量（也可以是被解釋變量的預(yù)測值），縱坐標為殘差。如果殘差的均值為0，殘差圖中的點應(yīng)在縱坐標為0的橫線上下隨機散落。我們還可以通過繪制標準化（或?qū)W生化）殘差序列的帶正態(tài)曲線的直方圖或累計概率圖來分析。

2、殘差序列的獨立性分析在對回歸模型的診斷中，需要診斷回歸模型中的誤差序列的獨立性。殘差獨立性分析可以通過以下三種方式實現(xiàn)：（1）繪制殘差序列的序列圖。在直角坐標系中，常以預(yù)測值為橫軸，以與之間的誤差（或?qū)W生式殘差值）為縱軸，繪制殘差的散點圖。如果散點圖呈現(xiàn)出明顯的規(guī)律性，則認為存在自相關(guān)性，或者存在非線性、非常數(shù)方差的問題。利用殘差圖還可以判斷模型擬合效果。（2）計算殘差的自相關(guān)系數(shù)。自相關(guān)系數(shù)是一種測度序列自相關(guān)強弱的工具，數(shù)學(xué)定義為：

自相關(guān)系數(shù)的取值范圍在-1和+1之間，接近于1表明序列存在正自相關(guān)，接近-1表明序列存在負自相關(guān)。（3）(Durbin-Watson)檢驗檢驗是推斷是否存在自相關(guān)的統(tǒng)計檢驗方法。其原假設(shè)是：總體的自相關(guān)系數(shù)與零無顯著差異。采用的檢驗統(tǒng)計量是統(tǒng)計量。

(7.25)的取值范圍是0~4，它的統(tǒng)計學(xué)意義如下：=0時，殘差序列存在完全正自相關(guān)；≈2時，殘差與解釋變量互為獨立，即殘差不存在自相關(guān)；<2時，相鄰兩點的殘差為正相關(guān)；＞2時，相鄰兩點的殘差為負相關(guān)；=4時，殘差序列存在完全負自相關(guān)。3、異方差分析異方差分析即方差齊性檢驗。異方差分析可以通過以下兩種方式實現(xiàn)：（1）繪制殘差圖一般用繪制被解釋變量預(yù)測值與學(xué)生式殘差的散點圖來檢驗，殘差應(yīng)隨機地分布在一條穿過零點的水平直線的兩側(cè)。（2）等級相關(guān)分析得到殘差序列后首先對其取絕對值，然后分別計算出殘差和解釋變量的秩，最后計算Spearman等級相關(guān)系數(shù)，并進行等級相關(guān)分析。如果等級相關(guān)分析中檢驗統(tǒng)計量的概率值小于給定的顯著性水平，應(yīng)拒絕等級相關(guān)分析的原假設(shè)，認為解釋變量與殘差間存在顯著的相關(guān)關(guān)系，出現(xiàn)了異方差現(xiàn)象。4、探測樣本中的異常值和強影響點異常值和強影響點是指那些遠離遠離均值的樣本數(shù)據(jù)點，它們對回歸方程的參數(shù)估計有較大的影響，應(yīng)盡量找出它們并加以排除。（1）對被解釋變量中影響點的探測方法有標準化殘差（Dresid）、②學(xué)生化殘差