經(jīng)典實用的spss課件 十二、多重線性回歸模型

1、多重線性回歸模型 內(nèi)容提要 模型簡介 簡單實例分析 逐步回歸 殘差分析 模型進一步診斷與修正 小結(jié)模型簡介 生活中發(fā)生的許多現(xiàn)象都不是獨立的，而是相互作用、相互影響的。一種結(jié)果的出現(xiàn)往往是多個因素、多個環(huán)節(jié)共同作用的結(jié)果。拋開其他因素，僅考察其中一個影響因素對結(jié)果的影響，所得出的結(jié)論是片面的，甚至可能是錯誤的。 本章所要討論的問題是如何同時考慮多個因素對同一結(jié)果的影響。此時，因變量只有一個，也稱反響變量，常用y表示。自變量也稱解釋變量，有多個。模型簡介 多重線性回歸模型其中，j是偏回歸系數(shù)Partial regression coefficient，它表示在其它自變量固定不變的情況下，Xj每改

2、變一個測量單位時所引起的應(yīng)變量Y的平均改變量，p為自變量的個數(shù)，為殘差，獨立服從 N0，2分布。 自變量與因變量之間存在線性關(guān)系，可以通過繪制“散點圖矩陣予以考察； 各觀測間相互獨立； 殘差服從正態(tài)分布； 方差齊性。模型簡介應(yīng)用條件 多重線性回歸模型使用最小二乘法來解決方程的估計和檢驗問題。簡單分析實例例1 為研究男性高血壓患者血壓與年齡、身高、體重等變量的關(guān)系，隨機測量了32名40歲以上男性的血壓y、年齡x1、體重指數(shù)x2, 試建立多重線性回歸方程。數(shù)據(jù)文件見mreg2.sav。簡單分析實例初步分析初步分析：與簡單線性回歸相類似，先繪制散點圖，以便在進行回歸分析之前了解各變量之間是否存在線性

3、關(guān)系。本例有兩個自變量與一個反響變量，繪制散點圖矩陣，如下。 繪制散點圖矩陣簡單分析實例初步分析簡單分析實例簡單分析實例簡單分析實例結(jié)果分析 給出了自變量進入模型的方式，此處尚未涉及變量篩選問題，因為兩個變量是被強行納入模型的Method為Enter，當(dāng)然就不存在剔除變量的事情了。簡單分析實例結(jié)果分析 模型擬合優(yōu)度情況的檢驗，結(jié)果顯示，復(fù)相關(guān)系數(shù)為0.840，決定系數(shù)為0.706，調(diào)整的決定系數(shù)為0.686，還輸出了剩余標(biāo)準(zhǔn)差。簡單分析實例結(jié)果分析 回歸模型的假設(shè)檢驗結(jié)果，顯示F34.808，P0.001，說明所建立的回歸模型是有統(tǒng)計學(xué)意義的，至少有一個自變量的回歸系數(shù)不為0。簡單分析實例結(jié)果

4、分析 給出了模型的常數(shù)項以及兩個自變量的偏回歸系數(shù)及其檢驗結(jié)果，可以寫出回歸方程如下：Y 54.798 +1.379x1 +4.513x2主要結(jié)果 SPSS 結(jié)果中輸出偏回歸系數(shù)的同時，也輸出了各自的標(biāo)準(zhǔn)偏回歸系數(shù)。年齡的標(biāo)準(zhǔn)化偏回歸系數(shù)為0.664，體重指數(shù)的標(biāo)準(zhǔn)化偏回歸系數(shù)為0.247，因此，可以認(rèn)為，年齡對血壓的影響比體重指數(shù)對血壓的影響大。簡單分析實例結(jié)果分析例2 仍以例1的資料為例，試作逐步回歸分析。數(shù)據(jù)文件見mreg2.sav。逐步回歸逐步回歸逐步回歸逐步回歸 輸出SPSS在逐步回歸過程中擬合的步驟中，每一步引入模型的變量情況,此處只有一個變量引入。結(jié)果分析逐步回歸結(jié)果分析 分別輸

5、出擬合的模型中，擬合優(yōu)度情況的檢驗結(jié)果：復(fù)相關(guān)系數(shù)、決定系數(shù)、調(diào)整的決定系數(shù)以及剩余標(biāo)準(zhǔn)差。本例只有一步，故結(jié)果很簡單，僅擬合一個模型。逐步回歸結(jié)果分析 給出各個擬合模型的常數(shù)項以及各自變量的偏回歸系數(shù)、95可信區(qū)間及其檢驗結(jié)果此處為僅有一步的結(jié)果。逐步回歸結(jié)果分析 給出擬合模型過程中被剔除的變量情況及其檢驗結(jié)果此處為僅有一步。殘差分析非標(biāo)準(zhǔn)化殘差原始?xì)埐顦?biāo)準(zhǔn)化殘差Pearson殘差學(xué)生化殘差剔除殘差學(xué)生化剔除殘差 殘差種類殘差分析 模型適用條件的檢驗因變量與自變量之間存在線性關(guān)系的檢驗以例1為例：年齡殘差分析 模型適用條件的檢驗因變量與自變量之間存在線性關(guān)系的檢驗以例1為例：體重指數(shù)殘差分析

6、 模型適用條件的檢驗獨立性的檢驗通過Linear Regression過程的statistics按鈕中的Durbin-Watson檢驗進行判斷。假設(shè)自變量數(shù)少于4個，統(tǒng)計量接近2，根本上可以肯定殘差間相互獨立。仍以例1為例，結(jié)果如下 。殘差分析 模型適用條件的檢驗方差齊性的檢驗殘差分析 模型適用條件的檢驗正態(tài)性的檢驗繪制殘差的直方圖及PP圖的復(fù)選框殘差分析 模型適用條件的檢驗正態(tài)性的檢驗結(jié)果模型的進一步診斷與修正 強影響點的識別1.殘差：以標(biāo)準(zhǔn)化殘差最常用。一般地，標(biāo)準(zhǔn)化殘差大于3時幾乎可以肯定該條記錄為強影響點。在Linear Regression過程中statistics按鈕提供了Case

7、wise diagnostics復(fù)選框用于在output窗口中輸出可能為強影響點的記錄編號和相關(guān)統(tǒng)計量。模型的進一步診斷與修正仍以例2為例，沒有記錄標(biāo)準(zhǔn)化殘差大于3，可要求輸出2倍標(biāo)準(zhǔn)差以內(nèi)的殘差值，結(jié)果如下： 強影響點的識別模型的進一步診斷與修正2.強影響點統(tǒng)計量：在SPSS中，可以通過Save子對話框中的Influence Statistics復(fù)選框，提供一系列用于強影響點識別的統(tǒng)計量此處略。 強影響點的識別 強影響點的處理模型的進一步診斷與修正 考慮是否錄入錯誤，如果是，予以改正；否那么予以刪除； 進行穩(wěn)健回歸，如加權(quán)最小二乘法； 進行非參數(shù)回歸等。 多重共線性的識別模型的進一步診斷與修

8、正多重共線性：是指自變量間存在相關(guān)關(guān)系，即一個自變量可以用其他一個或幾個自變量的線性表達式進行表示。有以下表現(xiàn)形式： 整個模型的方差分析結(jié)果為P ; 專業(yè)上認(rèn)為應(yīng)該有統(tǒng)計學(xué)意義的自變量檢驗結(jié)果卻無統(tǒng)計學(xué)意義； 自變量的偏回歸系數(shù)取值大小甚至符號明顯與實際情況違背，難以解釋； 增加或刪除一條記錄或一個自變量，偏回歸系數(shù)發(fā)生很大變化。 多重共線性的識別模型的進一步診斷與修正可以通過statistics 子對話框中的Collinearity Diagnostics 復(fù)選框予以實現(xiàn)。其中提供了以下統(tǒng)計量： 容忍度 方差膨脹因子 條件指數(shù) 變異構(gòu)成 多重共線性的識別例2分析結(jié)果模型的進一步診斷與修正 多重共線性的處理模型的進一步診斷與修正 逐步回歸當(dāng)共線性很嚴(yán)重時，仍然不行 ； 嶺回歸為有偏估計 ； 主成分回歸； 路徑分析。小 結(jié) 回歸模型的建立步驟回歸分析已經(jīng)被應(yīng)用的非常廣泛，作為一個嚴(yán)肅的統(tǒng)計學(xué)模型，它有著自己嚴(yán)格的適用條件，在擬合時需要不斷進行這些適用條件的判斷。但是，許多使用者往往無視了這一點，只是把模型做完就好了。這不僅浪費信息，更有可能得出錯誤的結(jié)論。這里給出一個比較適宜的回歸分析操作步驟，供大家參考。小 結(jié) 回歸模型的建