應(yīng)用統(tǒng)計(jì)學(xué)多重線性回歸模型課件

1、多重線性回歸模型多重線性回歸模型 內(nèi)容提要 模型簡(jiǎn)介 簡(jiǎn)單實(shí)例分析 逐步回歸 殘差分析 模型進(jìn)一步診斷與修正 小結(jié) 內(nèi)容提要 模型簡(jiǎn)介模型簡(jiǎn)介 生活中發(fā)生的許多現(xiàn)象都不是獨(dú)立的，而是相互作用、相互影響的。一種結(jié)果的出現(xiàn)往往是多個(gè)因素、多個(gè)環(huán)節(jié)共同作用的結(jié)果。拋開其他因素，僅考察其中一個(gè)影響因素對(duì)結(jié)果的影響，所得出的結(jié)論是片面的，甚至可能是錯(cuò)誤的。 本章所要討論的問(wèn)題是如何同時(shí)考慮多個(gè)因素對(duì)同一結(jié)果的影響。此時(shí)，因變量只有一個(gè)，也稱反應(yīng)變量，常用y表示。自變量也稱解釋變量，有多個(gè)。模型簡(jiǎn)介 生活中發(fā)生的許多現(xiàn)象都不是獨(dú)立的，而是相互作用、相模型簡(jiǎn)介 多重線性回歸模型其中，j是偏回歸系數(shù)（Part

2、ial regression coefficient），它表示在其它自變量固定不變的情況下，Xj每改變一個(gè)測(cè)量單位時(shí)所引起的應(yīng)變量Y的平均改變量，p為自變量的個(gè)數(shù)，為殘差，獨(dú)立服從 N（0，2）分布。模型簡(jiǎn)介 多重線性回歸模型其中，j是偏回歸系數(shù)（Parti 自變量與因變量之間存在線性關(guān)系，可以通過(guò)繪制“散點(diǎn)圖矩陣”予以考察； 各觀測(cè)間相互獨(dú)立； 殘差服從正態(tài)分布； 方差齊性。模型簡(jiǎn)介應(yīng)用條件 多重線性回歸模型使用最小二乘法來(lái)解決方程的估計(jì)和檢驗(yàn)問(wèn)題。 自變量與因變量之間存在線性關(guān)系，可以通過(guò)繪制“散點(diǎn)圖矩陣”簡(jiǎn)單分析實(shí)例例1 為研究男性高血壓患者血壓與年齡、身高、體重等變量的關(guān)系，隨機(jī)測(cè)量了

3、32名40歲以上男性的血壓y、年齡x1、體重指數(shù)x2, 試建立多重線性回歸方程。數(shù)據(jù)文件見mreg2.sav。簡(jiǎn)單分析實(shí)例例1 為研究男性高血壓患者血壓與年齡、身高、體簡(jiǎn)單分析實(shí)例初步分析初步分析：與簡(jiǎn)單線性回歸相類似，先繪制散點(diǎn)圖，以便在進(jìn)行回歸分析之前了解各變量之間是否存在線性關(guān)系。本例有兩個(gè)自變量與一個(gè)反應(yīng)變量，繪制散點(diǎn)圖矩陣，如下。簡(jiǎn)單分析實(shí)例初步分析初步分析： 繪制散點(diǎn)圖矩陣簡(jiǎn)單分析實(shí)例初步分析 繪制散點(diǎn)圖矩陣簡(jiǎn)單分析實(shí)例初步分析簡(jiǎn)單分析實(shí)例簡(jiǎn)單分析實(shí)例簡(jiǎn)單分析實(shí)例簡(jiǎn)單分析實(shí)例簡(jiǎn)單分析實(shí)例結(jié)果分析 給出了自變量進(jìn)入模型的方式，此處尚未涉及變量篩選問(wèn)題，因?yàn)閮蓚€(gè)變量是被強(qiáng)行納入模型的（

4、Method為Enter），當(dāng)然就不存在剔除變量的事情了。簡(jiǎn)單分析實(shí)例結(jié)果分析 給出了自變量進(jìn)入模型的方式，此處尚未涉簡(jiǎn)單分析實(shí)例結(jié)果分析 模型擬合優(yōu)度情況的檢驗(yàn)，結(jié)果顯示，復(fù)相關(guān)系數(shù)為0.840，決定系數(shù)為0.706，調(diào)整的決定系數(shù)為0.686，還輸出了剩余標(biāo)準(zhǔn)差。簡(jiǎn)單分析實(shí)例結(jié)果分析 模型擬合優(yōu)度情況的檢驗(yàn)，結(jié)果顯示，復(fù)相簡(jiǎn)單分析實(shí)例結(jié)果分析 回歸模型的假設(shè)檢驗(yàn)結(jié)果，顯示F34.808，P3的觀測(cè)為異常值。探測(cè)自變量中強(qiáng)影響點(diǎn)：杠桿值,hij大于2或3倍的平均值即為異常；庫(kù)克距離1為異常；標(biāo)準(zhǔn)化回歸系數(shù)和標(biāo)準(zhǔn)化預(yù)測(cè)值的變化；模型的進(jìn)一步診斷與修正強(qiáng)影響點(diǎn)的診斷樣本中的異常值和強(qiáng)影響點(diǎn)是指遠(yuǎn)

5、離均值的數(shù)據(jù)點(diǎn)。 強(qiáng)影響點(diǎn)的處理模型的進(jìn)一步診斷與修正 考慮是否錄入錯(cuò)誤，如果是，予以改正；否則予以刪除強(qiáng)影響點(diǎn)記錄； 進(jìn)行穩(wěn)健回歸，如最小一乘法和加權(quán)最小二乘法； 進(jìn)行非參數(shù)回歸及變量變換等。 強(qiáng)影響點(diǎn)的處理模型的進(jìn)一步診斷與修正 考慮是否錄入錯(cuò)誤， 多重共線性的識(shí)別模型的進(jìn)一步診斷與修正多重共線性：是指自變量間存在相關(guān)關(guān)系，即一個(gè)自變量可以用其他一個(gè)或幾個(gè)自變量的線性表達(dá)式進(jìn)行表示。有以下表現(xiàn)形式： 整個(gè)模型的方差分析結(jié)果為P ; 專業(yè)上認(rèn)為應(yīng)該有統(tǒng)計(jì)學(xué)意義的自變量檢驗(yàn)結(jié)果卻無(wú)統(tǒng)計(jì)學(xué)意義； 自變量的偏回歸系數(shù)取值大小甚至符號(hào)明顯與實(shí)際情況違背，難以解釋； 增加或刪除一條記錄或一個(gè)自變量，偏

6、回歸系數(shù)發(fā)生很大變化。 多重共線性的識(shí)別模型的進(jìn)一步診斷與修正多重共線性：是指自變 多重共線性的識(shí)別模型的進(jìn)一步診斷與修正可以通過(guò)statistics 子對(duì)話框中的Collinearity Diagnostics 復(fù)選框予以實(shí)現(xiàn)。其中提供了以下統(tǒng)計(jì)量： 容忍度 方差膨脹因子 條件指數(shù) 變異構(gòu)成 多重共線性的識(shí)別模型的進(jìn)一步診斷與修正可以通過(guò)statis容忍度(Toli=1-Ri2)：Ri2是自變量xi與其他自變量間的決定系數(shù)。方差膨脹因子（VIF=1/Toli）10，表明共線性嚴(yán)重特征根：最大特征根遠(yuǎn)遠(yuǎn)大于其他特征根，說(shuō)明自變量間有大量的信息重疊。條件指數(shù)ki=SQRT（ m / i ）：10

7、，表明存在共線性。模型的進(jìn)一步診斷與修正容忍度(Toli=1-Ri2)：Ri2是自變量xi與其他自變 多重共線性的識(shí)別（例2分析結(jié)果）模型的進(jìn)一步診斷與修正 多重共線性的識(shí)別（例2分析結(jié)果）模型的進(jìn)一步診斷與修正 多重共線性的處理模型的進(jìn)一步診斷與修正 增加樣本量逐步回歸（當(dāng)共線性很嚴(yán)重時(shí)，仍然不行） ； 嶺回歸（ Ridge Regression，為有偏估計(jì)） ； 主成分回歸； 路徑分析。 多重共線性的處理模型的進(jìn)一步診斷與修正 增加樣本量小 結(jié) 回歸模型的建立步驟回歸分析已經(jīng)被應(yīng)用的非常廣泛，作為一個(gè)嚴(yán)肅的統(tǒng)計(jì)學(xué)模型，它有著自己嚴(yán)格的適用條件，在擬合時(shí)需要不斷進(jìn)行這些適用條件的判斷。但是，

8、許多使用者往往忽視了這一點(diǎn)，只是把模型做完就好了。這不僅浪費(fèi)信息，更有可能得出錯(cuò)誤的結(jié)論。這里給出一個(gè)比較合適的回歸分析操作步驟，供大家參考。小 結(jié) 回歸模型的建立步驟回歸分析已經(jīng)被應(yīng)用的非常廣泛，作為小 結(jié) 回歸模型的建立步驟 繪制散點(diǎn)圖，觀察變量間的趨勢(shì)。（不能隨意省略） 考察數(shù)據(jù)分布，進(jìn)行必要的預(yù)處理。 進(jìn)行直線回歸分析。 殘差分析。（最重要和直觀的方法是圖示法） 強(qiáng)影響點(diǎn)的診斷和多重共線性的判斷。小 結(jié) 回歸模型的建立步驟 繪制散點(diǎn)圖，觀察變量間的趨勢(shì)。小 結(jié)建立一個(gè)“完美”的多重線性回歸模型是一個(gè)需要反復(fù)進(jìn)行的過(guò)程，不能指望一蹴而就。小 結(jié)建立一個(gè)“完美”的多重線性回歸模型是一個(gè)需要

9、反復(fù)進(jìn)行的基本操作:Analyze-Regression-LinearDependent:因變量Independent:自變量Method:自變量篩選方法,默認(rèn)為EnterBlock:不同變量有不同篩選方法時(shí)可定義BlockSelection Variable:變量值滿足條件的樣本才參與分析Case Labels:指定圖示中數(shù)據(jù)點(diǎn)的標(biāo)志變量基本操作:Analyze-Regression-Linear應(yīng)用統(tǒng)計(jì)學(xué)多重線性回歸模型課件應(yīng)用統(tǒng)計(jì)學(xué)多重線性回歸模型課件應(yīng)用統(tǒng)計(jì)學(xué)多重線性回歸模型課件應(yīng)用統(tǒng)計(jì)學(xué)多重線性回歸模型課件應(yīng)用統(tǒng)計(jì)學(xué)多重線性回歸模型課件對(duì)于呈非線性關(guān)系的變量之間的統(tǒng)計(jì)關(guān)系進(jìn)行大體估計(jì)

10、（但經(jīng)變量變換可轉(zhuǎn)化為線性關(guān)系本質(zhì)線性關(guān)系）。繪制擬合曲線并進(jìn)行預(yù)測(cè)。做為線性回歸分析的預(yù)分析步驟：選擇變量變換的方法。曲線估計(jì)對(duì)于呈非線性關(guān)系的變量之間的統(tǒng)計(jì)關(guān)系進(jìn)行大體估計(jì)（但經(jīng)變量變常用的幾種非線性模型（一）拋物線模型(二次曲線模型)具體形式為：式中0、1 和2 為待估計(jì)參數(shù)。判斷某種現(xiàn)象是否適合應(yīng)用拋物線，可以利用“差分法”。其步驟如下：首先將樣本觀察值按X 的大小順序排列，然后按以下兩式計(jì)算X 和Y 的一階差分Xt、Yt 以及Y 的二階差分Y2t。 Xt=Xt-Xt-1; Yt=Yt-Yt-1 Y2t=Yt-Yt-1當(dāng)Xt 接近于一常數(shù)，而Y2t 的絕對(duì)值接近于常數(shù)時(shí)，Y 與X 之間

11、的關(guān)系可以用拋物線模型近似加以反映。常用的幾種非線性模型（一）拋物線模型(二次曲線模型)（二）雙曲線模型假如Y 隨著X 的增加而增加（或減少），最初增加（或減少）很快，以后逐漸放慢并趨于穩(wěn)定，則可以選用雙曲線來(lái)擬合。雙曲線模型形式是：Y=0+1 (1/X) +（二）雙曲線模型假如Y 隨著X 的增加而增加（或減少），最初（三）冪函數(shù)模型冪函數(shù)模型的一般形式是：這類函數(shù)的優(yōu)點(diǎn)在于：方程中的參數(shù)可以直接反映因變量Y 對(duì)于某一個(gè)自變量的彈性。所謂Y 對(duì)于Xj 的彈性，是指在其他情況不變的條件下，Xj 變動(dòng)時(shí)所引起Y 變動(dòng)的百分比。 彈性是一個(gè)無(wú)量綱的數(shù)值，它是經(jīng)濟(jì)定量分析中常用的一個(gè)尺度。它在生產(chǎn)函數(shù)

12、分析和需求函數(shù)分析中，得到了廣泛的應(yīng)用。（三）冪函數(shù)模型冪函數(shù)模型的一般形式是：（四）指數(shù)函數(shù)模型指數(shù)函數(shù)模型為：這種曲線被廣泛應(yīng)用于描述社會(huì)經(jīng)濟(jì)現(xiàn)象的變動(dòng)趨勢(shì)。例如產(chǎn)值、產(chǎn)量按一定比率增長(zhǎng),成本、原材料消耗按一定比例降低。（四）指數(shù)函數(shù)模型指數(shù)函數(shù)模型為：(五)邏輯曲線模型邏輯曲線的方程式如下：邏輯曲線具有以下性質(zhì)。Y 是X 的非減函數(shù)，開始時(shí)隨著X 的增加，Y 的增長(zhǎng)速度也逐漸加快，但是Y 達(dá)到一定水平之后， 其增長(zhǎng)速度又逐漸放慢。最后無(wú)論X 如何增加，Y 只會(huì)趨近于L,而永遠(yuǎn)不會(huì)超過(guò)L。(五)邏輯曲線模型邏輯曲線的方程式如下：可擬合的曲線本質(zhì)線性關(guān)系：形式上呈非線性關(guān)系，但可通過(guò)變量變換

13、化為線性關(guān)系。擬合原則：一般來(lái)說(shuō)，涉及的變量越多，變量的冪次越高，計(jì)算量就越大，誤差也將越大。一般盡量避免采用多元高次多項(xiàng)式。能擬合的曲線見下頁(yè)可擬合的曲線本質(zhì)線性關(guān)系：形式上呈非線性關(guān)系，但可通過(guò)變量變應(yīng)用統(tǒng)計(jì)學(xué)多重線性回歸模型課件基本操作：AnalyzeRegressionCurve Estimation基本操作：AnalyzeRegressionCurve Independent: X2Dependent Mth Rsq d.f. F Sigf b0 b1 b2 b3 X5 QUA .987 10 382.64 .000 252.698 -.1475 2.5E-05 X5 CUB .99

14、4 9 516.46 .000 -41.314 .0754 -2.E-05 2.6E-09 X5 COM .995 11 2086.35 .000 20.9550 1.0004 X5 POW .954 11 229.58 .000 3.6E-05 1.8460應(yīng)用統(tǒng)計(jì)學(xué)多重線性回歸模型課件應(yīng)用統(tǒng)計(jì)學(xué)多重線性回歸模型課件例：打開年人均消費(fèi)支出和教育數(shù)據(jù)，對(duì)居民在外就餐的趨勢(shì)進(jìn)行分析,預(yù)測(cè)2003年和2004年度的居民在外就餐的費(fèi)用。例：打開年人均消費(fèi)支出和教育數(shù)據(jù)，對(duì)居民在外就餐的趨勢(shì)進(jìn)操作：GraphsSequence操作：GraphsSequence應(yīng)用統(tǒng)計(jì)學(xué)多重線性回歸模型課件Depend

15、ent variable. X4 Method. EXPONENTListwise Deletion of Missing DataMultiple R .96856R Square .93810Adjusted R Square .93501Standard Error .26294 Analysis of Variance: DF Sum of Squares Mean SquareRegression 1 20.956004 20.956004Residuals 20 1.382742 .069137F = 303.10787 Signif F = .0000- Variables in

16、 the Equation -Variable B SE B Beta T Sig TTime .153837 .008836 .968556 17.410 .0000(Constant) 12.521790 1.751183 7.150 .0000The following new variables are being created: Name Label FIT_6 Fit for X4 from CURVEFIT, MOD_6 EXPONENTIAL1 new cases have been added.Dependent variable. X4 二項(xiàng)Logistic 回歸適用于進(jìn)

17、行二分類因變量的影響因素分析用于控制混雜因素，描述自變量對(duì)因變量的獨(dú)立作用下的影響程度用于預(yù)測(cè)或判別分析二項(xiàng)Logistic 回歸適用于進(jìn)行二分類因變量的影響因素分與線性回歸的不同之處被解釋變量為0/1二分類定性變量時(shí)，不適合線性回歸模型分析：被解釋變量取值范圍不一致殘差為二值離散型分布而非正態(tài)分布等方差性不再滿足與線性回歸的不同之處被解釋變量為0/1二分類定性變量時(shí)，不適二項(xiàng)Logistic回歸將yi=1的概率值直接擬合線性回歸模型：Py=1=0+ixi可對(duì)概率P值做變量變換，使之取值范圍為- +解釋變量與被解釋變量概率值的實(shí)際關(guān)系一般呈增長(zhǎng)曲線發(fā)生比（Odds）=p/(1-p)Logit

18、P轉(zhuǎn)換:ln() = ln(p/(1-p) = 0+ixi二項(xiàng)Logistic回歸將yi=1的概率值直接擬合線性回歸模i為解釋變量增加一個(gè)單位時(shí), ln()的變化量經(jīng)變換，= exp(0+ixi)固定其他變量,研究變量x1的作用exp(i)稱為固定其他變量的作用時(shí),變量xi增加一個(gè)單位引起的發(fā)生比之比(Odds Ratio,OR).二項(xiàng)Logistic回歸-參數(shù)意義i為解釋變量增加一個(gè)單位時(shí), ln()的變化量二項(xiàng)Log最大似然估計(jì)法，通過(guò)最大化對(duì)數(shù)似然值(log likelihood)估計(jì)參數(shù)。最大似然估計(jì)法是一種迭代算法，它以一個(gè)預(yù)測(cè)估計(jì)值作為參數(shù)的初始值，根據(jù)算法確定能增大對(duì)數(shù)似然值的參

19、數(shù)的方向和變動(dòng)。估計(jì)了該初始函數(shù)后，對(duì)殘差進(jìn)行檢驗(yàn)并用改進(jìn)的函數(shù)進(jìn)行重新估計(jì)，直到收斂為止（即對(duì)數(shù)似然不再顯著變化）。二項(xiàng)Logistic回歸-參數(shù)估計(jì)最大似然估計(jì)法，通過(guò)最大化對(duì)數(shù)似然值(log likelih-2 對(duì)數(shù)似然值(-2Log Likelihood，-2LL)似然(likelihood)即概率，反映該模型能較好地?cái)M合樣本數(shù)據(jù)的可能性。對(duì)數(shù)似然值(log likelihood，LL)是它的自然對(duì)數(shù)形式，取值在0 至-之間。對(duì)數(shù)似然值通過(guò)最大似然估計(jì)的迭代算法計(jì)算而得。LL最大為0，越大意味著回歸方程的擬合程度越好。因?yàn)閿?shù)學(xué)上較方便，常計(jì)算-2LL。二項(xiàng)Logistic回歸-檢驗(yàn)統(tǒng)計(jì)

20、量-2 對(duì)數(shù)似然值(-2Log Likelihood，-2LL比分檢驗(yàn)（Score Test）以未包含某個(gè)（或幾個(gè)）參數(shù)的模型為基礎(chǔ)，保留模型中參數(shù)的估計(jì)值，并假設(shè)新增加的參數(shù)為0，計(jì)算似然函數(shù)的一階偏導(dǎo)數(shù)及信息矩陣，二者乘積即為比分檢驗(yàn)統(tǒng)計(jì)量S，樣本量大時(shí)，S服從卡方分布，比分檢驗(yàn)結(jié)果一般與似然比檢驗(yàn)一致。二項(xiàng)Logistic回歸-檢驗(yàn)統(tǒng)計(jì)量比分檢驗(yàn)（Score Test）二項(xiàng)Logistic回歸-檢回歸方程的顯著性檢驗(yàn) 似然比卡方檢驗(yàn)H0:各回歸系數(shù)同時(shí)為0檢驗(yàn)統(tǒng)計(jì)量:似然比卡方服從近似卡方分布L0為解釋變量未引入方程時(shí)的對(duì)數(shù)似然函數(shù)值, L為解釋變量引入方程后的對(duì)數(shù)似然函數(shù)值.回歸方程的

21、顯著性檢驗(yàn) 似然比卡方檢驗(yàn)H0:各回歸系數(shù)同時(shí)回歸方程的擬合優(yōu)度檢驗(yàn)回歸方程能夠解釋的被解釋變量變異程度越高,擬合優(yōu)度越高.Cox & Snell R2統(tǒng)計(jì)量= 1-(L0/L)2/nNaglkerke R2= Cox & Snell R2/(1-(L0)2/n)，取值01回歸方程預(yù)測(cè)值與實(shí)際值之間的吻合程度,總體預(yù)測(cè)準(zhǔn)確率越高,擬合優(yōu)度越高.錯(cuò)判矩陣Hosmer-Lemeshow統(tǒng)計(jì)量服從n-2個(gè)自由度的卡方分布:當(dāng)自變量較多且多為連續(xù)性變量時(shí)殘差分析回歸方程的擬合優(yōu)度檢驗(yàn)回歸方程能夠解釋的被解釋變量變異程度越回歸系數(shù)的顯著性檢驗(yàn)H0:i=0檢驗(yàn)統(tǒng)計(jì)量:Wald統(tǒng)計(jì)量服從近似卡方分布Waldi=(i/Si)2Wald檢驗(yàn)統(tǒng)計(jì)量的缺點(diǎn)：它考慮因素的綜合作用，當(dāng)因素間存在多重共線性的時(shí)候，結(jié)果不可靠，較不宜于拒絕零假設(shè)，使得本應(yīng)保留在方程中的變量未能保留。當(dāng)回歸系數(shù)很大時(shí)，Wald統(tǒng)計(jì)量存在一定偏差?；貧w系數(shù)的顯著性檢驗(yàn)H0:i=0虛擬變量回歸虛擬變量(啞變量,dummy variable):對(duì)于模型中的分類自變量,如有序或無(wú)序多分類變量,其值間距離并不相等,因此不能用一個(gè)回歸系數(shù)表示其影響.必須轉(zhuǎn)化為虛擬變量參與分析如變量X分為K類,則生成K-1個(gè)虛擬變量原變量X新的啞變量VxaVxbA10B01