多重線性回歸分析

多重線性回歸分析第一頁(yè)，共六十二頁(yè)，2022年，8月28日2內(nèi)容基本原理方法簡(jiǎn)介分析步驟幾點(diǎn)補(bǔ)充第二頁(yè)，共六十二頁(yè)，2022年，8月28日3一、方法簡(jiǎn)介

1.1分析目的與方法選擇研究一個(gè)因變量與一個(gè)自變量間的線性關(guān)系時(shí)簡(jiǎn)單線性回歸分析研究一個(gè)因變量與多個(gè)自變量間的線性關(guān)系時(shí)多重線性回歸分析第三頁(yè)，共六十二頁(yè)，2022年，8月28日4一、方法簡(jiǎn)介1.2概念用回歸方程定量地刻畫一個(gè)因變量與多個(gè)自變量之間的線性依存關(guān)系，稱為多重線性回歸分析（multiplelinearregressionanalysis）。自變量是相互獨(dú)立的連續(xù)型變量或分類變量。

第四頁(yè)，共六十二頁(yè)，2022年，8月28日一、方法簡(jiǎn)介1.3數(shù)據(jù)結(jié)構(gòu)表1進(jìn)行多重線性回歸分析資料的數(shù)據(jù)結(jié)構(gòu)5編號(hào)X1X2…XkY1X11X12…X1kY12X21X22…X2kY2：：：：：nXn1Xn2…XnkYn第五頁(yè)，共六十二頁(yè)，2022年，8月28日6二、基本原理

2.1原理簡(jiǎn)介多重線性回歸模型：

Y=b0+b1X1+b2X2+…+bkXk+e=bX+e

其中，bj(j=0,1,2…,k)為未知參數(shù)，e為隨機(jī)誤差項(xiàng)。第六頁(yè)，共六十二頁(yè)，2022年，8月28日7二、基本原理多重線性回歸模型中包含多個(gè)自變量，它們同時(shí)對(duì)因變量Y發(fā)生作用。

若要考察一個(gè)自變量對(duì)Y

的影響，就必須假設(shè)其他自變量保持不變。因此，多重線性回歸模型中的回歸系數(shù)為偏回歸系數(shù)。它反映的是當(dāng)模型中的其他自變量不變時(shí)，其中一個(gè)自變量對(duì)因變量Y的均值的影響。第七頁(yè)，共六十二頁(yè)，2022年，8月28日8二、基本原理

2.2前提條件

多重線性回歸分析要求資料滿足線性(Linear)、獨(dú)立性(Independence)、正態(tài)性(Normality)和方差齊性(Equalvariance)，即LINE條件。

除此之外，還要求多個(gè)自變量之間相關(guān)性不要太強(qiáng)。

第八頁(yè)，共六十二頁(yè)，2022年，8月28日9二、基本原理

2.2前提條件線性——指自變量與因變量之間的關(guān)系是線性的獨(dú)立性——指各觀測(cè)值之間是相互獨(dú)立的正態(tài)性——指自變量取不同值時(shí)，因變量服從正

態(tài)分布方差齊性——指自變量取不同值時(shí)，因變量的方

差相等第九頁(yè)，共六十二頁(yè)，2022年，8月28日10三、分析步驟1.基本任務(wù)

求出模型中參數(shù)的估計(jì)值，對(duì)模型和參數(shù)進(jìn)行假設(shè)檢驗(yàn)；對(duì)自變量進(jìn)行共線性診斷，對(duì)觀測(cè)值進(jìn)行異常值診斷；結(jié)合統(tǒng)計(jì)學(xué)知識(shí)和專業(yè)知識(shí)，對(duì)回歸方程進(jìn)行合理的解釋，并加以應(yīng)用。

第十頁(yè)，共六十二頁(yè)，2022年，8月28日11三、分析步驟2.具體步驟2.1回歸參數(shù)估計(jì)

多重線性回歸分析的參數(shù)估計(jì)，常采用最小二乘法(OLS)進(jìn)行。

參數(shù)估計(jì)值為：第十一頁(yè)，共六十二頁(yè)，2022年，8月28日12三、分析步驟2.具體步驟2.2模型檢驗(yàn)

根據(jù)方差分析的思想，將總的離均差平方和SS總分解為回歸平方和SS回和殘差平方和SS殘兩部分。

SS總的自由度為n-1，SS回的自由度為k，SS殘的自由度為n-k-1。第十二頁(yè)，共六十二頁(yè)，2022年，8月28日SS總=SS回歸+SS殘差SS總(總平方和)v總=n-1{SS回歸(回歸平方和)v回歸=1{SS殘差(殘差平方和)v殘差=n-p-1{v總=v回歸+v殘差自變量的個(gè)數(shù)第十三頁(yè)，共六十二頁(yè)，2022年，8月28日14三、分析步驟2.具體步驟2.2模型檢驗(yàn)

模型的顯著性檢驗(yàn)步驟為：第一步，建立檢驗(yàn)假設(shè)。H0：b1=b2=…=bk=0H1:b1,b2,…,bk不同時(shí)為0第十四頁(yè)，共六十二頁(yè)，2022年，8月28日15三、分析步驟第二步，計(jì)算統(tǒng)計(jì)量F的值。第三步，確定P值，下統(tǒng)計(jì)學(xué)結(jié)論。根據(jù)檢驗(yàn)統(tǒng)計(jì)量F的值和自由度，確定其對(duì)應(yīng)的P值。若P>a，則接受H0，認(rèn)為回歸模型的系數(shù)全部為0；若P<a，則拒絕H0，接受H1，認(rèn)為回歸模型的系數(shù)不全為0。第十五頁(yè)，共六十二頁(yè)，2022年，8月28日16三、分析步驟2.具體步驟2.3參數(shù)檢驗(yàn)回歸方程有統(tǒng)計(jì)學(xué)意義，可以說(shuō)明整體上自變量對(duì)Y有影響，但并不意味著每個(gè)自變量對(duì)因變量的影響都有統(tǒng)計(jì)學(xué)意義?？疾旄鱾€(gè)自變量對(duì)因變量的影響，即檢驗(yàn)其系數(shù)是否為0。若某自變量對(duì)因變量的影響無(wú)統(tǒng)計(jì)學(xué)意義，可將其從模型中刪除，重新建立回歸方程。第十六頁(yè)，共六十二頁(yè)，2022年，8月28日17三、分析步驟對(duì)自變量Xi的系數(shù)是否為0進(jìn)行假設(shè)檢驗(yàn)，步驟為：第一步，建立檢驗(yàn)假設(shè)。H0：bi=0H1:bi≠0第十七頁(yè)，共六十二頁(yè)，2022年，8月28日18三、分析步驟第二步，計(jì)算檢驗(yàn)統(tǒng)計(jì)量。第三步，確定P值。根據(jù)自由度和臨界水平，查t分布表，可得雙側(cè)界值為ta/2(n-k-1)。若t>ta/2(n-k-1)或t<-ta/2(n-k-1)，則P<a。此時(shí)，拒絕H0，接受H1，認(rèn)為該回歸系數(shù)不等于0。反之，則接受H0，認(rèn)為該回歸系數(shù)為0。第十八頁(yè)，共六十二頁(yè)，2022年，8月28日19三、分析步驟2.具體步驟2.4變量篩選不是所有的自變量都對(duì)因變量的作用都有統(tǒng)計(jì)學(xué)意義。

故需要找到一個(gè)較好的回歸方程，使之滿足：方程內(nèi)的自變量對(duì)回歸都有統(tǒng)計(jì)學(xué)意義，方程外的自變量對(duì)回歸都無(wú)統(tǒng)計(jì)學(xué)意義。第十九頁(yè)，共六十二頁(yè)，2022年，8月28日20三、分析步驟這就是自變量的選擇問(wèn)題，或稱為變量篩選。選擇時(shí)，一要盡可能地不漏掉重要的自變量；二要盡可能地減少自變量的個(gè)數(shù)，保持模型的精簡(jiǎn)。就回歸方程而言，每個(gè)變量均有兩種可能性，即被選擇或被踢除。所以，所有可能的模型有2k個(gè)(k為自變量個(gè)數(shù))。自變量個(gè)數(shù)較多時(shí)，計(jì)算量過(guò)大。此時(shí)，需要一定的變量篩選方法。第二十頁(yè)，共六十二頁(yè)，2022年，8月28日全局擇優(yōu)法變量篩選

逐步選擇法校正決定系數(shù)R2選擇法Cp選擇法前進(jìn)法后退法逐步回歸法c第二十一頁(yè)，共六十二頁(yè)，2022年，8月28日22三、分析步驟2.4.1前進(jìn)法(FORWARD)回歸方程中變量從無(wú)到有依次選擇一個(gè)自變量進(jìn)入回歸方程，并根據(jù)該變量在回歸方程中的Ⅱ型離差平方和(SS2)計(jì)算F統(tǒng)計(jì)量及P值。當(dāng)P小于sle(規(guī)定的選變量進(jìn)入方程的臨界水平)則該變量入選，否則不能入選。第二十二頁(yè)，共六十二頁(yè)，2022年，8月28日23三、分析步驟當(dāng)回歸方程中變量少時(shí)某變量不符合入選標(biāo)準(zhǔn)，但隨著回歸方程中變量逐次增多時(shí),該變量就可能符合入選標(biāo)準(zhǔn)；這樣直到?jīng)]有變量可入選為止。具體而言，是從僅含常數(shù)項(xiàng)(即截距項(xiàng))的最簡(jiǎn)單模型開始，逐步在模型中添加自變量。

第二十三頁(yè)，共六十二頁(yè)，2022年，8月28日24三、分析步驟局限性：sle取值小時(shí)，可能沒(méi)有一個(gè)變量能入選；sle取值大時(shí)，開始選入的變量后來(lái)在新條件下不再進(jìn)行檢驗(yàn)，因而不能剔除后來(lái)變得無(wú)統(tǒng)計(jì)學(xué)意義的變量。

第二十四頁(yè)，共六十二頁(yè)，2022年，8月28日25三、分析步驟2.4.2后退法(BACKWARD)從模型中包含全部自變量開始，計(jì)算留在回歸方程中的各個(gè)自變量所產(chǎn)生的F統(tǒng)計(jì)量和P值，當(dāng)P值小于sls(規(guī)定的從方程中踢除變量的臨界水準(zhǔn))則將此變量保留在方程中。否則，從最大的P值所對(duì)應(yīng)的自變量開始逐一踢除，直到回歸方程中沒(méi)有變量可以被踢除時(shí)為止。

第二十五頁(yè)，共六十二頁(yè)，2022年，8月28日26三、分析步驟局限性：sls大時(shí)，任何一個(gè)自變量都不能被踢除；sls小時(shí)，開始被踢除的自變量后來(lái)在新條件下即使變得對(duì)因變量有較大的貢獻(xiàn)了，也不能再次被選入回歸方程并參與檢驗(yàn)。

第二十六頁(yè)，共六十二頁(yè)，2022年，8月28日27三、分析步驟2.4.3逐步回歸法(STEPWISE)此法是前進(jìn)法和后退法的結(jié)合。

回歸方程中的變量從無(wú)到有像前進(jìn)法那樣，根據(jù)F統(tǒng)計(jì)量和P值大小按sle水平?jīng)Q定該自變量是否入選。

第二十七頁(yè)，共六十二頁(yè)，2022年，8月28日28三、分析步驟當(dāng)回歸方程選入自變量后，又像后退法那樣，根據(jù)F統(tǒng)計(jì)量和P值按sls水平踢除無(wú)統(tǒng)計(jì)學(xué)意義的各自變量，依次類推。這樣直到?jīng)]有自變量可入選，也沒(méi)有自變量可被踢除或入選的自變量就是剛被剔除的自變量時(shí)，則停止逐步篩選過(guò)程。

第二十八頁(yè)，共六十二頁(yè)，2022年，8月28日29三、分析步驟2.4.3逐步回歸法

逐步回歸法有無(wú)符合納入標(biāo)準(zhǔn)的新變量納入新變量有無(wú)符合排除標(biāo)準(zhǔn)的變量踢除完成無(wú)有無(wú)有第二十九頁(yè)，共六十二頁(yè)，2022年，8月28日30三、分析步驟

逐步回歸法比前進(jìn)法和后退法都能更好地選出變量構(gòu)造模型，但它也有局限性：其一，當(dāng)有m個(gè)變量入選后，選第m＋1個(gè)變量時(shí)，對(duì)它來(lái)說(shuō)，前m個(gè)變量不一定是最佳組合；其二，選入或踢除自變量?jī)H以F值和P值作標(biāo)準(zhǔn)，完全沒(méi)考慮其它標(biāo)準(zhǔn)。

第三十頁(yè)，共六十二頁(yè)，2022年，8月28日31三、分析步驟2.4.4變量篩選方法的選擇究竟哪一種篩選變量的方法最好？這個(gè)問(wèn)題沒(méi)有絕對(duì)的定論。

一般來(lái)說(shuō)，逐步回歸法和最優(yōu)回歸子集法較好。對(duì)于一個(gè)給定的資料，可試用多種變量篩選的方法，結(jié)合以下幾條判斷原則，從中選擇最佳者。第三十一頁(yè)，共六十二頁(yè)，2022年，8月28日32三、分析步驟

其一，擬合的回歸方程在整體上有統(tǒng)計(jì)學(xué)意義；其二，回歸方程中各回歸參數(shù)的估計(jì)值的假設(shè)檢驗(yàn)結(jié)果都有統(tǒng)計(jì)學(xué)意義；其三，回歸方程中各回歸參數(shù)的估計(jì)值的正負(fù)號(hào)與其后的變量在專業(yè)上的含義相吻合；其四，根據(jù)回歸方程計(jì)算出因變量的所有預(yù)測(cè)值在專業(yè)上都有意義。其五，若有多個(gè)較好的多重線性回歸方程時(shí)，殘差平方和較小且多重線性回歸方程中所含的自變量的個(gè)數(shù)又較少者為最佳。第三十二頁(yè)，共六十二頁(yè)，2022年，8月28日33三、分析步驟2.5模型擬合效果評(píng)價(jià)2.5.1決定系數(shù)(R2)

即復(fù)(全)相關(guān)系數(shù)的平方，其值等于因變量觀測(cè)值與預(yù)測(cè)值之間簡(jiǎn)單相關(guān)系數(shù)的平方。計(jì)算公式為：

第三十三頁(yè)，共六十二頁(yè)，2022年，8月28日34三、分析步驟2.5模型擬合效果評(píng)價(jià)2.5.1決定系數(shù)(R2)

R2取值介于0到1之間，其含義為自變量能夠解釋因變量y變異的百分比。

R2越接近于1，說(shuō)明線性回歸對(duì)實(shí)際數(shù)據(jù)的擬合程度越好。

第三十四頁(yè)，共六十二頁(yè)，2022年，8月28日35三、分析步驟2.5模型擬合效果評(píng)價(jià)2.5.2校正決定系數(shù)(Rc2)

隨著模型中自變量個(gè)數(shù)的增加，決定系數(shù)R2將不斷增大，這不符合回歸模型中自變量個(gè)數(shù)盡可能少的原則。

第三十五頁(yè)，共六十二頁(yè)，2022年，8月28日36三、分析步驟2.5模型擬合效果評(píng)價(jià)2.5.2校正決定系數(shù)(Rc2)故在評(píng)價(jià)兩個(gè)包含不同個(gè)數(shù)自變量的回歸模型的擬合效果時(shí)，不能簡(jiǎn)單地用決定系數(shù)作為評(píng)價(jià)標(biāo)準(zhǔn)。此時(shí)，必須考慮回歸模型中自變量個(gè)數(shù)的影響。

第三十六頁(yè)，共六十二頁(yè)，2022年，8月28日37三、分析步驟2.5模型擬合效果評(píng)價(jià)2.5.2校正決定系數(shù)(Rc2)構(gòu)造校正決定系數(shù)，其公式為：

其中，n為樣本含量，p為模型中自變量個(gè)數(shù)。決定系數(shù)相同時(shí)，自變量個(gè)數(shù)越多，Rc2越小。

第三十七頁(yè)，共六十二頁(yè)，2022年，8月28日38三、分析步驟2.5模型擬合效果評(píng)價(jià)2.5.3AIC信息準(zhǔn)則

該準(zhǔn)則由日本學(xué)者赤池于1973年提出，廣泛應(yīng)用于時(shí)間序列分析中自回歸階數(shù)的確定，多重回歸、廣義線性回歸中自變量的篩選以及非線性回歸模型的比較和選優(yōu)。該統(tǒng)計(jì)量取值越小，反映模型擬合效果越好。

第三十八頁(yè)，共六十二頁(yè)，2022年，8月28日在進(jìn)行多重線性回歸分析時(shí)，除了要滿足LINE外，還要求各變量之間不能存在共線性，即各變量之間要相互獨(dú)立。為此，需要進(jìn)行共線性診斷；當(dāng)自變量均為隨機(jī)變量時(shí)，若它們之間高度相關(guān)，則稱變量間存在多重共線性(multicollinearity)；自變量之間不存在多重共線性，即稱其互相獨(dú)立。三、分析步驟2.6共線性診斷第三十九頁(yè)，共六十二頁(yè)，2022年，8月28日40三、分析步驟多重線性回歸分析中，可能會(huì)出現(xiàn)以下問(wèn)題：回歸方程的檢驗(yàn)有統(tǒng)計(jì)學(xué)意義，而各偏回歸系數(shù)的檢驗(yàn)均無(wú)統(tǒng)計(jì)學(xué)意義。偏回歸系數(shù)的估計(jì)值大小或其符號(hào)與實(shí)際情況和專業(yè)知識(shí)相違背，難以解釋。某個(gè)（些）與因變量關(guān)系密切的自變量，因?yàn)閰?shù)標(biāo)準(zhǔn)誤的估計(jì)值較大，相應(yīng)t值就會(huì)變得較小，造成其偏回歸系數(shù)無(wú)統(tǒng)計(jì)學(xué)意義。第四十頁(yè)，共六十二頁(yè)，2022年，8月28日41三、分析步驟導(dǎo)致這些問(wèn)題的原因可能有：(1)研究設(shè)計(jì)不夠合理；(2)資料收集存在問(wèn)題；(3)自變量間近似線性；(4)數(shù)據(jù)中存在異常點(diǎn)；(5)樣本少而自變量多。

第四十一頁(yè)，共六十二頁(yè)，2022年，8月28日42三、分析步驟何謂多重共線性？自變量間的近似線性關(guān)系，即是多重共線性。由于數(shù)據(jù)自身的特征，回歸模型中的自變量之間或多或少地存在一些相關(guān)性，這違反了自變量間相互獨(dú)立的假設(shè)條件，稱為多重共線性。

第四十二頁(yè)，共六十二頁(yè)，2022年，8月28日43三、分析步驟多重共線性的分類：(1)嚴(yán)重的多重共線性

此時(shí)，自變量之間存在著較高甚至完全的線性相關(guān)關(guān)系，雖然最小二乘法仍可應(yīng)用，但由于觀測(cè)誤差的穩(wěn)定性變差，所得的估計(jì)值可能面目全非。這類情況較為少見(jiàn)。(2)某種程度的多重共線性

此時(shí)，最小二乘法仍可獲得參數(shù)的無(wú)偏估計(jì)值，但參數(shù)的方差估計(jì)值將變得很大，導(dǎo)致估計(jì)精度下降，且無(wú)法判斷自變量對(duì)因變量的影響程度。第四十三頁(yè)，共六十二頁(yè)，2022年，8月28日例

研究胎兒受精齡Y/周與胎兒身長(zhǎng)X1/cm、頭圍X2/cm，體重X3/g之間的依存關(guān)系。顯然，此處的3個(gè)解釋變量X1、X2、X3之間存在著高度的共線性，X1、X2、X3兩項(xiàng)對(duì)Y的過(guò)分貢獻(xiàn)只能用X2項(xiàng)的負(fù)系數(shù)抵消，造成其專業(yè)意義無(wú)法解釋而出現(xiàn)悖論。三、分析步驟第四十四頁(yè)，共六十二頁(yè)，2022年，8月28日相關(guān)系數(shù)Correlation容忍度Torelance方差膨脹因子VIF條件數(shù)Conditionindex方差比例Varianceproportions,VP

方差相關(guān)矩陣VarianceMatrix可用來(lái)判斷變量之間的獨(dú)立性、或說(shuō)多重共線性三、分析步驟第四十五頁(yè)，共六十二頁(yè)，2022年，8月28日如果兩個(gè)自變量之間的相關(guān)系數(shù)超過(guò)0.9，則會(huì)帶來(lái)共線性問(wèn)題，如果在0.8以下，一般不會(huì)出現(xiàn)多大問(wèn)題。共線性診斷——1.兩個(gè)自變量之間的相關(guān)系數(shù)第四十六頁(yè)，共六十二頁(yè)，2022年，8月28日2.容忍度Tolerance/方差膨脹因子VIF經(jīng)驗(yàn)表明：VIF大于5或10時(shí)，存在嚴(yán)重的共線性；一般要求Tolerance必須大于0.1，或VIF必須小于10。容忍度=1/VIF第四十七頁(yè)，共六十二頁(yè)，2022年，8月28日483.條件數(shù)最大特征根與其余每個(gè)特征根比值的平方根，稱為條件指數(shù)(conditionalnumber)，公式為：

而最大條件指數(shù)，簡(jiǎn)稱為條件數(shù)，其值為最大特征根與最小特征根之比值的平方根。即：

第四十八頁(yè)，共六十二頁(yè)，2022年，8月28日49條件數(shù)越大，說(shuō)明設(shè)計(jì)矩陣X具有越強(qiáng)的共線性。經(jīng)驗(yàn)上，若0<CNk<10，可認(rèn)為自變量間不存在多重共線性；若10≤CNk≤30，可認(rèn)為自變量間存在中等程度的多重共線性；若CNk>30，則認(rèn)為自變量間存在嚴(yán)重的多重共線性。

第四十九頁(yè)，共六十二頁(yè)，2022年，8月28日50三、分析步驟2.6.3共線性的解決方法(1)變量篩選采用自變量篩選的方法一般可選出對(duì)因變量有統(tǒng)計(jì)學(xué)影響且相互之間獨(dú)立或相關(guān)性較低的一組自變量。(2)有偏估計(jì)自變量間存在多重共線性且專業(yè)上認(rèn)為需要保留在模型中時(shí)，不宜使用最小二乘法估計(jì)模型。此時(shí)，可采用有偏估計(jì)。此類方法包括嶺回歸分析、主成分回歸分析等。(3)增大樣本含量通過(guò)增加樣本含量，減少估計(jì)量的方差，提高估計(jì)精度，可在一定程度上克服多重共線性。第五十頁(yè)，共六十二頁(yè)，2022年，8月28日51三、分析步驟2.7異常點(diǎn)診斷2.7.1異常點(diǎn)對(duì)因變量的預(yù)測(cè)值影響特別大，甚至容易導(dǎo)致相反結(jié)論的觀測(cè)點(diǎn)，稱為異常點(diǎn)。異常點(diǎn)的診斷，可采用學(xué)生化殘差統(tǒng)計(jì)量、Cook’sD統(tǒng)計(jì)量。

第五十一頁(yè)，共六十二頁(yè)，2022年，8月28日52三、分析步驟2.7.2學(xué)生化殘差統(tǒng)計(jì)量Studentizedresidual，計(jì)算公式為：該統(tǒng)計(jì)量的絕對(duì)值大于2時(shí)，所對(duì)應(yīng)的觀測(cè)點(diǎn)可能是異常點(diǎn)。

第五十二頁(yè)，共六十二頁(yè)，2022年，8月28日53三、分析步驟2.7.3Cook’sD統(tǒng)計(jì)量庫(kù)克距離統(tǒng)計(jì)量。一般認(rèn)為，

Cook’sD>0.5時(shí)，可認(rèn)為此觀測(cè)點(diǎn)對(duì)回歸模型的擬合有強(qiáng)影響，即可認(rèn)為是異常點(diǎn)。

第五十三頁(yè)，共六十二頁(yè)，2022年，8月28日54三、分析步驟2.7.4異常點(diǎn)的處置

認(rèn)真核對(duì)原始數(shù)據(jù)。若屬抄寫或輸入等人為錯(cuò)誤，應(yīng)予以糾正；若非人為錯(cuò)誤，可刪除異常點(diǎn)，重新擬合回歸模型。

如有可能，最好在此實(shí)驗(yàn)點(diǎn)上補(bǔ)做實(shí)驗(yàn)，進(jìn)一步確定此可疑異常點(diǎn)是否屬實(shí)。

第五十四頁(yè)，共六十二頁(yè)，2022年，8月28日55三、分析步驟2.8自變量作用大小評(píng)價(jià)

由于自變量量綱不同，不能直接根據(jù)原始數(shù)據(jù)計(jì)算得來(lái)的偏回歸系數(shù)來(lái)評(píng)價(jià)各自變量對(duì)因