多重線性回歸分析

多重線性回歸分析第一頁，共六十二頁，編輯于2023年，星期五2內(nèi)容基本原理方法簡介分析步驟幾點補充第二頁，共六十二頁，編輯于2023年，星期五3一、方法簡介

1.1分析目的與方法選擇研究一個因變量與一個自變量間的線性關(guān)系時簡單線性回歸分析研究一個因變量與多個自變量間的線性關(guān)系時多重線性回歸分析第三頁，共六十二頁，編輯于2023年，星期五4一、方法簡介1.2概念用回歸方程定量地刻畫一個因變量與多個自變量之間的線性依存關(guān)系，稱為多重線性回歸分析（multiplelinearregressionanalysis）。自變量是相互獨立的連續(xù)型變量或分類變量。

第四頁，共六十二頁，編輯于2023年，星期五一、方法簡介1.3數(shù)據(jù)結(jié)構(gòu)表1進(jìn)行多重線性回歸分析資料的數(shù)據(jù)結(jié)構(gòu)5編號X1X2…XkY1X11X12…X1kY12X21X22…X2kY2：：：：：nXn1Xn2…XnkYn第五頁，共六十二頁，編輯于2023年，星期五6二、基本原理

2.1原理簡介多重線性回歸模型：

Y=b0+b1X1+b2X2+…+bkXk+e=bX+e

其中，bj(j=0,1,2…,k)為未知參數(shù)，e為隨機誤差項。第六頁，共六十二頁，編輯于2023年，星期五7二、基本原理多重線性回歸模型中包含多個自變量，它們同時對因變量Y發(fā)生作用。

若要考察一個自變量對Y

的影響，就必須假設(shè)其他自變量保持不變。因此，多重線性回歸模型中的回歸系數(shù)為偏回歸系數(shù)。它反映的是當(dāng)模型中的其他自變量不變時，其中一個自變量對因變量Y的均值的影響。第七頁，共六十二頁，編輯于2023年，星期五8二、基本原理

2.2前提條件

多重線性回歸分析要求資料滿足線性(Linear)、獨立性(Independence)、正態(tài)性(Normality)和方差齊性(Equalvariance)，即LINE條件。

除此之外，還要求多個自變量之間相關(guān)性不要太強。

第八頁，共六十二頁，編輯于2023年，星期五9二、基本原理

2.2前提條件線性——指自變量與因變量之間的關(guān)系是線性的獨立性——指各觀測值之間是相互獨立的正態(tài)性——指自變量取不同值時，因變量服從正

態(tài)分布方差齊性——指自變量取不同值時，因變量的方

差相等第九頁，共六十二頁，編輯于2023年，星期五10三、分析步驟1.基本任務(wù)

求出模型中參數(shù)的估計值，對模型和參數(shù)進(jìn)行假設(shè)檢驗；對自變量進(jìn)行共線性診斷，對觀測值進(jìn)行異常值診斷；結(jié)合統(tǒng)計學(xué)知識和專業(yè)知識，對回歸方程進(jìn)行合理的解釋，并加以應(yīng)用。

第十頁，共六十二頁，編輯于2023年，星期五11三、分析步驟2.具體步驟2.1回歸參數(shù)估計

多重線性回歸分析的參數(shù)估計，常采用最小二乘法(OLS)進(jìn)行。

參數(shù)估計值為：第十一頁，共六十二頁，編輯于2023年，星期五12三、分析步驟2.具體步驟2.2模型檢驗

根據(jù)方差分析的思想，將總的離均差平方和SS總分解為回歸平方和SS回和殘差平方和SS殘兩部分。

SS總的自由度為n-1，SS回的自由度為k，SS殘的自由度為n-k-1。第十二頁，共六十二頁，編輯于2023年，星期五SS總=SS回歸+SS殘差SS總(總平方和)v總=n-1{SS回歸(回歸平方和)v回歸=1{SS殘差(殘差平方和)v殘差=n-p-1{v總=v回歸+v殘差自變量的個數(shù)第十三頁，共六十二頁，編輯于2023年，星期五14三、分析步驟2.具體步驟2.2模型檢驗

模型的顯著性檢驗步驟為：第一步，建立檢驗假設(shè)。H0：b1=b2=…=bk=0H1:b1,b2,…,bk不同時為0第十四頁，共六十二頁，編輯于2023年，星期五15三、分析步驟第二步，計算統(tǒng)計量F的值。第三步，確定P值，下統(tǒng)計學(xué)結(jié)論。根據(jù)檢驗統(tǒng)計量F的值和自由度，確定其對應(yīng)的P值。若P>a，則接受H0，認(rèn)為回歸模型的系數(shù)全部為0；若P<a，則拒絕H0，接受H1，認(rèn)為回歸模型的系數(shù)不全為0。第十五頁，共六十二頁，編輯于2023年，星期五16三、分析步驟2.具體步驟2.3參數(shù)檢驗回歸方程有統(tǒng)計學(xué)意義，可以說明整體上自變量對Y有影響，但并不意味著每個自變量對因變量的影響都有統(tǒng)計學(xué)意義?？疾旄鱾€自變量對因變量的影響，即檢驗其系數(shù)是否為0。若某自變量對因變量的影響無統(tǒng)計學(xué)意義，可將其從模型中刪除，重新建立回歸方程。第十六頁，共六十二頁，編輯于2023年，星期五17三、分析步驟對自變量Xi的系數(shù)是否為0進(jìn)行假設(shè)檢驗，步驟為：第一步，建立檢驗假設(shè)。H0：bi=0H1:bi≠0第十七頁，共六十二頁，編輯于2023年，星期五18三、分析步驟第二步，計算檢驗統(tǒng)計量。第三步，確定P值。根據(jù)自由度和臨界水平，查t分布表，可得雙側(cè)界值為ta/2(n-k-1)。若t>ta/2(n-k-1)或t<-ta/2(n-k-1)，則P<a。此時，拒絕H0，接受H1，認(rèn)為該回歸系數(shù)不等于0。反之，則接受H0，認(rèn)為該回歸系數(shù)為0。第十八頁，共六十二頁，編輯于2023年，星期五19三、分析步驟2.具體步驟2.4變量篩選不是所有的自變量都對因變量的作用都有統(tǒng)計學(xué)意義。

故需要找到一個較好的回歸方程，使之滿足：方程內(nèi)的自變量對回歸都有統(tǒng)計學(xué)意義，方程外的自變量對回歸都無統(tǒng)計學(xué)意義。第十九頁，共六十二頁，編輯于2023年，星期五20三、分析步驟這就是自變量的選擇問題，或稱為變量篩選。選擇時，一要盡可能地不漏掉重要的自變量；二要盡可能地減少自變量的個數(shù)，保持模型的精簡。就回歸方程而言，每個變量均有兩種可能性，即被選擇或被踢除。所以，所有可能的模型有2k個(k為自變量個數(shù))。自變量個數(shù)較多時，計算量過大。此時，需要一定的變量篩選方法。第二十頁，共六十二頁，編輯于2023年，星期五全局擇優(yōu)法變量篩選

逐步選擇法校正決定系數(shù)R2選擇法Cp選擇法前進(jìn)法后退法逐步回歸法c第二十一頁，共六十二頁，編輯于2023年，星期五22三、分析步驟2.4.1前進(jìn)法(FORWARD)回歸方程中變量從無到有依次選擇一個自變量進(jìn)入回歸方程，并根據(jù)該變量在回歸方程中的Ⅱ型離差平方和(SS2)計算F統(tǒng)計量及P值。當(dāng)P小于sle(規(guī)定的選變量進(jìn)入方程的臨界水平)則該變量入選，否則不能入選。第二十二頁，共六十二頁，編輯于2023年，星期五23三、分析步驟當(dāng)回歸方程中變量少時某變量不符合入選標(biāo)準(zhǔn)，但隨著回歸方程中變量逐次增多時,該變量就可能符合入選標(biāo)準(zhǔn)；這樣直到?jīng)]有變量可入選為止。具體而言，是從僅含常數(shù)項(即截距項)的最簡單模型開始，逐步在模型中添加自變量。

第二十三頁，共六十二頁，編輯于2023年，星期五24三、分析步驟局限性：sle取值小時，可能沒有一個變量能入選；sle取值大時，開始選入的變量后來在新條件下不再進(jìn)行檢驗，因而不能剔除后來變得無統(tǒng)計學(xué)意義的變量。

第二十四頁，共六十二頁，編輯于2023年，星期五25三、分析步驟2.4.2后退法(BACKWARD)從模型中包含全部自變量開始，計算留在回歸方程中的各個自變量所產(chǎn)生的F統(tǒng)計量和P值，當(dāng)P值小于sls(規(guī)定的從方程中踢除變量的臨界水準(zhǔn))則將此變量保留在方程中。否則，從最大的P值所對應(yīng)的自變量開始逐一踢除，直到回歸方程中沒有變量可以被踢除時為止。

第二十五頁，共六十二頁，編輯于2023年，星期五26三、分析步驟局限性：sls大時，任何一個自變量都不能被踢除；sls小時，開始被踢除的自變量后來在新條件下即使變得對因變量有較大的貢獻(xiàn)了，也不能再次被選入回歸方程并參與檢驗。

第二十六頁，共六十二頁，編輯于2023年，星期五27三、分析步驟2.4.3逐步回歸法(STEPWISE)此法是前進(jìn)法和后退法的結(jié)合。

回歸方程中的變量從無到有像前進(jìn)法那樣，根據(jù)F統(tǒng)計量和P值大小按sle水平?jīng)Q定該自變量是否入選。

第二十七頁，共六十二頁，編輯于2023年，星期五28三、分析步驟當(dāng)回歸方程選入自變量后，又像后退法那樣，根據(jù)F統(tǒng)計量和P值按sls水平踢除無統(tǒng)計學(xué)意義的各自變量，依次類推。這樣直到?jīng)]有自變量可入選，也沒有自變量可被踢除或入選的自變量就是剛被剔除的自變量時，則停止逐步篩選過程。

第二十八頁，共六十二頁，編輯于2023年，星期五29三、分析步驟2.4.3逐步回歸法

逐步回歸法有無符合納入標(biāo)準(zhǔn)的新變量納入新變量有無符合排除標(biāo)準(zhǔn)的變量踢除完成無有無有第二十九頁，共六十二頁，編輯于2023年，星期五30三、分析步驟

逐步回歸法比前進(jìn)法和后退法都能更好地選出變量構(gòu)造模型，但它也有局限性：其一，當(dāng)有m個變量入選后，選第m＋1個變量時，對它來說，前m個變量不一定是最佳組合；其二，選入或踢除自變量僅以F值和P值作標(biāo)準(zhǔn)，完全沒考慮其它標(biāo)準(zhǔn)。

第三十頁，共六十二頁，編輯于2023年，星期五31三、分析步驟2.4.4變量篩選方法的選擇究竟哪一種篩選變量的方法最好？這個問題沒有絕對的定論。

一般來說，逐步回歸法和最優(yōu)回歸子集法較好。對于一個給定的資料，可試用多種變量篩選的方法，結(jié)合以下幾條判斷原則，從中選擇最佳者。第三十一頁，共六十二頁，編輯于2023年，星期五32三、分析步驟

其一，擬合的回歸方程在整體上有統(tǒng)計學(xué)意義；其二，回歸方程中各回歸參數(shù)的估計值的假設(shè)檢驗結(jié)果都有統(tǒng)計學(xué)意義；其三，回歸方程中各回歸參數(shù)的估計值的正負(fù)號與其后的變量在專業(yè)上的含義相吻合；其四，根據(jù)回歸方程計算出因變量的所有預(yù)測值在專業(yè)上都有意義。其五，若有多個較好的多重線性回歸方程時，殘差平方和較小且多重線性回歸方程中所含的自變量的個數(shù)又較少者為最佳。第三十二頁，共六十二頁，編輯于2023年，星期五33三、分析步驟2.5模型擬合效果評價2.5.1決定系數(shù)(R2)

即復(fù)(全)相關(guān)系數(shù)的平方，其值等于因變量觀測值與預(yù)測值之間簡單相關(guān)系數(shù)的平方。計算公式為：

第三十三頁，共六十二頁，編輯于2023年，星期五34三、分析步驟2.5模型擬合效果評價2.5.1決定系數(shù)(R2)

R2取值介于0到1之間，其含義為自變量能夠解釋因變量y變異的百分比。

R2越接近于1，說明線性回歸對實際數(shù)據(jù)的擬合程度越好。

第三十四頁，共六十二頁，編輯于2023年，星期五35三、分析步驟2.5模型擬合效果評價2.5.2校正決定系數(shù)(Rc2)

隨著模型中自變量個數(shù)的增加，決定系數(shù)R2將不斷增大，這不符合回歸模型中自變量個數(shù)盡可能少的原則。

第三十五頁，共六十二頁，編輯于2023年，星期五36三、分析步驟2.5模型擬合效果評價2.5.2校正決定系數(shù)(Rc2)故在評價兩個包含不同個數(shù)自變量的回歸模型的擬合效果時，不能簡單地用決定系數(shù)作為評價標(biāo)準(zhǔn)。此時，必須考慮回歸模型中自變量個數(shù)的影響。

第三十六頁，共六十二頁，編輯于2023年，星期五37三、分析步驟2.5模型擬合效果評價2.5.2校正決定系數(shù)(Rc2)構(gòu)造校正決定系數(shù)，其公式為：

其中，n為樣本含量，p為模型中自變量個數(shù)。決定系數(shù)相同時，自變量個數(shù)越多，Rc2越小。

第三十七頁，共六十二頁，編輯于2023年，星期五38三、分析步驟2.5模型擬合效果評價2.5.3AIC信息準(zhǔn)則

該準(zhǔn)則由日本學(xué)者赤池于1973年提出，廣泛應(yīng)用于時間序列分析中自回歸階數(shù)的確定，多重回歸、廣義線性回歸中自變量的篩選以及非線性回歸模型的比較和選優(yōu)。該統(tǒng)計量取值越小，反映模型擬合效果越好。

第三十八頁，共六十二頁，編輯于2023年，星期五在進(jìn)行多重線性回歸分析時，除了要滿足LINE外，還要求各變量之間不能存在共線性，即各變量之間要相互獨立。為此，需要進(jìn)行共線性診斷；當(dāng)自變量均為隨機變量時，若它們之間高度相關(guān)，則稱變量間存在多重共線性(multicollinearity)；自變量之間不存在多重共線性，即稱其互相獨立。三、分析步驟2.6共線性診斷第三十九頁，共六十二頁，編輯于2023年，星期五40三、分析步驟多重線性回歸分析中，可能會出現(xiàn)以下問題：回歸方程的檢驗有統(tǒng)計學(xué)意義，而各偏回歸系數(shù)的檢驗均無統(tǒng)計學(xué)意義。偏回歸系數(shù)的估計值大小或其符號與實際情況和專業(yè)知識相違背，難以解釋。某個（些）與因變量關(guān)系密切的自變量，因為參數(shù)標(biāo)準(zhǔn)誤的估計值較大，相應(yīng)t值就會變得較小，造成其偏回歸系數(shù)無統(tǒng)計學(xué)意義。第四十頁，共六十二頁，編輯于2023年，星期五41三、分析步驟導(dǎo)致這些問題的原因可能有：(1)研究設(shè)計不夠合理；(2)資料收集存在問題；(3)自變量間近似線性；(4)數(shù)據(jù)中存在異常點；(5)樣本少而自變量多。

第四十一頁，共六十二頁，編輯于2023年，星期五42三、分析步驟何謂多重共線性？自變量間的近似線性關(guān)系，即是多重共線性。由于數(shù)據(jù)自身的特征，回歸模型中的自變量之間或多或少地存在一些相關(guān)性，這違反了自變量間相互獨立的假設(shè)條件，稱為多重共線性。

第四十二頁，共六十二頁，編輯于2023年，星期五43三、分析步驟多重共線性的分類：(1)嚴(yán)重的多重共線性

此時，自變量之間存在著較高甚至完全的線性相關(guān)關(guān)系，雖然最小二乘法仍可應(yīng)用，但由于觀測誤差的穩(wěn)定性變差，所得的估計值可能面目全非。這類情況較為少見。(2)某種程度的多重共線性

此時，最小二乘法仍可獲得參數(shù)的無偏估計值，但參數(shù)的方差估計值將變得很大，導(dǎo)致估計精度下降，且無法判斷自變量對因變量的影響程度。第四十三頁，共六十二頁，編輯于2023年，星期五例

研究胎兒受精齡Y/周與胎兒身長X1/cm、頭圍X2/cm，體重X3/g之間的依存關(guān)系。顯然，此處的3個解釋變量X1、X2、X3之間存在著高度的共線性，X1、X2、X3兩項對Y的過分貢獻(xiàn)只能用X2項的負(fù)系數(shù)抵消，造成其專業(yè)意義無法解釋而出現(xiàn)悖論。三、分析步驟第四十四頁，共六十二頁，編輯于2023年，星期五相關(guān)系數(shù)Correlation容忍度Torelance方差膨脹因子VIF條件數(shù)Conditionindex方差比例Varianceproportions,VP

方差相關(guān)矩陣VarianceMatrix可用來判斷變量之間的獨立性、或說多重共線性三、分析步驟第四十五頁，共六十二頁，編輯于2023年，星期五如果兩個自變量之間的相關(guān)系數(shù)超過0.9，則會帶來共線性問題，如果在0.8以下，一般不會出現(xiàn)多大問題。共線性診斷——1.兩個自變量之間的相關(guān)系數(shù)第四十六頁，共六十二頁，編輯于2023年，星期五2.容忍度Tolerance/方差膨脹因子VIF經(jīng)驗表明：VIF大于5或10時，存在嚴(yán)重的共線性；一般要求Tolerance必須大于0.1，或VIF必須小于10。容忍度=1/VIF第四十七頁，共六十二頁，編輯于2023年，星期五483.條件數(shù)最大特征根與其余每個特征根比值的平方根，稱為條件指數(shù)(conditionalnumber)，公式為：

而最大條件指數(shù)，簡稱為條件數(shù)，其值為最大特征根與最小特征根之比值的平方根。即：

第四十八頁，共六十二頁，編輯于2023年，星期五49條件數(shù)越大，說明設(shè)計矩陣X具有越強的共線性。經(jīng)驗上，若0<CNk<10，可認(rèn)為自變量間不存在多重共線性；若10≤CNk≤30，可認(rèn)為自變量間存在中等程度的多重共線性；若CNk>30，則認(rèn)為自變量間存在嚴(yán)重的多重共線性。

第四十九頁，共六十二頁，編輯于2023年，星期五50三、分析步驟2.6.3共線性的解決方法(1)變量篩選采用自變量篩選的方法一般可選出對因變量有統(tǒng)計學(xué)影響且相互之間獨立或相關(guān)性較低的一組自變量。(2)有偏估計自變量間存在多重共線性且專業(yè)上認(rèn)為需要保留在模型中時，不宜使用最小二乘法估計模型。此時，可采用有偏估計。此類方法包括嶺回歸分析、主成分回歸分析等。(3)增大樣本含量通過增加樣本含量，減少估計量的方差，提高估計精度，可在一定程度上克服多重共線性。第五十頁，共六十二頁，編輯于2023年，星期五51三、分析步驟2.7異常點診斷2.7.1異常點對因變量的預(yù)測值影響特別大，甚至容易導(dǎo)致相反結(jié)論的觀測點，稱為異常點。異常點的診斷，可采用學(xué)生化殘差統(tǒng)計量、Cook’sD統(tǒng)計量。

第五十一頁，共六十二頁，編輯于2023年，星期五52三、分析步驟2.7.2學(xué)生化殘差統(tǒng)計量Studentizedresidual，計算公式為：該統(tǒng)計量的絕對值大于2時，所對應(yīng)的觀測點可能是異常點。

第五十二頁，共六十二頁，編輯于2023年，星期五53三、分析步驟2.7.3Cook’sD統(tǒng)計量庫克距離統(tǒng)計量。一般認(rèn)為，

Cook’sD>0.5時，可認(rèn)為此觀測點對回歸模型的擬合有強影響，即可認(rèn)為是異常點。

第五十三頁，共六十二頁，編輯于2023年，星期五54三、分析步驟2.7.4異常點的處置

認(rèn)真核對原始數(shù)據(jù)。若屬抄寫或輸入等人為錯誤，應(yīng)予以糾正；若非人為錯誤，可刪除異常點，重新擬合回歸模型。

如有可能，最好在此實驗點上補做實驗，進(jìn)一步確定此可疑異常點是否屬實。

第五十四頁，共六十二頁，編輯于2023年，星期五55三、分析步驟2.8自變量作用大小評價

由于自變量量綱不同，不能直接根據(jù)原始數(shù)據(jù)計算得來的偏回歸系數(shù)來評價各自變量對因變量