多重線性回歸課件

多重線性回歸分析多重線性回歸分析一、方法簡(jiǎn)介1.2概念用回歸方程定量地刻畫一個(gè)因變量與多個(gè)自變量之間的線性依存關(guān)系，稱為多重線性回歸分析（multiplelinearregressionanalysis）。自變量是相互獨(dú)立的連續(xù)型變量或分類變量。

2一、方法簡(jiǎn)介1.2概念2一、方法簡(jiǎn)介1.3數(shù)據(jù)結(jié)構(gòu)表1進(jìn)行多重線性回歸分析資料的數(shù)據(jù)結(jié)構(gòu)3編號(hào)X1X2…XkY1X11X12…X1kY12X21X22…X2kY2：：：：：nXn1Xn2…XnkYn一、方法簡(jiǎn)介1.3數(shù)據(jù)結(jié)構(gòu)3編號(hào)X1X2…XkY1X1二、基本原理

2.1原理簡(jiǎn)介多重線性回歸模型：

Y=b0+b1X1+b2X2+…+bkXk+e

其中，bj(j=0,1,2…

,k)為未知參數(shù)，e為隨機(jī)誤差項(xiàng)。4二、基本原理2.1原理簡(jiǎn)介45二、基本原理2.1原理簡(jiǎn)介多重線性回歸模型中包含多個(gè)自變量，它們同時(shí)對(duì)因變量Y發(fā)生作用。

若要考察一個(gè)自變量對(duì)Y

的影響，就必須假設(shè)其他自變量保持不變。5二、基本原理2.1原理簡(jiǎn)介6二、基本原理

2.1原理簡(jiǎn)介因此，多重線性回歸模型中的回歸系數(shù)為偏回歸系數(shù)。

它反映的是當(dāng)模型中的其他自變量不變時(shí)，其中一個(gè)自變量對(duì)因變量Y的均值的影響。6二、基本原理2.1原理簡(jiǎn)介7二、基本原理

2.2前提條件

多重線性回歸分析要求資料滿足線性(Linear)、獨(dú)立性(Independence)、正態(tài)性(Normality)和方差齊性(Equalvariance)。

除此之外，還要求多個(gè)自變量之間相關(guān)性不要太強(qiáng)。

7二、基本原理2.2前提條件8二、基本原理

2.2前提條件線性——指自變量與因變量之間的關(guān)系是線性的獨(dú)立性——指各觀測(cè)值之間是相互獨(dú)立的正態(tài)性——指自變量取不同值時(shí)，因變量服從正

態(tài)分布方差齊性——指自變量取不同值時(shí)，因變量的方

差相等8二、基本原理2.2前提條件三、分析步驟1.基本任務(wù)

求出模型中參數(shù)的估計(jì)值，對(duì)模型和參數(shù)進(jìn)行假設(shè)檢驗(yàn)；對(duì)自變量進(jìn)行共線性診斷，對(duì)觀測(cè)值進(jìn)行異常點(diǎn)診斷；結(jié)合統(tǒng)計(jì)學(xué)知識(shí)和專業(yè)知識(shí)，對(duì)回歸方程進(jìn)行合理的解釋，并加以應(yīng)用。

9三、分析步驟1.基本任務(wù)9三、分析步驟2.具體步驟2.1回歸參數(shù)估計(jì)

多重線性回歸分析的參數(shù)估計(jì)，常采用最小二乘法(OLS)進(jìn)行。該方法使殘差平方和達(dá)到最小，從而得出模型參數(shù)估計(jì)值表示Y的估計(jì)值

10三、分析步驟2.具體步驟10三、分析步驟2.具體步驟2.2模型檢驗(yàn)

根據(jù)方差分析的思想，將總的離均差平方和SS總分解為回歸平方和SS回和殘差平方和SS殘兩部分。

SS總的自由度為n-1，SS回的自由度為k，SS殘的自由度為n-k-1。11三、分析步驟2.具體步驟11三、分析步驟2.具體步驟2.2模型檢驗(yàn)

12三、分析步驟2.具體步驟12三、分析步驟2.具體步驟2.2模型檢驗(yàn)

模型的顯著性檢驗(yàn)步驟為：第一步，建立檢驗(yàn)假設(shè)。H0：b1=b2=…=bk=0H1:b1,b2,…,bk不同時(shí)為013三、分析步驟2.具體步驟13三、分析步驟2.具體步驟2.2模型檢驗(yàn)

第二步，計(jì)算統(tǒng)計(jì)量F的值。14三、分析步驟2.具體步驟14三、分析步驟2.具體步驟2.2模型檢驗(yàn)

第三步，確定P值，下統(tǒng)計(jì)學(xué)結(jié)論。根據(jù)檢驗(yàn)統(tǒng)計(jì)量F的值和自由度，確定其對(duì)應(yīng)的P值。若P>a，則接受H0，認(rèn)為回歸模型的系數(shù)全部為0；若P<a，則拒絕H0，接受H1，認(rèn)為回歸模型的系數(shù)不全為0。15三、分析步驟2.具體步驟15三、分析步驟2.具體步驟2.3參數(shù)檢驗(yàn)回歸方程有統(tǒng)計(jì)學(xué)意義，可以說(shuō)明整體上自變量對(duì)Y有影響，但并不意味著每個(gè)自變量對(duì)因變量的影響都有統(tǒng)計(jì)學(xué)意義。16三、分析步驟2.具體步驟16三、分析步驟2.具體步驟2.3參數(shù)檢驗(yàn)考察各個(gè)自變量對(duì)因變量的影響，即檢驗(yàn)其系數(shù)是否為0。若某自變量對(duì)因變量的影響無(wú)統(tǒng)計(jì)學(xué)意義，可將其從模型中刪除，重新建立回歸方程。17三、分析步驟2.具體步驟17三、分析步驟2.具體步驟2.3參數(shù)檢驗(yàn)對(duì)自變量Xi的系數(shù)是否為0進(jìn)行假設(shè)檢驗(yàn)，步驟為：第一步，建立檢驗(yàn)假設(shè)。H0：bi=0H1:bi≠018三、分析步驟2.具體步驟18三、分析步驟2.具體步驟2.3參數(shù)檢驗(yàn)第二步，計(jì)算檢驗(yàn)統(tǒng)計(jì)量。19三、分析步驟2.具體步驟19三、分析步驟2.具體步驟2.3參數(shù)檢驗(yàn)第三步，確定P值。根據(jù)自由度和臨界水平，查t分布表，可得雙側(cè)界值為ta/2(n-k-1)。20三、分析步驟2.具體步驟20三、分析步驟2.具體步驟2.3參數(shù)檢驗(yàn)若t>ta/2(n-k-1)或t<-ta/2(n-k-1)，則P<a。此時(shí)，拒絕H0，接受H1，認(rèn)為該回歸系數(shù)不等于0。反之，則接受H0，認(rèn)為該回歸系數(shù)為0。21三、分析步驟2.具體步驟21三、分析步驟2.具體步驟2.4變量篩選

由例1的分析結(jié)果可知，不是所有的自變量對(duì)因變量的作用都有統(tǒng)計(jì)學(xué)意義。

故需要找到一個(gè)較好的回歸方程，使之滿足：方程內(nèi)的自變量對(duì)回歸都有統(tǒng)計(jì)學(xué)意義，方程外的自變量對(duì)回歸都無(wú)統(tǒng)計(jì)學(xué)意義。22三、分析步驟2.具體步驟22三、分析步驟2.具體步驟2.4變量篩選這就是自變量的選擇問(wèn)題，或稱為變量篩選。選擇時(shí)，一要盡可能地不漏掉重要的自變量；二要盡可能地減少自變量的個(gè)數(shù)，保持模型的精簡(jiǎn)。23三、分析步驟2.具體步驟23三、分析步驟2.具體步驟2.4變量篩選常用的變量篩選方法有以下8種：前進(jìn)法后退法逐步回歸法最大R2增量法最小R2增量法

R2選擇法修正R2選擇法

Mallow’sCp選擇法24三、分析步驟2.具體步驟24三、分析步驟2.4.1前進(jìn)法(FORWARD)回歸方程中變量從無(wú)到有依次選擇一個(gè)自變量進(jìn)入回歸方程，并計(jì)算該變量對(duì)應(yīng)的F統(tǒng)計(jì)量及P值。當(dāng)P小于納入標(biāo)準(zhǔn)(規(guī)定的選變量進(jìn)入方程的臨界水平)，則該變量入選，否則不能入選。25三、分析步驟2.4.1前進(jìn)法(FORWARD)25三、分析步驟2.4.1前進(jìn)法當(dāng)回歸方程中變量少時(shí)某變量不符合入選標(biāo)準(zhǔn)，但隨著回歸方程中變量逐次增多時(shí),該變量就可能符合入選標(biāo)準(zhǔn)；這樣直到?jīng)]有變量可入選為止。具體而言，是從僅含常數(shù)項(xiàng)(即截距項(xiàng))的最簡(jiǎn)單模型開始，逐步在模型中添加自變量。

26三、分析步驟2.4.1前進(jìn)法26三、分析步驟2.4.1前進(jìn)法局限性：

納入標(biāo)準(zhǔn)取值小時(shí)，可能沒(méi)有一個(gè)變量能入選；納入標(biāo)準(zhǔn)取值大時(shí)，開始選入的變量后來(lái)在新條件下不再進(jìn)行檢驗(yàn)，因而不能剔除后來(lái)變得無(wú)統(tǒng)計(jì)學(xué)意義的變量。

27三、分析步驟2.4.1前進(jìn)法27三、分析步驟2.4.2后退法(BACKWARD)從模型中包含全部自變量開始，計(jì)算留在回歸方程中的各個(gè)自變量所產(chǎn)生的F統(tǒng)計(jì)量和P值，當(dāng)P值小于排除標(biāo)準(zhǔn)(規(guī)定的從方程中剔除變量的臨界水準(zhǔn))則將此變量保留在方程中。

28三、分析步驟2.4.2后退法(BACKWARD)28三、分析步驟2.4.2后退法否則，從最大的P值所對(duì)應(yīng)的自變量開始逐一剔除，直到回歸方程中沒(méi)有變量可以被剔除時(shí)為止。

29三、分析步驟2.4.2后退法29三、分析步驟2.4.2后退法局限性：

排除標(biāo)準(zhǔn)大時(shí)，任何一個(gè)自變量都不能被剔除；排除標(biāo)準(zhǔn)小時(shí)，開始被剔除的自變量后來(lái)在新條件下即使變得對(duì)因變量有較大的貢獻(xiàn)了，也不能再次被選入回歸方程并參與檢驗(yàn)。

30三、分析步驟2.4.2后退法30三、分析步驟2.4.3逐步回歸法(STEPWISE)此法是前進(jìn)法和后退法的結(jié)合。

回歸方程中的變量從無(wú)到有像前進(jìn)法那樣，根據(jù)F統(tǒng)計(jì)量和P值大小按納入標(biāo)準(zhǔn)水平?jīng)Q定該自變量是否入選。

31三、分析步驟2.4.3逐步回歸法(STEPWISE)31三、分析步驟2.4.3逐步回歸法(STEPWISE)當(dāng)回歸方程選入自變量后，又像后退法那樣，根據(jù)F統(tǒng)計(jì)量和P值按排除標(biāo)準(zhǔn)水平剔除無(wú)統(tǒng)計(jì)學(xué)意義的各自變量，依次類推。這樣直到?jīng)]有自變量可入選，也沒(méi)有自變量可被剔除時(shí)，則停止逐步篩選過(guò)程。

32三、分析步驟2.4.3逐步回歸法(STEPWISE)32三、分析步驟2.4.3逐步回歸法

33逐步回歸法有無(wú)符合納入標(biāo)準(zhǔn)的新變量納入新變量有無(wú)符合排除標(biāo)準(zhǔn)的變量剔除完成無(wú)有無(wú)有三、分析步驟2.4.3逐步回歸法33逐步回歸法有無(wú)符合納入三、分析步驟2.4.3逐步回歸法逐步回歸法比前進(jìn)法和后退法都能更好地選出變量構(gòu)造模型，但它也有局限性：其一，當(dāng)有m個(gè)變量入選后，選第m＋1個(gè)變量時(shí)，對(duì)它來(lái)說(shuō)，前m個(gè)變量不一定是最佳組合；其二，選入或剔除自變量?jī)H以F值和P值作標(biāo)準(zhǔn)，完全沒(méi)考慮其它標(biāo)準(zhǔn)。34三、分析步驟2.4.3逐步回歸法34三、分析步驟2.4.5變量篩選方法的選擇究竟哪一種篩選變量的方法最好？這個(gè)問(wèn)題沒(méi)有絕對(duì)的定論。

一般來(lái)說(shuō)，逐步回歸法和最優(yōu)回歸子集法較好。對(duì)于一個(gè)給定的資料，可試用多種變量篩選的方法，結(jié)合以下幾條判斷原則，從中選擇最佳者。35三、分析步驟2.4.5變量篩選方法的選擇35三、分析步驟2.4.5變量篩選方法的選擇其一，擬合的回歸方程在整體上有統(tǒng)計(jì)學(xué)意義；其二，回歸方程中各回歸參數(shù)的估計(jì)值的假設(shè)檢驗(yàn)結(jié)果都有統(tǒng)計(jì)學(xué)意義；其三，回歸方程中各回歸參數(shù)的估計(jì)值的正負(fù)號(hào)與其后的變量在專業(yè)上的含義相吻合；36三、分析步驟2.4.5變量篩選方法的選擇36三、分析步驟2.4.5變量篩選方法的選擇其四，根據(jù)回歸方程計(jì)算出因變量的所有預(yù)測(cè)值在專業(yè)上都有意義。其五，若有多個(gè)較好的多重線性回歸方程時(shí)，殘差平方和較小且多重線性回歸方程中所含的自變量的個(gè)數(shù)又較少者為最佳。

37三、分析步驟2.4.5變量篩選方法的選擇37三、分析步驟2.5模型擬合效果評(píng)價(jià)2.5.1決定系數(shù)(R2)

即復(fù)相關(guān)系數(shù)的平方，其值等于因變量觀測(cè)值與預(yù)測(cè)值之間簡(jiǎn)單相關(guān)系數(shù)的平方。計(jì)算公式為：

38三、分析步驟2.5模型擬合效果評(píng)價(jià)38三、分析步驟2.5模型擬合效果評(píng)價(jià)2.5.1決定系數(shù)(R2)

R2取值介于0到1之間，其含義為自變量能夠解釋因變量y變異的百分比。

R2越接近于1，說(shuō)明線性回歸對(duì)實(shí)際數(shù)據(jù)的擬合程度越好。

39三、分析步驟2.5模型擬合效果評(píng)價(jià)39三、分析步驟2.5模型擬合效果評(píng)價(jià)2.5.2校正決定系數(shù)(Rc2)

隨著模型中自變量個(gè)數(shù)的增加，決定系數(shù)R2將不斷增大，這不符合回歸模型中自變量個(gè)數(shù)盡可能少的原則。

40三、分析步驟2.5模型擬合效果評(píng)價(jià)40三、分析步驟2.5模型擬合效果評(píng)價(jià)2.5.2校正決定系數(shù)(Rc2)故在評(píng)價(jià)兩個(gè)包含不同個(gè)數(shù)自變量的回歸模型的擬合效果時(shí)，不能簡(jiǎn)單地用決定系數(shù)作為評(píng)價(jià)標(biāo)準(zhǔn)。此時(shí)，必須考慮回歸模型中自變量個(gè)數(shù)的影響。

41三、分析步驟2.5模型擬合效果評(píng)價(jià)41三、分析步驟2.5模型擬合效果評(píng)價(jià)2.5.2校正決定系數(shù)(Rc2)構(gòu)造校正決定系數(shù)，其公式為：

其中，n為樣本含量，p為模型中自變量個(gè)數(shù)。決定系數(shù)相同時(shí)，自變量個(gè)數(shù)越多，Rc2越小。

42三、分析步驟2.5模型擬合效果評(píng)價(jià)4243三、分析步驟2.5模型擬合效果評(píng)價(jià)2.5.3剩余標(biāo)準(zhǔn)差s

即殘差之標(biāo)準(zhǔn)差，計(jì)算公式為：

剩余標(biāo)準(zhǔn)差越小，說(shuō)明回歸模型的擬合效果越好。43三、分析步驟2.5模型擬合效果評(píng)價(jià)三、分析步驟2.5模型擬合效果評(píng)價(jià)2.5.4AIC信息準(zhǔn)則

該準(zhǔn)則由日本學(xué)者赤池于1973年提出，廣泛應(yīng)用于時(shí)間序列分析中自回歸階數(shù)的確定，多重回歸、廣義線性回歸中自變量的篩選以及非線性回歸模型的比較和選優(yōu)。該統(tǒng)計(jì)量取值越小，反映模型擬合效果越好。

44三、分析步驟2.5模型擬合效果評(píng)價(jià)44三、分析步驟2.6共線性診斷多重線性回歸分析中，可能會(huì)出現(xiàn)以下問(wèn)題：回歸方程的檢驗(yàn)有統(tǒng)計(jì)學(xué)意義，而各偏回歸系數(shù)的檢驗(yàn)均無(wú)統(tǒng)計(jì)學(xué)意義。偏回歸系數(shù)的估計(jì)值大小或其符號(hào)與實(shí)際情況和專業(yè)知識(shí)相違背，難以解釋。45三、分析步驟2.6共線性診斷45三、分析步驟2.6共線性診斷多重線性回歸分析中，可能會(huì)出現(xiàn)以下問(wèn)題：(3)某個(gè)（些）與因變量關(guān)系密切的自變量，因?yàn)閰?shù)標(biāo)準(zhǔn)誤的估計(jì)值較大，相應(yīng)t值就會(huì)變得較小，造成其偏回歸系數(shù)無(wú)統(tǒng)計(jì)學(xué)意義。

46三、分析步驟2.6共線性診斷46三、分析步驟2.6共線性診斷導(dǎo)致這些問(wèn)題的原因可能有：(1)研究設(shè)計(jì)不夠合理；(2)資料收集存在問(wèn)題；(3)自變量間近似線性；(4)數(shù)據(jù)中存在異常點(diǎn)；(5)樣本少而自變量多。

47三、分析步驟2.6共線性診斷47三、分析步驟2.6共線性診斷何謂多重共線性？自變量間的近似線性關(guān)系，即是多重共線性。由于數(shù)據(jù)自身的特征，回歸模型中的自變量之間或多或少地存在一些相關(guān)性，這違反了自變量間相互獨(dú)立的假設(shè)條件，稱為多重共線性。

48三、分析步驟2.6共線性診斷48三、分析步驟2.6共線性診斷