統(tǒng)計學(xué)-第10章-多元線性回歸課件

數(shù)據(jù)分析

(方法與案例)

作者賈俊平統(tǒng)計學(xué)統(tǒng)

計

學(xué)

Statistics*數(shù)據(jù)分析

(方法與案例)

作者賈俊平統(tǒng)計學(xué)統(tǒng)計好的模型選擇可遵循一個稱為奧克姆剃刀(Occam’sRazor)的基本原理：最好的科學(xué)模型往往最簡單，且能解釋所觀察到的事實?！猈illiamNavidi統(tǒng)計名言*好的模型選擇可遵循一個稱為奧克姆剃刀(Occam’sRaz第10章多元線性回歸10.1多元線性回歸模型10.2擬合優(yōu)度和顯著性檢驗10.3多重共線性及其處理10.4利用回歸方程進行預(yù)測10.5啞變量回歸regressionanalysis*第10章多元線性回歸10.1多元線性回歸模型學(xué)習(xí)目標(biāo)多元線性回歸模型、回歸方程與估計的回歸方程回歸方程的擬合優(yōu)度與顯著性檢驗多重共線性問題及其處理利用回歸方程進行預(yù)測啞變量的回歸用Excel和SPSS進行回歸分析*學(xué)習(xí)目標(biāo)多元線性回歸模型、回歸方程與估計的回歸方程*身高受那些因素影響？決定身高的因素是什么？父母遺傳、生活環(huán)境、體育鍛煉，還是以上各因素的共同作用2004年12月，中國人民大學(xué)國民經(jīng)濟管理系02級的兩位學(xué)生，對人大在校生進行了問卷調(diào)查。問卷采取隨機發(fā)放、當(dāng)面提問當(dāng)場收回調(diào)查的樣本量為98人，男性55人，女性43人。調(diào)查內(nèi)容包括被調(diào)查者的身高(單位：cm)、性別、其父母身高、是否經(jīng)常參加體育鍛煉、家庭所在地是在南方還是在北方等等。部分?jǐn)?shù)據(jù)如教材中的表所示(1代表男性，0代表女性)父親身高、母親身高、性別是不是影響子女身高的主要因素呢？如果是，子女身高與這些因素之間能否建立一個線性關(guān)系方程，并根據(jù)這一方程對身高做出預(yù)測？這就是本章將要討論的多元線性回歸問題*身高受那些因素影響？決定身高的因素是什么？父母遺傳、生活環(huán)10.1多元線性回歸模型10.1.1回歸模型與回歸方程10.1.2參數(shù)的最小二乘估計第10章多元線性回歸*10.1多元線性回歸模型第10章多元線性回歸10.1.1回歸模型與回歸方程10.1多元線性回歸模型*10.1.1回歸模型與回歸方程10.1多元線性回多元回歸模型

(multiplelinearregressionmodel)一個因變量與兩個及兩個以上自變量的回歸描述因變量y如何依賴于自變量x1，x2，…，xk

和誤差項

的方程，稱為多元回歸模型涉及k個自變量的多元線性回歸模型可表示為

b0

，b1，b2

，，bk是參數(shù)

是被稱為誤差項的隨機變量y是x1,，x2

，，xk

的線性函數(shù)加上誤差項

包含在y里面但不能被k個自變量的線性關(guān)系所解釋的變異性*多元回歸模型

(multiplelinearregre多元回歸模型

(基本假定)

正態(tài)性。誤差項ε是一個服從正態(tài)分布的隨機變量，且期望值為0，即ε~N(0,2)方差齊性。對于自變量x1，x2，…，xk的所有值，的方差2都相同獨立性。對于自變量x1，x2，…，xk的一組特定值，它所對應(yīng)的與任意一組其他值所對應(yīng)的不相關(guān)*多元回歸模型

(基本假定)正態(tài)性。誤差項ε是一個服從正態(tài)分多元線性回歸方程

(multiplelinearregressionequation)描述因變量y的平均值或期望值如何依賴于自變量x1，x2

，…，xk的方程多元線性回歸方程的形式為

E(y)=0+1x1

+2x2

+…+

k

xkb1，b2，，bk稱為偏回歸系數(shù)

bi

表示假定其他變量不變，當(dāng)xi

每變動一個單位時，y的平均變動值*多元線性回歸方程

(multiplelinearreg二元回歸方程的直觀解釋二元線性回歸模型(觀察到的y)回歸面0ix1yx2(x1,x2)}*二元回歸方程的直觀解釋二元線性回歸模型(觀察到的y)回歸面估計的多元線性回歸的方程

(estimatedmultiplelinearregressionequation)

是

估計值是y的估計值用樣本統(tǒng)計量估計回歸方程中的參數(shù)

時得到的方程由最小二乘法求得一般形式為*估計的多元線性回歸的方程

(estimatedmultip10.1.2參數(shù)的最小二乘估計10.1多元線性回歸模型*10.1.2參數(shù)的最小二乘估計10.1多元線性回參數(shù)的最小二乘估計求解各回歸參數(shù)的標(biāo)準(zhǔn)方程如下使因變量的觀察值與估計值之間的離差平方和達到最小來求得

。即*參數(shù)的最小二乘估計求解各回歸參數(shù)的標(biāo)準(zhǔn)方程如下使因變量的觀察參數(shù)的最小二乘法

(例題分析)【例10-1】一家商業(yè)銀行在多個地區(qū)設(shè)有分行，其業(yè)務(wù)主要是進行基礎(chǔ)設(shè)施建設(shè)、國家重點項目建設(shè)、固定資產(chǎn)投資等項目的貸款。近年來，該銀行的貸款額平穩(wěn)增長，但不良貸款額也有較大比例的提高，這給銀行業(yè)務(wù)的發(fā)展帶來較大壓力。為弄清楚不良貸款形成的原因，希望利用銀行業(yè)務(wù)的有關(guān)數(shù)據(jù)做些定量分析，以便找出控制不良貸款的辦法。試建立不良貸款y與貸款余額x1、累計應(yīng)收貸款x2、貸款項目個數(shù)x3和固定資產(chǎn)投資額x4的線性回歸方程，并解釋各回歸系數(shù)的含義

進行回歸Excel進行回歸SPSS*參數(shù)的最小二乘法

(例題分析)【例10-1】一家商業(yè)銀行在多參數(shù)的最小二乘估計

(Excel輸出結(jié)果)F檢驗t檢驗偏回歸系數(shù)*參數(shù)的最小二乘估計

(Excel輸出結(jié)果)F檢驗t檢驗偏回參數(shù)的最小二乘估計

(SPSS輸出結(jié)果)*參數(shù)的最小二乘估計

(SPSS輸出結(jié)果)*

10.2擬合優(yōu)度和顯著性檢驗10.2.1回歸方程的擬合優(yōu)度10.2.2顯著性檢驗第10章多元線性回歸*10.2擬合優(yōu)度和顯著性檢驗第10章多元線10.2.1回歸方程的擬合優(yōu)度10.2擬合優(yōu)度和顯著性檢驗*10.2.1回歸方程的擬合優(yōu)度10.2擬合優(yōu)度和多重判定系數(shù)

(multiplecoefficientofdetermination)

回歸平方和占總平方和的比例計算公式為因變量取值的變差中，能被估計的多元回歸方程所解釋的比例*多重判定系數(shù)

(multiplecoefficiento修正多重判定系數(shù)

(adjustedmultiplecoefficientofdetermination)

用樣本量n和自變量的個數(shù)k去修正R2得到計算公式為避免增加自變量而高估R2意義與R2類似數(shù)值小于R2輸出結(jié)果SPSS*修正多重判定系數(shù)

(adjustedmultipleco多重相關(guān)系數(shù)

(multiplecorrelationcoefficient)

多重判定系數(shù)的平方根R反映因變量y與k個自變量之間的相關(guān)程度實際上R度量的是因變量的觀測值與由多元回歸方程得到的預(yù)測值之間的關(guān)系強度，即多重相關(guān)系數(shù)R等于因變量的觀測值與估計值之間的簡單相關(guān)系數(shù)即(一元相關(guān)系數(shù)r也是如此，即。讀者自己去驗證)*多重相關(guān)系數(shù)

(multiplecorrelationc估計標(biāo)準(zhǔn)誤差Se對誤差項的標(biāo)準(zhǔn)差的一個估計值衡量多元回歸方程的擬合優(yōu)度計算公式為輸出結(jié)果SPSS*估計標(biāo)準(zhǔn)誤差Se對誤差項的標(biāo)準(zhǔn)差的一個估計值輸出結(jié)果10.2.2顯著性檢驗10.2擬合優(yōu)度和顯著性檢驗*10.2.2顯著性檢驗10.2擬合優(yōu)度和顯著性檢線性關(guān)系檢驗檢驗因變量與所有自變量之間的線性關(guān)系是否顯著也被稱為總體的顯著性檢驗檢驗方法是將回歸均方(MSR)同殘差均方(MSE)加以比較，應(yīng)用F檢驗來分析二者之間的差別是否顯著如果是顯著的，因變量與自變量之間存在線性關(guān)系如果不顯著，因變量與自變量之間不存在線性關(guān)系*線性關(guān)系檢驗檢驗因變量與所有自變量之間的線性關(guān)系是否顯著*線性關(guān)系檢驗提出假設(shè)H0：12k=0線性關(guān)系不顯著H1：1，2，k至少有一個不等于02.計算檢驗統(tǒng)計量F確定顯著性水平和分子自由度k、分母自由度n-k-1找出臨界值F

4.作出決策：若F>F

，拒絕H0輸出結(jié)果SPSS*線性關(guān)系檢驗提出假設(shè)2.計算檢驗統(tǒng)計量F確定顯著性水平回歸系數(shù)的檢驗線性關(guān)系檢驗通過后，對各個回歸系數(shù)有選擇地進行一次或多次檢驗究竟要對哪幾個回歸系數(shù)進行檢驗，通常需要在建立模型之前作出決定對回歸系數(shù)檢驗的個數(shù)進行限制，以避免犯過多的第Ⅰ類錯誤(棄真錯誤)對每一個自變量都要單獨進行檢驗應(yīng)用t檢驗統(tǒng)計量*回歸系數(shù)的檢驗線性關(guān)系檢驗通過后，對各個回歸系數(shù)有選擇地進行回歸系數(shù)的檢驗

(步驟)提出假設(shè)H0：bi=0(自變量xi

與

因變量y沒有線性關(guān)系)H1：bi

0(自變量xi

與

因變量y有線性關(guān)系)計算檢驗的統(tǒng)計量t確定顯著性水平，并進行決策t>t，拒絕H0；t<t，不拒絕H0輸出結(jié)果SPSS*回歸系數(shù)的檢驗

(步驟)提出假設(shè)確定顯著性水平，并進行決回歸系數(shù)的推斷

(置信區(qū)間)回歸系數(shù)在(1-)%置信水平下的置信區(qū)間為

回歸系數(shù)的抽樣標(biāo)準(zhǔn)差輸出結(jié)果SPSS*回歸系數(shù)的推斷

(置信區(qū)間)回歸系數(shù)在(1-)%置信水

10.3多重共線性及其處理10.3.1多重共線性及其識別10.3.2變量選擇與逐步回歸第10章多元線性回歸*10.3多重共線性及其處理第10章多元線性10.3.1多重共線性及其識別10.3多重共線性及其處理*10.3.1多重共線性及其識別10.3多重共線性多重共線性

(multicollinearity)回歸模型中兩個或兩個以上的自變量彼此相關(guān)多重共線性帶來的問題有可能會使回歸的結(jié)果造成混亂，甚至?xí)逊治鲆肫缤究赡軐?shù)估計值的正負(fù)號產(chǎn)生影響，特別是各回歸系數(shù)的正負(fù)號有可能同預(yù)期的正負(fù)號相反輸出結(jié)果SPSS*多重共線性

(multicollinearity)回歸模型中多重共線性的識別檢測多重共線性的最簡單的一種辦法是計算模型中各對自變量之間的相關(guān)系數(shù)，并對各相關(guān)系數(shù)進行顯著性檢驗若有一個或多個相關(guān)系數(shù)顯著，就表示模型中所用的自變量之間相關(guān)，存在著多重共線性如果出現(xiàn)下列情況，暗示存在多重共線性模型中各對自變量之間顯著相關(guān)當(dāng)模型的線性關(guān)系檢驗(F檢驗)顯著時，幾乎所有回歸系數(shù)的t檢驗卻不顯著回歸系數(shù)的正負(fù)號與預(yù)期的相反輸出結(jié)果SPSS*多重共線性的識別檢測多重共線性的最簡單的一種辦法是計算模型中相關(guān)矩陣及其檢驗

(SPSS)

SPSS*相關(guān)矩陣及其檢驗

(SPSS)SPSS*多重共線性的處理將一個或多個相關(guān)的自變量從模型中剔除，使保留的自變量盡可能不相關(guān)如果要在模型中保留所有的自變量，則應(yīng)避免根據(jù)t統(tǒng)計量對單個參數(shù)進行檢驗對因變量值的推斷(估計或預(yù)測)的限定在自變量樣本值的范圍內(nèi)輸出結(jié)果SPSS*多重共線性的處理將一個或多個相關(guān)的自變量從模型中剔除，使保留10.3.2變量選擇與逐步回歸10.3多重共線性及其處理*10.3.2變量選擇與逐步回歸10.3多重共線性變量選擇過程在建立回歸模型時，對自變量進行篩選選擇自變量的原則是對統(tǒng)計量進行顯著性檢驗將一個或一個以上的自變量引入到回歸模型中時，是否使得殘差平方和(SSE)有顯著地減少。如果增加一個自變量使SSE的減少是顯著的，則說明有必要將這個自變量引入回歸模型，否則，就沒有必要將這個自變量引入回歸模型確定引入自變量是否使SSE有顯著減少的方法，就是使用F統(tǒng)計量的值作為一個標(biāo)準(zhǔn)，以此來確定是在模型中增加一個自變量，還是從模型中剔除一個自變量變量選擇的方法主要有：向前選擇、向后剔除、逐步回歸、最優(yōu)子集等*變量選擇過程在建立回歸模型時，對自變量進行篩選*向前選擇

(forwardselection)從模型中沒有自變量開始對k個自變量分別擬合對因變量的一元線性回歸模型，共有k個，然后找出F統(tǒng)計量的值最高的模型及其自變量(P值最小的)，并將其首先引入模型分別擬合引入模型外的k-1個自變量的二元線性回歸模型如此反復(fù)進行，直至模型外的自變量均無統(tǒng)計顯著性為止*向前選擇

(forwardselection)從模型中沒向后剔除

(backwardelimination)先對因變量擬合包括所有k個自變量的回歸模型。然后考察p(p<k)個去掉一個自變量的模型(這些模型中在每一個都有k-1個自變量)，使模型的SSE值減小最少的自變量被挑選出來并從模型中剔除考察p-1個再去掉一個自變量的模型(這些模型中每一個都有k-2個自變量)，使模型的SSE值減小最少的自變量被挑選出來并從模型中剔除如此反復(fù)進行，一直將自變量從模型中剔除，直至剔除一個自變量不會使SSE顯著減小為止*向后剔除

(backwardelimination)先對逐步回歸

(stepwiseregression)將向前選擇和向后剔除兩種方法結(jié)合起來篩選自變量在增加了一個自變量后，它會對模型中所有的變量進行考察，看看有沒有可能剔除某個自變量。如果在增加了一個自變量后，前面增加的某個自變量對模型的貢獻變得不顯著，這個變量就會被剔除按照方法不停地增加變量并考慮剔除以前增加的變量的可能性，直至增加變量已經(jīng)不能導(dǎo)致SSE顯著減少在前面步驟中增加的自變量在后面的步驟中有可能被剔除，而在前面步驟中剔除的自變量在后面的步驟中也可能重新進入到模型中*逐步回歸

(stepwiseregression)將向前參數(shù)的最小二乘估計

(逐步回歸)【例10-4】根據(jù)例10-1的數(shù)據(jù)，用逐步回歸方法建立不良貸款y與貸款余額x1、累計應(yīng)收貸款x2、貸款項目個數(shù)x3和固定資產(chǎn)投資額x4的線性回歸方程，并求出不良貸款的置信區(qū)間和預(yù)測區(qū)間

*參數(shù)的最小二乘估計

(逐步回歸)【例10-4】根據(jù)例10-1用SPSS進行逐步回歸

(stepwiseregression)第1步：選擇【Analyze】下拉菜單，并選擇【Regression-linear】選項進入主對話框第2步：在主對話框中將因變量選入【Dependent】，將所有自變量選入【Independent(s)】，并在【Method】下選擇【Stepwise】第3步：點擊【Options】，并在【SteppingMethodCriteria】下選中【UseProbabilityofF】，并在【Entry】框中輸入增加變量所要求的顯著性水平(隱含值為0.05，一般不用改變)；在【Removal】輸入剔除變量所要求的顯著性水平(隱含值為0.10，一般不用改變)。點擊【Continue】回到主對話框*用SPSS進行逐步回歸

(stepwiseregress用SPSS進行逐步回歸

(stepwiseregression)第4步：(需要預(yù)測時)點擊【Save】：在【PredictedValues】下選中【Unstandardized】(輸出點預(yù)測值)在【Predictioninterval】下選中【Mean】和【Individual】(輸出置信區(qū)間和預(yù)測區(qū)間)在【ConfidenceInterval】中選擇所要求的置信水平(隱含值為95%，一般不用改變)(需要殘差分析時)在【Residuals】下選中所需的殘差，點擊【Continue】回到主對話框。點擊【OK】進行回歸SPSS*用SPSS進行逐步回歸

(stepwiseregress逐步回歸

(例題分析—SPSS輸出結(jié)果)變量的進入和移出標(biāo)準(zhǔn)*逐步回歸

(例題分析—SPSS輸出結(jié)果)變量的進入和移出標(biāo)逐步回歸

(例題分析—SPSS輸出結(jié)果)兩個模型的主要統(tǒng)計量*逐步回歸

(例題分析—SPSS輸出結(jié)果)兩個模型的主要統(tǒng)計逐步回歸

(例題分析—SPSS輸出結(jié)果)兩個模型的方差分析表*逐步回歸

(例題分析—SPSS輸出結(jié)果)兩個模型的方差分析逐步回歸

(例題分析—SPSS輸出結(jié)果)兩個模型的參數(shù)估計和檢驗

*逐步回歸

(例題分析—SPSS輸出結(jié)果)兩個模型的參數(shù)估計

10.4利用回歸方程進行預(yù)測第10章多元線性回歸*10.4利用回歸方程進行預(yù)測第10章多元線置信區(qū)間和預(yù)測區(qū)間

(例題分析)*置信區(qū)間和預(yù)測區(qū)間

(例題分析)*用SPSS做回歸面圖

第1步：點擊【Graphs】【Interactive-Scatterplot】第2步：點擊【3DCoordine】，將各坐標(biāo)軸變量拖入相應(yīng)坐標(biāo)軸第3步：點擊【Fit】，在【method】下選擇【Regression】，在【PredictionLines】下選擇【Mean】和【Individual】。點擊【確定】做回歸面SPSS*用SPSS做回歸面圖第1步：點擊【Graphs】【Int置信區(qū)間和預(yù)測區(qū)間

(例題分析)不良貸款的置信面和預(yù)測面二元回歸面置信面預(yù)測面*置信區(qū)間和預(yù)測區(qū)間

(例題分析)不良貸款的置信面和預(yù)測面二元第10章多元線性回歸

10.5啞變量回歸10.5.1在模型中引進啞變量10.5.2含有一個啞變量的回歸*第10章多元線性回歸10.5啞變量回歸*10.5.1在模型中引進啞變量10.5啞變量回歸*10.5.1在模型中引進啞變量10.5啞變量回歸啞變量

(dummyvariable)也稱虛擬變量。用數(shù)字代碼表示的定性自變量啞變量可有不同的水平只有兩個水平的啞變量比如，性別(男，女)有兩個以上水平的啞變量貸款企業(yè)的類型(家電，醫(yī)藥，其他)啞變量的取值為0，1*啞變量

(dummyvariable)也稱虛擬變量。用數(shù)字在回歸中引進啞變量回歸模型中使用啞變量時，稱為啞變量回歸當(dāng)定性變量只有兩個水平時，可在回歸中引入一個啞變量比如，性別(男，女)一般而言，如果定性自變量有k個水平，需要在回歸中模型中引進k-1個啞變量*在回歸中引進啞變量回歸模型中使用啞變量時，稱為啞變量回歸*在回歸中引進啞變量

(例題分析)【例10-6】為研究考試成績與性別之間的關(guān)系，從某大學(xué)商學(xué)院隨機抽取男女學(xué)生各8名，得到他們的市場營銷學(xué)課程的考試成績?nèi)缬冶?在回歸中引進啞變量

(例題分析)【例10-6】為研究考試成績10.5.2含有一個啞變量的回歸10.5啞變量回歸*10.5.2含有一個啞變量的回歸10.5啞變量在回歸中引進啞變量

(例題分析)【例10-7】建立考試分?jǐn)?shù)與性別之間的線性回歸方程，并解釋回歸系數(shù)的含義進行回歸Excel*在回歸中引進啞變量

(例題分析)【例10-7】建立考試分?jǐn)?shù)與啞變量回歸

(例題分析)引進啞變量時，回歸方程表示為E(y)=0+1x男(x=0)：E(y)=0—男學(xué)生考試成績的期望值女(x=1)：E(y)=0+1—女學(xué)生考試成績的期望值注意：當(dāng)指定啞變量0，1時0總是代表與啞變量值0所對應(yīng)的那個分類變量水平的平均值1總是代表與啞變量值1所對應(yīng)的那個分類變量水平的平均響應(yīng)與啞變量值0所對應(yīng)的那個分類變量水平的平均值的差值，即平均值的差值=(0+1)-0=1*啞變量回歸

(例題分析)引進啞變量時，回歸方程表示為E(y啞變量回歸

(例題分析)考試成績與性別的回歸男學(xué)生考試分?jǐn)?shù)的平均值女學(xué)生與男學(xué)生平均考試分?jǐn)?shù)的差值*啞變量回歸

(例題分析)考試成績與性別的回歸男學(xué)生用SPSS進行啞變量回歸

(有一個啞變量和有一個數(shù)值變量)第1步：選擇【Analyze】，并選擇【GeneralLinearModel-Univaiate】進入主對話框第2步：將因變量(考試成績)選入【DependentVariable】，將自變量(性別)選入【FixedFactor(s)】(模型中還含有一個數(shù)值自變量時，將數(shù)值自變量選入【Covariate(s)】)第3步：點擊【Model】，并點擊【Custom】；將性別[F]選入【Model】(若模型中還含有工作年限自變量時，將工作年限[C]也選入【Model】；在【BuildTerm(s)】下選擇【Maineffects】。點擊【Continue】回到主對話框。點擊【Options】，在【Display】下選中【Parameterestimates】(估計模型中的參數(shù))。點擊【Continue】回到主對話框。點擊【OK】啞變量回歸SPSS*用SPSS進行啞變量回歸

(有一個啞變量和有一個數(shù)值變量)第啞變量回歸

(例題分析—只含一個啞變量)SPSS的輸出結(jié)果方差分析表：F=5.326，Sig.=0.037，回歸模型顯著男=1，女=0。女學(xué)生考試成績的期望值=81.75分；男學(xué)生比女學(xué)生平均低14.875分*啞變量回歸

(例題分析—只含一個啞變量)SPSS的輸出結(jié)果啞變量回歸

(例題分析)【例10-8】為研究工資水平與工作年限和性別之間的關(guān)系，在某行業(yè)中隨機抽取10名職工，所得數(shù)據(jù)如右表進行回歸Excel*啞變量回歸

(例題分析)【例10-8】為研究工資水平與工作年啞變量回歸

(例題分析—Excel)Excel輸出的結(jié)果*啞變量回歸

(例題分析—Excel)Exc啞變量回歸

(例題分析—SPSS)

啞變量回歸SPSS*啞變量回歸

(例題分析—SPSS)啞變量回歸S啞變量回歸

(例題分析—SPSS)

啞變量回歸SPSS用工作年限和性別預(yù)測的月工資水平及其殘差

*啞變量回歸

(例題分析—SPSS)啞變量回歸S啞變量回歸

(例題分析—SPSS)

啞變量回歸均

值

圖SPSS*啞變量回歸

(例題分析—SPSS)啞變量回歸均啞變量回歸

(例題分析)引進啞變量時，回歸方程寫為

E(y)=0+1x1+2x2女(

x2=0)：E(y|女性)=0+1x1男(x2=1)：E(y|男性)=(0+2)+1x10的含義表示：女性職工的期望月工資收入(0+2)的含義表示：男性職工的期望月工資收入1含義表示：工作年限每增加1年，男性或女性工資的平均增加值2含義表示：男性職工的期望月工資收入與女性職工的期望月工資收入之間的差值(0+2)-0=2*啞變量回歸

(例題分析)引進啞變量時，回歸方程寫為*本章小結(jié)多元線性回歸模型、回歸方程與估計的回歸方程回歸方程的擬合優(yōu)度與顯著性檢驗多重共線性問題及其處理利用回歸方程進行預(yù)測啞變量回歸用Excel和SPSS進行回歸分析*本章小結(jié)多元線性回歸模型、回歸方程與估計的回歸方程*結(jié)束THANKS*結(jié)束THANKS*數(shù)據(jù)分析

(方法與案例)

作者賈俊平統(tǒng)計學(xué)統(tǒng)

計

學(xué)

Statistics*數(shù)據(jù)分析

(方法與案例)

作者賈俊平統(tǒng)計學(xué)統(tǒng)計好的模型選擇可遵循一個稱為奧克姆剃刀(Occam’sRazor)的基本原理：最好的科學(xué)模型往往最簡單，且能解釋所觀察到的事實?！猈illiamNavidi統(tǒng)計名言*好的模型選擇可遵循一個稱為奧克姆剃刀(Occam’sRaz第10章多元線性回歸10.1多元線性回歸模型10.2擬合優(yōu)度和顯著性檢驗10.3多重共線性及其處理10.4利用回歸方程進行預(yù)測10.5啞變量回歸regressionanalysis*第10章多元線性回歸10.1多元線性回歸模型學(xué)習(xí)目標(biāo)多元線性回歸模型、回歸方程與估計的回歸方程回歸方程的擬合優(yōu)度與顯著性檢驗多重共線性問題及其處理利用回歸方程進行預(yù)測啞變量的回歸用Excel和SPSS進行回歸分析*學(xué)習(xí)目標(biāo)多元線性回歸模型、回歸方程與估計的回歸方程*身高受那些因素影響？決定身高的因素是什么？父母遺傳、生活環(huán)境、體育鍛煉，還是以上各因素的共同作用2004年12月，中國人民大學(xué)國民經(jīng)濟管理系02級的兩位學(xué)生，對人大在校生進行了問卷調(diào)查。問卷采取隨機發(fā)放、當(dāng)面提問當(dāng)場收回調(diào)查的樣本量為98人，男性55人，女性43人。調(diào)查內(nèi)容包括被調(diào)查者的身高(單位：cm)、性別、其父母身高、是否經(jīng)常參加體育鍛煉、家庭所在地是在南方還是在北方等等。部分?jǐn)?shù)據(jù)如教材中的表所示(1代表男性，0代表女性)父親身高、母親身高、性別是不是影響子女身高的主要因素呢？如果是，子女身高與這些因素之間能否建立一個線性關(guān)系方程，并根據(jù)這一方程對身高做出預(yù)測？這就是本章將要討論的多元線性回歸問題*身高受那些因素影響？決定身高的因素是什么？父母遺傳、生活環(huán)10.1多元線性回歸模型10.1.1回歸模型與回歸方程10.1.2參數(shù)的最小二乘估計第10章多元線性回歸*10.1多元線性回歸模型第10章多元線性回歸10.1.1回歸模型與回歸方程10.1多元線性回歸模型*10.1.1回歸模型與回歸方程10.1多元線性回多元回歸模型

(multiplelinearregressionmodel)一個因變量與兩個及兩個以上自變量的回歸描述因變量y如何依賴于自變量x1，x2，…，xk

和誤差項

的方程，稱為多元回歸模型涉及k個自變量的多元線性回歸模型可表示為

b0

，b1，b2

，，bk是參數(shù)

是被稱為誤差項的隨機變量y是x1,，x2

，，xk

的線性函數(shù)加上誤差項

包含在y里面但不能被k個自變量的線性關(guān)系所解釋的變異性*多元回歸模型

(multiplelinearregre多元回歸模型

(基本假定)

正態(tài)性。誤差項ε是一個服從正態(tài)分布的隨機變量，且期望值為0，即ε~N(0,2)方差齊性。對于自變量x1，x2，…，xk的所有值，的方差2都相同獨立性。對于自變量x1，x2，…，xk的一組特定值，它所對應(yīng)的與任意一組其他值所對應(yīng)的不相關(guān)*多元回歸模型

(基本假定)正態(tài)性。誤差項ε是一個服從正態(tài)分多元線性回歸方程

(multiplelinearregressionequation)描述因變量y的平均值或期望值如何依賴于自變量x1，x2

，…，xk的方程多元線性回歸方程的形式為

E(y)=0+1x1

+2x2

+…+

k

xkb1，b2，，bk稱為偏回歸系數(shù)

bi

表示假定其他變量不變，當(dāng)xi

每變動一個單位時，y的平均變動值*多元線性回歸方程

(multiplelinearreg二元回歸方程的直觀解釋二元線性回歸模型(觀察到的y)回歸面0ix1yx2(x1,x2)}*二元回歸方程的直觀解釋二元線性回歸模型(觀察到的y)回歸面估計的多元線性回歸的方程

(estimatedmultiplelinearregressionequation)

是

估計值是y的估計值用樣本統(tǒng)計量估計回歸方程中的參數(shù)

時得到的方程由最小二乘法求得一般形式為*估計的多元線性回歸的方程

(estimatedmultip10.1.2參數(shù)的最小二乘估計10.1多元線性回歸模型*10.1.2參數(shù)的最小二乘估計10.1多元線性回參數(shù)的最小二乘估計求解各回歸參數(shù)的標(biāo)準(zhǔn)方程如下使因變量的觀察值與估計值之間的離差平方和達到最小來求得

。即*參數(shù)的最小二乘估計求解各回歸參數(shù)的標(biāo)準(zhǔn)方程如下使因變量的觀察參數(shù)的最小二乘法

(例題分析)【例10-1】一家商業(yè)銀行在多個地區(qū)設(shè)有分行，其業(yè)務(wù)主要是進行基礎(chǔ)設(shè)施建設(shè)、國家重點項目建設(shè)、固定資產(chǎn)投資等項目的貸款。近年來，該銀行的貸款額平穩(wěn)增長，但不良貸款額也有較大比例的提高，這給銀行業(yè)務(wù)的發(fā)展帶來較大壓力。為弄清楚不良貸款形成的原因，希望利用銀行業(yè)務(wù)的有關(guān)數(shù)據(jù)做些定量分析，以便找出控制不良貸款的辦法。試建立不良貸款y與貸款余額x1、累計應(yīng)收貸款x2、貸款項目個數(shù)x3和固定資產(chǎn)投資額x4的線性回歸方程，并解釋各回歸系數(shù)的含義

進行回歸Excel進行回歸SPSS*參數(shù)的最小二乘法

(例題分析)【例10-1】一家商業(yè)銀行在多參數(shù)的最小二乘估計

(Excel輸出結(jié)果)F檢驗t檢驗偏回歸系數(shù)*參數(shù)的最小二乘估計

(Excel輸出結(jié)果)F檢驗t檢驗偏回參數(shù)的最小二乘估計

(SPSS輸出結(jié)果)*參數(shù)的最小二乘估計

(SPSS輸出結(jié)果)*

10.2擬合優(yōu)度和顯著性檢驗10.2.1回歸方程的擬合優(yōu)度10.2.2顯著性檢驗第10章多元線性回歸*10.2擬合優(yōu)度和顯著性檢驗第10章多元線10.2.1回歸方程的擬合優(yōu)度10.2擬合優(yōu)度和顯著性檢驗*10.2.1回歸方程的擬合優(yōu)度10.2擬合優(yōu)度和多重判定系數(shù)

(multiplecoefficientofdetermination)

回歸平方和占總平方和的比例計算公式為因變量取值的變差中，能被估計的多元回歸方程所解釋的比例*多重判定系數(shù)

(multiplecoefficiento修正多重判定系數(shù)

(adjustedmultiplecoefficientofdetermination)

用樣本量n和自變量的個數(shù)k去修正R2得到計算公式為避免增加自變量而高估R2意義與R2類似數(shù)值小于R2輸出結(jié)果SPSS*修正多重判定系數(shù)

(adjustedmultipleco多重相關(guān)系數(shù)

(multiplecorrelationcoefficient)

多重判定系數(shù)的平方根R反映因變量y與k個自變量之間的相關(guān)程度實際上R度量的是因變量的觀測值與由多元回歸方程得到的預(yù)測值之間的關(guān)系強度，即多重相關(guān)系數(shù)R等于因變量的觀測值與估計值之間的簡單相關(guān)系數(shù)即(一元相關(guān)系數(shù)r也是如此，即。讀者自己去驗證)*多重相關(guān)系數(shù)

(multiplecorrelationc估計標(biāo)準(zhǔn)誤差Se對誤差項的標(biāo)準(zhǔn)差的一個估計值衡量多元回歸方程的擬合優(yōu)度計算公式為輸出結(jié)果SPSS*估計標(biāo)準(zhǔn)誤差Se對誤差項的標(biāo)準(zhǔn)差的一個估計值輸出結(jié)果10.2.2顯著性檢驗10.2擬合優(yōu)度和顯著性檢驗*10.2.2顯著性檢驗10.2擬合優(yōu)度和顯著性檢線性關(guān)系檢驗檢驗因變量與所有自變量之間的線性關(guān)系是否顯著也被稱為總體的顯著性檢驗檢驗方法是將回歸均方(MSR)同殘差均方(MSE)加以比較，應(yīng)用F檢驗來分析二者之間的差別是否顯著如果是顯著的，因變量與自變量之間存在線性關(guān)系如果不顯著，因變量與自變量之間不存在線性關(guān)系*線性關(guān)系檢驗檢驗因變量與所有自變量之間的線性關(guān)系是否顯著*線性關(guān)系檢驗提出假設(shè)H0：12k=0線性關(guān)系不顯著H1：1，2，k至少有一個不等于02.計算檢驗統(tǒng)計量F確定顯著性水平和分子自由度k、分母自由度n-k-1找出臨界值F

4.作出決策：若F>F

，拒絕H0輸出結(jié)果SPSS*線性關(guān)系檢驗提出假設(shè)2.計算檢驗統(tǒng)計量F確定顯著性水平回歸系數(shù)的檢驗線性關(guān)系檢驗通過后，對各個回歸系數(shù)有選擇地進行一次或多次檢驗究竟要對哪幾個回歸系數(shù)進行檢驗，通常需要在建立模型之前作出決定對回歸系數(shù)檢驗的個數(shù)進行限制，以避免犯過多的第Ⅰ類錯誤(棄真錯誤)對每一個自變量都要單獨進行檢驗應(yīng)用t檢驗統(tǒng)計量*回歸系數(shù)的檢驗線性關(guān)系檢驗通過后，對各個回歸系數(shù)有選擇地進行回歸系數(shù)的檢驗

(步驟)提出假設(shè)H0：bi=0(自變量xi

與

因變量y沒有線性關(guān)系)H1：bi

0(自變量xi

與

因變量y有線性關(guān)系)計算檢驗的統(tǒng)計量t確定顯著性水平，并進行決策t>t，拒絕H0；t<t，不拒絕H0輸出結(jié)果SPSS*回歸系數(shù)的檢驗

(步驟)提出假設(shè)確定顯著性水平，并進行決回歸系數(shù)的推斷

(置信區(qū)間)回歸系數(shù)在(1-)%置信水平下的置信區(qū)間為

回歸系數(shù)的抽樣標(biāo)準(zhǔn)差輸出結(jié)果SPSS*回歸系數(shù)的推斷

(置信區(qū)間)回歸系數(shù)在(1-)%置信水

10.3多重共線性及其處理10.3.1多重共線性及其識別10.3.2變量選擇與逐步回歸第10章多元線性回歸*10.3多重共線性及其處理第10章多元線性10.3.1多重共線性及其識別10.3多重共線性及其處理*10.3.1多重共線性及其識別10.3多重共線性多重共線性

(multicollinearity)回歸模型中兩個或兩個以上的自變量彼此相關(guān)多重共線性帶來的問題有可能會使回歸的結(jié)果造成混亂，甚至?xí)逊治鲆肫缤究赡軐?shù)估計值的正負(fù)號產(chǎn)生影響，特別是各回歸系數(shù)的正負(fù)號有可能同預(yù)期的正負(fù)號相反輸出結(jié)果SPSS*多重共線性

(multicollinearity)回歸模型中多重共線性的識別檢測多重共線性的最簡單的一種辦法是計算模型中各對自變量之間的相關(guān)系數(shù)，并對各相關(guān)系數(shù)進行顯著性檢驗若有一個或多個相關(guān)系數(shù)顯著，就表示模型中所用的自變量之間相關(guān)，存在著多重共線性如果出現(xiàn)下列情況，暗示存在多重共線性模型中各對自變量之間顯著相關(guān)當(dāng)模型的線性關(guān)系檢驗(F檢驗)顯著時，幾乎所有回歸系數(shù)的t檢驗卻不顯著回歸系數(shù)的正負(fù)號與預(yù)期的相反輸出結(jié)果SPSS*多重共線性的識別檢測多重共線性的最簡單的一種辦法是計算模型中相關(guān)矩陣及其檢驗

(SPSS)

SPSS*相關(guān)矩陣及其檢驗

(SPSS)SPSS*多重共線性的處理將一個或多個相關(guān)的自變量從模型中剔除，使保留的自變量盡可能不相關(guān)如果要在模型中保留所有的自變量，則應(yīng)避免根據(jù)t統(tǒng)計量對單個參數(shù)進行檢驗對因變量值的推斷(估計或預(yù)測)的限定在自變量樣本值的范圍內(nèi)輸出結(jié)果SPSS*多重共線性的處理將一個或多個相關(guān)的自變量從模型中剔除，使保留10.3.2變量選擇與逐步回歸10.3多重共線性及其處理*10.3.2變量選擇與逐步回歸10.3多重共線性變量選擇過程在建立回歸模型時，對自變量進行篩選選擇自變量的原則是對統(tǒng)計量進行顯著性檢驗將一個或一個以上的自變量引入到回歸模型中時，是否使得殘差平方和(SSE)有顯著地減少。如果增加一個自變量使SSE的減少是顯著的，則說明有必要將這個自變量引入回歸模型，否則，就沒有必要將這個自變量引入回歸模型確定引入自變量是否使SSE有顯著減少的方法，就是使用F統(tǒng)計量的值作為一個標(biāo)準(zhǔn)，以此來確定是在模型中增加一個自變量，還是從模型中剔除一個自變量變量選擇的方法主要有：向前選擇、向后剔除、逐步回歸、最優(yōu)子集等*變量選擇過程在建立回歸模型時，對自變量進行篩選*向前選擇

(forwardselection)從模型中沒有自變量開始對k個自變量分別擬合對因變量的一元線性回歸模型，共有k個，然后找出F統(tǒng)計量的值最高的模型及其自變量(P值最小的)，并將其首先引入模型分別擬合引入模型外的k-1個自變量的二元線性回歸模型如此反復(fù)進行，直至模型外的自變量均無統(tǒng)計顯著性為止*向前選擇

(forwardselection)從模型中沒向后剔除

(backwardelimination)先對因變量擬合包括所有k個自變量的回歸模型。然后考察p(p<k)個去掉一個自變量的模型(這些模型中在每一個都有k-1個自變量)，使模型的SSE值減小最少的自變量被挑選出來并從模型中剔除考察p-1個再去掉一個自變量的模型(這些模型中每一個都有k-2個自變量)，使模型的SSE值減小最少的自變量被挑選出來并從模型中剔除如此反復(fù)進行，一直將自變量從模型中剔除，直至剔除一個自變量不會使SSE顯著減小為止*向后剔除

(backwardelimination)先對逐步回歸

(stepwiseregression)將向前選擇和向后剔除兩種方法結(jié)合起來篩選自變量在增加了一個自變量后，它會對模型中所有的變量進行考察，看看有沒有可能剔除某個自變量。如果在增加了一個自變量后，前面增加的某個自變量對模型的貢獻變得不顯著，這個變量就會被剔除按照方法不停地增加變量并考慮剔除以前增加的變量的可能性，直至增加變量已經(jīng)不能導(dǎo)致SSE顯著減少在前面步驟中增加的自變量在后面的步驟中有可能被剔除，而在前面步驟中剔除的自變量在后面的步驟中也可能重新進入到模型中*逐步回歸

(stepwiseregression)將向前參數(shù)的最小二乘估計

(逐步回歸)【例10-4】根據(jù)例10-1的數(shù)據(jù)，用逐步回歸方法建立不良貸款y與貸款余額x1、累計應(yīng)收貸款x2、貸款項目個數(shù)x3和固定資產(chǎn)投資額x4的線性回歸方程，并求出不良貸款的置信區(qū)間和預(yù)測區(qū)間

*參數(shù)的最小二乘估計

(逐步回歸)【例10-4】根據(jù)例10-1用SPSS進行逐步回歸

(stepwiseregression)第1步：選擇【Analyze】下拉菜單，并選擇【Regression-linear】選項進入主對話框第2步：在主對話框中將因變量選入【Dependent】，將所有自變量選入【Independent(s)】，并在【Method】下選擇【Stepwise】第3步：點擊【Options】，并在【SteppingMethodCriteria】下選中【UseProbabilityofF】，并在【Entry】框中輸入增加變量所要求的顯著性水平(隱含值為0.05，一般不用改變)；在【Removal】輸入剔除變量所要求的顯著性水平(隱含值為0.10，一般不用改變)。點擊【Continue】回到主對話框*用SPSS進行逐步回歸

(stepwiseregress用SPSS進行逐步回歸

(stepwiseregression)第4步：(需要預(yù)測時)點擊【Save】：在【PredictedValues】下選中【Unstandardized】(輸出點預(yù)測值)在【Predictioninterval】下選中【Mean】和【Individual】(輸出置信區(qū)間和預(yù)測區(qū)間)在【ConfidenceInterval】中選擇所要求的置信水平(隱含值為95%，一般不用改變)(需要殘差分析時)在【Residuals】下選中所需的殘差，點擊【Continue】回到主對話框。點擊【OK】進行回歸SPSS*用SPSS進行逐步回歸

(stepwiseregress逐步回歸

(例題分析—SPSS輸出結(jié)果)變量的進入和移出標(biāo)準(zhǔn)*逐步回歸

(例題分析—SPSS輸出結(jié)果)變量的進入和移出標(biāo)逐步回歸

(例題分析—SPSS輸出結(jié)果)兩個模型的主要統(tǒng)計量*逐步回歸

(例題分析—SPSS輸出結(jié)果)兩個模型的主要統(tǒng)計逐步回歸

(例題分析—SPSS輸出結(jié)果)兩個模型的方差分析表*逐步回歸

(例題分析—SPSS輸出結(jié)果)兩個模型的方差分析逐步回歸

(例題分析—SPSS輸出結(jié)果)兩個模型的參數(shù)估計和檢驗

*逐步回歸

(例題分析—SPSS輸出結(jié)果)兩個模型的參數(shù)估計

10.4利用回歸方程進行預(yù)測第10章多元線性回歸*10.4利用回歸方程進行預(yù)測第10章多元線置信區(qū)間和預(yù)測區(qū)間

(例題分析)*置信區(qū)間和預(yù)測區(qū)間

(例題分析)*用SPSS做回歸面圖

第1步：點擊【Graphs】【Interactive-Scatterplot】第2步：點擊【3DCoordine】，將各坐標(biāo)軸變量拖入相應(yīng)坐標(biāo)軸第3步：點擊【Fit】，在【method】下選擇【Regression】，在【PredictionLines】下選擇【Mean】和【Individual】。點擊【確定】做回歸面SPSS*用SPSS做回歸面圖第1步：點擊【Graphs】【Int置信區(qū)間和預(yù)測區(qū)間

(例題分析)不良貸款的置信面和預(yù)測面二元回歸面置信面預(yù)測面*置信區(qū)間和預(yù)測區(qū)間

(例題分析)不良貸款的置信面和預(yù)測面二元第10章多元線性回歸

10.5啞變量回歸10.5.1在模型中引進啞變量10.5.2含有一個啞變量的回歸*第10章多元線性回歸10.5啞變量回歸*10.5.1在模型中引進啞變量10.5啞變量回歸*10.5.1在模型中引進啞變量10.5啞變量回歸啞變量

(dummyvariable)也稱虛擬變量。用數(shù)字代碼表示的定性自變量啞變量可有不同的水平只有兩個水平的啞變量比如，性別(男，女)有兩個以上水平的啞變量貸款企業(yè)的類型(家電，醫(yī)藥，其他)啞變量的取值為0，1*啞變量

(dummyvariable)也稱虛擬變量。用數(shù)字在回歸中引進啞變量回歸模型中使用啞變量時，稱為啞變量回歸當(dāng)定性變量只有兩個水平時，可在回歸中引入一個啞變量比如，性別(男，女)一般而言，如果定性自變量有k個水平，需要在回歸中模型中引進k-1個啞變量*在回歸中引進啞變量回歸模型中使用啞變量時，稱為啞變量回歸*在回歸中引進啞變量

(例題分析)【例10-6】為研究考試成績