多元線性回歸分析

1、 多元線性回歸多元線性回歸學(xué)習(xí)目標(biāo)學(xué)習(xí)目標(biāo)l多元線性回歸模型、回歸方程與估計(jì)的回歸方多元線性回歸模型、回歸方程與估計(jì)的回歸方程程l回歸方程的擬合優(yōu)度與顯著性檢驗(yàn)回歸方程的擬合優(yōu)度與顯著性檢驗(yàn)l利用回歸方程進(jìn)行預(yù)測(cè)利用回歸方程進(jìn)行預(yù)測(cè)l用用Excel和和SPSS進(jìn)行回歸分析進(jìn)行回歸分析1.1 回歸模型與回歸方程回歸模型與回歸方程多元回歸模型多元回歸模型 (multiple linear regression model)1. 一個(gè)因變量與兩個(gè)及兩個(gè)以上自變量的回歸一個(gè)因變量與兩個(gè)及兩個(gè)以上自變量的回歸2. 描述因描述因變量變量 y 如何依賴于自變量如何依賴于自變量 x1 ， x2 ， xk 和誤

2、差項(xiàng)和誤差項(xiàng) 的方程，稱為多元回歸模型的方程，稱為多元回歸模型3. 涉涉及及 k 個(gè)自變量的多元線性回歸模型可表示為個(gè)自變量的多元線性回歸模型可表示為多元回歸模型多元回歸模型(基本假定基本假定) 1. 正態(tài)性。誤正態(tài)性。誤差項(xiàng)差項(xiàng)是一個(gè)服從正態(tài)分布的隨機(jī)是一個(gè)服從正態(tài)分布的隨機(jī)變量，且期望值為變量，且期望值為0，即，即N(0, 2)2. 方差方差齊性。齊性。對(duì)于對(duì)于自變量自變量x1，x2，xk的所有的所有值，值， 的方差的方差 2都相同都相同3. 獨(dú)立獨(dú)立性。性。對(duì)于自變量對(duì)于自變量x1，x2，xk的的一組特一組特定值，它所對(duì)應(yīng)的定值，它所對(duì)應(yīng)的 與任意一組其他值所對(duì)應(yīng)與任意一組其他值所對(duì)應(yīng)的

3、不相關(guān)的不相關(guān)總結(jié)：零均值；等方差；無(wú)自相關(guān)；與解釋變量不相關(guān)；正態(tài)性假定總結(jié)：零均值；等方差；無(wú)自相關(guān)；與解釋變量不相關(guān)；正態(tài)性假定多元線性回歸方程多元線性回歸方程 (multiple linear regression equation)1. 描描述因變量述因變量 y 的平均值或期望值如何依賴于自的平均值或期望值如何依賴于自變量變量 x1， x2 ，xk的方程的方程2. 多多元線性回歸方程的形式為元線性回歸方程的形式為v E( y ) = 0+ 1 x1 + 2 x2 + k xk估計(jì)的多元線性回歸的方程估計(jì)的多元線性回歸的方程(estimated multiple linear regr

4、ession equation)1. 用樣本統(tǒng)計(jì)量用樣本統(tǒng)計(jì)量 估計(jì)回歸方程估計(jì)回歸方程中的中的 參數(shù)參數(shù) 時(shí)得到的方程時(shí)得到的方程2. 由最小二乘法求得由最小二乘法求得3. 一般形式為一般形式為1.2 參數(shù)的最小二乘估計(jì)參數(shù)的最小二乘估計(jì)參數(shù)的最小二乘估計(jì)參數(shù)的最小二乘估計(jì)參數(shù)的最小二乘法參數(shù)的最小二乘法(例題分析例題分析)2008年年8月月參數(shù)的最小二乘估計(jì)參數(shù)的最小二乘估計(jì)(例題分析例題分析)2.1 回歸方程的擬合優(yōu)度回歸方程的擬合優(yōu)度多重判定系數(shù)多重判定系數(shù)(multiple coefficient of determination) 1. 回歸平方和占總平方和的比例回歸平方和占總平方

5、和的比例2. 計(jì)算公式為計(jì)算公式為3. 因變量取值的變差中，能被估計(jì)的多元回歸方程因變量取值的變差中，能被估計(jì)的多元回歸方程所解釋的比例所解釋的比例 修正多重判定系數(shù)修正多重判定系數(shù)(adjusted multiple coefficient of determination) 1. 用樣本量用樣本量n和自變量的個(gè)數(shù)和自變量的個(gè)數(shù)k去修正去修正R2得到得到 2. 計(jì)算公式為計(jì)算公式為3. 避免增加自變量而高估避免增加自變量而高估 R24. 意義與意義與 R2類似類似5. 數(shù)值小于數(shù)值小于R22008年年8月月多重相關(guān)系數(shù)多重相關(guān)系數(shù)(multiple correlation coefficie

6、nt) 1. 多重判定系數(shù)的平方根多重判定系數(shù)的平方根R2. 反映因變量反映因變量y與與k個(gè)自變量之間的相關(guān)程度個(gè)自變量之間的相關(guān)程度3. 實(shí)際上實(shí)際上R度量的是因變量的觀測(cè)值度量的是因變量的觀測(cè)值 與由多元回與由多元回歸方程得到的預(yù)測(cè)值歸方程得到的預(yù)測(cè)值 之間的關(guān)系強(qiáng)度，即多之間的關(guān)系強(qiáng)度，即多重相關(guān)系數(shù)重相關(guān)系數(shù)R等于因變量的觀測(cè)值等于因變量的觀測(cè)值 與估計(jì)值與估計(jì)值 之間的簡(jiǎn)單相關(guān)系數(shù)之間的簡(jiǎn)單相關(guān)系數(shù)v (一元相關(guān)系數(shù)一元相關(guān)系數(shù)r也是如此，也是如此，即即 。讀者自己去驗(yàn)證。讀者自己去驗(yàn)證)估計(jì)標(biāo)準(zhǔn)誤差估計(jì)標(biāo)準(zhǔn)誤差 Se1. 對(duì)誤差項(xiàng)對(duì)誤差項(xiàng) 的標(biāo)準(zhǔn)差的標(biāo)準(zhǔn)差 的的一個(gè)估計(jì)值一個(gè)估計(jì)值

7、2. 衡量多元回歸方程的擬合優(yōu)度衡量多元回歸方程的擬合優(yōu)度3. 計(jì)算公式為計(jì)算公式為2.2 顯著性檢驗(yàn)顯著性檢驗(yàn)線性關(guān)系檢驗(yàn)線性關(guān)系檢驗(yàn)1. 檢驗(yàn)因變量與所有自變量之間的線性關(guān)系是檢驗(yàn)因變量與所有自變量之間的線性關(guān)系是否顯著否顯著2. 也被稱為總體的顯著性檢驗(yàn)也被稱為總體的顯著性檢驗(yàn)3. 檢驗(yàn)方法是將回歸均方檢驗(yàn)方法是將回歸均方(MSR)同殘差均方同殘差均方(MSE)加以比較，應(yīng)用加以比較，應(yīng)用 F 檢驗(yàn)來(lái)分析二者檢驗(yàn)來(lái)分析二者之間的差別是否顯著之間的差別是否顯著如果是顯著的，因變量與自變量之間存在線性關(guān)系如果不顯著，因變量與自變量之間不存在線性關(guān)系線性關(guān)系檢驗(yàn)線性關(guān)系檢驗(yàn)1. 提出提出假設(shè)假

8、設(shè)H0：12k=0 線性關(guān)系不顯著H1：1，2， k至少有一個(gè)不等于0回歸系數(shù)的檢驗(yàn)回歸系數(shù)的檢驗(yàn)1. 線性關(guān)系檢驗(yàn)通過(guò)后，對(duì)各個(gè)回歸系數(shù)有選擇地線性關(guān)系檢驗(yàn)通過(guò)后，對(duì)各個(gè)回歸系數(shù)有選擇地進(jìn)行一次或多次檢驗(yàn)進(jìn)行一次或多次檢驗(yàn)2. 究竟要對(duì)哪幾個(gè)回歸系數(shù)進(jìn)行檢驗(yàn)，通常需要在究竟要對(duì)哪幾個(gè)回歸系數(shù)進(jìn)行檢驗(yàn)，通常需要在建立模型之前作出決定建立模型之前作出決定3. 對(duì)回歸系數(shù)檢驗(yàn)的個(gè)數(shù)進(jìn)行限制，以避免犯過(guò)多對(duì)回歸系數(shù)檢驗(yàn)的個(gè)數(shù)進(jìn)行限制，以避免犯過(guò)多的第的第類錯(cuò)誤類錯(cuò)誤(棄真錯(cuò)誤棄真錯(cuò)誤) 4. 對(duì)每一個(gè)自變量都要單獨(dú)進(jìn)行檢驗(yàn)對(duì)每一個(gè)自變量都要單獨(dú)進(jìn)行檢驗(yàn)5. 應(yīng)用應(yīng)用 t 檢驗(yàn)統(tǒng)計(jì)量檢驗(yàn)統(tǒng)計(jì)量回歸系數(shù)

9、的檢驗(yàn)回歸系數(shù)的檢驗(yàn)(步驟步驟)1. 提出假設(shè)提出假設(shè)H0： i = 0 (自變量 xi 與 因變量 y 沒(méi)有線性關(guān)系) H1： i 0 (自變量 xi 與 因變量 y有線性關(guān)系) 2. 計(jì)算檢驗(yàn)的統(tǒng)計(jì)量計(jì)算檢驗(yàn)的統(tǒng)計(jì)量 t回歸系數(shù)的推斷回歸系數(shù)的推斷 (置信區(qū)間置信區(qū)間)v回歸系數(shù)在回歸系數(shù)在(1- )%置信水平下的置信區(qū)間為置信水平下的置信區(qū)間為v v v 26案例案例 回歸系數(shù)檢驗(yàn)回歸系數(shù)檢驗(yàn)Coefficientsa1678.623352.4344.763.00032.7486.640.5094.932.000260.32956.944.4724.572.000(Constant)年收

10、入（千美圓）家庭人員數(shù)Model1BStd. ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Variable: 信用卡消費(fèi)支出（美圓）a. 21329.260748.32623.1678XXy27案例案例 F檢驗(yàn)檢驗(yàn)ANOVAb21750254210875126.8723.447.000a2179931047463815.0964354956349RegressionResidualTotalModel1Sum ofSquaresdfMean SquareFSig.Predictors: (C

11、onstant), 家庭人員數(shù), 年收入（千美圓）a. Dependent Variable: 信用卡消費(fèi)支出（美圓）b. 方差分析表方差分析表28模型的效果模型的效果Model Summary.707a.499.478681.0397Model1RR SquareAdjustedR SquareStd. Error ofthe EstimatePredictors: (Constant), 家庭人員數(shù), 年收入（千美圓）a. 29預(yù)測(cè)（案例）預(yù)測(cè)（案例）如果某個(gè)家庭其家庭成員有如果某個(gè)家庭其家庭成員有4人，年人均收入為人，年人均收入為40千千元，試估計(jì)使用信用卡支付的數(shù)額可能是多少，在元，試

12、估計(jì)使用信用卡支付的數(shù)額可能是多少，在置信水平為置信水平為95%的要求，確定估計(jì)區(qū)間。的要求，確定估計(jì)區(qū)間。點(diǎn)預(yù)測(cè)：點(diǎn)預(yù)測(cè)：預(yù)測(cè)區(qū)間：預(yù)測(cè)區(qū)間：2643.308822643.308825416.427065416.427064029.867944*329.26040*748.32623.1678y30相關(guān)和回歸分析應(yīng)注意的幾個(gè)問(wèn)題相關(guān)和回歸分析應(yīng)注意的幾個(gè)問(wèn)題v正確理解和對(duì)待變量之間的關(guān)系正確理解和對(duì)待變量之間的關(guān)系v預(yù)測(cè)時(shí)自變量的取值范圍預(yù)測(cè)時(shí)自變量的取值范圍v注意模型的時(shí)間、空間條件注意模型的時(shí)間、空間條件v定量與定性結(jié)合定量與定性結(jié)合本章小結(jié)本章小結(jié)l多元線性回歸模型、回歸方程與估計(jì)的回歸多元線性回歸模型、回歸方程與估計(jì)的回歸方程方程l回歸方程的擬合優(yōu)度與顯著性檢驗(yàn)回歸方程的擬合優(yōu)度與顯著性檢驗(yàn)l利用回歸方程進(jìn)行預(yù)測(cè)利用回歸方程進(jìn)行預(yù)測(cè)l用用Excel和和SPSS進(jìn)行回歸分析進(jìn)行回歸分析作作 業(yè)業(yè)v根據(jù)我國(guó)某旅游景區(qū)根據(jù)我國(guó)某旅游景區(qū)13個(gè)旅游點(diǎn)的年外匯收入（個(gè)旅游點(diǎn)的年外匯收入（y：百萬(wàn)美元）和相對(duì)應(yīng)的僑胞旅游人數(shù)（：百萬(wàn)美元）和相對(duì)應(yīng)的僑胞旅游人數(shù)（x1：萬(wàn)人）、外國(guó)人旅游人數(shù)（萬(wàn)人）、外國(guó)人旅游人數(shù)（x2：萬(wàn)人）的數(shù)據(jù)，：萬(wàn)人）的數(shù)據(jù)，用用SPSS建立二元回歸模型，得到以下輸出結(jié)果建立二元回歸模型，得到以下輸出結(jié)果（億元）