第九章_SPSS的線性回歸分析ppt課件

1、第九章第九章SPSS回歸分析本章內(nèi)容9.1 回歸分析概述回歸分析概述9.2 線性回歸分析線性回歸分析9.3 回歸方程的統(tǒng)計(jì)檢驗(yàn)回歸方程的統(tǒng)計(jì)檢驗(yàn)9.4 多元回歸分析中的其他問(wèn)題多元回歸分析中的其他問(wèn)題9.5 線性回歸分析的根本操作線性回歸分析的根本操作9.6 線性回歸分析的運(yùn)用舉例線性回歸分析的運(yùn)用舉例9.7 曲線估計(jì)曲線估計(jì)9.1 回歸分析概述1.線性回歸分析的內(nèi)容線性回歸分析的內(nèi)容1能否找到一個(gè)線性組合來(lái)闡明一組自變量和因變量的關(guān)能否找到一個(gè)線性組合來(lái)闡明一組自變量和因變量的關(guān)系系2假設(shè)能的話，這種關(guān)系的強(qiáng)度有多大，也就是利用自變假設(shè)能的話，這種關(guān)系的強(qiáng)度有多大，也就是利用自變量的線性組合

2、來(lái)預(yù)測(cè)因變量的才干有多強(qiáng)量的線性組合來(lái)預(yù)測(cè)因變量的才干有多強(qiáng)3整體解釋才干能否具有統(tǒng)計(jì)上的顯著性意義整體解釋才干能否具有統(tǒng)計(jì)上的顯著性意義4在整體解釋才干顯著的情況下，哪些自變量有顯著意義在整體解釋才干顯著的情況下，哪些自變量有顯著意義2.回歸分析的普通步驟回歸分析的普通步驟1確定回歸方程中的解釋變量自變量和被解釋變量確定回歸方程中的解釋變量自變量和被解釋變量因變量因變量2確定回歸模型確定回歸模型-選用適宜的數(shù)學(xué)模型概括回歸線選用適宜的數(shù)學(xué)模型概括回歸線3確定回歸方程確定回歸方程-根據(jù)樣本數(shù)據(jù)及確定的回歸模型，在一根據(jù)樣本數(shù)據(jù)及確定的回歸模型，在一定的統(tǒng)計(jì)擬合準(zhǔn)那么下估計(jì)模型的參數(shù)，得到確定的

3、回歸定的統(tǒng)計(jì)擬合準(zhǔn)那么下估計(jì)模型的參數(shù)，得到確定的回歸方程。方程。4對(duì)回歸方程進(jìn)展各種檢驗(yàn)對(duì)回歸方程進(jìn)展各種檢驗(yàn)-基于樣本得到的回歸方程能基于樣本得到的回歸方程能否真實(shí)地反映了總體間的統(tǒng)計(jì)關(guān)系？回歸方程能否用于預(yù)否真實(shí)地反映了總體間的統(tǒng)計(jì)關(guān)系？回歸方程能否用于預(yù)測(cè)？測(cè)？5利用回歸方程進(jìn)展預(yù)測(cè)利用回歸方程進(jìn)展預(yù)測(cè)9.2.1線性回歸模型 1.一元線性回歸模型的數(shù)學(xué)模型其中：x為自變量； y為因變量； 為截距，即常量； 為回歸系數(shù)，闡明自變量對(duì)因變量的影響程度xy10019.2 線線 性性 回回 歸歸 分分 析析X的變化引起的的變化引起的y的線性變化部分：的線性變化部分：其他隨機(jī)要素引起的其他隨機(jī)要

4、素引起的y的變化部分：的變化部分：x10 用最小二乘法求解方程中的兩個(gè)參數(shù)，得到：21)()(xxyyxxiiixby 0多元線性回歸模型2.多元線性回歸方程：11、2、p為偏回歸系數(shù)。21表示在其他自變量堅(jiān)持不變的情況下，自變量x1變動(dòng)一個(gè)單位所引起的因變量y的平均變動(dòng)ppxxxy22110 9.3.1回歸方程的擬合優(yōu)度檢驗(yàn)回歸方程的擬合優(yōu)度檢驗(yàn) 回歸直線與各觀測(cè)點(diǎn)的接近程度稱為回歸方程的擬合優(yōu)度，回歸直線與各觀測(cè)點(diǎn)的接近程度稱為回歸方程的擬合優(yōu)度，也就是樣本觀測(cè)值聚集在回歸線周圍的嚴(yán)密程度也就是樣本觀測(cè)值聚集在回歸線周圍的嚴(yán)密程度 。1.離差平方和的分解離差平方和的分解建立直線回歸方程可知

5、：建立直線回歸方程可知：y的觀測(cè)值的總變動(dòng)可由的觀測(cè)值的總變動(dòng)可由 來(lái)反映來(lái)反映，稱為總變差。引起總變差的緣由有兩個(gè)：，稱為總變差。引起總變差的緣由有兩個(gè)：1)由于由于x的取值不同，使得與的取值不同，使得與x有線性關(guān)系的有線性關(guān)系的y值不同；值不同；2隨機(jī)要素的影響。隨機(jī)要素的影響。2)( yy9.3 線性回歸方程的統(tǒng)計(jì)檢驗(yàn)線性回歸方程的統(tǒng)計(jì)檢驗(yàn)bxayxyy)(0yy )(0yy )(yy總離差平方和可分解為222yyyyyy1 1總平方和總平方和SST)=SST)=剩余平方和剩余平方和(SSE) +(SSE) +回歸平方和回歸平方和SSR)SSR)2 2SST:SST:反映因變量的反映因變

6、量的 n n 個(gè)察看值與其均值的總離差。個(gè)察看值與其均值的總離差。3 3SSRSSR：由：由x x和和y y的直線回歸關(guān)系引起的，可以由回歸直線做出的直線回歸關(guān)系引起的，可以由回歸直線做出 解釋；解釋；4 4SSESSE：除了：除了x x對(duì)對(duì)y y的線性影響之外的隨機(jī)要素所引起的的線性影響之外的隨機(jī)要素所引起的Y Y的變動(dòng)，的變動(dòng)，是回歸直線所不能解釋的。是回歸直線所不能解釋的。2.2.可決系數(shù)斷定系數(shù)、決議系數(shù)可決系數(shù)斷定系數(shù)、決議系數(shù)1可決系數(shù)：回歸平方和在總平方和中所占的比例2用來(lái)衡量X與Y 的關(guān)系親密程度以及回歸直線的代表性好壞。3對(duì)于一元線性回歸方程：22222211yyyyyyyy

7、RSSTSSESSTSSESSTSSTSSRR4對(duì)于多元線性回歸方程對(duì)于多元線性回歸方程多元線性回歸分析中，引起斷定系數(shù)添加的緣由有兩個(gè)：多元線性回歸分析中，引起斷定系數(shù)添加的緣由有兩個(gè)：方程中的解釋變量個(gè)數(shù)增多方程中的解釋變量個(gè)數(shù)增多方程中引入了對(duì)被解釋變量有重要影響的解釋變量方程中引入了對(duì)被解釋變量有重要影響的解釋變量假設(shè)某個(gè)自變量引入方程后對(duì)因變量的線性解釋有重要奉獻(xiàn)，假設(shè)某個(gè)自變量引入方程后對(duì)因變量的線性解釋有重要奉獻(xiàn)，那么必然會(huì)使誤差平方和顯著減小，并使平均的誤差平方和也那么必然會(huì)使誤差平方和顯著減小，并使平均的誤差平方和也顯著減小，從而使調(diào)整的斷定系數(shù)提高顯著減小，從而使調(diào)整的斷定

8、系數(shù)提高假設(shè)某個(gè)自變量對(duì)因變量的線性解釋不明顯，那么將其引入假設(shè)某個(gè)自變量對(duì)因變量的線性解釋不明顯，那么將其引入只會(huì)使只會(huì)使SSE減少，但不會(huì)使平均的減少，但不會(huì)使平均的SSE減少，因此，多元線性減少，因此，多元線性回歸分析中，調(diào)整的斷定系數(shù)比斷定系數(shù)更能準(zhǔn)確的反映回歸回歸分析中，調(diào)整的斷定系數(shù)比斷定系數(shù)更能準(zhǔn)確的反映回歸方程的擬合優(yōu)度方程的擬合優(yōu)度)1/()1/(1122nSSTpnSSERSSTSSER1回歸方程的顯著性檢驗(yàn)是要檢驗(yàn)被解釋變量與一切的解釋變量之間的線性關(guān)系能否顯著。2 對(duì)于一元線性回歸方程，檢驗(yàn)統(tǒng)計(jì)量為：平均的SSA/平均的SSE，反映了回歸方程所能解釋的變差與不能解釋的變

9、差的比例。SPSS自動(dòng)計(jì)算F統(tǒng)計(jì)量值和p值，根據(jù)p值與顯著性程度的大小進(jìn)展判別。），（21)2/() (1/)()2/(1/22nFnyyyynSSESSRF9.3.2 回歸方程的顯著性檢驗(yàn)方差分析回歸方程的顯著性檢驗(yàn)方差分析F檢驗(yàn)檢驗(yàn)3對(duì)于多元線性回歸方程，檢驗(yàn)統(tǒng)計(jì)量為也即：回歸方程的擬合優(yōu)度越高回歸方程的顯著性檢驗(yàn)也會(huì)越顯著回歸方程的顯著性檢驗(yàn)越顯著回歸方程的擬合優(yōu)度越高回歸方程的擬合優(yōu)度檢驗(yàn)僅是一種描寫性描畫，不涉及假設(shè)檢驗(yàn)中：提出原假設(shè)、選擇檢驗(yàn)統(tǒng)計(jì)量、計(jì)算檢驗(yàn)統(tǒng)計(jì)量的值、決策等內(nèi)容，而回歸方程的顯著性檢驗(yàn)均涉及這些內(nèi)容。），（1p) 1/() (/)() 1/(/22pnFpnyyp

10、yypnSSEpSSRF) 1()1 (22pnRpRF9.3.3回歸系數(shù)的顯著性檢驗(yàn)回歸系數(shù)的顯著性檢驗(yàn)t檢驗(yàn)檢驗(yàn)1回歸系數(shù)的顯著性檢驗(yàn)是要檢驗(yàn)回歸方程中被解釋變量與每一個(gè)解釋變量之間的線性關(guān)系能否顯著。2對(duì)于一元線性回歸方程， 檢驗(yàn)統(tǒng)計(jì)量為： 為回歸方程的規(guī)范誤差，是SSE的均方根，反映了回歸方程無(wú)法解釋y 變動(dòng)的程度。 SPSS自動(dòng)計(jì)算t值和p值，根據(jù)p值進(jìn)展決策。 一元線性回歸中，回歸方程顯著性檢驗(yàn)和回歸系數(shù)顯著性檢驗(yàn)的作用一樣，可相互替代，且回歸方程顯著性檢驗(yàn)的F統(tǒng)計(jì)量等于回歸系數(shù)顯著性檢驗(yàn)t統(tǒng)計(jì)量的平方2)()2()(1212nyySntxxtniiiynii其中，2tF 3對(duì)于多

11、元線性回歸方程，檢驗(yàn)統(tǒng)計(jì)量為：1)() 1()(1221pnyySpntxxtniiiynjiijii其中，SPSS自動(dòng)計(jì)算 統(tǒng)計(jì)量的值和相應(yīng)的p值，可根據(jù)p值進(jìn)展決策多元線性回歸中，回歸方程顯著性檢驗(yàn)和回歸系數(shù)顯著性檢驗(yàn)的作用不一樣：a回歸方程顯著性檢驗(yàn)檢驗(yàn)一切偏回歸系數(shù)能否同時(shí)為零。即使偏回歸系數(shù)不同時(shí)為零，并不能保證方程中不存在解釋力較差的自變量。b回歸系數(shù)顯著性檢驗(yàn)對(duì)每個(gè)偏回歸系數(shù)能否為零逐一進(jìn)展檢驗(yàn)c兩種檢驗(yàn)不能相互替代。it1殘差是指由回歸方程計(jì)算得到的預(yù)測(cè)值與實(shí)踐樣本值之間的差距，定義為： 2對(duì)于線性回歸分析來(lái)講，假設(shè)方程可以較好的反映被解釋變量的特征和規(guī)律性，那么殘差序列中應(yīng)不

12、包含明顯的規(guī)律性和趨勢(shì)性。3殘差分析包括以下內(nèi)容： 殘差能否服從均值為零的正態(tài)分布； 殘差能否為等方差的正態(tài)分布； 殘差序列能否獨(dú)立； 借助殘差探測(cè)樣本中的異常值。 ).(22110ppiiiixxxyyye9.3.4 殘差分析殘差分析9.3.4.1殘差均值為零的正態(tài)性檢驗(yàn)殘差均值為零的正態(tài)性檢驗(yàn) 1經(jīng)過(guò)繪制殘差圖進(jìn)展分析經(jīng)過(guò)繪制殘差圖進(jìn)展分析 2殘差圖是一種散點(diǎn)圖：橫軸為解釋變量，縱殘差圖是一種散點(diǎn)圖：橫軸為解釋變量，縱軸為殘差。軸為殘差。 3假設(shè)殘差均值為零，殘差圖的點(diǎn)應(yīng)該在縱坐假設(shè)殘差均值為零，殘差圖的點(diǎn)應(yīng)該在縱坐標(biāo)為標(biāo)為0的中心帶狀區(qū)域中隨機(jī)散落，的中心帶狀區(qū)域中隨機(jī)散落，P290圖圖

13、9-19.3.4.2殘差獨(dú)立性檢驗(yàn)殘差獨(dú)立性檢驗(yàn)1.殘差序列獨(dú)立性指：殘差序列前期和后期數(shù)值之間不存在相關(guān)關(guān)系，即：2.方法1繪制殘差序列散點(diǎn)圖：時(shí)間為橫軸，殘差為縱軸，假設(shè)殘差隨時(shí)間推移呈有規(guī)律變化，那么存在相關(guān)性。2計(jì)算殘差的自相關(guān)系數(shù)：)(0),cov(jiji 1 , 1,2212221nttnttnttteeee3DW檢驗(yàn)DW檢驗(yàn)用來(lái)檢驗(yàn)殘差的自相關(guān)。檢驗(yàn)統(tǒng)計(jì)量為： DW=2，表示無(wú)自相關(guān)， DW=4，表示完全負(fù)自相關(guān)DW=0，表示完全正自相關(guān)DW在0-2之間闡明存在正自相關(guān)，DW在2-4之間闡明存在負(fù)的自相關(guān)。普通情況下，DW值在1.5-2.5之間即可闡明無(wú)自相關(guān)景象)1 (2)(

14、22221nttnttteeeDW4殘差序列存在自相關(guān)能夠闡明：殘差序列存在自相關(guān)能夠闡明： 回歸方程沒有充分闡明被解釋變量的變化規(guī)律，回歸方程沒有充分闡明被解釋變量的變化規(guī)律，脫漏了一些重要的解釋變量脫漏了一些重要的解釋變量 變量存在取值滯后性變量存在取值滯后性 回歸模型選擇不適宜回歸模型選擇不適宜9.3.4.3異方差分析1.殘差分析的方差不隨解釋變量或被解釋變量取值的殘差分析的方差不隨解釋變量或被解釋變量取值的變化而變化，否那么，存在異方差。變化而變化，否那么，存在異方差。2.異方差的后果異方差的后果1參數(shù)的最小二乘估計(jì)不再是最小方差、無(wú)偏、參數(shù)的最小二乘估計(jì)不再是最小方差、無(wú)偏、有效估計(jì)

15、有效估計(jì)2導(dǎo)致回歸系數(shù)顯著性檢驗(yàn)的導(dǎo)致回歸系數(shù)顯著性檢驗(yàn)的t值偏高，進(jìn)而容值偏高，進(jìn)而容易回絕原假設(shè)，使無(wú)用變量保管下來(lái)，增大模型的易回絕原假設(shè)，使無(wú)用變量保管下來(lái)，增大模型的預(yù)測(cè)偏向。預(yù)測(cè)偏向。3.異方差的檢驗(yàn)異方差的檢驗(yàn)1繪制散點(diǎn)圖繪制散點(diǎn)圖 橫軸解釋變量，縱軸殘差，假設(shè)殘差隨解釋變量的橫軸解釋變量，縱軸殘差，假設(shè)殘差隨解釋變量的添加呈添加減少趨勢(shì)，那么存在異方差。添加呈添加減少趨勢(shì)，那么存在異方差。2等級(jí)相關(guān)分析等級(jí)相關(guān)分析 對(duì)殘差序列取絕對(duì)值對(duì)殘差序列取絕對(duì)值計(jì)算殘差和解釋變量的秩計(jì)算殘差和解釋變量的秩計(jì)算計(jì)算Spearman等級(jí)相關(guān)系數(shù)。等級(jí)相關(guān)系數(shù)。 假設(shè)等級(jí)相關(guān)分析檢驗(yàn)統(tǒng)計(jì)量的假

16、設(shè)等級(jí)相關(guān)分析檢驗(yàn)統(tǒng)計(jì)量的p值值給定的顯給定的顯著性程度，那么回絕原假設(shè)，解釋變量與殘差存在著性程度，那么回絕原假設(shè)，解釋變量與殘差存在相關(guān)關(guān)系，出現(xiàn)了異方差。相關(guān)關(guān)系，出現(xiàn)了異方差。4.異方差的處置異方差的處置1對(duì)解釋變量實(shí)施方差穩(wěn)定變換，再進(jìn)展回歸方程對(duì)解釋變量實(shí)施方差穩(wěn)定變換，再進(jìn)展回歸方程參數(shù)的估計(jì)。參數(shù)的估計(jì)。殘差與預(yù)測(cè)值的平方根成比例變化殘差與預(yù)測(cè)值的平方根成比例變化對(duì)解釋變量作對(duì)解釋變量作開方處置開方處置殘差與預(yù)測(cè)值成比例變化殘差與預(yù)測(cè)值成比例變化對(duì)解釋變量取對(duì)數(shù)對(duì)解釋變量取對(duì)數(shù)殘差與預(yù)測(cè)值的平方成比例變化殘差與預(yù)測(cè)值的平方成比例變化對(duì)解釋變量求倒對(duì)解釋變量求倒數(shù)數(shù)2利用加權(quán)最小

17、二乘法估計(jì)回歸方程參數(shù)利用加權(quán)最小二乘法估計(jì)回歸方程參數(shù)9.3.4.4.探測(cè)樣本中的異常值探測(cè)樣本中的異常值1. 異常值：遠(yuǎn)離均值的樣本數(shù)據(jù)點(diǎn)，對(duì)回歸方程參數(shù)估計(jì)有較大影響。2.被解釋變量中異常值的探測(cè)方法1規(guī)范化殘差 對(duì)殘差進(jìn)展規(guī)范化，根據(jù) 準(zhǔn)那么， 的絕對(duì)值大于3的為異常值2學(xué)生化殘差 計(jì)算學(xué)生化殘差， 絕對(duì)值大于3對(duì)應(yīng)的察看值為異常值。3iieZRE 個(gè)樣本的杠桿值第ihheSREiiiiii,1iZREiSER3剔除殘差剔除殘差 計(jì)算第計(jì)算第i個(gè)樣本殘差時(shí)，用剔除該樣本后剩余的個(gè)樣本殘差時(shí)，用剔除該樣本后剩余的n-1個(gè)樣本擬合方程，并計(jì)算第個(gè)樣本擬合方程，并計(jì)算第i個(gè)樣本的預(yù)測(cè)值和相應(yīng)

18、個(gè)樣本的預(yù)測(cè)值和相應(yīng)的殘差，此殘差稱為剔除殘差。的殘差，此殘差稱為剔除殘差。 剔除學(xué)生化殘差的絕對(duì)值大于剔除學(xué)生化殘差的絕對(duì)值大于3對(duì)應(yīng)的察看值為異常對(duì)應(yīng)的察看值為異常值。值。3.解釋變量中異常值的探測(cè)方法1杠桿值2庫(kù)克間隔 值。則對(duì)應(yīng)的觀察值為異常倍或大于,3211,)()(11122hhnphnhxxxxnhiiniiiniiiii為異常值。即可認(rèn)為對(duì)應(yīng)的觀察值大于解釋變量的個(gè)數(shù)，1,)1 () 1(222iiiiiiiDphhpeD3規(guī)范化回歸系數(shù)的變化和規(guī)范化預(yù)測(cè)值的變化 在剔除第i個(gè)樣本后，察看規(guī)范化回歸系數(shù)的前后變化，假設(shè)規(guī)范化回歸系數(shù)變化的絕對(duì)值大于 ，那么可以為第i個(gè)樣本能夠是

19、異常值。 察看預(yù)測(cè)值的前后變化，假設(shè)規(guī)范化預(yù)測(cè)值變化的絕對(duì)值大于 ，那么可以為第i個(gè)樣本能夠是異常值。n2np29.4 多元回歸中的其他問(wèn)題多元回歸中的其他問(wèn)題9.4.1解釋變量的挑選問(wèn)題解釋變量的挑選問(wèn)題1.引入多少個(gè)解釋變量？引入多少個(gè)解釋變量？太少太少不能很好解釋因變量的變化不能很好解釋因變量的變化太多太多自變量間能夠存在多重共線性自變量間能夠存在多重共線性2.挑選戰(zhàn)略挑選戰(zhàn)略1向前挑選向前挑選 Forward 戰(zhàn)略戰(zhàn)略解釋變量不斷進(jìn)入回歸方程的過(guò)程。解釋變量不斷進(jìn)入回歸方程的過(guò)程。首先選擇與被解釋變量具有最高線性相關(guān)系數(shù)的變量進(jìn)入方首先選擇與被解釋變量具有最高線性相關(guān)系數(shù)的變量進(jìn)入方程

20、，并進(jìn)展回歸方程的各種檢驗(yàn)；程，并進(jìn)展回歸方程的各種檢驗(yàn)；在剩余的變量中尋覓與被解釋變量偏相關(guān)系數(shù)最高且經(jīng)過(guò)檢在剩余的變量中尋覓與被解釋變量偏相關(guān)系數(shù)最高且經(jīng)過(guò)檢驗(yàn)的變量進(jìn)入回歸方程，并對(duì)新建立的回歸方程進(jìn)展各種驗(yàn)的變量進(jìn)入回歸方程，并對(duì)新建立的回歸方程進(jìn)展各種檢驗(yàn)；檢驗(yàn)；這個(gè)過(guò)程不斷反復(fù)，直到再也沒有可進(jìn)入方程的變量為止。這個(gè)過(guò)程不斷反復(fù)，直到再也沒有可進(jìn)入方程的變量為止。2向后挑選向后挑選 Backward 戰(zhàn)略戰(zhàn)略變量不斷剔除出回歸方程的過(guò)程。變量不斷剔除出回歸方程的過(guò)程。首先把一切變量全部引入回歸方程，并對(duì)回歸方首先把一切變量全部引入回歸方程，并對(duì)回歸方程進(jìn)展各種檢驗(yàn)；程進(jìn)展各種檢驗(yàn)；

21、在回歸系數(shù)顯著性檢驗(yàn)不顯著的一個(gè)或多個(gè)變量在回歸系數(shù)顯著性檢驗(yàn)不顯著的一個(gè)或多個(gè)變量中，剔除中，剔除t檢驗(yàn)值最小的變量，并重新建立回歸檢驗(yàn)值最小的變量，并重新建立回歸方程和進(jìn)展各種檢驗(yàn)方程和進(jìn)展各種檢驗(yàn)假設(shè)新建回歸方程中一切變量的回歸系數(shù)檢驗(yàn)都假設(shè)新建回歸方程中一切變量的回歸系數(shù)檢驗(yàn)都顯著，那么回歸方程建立終了；否那么按上述方顯著，那么回歸方程建立終了；否那么按上述方法再一次剔除最不顯著的變量，直到再也沒有可法再一次剔除最不顯著的變量，直到再也沒有可剔除的變量為止。剔除的變量為止。3逐漸挑選逐漸挑選 Stepwise 戰(zhàn)略戰(zhàn)略 在向前挑選戰(zhàn)略的根底上結(jié)合向后挑選戰(zhàn)略：向在向前挑選戰(zhàn)略的根底上結(jié)

22、合向后挑選戰(zhàn)略：向前戰(zhàn)略中，變量一旦進(jìn)入方程將不再被剔除，隨著前戰(zhàn)略中，變量一旦進(jìn)入方程將不再被剔除，隨著變量的不斷引入，會(huì)由于變量間的多重共線性，使變量的不斷引入，會(huì)由于變量間的多重共線性，使得曾經(jīng)引入的變量不再顯著。得曾經(jīng)引入的變量不再顯著。 在每個(gè)變量進(jìn)入方程后再次判別能否存在應(yīng)該剔在每個(gè)變量進(jìn)入方程后再次判別能否存在應(yīng)該剔除出方程的變量。除出方程的變量。 逐漸挑選戰(zhàn)略在引入變量的每一個(gè)階段都提供了逐漸挑選戰(zhàn)略在引入變量的每一個(gè)階段都提供了再剔除不顯著變量的時(shí)機(jī)。再剔除不顯著變量的時(shí)機(jī)。1. 多重共線性是指解釋變量之間存在線性相關(guān)關(guān)系的景象。2.測(cè)度多重共線性普通有以下方式1容忍度 是第

23、i個(gè)解釋變量與方程中其他解釋變量間的復(fù)相關(guān)系數(shù)的平方，表示解釋變量之間的線性相關(guān)程度。容忍度的取值范圍在0-1之間，越接近0表示多重共線性越強(qiáng)，越接近1表示多重共線性越弱。2方差膨脹因子VIF方差膨脹因子是容忍度的倒數(shù)。VIF越大多重共線性越強(qiáng)，當(dāng)VIF大于等于10時(shí)，闡明存在嚴(yán)重的多重共線性。 21iiRTol2iR9.4.2 多重共線性問(wèn)題多重共線性問(wèn)題3特征根和方差比根據(jù)解釋變量的相關(guān)系數(shù)矩陣求得的特征根中，假設(shè)最大的特征根遠(yuǎn)遠(yuǎn)大于其他特征根，那么闡明這些解釋變量間具有相當(dāng)多的反復(fù)信息。假設(shè)某個(gè)特征根既可以描寫某解釋變量方差的較大部分比例0.7以上，又能描寫另一解釋變量方差的較大部分比例

24、，那么闡明這兩個(gè)解釋變量間存在較強(qiáng)的線性相關(guān)關(guān)系。 4條件指數(shù)指最大特征根與第i個(gè)特征根比的平方根。當(dāng)條件指數(shù)在0-10之間時(shí)闡明多重共線性較當(dāng)條件指數(shù)在10-100之間闡明多重共線性較強(qiáng)；當(dāng)條件指數(shù)大于100時(shí)闡明存在嚴(yán)重的多重共線性imik3.多重共線性的后果多重共線性的后果1偏回歸系數(shù)估計(jì)困難偏回歸系數(shù)估計(jì)困難2偏回歸系數(shù)的估計(jì)方差隨解釋變量相關(guān)性的增偏回歸系數(shù)的估計(jì)方差隨解釋變量相關(guān)性的增大而增大大而增大3偏回歸系數(shù)的置信區(qū)間增大偏回歸系數(shù)的置信區(qū)間增大4偏回歸系數(shù)估計(jì)值不穩(wěn)定性增大偏回歸系數(shù)估計(jì)值不穩(wěn)定性增大5偏回歸系數(shù)假設(shè)檢驗(yàn)的結(jié)果不顯著偏回歸系數(shù)假設(shè)檢驗(yàn)的結(jié)果不顯著9.5 線性回

25、歸分析的根本操作線性回歸分析的根本操作9.5.1選擇菜單選擇菜單AnalyzeRegressionLinear，出現(xiàn)窗口：，出現(xiàn)窗口：2選擇被解釋變量進(jìn)入選擇被解釋變量進(jìn)入Dependent框?？颉?選擇一個(gè)或多個(gè)解釋變量進(jìn)入選擇一個(gè)或多個(gè)解釋變量進(jìn)入Independent(s)框。框。4在在Method框中選擇回歸分析中解釋變量的挑選戰(zhàn)略?？蛑羞x擇回歸分析中解釋變量的挑選戰(zhàn)略。Enter表示所選變量強(qiáng)行進(jìn)入回歸方程，是表示所選變量強(qiáng)行進(jìn)入回歸方程，是SPSS默許的戰(zhàn)默許的戰(zhàn)略，通常用在一元線性回歸分析中；略，通常用在一元線性回歸分析中；Remove表示從回歸方程中剔除所選變量；表示從回歸方程

26、中剔除所選變量；Stepwise表示逐漸挑選戰(zhàn)略；表示逐漸挑選戰(zhàn)略；Backward表示向后挑選戰(zhàn)略；表示向后挑選戰(zhàn)略；Forward表示向前挑選戰(zhàn)略。表示向前挑選戰(zhàn)略。5第三和第四步中確定的解釋變量及變量挑選戰(zhàn)略可放第三和第四步中確定的解釋變量及變量挑選戰(zhàn)略可放置在不同的塊置在不同的塊Block中。通常在回歸分析中不止一組中。通常在回歸分析中不止一組待進(jìn)入方程的解釋變量和相應(yīng)的挑選戰(zhàn)略，可以單擊待進(jìn)入方程的解釋變量和相應(yīng)的挑選戰(zhàn)略，可以單擊Next和和Previous按鈕設(shè)置多組解釋變量和變量挑選戰(zhàn)按鈕設(shè)置多組解釋變量和變量挑選戰(zhàn)略并放置在不同的塊中。略并放置在不同的塊中。6選擇一個(gè)變量作為

27、條件變量放到選擇一個(gè)變量作為條件變量放到Selection Variable框中，并單擊框中，并單擊Rule按鈕給定一個(gè)判別條件。只按鈕給定一個(gè)判別條件。只需變量值滿足斷定條件的樣本才參與線性回歸分析。需變量值滿足斷定條件的樣本才參與線性回歸分析。7在在Case Labels框中指定哪個(gè)變量作為樣本數(shù)據(jù)點(diǎn)的框中指定哪個(gè)變量作為樣本數(shù)據(jù)點(diǎn)的標(biāo)志變量，該變量的值將標(biāo)在回歸分析的輸出圖形中。標(biāo)志變量，該變量的值將標(biāo)在回歸分析的輸出圖形中。9.5.2 線性回歸分析的其他操作線性回歸分析的其他操作1.Statistics按鈕按鈕可供用戶選擇更多的輸出統(tǒng)計(jì)量?？晒┯脩暨x擇更多的輸出統(tǒng)計(jì)量。1Estimat

28、es：SPSS默許輸出項(xiàng)，輸出與回歸系數(shù)相默許輸出項(xiàng)，輸出與回歸系數(shù)相關(guān)的統(tǒng)計(jì)量：關(guān)的統(tǒng)計(jì)量： 回歸系數(shù)偏回歸系數(shù)、回歸系數(shù)規(guī)范誤差、規(guī)范化回回歸系數(shù)偏回歸系數(shù)、回歸系數(shù)規(guī)范誤差、規(guī)范化回歸系數(shù)、回歸系數(shù)顯著性檢驗(yàn)的歸系數(shù)、回歸系數(shù)顯著性檢驗(yàn)的t統(tǒng)計(jì)量和概率統(tǒng)計(jì)量和概率p值，各解值，各解釋變量的容忍度。釋變量的容忍度。2Confidence Intervals：輸出每個(gè)非規(guī)范化回歸：輸出每個(gè)非規(guī)范化回歸系數(shù)系數(shù)95的置信區(qū)間。的置信區(qū)間。3Descriptive：輸出各解釋變量和被解釋變量的均值：輸出各解釋變量和被解釋變量的均值、規(guī)范差、相關(guān)系數(shù)矩陣及單側(cè)檢驗(yàn)概率、規(guī)范差、相關(guān)系數(shù)矩陣及單側(cè)檢

29、驗(yàn)概率p值。值。4Model fit：SPSS默許輸出項(xiàng)。輸出以下結(jié)果：默許輸出項(xiàng)。輸出以下結(jié)果： 斷定系數(shù)、調(diào)整的斷定系數(shù)、回歸方程的規(guī)范誤差、回?cái)喽ㄏ禂?shù)、調(diào)整的斷定系數(shù)、回歸方程的規(guī)范誤差、回歸方程顯著歸方程顯著F檢驗(yàn)的方程分析表。檢驗(yàn)的方程分析表。5R squared change：輸出每個(gè)解釋變量進(jìn)入方程：輸出每個(gè)解釋變量進(jìn)入方程后引起的斷定系數(shù)的變化量和后引起的斷定系數(shù)的變化量和F值的變化量。值的變化量。6Part and partial correlation：輸出方程中各解：輸出方程中各解釋變量與被解釋變量之間的簡(jiǎn)單相關(guān)、偏相關(guān)系數(shù)。釋變量與被解釋變量之間的簡(jiǎn)單相關(guān)、偏相關(guān)系數(shù)。

30、7Covariance matrix：輸出方程中各解釋變量間的相：輸出方程中各解釋變量間的相關(guān)系數(shù)、協(xié)方差以及各回歸系數(shù)的方差。關(guān)系數(shù)、協(xié)方差以及各回歸系數(shù)的方差。8Collinearity Diagnostics：多重共線性分析。：多重共線性分析。 輸出各個(gè)解釋變量的容忍度、方差膨脹因子、特征值、條件輸出各個(gè)解釋變量的容忍度、方差膨脹因子、特征值、條件目的、方差比例等。目的、方差比例等。9Residual框框 Durbin-waston表示輸出表示輸出DW檢驗(yàn)值；檢驗(yàn)值； Casewise Diagnostic表示輸出規(guī)范化殘差絕對(duì)值大于表示輸出規(guī)范化殘差絕對(duì)值大于等于等于3SPSS默許值的

31、樣本數(shù)據(jù)的相關(guān)信息，包括預(yù)測(cè)默許值的樣本數(shù)據(jù)的相關(guān)信息，包括預(yù)測(cè)值、殘差、杠桿值等。值、殘差、杠桿值等。 可供用戶設(shè)置多元線性回歸分析中解釋變量挑選可供用戶設(shè)置多元線性回歸分析中解釋變量挑選的規(guī)范以及缺失值的處置方式。的規(guī)范以及缺失值的處置方式。2. Options選項(xiàng)選項(xiàng)1Use probability of F:以偏以偏F統(tǒng)計(jì)量的概率值為規(guī)統(tǒng)計(jì)量的概率值為規(guī)范判別解釋變量能否進(jìn)入或剔除回歸方程。范判別解釋變量能否進(jìn)入或剔除回歸方程。2use F value:以偏以偏F統(tǒng)計(jì)量的臨界值為規(guī)范判別解統(tǒng)計(jì)量的臨界值為規(guī)范判別解釋變量能否進(jìn)入或剔除回歸方程。釋變量能否進(jìn)入或剔除回歸方程。3inclu

32、de constant in equation:能否進(jìn)展中心能否進(jìn)展中心化處置，即方程中能否包含常數(shù)項(xiàng)?；幹?，即方程中能否包含常數(shù)項(xiàng)。3.Plot選項(xiàng)該選項(xiàng)用于對(duì)殘差序列的分析該選項(xiàng)用于對(duì)殘差序列的分析1窗口左邊框中各變量名的含義：窗口左邊框中各變量名的含義： DEPENDNT表示被解釋變量，表示被解釋變量， *ZPRED表示規(guī)范化預(yù)測(cè)值，表示規(guī)范化預(yù)測(cè)值， *ZRESID表示規(guī)范化殘差，表示規(guī)范化殘差， *DRESID表示剔除殘差，表示剔除殘差， *ADJPRED表示調(diào)整的預(yù)測(cè)值，表示調(diào)整的預(yù)測(cè)值， *SRESID表示學(xué)生化殘差，表示學(xué)生化殘差， *SDRESID表示剔除學(xué)生化殘差。表示剔

33、除學(xué)生化殘差。2繪制多對(duì)變量的散點(diǎn)圖，可根據(jù)需求在繪制多對(duì)變量的散點(diǎn)圖，可根據(jù)需求在scatter框中框中定義散點(diǎn)圖的縱坐標(biāo)和橫坐標(biāo)變量。定義散點(diǎn)圖的縱坐標(biāo)和橫坐標(biāo)變量。3Standardized Residual Plots框框 Histogram：繪制規(guī)范化殘差序列的直方圖；：繪制規(guī)范化殘差序列的直方圖；Normal probability plot：繪制規(guī)范化殘差序列的正：繪制規(guī)范化殘差序列的正態(tài)分布累計(jì)概率圖。態(tài)分布累計(jì)概率圖。 Produce all partial plots：依次繪制被解釋變量：依次繪制被解釋變量和各個(gè)解釋變量的散點(diǎn)圖。和各個(gè)解釋變量的散點(diǎn)圖。1該窗口的功能是將回

34、歸分析的某些結(jié)果以該窗口的功能是將回歸分析的某些結(jié)果以SPSS變量的變量的方式保管到數(shù)據(jù)編輯窗口中，并可同時(shí)生成方式保管到數(shù)據(jù)編輯窗口中，并可同時(shí)生成XML格式的文格式的文件，便于分析結(jié)果的網(wǎng)絡(luò)發(fā)布。件，便于分析結(jié)果的網(wǎng)絡(luò)發(fā)布。2Predicted Values框：保管非規(guī)范化預(yù)測(cè)值、規(guī)范框：保管非規(guī)范化預(yù)測(cè)值、規(guī)范化預(yù)測(cè)值、調(diào)整的預(yù)測(cè)值和預(yù)測(cè)值的均值規(guī)范誤差。化預(yù)測(cè)值、調(diào)整的預(yù)測(cè)值和預(yù)測(cè)值的均值規(guī)范誤差。3prediction intervals框：保管均值或個(gè)體預(yù)測(cè)值框：保管均值或個(gè)體預(yù)測(cè)值95默許置信區(qū)間的下限值和上限值。默許置信區(qū)間的下限值和上限值。4Residual框：保管非規(guī)范化殘

35、差、規(guī)范化殘差等?？颍罕９芊且?guī)范化殘差、規(guī)范化殘差等。5Influence Statistics框：保管剔除第框：保管剔除第i個(gè)樣本后統(tǒng)計(jì)個(gè)樣本后統(tǒng)計(jì)量的變化量。量的變化量。5.WSL選項(xiàng)選項(xiàng) 采用加權(quán)最小二乘法替代普通最小二乘法估計(jì)回歸參數(shù)，采用加權(quán)最小二乘法替代普通最小二乘法估計(jì)回歸參數(shù)，并指定一個(gè)變量作為權(quán)重變量。并指定一個(gè)變量作為權(quán)重變量。4. Save選項(xiàng)選項(xiàng) 以高?？蒲醒杏憯?shù)據(jù)為例，建立回歸方程研討以高?？蒲醒杏憯?shù)據(jù)為例，建立回歸方程研討 1.課題總數(shù)受論文數(shù)的影響課題總數(shù)受論文數(shù)的影響 2. 被解釋變量被解釋變量課題總數(shù)，課題總數(shù)， 解釋變量解釋變量投入人年數(shù)投入人年數(shù)X2 投入

36、高級(jí)職稱的人年數(shù)投入高級(jí)職稱的人年數(shù)X3 投入科研事業(yè)費(fèi)投入科研事業(yè)費(fèi)X4 專著數(shù)專著數(shù)X6 論文數(shù)論文數(shù)X7 獲獎(jiǎng)數(shù)獲獎(jiǎng)數(shù)X8 1解釋變量采用強(qiáng)迫進(jìn)入戰(zhàn)略解釋變量采用強(qiáng)迫進(jìn)入戰(zhàn)略Enter，并做多重共線性檢測(cè)。，并做多重共線性檢測(cè)。 2解釋變量采用向后挑選戰(zhàn)略讓解釋變量采用向后挑選戰(zhàn)略讓SPSS自動(dòng)完成解釋變量的選擇。自動(dòng)完成解釋變量的選擇。 9.6 運(yùn)用舉例運(yùn)用舉例9.7 曲線估計(jì)9.7.1 曲線估計(jì)概述曲線估計(jì)概述1變量間的相關(guān)關(guān)系中，并不總是表現(xiàn)出線性關(guān)變量間的相關(guān)關(guān)系中，并不總是表現(xiàn)出線性關(guān)系，非線性關(guān)系也是極為常見的。系，非線性關(guān)系也是極為常見的。2變量之間的非線性關(guān)系可以劃分為本

37、質(zhì)線性關(guān)變量之間的非線性關(guān)系可以劃分為本質(zhì)線性關(guān)系和本質(zhì)非線性關(guān)系。系和本質(zhì)非線性關(guān)系。3本質(zhì)線性關(guān)系是指變量關(guān)系方式上雖然呈非線本質(zhì)線性關(guān)系是指變量關(guān)系方式上雖然呈非線性關(guān)系，但可經(jīng)過(guò)變量變換為線性關(guān)系，并最終性關(guān)系，但可經(jīng)過(guò)變量變換為線性關(guān)系，并最終可經(jīng)過(guò)線性回歸分析建立線性模型。可經(jīng)過(guò)線性回歸分析建立線性模型。4本質(zhì)非線性關(guān)系是指變量關(guān)系不僅方式上呈非本質(zhì)非線性關(guān)系是指變量關(guān)系不僅方式上呈非線性關(guān)系，而且也無(wú)法變換為線性關(guān)系。線性關(guān)系，而且也無(wú)法變換為線性關(guān)系。5本節(jié)的曲線估計(jì)處理本質(zhì)線性關(guān)系問(wèn)題。本節(jié)的曲線估計(jì)處理本質(zhì)線性關(guān)系問(wèn)題。9.7.1.1常見的本質(zhì)線性模型有：1二次曲線Quad

38、ratic方程為變量變換后的方程為2復(fù)合曲線Compound方程為變量變換后的方程為3增長(zhǎng)曲線Growth方程為變量變換后的方程為2012yxx2012 11()yxx xx01xy 01ln( )ln()ln()yx01xye01ln( )yx4.對(duì)數(shù)曲線Logarithmic方程為變量變換后的線性方程為5.三次曲線Cubic方程為變量變換后的方程為6.S曲線S方程為 變量變換后的方程為7.指數(shù)曲線Exponential方程為變量變換后的線性方程為01ln( )yx01 1yx230123yxxx012 132yxxx01/xye01 1ln( )yx10 xye01ln( )ln()yx8

39、.逆函數(shù)Inverse方程為變量變換后的方程為9.冪函數(shù)Power方程為變量變換后的方程為10.邏輯函數(shù)Logistic方程為變量變換后的線性方程為01/yx01 1yx10()yx01ln( )ln()ln( )yx0111/xy 0111ln()ln(ln() )xy SPSS曲線估計(jì)曲線估計(jì)1在不能明確終究哪種模型更接近樣本數(shù)據(jù)時(shí)在不能明確終究哪種模型更接近樣本數(shù)據(jù)時(shí)，可在多種可選擇的模型中選擇幾種模型；，可在多種可選擇的模型中選擇幾種模型；2SPSS自動(dòng)完成模型的參數(shù)估計(jì)，并輸出回自動(dòng)完成模型的參數(shù)估計(jì)，并輸出回歸方程顯著性檢驗(yàn)的歸方程顯著性檢驗(yàn)的F值和概率值和概率p值、斷定系數(shù)值、斷

40、定系數(shù)R2等統(tǒng)計(jì)量；等統(tǒng)計(jì)量；3以斷定系數(shù)為主要根據(jù)選擇其中的最優(yōu)模型以斷定系數(shù)為主要根據(jù)選擇其中的最優(yōu)模型，并進(jìn)展預(yù)測(cè)分析等；，并進(jìn)展預(yù)測(cè)分析等；4SPSS曲線估計(jì)還可以以時(shí)間為解釋變量實(shí)曲線估計(jì)還可以以時(shí)間為解釋變量實(shí)現(xiàn)時(shí)間序列的簡(jiǎn)單回歸分析和趨勢(shì)外推分析?，F(xiàn)時(shí)間序列的簡(jiǎn)單回歸分析和趨勢(shì)外推分析。1.可經(jīng)過(guò)繪制并察看樣本數(shù)據(jù)的散點(diǎn)圖粗略確定被解釋變量可經(jīng)過(guò)繪制并察看樣本數(shù)據(jù)的散點(diǎn)圖粗略確定被解釋變量和解釋變量之間的相關(guān)關(guān)系，為曲線擬合中的模型選擇提和解釋變量之間的相關(guān)關(guān)系，為曲線擬合中的模型選擇提供根據(jù)。供根據(jù)。2.SPSS曲線估計(jì)的根本操作步驟曲線估計(jì)的根本操作步驟1選擇菜單選擇菜單AnalyzeRegressionCurve Estimation，出現(xiàn)窗口如下頁(yè)所示，出現(xiàn)窗口如下頁(yè)所示2把被解釋變量選到把被解釋變量選到Dependent框中框中9.7.2 曲線估計(jì)的根本操作曲線估計(jì)的根本操作3曲線估計(jì)中的解釋變量可以是相關(guān)要素變量，也可是曲線估計(jì)中的解釋變量可以是相關(guān)要素變量，也可是時(shí)間變量。時(shí)間變量。 假設(shè)解釋變量為相關(guān)要素變量，那么選擇假設(shè)解釋變量為相關(guān)要素變量，那么選擇Variable選選項(xiàng)，并把一個(gè)解釋變量指定到項(xiàng)，并把一個(gè)解釋變量指定到Independent框；框； 假設(shè)選擇假設(shè)選擇Time參數(shù)那么表示解釋變量