SPSS的線性回歸分析ppt課件

1、第九章第九章 SPSS SPSS的線性回歸分析的線性回歸分析(一)回歸分析了解(1)“回歸的含義galton研討研討父親身高和兒子身高的關(guān)系時(shí)的獨(dú)特發(fā)現(xiàn). (2)回歸線的獲得方式一:部分平均 回歸曲線上的點(diǎn)給出了相應(yīng)于每一個(gè)x(父親)值的y(兒子)平均數(shù)的估計(jì) (3)回歸線的獲得方式二:擬和函數(shù)使數(shù)據(jù)擬和于某條曲線;經(jīng)過假設(shè)干參數(shù)描畫該曲線;利用知數(shù)據(jù)在一定的統(tǒng)計(jì)準(zhǔn)那么下找出參數(shù)的估計(jì)值(得到回歸曲線的近似);(二)回歸分析的根本步驟(1)確定自變量和因變量(父親身高關(guān)于兒子身高的回歸與兒子身高關(guān)于父親身高的回歸是不同的).(2)從樣本數(shù)據(jù)出發(fā)確定變量之間的數(shù)學(xué)關(guān)系式,并對(duì)回歸方程的各個(gè)參數(shù)進(jìn)

2、展估計(jì).(3)對(duì)回歸方程進(jìn)展各種統(tǒng)計(jì)檢驗(yàn).(4)利用回歸方程進(jìn)展預(yù)測(cè).(三)參數(shù)估計(jì)的準(zhǔn)那么目的:回歸線上的察看值與預(yù)測(cè)值之間的間隔總和到達(dá)最小最小二乘法(利用最小二乘法擬和的回歸直線與樣本數(shù)據(jù)點(diǎn)在垂直方向上的偏離程度最低)(一)一元回歸方程: y=0+1x0為常數(shù)項(xiàng)；1為y對(duì)x回歸系數(shù)，即:x每變動(dòng)一個(gè)單位所引起的y的平均變動(dòng)(二)一元回歸分析的步驟利用樣本數(shù)據(jù)建立回歸方程回歸方程的擬和優(yōu)度檢驗(yàn)回歸方程的顯著性檢驗(yàn)(t檢驗(yàn)和F檢驗(yàn))殘差分析預(yù)測(cè)(一)擬和優(yōu)度檢驗(yàn):(1)目的:檢驗(yàn)樣本察看點(diǎn)聚集在回歸直線周圍的密集程度，評(píng)價(jià)回歸方程對(duì)樣本數(shù)據(jù)點(diǎn)的擬和程度。(2)思緒:由于: 因變量取值的變化受

3、兩個(gè)要素的影響自變量不同取值的影響其他要素的影響于是: 因變量總變差=自變量引起的+其他要素引起的即: 因變量總變差=回歸方程可解釋的+不可解釋的可證明:因變量總離差平方和=回歸平方和+剩余平方和(一)擬和優(yōu)度檢驗(yàn): (3)統(tǒng)計(jì)量：斷定系數(shù)R2=SSR/SST=1-SSE/SST.R2表達(dá)了回歸方程所能解釋的因變量變差的比例;1-R2那么表達(dá)了因變量總變差中，回歸方程所無法解釋的比例。R2越接近于1，那么闡明回歸平方和占了因變量總變差平方和的絕大部分比例，因變量的變差主要由自變量的不同取值呵斥，回歸方程對(duì)樣本數(shù)據(jù)點(diǎn)擬合得好在一元回歸中R2=r2; 因此，從這個(gè)意義上講，斷定系數(shù)可以比較好地反映

4、回歸直線對(duì)樣本數(shù)據(jù)的代表程度和線性相關(guān)性。niiniiniiniiyyyyyyyyR121212122)() (1)()(二)回歸方程的顯著性檢驗(yàn)：F檢驗(yàn)(1)目的:檢驗(yàn)自變量與因變量之間的線性關(guān)系能否顯著,能否可用線性模型來表示.(2)H0: =0 即:回歸系數(shù)與0無顯著差別(3)利用F檢驗(yàn),構(gòu)造F統(tǒng)計(jì)量:F=平均的回歸平方和/平均的剩余平方和F(1,n-1-1)假設(shè)F值較大，那么闡明自變量呵斥的因變量的線性變動(dòng)遠(yuǎn)大于隨機(jī)要素對(duì)因變量的影響,自變量于因變量之間的線性關(guān)系較顯著(4)計(jì)算F統(tǒng)計(jì)量的值和相伴概率p(5)判別pregression-linear(2)選擇一個(gè)變量為因變量進(jìn)入depe

5、ndent框(3)選擇一個(gè)變量為自變量進(jìn)入independent框(4)enter:所選變量全部進(jìn)入回歸方程(默許方法)(5)對(duì)樣本進(jìn)展挑選(selection variable)利用滿足一定條件的樣本數(shù)據(jù)進(jìn)展回歸分析(6)指定作圖時(shí)各數(shù)據(jù)點(diǎn)的標(biāo)志變量(case labels)(二) statistics選項(xiàng)(1)根本統(tǒng)計(jì)量輸出Estimates:默許.顯示回歸系數(shù)相關(guān)統(tǒng)計(jì)量.confidence intervals:每個(gè)非規(guī)范化的回歸系數(shù)95%的置信區(qū)間.Descriptive:各變量均值、規(guī)范差和相關(guān)系數(shù)單側(cè)檢驗(yàn)概率.Model fit:默許.斷定系數(shù)、估計(jì)規(guī)范誤差、方差分析表、容忍度(2

6、)Residual框中的殘差分析Durbin-waston:D-W值casewise diagnostic:異常值(奇特值)檢測(cè) (輸出預(yù)測(cè)值及殘差和規(guī)范化殘差)(三)plot選項(xiàng):圖形分析.Standardize residual plots:繪制殘差序列直方圖和累計(jì)概率圖,檢測(cè)殘差的正態(tài)性繪制指定序列的散點(diǎn)圖,檢測(cè)殘差的隨機(jī)性、異方差性ZPRED:規(guī)范化預(yù)測(cè)值 ZRESID:規(guī)范化殘差SRESID:學(xué)生化殘差produce all partial plot:繪制因變量和一切自變量之間的散點(diǎn)圖(一)殘差序列的正態(tài)性檢驗(yàn):繪制規(guī)范化殘差的直方圖或累計(jì)概率圖(二)殘差序列的隨機(jī)性檢驗(yàn)繪制殘差和預(yù)

7、測(cè)值的散點(diǎn)圖,應(yīng)隨機(jī)分布在經(jīng)過零的一條直線上下 (三)殘差序列獨(dú)立性檢驗(yàn):殘差序列能否存在后期值與前期值相關(guān)的景象,利用D.W(Durbin-Watson)檢驗(yàn)d-w=0:殘差序列存在完全正自相關(guān);d-w=4:殘差序列存在完全負(fù)自相關(guān);0d-w2:殘差序列存在某種程度的正自相關(guān);2d-w4:殘差序列存在某種程度的負(fù)自相關(guān);d-w=2:殘差序列不存在自相關(guān).殘差序列不存在自相關(guān),可以以為回歸方程根本概括了因變量的變化;否那么,以為能夠一些與因變量相關(guān)的要素沒有引入回歸方程或回歸模型不適宜或滯后性周期性的影響. (四)異常值(casewise或outliers)診斷利用規(guī)范化殘差不僅可以知道察看值

8、比預(yù)測(cè)值大或小,并且還知道在絕對(duì)值上它比大多數(shù)殘差是大還是小.普通規(guī)范化殘差的絕對(duì)值大于3,那么可以為對(duì)應(yīng)的樣本點(diǎn)為奇特值異常值并不總表現(xiàn)出上述特征.當(dāng)剔除某察看值后，回歸方程的規(guī)范差顯著減小,也可以斷定該察看值為異常值(一)點(diǎn)估計(jì)y0(二)區(qū)間估計(jì) x0為xi的均值時(shí),預(yù)測(cè)區(qū)間最小,精度最高.x0越遠(yuǎn)離均值,預(yù)測(cè)區(qū)間越大,精度越低.普通職工數(shù)(x)18001600140012001000800600400200領(lǐng)導(dǎo)(管理)人數(shù)(y)3002001000(一)多元線性回歸方程多元回歸方程: y= 0 +1x1+2x2+.+kxk1、2、k為偏回歸系數(shù)。1表示在其他自變量堅(jiān)持不變的情況下，自變量

9、x1變動(dòng)一個(gè)單位所引起的因變量y的平均變動(dòng)(二)多元線性回歸分析的主要問題回歸方程的檢驗(yàn)自變量挑選多重共線性問題(一)擬和優(yōu)度檢驗(yàn):(1)斷定系數(shù)R2: R是y和xi的復(fù)相關(guān)系數(shù)(或察看值與預(yù)測(cè)值的相關(guān)系數(shù)),測(cè)定了因變量y與一切自變量全體之間線性相關(guān)程度 (2)調(diào)整的R2:思索的是平均的剩余平方和,抑制了因自變量添加而呵斥R2也增大的弱點(diǎn)在某個(gè)自變量引入回歸方程后，假設(shè)該自變量是理想的且對(duì)因變量變差的解釋闡明是有意義的，那么必然使得均方誤差減少，從而使調(diào)整的R2得到提高；反之，假設(shè)某個(gè)自變量對(duì)因變量的解釋闡明沒有意義，那么引入它不會(huì)呵斥均方誤差減少，從而調(diào)整的R2也不會(huì)提高。SSTSSEkn

10、nR1112因變量的樣本方差均方誤差12R(二)回歸方程的顯著性檢驗(yàn)：(1)目的:檢驗(yàn)一切自變量與因變量之間的線性關(guān)系能否顯著，能否可用線性模型來表示.(2)H0: 1 = 2 = k =0 即:一切回歸系數(shù)同時(shí)與0無顯著差別(3)利用F檢驗(yàn),構(gòu)造F統(tǒng)計(jì)量:F=平均的回歸平方和/平均的剩余平方和F(k,n-k-1)假設(shè)F值較大，那么闡明自變量呵斥的因變量的線性變動(dòng)大于隨機(jī)要素對(duì)因變量的影響,自變量于因變量之間的線性關(guān)系較顯著(4)計(jì)算F統(tǒng)計(jì)量的值和相伴概率p(5)判別p=a:回絕H0,即:一切回歸系數(shù)與0有顯著差別，自變量與因變量之間存在顯著的線性關(guān)系。反之，不能回絕H0) 1/()(/)(2

11、2knyykyyFiii(三)回歸系數(shù)的顯著性檢驗(yàn)(1)目的:檢驗(yàn)每個(gè)自變量對(duì)因變量的線性影響能否顯著.(2)H0:i=0 即:第i個(gè)回歸系數(shù)與0無顯著差別(3)利用t檢驗(yàn),構(gòu)造t統(tǒng)計(jì)量：其中:Sy是回歸方程規(guī)范誤差(Standard Error)的估計(jì)值，由均方誤差開方后得到，反映了回歸方程無法解釋樣本數(shù)據(jù)點(diǎn)的程度或偏離樣本數(shù)據(jù)點(diǎn)的程度假設(shè)某個(gè)回歸系數(shù)的規(guī)范誤差較小，必然得到一個(gè)相對(duì)較大的t值，闡明該自變量xi解釋因變量線性變化的才干較強(qiáng)。(4)逐個(gè)計(jì)算t統(tǒng)計(jì)量的值和相伴概率p (5)判別iiiSt22)(iiyixxSS(四)t統(tǒng)計(jì)量與F統(tǒng)計(jì)量一元回歸中,F檢驗(yàn)與t檢驗(yàn)一致,即: F=t2

12、,可以相互替代在多元回歸中，F(xiàn)檢驗(yàn)與t檢驗(yàn)不能相互替代Fchange =ti2從Fchange 角度上講，假設(shè)由于某個(gè)自變量xi的引入，使得Fchange是顯著的(經(jīng)過察看Fchange 的相伴概率值)，那么就可以以為該自變量對(duì)方程的奉獻(xiàn)是顯著的，它應(yīng)保管在回歸方程中，起到與回歸系數(shù)t檢驗(yàn)同等的作用。221) 1(RknRFchchange222ichRRR(一)自變量挑選的目的多元回歸分析引入多個(gè)自變量. 假設(shè)引入的自變量個(gè)數(shù)較少,那么不能很好的闡明因變量的變化;并非自變量引入越多越好.緣由:有些自變量能夠?qū)σ蜃兞康慕忉寷]有奉獻(xiàn)自變量間能夠存在較強(qiáng)的線性關(guān)系,即:多重共線性. 因此不能全部引

13、入回歸方程.(二)自變量向前挑選法(forward):即:自變量不斷進(jìn)入回歸方程的過程.首先,選擇與因變量具有最高相關(guān)系數(shù)的自變量進(jìn)入方程,并進(jìn)展各種檢驗(yàn);其次,在剩余的自變量中尋覓偏相關(guān)系數(shù)最高的變量進(jìn)入回歸方程,并進(jìn)展檢驗(yàn);默許:回歸系數(shù)檢驗(yàn)的概率值小于PIN(0.05)才可以進(jìn)入方程.反復(fù)上述步驟,直到?jīng)]有可進(jìn)入方程的自變量為止.(三)自變量向后挑選法(backward):即:自變量不斷剔除出回歸方程的過程.首先,將一切自變量全部引入回歸方程；其次,在一個(gè)或多個(gè)t值不顯著的自變量中將t值最小的那個(gè)變量剔除出去,并重新擬和方程和進(jìn)展檢驗(yàn);默許:回歸系數(shù)檢驗(yàn)值大于POUT(0.10),那么剔

14、除出方程假設(shè)新方程中一切變量的回歸系數(shù)t值都是顯著的,那么變量挑選過程終了.否那么,反復(fù)上述過程,直到無變量可剔除為止.(四)自變量逐漸挑選法(stepwise):即:是“向前法和“向后法的結(jié)合。向前法只對(duì)進(jìn)入方程的變量的回歸系數(shù)進(jìn)展顯著性檢驗(yàn)，而對(duì)曾經(jīng)進(jìn)入方程的其他變量的回歸系數(shù)不再進(jìn)展顯著性檢驗(yàn)，即：變量一旦進(jìn)入方程就不回被剔除隨著變量的逐個(gè)引進(jìn)，由于變量之間存在著一定程度的相關(guān)性，使得曾經(jīng)進(jìn)入方程的變量其回歸系數(shù)不再顯著，因此會(huì)呵斥最后的回歸方程能夠包含不顯著的變量。逐漸挑選法那么在變量的每一個(gè)階段都思索的剔除一個(gè)變量的能夠性。(一)共線性帶來的主要問題高度的多重共線會(huì)使回歸系數(shù)的規(guī)范差

15、隨自變量相關(guān)性的增大而不斷增大,以致使回歸系數(shù)的置信區(qū)間不斷增大,呵斥估計(jì)值精度減低.(二)共線性診斷自變量的容忍度(tolerance)和方差膨脹因子容忍度:Toli=1-Ri2. 其中: Ri2是自變量xi與方程中其他自變量間的復(fù)相關(guān)系數(shù)的平方.容忍度越大那么與方程中其他自變量的共線性越低,應(yīng)進(jìn)入方程. (具有太小容忍度的變量不應(yīng)進(jìn)入方程,spss會(huì)給出警)(T0.1普通以為具有多重共線性)方差膨脹因子(VIF):容忍度的倒數(shù)SPSS在回歸方程建立過程中不斷計(jì)算待進(jìn)入方程自變量的容忍度,并顯示目前的最小容忍度(二)共線性診斷用特征根描寫自變量的方差假設(shè)自變量間確實(shí)存在較強(qiáng)的相關(guān)關(guān)系，那么它

16、們之間必然存在信息重疊，于是可從這些自變量中提取出既能反映自變量信息(方差)又相互獨(dú)立的要素(成分)來.從自變量的相關(guān)系數(shù)矩陣出發(fā)，計(jì)算相關(guān)系數(shù)矩陣的特征根，得到相應(yīng)的假設(shè)干成分.假設(shè)某個(gè)特征根既可以描寫某個(gè)自變量方差的較大部分比例(如大于0.7),同時(shí)又可以描寫另一個(gè)自變量方差的較大部分比例，那么闡明這兩個(gè)自變量間存在較強(qiáng)的多重共線性。條件目的0k10 無多重共線性; 10=k=100 嚴(yán)重imik(一)什么是差別方差回歸模型要求殘差序列服從均值為0并具有一樣方差的正態(tài)分布,即:殘差分布幅度不應(yīng)隨自變量或因變量的變化而變化.否那么以為出現(xiàn)了異方差景象(二)差別方差診斷可以經(jīng)過繪制規(guī)范化殘差序

17、列和因變量預(yù)測(cè)值(或每個(gè)自變量)的散點(diǎn)圖來識(shí)別能否存在異方差(三)異方差處置實(shí)施方差穩(wěn)定性變換殘差與yi(預(yù)測(cè)值)的平方根呈正比：對(duì)yi開平方殘差與yi(預(yù)測(cè)值)呈正比:對(duì)yi取對(duì)數(shù).殘差與yi(預(yù)測(cè)值)的平方呈正比,那么1/yi(一)根本操作步驟(1)菜單項(xiàng)選擇項(xiàng): analyze-regression-linear(2)選擇一個(gè)變量為因變量進(jìn)入dependent框(3)選擇一個(gè)或多個(gè)變量為自變量進(jìn)入independent框(4)選擇多元回歸分析的自變量挑選方法:enter:所選變量全部進(jìn)入回歸方程(默許方法)remove:從回歸方程中剔除變量stepwise:逐漸挑選；backward:向

18、后挑選；forward:向前挑選(5)對(duì)樣本進(jìn)展挑選(selection variable)利用滿足一定條件的樣本數(shù)據(jù)進(jìn)展回歸分析(6)指定作圖時(shí)各數(shù)據(jù)點(diǎn)的標(biāo)志變量(case labels)(二) statistics選項(xiàng)(1)根本統(tǒng)計(jì)量輸出Part and partial correlation:與Y的簡(jiǎn)單相關(guān)、偏相關(guān)和部分相關(guān)R square change:每個(gè)自變量進(jìn)入方程后R2及F值的變化量Collinearity dignostics:共線性診斷.(三)options選項(xiàng):stepping method criteria:逐漸挑選法參數(shù)設(shè)置.use probability of F:以F值相伴概率作為變量進(jìn)入和剔除方程的規(guī)范.一個(gè)變量的F值顯著性程度小于entry(0.05)那么進(jìn)入方程;大于removal(0.1)那么剔除出方程.因此:Entryregression-curve estimation(3) 選擇因變量到dependent框(4) 選擇自變量到independent框或選time以時(shí)間作自變量(5)選擇模型 (R2最高擬和