第九章-SPSS的線性回歸分析分析課件

第九章SPSS的線性回歸分析第九章SPSS的線性回歸分析1一、回歸分析概述(一)回歸分析理解(1)“回歸”的含義Galton研究研究父親身高和兒子身高的關系時的獨特發(fā)現(xiàn)。

(2)回歸線的獲得方式一：局部平均

回歸曲線上的點給出了相應于每一個x(父親)值的y(兒子)平均數(shù)的估計(3)回歸線的獲得方式二：擬和函數(shù)使數(shù)據(jù)擬和于某條曲線；通過若干參數(shù)描述該曲線；利用已知數(shù)據(jù)在一定的統(tǒng)計準則下找出參數(shù)的估計值(得到回歸曲線的近似)；一、回歸分析概述(一)回歸分析理解2一、回歸分析概述(二)回歸分析的基本步驟(1)確定自變量和因變量(父親身高關于兒子身高的回歸與兒子身高關于父親身高的回歸是不同的)。(2)從樣本數(shù)據(jù)出發(fā)確定變量之間的數(shù)學關系式，并對回歸方程的各個參數(shù)進行估計。(3)對回歸方程進行各種統(tǒng)計檢驗。(4)利用回歸方程進行預測。一、回歸分析概述(二)回歸分析的基本步驟3一、回歸分析概述(三)參數(shù)估計的準則目標：回歸線上的觀察值與預測值之間的距離總和達到最小最小二乘法(利用最小二乘法擬和的回歸直線與樣本數(shù)據(jù)點在垂直方向上的偏離程度最低)一、回歸分析概述4二、一元線性回歸分析(一)一元回歸方程

y=β0+β1xβ0為常數(shù)項；β1為y對x回歸系數(shù)，即：x每變動一個單位所引起的y的平均變動(二)一元回歸分析的步驟利用樣本數(shù)據(jù)建立回歸方程回歸方程的擬和優(yōu)度檢驗回歸方程的顯著性檢驗(F檢驗和t檢驗)殘差分析預測二、一元線性回歸分析(一)一元回歸方程5Y=a+bXF檢驗T檢驗R2擬合優(yōu)度如何，即X對Y的解釋能力線性關系是否顯著系數(shù)是否顯著不為零=bY=a+bXF檢驗T檢驗R2擬合優(yōu)度如何，即X對Y的解釋能6三、一元線性回歸方程的檢驗(一)擬和優(yōu)度檢驗R2(1)目的：檢驗樣本觀察點聚集在回歸直線周圍的密集程度，評價回歸方程對樣本數(shù)據(jù)點的擬和程度。(2)思路：因為：因變量取值的變化受兩個因素的影響自變量不同取值的影響其他因素的影響于是：因變量總變差=自變量引起的+其他因素引起的即：因變量總變差=回歸方程可解釋的+不可解釋的可證明：因變量總離差平方和=回歸平方和+剩余平方和三、一元線性回歸方程的檢驗(一)擬和優(yōu)度檢驗R27三、一元線性回歸方程的檢驗(一)擬和優(yōu)度檢驗(3)統(tǒng)計量：判定系數(shù)R2=SSR/SST=1-SSE/SST。R2體現(xiàn)了回歸方程所能解釋的因變量變差的比例；1-R2則體現(xiàn)了因變量總變差中，回歸方程所無法解釋的比例。R2越接近于1，則說明回歸平方和占了因變量總變差平方和的絕大部分比例，因變量的變差主要由自變量的不同取值造成，回歸方程對樣本數(shù)據(jù)點擬合得好在一元回歸中R2=r2；因此，從這個意義上講，判定系數(shù)能夠比較好地反映回歸直線對樣本數(shù)據(jù)的代表程度和線性相關性。三、一元線性回歸方程的檢驗(一)擬和優(yōu)度檢驗8三、一元線性回歸方程的檢驗(二)回歸方程的顯著性檢驗

F檢驗(1)目的：檢驗自變量與因變量之間的線性關系是否顯著，是否可用線性模型來表示。(2)H0：β=0即：回歸系數(shù)與0無顯著差異(3)利用F檢驗，構造F統(tǒng)計量：F=平均的回歸平方和/平均的剩余平方和~F(1，n-1-1)如果F值較大，則說明自變量造成的因變量的線性變動遠大于隨機因素對因變量的影響，自變量于因變量之間的線性關系較顯著(4)計算F統(tǒng)計量的值和相伴概率p(5)判斷p<=a：拒絕H0，即：回歸系數(shù)與0有顯著差異，自變量與因變量之間存在顯著的線性關系。反之，不能拒絕H0三、一元線性回歸方程的檢驗(二)回歸方程的顯著性檢驗F檢9三、一元線性回歸方程的檢驗(三)回歸系數(shù)的顯著性檢驗t檢驗(1)目的：檢驗自變量對因變量的線性影響是否顯著。(2)H0：β=0即：回歸系數(shù)與0無顯著差異(3)利用t檢驗，構造t統(tǒng)計量：其中：Sy是回歸方程標準誤差(StandardError)的估計值，由均方誤差開方后得到，反映了回歸方程無法解釋樣本數(shù)據(jù)點的程度或偏離樣本數(shù)據(jù)點的程度如果回歸系數(shù)的標準誤差較小，必然得到一個相對較大的t值，表明該自變量x解釋因變量線性變化的能力較強。(4)計算t統(tǒng)計量的值和相伴概率p

(5)判斷三、一元線性回歸方程的檢驗(三)回歸系數(shù)的顯著性檢驗10三、一元線性回歸方程的檢驗(四)t檢驗與F檢驗的關系一元回歸中，F(xiàn)檢驗與t檢驗一致，即：F=t2，兩種檢驗可以相互替代(五)F統(tǒng)計量和R2值的關系如果回歸方程的擬合優(yōu)度高，F(xiàn)統(tǒng)計量就越顯著。F統(tǒng)計量越顯著，回歸方程的擬合優(yōu)度就會越高。三、一元線性回歸方程的檢驗(四)t檢驗與F檢驗的關系11四、一元線性回歸分析操作(一)基本操作步驟(1)菜單選項：Analyze->regression->linear…(2)選擇一個變量為因變量進入dependent框(3)選擇一個變量為自變量進入independent框(4)enter：所選變量全部進入回歸方程(默認方法)(5)對樣本進行篩選(selectionvariable)利用滿足一定條件的樣本數(shù)據(jù)進行回歸分析(6)指定作圖時各數(shù)據(jù)點的標志變量(caselabels)四、一元線性回歸分析操作(一)基本操作步驟12四、一元線性回歸分析操作(二)statistics選項(1)基本統(tǒng)計量輸出Estimates：默認。顯示回歸系數(shù)相關統(tǒng)計量。confidenceintervals：每個非標準化的回歸系數(shù)95%的置信區(qū)間。Descriptive：各變量均值、標準差和相關系數(shù)單側檢驗概率。Modelfit：默認。判定系數(shù)、估計標準誤差、方差分析表、容忍度(2)Residual框中的殘差分析Durbin-waston：D-W值casewisediagnostic：異常值(奇異值)檢測(輸出預測值及殘差和標準化殘差)四、一元線性回歸分析操作(二)statistics選項13四、一元線性回歸分析操作(三)plot選項：圖形分析Standardizeresidualplots：繪制殘差序列直方圖和累計概率圖，檢測殘差的正態(tài)性繪制指定序列的散點圖，檢測殘差的隨機性、異方差性ZPRED：標準化預測值ZRESID：標準化殘差SRESID：學生化殘差produceallpartialplot：繪制因變量和所有自變量之間的散點圖四、一元線性回歸分析操作(三)plot選項：圖形分析14五、線性回歸方程的殘差分析(一)殘差序列的正態(tài)性檢驗繪制標準化殘差的直方圖或累計概率圖(二)殘差序列的隨機性檢驗繪制殘差和預測值的散點圖，應隨機分布在經(jīng)過零的一條直線上下五、線性回歸方程的殘差分析(一)殘差序列的正態(tài)性檢驗15五、線性回歸方程的殘差分析(三)殘差序列獨立性檢驗殘差序列是否存在后期值與前期值相關的現(xiàn)象，利用D。W(Durbin-Watson)檢驗d-w=0：殘差序列存在完全正自相關；d-w=4：殘差序列存在完全負自相關；0<d-w<2：殘差序列存在某種程度的正自相關；2<d-w<4：殘差序列存在某種程度的負自相關；d-w=2：殘差序列不存在自相關。殘差序列不存在自相關，可以認為回歸方程基本概括了因變量的變化；否則，認為可能一些與因變量相關的因素沒有引入回歸方程或回歸模型不合適或滯后性周期性的影響。五、線性回歸方程的殘差分析(三)殘差序列獨立性檢驗16五、線性回歸方程的殘差分析(四)異常值(casewise或outliers)診斷利用標準化殘差不僅可以知道觀察值比預測值大或小，并且還知道在絕對值上它比大多數(shù)殘差是大還是小。一般標準化殘差的絕對值大于3，則可認為對應的樣本點為奇異值異常值并不總表現(xiàn)出上述特征。當剔除某觀察值后，回歸方程的標準差顯著減小，也可以判定該觀察值為異常值五、線性回歸方程的殘差分析(四)異常值(casewise或o17六、線性回歸方程的預測(一)點估計y0(二)區(qū)間估計

x0為xi的均值時，預測區(qū)間最小，精度最高。x0越遠離均值，預測區(qū)間越大，精度越低。六、線性回歸方程的預測(一)點估計x0為xi的均值時，預測區(qū)18七、多元線性回歸分析(一)多元線性回歸方程多元回歸方程：

y=β0+β1x1+β2x2+。。。+βkxk

β1、β2、……、βk為偏回歸系數(shù)。β1表示在其他自變量保持不變的情況下，自變量x1變動一個單位所引起的因變量y的平均變動(二)多元線性回歸分析的主要問題回歸方程的檢驗自變量篩選多重共線性問題七、多元線性回歸分析(一)多元線性回歸方程19八、多元線性回歸方程的檢驗(一)擬和優(yōu)度檢驗(1)判定系數(shù)R2

R是y和xi的復相關系數(shù)(或觀察值與預測值的相關系數(shù))，測定了因變量y與所有自變量全體之間線性相關程度(2)調(diào)整的R2

考慮的是平均的剩余平方和，克服了因自變量增加而造成R2也增大的弱點在某個自變量引入回歸方程后，如果該自變量是理想的且對因變量變差的解釋說明是有意義的，那么必然使得均方誤差減少，從而使調(diào)整的R2得到提高；反之，如果某個自變量對因變量的解釋說明沒有意義，那么引入它不會造成均方誤差減少，從而調(diào)整的R2也不會提高。八、多元線性回歸方程的檢驗(一)擬和優(yōu)度檢驗20八、多元線性回歸方程的檢驗(二)回歸方程的顯著性檢驗F(1)目的：檢驗所有自變量與因變量之間的線性關系是否顯著，是否可用線性模型來表示。(2)H0：β1=β2=…=βk=0即：所有回歸系數(shù)同時與0無顯著差異(3)利用F檢驗，構造F統(tǒng)計量：F=平均的回歸平方和/平均的剩余平方和~F(k，n-k-1)如果F值較大，則說明自變量造成的因變量的線性變動大于隨機因素對因變量的影響，自變量于因變量之間的線性關系較顯著(4)計算F統(tǒng)計量的值和相伴概率p(5)判斷p<=a：拒絕H0，即：所有回歸系數(shù)與0有顯著差異，自變量與因變量之間存在顯著的線性關系。反之，不能拒絕H0八、多元線性回歸方程的檢驗(二)回歸方程的顯著性檢驗F21八、多元線性回歸方程的檢驗(三)回歸系數(shù)的顯著性檢驗T(1)目的：檢驗每個自變量對因變量的線性影響是否顯著。(2)H0：βi=0即：第i個回歸系數(shù)與0無顯著差異(3)利用t檢驗，構造t統(tǒng)計量：其中：Sy是回歸方程標準誤差(StandardError)的估計值，由均方誤差開方后得到，反映了回歸方程無法解釋樣本數(shù)據(jù)點的程度或偏離樣本數(shù)據(jù)點的程度如果某個回歸系數(shù)的標準誤差較小，必然得到一個相對較大的t值，表明該自變量xi解釋因變量線性變化的能力較強。(4)逐個計算t統(tǒng)計量的值和相伴概率p

(5)判斷八、多元線性回歸方程的檢驗(三)回歸系數(shù)的顯著性檢驗T22八、多元線性回歸方程的檢驗(四)F

統(tǒng)計量與t統(tǒng)計量一元回歸中，F(xiàn)檢驗與t檢驗一致，即：F=t2，可以相互替代在多元回歸中，F(xiàn)檢驗與t檢驗不能相互替代Fchange=ti2從Fchange角度上講，如果由于某個自變量xi的引入，使得Fchange是顯著的(通過觀察Fchange的相伴概率值)，那么就可以認為該自變量對方程的貢獻是顯著的，它應保留在回歸方程中，起到與回歸系數(shù)t檢驗同等的作用。八、多元線性回歸方程的檢驗(四)F統(tǒng)計量與t統(tǒng)計量23九、多元線性回歸分析中的自變量篩選(一)自變量篩選的目的多元回歸分析引入多個自變量。如果引入的自變量個數(shù)較少，則不能很好的說明因變量的變化；并非自變量引入越多越好。原因：有些自變量可能對因變量的解釋沒有貢獻自變量間可能存在較強的線性關系，即：多重共線性。因而不能全部引入回歸方程。九、多元線性回歸分析中的自變量篩選(一)自變量篩選的目的24九、多元線性回歸分析中的自變量篩選(二)自變量向前篩選法(forward)

即：自變量不斷進入回歸方程的過程。首先，選擇與因變量具有最高相關系數(shù)的自變量進入方程，并進行各種檢驗；其次，在剩余的自變量中尋找偏相關系數(shù)最高的變量進入回歸方程，并進行檢驗；默認：回歸系數(shù)檢驗的概率值小于PIN(0。05)才可以進入方程。反復上述步驟，直到?jīng)]有可進入方程的自變量為止。 九、多元線性回歸分析中的自變量篩選(二)自變量向前篩選法(f25九、多元線性回歸分析中的自變量篩選(三)自變量向后篩選法(backward)

即：自變量不斷剔除出回歸方程的過程。首先，將所有自變量全部引入回歸方程；其次，在一個或多個t值不顯著的自變量中將t值最小的那個變量剔除出去，并重新擬和方程和進行檢驗；默認：回歸系數(shù)檢驗值大于POUT(0。10)，則剔除出方程如果新方程中所有變量的回歸系數(shù)t值都是顯著的，則變量篩選過程結束。否則，重復上述過程，直到無變量可剔除為止。九、多元線性回歸分析中的自變量篩選(三)自變量向后篩選法(b26九、多元線性回歸分析中的自變量篩選(四)自變量逐步篩選法(stepwise)

即：是“向前法”和“向后法”的結合。向前法只對進入方程的變量的回歸系數(shù)進行顯著性檢驗，而對已經(jīng)進入方程的其他變量的回歸系數(shù)不再進行顯著性檢驗，即：變量一旦進入方程就不會被剔除隨著變量的逐個引進，由于變量之間存在著一定程度的相關性，使得已經(jīng)進入方程的變量其回歸系數(shù)不再顯著，因此會造成最后的回歸方程可能包含不顯著的變量。逐步篩選法則在變量的每一個階段都考慮的剔除一個變量的可能性。九、多元線性回歸分析中的自變量篩選(四)自變量逐步篩選法(s27十、線性回歸分析中的共線性檢測(一)共線性帶來的主要問題高度的多重共線會使回歸系數(shù)的標準差隨自變量相關性的增大而不斷增大，以至使回歸系數(shù)的置信區(qū)間不斷增大，造成估計值精度減低。(二)共線性診斷自變量的容忍度(tolerance)和方差膨脹因子容忍度：Toli=1-Ri2。其中：Ri2是自變量xi與方程中其他自變量間的復相關系數(shù)的平方。容忍度越大則與方程中其他自變量的共線性越低，應進入方程。(具有太小容忍度的變量不應進入方程，spss會給出警)(T<0。1一般認為具有多重共線性)方差膨脹因子(VIF)：容忍度的倒數(shù)SPSS在回歸方程建立過程中不斷計算待進入方程自變量的容忍度，并顯示目前的最小容忍度十、線性回歸分析中的共線性檢測(一)共線性帶來的主要問題28十、線性回歸分析中的共線性檢測(二)共線性診斷用特征根刻畫自變量的方差如果自變量間確實存在較強的相關關系，那么它們之間必然存在信息重疊，于是可從這些自變量中提取出既能反映自變量信息(方差)又相互獨立的因素(成分)來。從自變量的相關系數(shù)矩陣出發(fā)，計算相關系數(shù)矩陣的特征根，得到相應的若干成分。如果某個特征根既能夠刻畫某個自變量方差的較大部分比例(如大于0。7)，同時又可以刻畫另一個自變量方差的較大部分比例，則表明這兩個自變量間存在較強的多重共線性。條件指標0<k<10無多重共線性；10<=k<=100較強；k>=100嚴重十、線性回歸分析中的共線性檢測(二)共線性診斷29十一、線性回歸分析中的異方差問題(一)什么是差異方差回歸模型要求殘差序列服從均值為0并具有相同方差的正態(tài)分布，即：殘差分布幅度不應隨自變量或因變量的變化而變化。否則認為出現(xiàn)了異方差現(xiàn)象(二)異方差診斷可以通過繪制標準化殘差序列和因變量預測值(或每個自變量)的散點圖來識別是否存在異方差(三)異方差處理實施方差穩(wěn)定性變換殘差與yi(預測值)的平方根呈正比：對yi開平方殘差與yi(預測值)呈正比：對yi取對數(shù)。殘差與yi(預測值)的平方呈正比，則1/yi十一、線性回歸分析中的異方差問題(一)什么是差異方差30十二、多元線性回歸分析操作(一)基本操作步驟(1)菜單選項：analyze->regression->linear…(2)選擇一個變量為因變量進入dependent框(3)選擇一個或多個變量為自變量進入independent框(4)選擇多元回歸分析的自變量篩選方法：enter：所選變量全部進入回歸方程(默認方法)remove：從回歸方程中剔除變量stepwise：逐步篩選；backward：向后篩選；forward：向前篩選(5)對樣本進行篩選(selectionvariable)利用滿足一定條件的樣本數(shù)據(jù)進行回歸分析(6)指定作圖時各數(shù)據(jù)點的標志變量(caselabels)十二、多元線性回歸分析操作(一)基本操作步驟31十二、多元線性回歸分析操作(二)statistics選項(1)基本統(tǒng)計量輸出Partandpartialcorrelation：與Y的簡單相關、偏相關和部分相關Rsquarechange：每個自變量進入方程后R2及F值的變化量Collinearitydignostics：共線性診斷。十二、多元線性回歸分析操作(二)statistics選項32十二、多元線性回歸分析操作(三)options選項

steppingmethodcriteria：逐步篩選法參數(shù)設置。useprobabilityofF：以F值相伴概率作為變量進入和剔除方程的標準。一個變量的F值顯著性水平小于entry(0。05)則進入方程；大于removal(0。1)則剔除出方程。因此：Entry<removaluseFvalue：以F值作為變量進入(3。84)和剔除(2。71)方程的標準(四)save選項將回歸分析結果保存到數(shù)據(jù)編輯窗口中或某磁盤文件中十二、多元線性回歸分析操作(三)opt