第九章SPSS的線性回歸分析

1、第九章第九章 SPSSSPSS的線性回歸分析的線性回歸分析一、回歸分析概述一、回歸分析概述(一一)回歸分析理解回歸分析理解(1)“回歸回歸”的含義的含義nGalton研究研究父親身高和兒子身高的關系時的獨特發(fā)現(xiàn)。研究研究父親身高和兒子身高的關系時的獨特發(fā)現(xiàn)。 (2)回歸線的獲得方式一：局部平均回歸線的獲得方式一：局部平均 n回歸曲線上的點給出了相應于每一個回歸曲線上的點給出了相應于每一個x(父親父親)值的值的y(兒子兒子)平均數(shù)平均數(shù)的估計的估計 (3)回歸線的獲得方式二：擬和函數(shù)回歸線的獲得方式二：擬和函數(shù)n使數(shù)據(jù)擬和于某條曲線；使數(shù)據(jù)擬和于某條曲線；n通過若干參數(shù)描述該曲線；通過若干參數(shù)描

2、述該曲線；n利用已知數(shù)據(jù)在一定的統(tǒng)計準則下找出參數(shù)的估計值利用已知數(shù)據(jù)在一定的統(tǒng)計準則下找出參數(shù)的估計值(得到回歸曲得到回歸曲線的近似線的近似)；一、回歸分析概述一、回歸分析概述(二二)回歸分析的回歸分析的基本步驟基本步驟(1)確定自變量和因變量確定自變量和因變量(父親身高關于兒子身高的父親身高關于兒子身高的回歸與兒子身高回歸與兒子身高關于父親身高的回歸是不同的關于父親身高的回歸是不同的)。(2)從樣本數(shù)據(jù)出發(fā)確定變量之間的數(shù)學關系式，并對從樣本數(shù)據(jù)出發(fā)確定變量之間的數(shù)學關系式，并對回歸方程的各個參數(shù)進行估計。回歸方程的各個參數(shù)進行估計。(3)對回歸方程進行各種統(tǒng)計檢驗。對回歸方程進行各種統(tǒng)計

3、檢驗。(4)利用回歸方程進行預測。利用回歸方程進行預測。一、回歸分析概述一、回歸分析概述(三三)參數(shù)估計的準則參數(shù)估計的準則n目標：回歸線上的觀察值與預測值之間的距離總和達到最目標：回歸線上的觀察值與預測值之間的距離總和達到最小小n最小二乘法最小二乘法(利用最小二乘法擬和的回歸直線與樣本數(shù)據(jù)利用最小二乘法擬和的回歸直線與樣本數(shù)據(jù)點在垂直方向上的偏離程度最低點在垂直方向上的偏離程度最低)二、一元線性回歸分析二、一元線性回歸分析(一一)一元回歸方程一元回歸方程 n y=0+1xn0為常數(shù)項；為常數(shù)項；1為為y對對x回歸系數(shù)，即：回歸系數(shù)，即：x每變動一個單位所每變動一個單位所引起的引起的y的平均變

4、動的平均變動(二二)一元回歸分析的步驟一元回歸分析的步驟n利用樣本數(shù)據(jù)建立回歸方程利用樣本數(shù)據(jù)建立回歸方程n回歸方程的擬和優(yōu)度檢驗回歸方程的擬和優(yōu)度檢驗n回歸方程的顯著性檢驗回歸方程的顯著性檢驗(F檢驗和檢驗和t檢驗檢驗)n殘差分析殘差分析n預測預測Y=a+bX F檢驗檢驗T檢驗檢驗R2擬合優(yōu)度如何，即擬合優(yōu)度如何，即X對對Y的解釋能力的解釋能力線性關系是否顯著線性關系是否顯著系數(shù)是否顯著不為零系數(shù)是否顯著不為零=b三、一元線性回歸方程的檢驗三、一元線性回歸方程的檢驗(一一)擬和優(yōu)度檢驗擬和優(yōu)度檢驗 R2(1)目的：檢驗樣本觀察點聚集在回歸直線周圍的密集程度，評目的：檢驗樣本觀察點聚集在回歸直

5、線周圍的密集程度，評價回歸方程對樣本數(shù)據(jù)點的擬和程度。價回歸方程對樣本數(shù)據(jù)點的擬和程度。(2)思路：思路：因為：因為： 因變量取值的變化受兩個因素的影響因變量取值的變化受兩個因素的影響自變量不同取值的影響自變量不同取值的影響其他因素的影響其他因素的影響于是：于是： 因變量總變差因變量總變差=自變量引起的自變量引起的+其他因素引起的其他因素引起的即：即： 因變量總變差因變量總變差=回歸方程可解釋的回歸方程可解釋的+不可解釋的不可解釋的可證明：因變量總離差平方和可證明：因變量總離差平方和=回歸平方和回歸平方和+剩余平方和剩余平方和三、一元線性回歸方程的檢驗三、一元線性回歸方程的檢驗(一一)擬和優(yōu)度

6、檢驗擬和優(yōu)度檢驗 (3)統(tǒng)計量：判定系數(shù)統(tǒng)計量：判定系數(shù)nR2=SSR/SST=1-SSE/SST。nR2體現(xiàn)了回歸方程所能解釋的因變量變差的比例；體現(xiàn)了回歸方程所能解釋的因變量變差的比例；1-R2則體則體現(xiàn)了因變量總變差中，回歸方程所無法解釋的比例。現(xiàn)了因變量總變差中，回歸方程所無法解釋的比例。nR2越接近于越接近于1，則說明回歸平方和占了因變量總變差平方和的，則說明回歸平方和占了因變量總變差平方和的絕大部分比例，因變量的變差主要由自變量的不同取值造成，絕大部分比例，因變量的變差主要由自變量的不同取值造成，回歸方程對樣本數(shù)據(jù)點擬合得好回歸方程對樣本數(shù)據(jù)點擬合得好n在一元回歸中在一元回歸中R2

7、=r2； 因此，從這個意義上講，判定系數(shù)能因此，從這個意義上講，判定系數(shù)能夠比較好地反映回歸直線對樣本數(shù)據(jù)的代表程度和線性相關性。夠比較好地反映回歸直線對樣本數(shù)據(jù)的代表程度和線性相關性。niiniiniiniiyyyyyyyyR121212122)() (1)()(三、一元線性回歸方程的檢驗三、一元線性回歸方程的檢驗(二二)回歸方程的顯著性檢驗回歸方程的顯著性檢驗 F檢驗檢驗(1)目的：檢驗自變量與因變量之間的線性關系是否顯著，是否可用線性目的：檢驗自變量與因變量之間的線性關系是否顯著，是否可用線性模型來表示。模型來表示。(2)H0： =0 即：回歸系數(shù)與即：回歸系數(shù)與0無顯著差異無顯著差異(

8、3)利用利用F檢驗，構造檢驗，構造F統(tǒng)計量：統(tǒng)計量：nF=平均的回歸平方和平均的回歸平方和/平均的剩余平方和平均的剩余平方和F(1，n-1-1)n如果如果F值較大，則說明自變量造成的因變量的線性變動遠大于隨機因素值較大，則說明自變量造成的因變量的線性變動遠大于隨機因素對因變量的影響，自變量于因變量之間的線性關系較顯著對因變量的影響，自變量于因變量之間的線性關系較顯著(4)計算計算F統(tǒng)計量的值和統(tǒng)計量的值和相伴概率相伴概率p(5)判斷判斷npregression-linear(2)選擇一個變量為因變量進入選擇一個變量為因變量進入dependent框框(3)選擇一個變量為自變量進入選擇一個變量為自

9、變量進入independent框框(4)enter：所選變量全部進入回歸方程：所選變量全部進入回歸方程(默認方法默認方法)(5)對樣本進行篩選對樣本進行篩選(selection variable)n利用滿足一定條件的樣本數(shù)據(jù)進行回歸分析利用滿足一定條件的樣本數(shù)據(jù)進行回歸分析(6)指定作圖時各數(shù)據(jù)點的標志變量指定作圖時各數(shù)據(jù)點的標志變量(case labels)四、一元線性回歸分析操作四、一元線性回歸分析操作(二二) statistics選項選項(1)基本統(tǒng)計量輸出基本統(tǒng)計量輸出nEstimates：默認。：默認。顯示回歸系數(shù)相關統(tǒng)計量顯示回歸系數(shù)相關統(tǒng)計量。nconfidence interv

10、als：每個非標準化的回歸系數(shù)每個非標準化的回歸系數(shù)95%的置的置信區(qū)間信區(qū)間。nDescriptive：各變量均值、標準差和相關系數(shù)單側檢驗概率各變量均值、標準差和相關系數(shù)單側檢驗概率。nModel fit：默認。判定系數(shù)、估計標準誤差、方差分析表、容：默認。判定系數(shù)、估計標準誤差、方差分析表、容忍度忍度(2)Residual框中的殘差分析框中的殘差分析nDurbin-waston：D-W值值ncasewise diagnostic：異常值異常值(奇異值奇異值)檢測檢測 (輸出預測值及輸出預測值及殘差和標準化殘差殘差和標準化殘差)四、一元線性回歸分析操作四、一元線性回歸分析操作(三三)plo

11、t選項選項：圖形分析：圖形分析 oStandardize residual plots：繪制殘差序列直方圖和累計概率圖，繪制殘差序列直方圖和累計概率圖，檢測殘差的正態(tài)性檢測殘差的正態(tài)性o繪制指定序列的散點圖，檢測殘差的隨機性、異方差性繪制指定序列的散點圖，檢測殘差的隨機性、異方差性nZPRED：標準化預測值標準化預測值 nZRESID：標準標準化殘差化殘差nSRESID：學生學生化殘差化殘差nproduce all partial plot：繪制因變量和所有自變量之間的繪制因變量和所有自變量之間的散點圖散點圖五、線性回歸方程的殘差分析五、線性回歸方程的殘差分析(一一)殘差序列的正態(tài)性檢驗殘差序

12、列的正態(tài)性檢驗 n繪制標準化殘差的直方圖或累計概率圖繪制標準化殘差的直方圖或累計概率圖(二二)殘差序列的隨機性檢驗殘差序列的隨機性檢驗n繪制殘差和預測值的散點圖，應隨機分布在經過零的一條直線繪制殘差和預測值的散點圖，應隨機分布在經過零的一條直線上下上下 五、線性回歸方程的殘差分析五、線性回歸方程的殘差分析( (三三) )殘差序列獨立性檢驗殘差序列獨立性檢驗 殘差序列是否存在后期值與前期值相關的現(xiàn)象，利用殘差序列是否存在后期值與前期值相關的現(xiàn)象，利用D D。W(DurbinW(Durbin-Watson)-Watson)檢驗檢驗d-wd-w=0=0：殘差殘差序列存在完全正自相關；序列存在完全正自

13、相關；d-wd-w=4=4：殘差殘差序序列存在完全負自相關；列存在完全負自相關；00d-wd-w22：殘差殘差序列存在某種序列存在某種程度的正自相關；程度的正自相關；22d-wd-w44：殘差殘差序列存在某種程度序列存在某種程度的負自相關；的負自相關；d-wd-w=2=2：殘差殘差序列不存在自相關。序列不存在自相關。殘差序列不存在自相關，可以認為回歸方程基本概括殘差序列不存在自相關，可以認為回歸方程基本概括了因變量的變化；否則，認為可能一些與因變量相關了因變量的變化；否則，認為可能一些與因變量相關的因素沒有引入回歸方程或回歸模型不合適或滯后性的因素沒有引入回歸方程或回歸模型不合適或滯后性周期性

14、的影響。周期性的影響。 五、線性回歸方程的殘差分析五、線性回歸方程的殘差分析(四四)異常值異常值(casewise或或outliers)診斷診斷n利用標準化殘差不僅可以知道觀察值比預測值大或小，利用標準化殘差不僅可以知道觀察值比預測值大或小，并且還知道在絕對值上它比大多數(shù)殘差是大還是小。一并且還知道在絕對值上它比大多數(shù)殘差是大還是小。一般標準化殘差的絕對值大于般標準化殘差的絕對值大于3，則可認為對應的樣本點，則可認為對應的樣本點為為奇異值奇異值n異常值并不總表現(xiàn)出上述特征。當剔除某觀察值后，回異常值并不總表現(xiàn)出上述特征。當剔除某觀察值后，回歸方程的標準差顯著減小，也可以判定該觀察值為異常歸方程

15、的標準差顯著減小，也可以判定該觀察值為異常值值六、線性回歸方程的預測六、線性回歸方程的預測(一一)點估計點估計y0(二二)區(qū)間估計區(qū)間估計 x0為xi的均值時，預測區(qū)間最小，精度最高。x0越遠離均值，預測區(qū)間越大，精度越低。普通職工數(shù)(x)18001600140012001000800600400200領導(管理)人數(shù)(y)3002001000七、多元線性回歸分析七、多元線性回歸分析(一一)多元線性回歸方程多元線性回歸方程多元回歸方程：多元回歸方程： y= 0 +1x1+2x2+。+kxk n1、2、k為偏回歸系數(shù)。為偏回歸系數(shù)。n1表示在其他自變量保持不變的情況下，自變量表示在其他自變量保持

16、不變的情況下，自變量x1變動一個變動一個單位所引起的因變量單位所引起的因變量y的平均變動的平均變動(二二)多元線性回歸分析的主要問題多元線性回歸分析的主要問題n回歸方程的檢驗回歸方程的檢驗n自變量篩選自變量篩選n多重共線性問題多重共線性問題八、多元線性回歸方程的檢驗八、多元線性回歸方程的檢驗(一一)擬和優(yōu)度檢驗擬和優(yōu)度檢驗 (1)判定系數(shù)判定系數(shù)R2 nR是是y和和xi的復相關系數(shù)的復相關系數(shù)(或觀察值與預測值或觀察值與預測值的的相關系數(shù)相關系數(shù))，測，測定了因變量定了因變量y與所有自變量全體之間線性相關程度與所有自變量全體之間線性相關程度 (2)調整的調整的R2 n考慮的是平均的剩余平方和，

17、克服了因自變量增加而造成考慮的是平均的剩余平方和，克服了因自變量增加而造成R2也增大的弱點也增大的弱點n在某個自變量引入回歸方程后，如果該自變量是理想的且對因在某個自變量引入回歸方程后，如果該自變量是理想的且對因變量變差的解釋說明是有意義的，那么必然使得均方誤差減少，變量變差的解釋說明是有意義的，那么必然使得均方誤差減少，從而使調整的從而使調整的R2得到提高；反之，如果某個自變量對因變量得到提高；反之，如果某個自變量對因變量的解釋說明沒有意義，那么引入它不會造成均方誤差減少，從的解釋說明沒有意義，那么引入它不會造成均方誤差減少，從而調整的而調整的R2也不會提高。也不會提高。SSTSSEknnR

18、1112因變量的樣本方差均方誤差12R八、多元線性回歸方程的檢驗八、多元線性回歸方程的檢驗(二二)回歸方程的顯著性檢驗回歸方程的顯著性檢驗 F(1)目的：檢驗所有自變量與因變量之間的線性關系是否顯著，是否可用目的：檢驗所有自變量與因變量之間的線性關系是否顯著，是否可用線性模型來表示。線性模型來表示。(2)H0： 1 = 2 = k =0 即：所有回歸系數(shù)同時與即：所有回歸系數(shù)同時與0無顯著差異無顯著差異(3)利用利用F檢驗，構造檢驗，構造F統(tǒng)計量：統(tǒng)計量：nF=平均的回歸平方和平均的回歸平方和/平均的剩余平方和平均的剩余平方和F(k，n-k-1)n如果如果F值較大，則說明自變量造成的因變量的線

19、性變動大于隨機因素對值較大，則說明自變量造成的因變量的線性變動大于隨機因素對因變量的影響，自變量于因變量之間的線性關系較顯著因變量的影響，自變量于因變量之間的線性關系較顯著(4)計算計算F統(tǒng)計量的值和統(tǒng)計量的值和相伴概率相伴概率p(5)判斷判斷np=a：拒絕拒絕H0，即，即：所有回歸系數(shù)與：所有回歸系數(shù)與0有顯著差異，自變量與因變有顯著差異，自變量與因變量之間存在顯著的線性關系。反之，不能拒絕量之間存在顯著的線性關系。反之，不能拒絕H0) 1/()(/)(22knyykyyFiii八、多元線性回歸方程的檢驗八、多元線性回歸方程的檢驗(三三)回歸系數(shù)的顯著性檢驗回歸系數(shù)的顯著性檢驗 T(1)目的

20、：檢驗每個自變量對因變量的線性影響是否顯著。目的：檢驗每個自變量對因變量的線性影響是否顯著。(2)H0：i=0 即：第即：第i個回歸系數(shù)與個回歸系數(shù)與0無顯著差異無顯著差異(3)利用利用t檢驗，構造檢驗，構造t統(tǒng)計量：統(tǒng)計量：n其中：其中：Sy是回歸方程標準誤差是回歸方程標準誤差(Standard Error)的估計值，的估計值，由均方誤差開方后得到，反映了回歸方程無法解釋樣本數(shù)據(jù)由均方誤差開方后得到，反映了回歸方程無法解釋樣本數(shù)據(jù)點的程度或偏離樣本數(shù)據(jù)點的程度點的程度或偏離樣本數(shù)據(jù)點的程度n如果某個回歸系數(shù)的標準誤差較小，必然得到一個相對較大如果某個回歸系數(shù)的標準誤差較小，必然得到一個相對較

21、大的的t值，表明該自變量值，表明該自變量xi解釋因變量線性變化的能力較強。解釋因變量線性變化的能力較強。(4)逐個逐個計算計算t統(tǒng)計量的值和相伴概率統(tǒng)計量的值和相伴概率p (5)判斷判斷iiiSt22)(iiyixxSS八、多元線性回歸方程的檢驗八、多元線性回歸方程的檢驗(四四) F 統(tǒng)計量與統(tǒng)計量與t統(tǒng)計量統(tǒng)計量n一元回歸中，一元回歸中，F(xiàn)檢驗與檢驗與t檢驗一致，即：檢驗一致，即： F=t2，可以相互替代，可以相互替代n在多元回歸中，在多元回歸中，F(xiàn)檢驗與檢驗與t檢驗不能相互替代檢驗不能相互替代nFchange =ti2n從從Fchange 角度上講，如果由于某個自變量角度上講，如果由于某個

22、自變量xi的引入，使得的引入，使得Fchange是顯著的是顯著的(通過觀察通過觀察Fchange 的相伴概率值的相伴概率值)，那么就可，那么就可以認為該自變量對方程的貢獻是顯著的，它應保留在回歸方程以認為該自變量對方程的貢獻是顯著的，它應保留在回歸方程中，起到與回歸系數(shù)中，起到與回歸系數(shù)t檢驗同等的作用。檢驗同等的作用。221) 1(RknRFchchange222ichRRR九、多元線性回歸分析中的自變量篩選九、多元線性回歸分析中的自變量篩選(一一)自變量篩選的目的自變量篩選的目的o多元回歸分析引入多個自變量。多元回歸分析引入多個自變量。 如果引入的自變量個數(shù)較少，則不能如果引入的自變量個數(shù)

23、較少，則不能很好的說明因變量的變化；很好的說明因變量的變化；o并非自變量引入越多越好。原因：并非自變量引入越多越好。原因：n有些自變量可能對因變量的解釋沒有貢獻有些自變量可能對因變量的解釋沒有貢獻n自變量間可能存在較強的線性關系，即：多重共線性。自變量間可能存在較強的線性關系，即：多重共線性。 因而不因而不能全部引入回歸方程。能全部引入回歸方程。九、多元線性回歸分析中的自變量篩選九、多元線性回歸分析中的自變量篩選(二二)自變量向前篩選法自變量向前篩選法(forward) o即：自變量不斷進入回歸方程的過程。即：自變量不斷進入回歸方程的過程。o首先，選擇與因變量具有最高相關系數(shù)的自變量進入方程，

24、并首先，選擇與因變量具有最高相關系數(shù)的自變量進入方程，并進行各種檢驗；進行各種檢驗；o其次，在剩余的自變量中尋找其次，在剩余的自變量中尋找偏相關系數(shù)最高偏相關系數(shù)最高的變量進入回歸的變量進入回歸方程，并進行檢驗；方程，并進行檢驗；n默認：回歸系數(shù)檢驗的概率值小于默認：回歸系數(shù)檢驗的概率值小于PIN(0。05)才可以進入方才可以進入方程。程。o反復上述步驟，直到沒有可進入方程的自變量為止。反復上述步驟，直到沒有可進入方程的自變量為止。九、多元線性回歸分析中的自變量篩選九、多元線性回歸分析中的自變量篩選(三三)自變量向后篩選法自變量向后篩選法(backward) o即：自變量不斷剔除出回歸方程的過

25、程。即：自變量不斷剔除出回歸方程的過程。o首先，首先，將所有自變量全部引入回歸方程；將所有自變量全部引入回歸方程；o其次，在一個或多個其次，在一個或多個t值不顯著的自變量中將值不顯著的自變量中將t值最小的那個變值最小的那個變量剔除出去，并重新擬和方程和進行檢驗；量剔除出去，并重新擬和方程和進行檢驗；n默認：回歸系數(shù)檢驗值大于默認：回歸系數(shù)檢驗值大于POUT(0。10)，則剔除出方程，則剔除出方程o如果新方程中所有變量的回歸系數(shù)如果新方程中所有變量的回歸系數(shù)t值都是顯著的，則變量篩值都是顯著的，則變量篩選過程結束。選過程結束。o否則，重復上述過程，直到無變量可剔除為止。否則，重復上述過程，直到無

26、變量可剔除為止。九、多元線性回歸分析中的自變量篩選九、多元線性回歸分析中的自變量篩選(四四)自變量逐步篩選法自變量逐步篩選法(stepwise) o 即：是即：是“向前法向前法”和和“向后法向后法”的結合。的結合。o 向前法只對進入方程的變量的回歸系數(shù)進行顯著性向前法只對進入方程的變量的回歸系數(shù)進行顯著性檢驗，而對已經進入方程的其他變量的回歸系數(shù)不檢驗，而對已經進入方程的其他變量的回歸系數(shù)不再進行顯著性檢驗，即：變量一旦進入方程就不會再進行顯著性檢驗，即：變量一旦進入方程就不會被剔除被剔除o 隨著變量的逐個引進，由于變量之間存在著一定程隨著變量的逐個引進，由于變量之間存在著一定程度的相關性，使

27、得已經進入方程的變量其回歸系數(shù)度的相關性，使得已經進入方程的變量其回歸系數(shù)不再顯著，因此會造成最后的回歸方程可能包含不不再顯著，因此會造成最后的回歸方程可能包含不顯著的變量。顯著的變量。o 逐步篩選法則在變量的每一個階段都考慮的剔除一逐步篩選法則在變量的每一個階段都考慮的剔除一個變量的可能性。個變量的可能性。十、線性回歸分析中的共線性檢測十、線性回歸分析中的共線性檢測(一一)共線性帶來的主要問題共線性帶來的主要問題n高度的多重共線會使回歸系數(shù)的標準差隨自變量相關性的增大而不斷高度的多重共線會使回歸系數(shù)的標準差隨自變量相關性的增大而不斷增大，以至使回歸系數(shù)的置信區(qū)間不斷增大，造成估計值精度減低。

28、增大，以至使回歸系數(shù)的置信區(qū)間不斷增大，造成估計值精度減低。(二二)共線性診斷共線性診斷o自變量的容忍度自變量的容忍度(tolerance)和和方差膨脹因子方差膨脹因子n容忍度：容忍度：Toli=1-Ri2。 其中：其中： Ri2是自變量是自變量xi與方程中其他自變量與方程中其他自變量間的復相關系數(shù)的平方。間的復相關系數(shù)的平方。n容忍度越大則與方程中其他自變量的共線性越低，應進入方程。容忍度越大則與方程中其他自變量的共線性越低，應進入方程。 (具具有太小容忍度的變量不應進入方程，有太小容忍度的變量不應進入方程，spss會給出警會給出警)(T0。1一般一般認為具有多重共線性認為具有多重共線性)n

29、方差膨脹因子方差膨脹因子(VIF)：容忍度的倒數(shù)：容忍度的倒數(shù)nSPSS在回歸方程建立過程中不斷計算待進入方程自變量的容忍度，在回歸方程建立過程中不斷計算待進入方程自變量的容忍度，并顯示目前的最小容忍度并顯示目前的最小容忍度十、線性回歸分析中的共線性檢測十、線性回歸分析中的共線性檢測(二二)共線性診斷共線性診斷o用特征根刻畫自變量的方差用特征根刻畫自變量的方差n如果自變量間確實存在較強的相關關系，那么它們之間必然存如果自變量間確實存在較強的相關關系，那么它們之間必然存在信息重疊，于是可從這些自變量中提取出既能反映自變量信在信息重疊，于是可從這些自變量中提取出既能反映自變量信息息(方差方差)又相

30、互獨立的因素又相互獨立的因素(成分成分)來。來。n從自變量的相關系數(shù)矩陣出發(fā)，計算相關系數(shù)矩陣的特征根，從自變量的相關系數(shù)矩陣出發(fā)，計算相關系數(shù)矩陣的特征根，得到相應的若干成分。得到相應的若干成分。n如果某個特征根既能夠刻畫某個自變量方差的較大部分比例如果某個特征根既能夠刻畫某個自變量方差的較大部分比例(如大于如大于0。7)，同時又可以刻畫另一個自變量方差的較大部，同時又可以刻畫另一個自變量方差的較大部分比例，則表明這兩個自變量間存在較強的多重共線性。分比例，則表明這兩個自變量間存在較強的多重共線性。o條件指標條件指標n0k10 無多重共線性；無多重共線性； 10=k=100 嚴重嚴重imik

31、十一、線性回歸分析中的異方差問題十一、線性回歸分析中的異方差問題(一一)什么是差異方差什么是差異方差n回歸模型要求殘差序列服從均值為回歸模型要求殘差序列服從均值為0并具有相同方差的并具有相同方差的正態(tài)分布，即：殘差分布幅度不應隨自變量或因變量的正態(tài)分布，即：殘差分布幅度不應隨自變量或因變量的變化而變化。否則認為出現(xiàn)了異方差現(xiàn)象變化而變化。否則認為出現(xiàn)了異方差現(xiàn)象(二二)異方差診斷異方差診斷n可以通過繪制標準化殘差序列和因變量預測值可以通過繪制標準化殘差序列和因變量預測值(或每個自或每個自變量變量)的散點圖來識別是否存在異方差的散點圖來識別是否存在異方差(三三)異方差處理異方差處理n實施方差穩(wěn)定

32、性變換實施方差穩(wěn)定性變換o 殘差與殘差與yi(預測值預測值)的平方根呈正比：對的平方根呈正比：對yi開開平方平方o 殘差與殘差與yi(預測值預測值)呈正比：對呈正比：對yi取對數(shù)。取對數(shù)。o 殘差與殘差與yi(預測值預測值)的平方呈正比，則的平方呈正比，則1/yi十二、多元線性回歸分析操作十二、多元線性回歸分析操作(一一)基本操作步驟基本操作步驟(1)菜單選項：菜單選項： analyze-regression-linear(2)選擇一個變量為因變量進入選擇一個變量為因變量進入dependent框框(3)選擇一個或多個變量為自變量進入選擇一個或多個變量為自變量進入independent框框(4)選擇多元回歸分析的自變量篩選方法：選擇多元回歸分析的自變量篩選方法：nenter：所選變量全部進入回歸方程：所選變量全部進入回歸方程(默認方法默認方法)nremove：從回歸方程中剔除變量：從回歸方程中剔除變量nstepwise：逐步篩選；逐步篩選；backward：向后篩選；向后篩選；forward：向前篩選向前篩選(5)對樣本進行篩選對樣本進行篩選(selection variable)n利用滿足一定條件的樣本數(shù)據(jù)進行回歸分析利用滿足