應用回歸分析答案

1、第七章 嶺回歸1. 嶺回歸估計是在什么情況下提出的？答：當解釋變量間出現(xiàn)嚴重的多重共線性時，用普通最小二乘法估計模型參數(shù)，往往參數(shù)估計方差太大，使普通最小二乘法的效果變得很不理想，為了解決這一問題，統(tǒng)計學家從模型和數(shù)據(jù)的角度考慮，采用回歸診斷和自變量選擇來克服多重共線性的影響，這時，嶺回歸作為一種新的回歸方法被提出來了。2. 嶺回歸估計的定義及其統(tǒng)計思想是什么？答：一種改進最小二乘估計的方法叫做嶺估計。當自變量間存在多重共線性，X'X0時，我們設想給X'X加上一個正常數(shù)矩陣kI(k>0),那么X'X+kI 接近奇異的程度小得多，考慮到變量的量綱問題，先對數(shù)據(jù)作標準

2、化，為了計算方便，標準化后的設計陣仍然用X表示，定義為 ，稱為的嶺回歸估計，其中k稱為嶺參數(shù)。3. 選擇嶺參數(shù)k有哪幾種主要方法？答：選擇嶺參數(shù)的幾種常用方法有1.嶺跡法，2.方差擴大因子法，3.由殘差平方和來確定k值。4. 用嶺回歸方法選擇自變量應遵從哪些基本原則？答：用嶺回歸方法來選擇變量應遵從的原則有：（1）在嶺回歸的計算中，我們假定設計矩陣X已經(jīng)中心化和標準化了，這樣可以直接比較標準化嶺回歸系數(shù)的大小，我們可以剔除掉標準化嶺回歸系數(shù)比較穩(wěn)定且絕對值很小的自變量。（2） 當k值較小時標準化嶺回歸系數(shù)的絕對值并不是很小，但是不穩(wěn)定，隨著k的增加迅速趨于零。像這樣的嶺回歸系數(shù)不穩(wěn)定,震動趨于

3、零的自變量，我們也可以予以刪除。（3） 去掉標準化嶺回歸系數(shù)很不穩(wěn)定的自變量，如果有若干個嶺回歸系數(shù)不穩(wěn)定，究竟去掉幾個，去掉哪幾個，這并無一般原則可循，這需根據(jù)去掉某個變量后重新進行嶺回歸分析的效果來確定。5. 對第5章習題9的數(shù)據(jù)，逐步回歸的結果只保留了3個自變量x1，x2，x5，用y對這3個自變量做嶺回歸分析。答： 依題意，對逐步回歸法所保留的三個自變量做嶺回歸分析。程序為：include'C:Program FilesSPSSEVALRidge regression.sps'.ridgereg dep=y/enter x1 x2 x5/start=0.0/stop=1/

4、inc=0.01.嶺跡圖如下：計算結果為：可以看到，變量x1、x2迅速由負變正，x5迅速減小，在0.01-0.1之間各回歸系數(shù)的嶺估計基本穩(wěn)定，重新做嶺回歸。嶺跡圖如下：先取k=0.08：語法命令如下：include'C:Program FilesSPSSEVALRidge regression.sps'.ridgereg dep=y/enter x1 x2 x5/k=0.08.運行結果如下：得到回歸方程為：再取k=0.01：語法命令如下：include'C:Program FilesSPSSEVALRidge regression.sps'.ridgereg

5、dep=y/enter x1 x2 x5/k=0.01.運行結果：* Ridge Regression with k = 0.01 *Mult R .9931857RSquare .9864179Adj RSqu .9840210SE 329.6916494 ANOVA table df SS MSRegress 3.000 134201841 44733947Residual 17.000 1847841.9 108696.58 F value Sig F 411.5487845 .0000000-Variables in the Equation- B SE(B) Beta B/SE(B)

6、x1 .0556780 .0615651 .0981355 .9043751x2 .0796395 .0218437 .3291293 3.6458814x5 .1014400 .0108941 .5621088 9.3114792Constant 753.3058478 121.7381256 .0000000 6.1879205回歸方程為： y=753.3058-0.05568x10.0796x20.1014x5從上表可看出，方程通過F檢驗，R檢驗，經(jīng)查表，所有自變量均通過t檢驗，說明回歸方程通過檢驗。從經(jīng)濟意義上講，x1（農(nóng)業(yè)增加值）、x2（工業(yè)增加值）x5（社會消費總額）的增加應該對y

7、（財政收入）有正方向的影響，嶺回歸方程中三個自變量的系數(shù)均為正值，與實際的經(jīng)濟意義相符。比逐步回歸法得到的方程有合理解釋。6.對習題3.12的 問題，分別用普通最小二乘和嶺回歸建立GDP對第二產(chǎn)業(yè)增加值x2，和第三產(chǎn)業(yè)增加值x3的二元線性回歸，解釋所得到的回歸系數(shù)？答：（1）普通最小二乘法：根據(jù)上表得到y(tǒng)與x2，x3的線性回歸方程為：=4352.859+1.438x2+0.679x3上式中的回歸系數(shù)得不到合理的解釋. 的數(shù)值應該大于1，實際上，x3的年增長幅度大于x1和x2的年增長幅度，因此合理的的數(shù)值應大于1。這個問題產(chǎn)生的原因仍然是存在共線性， 所以采用嶺回歸來改進這個問題。（2）嶺回歸法

8、：程序為：include'C:Program FilesSPSSEVALRidge regression.sps'.ridgereg dep=GDP/enter x2 x3/start=0.0/stop=0.5/inc=0.01.根據(jù)嶺跡圖（如下圖）可知，和很不穩(wěn)定，但其和大體上穩(wěn)定，說明x2和x3存在多重共線性。取k=0.1，SPSS輸出結果為：Mult R .998145， RSquare .996294Adj RSqu .995677，SE 2364.837767 ANOVA table df SS MSRegress 2.000 1.80E+010 9.02E+009R

9、esidual 12.000 67109492 5592457.7 F value Sig F 1613.140715 .000000-Variables in the Equation- B SE(B) Beta B/SE(B)x2 .907990 .021842 .489067 41.571133x3 1.393800 .035366 .463649 39.410560Constant 6552.305986 1278.903452 .000000 5.123378得嶺參數(shù)k=0.1時，嶺回歸方程為 = 6552.306+0.908 x2+1.3938 x3，得嶺參數(shù)k=0.01時，嶺回歸

10、方程為 = 3980.2+1.091 x2+1.227 x3，與普通最小二乘回歸方程相差很大。嶺回歸系數(shù)=1.227與前面的分析是吻合的，其解釋是當?shù)诙a(chǎn)業(yè)增加值x2保持不變時，第三產(chǎn)業(yè)增加值 x3每增加1億元GDP增加1.227億元，這個解釋是合理的。7.一家大型商業(yè)銀行有多家分行，近年來，該銀行的貸款額平穩(wěn)增長，但不良貸款額也有較大比例的提高，為弄清楚不良貸款形成的原因，希望利用銀行業(yè)務的有關數(shù)據(jù)做些定量分析，以便找出控制不良貸款的辦法，表7.5是該銀行所屬25家分行2002年的有關業(yè)務數(shù)據(jù)。（1） 計算y與其余四個變量的簡單相關系數(shù)。（2） 建立不良貸款y對4個自變量的線性回歸方程，所得

11、的回歸系數(shù)是否合理？（3） 分析回歸模型的共線性。（4） 采用后退法和逐步回歸法選擇變量，所得回歸方程的回歸系數(shù)是否合理，是否還存在共線性？（5） 建立不良貸款y對4個自變量的嶺回歸。（6） 對第4步剔除變量后的回歸方程再做嶺回歸。（7） 某研究人員希望做y對各項貸款余額，本年累計應收貸款.貸款項目個數(shù)這三個變量的回歸，你認為這種做是否可行，如果可行應該如何做？相關性不良貸款y各項貸款余額x1本年累計應收到款x2貸款項目個數(shù)x3本年固定資產(chǎn)投資額x4Pearson 相關性不良貸款y1.000.844.732.700.519各項貸款余額x1.8441.000.679.848.780本年累計應收到

12、款x2.732.6791.000.586.472貸款項目個數(shù)x3.700.848.5861.000.747本年固定資產(chǎn)投資額x4.519.780.472.7471.000Sig. （單側）不良貸款y.000.000.000.004各項貸款余額x1.000.000.000.000本年累計應收到款x2.000.000.001.009貸款項目個數(shù)x3.000.000.001.000本年固定資產(chǎn)投資額x4.004.000.009.000.N不良貸款y2525252525各項貸款余額x12525252525本年累計應收到款x22525252525貸款項目個數(shù)x32525252525本年固定資產(chǎn)投資額x4

13、2525252525系數(shù)a模型非標準化系數(shù)標準系數(shù)tSig.共線性統(tǒng)計量B標準 誤差試用版容差VIF1(常量)-1.022.782-1.306.206各項貸款余額x1.040.010.8913.837.001.1885.331本年累計應收到款x2.148.079.2601.879.075.5291.890貸款項目個數(shù)x3.015.083.034.175.863.2613.835本年固定資產(chǎn)投資額x4-.029.015-.325-1.937.067.3602.781a. 因變量: 不良貸款y共線性診斷a模型維數(shù)特征值條件索引方差比例(常量)各項貸款余額x1本年累計應收到款x2貸款項目個數(shù)x3本年

14、固定資產(chǎn)投資額x4114.5381.000.01.00.01.00.002.2034.733.68.03.02.01.093.1575.378.16.00.66.01.134.0668.287.00.09.20.36.725.03611.215.15.87.12.63.05a. 因變量: 不良貸款y后退法得系數(shù)a模型非標準化系數(shù)標準系數(shù)tSig.B標準 誤差試用版1(常量)-1.022.782-1.306.206各項貸款余額x1.040.010.8913.837.001本年累計應收到款x2.148.079.2601.879.075貸款項目個數(shù)x3.015.083.034.175.863本年固定

15、資產(chǎn)投資額x4-.029.015-.325-1.937.0672(常量)-.972.711-1.366.186各項貸款余額x1.041.009.9144.814.000本年累計應收到款x2.149.077.2611.938.066本年固定資產(chǎn)投資額x4-.029.014-.317-2.006.0583(常量)-.443.697-.636.531各項貸款余額x1.050.0071.1206.732.000本年固定資產(chǎn)投資額x4-.032.015-.355-2.133.044a. 因變量: 不良貸款y逐步回歸得系數(shù)a模型非標準化系數(shù)標準系數(shù)tSig.B標準 誤差試用版1(常量)-.830.723-

16、1.147.263各項貸款余額x1.038.005.8447.534.0002(常量)-.443.697-.636.531各項貸款余額x1.050.0071.1206.732.000本年固定資產(chǎn)投資額x4-.032.015-.355-2.133.044a. 因變量: 不良貸款y R-SQUARE AND BETA COEFFICIENTS FOR ESTIMATED VALUES OF K K RSQ x1 x2 x3 x4_ _ _ _ _ _.00000 .79760 .891313 .259817 .034471 -.324924.05000 .79088 .713636 .286611

17、 .096624 -.233765.10000 .78005 .609886 .295901 .126776 -.174056.15000 .76940 .541193 .297596 .143378 -.131389.20000 .75958 .491935 .295607 .153193 -.099233.25000 .75062 .454603 .291740 .159210 -.074110.30000 .74237 .425131 .286912 .162925 -.053962.35000 .73472 .401123 .281619 .165160 -.037482.40000

18、.72755 .381077 .276141 .166401 -.023792.45000 .72077 .364000 .270641 .166949 -.012279.50000 .71433 .349209 .265211 .167001 -.002497.55000 .70816 .336222 .259906 .166692 .005882.60000 .70223 .324683 .254757 .166113 .013112.65000 .69649 .314330 .249777 .165331 .019387.70000 .69093 .304959 .244973 .164

19、397 .024860.75000 .68552 .296414 .240345 .163346 .029654.80000 .68024 .288571 .235891 .162207 .033870.85000 .67508 .281331 .231605 .161000 .037587.90000 .67003 .274614 .227480 .159743 .040874.95000 .66508 .268353 .223510 .158448 .0437871.0000 .66022 .262494 .219687 .157127 .046373Run MATRIX procedur

20、e:* Ridge Regression with k = 0.4 *Mult R .802353780RSquare .643771588Adj RSqu .611387187SE 2.249999551 ANOVA table df SS MSRegress 2.000 201.275 100.638Residual 22.000 111.375 5.062 F value Sig F 19.87906417 .00001172-Variables in the Equation- B SE(B) Beta B/SE(B)x1 .025805860 .003933689 .574462395 6.560218798x4 .004531316 .007867533 .050434658 .575951348Constant .357087614 .741566536 .000000000 .481531456- END MATRIX -Y對x1 x2 x3 做嶺回歸Run MATRIX procedure:* Ridge Regression with k = 0.4 *Mult R .850373821RSquare .723135635Adj RSqu .683583583SE 2.030268037 ANOVA table df SS MSRegress