應(yīng)用回歸分析,第4章課后習(xí)題參考的答案

...wd......wd......wd...第4章違背基本假設(shè)的情況思考與練習(xí)參考答案4.1試舉例說明產(chǎn)生異方差的原因。答：例4.1：截面資料下研究居民家庭的儲蓄行為Yi=0+1Xi+εi其中：Yi表示第i個家庭的儲蓄額，Xi表示第i個家庭的可支配收入。由于高收入家庭儲蓄額的差異較大，低收入家庭的儲蓄額那么更有規(guī)律性，差異較小，所以εi的方差呈現(xiàn)單調(diào)遞增型變化。例4.2：以某一行業(yè)的企業(yè)為樣本建設(shè)企業(yè)生產(chǎn)函數(shù)模型Yi=Ai1Ki2Li3eεi被解釋變量：產(chǎn)出量Y，解釋變量：資本K、勞動L、技術(shù)A，那么每個企業(yè)所處的外部環(huán)境對產(chǎn)出量的影響被包含在隨機(jī)誤差項(xiàng)中。由于每個企業(yè)所處的外部環(huán)境對產(chǎn)出量的影響程度不同，造成了隨機(jī)誤差項(xiàng)的異方差性。這時(shí)，隨機(jī)誤差項(xiàng)ε的方差并不隨某一個解釋變量觀測值的變化而呈規(guī)律性變化，呈現(xiàn)復(fù)雜型。4.2異方差帶來的后果有哪些答：回歸模型一旦出現(xiàn)異方差性，如果仍采用OLS估計(jì)模型參數(shù)，會產(chǎn)生以下不良后果：1、參數(shù)估計(jì)量非有效2、變量的顯著性檢驗(yàn)失去意義3、回歸方程的應(yīng)用效果極不理想總的來說，當(dāng)模型出現(xiàn)異方差性時(shí)，參數(shù)OLS估計(jì)值的變異程度增大，從而造成對Y的預(yù)測誤差變大，降低預(yù)測精度，預(yù)測功能失效。4.3簡述用加權(quán)最小二乘法消除一元線性回歸中異方差性的思想與方法。答：普通最小二乘估計(jì)就是尋找參數(shù)的估計(jì)值使離差平方和達(dá)極小。其中每個平方項(xiàng)的權(quán)數(shù)一樣，是普通最小二乘回歸參數(shù)估計(jì)方法。在誤差項(xiàng)等方差不相關(guān)的條件下，普通最小二乘估計(jì)是回歸參數(shù)的最小方差線性無偏估計(jì)。然而在異方差的條件下，平方和中的每一項(xiàng)的地位是不一樣的，誤差項(xiàng)的方差大的項(xiàng)，在殘差平方和中的取值就偏大，作用就大，因而普通最小二乘估計(jì)的回歸線就被拉向方差大的項(xiàng)，方差大的項(xiàng)的擬合程度就好，而方差小的項(xiàng)的擬合程度就差。由OLS求出的仍然是的無偏估計(jì)，但不再是最小方差線性無偏估計(jì)。所以就是：對較大的殘差平方賦予較小的權(quán)數(shù)，對較小的殘差平方賦予較大的權(quán)數(shù)。這樣對殘差所提供信息的重要程度作一番校正，以提高參數(shù)估計(jì)的精度。加權(quán)最小二乘法的方法：4.4簡述用加權(quán)最小二乘法消除多元線性回歸中異方差性的思想與方法。答：運(yùn)用加權(quán)最小二乘法消除多元線性回歸中異方差性的思想與一元線性回歸的類似。多元線性回歸加權(quán)最小二乘法是在平方和中參加一個適當(dāng)?shù)臋?quán)數(shù)，以調(diào)整各項(xiàng)在平方和中的作用，加權(quán)最小二乘的離差平方和為： 〔2〕加權(quán)最小二乘估計(jì)就是尋找參數(shù)的估計(jì)值使式〔2〕的離差平方和達(dá)極小。所得加權(quán)最小二乘經(jīng)歷回歸方程記做〔3〕多元回歸模型加權(quán)最小二乘法的方法:首先找到權(quán)數(shù)，理論上最優(yōu)的權(quán)數(shù)為誤差項(xiàng)方差的倒數(shù),即〔4〕誤差項(xiàng)方差大的項(xiàng)承受小的權(quán)數(shù)，以降低其在式〔2〕平方和中的作用;誤差項(xiàng)方差小的項(xiàng)承受大的權(quán)數(shù)，以提高其在平方和中的作用。由〔2〕式求出的加權(quán)最小二乘估計(jì)就是參數(shù)的最小方差線性無偏估計(jì)。一個需要解決的問題是誤差項(xiàng)的方差是未知的,因此無法真正按照式〔4〕選取權(quán)數(shù)。在實(shí)際問題中誤差項(xiàng)方差通常與自變量的水平有關(guān)(如誤差項(xiàng)方差隨著自變量的增大而增大),可以利用這種關(guān)系確定權(quán)數(shù)。例如與第j個自變量取值的平方成比例時(shí),即=k時(shí),這時(shí)取權(quán)數(shù)為〔5〕更一般的情況是誤差項(xiàng)方差與某個自變量(與|ei|的等級相關(guān)系數(shù)最大的自變量)取值的冪函數(shù)成比例，即=k,其中m是待定的未知參數(shù)。此時(shí)權(quán)數(shù)為〔6〕這時(shí)確定權(quán)數(shù)的問題轉(zhuǎn)化為確定冪參數(shù)m的問題，可以借助SPSS軟件解決。4.5〔4.5〕式一元加權(quán)最小二乘回歸系數(shù)估計(jì)公式。證明：由得：4.6驗(yàn)證〔4.8〕式多元加權(quán)最小二乘回歸系數(shù)估計(jì)公式。證明：對于多元線性回歸模型〔1〕，即存在異方差。設(shè)，用左乘〔1〕式兩邊，得到一個新的的模型：，即。因?yàn)?，故新的模型具有同方差性，故可以用廣義最小二乘法估計(jì)該模型，得原式得證。4.7有同學(xué)認(rèn)為當(dāng)數(shù)據(jù)存在異方差時(shí)，加權(quán)最小二乘回歸方程與普通最小二乘回歸方程之間必然有很大的差異，異方差越嚴(yán)重，兩者之間的差異就越大。你是否同意這位同學(xué)的觀點(diǎn)說明原因。答：不同意。當(dāng)回歸模型存在異方差時(shí)，加權(quán)最小二乘估計(jì)〔WLS〕只是普通最小二乘估計(jì)〔OLS〕的改進(jìn)，這種改進(jìn)可能是細(xì)微的，不能理解為WLS一定會得到與OLS截然不同的方程來，或者大幅度的改進(jìn)。實(shí)際上可以構(gòu)造這樣的數(shù)據(jù)，回歸模型存在很強(qiáng)的異方差，但WLS與OLS的結(jié)果一樣。加權(quán)最小二乘法不會消除異方差，只是消除異方差的不良影響，從而對模型進(jìn)展一點(diǎn)改進(jìn)。4.8對例4.3的數(shù)據(jù)，用公式計(jì)算出加權(quán)變換殘差，繪制加權(quán)變換殘差圖，根據(jù)繪制出的圖形說明加權(quán)最小二乘估計(jì)的效果。解：用公式計(jì)算出加權(quán)變換殘差，分別繪制加權(quán)最小二乘估計(jì)后的殘差圖和加權(quán)變換殘差圖〔見以以下列圖〕。根據(jù)繪制出的兩個圖形可以發(fā)現(xiàn)加權(quán)最小二乘估計(jì)沒有消除異方差，只是對原OLS的殘差有所改善，而經(jīng)過加權(quán)變換后的殘差不存在異方差。4.9參見參考文獻(xiàn)[2]，表4.12〔P138〕是用電頂峰每小時(shí)用電量y與每月總用電量x的數(shù)據(jù)。〔1〕用普通最小二乘法建設(shè)y與x的回歸方程，并畫出殘差散點(diǎn)圖。解：SPSS輸出結(jié)果如下：由上表可得回歸方程為：殘差圖為：〔2〕診斷該問題是否存在異方差；解：a由殘差散點(diǎn)圖可以明顯看出存在異方差，誤差的方差隨著的增加而增大。b用SPSS做等級相關(guān)系數(shù)的檢驗(yàn)，結(jié)果如下表所示：得到等級相關(guān)系數(shù)，P值=0.021，認(rèn)為殘差絕對值與自變量顯著相關(guān)，存在異方差。〔3〕如果存在異方差，用冪指數(shù)型的權(quán)函數(shù)建設(shè)加權(quán)最小二乘回歸方程；解：SPSS輸出結(jié)果如圖：CoefficientsCoefficientsa,b-.683.298-2.296.026.004.000.8129.930.000(Constant)xModel1BStd.ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.DependentVariable:ya.WeightedLeastSquaresRegression-WeightedbyWeightforyfromWLS,MOD_2x**-1.500b.由上述表可得，在時(shí)對數(shù)似然函數(shù)到達(dá)最大，那么冪指數(shù)的最優(yōu)取值為。加權(quán)后的回歸方程為：。計(jì)算加權(quán)后的殘差，并對殘差絕對值和自變量做等級相關(guān)系數(shù)分析，結(jié)果如下表所示：，P值為0.019<0.05，即加權(quán)最小二乘法沒有消除異方差，只是消除異方差的不良影響，從而對模型進(jìn)展一點(diǎn)改進(jìn)。CorrelationsCorrelations1.000.321*..0195353.321*1.000.019.5353CorrelationCoefficientSig.(2-tailed)NCorrelationCoefficientSig.(2-tailed)NxabseiwSpearman'srhoxabseiwCorrelationissignificantatthe0.05level(2-tailed).*.〔4〕用方差穩(wěn)定變換消除異方差。解：對應(yīng)變量做方差穩(wěn)定變換〔〕后，用最小二乘法做回歸，SPSS結(jié)果如下表：CoefficientsCoefficientsa.582.1304.481.000.001.000.8059.699.000(Constant)xModel1BStd.ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.DependentVariable:sqrtya.那么回歸方程為：。保存預(yù)測值，計(jì)算出殘差的絕對值后，計(jì)算等級相關(guān)系數(shù)，見下表：其中，P值=0.254>0.05，說明異方差已經(jīng)消除。4.10試舉一可能產(chǎn)生隨機(jī)誤差項(xiàng)序列相關(guān)的經(jīng)濟(jì)例子。答：例如，居民總消費(fèi)函數(shù)模型：Ct=0+1Yt+εtt=1,2,…,n由于居民收入對消費(fèi)影響有滯后性，而且今年消費(fèi)水平受上年消費(fèi)水平影響，那么可能出現(xiàn)序列相關(guān)性。另外由于消費(fèi)習(xí)慣的影響被包含在隨機(jī)誤差項(xiàng)中，那么可能出現(xiàn)序列相關(guān)性〔往往是正相關(guān)〕。序列相關(guān)性帶來的嚴(yán)重后果是什么答：直接用普通最小二乘法估計(jì)隨機(jī)誤差項(xiàng)存在序列相關(guān)性的線性回歸模型未知參數(shù)時(shí)，會產(chǎn)生以下一些問題：參數(shù)估計(jì)量仍然是無偏的，但不具有有效性，因?yàn)橛凶韵嚓P(guān)性時(shí)參數(shù)估計(jì)值的方差大于無自相關(guān)性時(shí)的方差。均方誤差MSE可能嚴(yán)重低估誤差項(xiàng)的方差變量的顯著性檢驗(yàn)失去意義：在變量的顯著性檢驗(yàn)中，統(tǒng)計(jì)量是建設(shè)在參數(shù)方差正確估計(jì)根基之上的，當(dāng)參數(shù)方差嚴(yán)重低估時(shí)，容易導(dǎo)致t值和F值偏大，即可能導(dǎo)致得出回歸參數(shù)統(tǒng)計(jì)檢驗(yàn)和回歸方程檢驗(yàn)顯著，但實(shí)際并不顯著的嚴(yán)重錯誤結(jié)論。當(dāng)存在序列相關(guān)時(shí)，仍然是的無偏估計(jì)，但在任一特定的樣本中，可能嚴(yán)重歪曲的真實(shí)情況，即最小二乘法對抽樣波動變得非常敏感模型的預(yù)測和構(gòu)造分析失效?？偨Y(jié)DW檢驗(yàn)的優(yōu)缺點(diǎn)。答：優(yōu)點(diǎn)：1.應(yīng)用廣泛，一般的計(jì)算機(jī)軟件都可以計(jì)算出DW值；2.適用于小樣本；3.可用于檢驗(yàn)隨機(jī)擾動項(xiàng)具有一階自回歸形式的序列相關(guān)問題。缺點(diǎn)：1.DW檢驗(yàn)有兩個不能確定的區(qū)域，一旦DW值落入該區(qū)域，就無法判斷。此時(shí)，只有增大樣本容量或選取其他方法；2.DW統(tǒng)計(jì)量的上、下界表要求n>15，這是由于樣本如果再小，利用殘差就很難對自相關(guān)性的存在做出比較正確的診斷；3.DW檢驗(yàn)不適應(yīng)隨機(jī)項(xiàng)具有高階序列相關(guān)性的檢驗(yàn)。4.13表4.13中是某軟件公司月銷售額數(shù)據(jù)，其中，x為總公司的月銷售額〔萬元〕;y為某分公司的月銷售額〔萬元〕?！?〕用普通最小二乘法建設(shè)y與x的回歸方程；由上表可知：用普通二乘法建設(shè)的回歸方程為〔2〕用殘差圖及DW檢驗(yàn)診斷序列的相關(guān)性；1.以自變量x為橫軸，普通殘差為縱軸畫殘差圖如下：從圖中可以看到，殘差有規(guī)律的變化，呈現(xiàn)大致反W形狀，說明隨機(jī)誤差項(xiàng)存在自相關(guān)性。2.以〔殘差1〕為橫坐標(biāo)，〔殘差〕為縱坐標(biāo)，繪制散點(diǎn)圖如下：由殘差圖可見大局部的點(diǎn)落在第一、三象限內(nèi)，說明隨機(jī)擾動項(xiàng)存在著正的序列相關(guān)；3.從下表可知DW值為0.663，查DW表，n=20,k=2,顯著性水平=0.05，得=1.20,=1.41,由于0.663<1.20,知DW值落入正相關(guān)區(qū)域，即殘差序列存在正的自相關(guān)?！?〕用迭代法處理序列相關(guān)，并建設(shè)回歸方程。自相關(guān)系數(shù)令，，然后用對作普通最小二乘回歸可得輸出結(jié)果如下：可看到新的回歸方程的DW=1.360.且1.18<1.360<1.40,因而DW檢驗(yàn)落入不確定區(qū)域此時(shí)，一步迭代誤差項(xiàng)的標(biāo)準(zhǔn)差為0.07296，小于的標(biāo)準(zhǔn)差0.097對的回歸方程為=-0.3+0.173，將=-0.6685，=-0.6685代人，復(fù)原為原始變量的方程=-0.3+0.6685+0.173-0.1157由于一步迭代的DW檢驗(yàn)落入不確定區(qū)域，因而可以考慮對數(shù)據(jù)進(jìn)展二步迭代，也就是對和重復(fù)以上迭代過程。進(jìn)展回歸結(jié)果如下：此時(shí)DW的值為1.696，查DW表，n=18，k=2，顯著性水平=0.05，得=1.16,=1.39,DW值大于，小于2，落入無自相關(guān)區(qū)域。誤差標(biāo)準(zhǔn)項(xiàng)0.0849，略小于一步迭代的標(biāo)準(zhǔn)差0.7296。但是在檢驗(yàn)都通過的情況下，由于一步迭代的值和F值均大于兩步迭代后的值，且根據(jù)取模型簡約的原那么，最終選擇一步迭代的結(jié)果，即：=-0.3+0.6685+0.173-0.1157〔4〕用一階差分的方法處理數(shù)據(jù)，建設(shè)回歸方程；先計(jì)算差分=-，=-，然后用對做過原點(diǎn)的最小二乘回歸，結(jié)果如下：由上面表，可知DW值為1.462>1.40=，即DW落入不相關(guān)區(qū)域，可知?dú)埐钚蛄胁淮嬖谧韵嚓P(guān)，一階差分法成功地消除了序列自相關(guān)。同時(shí)得到回歸方程為=0.169，將=-，=-，代人，復(fù)原原始變量的方程=+0.169〔-〕〔5〕比較普通最小二乘法所得的回歸方程和迭代法、一階差分法所建設(shè)回歸方程的優(yōu)良性。答：此題中自相關(guān)系數(shù)0.6685，不接近于1，不適宜用差分法，另外由迭代法的F值及都大于差分法的值，故差分法的效果低于迭代法的效果；而普通最小二乘法的隨機(jī)誤差項(xiàng)標(biāo)準(zhǔn)差為0.09744，大于迭代的隨機(jī)誤差項(xiàng)標(biāo)準(zhǔn)差0.07296，所以迭代的效果要優(yōu)于普通最小二乘法，所以此題中一次迭代法最好。4.14某樂隊(duì)經(jīng)理研究其樂隊(duì)CD盤的銷售額〔y〕，兩個有關(guān)的影響變量是每周出場次x1和樂隊(duì)網(wǎng)站的周點(diǎn)擊率x2，數(shù)據(jù)見表4.14?！?〕用普通最小二乘法建設(shè)y與x1、x2的回歸方程，用殘差圖及DW檢驗(yàn)診斷序列的自相關(guān)性；解：將數(shù)據(jù)輸入SPSS，經(jīng)過線性回歸得到結(jié)果如下： ModelSummary(b)ModelRRSquareAdjustedRSquareStd.ErroroftheEstimateDurbin-Watson1.541(a).293.264329.69302.745aPredictors:(Constant),x2,x1bDependentVariable:yANOVA(b)ModelSumofSquaresdfMeanSquareFSig.1Regression2205551.67821102775.83910.145.000(a)Residual5326177.03649108697.491Total7531728.71451aPredictors:(Constant),x2,x1bDependentVariable:y由以上3個表可知普通最小二乘法建設(shè)y與x1、x2的回歸方程，通過了r、F、t檢驗(yàn)，說明回歸方程顯著。y與x1、x2的回歸方程為：y=-574.062+191.098x1+2.045x2殘差圖ei(et)~ei1(et-1)為：從殘差圖可以看出殘差集中在1、3象限，說明隨機(jī)誤差項(xiàng)存在一階正自相關(guān)。DW=0.745查表得dl=1.46du=1.63,0<DW<dl,所以隨機(jī)誤差項(xiàng)存在一階正自相關(guān)。〔2〕用迭代法處理序列相關(guān)，并建設(shè)回歸方程。ρ=1-0.5DW=0.6275做變換:x1t’=x1t-ρx1(t-1),x2t’=x2t-ρx2(t-1)yt’=yt-ρyt-1建設(shè)yt’與x1t’,x2t’的回歸方程,SPSS輸出為:DW=1.716>du所以誤差項(xiàng)間無自相關(guān)性。=257.86回歸方程為:yt’=-178.775+211.11x1t’+1.436x2t’復(fù)原為:yt-0.627y(t-1)=-178.775+211.11*(x1t-0.627x1(t-1))+1.436*(x2t-0.627x2(t-1))(3)用一階差分法處理序列相關(guān)，建設(shè)回歸方程。 ModelSummary(c,d)ModelRRSquare(a)AdjustedRSquareStd.ErroroftheEstimateDurbin-Watson1.715(b).511.491280.989952.040aForregressionthroughtheorigin(theno-interceptmodel),RSquaremeasurestheproportionofthevariabilityinthedependentvariableabouttheoriginexplainedbyregression.ThisCANNOTbecomparedtoRSquareformodelswhichincludeanintercept.bPredictors:DIFF(x2,1),DIFF(x1,1)cDependentVariable:DIFF(y,1)dLinearRegressionthroughtheOriginDW=2.040>du，所以消除了自相關(guān)性，=280.99差分法回歸方程為:yt－yt-1=210.117(x1t-x1(t-1))＋1.397(x2t-x2(t-1)).(4)用最大似然法處理序列相關(guān)，建設(shè)回歸方程。用SPSS軟件的自回歸功能，analyze——>timeseries——>autoregression:=0.631,=258.068,(5)用科克倫-奧克特迭代法處理序列相關(guān)，建設(shè)回歸方程=0.632,=260.560,DW＝1.748?！?〕用普萊斯-溫斯登迭代法處理序列相關(guān)，建設(shè)回歸方程。=0.632,=258.066,DW＝1.746?！?〕比較以上各方法所建回歸方程的優(yōu)良性。綜合以上各方法的模型擬合結(jié)果如下表所示：自回歸方法DW迭代法0.6275——-179.0211.11.4371.716257.86差分法————0210.11.3972.040280.99準(zhǔn)確最大似然0.631-481.7——211.01.436——258.07科克倫-奧克特0.632-479.3——211.11.4351.748260.560普萊斯-溫斯登0.631-487.1——211.01.4351.746258.066由上表可看出：DW值都落在了隨機(jī)誤差項(xiàng)無自相關(guān)性的區(qū)間上，一階差分法消除自相關(guān)最徹底，但因?yàn)?0.627,并不接近于1,故得到的方差較大,擬合效果不理想。將幾種方法所得到的值進(jìn)展比較，就可知迭代法的擬合效果最好，以普萊斯-溫斯登法次之，差分法最差。4.15說明引起異常值的原因和消除異常值的方法。答：通常引起異常值的原因和消除異常值的方法有以下幾條，見表4.10：4.16對第3章習(xí)題11做異常值檢驗(yàn)。研究貨運(yùn)總量y〔萬噸〕與工業(yè)總產(chǎn)值x1〔億元〕、農(nóng)業(yè)總產(chǎn)值x2〔億元〕、居民非商品支出x3〔億元〕的關(guān)系。〔1〕利用SPSS建設(shè)y與x1，x2，x3的三元回歸方程，分別計(jì)算普通殘差，學(xué)生化殘差，刪除殘差，刪除學(xué)生化殘差，中心化杠桿值，庫克距離，見下表：從表中看到絕對值最大的學(xué)生化殘差為SRE=2.11556，小于3，但有超過3的個別值，因而根據(jù)學(xué)生化殘差診斷認(rèn)為存在異常值。絕對值最大的刪除學(xué)生化殘差為3.832，對應(yīng)為第6個數(shù)據(jù)，因此判斷它為為異常值。第6個數(shù)據(jù)的中心化杠桿值為0.64，位于第一大，大于2=2=0.6，且?guī)炜司嚯x為3.21位于第一大，因而從杠桿值看是第6個數(shù)據(jù)是自變量的異常值，同時(shí)庫克距離大于1，故第6個數(shù)據(jù)為異常值的原因是由自變量異常與因變量異常兩個共同原因引起的。編號yX1X2X3殘差學(xué)生化殘差刪除殘差刪除學(xué)生化殘差1234567891016026021026524022027516027525070756574726878667065354040423845423644421.02.42.03.01.21.54.02.03.23.0-15.4748112.824995.34434-0.0908833.22549-25.19759-17.55450-20.006848.2343518.69545-.893530.627670.26517-.004331.75400-2.11566-1.17348-1.162810.409351.06462-28.35150