應用回歸分析_整理課后習題參考答案

1、第二章 一元線性回歸分析思考與練習參考答案 2.1 一元線性回歸有哪些基本假定?答： 假設(shè)1、解釋變量X是確定性變量，Y是隨機變量； 假設(shè)2、隨機誤差項具有零均值、同方差和不序列相關(guān)性： E(i)=0 i=1,2, ,n Var (i)=s2 i=1,2, ,n Cov(i, j)=0 ij i,j= 1,2, ,n 假設(shè)3、隨機誤差項與解釋變量X之間不相關(guān)： Cov(Xi, i)=0 i=1,2, ,n 假設(shè)4、服從零均值、同方差、零協(xié)方差的正態(tài)分布 iN(0, s2 ) i=1,2, ,n2.2 考慮過原點的線性回歸模型 Yi=1Xi+i i=1,2, ,n誤差i（i=1,2, ,n）仍滿

2、足基本假定。求1的最小二乘估計解：得：2.3 證明（2.27式），Sei =0 ，SeiXi=0 。證明：其中：即： Sei =0 ，SeiXi=02.4回歸方程E（Y）=0+1X的參數(shù)0，1的最小二乘估計與最大似然估計在什么條件下等價?給出證明。答：由于iN(0, s2 ) i=1,2, ,n所以Yi=0 + 1Xi + iN（0+1Xi , s2 )最大似然函數(shù)：使得Ln（L）最大的，就是0，1的最大似然估計值。同時發(fā)現(xiàn)使得Ln（L）最大就是使得下式最小，上式恰好就是最小二乘估計的目標函數(shù)相同。值得注意的是：最大似然估計是在iN(0, s2 )的假設(shè)下求得，最小二乘估計則不要求分布假設(shè)。

3、所以在iN(0, s2 ) 的條件下， 參數(shù)0，1的最小二乘估計與最大似然估計等價。2.5 證明是0的無偏估計。證明：2.6 證明證明：2.7 證明平方和分解公式：SST=SSE+SSR證明：2.8 驗證三種檢驗的關(guān)系，即驗證：（1）；（2）證明：（1）（2）2.9 驗證（2.63）式：證明：其中：2.10 用第9題證明是s2的無偏估計量證明：2.14 為了調(diào)查某廣告對銷售收入的影響，某商店記錄了5個月的銷售收入y（萬元）和廣告費用x（萬元），數(shù)據(jù)見表2.6，要求用手工計算：表2.6月份12345X12345Y1010202040（1） 畫散點圖（略）（2） X與Y是否大致呈線性關(guān)系？答：從散

4、點圖看，X與Y大致呈線性關(guān)系。（3） 用最小二乘法估計求出回歸方程。計算表XY1104100206（-14）2（-4）221011001013（-7）2（3）2320000200042010027727254044004034142（-6）2和15100和Lxx=10Lyy=600和Lxy=70和100SSR=490SSE=110均3均20均20回歸方程為：（4） 求回歸標準誤差先求SSR（Qe）見計算表。所以第三章3.3證明 隨機誤差項的方差s2的無偏估計。證明:3.4 一個回歸方程的復相關(guān)系數(shù)R=0.99，樣本決定系數(shù)R2=0.9801，我們能判斷這個回歸方程就很理想嗎？答：不能斷定這個回

5、歸方程理想。因為：1. 在樣本容量較少，變量個數(shù)較大時，決定系數(shù)的值容易接近1，而此時可能F檢驗或者關(guān)于回歸系數(shù)的t檢驗，所建立的回歸方程都沒能通過。2. 樣本決定系數(shù)和復相關(guān)系數(shù)接近于1只能說明Y與自變量X1,X2,Xp整體上的線性關(guān)系成立，而不能判斷回歸方程和每個自變量是顯著的，還需進行F檢驗和t檢驗。3. 在應用過程中發(fā)現(xiàn)，在樣本容量一定的情況下，如果在模型中增加解釋變量必定使得自由度減少，使得 R2往往增大，因此增加解釋變量（尤其是不顯著的解釋變量）個數(shù)引起的R2的增大與擬合好壞無關(guān)。3.7 驗證證明：多元線性回歸方程模型的一般形式為：其經(jīng)驗回歸方程式為，又，故，中心化后，則有，左右同

6、時除以，令，樣本數(shù)據(jù)標準化的公式為，則上式可以記為則有3.11 研究貨運總量y（萬噸）與工業(yè)總產(chǎn)值x1（億元）、農(nóng)業(yè)總產(chǎn)值x2（億元）、居民非商品支出x3（億元）的關(guān)系。數(shù)據(jù)見表3.9（略）。（1）計算出y，x1，x2，x3的相關(guān)系數(shù)矩陣。SPSS輸出如下：則相關(guān)系數(shù)矩陣為：（2）求出y與x1，x2，x3的三元回歸方程。對數(shù)據(jù)利用SPSS做線性回歸，得到回歸方程為（3）對所求的方程作擬合優(yōu)度檢驗。由上表可知，調(diào)整后的決定系數(shù)為0.708，說明回歸方程對樣本觀測值的擬合程度較好。（4）對回歸方程作顯著性檢驗；原假設(shè)：F統(tǒng)計量服從自由度為（3，6）的F分布，給定顯著性水平=0.05，查表得,由方查

7、分析表得，F(xiàn)值=8.283>4.76，p值=0.015，拒絕原假設(shè)，由方差分析表可以得到，說明在置信水平為95%下，回歸方程顯著。（5）對每一個回歸系數(shù)作顯著性檢驗；做t檢驗：設(shè)原假設(shè)為，統(tǒng)計量服從自由度為n-p-1的t分布，給定顯著性水平0.05，查得單側(cè)檢驗臨界值為1.943，X1的t值=1.942<1.943，處在否定域邊緣。X2的t值2.465>1.943。拒絕原假設(shè)。由上表可得，在顯著性水平時，只有的P值<0.05,通過檢驗，即只有的回歸系數(shù)較為顯著 ；其余自變量的P值均大于0.05，即x1，x2的系數(shù)均不顯著。第四章4.3 簡述用加權(quán)最小二乘法消除一元線性回

8、歸中異方差性的思想與方法。答：普通最小二乘估計就是尋找參數(shù)的估計值使離差平方和達極小。其中每個平方項的權(quán)數(shù)相同，是普通最小二乘回歸參數(shù)估計方法。在誤差項等方差不相關(guān)的條件下，普通最小二乘估計是回歸參數(shù)的最小方差線性無偏估計。然而在異方差的條件下，平方和中的每一項的地位是不相同的，誤差項的方差大的項，在殘差平方和中的取值就偏大，作用就大，因而普通最小二乘估計的回歸線就被拉向方差大的項，方差大的項的擬合程度就好，而方差小的項的擬合程度就差。由OLS求出的仍然是的無偏估計，但不再是最小方差線性無偏估計。所以就是：對較大的殘差平方賦予較小的權(quán)數(shù)，對較小的殘差平方賦予較大的權(quán)數(shù)。這樣對殘差所提供信息的重

9、要程度作一番校正，以提高參數(shù)估計的精度。加權(quán)最小二乘法的方法：4.4簡述用加權(quán)最小二乘法消除多元線性回歸中異方差性的思想與方法。答：運用加權(quán)最小二乘法消除多元線性回歸中異方差性的思想與一元線性回歸的類似。多元線性回歸加權(quán)最小二乘法是在平方和中加入一個適當?shù)臋?quán)數(shù) ，以調(diào)整各項在平方和中的作用，加權(quán)最小二乘的離差平方和為： （2）加權(quán)最小二乘估計就是尋找參數(shù)的估計值使式（2）的離差平方和達極小。所得加權(quán)最小二乘經(jīng)驗回歸方程記做 （3） 多元回歸模型加權(quán)最小二乘法的方法:首先找到權(quán)數(shù)，理論上最優(yōu)的權(quán)數(shù)為誤差項方差的倒數(shù),即 （4）誤差項方差大的項接受小的權(quán)數(shù)，以降低其在式（2）平方和中的作用; 誤差

10、項方差小的項接受大的權(quán)數(shù)，以提高其在平方和中的作用。由（2）式求出的加權(quán)最小二乘估計就是參數(shù)的最小方差線性無偏估計。一個需要解決的問題是誤差項的方差是未知的,因此無法真正按照式（4）選取權(quán)數(shù)。在實際問題中誤差項方差通常與自變量的水平有關(guān)(如誤差項方差隨著自變量的增大而增大),可以利用這種關(guān)系確定權(quán)數(shù)。例如與第j個自變量取值的平方成比例時, 即=k時,這時取權(quán)數(shù)為 （5）更一般的情況是誤差項方差與某個自變量(與|ei|的等級相關(guān)系數(shù)最大的自變量)取值的冪函數(shù)成比例，即=k,其中m是待定的未知參數(shù)。此時權(quán)數(shù)為 （6）這時確定權(quán)數(shù) 的問題轉(zhuǎn)化為確定冪參數(shù)m的問題，可以借助SPSS軟件解決。4.5（4

11、.5）式一元加權(quán)最小二乘回歸系數(shù)估計公式。證明： 4.6驗證（4.8）式多元加權(quán)最小二乘回歸系數(shù)估計公式。證明：對于多元線性回歸模型 （1） ，即存在異方差。設(shè)，用左乘（1）式兩邊，得到一個新的的模型：，即。因為，故新的模型具有同方差性，故可以用廣義最小二乘法估計該模型，得原式得證。4.7 有同學認為當數(shù)據(jù)存在異方差時，加權(quán)最小二乘回歸方程與普通最小二乘回歸方程之間必然有很大的差異，異方差越嚴重，兩者之間的差異就越大。你是否同意這位同學的觀點？說明原因。答：不同意。當回歸模型存在異方差時，加權(quán)最小二乘估計（WLS）只是普通最小二乘估計（OLS）的改進，這種改進可能是細微的，不能理解為WLS一定

12、會得到與OLS截然不同的方程來，或者大幅度的改進。實際上可以構(gòu)造這樣的數(shù)據(jù)，回歸模型存在很強的異方差，但WLS 與OLS的結(jié)果一樣。加權(quán)最小二乘法不會消除異方差，只是消除異方差的不良影響，從而對模型進行一點改進。第五章5.4 試述前進法的思想方法。答：前進法的基本思想方法是：首先因變量Y對全部的自變量x1,x2,.,xm建立m個一元線性回歸方程, 并計算F檢驗值，選擇偏回歸平方和顯著的變量（F值最大且大于臨界值）進入回歸方程。每一步只引入一個變量，同時建立m1個二元線性回歸方程，計算它們的F檢驗值，選擇偏回歸平方和顯著的兩變量變量（F值最大且大于臨界值）進入回歸方程。在確定引入的兩個自變量以后

13、，再引入一個變量，建立m2個三元線性回歸方程，計算它們的F檢驗值，選擇偏回歸平方和顯著的三個變量（F值最大）進入回歸方程。不斷重復這一過程，直到無法再引入新的自變量時，即所有未被引入的自變量的F檢驗值均小于F檢驗臨界值F(1,n-p-1)，回歸過程結(jié)束。5.5 試述后退法的思想方法。答：后退法的基本思想是：首先因變量Y對全部的自變量x1,x2,.,xm建立一個m元線性回歸方程, 并計算t檢驗值和F檢驗值，選擇最不顯著（P值最大且大于臨界值）的偏回歸系數(shù)的自變量剔除出回歸方程。每一步只剔除一個變量，再建立m1元線性回歸方程，計算t檢驗值和F檢驗值，剔除偏回歸系數(shù)的t檢驗值最小（P值最大）的自變量

14、，再建立新的回歸方程。不斷重復這一過程，直到無法剔除自變量時，即所有剩余p個自變量的F檢驗值均大于F檢驗臨界值F(1,n-p-1)，回歸過程結(jié)束。5.6前進法、后退法各有哪些優(yōu)缺點？答：前進法的優(yōu)點是能夠?qū)σ蜃兞坑杏绊懙淖宰兞堪达@著性一一選入，計算量小。前進法的缺點是不能反映引進新變量后的變化，而且選入的變量就算不顯著也不能刪除。后退法的優(yōu)點是是能夠?qū)σ蜃兞繘]有顯著影響的自變量按不顯著性一一剔除，保留的自變量都是顯著的。后退法的缺點是開始計算量大，當減少一個自變量時，它再也沒機會進入了。如果碰到自變量間有相關(guān)關(guān)系時，前進法和后退法所作的回歸方程均會出現(xiàn)不同程度的問題。5.7 試述逐步回歸法的思想方法。答：逐步回歸的基本思想是有進有出。具體做法是將變量一個一個的引入，當每引入一個自變量后，對已選入的變量要進行逐個檢驗，當原引入變量由于后面變量的應納入而變得不再顯著時，要將其剔除。引入一個變量或從回歸防方程中剔除一個變量，為逐步回歸的一步，每一步都要進行F檢驗，以確保每次引入新的變量之前回歸方程中只包含顯著的變量