應用回歸分析編輯課后習題參考答案

第二章一元線性回歸分析

思考與練習參考答案

2.1一元線性回歸有哪些基本假定？

答：假設1、解釋變量X是確定性變量，Y是隨機變量；

假設2、隨機誤差項￡具有零均值、同方差和不序列相關性:

E（8j）=0i=l,2,...,n

Var（8i）=c^i=l,2,…,n

Cov（￡it8/）=0ii=jij=1,2,

假設3、隨機誤差項￡與解釋變量X之間不相關：

Cov（Xj,利）=0i=l,2,…,n

假設4、￡服從零均值、同方差、零協(xié)方差的正態(tài)分布

Ei~N（O,<y）i=l,2,…,n

2.2考慮過原點的線性回歸模型

Yj=^iXi+Sji=l,2,...,n

誤差6=1,2，…,仍滿足基本假定。求用的最小二乘估計

解：0=力（匕-￡）2=力（匕/',.）2

i=li=l

警=-2力（匕XXJX=O

dpli=i

￡（玨）

得：自=三—

七（Xj）

i=l

2.3證明（2.27式），Se,=0,Se,X,=0。

Q=￡(4一￡)2=￡(匕一(A+&X,))2

證明：I'

其中：Z=a+dXje^Y-Y,黑=。=o

0BoS

I￡(A+Amo

IE(A+ZUD'=O

即：Ee；=0，EeiM=0

2.4回歸方程E（n=為+夕iX的參數(shù)偽，外的最小二乘估計與最大似然估計在什

么條件下等價?給出證明。

2

答：由于erN（O,a）i=l,2,…,n

所以Yi=/3o+6iXi+（為+BiXi,a2）

最大似然函數(shù)：

n"（K）=（2%/廣2exp卜[y,-（A+—X,）]2}

2b片

L〃{L（即4，，）}=一。11（2萬/）-占力[匕一（凡+夕四，X,）r

22bM

使得Ln（L）最大的6o，自就是為，小的最大似然估計值。

同時發(fā)現(xiàn)使得Ln（L）最大就是使得下式最小，

。=方（匕-匕）2=￡（匕-（瓦+6/））2

11

上式恰好就是最小二乘估計的目標函數(shù)相同。值得注意的是：最大似然估

計是在￡，?M0,/）的假設下求得，最小二乘估計則不要求分布假設。

所以在￡j~N（O,的條件下，參數(shù)夕0,小的最小二乘估計與最大似然估

計等價。

2.5證明瓦是價的無偏估計。

__1〃一-V

證明：￡（瓦）=成歹一尺不）=4一2匕一米2心^匕）

11i=li=l

n

=ii-ix^Yp_-Y）y,.]=E[￡（-1-xy_y+Ax,.+

=E[J3O+力（，一米牛2）eJ=尸。+力（，-又午上）Eg=A

Z7nLxxZTnLxx

2.6證明__

Var（A）=（-+=三——爐=b?（，+馬

證明：Y（…y…

nj_X一qn1_X-X

Var（6j=—X-^-）yj=[Y（——X七二一＞Hz/?（見+月X,.+與）]

言〃/M〃L/x

2.7證明平方和分解公式：SST=SSE+SSR

證明：SST=力(匕—F)2=力［(匕-E)+匕-中

i=li=l

=Zfe-.+2力&-Z)(Z-Y)+力(匕-X)丫

i-li=li=l

=￡&-討+￡&-Yj)2=SSR+SSE

i=li=l

2.8驗證三種檢驗的關系，即驗證：

(1)，尹「(2)/=SSR/1=幺￡=產(chǎn)

71-r2SSE/(n-2)a2

證明：(1)

f_64^_B_YL/Lq_1A2r_2r

一?一而也,一JSSE/(L式〃-2))一唇￡/(〃—2)-/SSE/SST-《1一戶

(2)

SSR=t(%-?=E(A+而?一?=￡B\(為一君—?應A(七一幻)2=斤4

/=1i=l/=1/=1

?F=SSR/1=阻4=尸

SSE/(n-2)&2

(XX)22

2.9驗證(2.63)式：Var(et)=(1---'~>

?%

證明：

var(ej=var(y-1)=var(yj+var(y,)-2cov(y,1)

=var(j,.)+var(A+舐)-2cov(y,,5+6(七一x))

〃<nLa

二"」一心立”2

〃鼠

人A

CoWy”a+A(Xj-h))=Cov(M,亍)+。。丫(以血(七一土))

其中：=Cov(yi,-^yi)+(xi-x)Cov(yi^(**)j,)

trLXX

12—X)2J一“)~Vr2

=—<yH---------------------cr=(-I---------------------)<T

nLxxnLxx

2.10用第9題證明〃-2是。2的無偏估計量

證明：

EG)=-?f仇y,_a=￡E(e；)

〃-2汽〃一2M

IV/、1V-ri1(蒼一幻—，

=-TZ丫紅⑷=--Z[1------------------]b

n-2,-=In-2,=inLxx

=—!—(〃—2)a2=cr2

n-2

2.14為了調查某廣告對銷售收入的影響，某商店記錄了5個月的銷售收入y(萬

元)和廣告費用x(萬元)，數(shù)據(jù)見表2.6,要求用手工計算：

表2.6

月份12345

X12345

Y1010202040

(1)畫散點圖(略)

(2)X與Y是否大致呈線性關系？

答：從散點圖看，X與Y大致呈線性關系。

(3)用最小二乘法估計求出回歸方程。

計算表

(匕一歹尸A(")2

XY(x,.-x)(y-y)

(*,-元產(chǎn)(x(X—耳產(chǎn)

1104100206(-14)2(-4)2

21011001013(-7)2(3)2

3200002000

420100277272

54044004034142(-6)2

和15100和Lxx=10Lyy=600和Lxy=70和100SSR=490SSE=110

均3均20均20

L70人

—=7,A=y-AX=20-3x7=-l.

XX

回歸方程為:y=A+?X=T+7X

(4)求回歸標準誤差

先求SSR(Qe)見計算表。

所以

第三章

3.3證明夕=sSE/(n-p-l)隨機誤差項￡的方差式的無偏估計。

證明：

<T2—-----------SSE--------(de)—--------￡e；,

n—p-ln-p-\n-p-\^f

_，】_，i

'''E(Ze；)=ZD(eJ=Z/(1-&)=cr?Z(1-4)=CT?("_WX)=CT?(〃-p-1)

/=1Z=1/=!i=li=\

1n

■-E&)=--------E》e；)=a2

n-p-\,=l

3.4一個回歸方程的復相關系數(shù)R=0.99,樣本決定系數(shù)R2=0.9801,

我們能判斷這個回歸方程就很理想嗎?

答：不能斷定這個回歸方程理想。因為：

1.在樣本容量較少，變量個數(shù)較大時，決定系數(shù)的值容易接近1,

而此時可能F檢驗或者關于回歸系數(shù)的t檢驗，所建立的回歸方

程都沒能通過。

2.樣本決定系數(shù)和復相關系數(shù)接近于1只能說明Y與自變量

X1,X2,…,Xp整體上的線性關系成立，而不能判斷回歸方程和每

個自變量是顯著的，還需進行F檢驗和t檢驗。

3.在應用過程中發(fā)現(xiàn)，在樣本容量一定的情況下，如果在模型中增

加解釋變量必定使得自由度減少，使得K往往增大，因此增加解

釋變量（尤其是不顯著的解釋變量）個數(shù)引起的/的增大與擬合

好壞無關。

3.7驗證瓦*=室友,j=

其中：4=￡（x「可產(chǎn)

證明：多元線性回歸務程模型的一般形式為：

y=Bo+尸內(nèi)+&X[++咐+e

其經(jīng)驗回歸方程式為亍=氐+6%+以/++4%,

乂A=歹--A%-一反為,，

故9=歹+6（%-豆）+&（々一元2）++瓦，-得），

中心化后，貝U有%-歹=￡（%-豆）+方2（%2-52）++以,（%-五,），

向=母＞'一1）2,

左右同時除以

令4/=工（馬一引2，'=1，2,,n,j=1,2,,p

1=1

x-y.a（%一%）、,可，分（/一務）、,后,

樣本數(shù)據(jù)標準化的公式為

%*=%廠工%*=，，=1，2,,n,j=1,2,,p

則上式可以記為

xxxxxx

y'=B\*\+A*2++PP*P

=B；XX""+B；XX：2+4*pX=p

則有

氏=隼&，/=1，2,,p

3.11研究貨運總量y（萬噸）與工業(yè)總產(chǎn)值xl（億元）、農(nóng)業(yè)總產(chǎn)值

x2（億元）、居民非商品支出x3（億元）的關系。數(shù)據(jù)見表3.9（略）。

（1）計算出y,xl,x2,x3的相關系數(shù)矩陣。

SPSS輸出如下：

相關系數(shù)表

yx1x2x3

yPearsonCorrelation1.556.731*.724*

Sig.(2-tailed).095.016.018

N10101010

xlPearsonCorrelation.5561.113.398

Sig.(2-tailed).095.756.254

N10101010

x2PearsonCorrelation.731*.1131.547

Sig.(2-tailed).016.756.101

N10101010

x3PearsonCorrelation.724*.398.5471

Sig.(2-tailed).018.254.101

N10101010

*?Correlationissignificantatthe0.05level(2-tailed).

-1.0000.5560.7310.724'

0.5561.0000.1130.398

則相關系數(shù)矩陣為：”

0.7310.1131.0000.547

0.7240.3980.5471.000_

（2）求出y與xl,x2,x3的三元回歸方程。

Coefficient^

UnstandardzedStandardized

CoefficientsCoefficients

ModelBStd.ErrorBetatSiq.

1(Constant)-348.280176.459-1.974.096

xl3.7541.933.3851.942.100

x27.1012.880.5352.465.049

x312.44710.569.2771.178.284

aDependentVariable:y

對數(shù)據(jù)利用SPSS做線性回歸，得到回歸方程為

y=—348.38+3.754%+7.101x2+12.447退

（3）對所求的方程作擬合優(yōu)度檢驗。

ModelSummary

AdjustedStd.Errorof

ModelRRSquareRSquaretheEstimate

1.898a.806.70823.44188

aPredictors:(Constant),X3,x1,x2

由上表可知，調整后的決定系數(shù)為0.708,說明回歸方程對樣本觀測

值的擬合程度較好。

（4）對回歸方程作顯著性檢驗；

方差分析表b

Model平方和自由度均方FSiq.

1回歸13655.37034551.7908.283.01f

殘差3297.1306549.522

總和16952.5009

aPredictors:(Constant),x3,xl,x2

b.DependentVariable:y

原假設：”0：笈=為=鳳=0

F統(tǒng)計量服從自由度為（3,6）的F分布，給定顯著性水平。=0.05,

查表得七％36）=4.76,由方查分析表得，F(xiàn)值=8.283>4.76,p值=0.015,

拒絕原假設”。，由方差分析表可以得到f=8.283,P=0.015<0.05,說明

在置信水平為95%下，回歸方程顯著。

(5)對每一個回歸系數(shù)作顯著性檢驗;

回歸系數(shù)表a

UnstandardzedStandardized

CoefficientsCoefficients

ModelBStd.ErrorBetatSig.

1(Constant)-348.280176.459-1.974.096

xl3.7541.933.3851.942.100

x27.1012.880.5352.465.049

x312.44710.569.2771.178.284

aDependentVariable:y

做t檢驗：設原假設為"。：笈=°,

統(tǒng)計量服從自由度為n-p-1=6的t分布，給定顯著性水平0.05,查

得單側檢驗臨界值為1.943,XI的t值=1.942<1,943,處在否定域邊緣。

X2的t值=2.465>1.943。拒絕原假設。

由上表可得，在顯著性水平〃=0。5時-，只有々的P值〈0.05,通過檢驗,

即只有々的回歸系數(shù)較為顯著；其余自變量的P值均大于0.05,即xl,

x2的系數(shù)均不顯著。

第四章

4.3簡述用加權最小二乘法消除一元線性回歸中異方差性的思想與

方法。

答：普通最小二乘估計就是尋找參數(shù)的估計值使離差平方和達極小。其中每個平

方項的權數(shù)相同，是普通最小二乘回歸參數(shù)估計方法。在誤差項等方差不相關的

條件下，普通最小二乘估計是回歸參數(shù)的最小方差線性無偏估計。然而在異方差

的條件下，平方和中的每一項的地位是不相同的，誤差項的方差大的項，在殘差

平方和中的取值就偏大，作用就大，因而普通最小二乘估計的回歸線就被拉向方

差大的項，方差大的項的擬合程度就好，而方差小的項的擬合程度就差。由OLS

求出的仍然是的無偏估計，但不再是最小方差線性無偏估計。所以就是：對較大

的殘差平方賦予較小的權數(shù)，對較小的殘差平方賦予較大的權數(shù)。這樣對殘差所

提供信息的重要程度作一番校正，以提高參數(shù)估計的精度。

加權最小二乘法的方法：

NN

Qw=Z%（y,）2=Z嗎（M-A-31）2

i=li=l

N__

人￡嗎（七一“）（必一九）

81W=――N------：-------

￡（巧-“W）

1=1

然=人-瓦―

]CT,2=Ax,21表示1

IV.=-------=---------=—

22

'（7/kx：x;

或。；2=4%「，嗎=々

4.4簡述用加權最小二乘法消除多元線性回歸中異方差性的思想與方

法。

答：運用加權最小二乘法消除多元線性回歸中異方差性的思想與一元線性

回歸的類似。多元線性回歸加權最小二乘法是在平方和中加入一個適當?shù)臋鄶?shù)

叱，以調整各項在平方和中的作用，加權最小二乘的離差平方和為：

?！埃ㄓ茫?，一,，4）=才叱（--夕0-4改1-----4的）2⑵

/=1

加權最小二乘估計就是尋找參數(shù)片，笈，…,用的估計值氐爐6“,,…,吏式（2）

的離差平方和?！?達極小。所得加權最小二乘經(jīng)驗回歸方程記做

Zv=篇+M，X\+…+瓦”七（3）

多元回歸模型加權最小二乘法的方法：

首先找到權數(shù)叫，理論上最優(yōu)的權數(shù)嗎為誤差項方差而的倒數(shù)，即

1

叫=-Y（4）

誤差項方差大的項接受小的權數(shù)，以降低其在式（2）平方和中的作用；誤

差項方差小的項接受大的權數(shù)，以提高其在平方和中的作用。由（2）式求出的

加權最小二乘估計瓦?,瓦,，…，瓦“，就是參數(shù)用,綜…,用的最小方差線性無偏估

計。

一個需要解決的問題是誤差項的方差這是未知的，因此無法真正按照式（4）

選取權數(shù)。在實際問題中誤差項方差或通常與自變量的水平有關（如誤差項方

差（7,2隨著自變量的增大而增大），可以利用這種關系確定權數(shù)。例如H與第/個

自變量取值的平方成比例時，即這乂片時,這時取權數(shù)為

叫=《（5）

局

更一般的情況是誤差項方差與某個自變量七（與|已|的等級相關系數(shù)最大

的自變量）取值的幕函數(shù)引成比例，即或=%引，其中〃？是待定的未知參數(shù)。此

時權數(shù)為

w.=-^―（6）

引

這時確定權數(shù)嗎的問題轉化為確定暴參數(shù)〃泊勺問題，可以借助SPSS軟件解決。

NN

a=Z嗎（弘一少）2=Z嗎（M_A-反巧）2

1=11=1

4.5（4.5）式一元加權最小二乘回歸系數(shù)估計公式。

證明：NN

2=￡嗎（y-少）2=t叱（J；-A-A七產(chǎn)

i=li=l

髓一了a0

1￡“芭-盛）2的

i=l

Bo=yw反

其中，￡,=；Z”

Lwz

九=由?戊

4.6驗證（4.8）式多元加權最小二乘回歸系數(shù)估計公式。

證明：對于多元線性回歸模型y=Xp+￡,（1）

3￡（E）=0,cov（E,E,）=cr2W,即存在異方差。設

W=DD',

（歷。］

D=

、0國”

用D”左乘（1）式兩邊，得到一個新的的模型：

D*y=D*Xp+Di,即y*=X*p+￡*。

因為雙比'）=E（D~1￡￡,D-,，）=DT￡（￡￡'）D'=DT/WD"=cr2I,

故新的模型具有同方差性，故可以用廣義最小二乘法估計該模型，得

pw=（X*'X*）TX"y*=（X，DT'DTX）TXDi'DTy=（X，WX）TX，Wy

原式得證。

4.7有同學認為當數(shù)據(jù)存在異方差時，加權最小二乘回歸方程與普通

最小二乘回歸方程之間必然有很大的差異，異方差越嚴重，兩者之間

的差異就越大。你是否同意這位同學的觀點？說明原因。

答：不同意。當回歸模型存在異方差時，加權最小二乘估計（WLS）只是普通

最小二乘估計（OLS）的改進，這種改進可能是細微的，不能理解為WLS一定

會得到與OLS截然不同的方程來，或者大幅度的改進。實際上可以構造這樣的

數(shù)據(jù)，回歸模型存在很強的異方差，但WLS與OLS的結果一樣。加權最小二

乘法不會消除異方差，只是消除異方差的不良影響，從而對模型進行一點改進。

第五章

5.4試述前進法的思想方法。

答：前進法的基本思想方法是：首先因變量Y對全部的自變量xl,x2,..