線性回歸建模過程

1、模型的建立：多元線性回歸分析的模型為(3-1)其中：p , p，,p ,b 2都是與X , X ,X 01m12m系數(shù)?，F(xiàn)得到n個獨立觀測數(shù)據(jù)虬,a疽,am】為X1,X2, ,Xm 的觀測值，i = 1,.,n,n m無關(guān)的未知參數(shù)，P0,P,P山稱為回歸其中b為y的觀測值 由式（1）得y = P +P 尤 +P 尤 +8,01 1m m8 N(0,b 2),(3-2)1a111.a1m1,Y=b 一:1_1an1.anmbnX =(3-3)y = p +p a + +p a +8 ,01 i1m im iN(0,b 2), i = 1,., n.8 = 8，,8 r, p = p , p，,

2、p1 n01m式(6)表為(3-4)Y = XP +8,8 N(0,b 2E ),n其中：氣為n階單位矩陣。人，使當(dāng)j參數(shù)估計模型（1）中的參數(shù)。, ，,用最小二乘法估計，即應(yīng)選取估計值P _ - p. = B., j = 0,1，.,m時，誤差平方和i i=1達到最小。為此，令Q =乙 2 = (b - b) =iii=12(b p p ap a )i 01 i1m imi=1(3-5)6QQp j|r=-2已電o-p & -八)=o,(3-6)(3-7) TOC o 1-5 h z %i =1-p- = 一2已 (b p 一 p %p aQa = 0, j =1,2,，m.I ji=1經(jīng)整

3、理化為以下正規(guī)方程組：P n + P +pa01i12i 2i=1i=1pEa+P 2 + pE0 i11i12i=1i=1i=1+ +P Ea. =b,i=1i=1a a +pEaa =Eab,i1 i 2m i1 imi1 ii=1i=1pEa +pEaa +pEaa +pEa 2 =Ea b,0 im 1 im i12 im i2m imim ii=1i=1i=1i=1i=1正規(guī)方程組的矩陣形式為XtX p = XtY ,(3-8)當(dāng)矩陣x列滿秩時，xt為可逆方陣，式 的解為p = (xtX)】XtY(3-9)將P代回原模型得到y(tǒng)的估計值，而這組數(shù)據(jù)的擬合值為b = p - p ap a

4、 , i = 1,n.(3-10)i 01 z1m im記Y = xP =b,.,bT,擬合誤差e = y-Y稱為殘差，可作為隨機誤差8的估計，殘差 L 1平方和為 HYPERLINK l bookmark11 o Current Document Q = Ee2 = E(b -b) = 12.587ii ii=1i=1統(tǒng)計分析不加證明地給出以下結(jié)果：(1)P是P的線性無偏最小方差估計。指的是P是y的線性函數(shù)；p的期望等于P， 在P的線性無偏估計中，P的方差最小。(2)p服從正態(tài)分布記(XtX)-1 = (c )(3)對殘差平方和Q, EQ = (n-m- 1)a 2,X2(n 一 m 一 1

5、)(3-12)由此得到a 2的無偏估計(3-13)=a 2n 一 m 一 1s 2是剩余方差(殘差的方差)，s稱為剩余標(biāo)準(zhǔn)差。(4)對總平方和SST = E (y-沙進行分解，有i =1SST = Q + U , U = E( y)2(3-14)ii=1其中Q殘差平方和，反映隨機誤差對y的影響，U稱為回歸平方和，反映自變 量對y的影響。上面的分解中利用了正規(guī)方程組?；貧w模型的檢驗，因變量y與自變量氣,七之間是否存在線性關(guān)系是需要檢驗的， 顯然，如果所有的氣(j = 1,m)都很小，y與氣,xm的線性關(guān)系就不明顯，所以 可令原假設(shè)為H0: P , = 0( j = 1,m)當(dāng)H0成立時由分解式(

6、34)定義的U, Q滿足(3-15)F = / F(m,n一m一 1)Q / (n 一 m 一 1)在顯著性水平a下有上a分位數(shù)F (m, n - m -1)，若F F (m, n - m -1)，接受H ；否注意 接受H只能說明y與自變量七,X的線性關(guān)系不明顯，可能存在非線 性關(guān)系，如平方關(guān)系。1還有一些衡量y與自變量氣,X相關(guān)程度的指標(biāo)，如用回歸平方和在總平方中 的比值定義復(fù)判定系數(shù) 1(3-16)R =不稱為復(fù)相關(guān)系數(shù)，R越大，y與自變量,X相關(guān)關(guān)系越密切，通常，R大于0.8 （或大于0.9）才認為相關(guān)關(guān)系成立?；貧w系數(shù)的假設(shè)檢驗和區(qū)間估計當(dāng)上面的H0被拒絕時，p不全為零，但是不排除其中

7、若十個等于零。所以應(yīng)進 行一步作如下m +1個檢驗（j = 0,1,.m）:H 0 j: p . = 0$. N （ p . ,BC.） , c 是（XtX ）-1 中的第（j, j）元素，用 S2 代替 a 2,由（3-11）-（3- 13）式,當(dāng)H0j成立時tj t (n m 1)(3-17)對給定的a，若n m 1），接受Hj ；否則，拒絕。2（3-17）式也可以用于對P 作區(qū)間估計（j = 0,1,m），在置信水平1 a下，P 的置 信區(qū)間為77P t (n m 1)s、:c“，P +1(n m(3-18)其中 = n m 1利用回歸模型進行預(yù)測當(dāng)回歸模型和系數(shù)通過檢驗后，可由給定的x = （X，X ）預(yù)測y，y是隨機 0010 m00的，顯然其預(yù)測值（點估計）為9 =p +B X + + & X（3-19）001 01m 0 m給定a可以算出*的預(yù)測區(qū)間(區(qū)間估計)，結(jié)果較復(fù)雜，但當(dāng)較大時且、接近平均值匚時，夕的預(yù)測區(qū)間可簡化為 TOC o 1-5 h z 0y - z s, y - z s(3-20)0 a 0 a HYPERLINK l bookmark55 o Current Docum