逐步回歸分析(教材)

第6節(jié)逐步回歸分析逐步回歸分析實(shí)質(zhì)上就是建立最優(yōu)的多元線性回歸方程，顯然既實(shí)用而應(yīng)用又最廣泛。6.1逐步回歸分析概述1概念逐步回歸模型是以已知地理數(shù)據(jù)序列為基礎(chǔ)，根據(jù)多元回歸分析法和求解求逆緊湊變換法及雙檢驗(yàn)法而建立的能夠反映地理要素之間變化關(guān)系的最優(yōu)回歸模型。逐步回歸分析是指在多元線性回歸分析中利，用求解求逆緊奏變換法和雙檢驗(yàn)法，來研究和建立最優(yōu)回歸方程的并用于地理分析和地理決策的多元線性回歸分析。它實(shí)質(zhì)上就是多元線性回歸分析的基礎(chǔ)上派生出一種研究和建立最優(yōu)多元線性回歸方程的算法技巧。主要含義如下1）逐步回歸分析的理論基礎(chǔ)是多元線性回歸分析法；2）逐步回歸分析的算法技巧是求解求逆緊奏變換法；3）逐步回歸分析的方法技巧是雙檢驗(yàn)法，即引進(jìn)和剔除檢驗(yàn)法；4）逐步回歸分析的核心任務(wù)是建立最優(yōu)回歸方程；5）逐步回歸分析的主要作用是降維。主要用途：主要用于因果關(guān)系分析、聚類分析、區(qū)域規(guī)劃、綜合評(píng)價(jià)等等。2最優(yōu)回歸模型1）概念最優(yōu)回歸模型是指僅包含對(duì)因變量有顯著影響的自變量的回歸方程。逐步回歸分析就是解決如何建立最優(yōu)回歸方程的問題。2）最優(yōu)回歸模型的含義最優(yōu)回歸模型的含義有兩點(diǎn)：（1）自變量個(gè)數(shù)自變量個(gè)數(shù)要盡可能多，因?yàn)橥ㄟ^篩選自變量的辦法，選取自變量的個(gè)數(shù)越多，回歸平方和越大，剩余平方和越小，則回歸分析效果就越好，這也是提高回歸模型分析效果的重要條件。（2）自變量顯著性自變量對(duì)因變量y有顯著影響,建立最優(yōu)回歸模型的目的主要是用于預(yù)測(cè)和分析，自然要求自變量個(gè)數(shù)盡可能少，且對(duì)因變量y有顯著影響。若自變量個(gè)數(shù)越多，一方面預(yù)測(cè)計(jì)算量大，另一方面因n固定，所以QTS增大，即造成剩余標(biāo)準(zhǔn)差增大，故要求自變量個(gè)數(shù)要適n一k一1Q中。且引入和剔除自變量時(shí)都要進(jìn)行顯著性檢驗(yàn)使，之達(dá)到最優(yōu)化狀態(tài)，所以此回歸方程又稱為優(yōu)化模型。3最優(yōu)回歸模型的選擇方法最優(yōu)回歸模型的選擇方法是一種經(jīng)驗(yàn)性發(fā)展方法，主要有以下四種：（1）組合優(yōu)選法組合優(yōu)選法是指從變量組合而建立的所有回歸方程中選取最優(yōu)著其具體過程是：（1）建立變量組合的所有回歸方程（2）優(yōu)選回歸方程首先對(duì)每一個(gè)方程及自變量均作顯著性檢驗(yàn)，優(yōu)選原則：自變量全部顯著，剩余標(biāo)準(zhǔn)差較小，既可選得最優(yōu)回歸方程。2）剔除優(yōu)選法剔除優(yōu)選法適指從包含全部自變量的回歸方程中逐個(gè)剔除不顯著自變量而求得最優(yōu)回歸方程的優(yōu)選方法。其具體過程是：（1）建立多元回歸方程（2）優(yōu)選回歸方程剔除自變量的原則是先求取偏回歸平方和最小者并作顯著性檢驗(yàn)若不顯著則剔除。終止原則是直至不顯著自變量剔除完為至，而僅保留對(duì)因變量y有顯著影響的自變量。3）引入優(yōu)選法引入優(yōu)選法是指將所有自變量經(jīng)顯著性檢驗(yàn)而逐個(gè)引入對(duì)因變量有顯著影響的自變量的優(yōu)選方法。其具體過程是：（1）建立一元回歸方程（2）優(yōu)選回歸方程引入原則是偏相關(guān)系數(shù)絕對(duì)值最大者，引入后并進(jìn)行顯著性檢驗(yàn)若顯著則繼續(xù)引進(jìn)自變量，直至再無顯著自變量引進(jìn)為止。4）逐步回歸分析法逐步回歸分析法是指運(yùn)用回歸分析原理采用雙檢驗(yàn)原則逐，步引入和剔除自變量而建立最優(yōu)回歸方程的優(yōu)選方法。具體含義是：（1）每步有二個(gè)過程即引進(jìn)變量和剔除變量，且引進(jìn)變量和剔除變量均需作F檢驗(yàn)后方可繼續(xù)進(jìn)行，故又稱為雙重檢驗(yàn)回歸分析法。（2）引入變量引入變量的原則是未引進(jìn)變量中偏回歸平方和最大者并經(jīng)F顯著性檢驗(yàn)，若顯著則引進(jìn)，否則終止。（3）剔除變量剔除原則是在引進(jìn)的自變量中偏回歸平方和最小者，并經(jīng)F檢驗(yàn)不顯著，則剔除。（4）終止條件即最優(yōu)條件，再無顯著自變量引進(jìn)，也沒有不顯著自變量可以剔除，這也是最優(yōu)回歸方程的實(shí)質(zhì)。由此可知，它并沒新的理論，只是多元回歸分析基礎(chǔ)上派生出的一種算法技巧。現(xiàn)在就來介紹逐步回歸分析的具體建模原理和方法步驟6.2逐步回歸分析的數(shù)學(xué)模型逐步回歸分析的數(shù)學(xué)模型是指僅包含對(duì)因變量Y有顯著影響自變量的多元線性回歸方程。為了利于變換求算和上機(jī)計(jì)算，將對(duì)其變量進(jìn)行重新編號(hào)并對(duì)原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理。6.2.1變量重新編號(hào)1新編號(hào)數(shù)學(xué)模型令y二x，自變量個(gè)數(shù)為k-1，則其數(shù)學(xué)模型為：aakxx+Bx+Bx+...+Bxak01a12a23a3k-1ak-1式中，a=l，2，3,…，nn：樣本個(gè)數(shù)其中：

S=工(x-X)2TOC\o"1-5"\h\zOkkS=工(X-x)2UOkkS=S-S=工(x-X)2QUOkkx的偏回歸平方和為：jccjjX:為X的算術(shù)平均值kOkb：x的偏回歸系數(shù)jjC：為逆矩陣L-1對(duì)角線對(duì)應(yīng)元素jj2回歸數(shù)學(xué)模型新編號(hào)的回歸數(shù)學(xué)模型為：x=b+bx+bx+bx+…+bxk0112233k-1k-16.2.2標(biāo)準(zhǔn)化數(shù)學(xué)模型標(biāo)準(zhǔn)化回歸數(shù)學(xué)模型是指將原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理后而建立的回歸數(shù)學(xué)模型，即實(shí)質(zhì)上是每個(gè)原始數(shù)據(jù)減去平均值后再除以離差平方和的方根。1標(biāo)準(zhǔn)化回歸數(shù)學(xué)模型令z=xoJ-xj=l，2,3,?…，kOjSj其中：1x?x=—乙xjnOjO=1S=廠=乞（x-x）2!為離差平方和的方根JjJOJJ注意：l，廠,S2,S它們之間的區(qū)別，即離差平方和，離差平方j(luò)jJjjj

和的方根，方差，標(biāo)準(zhǔn)差。則回歸數(shù)學(xué)模型為：z=3'+3'z+3'z+3'z+…+3'zak01a12a23a3k-1ak-12標(biāo)準(zhǔn)化回歸數(shù)學(xué)模型的正規(guī)方程組標(biāo)準(zhǔn)化回歸數(shù)學(xué)模型正規(guī)方程組的一般形式為+zazaza廠“、z4a343za?+zazaza廠“、z4a343za?、/f1232aaa+zazz標(biāo)+...+z%，=工z3ak-1k-1ak+么zz舟,+...+匕zza1a33a1ak-1+0zz43'+...+么a343川R+么z2R+…+么2a33%'=工zzk-1a1akzzA'=乂a2ak-1k-1zz=乙zza3ak-1k-1a3akzza2ak⑤z%'k-10zzTa1ak-11zza2ak-1zz%'+...+@2a3ak-13z2ak-1'=工zzk-1ak-1ak因?yàn)椋aj工(x.-x)0Sj工zij工(x-x)(x-x)a!iajj=rijSSij所以上述正規(guī)方程組可變?yōu)椋篢OC\o"1-5"\h\zn0'+0+0+0+...+0=000+r3'+r3'+r3'+...+r3'=r1111221331k-1k-11k0+r3'+r3'+r3'+…+r3'=r2112222332k-1k-12k0+r3'+r3'+r3'+…+r3'=r3113223333k-1k-13k0+r3'+r3'+r3'+...+r3'=rk-111k-122k-133k-1k-1k-1k-1k這樣，數(shù)據(jù)標(biāo)準(zhǔn)化處理后的估計(jì)值0，并令，則可得數(shù)據(jù)標(biāo)準(zhǔn)化處理后的回歸方程數(shù)學(xué)模型的正規(guī)方程組的一般形式為：r3'+r3'+r3'+…+r3'=r1111221331k-1k-11kr3'+r3'+r3'+…+r3'=r2112222332k-1k-12k<r3'+r3'+r3'+…+r3'=r3113223333k-1k-13kr3'+r3'+r3'+…+r3'=rlk-111k-122k-133k-1k-1k-1k-1k這樣，數(shù)據(jù)標(biāo)準(zhǔn)化后3'的估計(jì)值應(yīng)為0，并3'=d令，則可得0jjX=1X=112k—1rd+rd+rd+..?+rd二r1111221331k—1k—11krd+rd+rd+?..+rd二r2112222332k—1k—12krd+rd+rd+?,??+rd:二r3113223333k—1k—13krd+rdJk-111k-122+rd+...+rdk-133k-1k-1k-1陣。其中:二rk-1krrr…r'1112陣。其中:二rk-1krrr…r'11121k—1R=r2122…r2k—1稱為相關(guān)系數(shù)矩r'k—11rk—12…r‘k—1k一1丿r1kr2krk-1k解此方程組，即可求出d,d,d,…123,d，k-1故可得標(biāo)準(zhǔn)化后的回歸模型為：z=dz+dz+…+dk1122標(biāo)準(zhǔn)化的回歸模型的矩陣形式：z

k-1k-1x一x—n1S1_x一x-^11S1_x一x—311S1x一xn1LSx一x122S2_x一x222S2_x一x32—S2x一xk一1k一1Sk-1_x一xk—1k—1Sk-1_x一xk—1k一1Sk-1x一xnk—1k—1Sx一x—1kkS

k_

x一x

~^2kkS

k_x一x—1kkS

k_

x一x

~^2kkS

k_

x一x

—3kkSkn00...0—0n0rr?r11121k-10rr???r—?2122.2k-10R0rr?r一一-k-11k-12k-1k-1-A=XX=x一x—nkkSk6.2.3標(biāo)準(zhǔn)化前后回歸模型的關(guān)系1標(biāo)準(zhǔn)化前后的回歸模型1）標(biāo)準(zhǔn)化前后回歸模型為：x=b+bx+bx+bx+…+bk01122332)標(biāo)準(zhǔn)化后回歸模型為：xk-1k-1z=dz+dz+...+dz

k1122k-1k-12標(biāo)準(zhǔn)化前后的偏回歸系數(shù)標(biāo)準(zhǔn)化前后偏回歸系數(shù)的關(guān)系可從變化過程反演得知令z=「j代入標(biāo)準(zhǔn)化前的回歸模型可得:jSj/\x-x,x-x,x-x,x-x—kk—d.—11+d.—22+???+d.―k~1k~1S1S2Sk-1Sk12k-1整理后得：x—(xkk22Sk-Sk-1dx)k-1k-1TOC\o"1-5"\h\zSSS+—kdx+kdx+?…+——dxS11S22Sk-1k-112k-1x=b+bx+bx+bx+…+bxk0112233k-1k-1將上式與標(biāo)準(zhǔn)化前的回歸模型作比較，由待定系數(shù)法可知標(biāo)準(zhǔn)化前后回歸模型的偏回歸系數(shù)的關(guān)系為：b=—kd]SJJj=l,2,3,???k—lb=x-七'bx0kjjj=1于是，只要求出d,即可求出b，今后僅討論標(biāo)準(zhǔn)化后的回歸模jj型。3標(biāo)準(zhǔn)化后的各種離差平方和S'=—S=1

S2k

kS'=丄SuS2ukS'=丄SQS2Qk6.3求解求逆緊湊變換法逐步回歸分析每引進(jìn)和剔除一個(gè)變量都要用到求解求逆緊奏變換法進(jìn)行矩陣變換，最后求出方程組的解和逆矩陣?，F(xiàn)介紹其變換原理和方法步驟。6.3.1求解求逆緊奏變換法的基本公式由上述介紹可知，標(biāo)準(zhǔn)化后的正規(guī)方程組為：rd+rd+rd+...+rd=rTOC\o"1-5"\h\z1111221331k-1k-11krd+rd+rd+...+rd=r2112222332k-1k-12k<rd+rd+rd+???+rd=r3113223333k-1k-13krd+rd+rd+...+rd=rk-111k-122k-133k-1k-1k-1k-1k可得增廣矩陣r（0），由（R⑼；E）經(jīng)髙斯消元法變換為（E\R-1），既可

求出解和相應(yīng)的逆矩陣。rrr...rr10...0、11121k-11kr...rr01…021222k-12k(R(0):E)=:::::::::rr...rr00…0k-11k-12k-1k-1k-1krr???rr00…1k1k2kk-1kk丿經(jīng)高斯消元法變換為：10(E；R-10(E；R-i)=；00…0r(i)1k1…0r(l)2kr(l)r(l)k+11k+2r(l)r(l)k+12k+2r(l)2k+1r(l)2k+10…0r(l)k-1k0…1r(l)kkr(l)r(l)k-1k+1k-1k+2r(l)r(l)kk+1kk+2r(i)k-12k+1r(i)k2k+1其變換公式為：r(i)二r(i-i)/r(i-i)j二1,2,3,…,2k+1kjkjkkr(i)二r(i-1)—r(i-1).r(i-1)/r(i-1)i主kijijikkjkk說明：公式(1)是好理解的；公式（2）是指求算非主行和非主列的元素，實(shí)質(zhì)上就是該元素減去其對(duì)應(yīng)的主行與主列元素相乘并除以主元素。舉例，解下列方程組：10x+7x+4x=4123<7x+7x+3x=41234x+3x+4x=3123解：利用上述高斯消元法的（1）（2）公式，解上述方程組的求解求逆變換過程如下：

由上述方程組可得髙斯求解求逆變換法矩陣形式A(0):TOC\o"1-5"\h\z10744100A(o)=7734010434300111可得A(1)：「10.70.411可得A(1)：「10.70.40.40.100A(1)=02.10.21.2-0.71000.22.41.4-0.401當(dāng)k=2,主元素為：a，根據(jù)髙斯求解求逆變換法原理和方法,22可得A(2)：「100.33300.333-0.3330A(2)=010.0950.571-0.3330.4760002.3811.286-0.333-0.0951當(dāng)k=3，主元素為：a，根據(jù)髙斯求解求逆變換法原理和方法，33可得A(3)：「100-0.1810.380-0.320-0.141A(3)=0100.519-0.3200.480-0.0400010.541-0.141-0.0400.423ftftXA-1提出問題：由上述髙斯削元法變換可知，單位矩陣只是從后k逐列移至前k列，而只是起到形式作用。這樣，若利用計(jì)算機(jī)程序求解求逆就要多占用k*k個(gè)單元，試想能否節(jié)省k*k個(gè)單元呢？從以上變換可知，如果能將后k列經(jīng)過變換后放置前k列去，這樣k*k個(gè)單元即可節(jié)省。如何做呢？這要找出后k列變換前后的關(guān)系。若R（0）經(jīng)過（l-l）次變換得到R（l-1），則第k+l+1列除了第l個(gè)元素為1,其余均為0,即，第k+1+1列各元素值為:r（i-i）二1Jk,k+1+kr（i-i）二0i豐ki,k+1+k若再對(duì)R（i-i）變換一次得R（i），則第k+1+1列各元素可由咼斯消元法的公式（1）（2）變換為為：I(3)r(i)二r(i-i)/r(i-i)二1/r(i-i)Jk,k+i+kk,k+i+kk,kk,kI(4)r(i)二r(i-i)—r(i-i).r(i-i)/r(i-i)二-r(i-i)/r(i-i)i豐ki,k+i+ki,k+i+ki,kk,k+i+kk,ki,kk,k這就相當(dāng)于第k+1+1列的第k個(gè)元素1除以主元素，其余的元素都除以主元素并變號(hào)，于是可將第k+1+1列放到對(duì)應(yīng)的前I列中，這樣單位矩陣就節(jié)省了，上述整個(gè)過程就稱為矩陣的求解求逆緊奏變換法。將上述公式合并即得求解求逆緊奏變換法的公式：I(i)r(i)二r(i-i)/r(i-i)j二1,2,3,,2k+1JkjkjkkI(2)r(i)二r(i-i)—r(i-i).r(i-i)/r(i-i)i主kijijikkjkkI(3)r(i)二r(i-i)/r(i-i)二1/r(i-i)Jk,k+i+kk,k+i+kk,kk,kI(4)r(i)二r(i-i)—r(i-i).r(i-i)/r(i-i)二-r(i-i)/r(i-i)i豐ki,k+i+ki,k+i+ki,kk,k+i+kk,ki,kk,k說明：(1)式為求主行各元素；2）式為求非主行非主列的各元素；用公式(2)求非主行所有元素，如：a(1),a(1),a⑴,a⑴,a(1)o2i22343536a(0):k=1,i=2,j=121a(i)=a(0)一a(0)-a(0)?-a(0)=a(0)一a(0)-a(o)fa(0)ijikkj:kk21211211二7-7x10.10二0a(0):k=1,i=2,j=222a(i)=a(0)一a(0)-a(0)Fa(0)=a(0)—a(0)-a(0)「a(0)22ijikkjkk22211211二7-7x710二2.1

a（o）:k=1,i=3,j=434a（i）=a（o）-a（o）-a（o）；a（o）=a（o）-a（o）-a（o）a（o）

34ijikkjkk34311411二3-4x410二1.4a（o）:k=1,i=3,j=535a（1）=a（o）-a（o）-a（o）.：a（o）=a（o）-a（o）-a（o）；'a（o）35ijikkj:kk353115■11二0-4x110=-0.4a（o）:k=1,i=3,j=636a（1）=a（o）-a（o）-a（o）'a（o）=a（o）-a（o）-a（o）fa（o）36ijikkj'kk36311611=0-4x010=0式為求主元素；式為求主列個(gè)各元素。舉例：利用求解求逆緊奏變換法解上述方程組解：「10744A（0）=77344343當(dāng)k=1，主元素為：a11，根據(jù)求解求逆緊湊變換法原理和方法可得A(1)：-0.10.70.40.4「A（1）=-0.72.10.21.2-0.40.22.41.4當(dāng)k=2,主元素為：a，根據(jù)求解求逆緊湊變換法原理和方法,22可得A(2)：0.333-0.3330.333A（2）=-0.3330.4760.0950.333-0.3330.333A（2）=-0.3330.4760.0950.571-0.333-0.0952.3811.286當(dāng)k=3,主元素為：a，根據(jù)求解求逆緊湊變換法原理和方法,33可得A（3）：0.380-0.320-0.141-0.181A(3)=-0.3200.480-0.0400.519—0.141-0.0400.4230.541ftftA-1X由兩種方法比較可知，其結(jié)果一樣，故求解求逆緊奏變換法可節(jié)省K*K個(gè)存儲(chǔ)單元。6.3.2基本性質(zhì)1每作一次變換，就求得一組解和相應(yīng)的逆矩陣；2對(duì)R（0）作變換得R（l），同變換次序無關(guān)，即與哪個(gè)作主元素?zé)o關(guān);3當(dāng)lR（1-1）二R（1）,lR（i）二R（1+1）二R（1-1）,即，同一主元素作兩次變換可kk還原；4在矩陣中，具有下列對(duì)稱性：'r（i）當(dāng)z.,z均作了變換或者均未作變換時(shí)TOC\o"1-5"\h\zr（i）=<'jij-r當(dāng)z,z僅一個(gè)過消除變換時(shí)

jiij6.3.3求解求逆緊奏變換法與回歸分析的關(guān)系由上述分析可知，逐步回歸分析要求解的正規(guī)方程組為：rd+rd+rd+...+rd-r1111221331k-1k-11krd+rd+rd+...+rd二r2112222332k-1k-12k<rd+rd+rd+...+rd二r3113223333k-1k-13krd+rd+rd+...+rd二rk-111k-122k-133k-1k-1k-1k-1k則逐步回歸分析中的求解求逆緊奏變換法的增廣矩陣是

r11rr12…r1k-1…rR=21222k-1............rr…rk-11k-12k-1k-1在逐步回歸分析中，每引進(jìn)一個(gè)變量或者剔除一個(gè)變量，都要對(duì)R進(jìn)行一次求解求逆緊奏變換法變換，最后求得d,d,d…,d，再恒123k-1等變換為b,b,b,b…,b，所以求解求逆緊奏變換法在逐步回歸分析0123k-1中十分有用。6.4逐步回歸分析的步驟根據(jù)逐步回歸分析的原理和方法，現(xiàn)介紹其具體步驟。以表6-3P）中地理數(shù)據(jù)為例。125地理數(shù)據(jù)4--5臺(tái)風(fēng)編號(hào)xxxxxxxy1234567750314.5127.08.82.0-0.58.0248.090065097.5727.710.87.00.85.081.035460031.9428.313.613.0-0.21.7124.856665213.0427.312.113.00.21.5314.652173018.0728.55.7-2.0-0.62.7110.433361224.6428.515.814.01.42.0109.635974123.0227.45.40.00.64.6110.058962136.2028.212.012.00.02.5378.041666152.6929.012.76.01.315.787.828960052.8527.55.012.00.06.8152.225461261.0227.020.71.01.010.0148.520962081.6227.57.04.01.56.048.042865137.0227.35.8-17.01.810.0230.067363122.0927.314.5-11.00.08.5110.539559040.8328.711.8-13.02.34.0125.032760074.5627.07.0-4.0-0.34.0240.082963065.4329.07.2-4.0-1.54.0157.226675044.0526.94.2-1.0-0.32.880.065359013.7828.011.68.0-1.012.297.018761021.1129.013.6-3.0-0.514.0144.017872077.1727.011.02.0-1.010.6157.3160

71235.0026.033.6-27.02.723.3206.428070103.8827.016.0-7.01.09.5134.023456120.7426.5-1.26.0-2.09.0368.026456223.0527.813.4-7.0-1.72.7165.221662140.3028.011.0-7.0-0.78.0144.229469113.4428.08.0-4.0-0.211.7256.026860015.9425.010.01.0-2.75.2201.618569063.1227.29.16.01.017.3173.0246x4.09227.5710.900.000.0837.7169.04374.9s15.5894.81432.76050.8516.76827.870439.191039.3i第一步求初始相關(guān)系數(shù)矩陣R（0）由表6--3中地理數(shù)據(jù)可求得初始相關(guān)系數(shù)矩陣為：‘1.0000‘1.0000—0.1819—0.06880.0020—0.18191.0000—0.09120.1964—0.0688—0.09121.0000—0.35840.00200.1964—0.35841.0000R（o）=—0.10610.14990.4547—0.2680—0.0784—0.18240.4514—0.40430.1733—0.2873—0.11570.0584、0.4208—0.1003—0.27330.0015—0.1061—0.07840.17330.4208'0.1499—0.1824—0.2873—0.10030.45470.4514—0.1157—0.2733—0.2680—0.40430.05840.00151.00000.3153—0.25110.15280.31531.0000—0.0057—0.3534—0.2511—0.00571.00000.16700.1528—0.35340.16701.0000丿第二步逐步優(yōu)選變量該步是指逐步優(yōu)選變量以建立最優(yōu)回歸方程。1選擇第一個(gè)變量首先，引入第一個(gè)變量以建立一元回歸模型：z二d⑴zj=1,2,3,,k—1kjj1）確定F=F=5（本例最好為2.5）,即引進(jìn)與剔除變量的F檢驗(yàn)12值。2）引進(jìn)變量的原則與方法如何確定先引入哪一個(gè)變量呢？(1)選擇原則引入原則為偏回歸平方和最大者，也稱為方差貢獻(xiàn)最大者。由前述可知，回歸平方和越大，回歸方程的效果就越好。(2)選擇方法如何選擇偏回歸平方和最大者呢？方法有兩鐘，即：一般方法和直接方法。一般方法：一般方法是指從建立后的回歸方程求得，公式為：u二dljjjk這樣看來，工作量相當(dāng)大，設(shè)想一下，能否從R(0)中直接求得各偏回歸平方和再?gòu)闹羞x擇最大者呢？回答是肯定的！因?yàn)镽⑴是從R(0)中變換得來的，所以，它們之間有數(shù)量聯(lián)系。直接方法：直接方法是指從R(0)中直接求得偏回歸平方和最大者。如何從R(0)中直接求呢？這就要從求解求逆緊湊變換法中找出R⑼tR⑴中的關(guān)系。由上述變換可知：d(1)二r(1)二r(0)/r(°)jjkjkjjc(i)二r(1)二1/r(0)二1/c(0)jjjjjjjj于是，z中的偏回歸平方和可得：ju(1)=[d(1)]2?c(0)=[d(1)]2/c(1)jjjjjjj=[r(o)/r(o)]2/[l/r(0)]jkjjjj=[r(0)]2/r(0)jkjj此式表明，u(1)完全可以從R(0)中直接求得。于是可拓展到：

u(2)-R(1)ju(3)-》R(2)ju(4)-R(3)juk_1--R(k-2)j3)引進(jìn)變量(1)確定引進(jìn)變量，即：求u(0)便可確定。j運(yùn)用直接方法即可求算所有偏回歸平方和u(0)，并選取maxu(0)者。jj由于的對(duì)角元素均為：r(0)=r(0)=r(°)=?…=r(°)=1112233k-1k-1所以，最后一列絕對(duì)值最大者便為偏回歸平方和最大者。本例為z，即：1u(0)=L(0)】"(0)=b.4208]1=0.1771TOC\o"1-5"\h\z1k1l由此可知maxu(o)=0.0.1771，故引入的第一個(gè)變量為：z，即:11z=d(1)zj=1k11(2)引進(jìn)變量檢驗(yàn)方法為F檢驗(yàn)法，首先，應(yīng)經(jīng)驗(yàn)性確定臨界值F(/")，其大小主a要與信度和自由度有關(guān)，所以，不宜太大，否則，引進(jìn)變量較少，不實(shí)用。本例K=7,若試選4個(gè)變量，則n=29,4=4,f2=n-k-1=24,即：F(f1,f2)=F(4,24)=2.78，選2.5為宜。a0.05F=10.1771F=10.17711-0.1771)270.17711-0.1771x27=5.81因?yàn)長(zhǎng)81〉^2.5,所以引進(jìn)的第一個(gè)變量為勺。(3)求算Rd)R(0)經(jīng)求解求逆緊湊變換法可求得R(!)為:‘1.0000-0.1819‘1.0000-0.18190.18190.96680.0688-0.1037R(D=-0.00200.19680.10610.13060.0784-0.1967-0.1733-0.25580.4208-0.0237-0.06880.0020-0.1061-0.10370.19680.13060.9952-0.35830.4474-0.35830.9999-0.26850.4473-0.26850.98870.4460-0.40410.3070-0.10380.0580-0.2327-0.24430.00060.19754)剔除變量由于剛引進(jìn)第一個(gè)變量，故略。2選擇第二個(gè)變量1)引進(jìn)變量(1)確定引進(jìn)變量，求算u(1)，并求取maxu(1)，jj-0.07840.17330.4208'-0.1967-0.2558-0.02370.4460-0.1038-0.2445-0.40410.05800.00060.3070-0.23270.19750.99380.0077-0.32040.00770.96990.0941-0.32040.09410.8228丿j=2，3，4，5，6，u(2)=LG】.rG=I-0.0237】.0.9668=0.000582k'22同理可求得：u(2u(2)=0.0601，u(2)=0.0000，34u(2)=0.0395，u(2)=0.1033，56u(2)=0.00917由此可知).10336(2)引進(jìn)變量檢驗(yàn)亠乙-3)=加1莎x26二3.75kk6因?yàn)槎??75＞叮2?5，所以應(yīng)引進(jìn)變量z6，并對(duì)R(0)進(jìn)行求解求逆緊湊變換得R(1)，如表所示。

‘1.0061—0.19740.19740.92790.0337—0.01540.02980.11680.08190.19140.0788—0.1979—0.1739—0.2542、一0.3955‘1.0061—0.19740.19740.92790.0337—0.01540.02980.11680.08190.19140.0788—0.1979—0.1739—0.2542、一0.3955—0.0871-0.0667-0.0298-0.01540.11680.7950-0.1769-0.17690.83560.3096-0.14360.4488-0.4066-0.10730.0612-0.1005-0.1296-0.08190.07880.19140.19790.3096-0.4488-0.14360.40660.8938-0.30890.30891.0061-0.2351-0.00780.29650.32240.17390.3955、—0.2542—0.0871—0.1073—0.10050.0612—0.1296—0.23510.29650.0078—0.32240.96980.09660.09660.7195丿2)剔除變量由于z變量剛剛引進(jìn)，現(xiàn)只需對(duì)z作檢驗(yàn)。61確定剔除變量，求算U⑵，并求取minuC),jju(2)=I(2」r(2)=b.3955L].0061=0.15541k11剔除檢驗(yàn)j=1，6u(2)—1r(2)kkx(n-3)=0.1554x26=5.6220.7195因?yàn)?，所以不?yīng)剔除，繼續(xù)引進(jìn)變量。3選擇第三個(gè)變量(1)確定引進(jìn)變量，求算uG)，并求取maxu(3)，j=2，3，4，5，7jju(3)=L(2)122k'r(2)=[-0.08711^0.9279=0.008222'同理可求得：u(3)二0.0127，u(3)二0.0201，uG)二0.0984，uG)二0.0096457由此可知0.009845(2)引進(jìn)變量檢驗(yàn)呼x(n-4)=rG)—u(3)kk50.09840.5434—0.0984x25二3.9588因?yàn)镕二3.9588>F二2.5，所以，應(yīng)引進(jìn)變量z，并對(duì)R⑵進(jìn)行求解315求逆緊湊變換得r⑶，如表所示。了1.0136—0.1799—0.0053—0.04290.09160.05050.15240.42270.17990.8869—0.08170.1475—0.21410.2641—0.2039—0.15070.0053—0.08170.6877—0.1271—0.3463—0.3418—0.0258—0.20320.04290.1475—0.12710.81250.16070.35690.0234—0.08190.09160.21410.3463—0.16071.1187—0.3456—0.26300.33170.0505—0.26410.3418—0.3569—0.34561.11290.0891—0.4249—0.1524—0.2039—0.02580.02340.2630—0.08910.90800.1746j-0.4227—0.1507—0.2032—0.0819—0.33170.42490.17460.6211R⑶=丿2）剔除變量z作剔除檢驗(yàn)。6由于z變量剛剛引進(jìn)，現(xiàn)只需對(duì)z，51（1）確定剔除變量，求算u⑶，并求取minuG），j=1jju（3）=卜1逬）=b.4227]2..1.0136=0.1763u（3）=r（3）=1-0.4249〕21.1129=0.1622666'由此可知，u（3）=0.1622為最小，故對(duì)z做剔除檢驗(yàn)。66（2）剔除檢驗(yàn)因?yàn)?，說明：uG)fu⑶/八0.1622F=6+=6x(n—4)=x25=6.52873r⑶fr(3)0.6211kk2kkF=6.5287>F=2.5所以不應(yīng)剔除，繼續(xù)引進(jìn)變量。32有兩鐘情況，即：時(shí)，不應(yīng)剔除變量z，并繼續(xù)引進(jìn)新的變量；6z，并對(duì)l-R（3）=R（4）做變換，這時(shí)，還要6>F時(shí)，則終止剔除檢驗(yàn)，繼續(xù)引進(jìn)新的2F>F32F<F時(shí)，應(yīng)剔除變量32對(duì)變量z作剔除檢驗(yàn)，若F13變量；如F<F時(shí)，則繼續(xù)做剔除檢驗(yàn)，直到?jīng)]有不顯著變量存在為32止。選擇第四個(gè)變量1)引進(jìn)變量（1）確定引進(jìn)變量，求算u（4），并求取maxu（4）,j=2,3,4,7jju（4）=lr（3」.r（3）=匸0.150710.8869=0.02562k22'同理可求得：u（4）二0.0600,u（4）二0.0083,u（4）二0.033647由此可知maxu（4）=0.06003（2）引進(jìn)變量檢驗(yàn)u34u34）x（n-5）=r（3）—u（4）kk30.06000.6211—0.0600x24二2.5664因?yàn)镕二2.5664>F二2.5，所以，應(yīng)引進(jìn)變量z，并對(duì)R⑶進(jìn)行求解313求逆緊湊變換得r⑷，即:l?R⑶二R⑷，如表所示?！?.0136—0.18050.0077—0.04390.08890.04790.15220.4211、0.18050.87720.11880.1324—0.25520.2235—0.2070—0.17480.0077—0.11881.4541—0.1848—0.5036—0.4970—0.0375—0.29550.04390.13240.18480.78900.09670.29370.0186—0.11950.08890.2552—0.5036—0.09671.2931—0.1735—0.25000.43400.0479—0.2235—0.4970—0.2937—0.17351.28280.1019—0.3239—0.1522—0.20700.03750.01860.2500—0.10190.90700.1670、-0.4211—0.17480.2955—0.11950.43400.32390.16700.5611丿2）剔除變量由于z變量剛剛引進(jìn)，現(xiàn)只需對(duì)z，z，z作檢驗(yàn)。3156（1）確定剔除變量，求算u（4），并求取minu（4），j=1，3,5,6。jju（4）=S）1.申）=b.4211]2.1.0136=0.1749u（4）=0.1457,u（4）=0.081856由此可知，u⑷=0.0818為最小，則先對(duì)z作剔除檢驗(yàn)。66（2）剔除檢驗(yàn)

F2u（4）0.0818F26x（n-5）=x24=3.499r⑷0.561166因?yàn)椋圆粦?yīng)剔除變量z，繼續(xù)引進(jìn)新的變量。65選擇第五個(gè)變量1）引進(jìn)變量j=2，4，j=2，4，7求算u（4），并求取maxu（4）,jju（5）=l（4）〕2；r（4）=[-0.1748〕2「0.8772=0.034822k'22'同理可求得：u（5）=0.0181,u（5）=0.030747由此可知maxu（5）=0.0348為最大，故確定引進(jìn)變量z22（2）引進(jìn)變量檢驗(yàn)F=1呼F=1呼x（n-6）=r（4）—u（5）kk20.03480.5611—0.0348x23=1.5208因?yàn)槎??5208＜叮2?5，所以不應(yīng)引進(jìn)變量Z2,同時(shí)表明再無顯著變量可以引進(jìn)，則應(yīng)終止，并即可求出最優(yōu)回歸模型。第三步建立回歸方程，即最優(yōu)回歸方程。1、求算d，j=l，3，5，6j根據(jù)求解求逆緊湊變換法的基本原理和方法步驟，由R⑷可知:d=0.42111d=—0.295523d=0.43405d=—0.323962、求算b，j=1，3，5，6。j（1）求有關(guān)項(xiàng)

二1039.3k7Q二27.87x1二4-二1039.3k7Q二27.87x1二4-092,x=10.9，3x=0.083,x=7.7,x=374.9567⑵求blb=乙d二1039.3x0.4211二28.0742iQ115.5891TOC\o"1-5"\h\zbd二一9-x(—0.2955)=—9.37463q332.763Q1039.3b=7d=x0.4340=66.6454Q56.7685bd=―93x(—0.3239)=—12.0786q627.876求算bob=y一bx一bx一bx一bx011335566=374.9—28.0742x4.072—(—9.3746x10.9)—66.6454x0.083—(—12.0786x7.7)=449.6772故求得逐步回歸分析的最優(yōu)回歸方程為：y=4496772+28.0742x—9.374&+66.6454x—12078&1356

第五步顯著性檢驗(yàn)1、求有關(guān)項(xiàng)L二L=^(L二L=^(y—y》二1039.32二1080144.49kkyy=Y(y一y)(x-x)=11=Y(y-y)(x-x)=33=5(y-y)(x-x)=55=5(y-y)(x-x)=66L1yL3yL5yL6yU二S2(1-r(4))二1039.32x(1-0.5611)二474075.4167kkkQ=S2?r⑷二10393x0.5611二606069.0733kkk或者Q二L-U二1080144.49-474075.4167二606069.0733yy2、求FF=Uk=474075.4167/4=4.6933Qn-k-1606069.0733243、求F（f1,f2）a查表可得：F&“）=F（4,24）=2.78a0.05因?yàn)镕=4.6933〉f（4,24）=2.78,所以該回歸方程顯著，可以應(yīng)用于0.05地理分析。例2根據(jù)逐步回歸分析的原理和方法，現(xiàn)介紹其具體步驟。以表4.9

中地理數(shù)據(jù)為例。表4.9地理數(shù)據(jù)序口X1X2X3X4y140165140230243185339231.1328186653231.3441185143231.8528186653235.1656234253235.3740204450235.5847196243236932185658236.11042193552237.211572253552381231193267239.21367206232239.91434213166240.31551195847241.41647232873249.9第一步求初始相關(guān)系數(shù)矩陣r(0)由表4.9中地理數(shù)據(jù)可求得初始相關(guān)系數(shù)矩陣為：[10.50860.0551-0.41530.3004、0.50861-0.49160.48330.6757R（0）=0.0551-0.49161-0.6563-0.4966-0.41530.4833-0.656310.5865、0.30040.6757-0.49660.58651丿第二步選擇第一個(gè)變量1、確定F=F=5，即引進(jìn)與剔除變量的F檢驗(yàn)值。12

2、引進(jìn)變量(1)求u(0)，即求算所有偏回歸平方和u(0)，并選取maxu(0)者。

jjju(0)=[(0J2r(0)=[(0)L.r(0)=lc.3004]2.1=0.090211k111511'u(u(0)=0.34404u(0)=0.4566，u(0)=0.2466，23由此可知maxu(0)=0.45662(2)引進(jìn)變量檢驗(yàn)u'0丿fu'0丿f一u(0)丿22因?yàn)镕=11.7680〉F=5，所以引進(jìn)的第一個(gè)變量為31(3)求算R(1)0.45661f=(1-0.4566)14=Ez。2R(o)經(jīng)求解求逆緊湊變換法可求得RG為:R(o)經(jīng)求解求逆緊湊變換法可求得RG為:0.7413一0.50860.3051一0.6611一0.04330.50861一0.49160.48330.67570.30510.49160.7583一0.4187一0.1644一0.6611一0.4833一0.41870.76640.2599－0.0433一0.6757一0.16440.25990.5434R⑴二2、剔除變量由于剛引進(jìn)第一個(gè)變量，故略。第三步選擇第二個(gè)變量1、引進(jìn)變量⑴求算u(1⑴求算u(1)，并求取maxu(1)，jjG)=\⑴2"⑴115;11j=1，3，u(1)=1同理可求得=L0.0433〕2,.0.7413=.002522uG=0.0356，uG=0.088134由此可知maxuG)=0.08814(2)引進(jìn)變量檢驗(yàn)0.54040-010881X13=20.54040-010881X13=2^553rG)—u6)kk4因?yàn)镕=2?5155VF=5，所以再無顯著變量引進(jìn)，故引進(jìn)變工作32結(jié)束。2、剔除變量由于未引進(jìn)變量，剔除工作也結(jié)束。第四步建立回歸方程，即最優(yōu)回歸方程。1、求算d，j=2j由R⑴可知：d=0.675722、求算b，j=2j(1)求有關(guān)項(xiàng)q=q=■,：丄f—X)2=4.7690k5n55q=」丄E(x—X)2=1.90292n22X=19.4375，Xv=236.756325⑵求bq4.7690b="=x0.6757=1.69342q21.90292求算bob二x-bx二236.7563-1.6934x19.43750522=203.8408故求得逐步回歸分析的最優(yōu)回歸方程為：y=203.8408+1.6934x2第五步顯著性檢驗(yàn)1、求有關(guān)項(xiàng)L—x)2二363.89945555L=Y(x-x)X-x)=98.1063252255U=bL=1.6934x98.1063=166.1332225Q=L-U=363.8994-166.1332=197.7662552、求FF=Q7—=infill?=11-76063、求F(f1,f2)a查表可得：F(f1,f2)=F(1,14)=8.86a0.01因?yàn)镕=11.7606〉F(U4)=8.86，所以該回歸方程顯著，可以應(yīng)用于0.01地理分析。為了全面掌握逐步回歸分析的步驟，若設(shè)F=F=2.5時(shí)，則第三12步選擇第二個(gè)變量的引進(jìn)變量檢驗(yàn)中，因?yàn)镕=2.5155〉F=2.5，所31以引進(jìn)的第二個(gè)變量為z。這樣就須繼續(xù)進(jìn)行。4

求R（2）由R（1）經(jīng)求解求逆緊湊變換法可求得R（2）為:現(xiàn)已引進(jìn)z、z兩個(gè)變量,24由于z剛引進(jìn)，故只須對(duì)z作剔除檢42現(xiàn)已引進(jìn)z、z兩個(gè)變量,24由于z剛引進(jìn)，故只須對(duì)z作剔除檢42驗(yàn)，具體步驟如下：⑴求u（2）2衛(wèi)=阮118]2=o.2oo8uG)=2r(2)1.304822(2)求F3F=哩(n-3)=3r(2)550.20080.4553x13=5.7319因?yàn)閷?dǎo).7319〉叮2?5，所以r是顯著變量，不應(yīng)剔除。繼續(xù)選擇第三個(gè)變量，若還有顯著變量引進(jìn)則繼續(xù)進(jìn)行，具體步驟同上述，若再無有顯著變量引進(jìn)，則結(jié)束，即可建立回歸方程，具體步驟如下：求d,j=2,4j由R(2)可知「d=0.5118<2d=0.33914求算b，j=2，4j①求有關(guān)項(xiàng)q5=4.76900.1710-0.9255-0.05610.86260.18090.92551.3048-0.2276-0.63060.5118-0.05610.22760.52960.5463-0.0224-0.8626-0.6306-0.54631.30480.33910.1809-0.5118-0.0224-0.33910.4553aaq=1.90292q=10.63604X2=19.4375，xq=1.90292q=10.63604X2=19.4375，x=51.5，x=236.756345②求算b，jj=2，4q224.7690x0.5118=1.28271.9029b4dq4二4.7690x0.3391二0.152010.6360③求b0b0一b2X2-b4X4二236.7563-1.2827x19.4375-0.1520x51.5二203.9958故求得逐步回歸分析的最優(yōu)回歸方程為：y=203.9958+1.2827x+0.1520x24對(duì)回歸方程進(jìn)行顯著性檢驗(yàn)，具體步驟如下(1)求有關(guān)項(xiàng)L二363.899455L二98.106325L二475.9545U二bL+bL二1.2827x98.1063+0.1520x475.95二198.1854225445Q二L-U二363.8994-198.1854二165.714055(2)求FF二嚴(yán))二嘰*542)二11.9350Q(n-k-1丿165.7140(16-2-1丿⑶求F吐)查表可得：F&“)=F(2,13)=6.70a0.01因?yàn)镕=11.9350〉f(2,13)=6.70，所以該回歸方程顯著，可以應(yīng)用于0.01地理分析。6.5逐步回歸分析的實(shí)習(xí)指導(dǎo)6.5.1實(shí)習(xí)目的1、鞏固逐步回歸分析的基本原理及方法步驟。2、掌握逐步回歸分析程序的使用方法及技巧3、求取最優(yōu)回歸方程并應(yīng)用于預(yù)測(cè)等。4、掌握逐步回歸分析程序的變換應(yīng)用方法。6.5.2實(shí)習(xí)內(nèi)容1、標(biāo)識(shí)符說明N樣本個(gè)數(shù)M自變量數(shù)Fl、F2F檢驗(yàn)的臨界值Q存放選入l個(gè)自變量以后的剩余平方和Q2存放y的剩余標(biāo)準(zhǔn)差估計(jì)值L選入自變量的個(gè)數(shù)X(N,M+1)存放變量Xa,Xa,Xa,…，Xa=y的數(shù)據(jù)(a=1,2,3,…,l23m+lN)R(M+l,M+l)存放相關(guān)系數(shù)B(M)存放回歸系數(shù)b0,bl,b2,…，blT(M)臨時(shí)存貯單元，開始時(shí)用以標(biāo)記自變量是否選上，當(dāng)x未選入時(shí)iT(I)=0,—旦X選入，則T(I)存放R-1對(duì)角線元素。iZ(I)存放回歸系數(shù)顯著性檢驗(yàn)的t統(tǒng)計(jì)量A(M+1)存放自變量xi和y的平均數(shù)1I—V(M+1)存放離差平方和的均方根Si二“L「=ai-￡)2(i=1,2,Va=l3,…，m+1)。,m。U(M+1)存放各自變量和y的離差平方和均方根之比Sm出,m。SiFF檢驗(yàn)值S剩余標(biāo)準(zhǔn)差ay原始y值ipy預(yù)測(cè)y值iEr預(yù)測(cè)誤差Er%相對(duì)預(yù)測(cè)誤差2、程序5REM逐步回歸分析程序10INPUT“樣本數(shù)N,自變量數(shù)M,F檢驗(yàn)數(shù)F],F?二”;N,M,片，F(xiàn)?15Y=M+120DIMX(N,Y),A(Y),R(Y,Y),V(Y),U(Y),T(M),Z(M),B(M),E(N)25FORI=1TON30FORJ=1TOY35READX(I,J)40PRINTX(I,J);45NEXTJ50PRINT55NEXTI57REM形成相關(guān)系數(shù)矩陣60FORJ=1TOY65T=070D=075FORI=1TON80T=T+X(I,J)85D=D+X(I,J)*X(I,J)90NEXTI95T=T/N100A(J)=T105D=SQR(D－N*T*T)110V(J)=D115NEXTJ120FORI=2TOY125FORJ=1TOI－1130G1=0

135140145150155160165170175180185190195200202205208209210213215220225230235240245250255260265270275280285290295FORK=1TONG1=G1+(X(K,I)－A(I))*(X(K,J)－A(J))NEXTKG1=G1/(V(I)*V(J))R(I,J)=G1R(J,I)=G1NEXTJNEXTIFORI=1TOYR(I,I)=1U(I)=V(Y)/V(I)NEXTIPRINT“RMatrix”FORI=1TOYFORJ=1TOIPRINTR(I,J),NEXTJPRINTNEXTIREM選因子和剔除因子的過程T1=0L=0Q=1T1=T1+1V1=0V2=10FORI=1TOMT(I)=0D=R(I,I)IFD<1E－08THEN315W=(R(Y,I)/D)*R(I,Y)IFW>0THEN300T(I)=DIF－W>=V2THEN315V2=－WI2=IGOTO315

300305310315320325330335340345350355360362365370375380385387390395400405410415420425430435440445450453455460IFW<=V1THEN315V1=WI1=INEXTIIFT1<=2THEN360F3=(N－L－1)*V2/QIFF3>F2THEN360L=L－1K=I2K1=－KPRINT“Imin=”；K1，“L=”；LGOTO390IFL>=MTHEN475F3=(N－L－2)*V1／(Q－V1)I