多元回歸問題

第二章多元回歸分析在許多經(jīng)濟問題中，一元線性回歸只不過是回歸分析中的一種特例，它通常是對影響某種經(jīng)濟現(xiàn)象的許多因素進行了簡化考慮的結(jié)果。若某公司管理人員要預(yù)測來年該公司的銷售額y時，研究認為影響銷售額的因素不只是廣告宣傳費x1,還有個人可支配收入x2,價格x3,研究與發(fā)展費用x4,各種投資x5,銷售費用x6.因此我們需要進一步討論多元回歸問題。第一節(jié)多元線性回歸第二節(jié)可化為多元線性回歸的問題第三節(jié)曲線回歸第四節(jié)逐步回歸第五節(jié)嶺回歸推薦閱讀第一節(jié)多元線性回歸Yi=b0+b1x1i+b2x2i+…+bpxpi+ξiY1=b0+b1x11+b2x21+…+bpxp1+ξ1Y2=b0+b1x12+b2x22+…+bpxp2+

ξ2…Yn=b0+b1x1n+b2x2n+…+bpxpn+

ξn

令y11x11x21…xp1Y=y2x=1x12x22…xp2yn1x1nx2n…xpnb0ξ

1b1ξ

2B=…e=…bpξ

n則Y=XB+e一、多元線性回歸模型的基本假定解釋變量x1,x2,…,xp是確定性變量，不是隨機變量，而且解釋變量之間互不相關(guān)隨機誤差項具有零均值和同方差E（ξ

i）=0var(ξ

i)=E(ξ

i-E(ξ

i))2=E(ξ

i)2=σ2隨機誤差項在不同樣本點之間是相互獨立的，不存在序列相關(guān)cov(ξ

i,ξ

j)=0i≠ji,j=1,2,…ncov(ξ

i,ξ

j)=E((ξ

i-E(ξ

i)(ξ

j-E(ξj))=E(ξ

iξ

j)=E(ξ

i)E(ξ

j)=0

隨機誤差項與解釋變量之間不相關(guān)cov(xi,ξ

i)=0隨機誤差項服從零均值，同方差的正態(tài)分布

ξ

i～N（0，σ2）二、建立回歸方程設(shè)令即三、多元線性回歸模型的建模方法1.打開文件或新建文件2.Analyzeregressionliner3.建模方法（1）enter:強迫進入法（2）stepwise:逐步選擇法（3）remove:強迫消除法（4）backward:向后剔除法（5）forward:向前引入法

回歸統(tǒng)計量（1）estimates:顯示回歸系數(shù)及相關(guān)的指標（2）confidenceintervals:顯示未標準化回歸系數(shù)的置信區(qū)間（3）covariancematrix:未標準化回歸系數(shù)的方差—協(xié)方差矩陣（4）modelfit:模型檢驗回歸統(tǒng)統(tǒng)計量量（5））Rsquaredchange（6））descriptive:顯示示變量量的均均值、、標準準差等等（7））Partandpartialcorrelations:（8））collinearitydiagnostics:共共線性性診斷斷（9））Durbon_waston:D.w.檢驗驗統(tǒng)計計量舉例（（一））根據(jù)我我國某某地區(qū)區(qū)鄉(xiāng)鎮(zhèn)鎮(zhèn)企業(yè)業(yè)總產(chǎn)產(chǎn)值、、從業(yè)業(yè)勞動動者人人數(shù)和和固定定資產(chǎn)產(chǎn)原值值的歷歷年資資料，，求回回歸方方程。。（總總產(chǎn)值值-y,從業(yè)業(yè)勞動動者人人數(shù)-x1,固固定資資產(chǎn)原原值-x2)（數(shù)據(jù)見見spssex/例子子1）舉例（（二））衛(wèi)生陶陶瓷是是我國國住宅宅建筑筑、飯飯店、、賓館館、醫(yī)醫(yī)療衛(wèi)衛(wèi)生、、體育育、辦辦公設(shè)設(shè)施等等建筑筑必不不可少少的衛(wèi)衛(wèi)生設(shè)設(shè)備。。合理理地發(fā)發(fā)展衛(wèi)衛(wèi)生陶陶瓷生生產(chǎn)是是國民民經(jīng)濟濟的需需要。。衛(wèi)生生陶瓷瓷產(chǎn)量量y與與城鎮(zhèn)鎮(zhèn)住宅宅建筑筑面積積x1,醫(yī)醫(yī)療衛(wèi)衛(wèi)生機機構(gòu)建建筑面面積x2,辦公公室建建筑面面積x3有有關(guān)。。試根根據(jù)歷歷史資資料建建立回回歸方方程。。（數(shù)據(jù)據(jù)見spssex/例子子2）(4.245)(2.404)(-2.111)舉例（三三）在研究國國家財政政收入時時，我們們把財政政收入按按收入形形式分為為各項稅稅收收入入、企業(yè)業(yè)收入、、債務(wù)收收入、國國家能源源交通重重點建設(shè)設(shè)基金收收入、基基本建設(shè)設(shè)貸款歸歸還收入入、國家家預(yù)算調(diào)調(diào)節(jié)基金金收入、、其他收收入等。。為了建建立國家家財政收收入回歸歸模型，，我們以以財政收收入y為為因變量量。自變變量如下下：x1工業(yè)總總產(chǎn)值，，x2農(nóng)農(nóng)業(yè)總產(chǎn)產(chǎn)值，x3建筑筑業(yè)總產(chǎn)產(chǎn)值，x4人口口數(shù)，x5社會會商品零零售總額額，x6受災(zāi)面面積（數(shù)據(jù)見見spssex/例子3）Y=-13534.1+0.209x1-0.06x2+0.763x3+0.141x4-0.855x5+0.227x6(3.292)(-0.416)(2.341)(2.703)(-2.932)(2.595)五、回回歸方方程的的效果果的檢檢驗方程顯顯著性性檢驗驗參數(shù)顯顯著性性檢驗驗擬合優(yōu)優(yōu)度檢檢驗（（復(fù)相相關(guān)系系數(shù)、、偏相相關(guān)系系數(shù)））對假設(shè)設(shè)理論論的檢檢驗鏈接例2中中，方方差分分析表表為：：y1.方方程顯顯著性性檢驗驗(F檢驗驗)F檢驗驗是以以方差差分析析為基基礎(chǔ),對回回歸總總體線線性關(guān)關(guān)系是是否顯顯著的的一種種假設(shè)設(shè)檢驗驗,是是解釋釋模型型中被解釋釋變量量與所所有解解釋變變量之之間的線性性關(guān)系系在總總體上上是否否顯著著的方方法利用F統(tǒng)計計量進進行總總體線線性顯顯著性性檢驗驗的步步驟如如下:(1)提出出關(guān)于P個個總體參數(shù)數(shù)的假設(shè)H0:b0=b1=b2=…=bp=0(2)構(gòu)造造統(tǒng)計量(3)檢驗驗給給定顯著性性水平α,查F分布布表若F>Fα,拒絕絕H0,表明明回歸歸總體體有顯顯著性性關(guān)系系.若F<Fα,接受受原假假設(shè),表明明不存存在線線性關(guān)關(guān)系2.參參數(shù)顯顯著性性檢驗驗參數(shù)顯顯著性性檢驗驗,是是對每個解解釋變變量進行檢檢驗.如果解解釋變變量對對被解解釋變變量的的影響響不顯顯著,應(yīng)從從模型型中刪刪除,如果果解釋釋變量量對被被解釋釋變量量的影影響顯顯著,應(yīng)保保留在在模型型中.利用t統(tǒng)計計量進進行參參數(shù)顯顯著性性檢驗驗的步步驟如如下:(1)對總總體參參數(shù)提提出假假設(shè):H0:bi=0(2)構(gòu)造造統(tǒng)計計量:(3)檢驗驗對給定α,若︱t︱︱>tα/2,說明拒絕原原假設(shè)若︱t︱<tα/2,則接受原假假設(shè).如果一次t檢驗后,模型中存存在多個不不重要變量量,一般是是將t值最最小的變量量刪除掉,再重新進進行檢驗,每次只剔除除1個變量量.aii是(X`X)-1主對角線上上第i+1個元素返回六、復(fù)相關(guān)關(guān)系數(shù)和偏偏相關(guān)系數(shù)數(shù)復(fù)相關(guān)系數(shù)數(shù)R是由ESS和TSS構(gòu)造造的統(tǒng)計量量，用來表表示回歸方方程對原有有數(shù)據(jù)擬合合程度的好好壞，衡量量作為一個個整體的x1,x2,…,xp與y的線性性關(guān)系的大大小?；貧w方程的的擬合優(yōu)度度檢驗就是是要檢驗樣樣本數(shù)據(jù)點點聚集在回回歸直線周周圍的密集集程度，從從而評價回回歸方程對對樣本數(shù)據(jù)據(jù)的代表程程度。由判判定系數(shù)R2來實現(xiàn)。實際中，隨隨著自變量量個數(shù)的不不斷增加，，必然會使使得R2不斷變化，，于是出現(xiàn)現(xiàn)的問題是是，R2變化是由于于數(shù)學習性性決定的，，還是確實實是由于引引入了好的的變量進入入方程而造造成的。因因此在作擬擬合優(yōu)度檢檢驗的判定定時，一般般采用調(diào)整整的R2，以消除自自變量的個個數(shù)以及樣樣本量的大大小對R2的影響。其它變量被被固定后，，計算任意意兩個變量量之間的相相關(guān)系數(shù)，，這種相關(guān)關(guān)系數(shù)稱為為偏相關(guān)系數(shù)數(shù)。簡單相關(guān)系系數(shù)只是一一種數(shù)量表表面上的相相關(guān)系數(shù)，，而并非本本質(zhì)的東西西。偏相關(guān)關(guān)系數(shù)才真真正反映兩兩個變量的的本質(zhì)聯(lián)系系。Zero-order:零階階相關(guān)系數(shù)數(shù)，計算所所有自變量量與因變量量間的簡單單相關(guān)系數(shù)數(shù)。Partcorrelation:部分相關(guān)關(guān)，在排除除了其他自自變量對xi的影響后，，當一個自自變量進入入模型后，，復(fù)相關(guān)系系數(shù)的平方方增加量。。返回回歸方程的的殘差分析析殘差序列的的正態(tài)性分分析殘差序列的的隨機性分分析殘差序列的的獨立性分分析奇異值診斷異方差診斷返回殘差序列的正正態(tài)性分析：：通過繪制標準準化殘差序列列的帶正態(tài)曲曲線的直方圖圖或累計概率率圖來分析，，確定殘差是是否接近正態(tài)態(tài)Analyze->regression->linearPlot子對對話框中選Histogram或p-p圖返回殘差序列的隨隨機性分析：：可以繪制殘差差序列和對應(yīng)應(yīng)的預(yù)測值序序列的散點圖圖。如果殘差差序列是隨機機的，那么殘殘差序列應(yīng)與與預(yù)測值序列列無關(guān)，殘差差序列點將隨隨機地分布在在經(jīng)過零的一一條直線上下下。在線性回歸Plots對對話框中的源源變量表中，，選擇SRESID（學學生氏殘差））做Y軸，選選ZPRED（標準化預(yù)預(yù)測值）做X軸返回殘差序列的獨獨立性分析：：分析殘差序列列是否存在后后期值與前期期值相關(guān)的現(xiàn)現(xiàn)象。D.W檢驗返回樣本奇異值的的診斷：樣本奇異值是是樣本數(shù)據(jù)中中那些遠離均均值的樣本數(shù)數(shù)據(jù)點。它們們會對回歸方方程的擬合產(chǎn)產(chǎn)生較大偏差差影響。一般認為，如如果某樣本點點對應(yīng)的標準準化殘差的值值超出了-3—+3的范范圍，就可以以判定該樣本本數(shù)據(jù)為奇異異值。Analyze->regression->statistics->casediagnostics返回異方差診斷：：線性回歸模型型要求殘差序序列服從等方方差的正態(tài)分分布一般通過繪制制SRESID與因變量量預(yù)測值的散散點圖或計算算SRESID和因變量量預(yù)測值間的的相關(guān)系數(shù)。。如果殘差序列列和預(yù)測值的的平方根成正正比例變化，，可以對因變變量作開方處處理；如果殘殘差序列與預(yù)預(yù)測值成比例例變化，可以以對因變量取取對數(shù)；如果果殘差序列與與預(yù)測值的平平方成比例的的變化，可以以對因變量求求倒數(shù)。還可以用WLS法消除異異方差。返回七、預(yù)測和控控制所謂預(yù)測就是是給定解釋變變量x樣本外外的某一特征征值x0=(1，x10,x20,…,xp0),對因變量量的值y0以及E(y0)進行估計。。1、y0的點預(yù)測：2、y0的（1-α）的預(yù)測區(qū)間：：例5繼例1，預(yù)測測從業(yè)勞動者者為3000萬人，固定定資產(chǎn)原值為為400億元元時該地區(qū)的的總產(chǎn)值，并并給出α=0.05時的的預(yù)測測區(qū)間間.返回例6中國民民航客客運量量的回回歸模模型.為了了研究究我國國民航航客運運量的的變化化趨勢勢及成成因,我們們以民民航客客運量量作為為因變變量y,以以國民民收入入、消消費額額、鐵鐵路客客運量量、民民航航航線里里程、、來華華旅游游入境境人數(shù)數(shù)為影影響民民航客客運量量的主主要因因素。。Y-民航航客運運量（（萬人人），，x1-國國民收收入（（億元元），，x2-消消費額額（億億元）），x3-鐵路路客運運量（（萬人人），，x4-民民航航航線里里程（（萬公公里）），x5-來華華旅游游入境境人數(shù)數(shù)第二節(jié)節(jié)可可化化為多多元線線性回回歸的的問題題在自然然科學學中，，y關(guān)關(guān)于x的的數(shù)量量關(guān)系系多數(shù)數(shù)都不不是簡簡單的的線性性關(guān)系系，而而是各各種各各樣的的非線線性關(guān)關(guān)系，，于是是我們們常會會遇到到非線線性回回歸模模型，，在非非線性性回歸歸模型型中，，一種種類型型是可可以通通過變變量變變換化化為線線性模模型，，然后后按線線性模模型加加以解解決；；另一一種類類型的的非線線性模模型是是用任任何變變量變變換辦辦法都都不能能或不不方便便直接接化為為線性性模型型求得得參數(shù)數(shù)的估估計值值。多項式函數(shù)數(shù)Y=β0+β1x+β2x2+…+βpxp設(shè)τi=xi則多項式化化為:Y=β0+β1τ1+β2τ2+…+βpτp多元冪函數(shù)數(shù)y=αx1β1x2β2…xpβplny=lnα+β1lnx1+…+βplnxp令z=lny,β0=lnα,τi=lnxiz=β0+β1τ1+β2τ2+…+βpτp指數(shù)函數(shù)y=a∏eβixi㏑y=㏑a+β1x1+β2x2+…+βpxpz=㏑y,β0=㏑a,則z=β0+β1x1+β2x2+…+βpxp多元對數(shù)函函數(shù)y=a+β1㏑x1+β2㏑x2+…+βp㏑xp設(shè)τi=㏑xi,則y=a+β1τ1+β2τ2+……+βpτp指數(shù)數(shù)函函數(shù)數(shù)與與冪冪函函數(shù)數(shù)的的積積y=aexp{∑∑βixi}∏xibi㏑y=㏑㏑a+β1x1+β2x2+…+βpxp+b1㏑x1+b2㏑x2+…+bp㏑xp令z=㏑㏑y,β0=㏑a,τi=㏑xiz=β0+β1x1+β2x2+…+βpxp+b1τ1+b2τ2+…+bpτp例7某某企企業(yè)在15年中中每年的的年產(chǎn)量量x和總總成本y,試建建立y對對x,x2和x3的多項式式回歸方方程.(數(shù)據(jù)見見spssex/例子7)如果自變變量相鄰鄰數(shù)值之之間大小小間隔相相等,而而且相鄰鄰樣本點點對應(yīng)的的因變量量y的二二次差分分大致相相同,則則該總體體可配合合二次多項項式函數(shù)數(shù)如果是三三次差分分大致相相同,則則可配合合三次多項項式函數(shù)數(shù)例8根根據(jù)某某地1985-1993年間間農(nóng)產(chǎn)品品收購額額,建立立回歸方方程.(數(shù)據(jù)見見spssex/例子8)MODEL:MOD_2.Independent:x返回例9某某制造造廠表面面處理車車間試驗驗將鉻后后污水同同電解污污泥混合合,使之之生成無無毒溶液液,效果果很好.但實際際排出污污水的濃濃度不完完全相同同,而且且一定濃濃度的定定量鉻后后污水只只有同定定量的電電解污泥泥混合后后,才能能反應(yīng)完完全.現(xiàn)現(xiàn)通過試試驗,找找出鉻后后污水用用量與電電解污泥泥用量之之比對于于鉻后污污水濃度度之間的的關(guān)系.(spssex/例子子9)第三節(jié)節(jié)曲曲線線回歸歸Analyze->regression->curveestimationLinear:y=b0+b1xQuadratic:y=b0+b1x+b2x2Compound:y=b0b1xGrowth:y=e(b0+b1x)Logarithmic:y=b0+b1lnxCubic:y=b0+b1x+b2x2+b3x3S:y=e(b0+b1/x)Exponential:y=b0eb1xInverse:y=b0+b1/xPower:y=b0xb1Logistic:y=1/(1/u+b0b1x))返回第四節(jié)節(jié)逐逐步步回歸歸在多元元線性性回歸歸中，，最難難的是是如何何選擇擇自變變量的的問題題，如如果自自變量量選的的太少少，則則自變變量對對Y的的決定定系數(shù)數(shù)太小小，導導致過過大的的偏差差，如如果把把與Y有關(guān)關(guān)的自自變量量都選選入是是不可可能的的，一一般來來講，，選的的自變變量愈愈多，，ESS愈愈大，，然而而多個個自變變量中中有相相當一一部分分對Y影響響不顯顯著，，反而而會因因自由由度的的減少少而增增大了了誤差差。另另外，，多個個自變變量間間的相相關(guān)會會給回回歸方方程的的實際際解釋釋上造造成麻麻煩，，即多多重共共線性性的影影響。。因此此我們們提出出最優(yōu)優(yōu)方程程的概概念，，要求求進入入回歸歸方程程的自自變量量都是是顯著著的，，未進進入回回歸方方程的的自變變量都都是不不顯著著的。。一、、““最最優(yōu)優(yōu)””回回歸歸方方程程的的選選擇擇1.回回歸歸方方程程中中包包含含盡盡量量多多的的信信息息2.回回歸歸方方程程中中包包含含盡盡量量少少的的變變量量方法法：逐步步剔剔除除的的回回歸歸分分析析方方法法逐步步引引入入的的回回歸歸分分析析方方法法“有進有出””的回歸分析析方法(逐步步回歸分析方方法)逐步剔除法（（backward）1、用全部變變量建立一個個回歸方程2、對每個變變量進行檢驗驗，剔除偏回回歸平方和最最小的變量。。3、對剩余變變量再作回歸歸，再檢驗………直至方程中沒沒有可剔除的的變量為止。。逐步引入法（（forward）1、將所有自自變量分別與與因變量建立立一元線性回回歸方程，比比較各自的回回歸平方和，，將回歸平方方和最大的變變量引入回歸歸方程。2、再分別將將剩余變量與與因變量y、、及已引入的的變量建立二二元線性回歸歸方程，再比比較回歸平方方和，選擇回回歸平方和最最大的變量引引入方程。直至方程檢驗驗不顯著為止止?！爸鸩教蕹薄狈ㄅc“逐步步引入”法都都有明顯的不不足之處:(1)“逐逐步剔除”法法計算量大,且一旦某個個自變量被剔剔除,沒有機機會重新進入入方程.(2)“逐步步引入”法一一旦引入某個個變量,就不不再改變.逐步回歸法（（stepwise）1、將所有自自變量分別與與y建立一元元線性回歸方方程，將偏回回歸平方和最最大及通過顯顯著性檢驗的的變量引入方方程。2、將剩余變變量再分別與與y、及已引引入方程的變變量建立二元元回歸方程，，并檢驗方程程，剔除不顯顯著變量?！⑵貧w平平方和設(shè)s回是p個自變量量x1,x2,…xp所引起的回歸歸平方和，si回是p-1個變變量x1,x2,…xi-1,xi+1,…xp所引起起的回回歸平平方和和，那那么它它們的的差Qi=s回-si回，Qi稱為自自變量量xi的偏回回歸平平方和和在回歸歸計算算的某某一步步需要要引進進的變變量應(yīng)應(yīng)該是是所有有未進進入回