第07章 回歸分析

第07章回歸分析回歸分析與相關(guān)分析的區(qū)別回歸分析中，變量Y稱為因變量，處于被解釋的地位。而在相關(guān)分析中，X與Y處于平等地位；相關(guān)分析中，X和Y全是隨機變量，而在回歸分析中，因變量Y是隨機變量，自變量X可以是隨機變量，也可以是非隨機的。通?；貧w模型中假定X是非隨機的精確變量；相關(guān)分析的研究是為了刻畫兩變量間線性相關(guān)的密切程度。而回歸分析不僅可以揭示X對Y的影響大小，還可以由回歸方程進行預(yù)測和控制。2Outline第一節(jié)回歸分析的基本原理第二節(jié)一元線性回歸分析第三節(jié)多元線性回歸分析第四節(jié)路徑分析31.相關(guān)和回歸

1.1散點圖scatterdiagram451.2平方和、積矩和、協(xié)方差

sumofsquaressumofproductscovariance6第一節(jié)回歸分析的基本原理一、回歸分析的意義二、回歸分析的基本原理三、回歸分析的主要內(nèi)容一、回歸分析的意義

regressionanalysis回歸分析：確定變量之間數(shù)量關(guān)系的可能形式，并用一個數(shù)學(xué)模型來表示這種關(guān)系形式它可以從一個變量的變化來預(yù)測或估計另一個變量的變化只有一個自變量的線性回歸叫一元線性回歸或簡單線性回歸尋找一條最佳擬合直線best-fittingline，使得預(yù)測值predictedvalue和觀測值observedvalue之間的誤差最小8二、回歸分析的基本思想（一）回歸分析的數(shù)學(xué)模型（二）最佳擬合

回歸線theregressionline10最佳擬合直線

best-fittingline11第二節(jié)一元線性回歸分析一、一元線性回歸的模型及性質(zhì)二、一元線性回歸方程的建立三、一元線性回歸方程的有效性檢驗四、回歸方程有效性的指標(biāo)五、一元線性回歸分析的估計與預(yù)測二、一元線性回歸的數(shù)學(xué)模型從X預(yù)測Y

Y=0+1X+ Y=a+bX+eY與X的關(guān)系分為兩部分0+1X是由于X的變化引起線性變化的部分;是全體一切隨機因素造成的部分

~N(0,s2)13一元線性回歸的基本假設(shè)X與Y在總體上具有線性關(guān)系變量X沒有測量誤差（看成精確變量）(Xi,Yi)和(Xj,Yj)彼此獨立；與某一個Xi值對應(yīng)的Y值構(gòu)成變量Y上一個子總體，這樣的子總體服從正態(tài)分布，且它們的方差相等?i

是Xi對應(yīng)Y的子總體的平均數(shù)的無偏估計14小結(jié)15尋找一條最佳擬合直線用方差分析檢驗回歸方程有效性有效性高低指標(biāo)：決定系數(shù)r2回歸估計的標(biāo)準誤SY·X回歸線的求解16正規(guī)方程組normalequationsQ17對回歸系數(shù)的解釋182.4從給定的X來估計對應(yīng)的Y無窮大的樣本取給定X對應(yīng)的所有Y的均值作為估計值對應(yīng)于某個X的所有Y稱為Y的條件分布conditionaldistribution有限樣本

19五、一元線性回歸的估計與預(yù)測（一）估計因變量主值和主值區(qū)間（二）單個因變量實測值的預(yù)測五、預(yù)測的準確性如果需要你去猜測某個班的每個學(xué)生的某次考試的成績，而只告訴你該班的平均分，怎樣猜才能誤差最?。繕?biāo)準差作為誤差的度量21估計的標(biāo)準誤

standarderrorofestimate22三、回歸有效性的檢驗（一）誤差平方和（二）因變量變異的分解誤差平方和相關(guān)越高，誤差越小相關(guān)越高，從X預(yù)測Y就越準確，誤差就越小24因變量變異的分解25對r的顯著性的檢驗26對回歸的有效性檢驗27對r的顯著性檢驗28四、回歸有效性的指標(biāo)-

-決定系數(shù)（測定系數(shù)）r2coefficientofdetermination衡量回歸方程有效性高低的指標(biāo)回歸平方和在總離差平方和中所占的比例因變量的變異中可以從自變量的變異來解釋的比例29五、一元線性回歸的估計與預(yù)測（一）估計因變量主值和主值區(qū)間（二）單個因變量實測值的預(yù)測五、預(yù)測的準確性如果需要你去猜測某個班的每個學(xué)生的某次考試的成績，而只告訴你該班的平均分，怎樣猜才能誤差最小？標(biāo)準差作為誤差的度量31估計的標(biāo)準誤

standarderrorofestimate32六、可化為線性回歸的一元曲線回歸第三節(jié)多元線性回歸分析一、多元線性回歸分析的意義二、多元線性回歸方程的建立三、多元線性回歸方程解題步驟四、多元線性回歸方程的有效性檢驗五、自變量顯著性檢驗六、逐步回歸法多元線性回歸的數(shù)學(xué)模型從X1,X2,

…,Xk（憑經(jīng)驗選取）預(yù)測Y

Y=0+1X1+2X2+…+kXk+

~N(0,s2)根據(jù)樣本數(shù)據(jù)建立的回歸方程

?=b0+b1X1+b2X2+…+bkXkbi稱為（偏）回歸系數(shù)偏回歸系數(shù)表示其它自變量假設(shè)不變時，某一個自變量變化而引起因變量變化的比率35標(biāo)準回歸方程、標(biāo)準偏回歸系數(shù)把所有原始數(shù)據(jù)轉(zhuǎn)換成標(biāo)準分數(shù)，以標(biāo)準分數(shù)建立的回歸方程為標(biāo)準回歸方程

?Y=1Z1+2Z2+…+kZk

標(biāo)準回歸方程的回歸系數(shù)稱為標(biāo)準(偏)回歸系數(shù)，其大小可直接反映對應(yīng)的變量在預(yù)測時做的貢獻bi=i·SY/SXi36偏回歸系數(shù)的計算基本原理最小二乘法：預(yù)測值和觀測值的誤差平方和最小一般借助于計算機ExcelSPSSSASMinitab37多元測(決)定系數(shù)r2其中r稱為復(fù)相關(guān)系數(shù)multiplecorrelationcoefficientr

實際上就是預(yù)測值?和觀測值Y之間的相關(guān)系數(shù)38多元線性回歸方程的檢驗方差分析39偏回歸系數(shù)的顯著性檢驗回歸方程顯著并不意味著所有的回歸系數(shù)都顯著某個偏回歸系數(shù)不顯著意味著對應(yīng)的自變量在回歸方程中沒什么貢獻可以去掉該變量，重新建立回歸方程檢驗方法40選擇有效自變量的方法逐步回歸stepwiseregression對不顯著變量，只剔除對回歸貢獻最小的那個變量；然后重新建立新的回歸方程，如仍有不顯著變量，仍僅剔除對回歸貢獻最小的那個變量，重新建立新的回歸方程，直至所有變量都顯著前進法forwardregression逐步加入自變量，檢驗顯著就保留后退法backwardregression將所有自變量引入回歸方程，逐漸剔除那些對回歸方程作用不大的自變量41工具-數(shù)據(jù)分析-回歸42Excel的多元回歸結(jié)果43應(yīng)用多元回歸的注意事項多重共線性Multi-collinearityX1,X2,…,Xk之間存在密切的線性關(guān)系，稱它們之間存在著多重共線性。此時對回歸系數(shù)的估計不穩(wěn)定因果關(guān)系回歸分析能表現(xiàn)出變量彼此關(guān)聯(lián)或有聯(lián)系，但不能證明其因果關(guān)系回歸系數(shù)的大小計量單位相同或數(shù)據(jù)標(biāo)準化時才能直接比較樣本容量r2受n對于自變量個數(shù)k的影響。一般觀測數(shù)n至少等于自變量個數(shù)k的10－15倍。44第四節(jié)路徑分析一、基本原理二、案例分析2.7樣本回歸線和總體回歸線根據(jù)樣本數(shù)據(jù)的回歸分析結(jié)果為樣本回歸線?=a+bX不同的樣本對應(yīng)于不同的樣本回歸線所有樣本回歸線都是總體回歸線

?=a+bX的一個估計所有樣本回歸線會在總體回歸線附近波動對給定X，對應(yīng)的總體回歸線的?也稱為主值，而某條樣本回歸線對應(yīng)的?i只是?的一個點估計所有?i的平均值將為?4647??iX2.8回歸分析的應(yīng)用預(yù)測已知X0，預(yù)測總體回歸線對應(yīng)的?0（主值）已知X0，預(yù)測新的觀測值Y0控制已知Y的范圍，控制X的范圍483.3偏回歸系數(shù)的計算基本原理最小二乘法：預(yù)測值和觀測值的誤差平方和最小一般借助于計算機ExcelSPSSSASMinitab493.4多元測(決)定系數(shù)r2其中r稱為復(fù)相關(guān)系數(shù)multiplecorrelationcoefficientr

實際上就是預(yù)測值?和觀測值Y之間的相關(guān)系數(shù)503.5多元線性回歸方程的檢驗方差分析513.6偏回歸系數(shù)的顯著性檢驗回歸方程顯著并不意味著所有的回歸系數(shù)都顯著某個偏回歸系數(shù)不顯著意味著對應(yīng)的自變量在回歸方程中沒什么貢獻可以去掉該變量，重新建立回歸方程檢驗方法523.7選擇有效自變量的方法逐步回歸stepwiseregression對不顯著變量，只剔除對回歸貢獻最小的那個變量；然后重新建立新的回歸方程，如仍有不顯著變量，仍僅剔除對回歸貢獻最小的那個變量，重新建立新的回歸方程，直至所有變量都顯著前進法forwardregression逐步加入自變量，檢驗顯著就保留后退法backwardregression將所有自變量引入回歸方程，逐漸剔除那些對回歸方程作用不大的自變量533.8Excel：工具-數(shù)據(jù)分析-回歸54Excel的多元回歸結(jié)果553.9應(yīng)用多元回歸的注意事項多重共線性Multi-collinearityX1,X2,…,Xk之