第七章 相關(guān)分析與回歸分析教材

第七章相關(guān)分析與回歸分析2本章內(nèi)容第一節(jié)相關(guān)分析第二節(jié)簡單線性回歸分析第三節(jié)多元線性相關(guān)與回歸分析*3一、函數(shù)關(guān)系與相關(guān)關(guān)系1.函數(shù)關(guān)系當(dāng)一個(gè)或幾個(gè)變量取一定的值時(shí)，另一個(gè)變量有確定值與之相對應(yīng)，我們稱這種關(guān)系為確定性的函數(shù)關(guān)系。4（函數(shù)關(guān)系）（1）是一一對應(yīng)的確定關(guān)系（2）設(shè)有兩個(gè)變量x和y，變量y隨變量x一起變化，并完全依賴于x，當(dāng)變量x取某個(gè)數(shù)值時(shí)，

y依確定的關(guān)系取相應(yīng)的值，則稱y是x的函數(shù)，記為y=f(x)，其中x稱為自變量，y稱為因變量（3）各觀測點(diǎn)落在一條線上

xy5

函數(shù)關(guān)系的例子某種商品的銷售額(y)與銷售量(x)之間的關(guān)系可表示為y=px(p為單價(jià))圓的面積(S)與半徑之間的關(guān)系可表示為S=r2

企業(yè)的原材料消耗額(y)與產(chǎn)量(x1)、單位產(chǎn)量消耗(x2)、原材料價(jià)格(x3)之間的關(guān)系可表示為y=x1x2x3

62.相關(guān)關(guān)系：當(dāng)一個(gè)或幾個(gè)相互聯(lián)系的變量取一定數(shù)值時(shí)，與之相對應(yīng)的另一變量的值雖然不確定，但它仍按某種規(guī)律在一定的范圍內(nèi)變化。

現(xiàn)象之間客觀存在的不嚴(yán)格、不確定的數(shù)量依存關(guān)系。7（相關(guān)關(guān)系）（1）變量間關(guān)系不能用函數(shù)關(guān)系精確表達(dá)；（2）一個(gè)變量的取值不能由另一個(gè)變量唯一確定；（3）當(dāng)變量x取某個(gè)值時(shí)，變量y的取值可能有幾個(gè)；（4）各觀測點(diǎn)分布在直線周圍。

xy8

相關(guān)關(guān)系的例子商品的消費(fèi)量(y)與居民收入(x)之間的關(guān)系商品的消費(fèi)量(y)與物價(jià)(x)之間的關(guān)系商品銷售額(y)與廣告費(fèi)支出(x)之間的關(guān)系糧食畝產(chǎn)量(y)與施肥量(x1)、降雨量(x2)、溫度(x3)之間的關(guān)系收入水平(y)與受教育程度(x)之間的關(guān)系父親身高(y)與子女身高(x)之間的關(guān)系9二、相關(guān)關(guān)系的種類1.按相關(guān)關(guān)系的程度劃分可分為完全相關(guān)，不完全相關(guān)和不相關(guān)。2.按相關(guān)形式劃分可以分為線性相關(guān)和非線性相關(guān)。10（1）正相關(guān)：兩個(gè)相關(guān)現(xiàn)象間，當(dāng)一個(gè)變量的數(shù)值增加（或減少）時(shí)，另一個(gè)變量的數(shù)值也隨之增加（或減少），即同方向變化。例如收入與消費(fèi)的關(guān)系。（2）負(fù)相關(guān)：當(dāng)一個(gè)變量的數(shù)值增加（或減少）時(shí)，而另一個(gè)變量的數(shù)值相反地呈減少（或增加）趨勢變化，即反方向變化。例如物價(jià)與消費(fèi)的關(guān)系。3.按相關(guān)的方向劃分可分為正相關(guān)和負(fù)相關(guān)114.按相關(guān)關(guān)系涉及的變量多少劃分分為單相關(guān)、復(fù)相關(guān)和偏相關(guān)。兩個(gè)變量之間的相關(guān)，稱為單相關(guān)。當(dāng)所研究的是一個(gè)變量對兩個(gè)或兩個(gè)以上其他變量的相關(guān)關(guān)系時(shí)，稱為復(fù)相關(guān)。例如，某種商品的需求與其價(jià)格水平以及收入水平之間的相關(guān)關(guān)系便是一種復(fù)相關(guān)。在某一現(xiàn)象與多種現(xiàn)象相關(guān)的場合，假定其他變量不變，專門考察其中兩個(gè)變量的相關(guān)關(guān)系稱為偏相關(guān)。例如，在假定人們的收入水平不變的條件下，某種商品的需求與其價(jià)格水平的關(guān)系就是一種偏相關(guān)。12定性分析是依據(jù)研究者的理論知識和實(shí)踐經(jīng)驗(yàn)，對客觀現(xiàn)象之間是否存在相關(guān)關(guān)系，以及何種關(guān)系作出判斷。定量分析在定性分析的基礎(chǔ)上，通過編制相關(guān)表、繪制相關(guān)圖、計(jì)算相關(guān)系數(shù)等方法，來判斷現(xiàn)象之間相關(guān)的方向、形態(tài)及密切程度。三、相關(guān)關(guān)系的判斷13

(一)相關(guān)表：將自變量x的數(shù)值按照從小到大的順序，并配合因變量y的數(shù)值一一對應(yīng)而平行排列的表。例：為了研究分析某種勞務(wù)產(chǎn)品完成量與其單位產(chǎn)品成本之間的關(guān)系，調(diào)查30個(gè)同類服務(wù)公司得到的原始數(shù)據(jù)如表。 整理后有14(二)相關(guān)圖：又稱散點(diǎn)圖。將x置于橫軸上，y置于縱軸上，將（x,y）繪于坐標(biāo)圖上。用來反映兩變量之間相關(guān)關(guān)系的圖形。15四、相關(guān)系數(shù)及其計(jì)算方法(一)相關(guān)系數(shù)的定義1.單相關(guān)系數(shù)：在線性條件下說明兩個(gè)變量之間相關(guān)關(guān)系密切程度的統(tǒng)計(jì)分析指標(biāo)，簡稱相關(guān)系數(shù)。若相關(guān)系數(shù)是根據(jù)總體全部數(shù)據(jù)計(jì)算的，稱為總體相關(guān)系數(shù)，記為

若是根據(jù)樣本數(shù)據(jù)計(jì)算的，則稱為樣本相關(guān)系數(shù)，記為r161718樣本相關(guān)系數(shù)的定義公式實(shí)質(zhì)19(二)相關(guān)系數(shù)的特點(diǎn)1.ｒ的取值介于－１與１之間，r的取值范圍是[-1,1]2.在大多數(shù)情況下，０＜|ｒ|＜１，即Ｘ與Ｙ的樣本觀測值之間存在著一定的線性關(guān)系，當(dāng)ｒ＞０時(shí)，Ｘ與Ｙ為正相關(guān)，當(dāng)ｒ＜０時(shí)，Ｘ與Ｙ為負(fù)相關(guān)。|ｒ|的數(shù)值愈接近于1，表示x與y直線相關(guān)程度愈高；反之，|ｒ|的數(shù)值愈接近于0，表示x與y直線相關(guān)程度愈低。通常判斷的標(biāo)準(zhǔn)是:|ｒ|＜0.3稱為微弱相關(guān)，0.3≤|ｒ|＜0.5稱為低度相關(guān)，0.５≤|ｒ|＜0.8稱為顯著相關(guān)，0.8≤|ｒ|＜1稱為高度相關(guān)或強(qiáng)相關(guān)。203.如果|ｒ|=1，則表明Ｘ與Ｙ完全線性相關(guān)，當(dāng)ｒ=1時(shí)，稱為完全正相關(guān)，而ｒ=-1時(shí)，稱為完全負(fù)相關(guān)。4.ｒ是對變量之間線性相關(guān)關(guān)系的度量。

ｒ=0只是表明兩個(gè)變量之間不存在線性關(guān)系，它并不意味著Ｘ與Ｙ之間不存在其他類型的關(guān)系。21相關(guān)關(guān)系的測度

（相關(guān)系數(shù)取值及其意義）-1.0+1.00-0.5+0.5完全負(fù)相關(guān)無線性相關(guān)完全正相關(guān)負(fù)相關(guān)程度增加r正相關(guān)程度增加22計(jì)算相關(guān)系數(shù)的“積差法”(三)相關(guān)系數(shù)的計(jì)算23

例：下表是有關(guān)15個(gè)地區(qū)某種食物需求量和地區(qū)人口增加量的資料。2425五、相關(guān)系數(shù)的檢驗(yàn)1、檢驗(yàn)兩個(gè)變量之間是否存在線性相關(guān)關(guān)系2、采用t檢驗(yàn)3、檢驗(yàn)的步驟為提出假設(shè)：H0：

；H1：

0

計(jì)算檢驗(yàn)的統(tǒng)計(jì)量：

確定顯著性水平，并作出決策若t>t

，拒絕H0

若t<t

，接受H026對前例計(jì)算的相關(guān)系數(shù)進(jìn)行顯著性檢(0.05)提出假設(shè)：H0：

；H1：

0計(jì)算檢驗(yàn)的統(tǒng)計(jì)量根據(jù)顯著性水平＝0.05，查t分布表得

t

(n-2)=2.160由于t=48.385>t

(15-2)=2.160，拒絕H0，該種食物需求量和地區(qū)人口增加量之間的相關(guān)關(guān)系顯著。27本章內(nèi)容第一節(jié)相關(guān)分析第二節(jié)簡單線性回歸分析第三節(jié)多元線性相關(guān)與回歸分析*28一、相關(guān)分析與回歸分析的關(guān)系1.相關(guān)分析就是用一個(gè)指標(biāo)來表明現(xiàn)象間相互依存關(guān)系的密切程度。廣義的相關(guān)分析包括相關(guān)關(guān)系的分析（狹義的相關(guān)分析）和回歸分析。2.回歸分析是指對具有相關(guān)關(guān)系的現(xiàn)象，根據(jù)其相關(guān)關(guān)系的具體形態(tài)，選擇一個(gè)合適的數(shù)學(xué)模型（稱為回歸方程式），用來近似地表達(dá)變量間的平均變化關(guān)系的一種統(tǒng)計(jì)分析方法。29相關(guān)分析與回歸分析的區(qū)別1.在相關(guān)分析中，不必確定自變量和因變量；而在回歸分析中，必須事先確定哪個(gè)為自變量，哪個(gè)為因變量，而且只能從自變量去推測因變量，而不能從因變量去推斷自變量。2.相關(guān)分析不能指出變量間相互關(guān)系的具體形式；而回歸分析能確切的指出變量之間相互關(guān)系的具體形式，它可根據(jù)回歸模型從已知量估計(jì)和預(yù)測未知量。3.相關(guān)分析所涉及的變量一般都是隨機(jī)變量，而回歸分析中因變量是隨機(jī)的，自變量則作為研究時(shí)給定的非隨機(jī)變量。30相關(guān)分析與回歸分析的聯(lián)系相關(guān)分析和回歸分析有著密切的聯(lián)系，它們不僅具有共同的研究對象，而且在具體應(yīng)用時(shí)，常常必須互相補(bǔ)充。相關(guān)分析需要依靠回歸分析來表明現(xiàn)象數(shù)量相關(guān)的具體形式，而回歸分析則需要依靠相關(guān)分析來表明現(xiàn)象數(shù)量變化的相關(guān)程度。只有當(dāng)變量之間存在著高度相關(guān)時(shí)，進(jìn)行回歸分析尋求其相關(guān)的具體形式才有意義。簡單說：1、相關(guān)分析是回歸分析的基礎(chǔ)和前提；2、回歸分析是相關(guān)分析的深入和繼續(xù)。31二、一元線性回歸模型回答“變量之間是什么樣的關(guān)系？”方程中運(yùn)用1個(gè)數(shù)字的因變量(響應(yīng)變量)被預(yù)測的變量1個(gè)或多個(gè)數(shù)字的或分類的自變量(解釋變量)用于預(yù)測的變量3. 主要用于預(yù)測和估計(jì)32回歸模型的類型線性回歸一個(gè)自變量兩個(gè)及兩個(gè)以上自變量回歸模型多元回歸一元回歸非線性回歸線性回歸非線性回歸重點(diǎn)介紹33當(dāng)只涉及一個(gè)自變量時(shí)稱為一元回歸，若因變量y與自變量x之間為線性關(guān)系時(shí)稱為一元線性回歸。對于具有線性關(guān)系的兩個(gè)變量，可以用一條線性方程來表示它們之間的關(guān)系。描述因變量y如何依賴于自變量x和誤差項(xiàng)

的方程稱為回歸模型。34標(biāo)準(zhǔn)的一元線性回歸模型(一)總體回歸函數(shù)Ｙt＝β0＋β1Ｘt＋ut（7.5）ut是隨機(jī)誤差項(xiàng)，又稱隨機(jī)干擾項(xiàng)，它是一個(gè)特殊的隨機(jī)變量，反映未列入方程式的其他各種因素對Ｙ的影響。(二)樣本回歸函數(shù):（ｔ＝１，２，...n)ｅt稱為殘差，在概念上，ｅt與總體誤差項(xiàng)ut相互對應(yīng)；ｎ是樣本的容量。35一元線性回歸模型（概念要點(diǎn)）對于只涉及一個(gè)自變量的簡單線性回歸模型可表示為Ｙt＝β0＋β1Ｘt＋ut模型中，y是x的線性函數(shù)(部分)加上誤差項(xiàng)線性部分反映了由于x的變化而引起的y的變化誤差項(xiàng)ut

是隨機(jī)變量反映了除x和y之間的線性關(guān)系之外的隨機(jī)因素對y的影響是不能由x和y之間的線性關(guān)系所解釋的變異性

0和

1稱為模型的參數(shù)36樣本回歸函數(shù)與總體回歸函數(shù)區(qū)別1、總體回歸線是未知的，只有一條。樣本回歸線是根據(jù)樣本數(shù)據(jù)擬合的，每抽取一組樣本，便可以擬合一條樣本回歸線。2、總體回歸函數(shù)中的β1和β2是未知的參數(shù)，表現(xiàn)為常數(shù)。而樣本回歸函數(shù)中的是隨機(jī)變量，其具體數(shù)值隨所抽取的樣本觀測值不同而變動(dòng)。3、總體回歸函數(shù)中的ut是Ｙt與未知的總體回歸線之間的縱向距離，它是不可直接觀測的。而樣本回歸函數(shù)中的ｅt是Ｙt與樣本回歸線之間的縱向距離，當(dāng)根據(jù)樣本觀測值擬合出樣本回歸線之后，可以計(jì)算出ｅt的具體數(shù)值。37（三）誤差項(xiàng)的基本標(biāo)準(zhǔn)假定誤差項(xiàng)ut是一個(gè)期望值為0的隨機(jī)變量，即E(ut)=0。對于所有的x值，ut的方差σ2都相同誤差項(xiàng)ut是一個(gè)服從正態(tài)分布的隨機(jī)變量，且相互獨(dú)立。即u-N(0,σ2)獨(dú)立性意味著對于一個(gè)特定的x值，它所對應(yīng)的u與其他x值所對應(yīng)的u不相關(guān)對于一個(gè)特定的x值，它所對應(yīng)的yt值與其他xt所對應(yīng)的y值也不相關(guān)自變量是給定的變量，與隨機(jī)誤差項(xiàng)線性無關(guān)38總體回歸線與隨機(jī)誤差項(xiàng)P161

Ｅ（Ｙt）＝β1＋β2ＸtXYtY

。。。。。ut

39總結(jié)：回歸方程概念要點(diǎn)描述y的平均值或期望值如何依賴于x的方程稱為回歸方程。簡單線性回歸方程的形式如下

E(y)=

0+

1x方程的圖示是一條直線，因此也稱為直線回歸方程

0是回歸直線在y軸上的截距，是當(dāng)x=0時(shí)y的期望值

1是直線的斜率，稱為回歸系數(shù)，表示當(dāng)x每變動(dòng)一個(gè)單位時(shí)，y的平均變動(dòng)值40簡單線性回歸中估計(jì)的回歸方程為其中：是估計(jì)的回歸直線在y軸上的截距，是直線的斜率，它表示對于一個(gè)給定的x的值，是y的估計(jì)值，也表示x每變動(dòng)一個(gè)單位時(shí)，y的平均變動(dòng)值。

用樣本統(tǒng)計(jì)量和代替回歸方程中的未知參數(shù)和，就得到了估計(jì)的回歸方程?？傮w回歸參數(shù)和

是未知的，必需利用樣本數(shù)據(jù)去估計(jì)41三、模型參數(shù)的估計(jì)使因變量的觀察值與估計(jì)值之間的離差平方和達(dá)到最小來求得和的方法。即用最小二乘法擬合的直線來代表x與y之間的關(guān)系與實(shí)際數(shù)據(jù)的誤差比其他任何直線都小。42最小二乘法（圖示）xy(xn,yn)(x1,y1)

(x2,y2)(xi,yi)｝ei=yi-yi＾43（一）回歸參數(shù)的點(diǎn)估計(jì)

設(shè)將Ｑ對求偏導(dǎo)數(shù)，并令其等于零，可得:

加以整理后有：

44最小二乘法（

和的計(jì)算公式）

解方程組可得求解和的標(biāo)準(zhǔn)方程如下：45例：現(xiàn)以前例的資料配合回歸直線，計(jì)算如下：4647

上式中b表示人口增加量每增加（或減少）1千人，該種食品的年需求量平均來說增加（或減少）0.5301十噸即5.301噸。48（二）總體方差的估計(jì)實(shí)際觀察值與回歸估計(jì)值離差平方和的均方根。反映實(shí)際觀察值在回歸直線周圍的分散狀況。從另一個(gè)角度說明了回歸直線的擬合程度。計(jì)算公式為4950可得簡化式：（P164）上式的推導(dǎo)證明（P164）51四、一元線性回歸模型的檢驗(yàn)（一）回歸模型檢驗(yàn)的種類回歸模型的檢驗(yàn)包括理論意義檢驗(yàn)、一級檢驗(yàn)和二級檢驗(yàn)。（二）擬合程度的評價(jià)所謂擬合程度，是指樣本觀測值聚集在樣本回歸線周圍的緊密程度。判斷回歸模型擬合程度優(yōu)劣最常用的數(shù)量尺度是樣本決定系數(shù)（又稱決定系數(shù)）。它是建立在對總離差平方和進(jìn)行分解的基礎(chǔ)之上的。52總離差平方和的分解因變量y的取值是不同的，y取值的這種波動(dòng)稱為變差。變差來源于兩個(gè)方面：由于自變量x的取值不同造成的；除x以外的其他因素(如x對y的非線性影響、測量誤差等)的影響。對一個(gè)具體的觀測值來說，變差的大小可以通過該實(shí)際觀測值與其均值之差來表示。53離差平方和的分解xy{}}

離差分解圖54離差平方和的分解2.兩端平方后求和有從圖上看有SST=SSR+SSE總變差平方和（SST）{回歸平方和（SSR）{殘差平方和（SSE）{55總平方和(SST)反映因變量的n個(gè)觀察值與其均值的總離差回歸平方和(SSR)反映自變量x的變化對因變量y取值變化的影響，或者說，是由于x與y之間的線性關(guān)系引起的y的取值變化，也稱為可解釋的平方和。殘差平方和(SSE)反映除x以外的其他因素對y取值的影響，也稱為不可解釋的平方和或剩余平方和。56樣本決定系數(shù)（判定系數(shù)r2

）回歸平方和占總離差平方和的比例：反映回歸直線的擬合程度取值范圍在[0,1]之間

r21，說明回歸方程擬合的越好；r20，說明回歸方程擬合的越差判定系數(shù)等于相關(guān)系數(shù)的平方，即r2＝(r)257（三）顯著性檢驗(yàn)-回歸方程的顯著性檢驗(yàn)檢驗(yàn)自變量和因變量之間的線性關(guān)系是否顯著具體方法是將回歸離差平方和(SSR)同殘差平方和(SSE)加以比較，應(yīng)用F檢驗(yàn)來分析二者之間的差別是否顯著如果是顯著的，兩個(gè)變量之間存在線性關(guān)系如果不顯著，兩個(gè)變量之間不存在線性關(guān)系58提出假設(shè)H0：線性關(guān)系不顯著2.計(jì)算檢驗(yàn)統(tǒng)計(jì)量F確定顯著性水平，并根據(jù)分子自由度1和分母自由度n-2找出臨界值F

作出決策：若F>F

,拒絕H0；若F<F

,接受H059（三）顯著性檢驗(yàn)-回歸系數(shù)的顯著性檢驗(yàn)在一元線性回歸中，等價(jià)于回歸方程的顯著性檢驗(yàn)檢驗(yàn)自變量x對因變量y的影響是否顯著理論基礎(chǔ)是回歸系數(shù)

的抽樣分布60

是根據(jù)最小二乘法求出的樣本統(tǒng)計(jì)量，它有自