社會(huì)統(tǒng)計(jì)學(xué)：第13章 回歸與相關(guān)

第13章相關(guān)與回歸

(定距變量與定距變量)13.1

相關(guān)關(guān)系的度量13.2一元線性回歸13.3利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè)13.1相關(guān)關(guān)系的度量13.1.1變量間的關(guān)系13.1.2相關(guān)關(guān)系的描述與測(cè)度13.1.3相關(guān)系數(shù)的顯著性檢驗(yàn)13.1.1變量間的關(guān)系一、函數(shù)關(guān)系設(shè)有兩個(gè)變量x和y，變量y隨變量x一起變化，并完全依賴(lài)于x

，當(dāng)變量x取某個(gè)數(shù)值時(shí)，

y依確定的關(guān)系取相應(yīng)的值，則稱(chēng)y是x的函數(shù)，記為y=f(x)，其中x稱(chēng)為自變量，y稱(chēng)為因變量。是一一對(duì)應(yīng)的確定關(guān)系，由一個(gè)變量可以完全的確定另一個(gè)變量。各觀測(cè)點(diǎn)落在一條線上。

xy函數(shù)關(guān)系

(幾個(gè)例子)

函數(shù)關(guān)系的例子某種商品的銷(xiāo)售額y與銷(xiāo)售量x之間的關(guān)系可表示為y=px(p為常數(shù)：?jiǎn)蝺r(jià))；圓的面積S與半徑之間的關(guān)系可表示為S=

R2

（

=3.14）。

二、相關(guān)關(guān)系

(correlation)變量間存在著關(guān)系，但這種關(guān)系是非確定性的。當(dāng)變量

x取某個(gè)值時(shí)，變量y的取值可能有幾個(gè)。各觀測(cè)點(diǎn)分布在直線周?chē)?/p>

xy（一）什么叫相關(guān)關(guān)系？1、任何一個(gè)現(xiàn)象的產(chǎn)生，究其原因都是多方面的。2、一個(gè)變量的取值不能由另一個(gè)變量唯一確定。3、當(dāng)我們只研究其中某一個(gè)原因，而對(duì)其他因素未予控制時(shí)，變量間的關(guān)系就表現(xiàn)為非確定的相關(guān)關(guān)系而非確定的函數(shù)關(guān)系。相關(guān)關(guān)系

(幾個(gè)例子)

相關(guān)關(guān)系的例子子女身高y與父親身高x之間的關(guān)系；收入水平y(tǒng)與受教育程度x之間的關(guān)系；商品的消費(fèi)量y與居民收入x之間的關(guān)系；商品銷(xiāo)售額y與廣告費(fèi)支出x之間的關(guān)系。（二）相關(guān)研究的對(duì)象相關(guān)關(guān)系（correlation）往往是伴隨、共存的關(guān)系，兩個(gè)變量的地位是平等的。當(dāng)然也不排斥以一方為主的情況，但作為相關(guān)關(guān)系，一般不再追究孰因孰果。下列幾種情況都可以作為相關(guān)研究的對(duì)象：

w（x,y間的關(guān)系，是由于共同的因素w所造成的,）xy例：x—女性消費(fèi)意識(shí)，y—女性離婚，w—女性經(jīng)濟(jì)地位例：x—家長(zhǎng)教育期望，y—子女的教育期望13.1.2相關(guān)關(guān)系的描述與測(cè)度

一、散布圖（散點(diǎn)圖）

(scatterdiagram)

不相關(guān)

負(fù)線性相關(guān)

正線性相關(guān)

非線性相關(guān)

完全負(fù)線性相關(guān)完全正線性相關(guān)

二、相關(guān)系數(shù)

(correlationcoefficient)對(duì)變量之間關(guān)系密切程度的度量。對(duì)兩個(gè)變量之間線性相關(guān)程度的度量稱(chēng)為線性相關(guān)系數(shù)，簡(jiǎn)稱(chēng)相關(guān)系數(shù)。若相關(guān)系數(shù)是根據(jù)總體全部數(shù)據(jù)計(jì)算的，稱(chēng)為總體相關(guān)系數(shù)，記為。若是根據(jù)樣本數(shù)據(jù)計(jì)算的，則稱(chēng)為樣本相關(guān)系數(shù)，記為r。相關(guān)系數(shù)的計(jì)算（一）協(xié)方差(covariance)

協(xié)方差表示x和y兩變量觀測(cè)值相對(duì)其各自均值所造成的共同平均偏差。缺點(diǎn)：協(xié)方差的數(shù)值與單位有關(guān)，因此不同單位的變量無(wú)法進(jìn)行比較。（二）相關(guān)系數(shù)

相關(guān)系數(shù)的計(jì)算公式可見(jiàn)，相關(guān)系數(shù)是標(biāo)準(zhǔn)化了的協(xié)方差?；蚝?jiǎn)化為：例見(jiàn)page363【例5】相關(guān)系數(shù)

(取值及其意義)

r

的取值范圍是[-1,1]

|r|=1，為完全相關(guān)r=1，為完全正相關(guān)r=-1，為完全負(fù)正相關(guān)

r=0，不存在線性相關(guān)關(guān)系

-1

r<0，為負(fù)相關(guān)

0<r

1，為正相關(guān)

|r|越趨于1表示關(guān)系越密切；|r|越趨于0表示關(guān)系越不密切相關(guān)系數(shù)

(取值及其意義)-1.0+1.00-0.5+0.5完全負(fù)相關(guān)無(wú)線性相關(guān)完全正相關(guān)r相關(guān)系數(shù)只是用來(lái)表示變量間相關(guān)程度的指標(biāo)，而不是相關(guān)數(shù)值的等單位度量。例如：不能說(shuō)相關(guān)系數(shù)0.6是0.3的2倍，只能說(shuō)相關(guān)系數(shù)0.6的兩個(gè)變量的關(guān)系比相關(guān)系數(shù)0.3的兩個(gè)變量關(guān)系更強(qiáng)。三、相關(guān)系數(shù)的顯著性檢驗(yàn)相關(guān)系數(shù)的顯著性檢驗(yàn)

(檢驗(yàn)的步驟)1. 檢驗(yàn)兩個(gè)變量之間是否存在線性相關(guān)關(guān)系采用

t檢驗(yàn)檢驗(yàn)的步驟為提出假設(shè)：H0：

；H1：

0

計(jì)算檢驗(yàn)的統(tǒng)計(jì)量：

確定顯著性水平，并作出決策若t>t

，拒絕H0

若t<t

，不能拒絕H0相關(guān)系數(shù)的顯著性檢驗(yàn)

(簡(jiǎn)化方法，現(xiàn)在常用的)計(jì)算r值r與相比較（k=n-2），見(jiàn)附表8拒絕域注：相關(guān)系數(shù)受變量取值范圍的影響很大。因此在給出相關(guān)系數(shù)的同時(shí)，還應(yīng)給出變量的取值范圍（p360圖12-15，圖12-16）。例見(jiàn)page363【例5】13.2一元線性回歸13.2.1一元線性回歸13.2.2回歸直線方程的建立與最小二乘法13.2.3回歸直線的擬合優(yōu)度13.2.4顯著性檢驗(yàn)“回歸”的來(lái)源“回歸”一詞，最早來(lái)源于生物學(xué)。英國(guó)生物統(tǒng)計(jì)學(xué)家高爾頓，根據(jù)1078對(duì)父、子身高的散布圖發(fā)現(xiàn)，雖然身材高的父母比身材矮的父母傾向于有高的孩子，但平均而言，身材高大的其子要矮些，而身材矮小的其子要高些。或者說(shuō)，無(wú)論高個(gè)子還是矮個(gè)子的后代，都有向均值方向拉回的傾向。這種遺傳上身高趨于一般、“退化到平庸”的現(xiàn)象，高爾頓稱(chēng)之為回歸。回歸分析與相關(guān)分析的區(qū)別1、相關(guān)關(guān)系往往是伴隨、共存的關(guān)系。一般不再追究孰因孰果；回歸分析中，變量y稱(chēng)為因變量，處在被解釋的地位，x稱(chēng)為自變量，用于預(yù)測(cè)因變量的變化。2、相關(guān)分析中所涉及的變量x和y都是隨機(jī)變量；回歸分析中，因變量y是隨機(jī)變量，自變量x

可以是隨機(jī)變量，也可以是非隨機(jī)的確定變量；3、相關(guān)分析主要是描述兩個(gè)變量之間線性關(guān)系的密切程度；回歸分析不僅可以揭示變量x對(duì)變量y的影響大小，還可以由回歸方程進(jìn)行預(yù)測(cè)和控制。4.相關(guān)關(guān)系是因果關(guān)系的必要非充分條件。若變量x和y之間相關(guān)，要得出因果關(guān)系，必須同時(shí)滿(mǎn)足3個(gè)條件：①x和y不對(duì)稱(chēng)；②x和y有先后；③x和y的變化不受第三個(gè)變量的影響，即不存在偽相關(guān)。選擇回歸分析？還是選擇相關(guān)分析？☆到底該用回歸還是相關(guān)，在于你的研究目的是什么?！钊魞H僅為了了解兩變量之間呈直線關(guān)系的密切程度和方向，則選用線性相關(guān)分析；若為了建立由自變量推算因變量的直線回歸方程，則選用直線回歸分析?！顝馁Y料所具備的條件來(lái)說(shuō)，作相關(guān)分析時(shí)要求兩變量都是隨機(jī)變量；作回歸分析時(shí)要求因變量是隨機(jī)變量，自變量可以是隨機(jī)的，也可以是一般變量。一個(gè)自變量，一因一果多個(gè)自變量多因一果一般來(lái)說(shuō)，統(tǒng)計(jì)可以根據(jù)目前所擁有的信息（數(shù)據(jù)）來(lái)建立人們所關(guān)心的變量和其他有關(guān)變量的關(guān)系。這種關(guān)系一般稱(chēng)為模型（model）?！镌诙鄶?shù)情況下，多個(gè)變量的關(guān)系又可以分解為若干個(gè)二變量之間的關(guān)系，即多變量之間的關(guān)系可以通過(guò)若干二變量間的關(guān)系來(lái)描述。★雖然在自然界和社會(huì)生活中，曲線相關(guān)現(xiàn)象遠(yuǎn)比直線相關(guān)多，但由于數(shù)學(xué)手段的局限，社會(huì)研究中多以闡述線性相關(guān)為主。文化程度平等就業(yè)機(jī)會(huì)女性就業(yè)女性社會(huì)地位13.2.1一元線性回歸一元線性回歸方程涉及一個(gè)自變量（也叫解釋變量或協(xié)變量）。因變量（也叫響應(yīng)變量）y與自變量x之間為線性關(guān)系。被預(yù)測(cè)或被解釋的變量稱(chēng)為因變量(dependentvariable)，用y表示。用來(lái)預(yù)測(cè)或用來(lái)解釋因變量的變量稱(chēng)為自變量(independentvariable)，用x表示。因變量與自變量之間的關(guān)系用一個(gè)線性方程來(lái)表示。

1、自變量取某一值時(shí)，因變量對(duì)應(yīng)于一概率分布，又稱(chēng)條件分布。如果對(duì)于所有的x，條件分布都相同，說(shuō)明x與y是沒(méi)有關(guān)系的，反之x與y是有關(guān)系。2、分布的比較是復(fù)雜的，因此簡(jiǎn)化為在x不同取值下，y數(shù)字特征的比較。其中最簡(jiǎn)單的就是均值的比較。一元線性回歸方程

(regressionequation)描述y的平均值如何依賴(lài)于x的方程稱(chēng)為回歸方程。一元線性回歸方程的形式如下

E(y)=+

x方程的圖示是一條直線，也稱(chēng)為直線回歸方程。

是回歸直線在y軸上的截距，稱(chēng)為回歸常數(shù)。

是直線的斜率，稱(chēng)為回歸系數(shù)，表示當(dāng)x每變動(dòng)一個(gè)單位時(shí)，y的平均變動(dòng)值。誤差項(xiàng)e是隨機(jī)變量：

e反映了除x和y之間的線性關(guān)系之外的隨機(jī)因素對(duì)y的影，是不能由x和y之間的線性關(guān)系所解釋的變異性。

估計(jì)的回歸方程

(estimatedregressionequation)一元線性回歸中估計(jì)的回歸方程為用樣本統(tǒng)計(jì)量和代替回歸方程中的未知參數(shù)和，就得到了估計(jì)的回歸方程總體回歸參數(shù)和

是未知的，必須利用樣本數(shù)據(jù)去估計(jì)其中：是估計(jì)的回歸直線在y

軸上的截距，是直線的斜率，它表示對(duì)于一個(gè)給定的x

的值，是y

的估計(jì)值，也表示x

每變動(dòng)一個(gè)單位時(shí)，y的平均變動(dòng)值

a,b的值如何確定？13.2.2回歸直線方程的建立與最小二乘法最小二乘法☆1801年1月，意大利天文學(xué)家皮亞齊發(fā)現(xiàn)了第一顆小行星谷神星。☆經(jīng)過(guò)40天的跟蹤觀測(cè)后，由于谷神星運(yùn)行至太陽(yáng)背后，使得皮亞齊失去了谷神星的位置。隨后全世界的科學(xué)家利用皮亞齊的觀測(cè)數(shù)據(jù)開(kāi)始尋找谷神星，都沒(méi)有結(jié)果。谷神星☆1801年9月，當(dāng)時(shí)24歲的高斯也計(jì)算了谷神星的軌道，這幫助奧地利天文學(xué)家?jiàn)W爾伯斯根據(jù)高斯計(jì)算出來(lái)的軌道重新發(fā)現(xiàn)了谷神星?！罡咚故褂玫淖钚《朔ǖ姆椒òl(fā)表于1809年他的著作《天體運(yùn)動(dòng)論》中。使因變量的觀察值與估計(jì)值之間的離差平方和達(dá)到最小來(lái)求得a和b的方法。即用最小二乘法擬合的直線來(lái)代表x與y之間的關(guān)系與實(shí)際數(shù)據(jù)的誤差比其他任何直線都小。最小二乘估計(jì)

(圖示)xy(xn,yn)(x1,y1)

(x2,y2)(xi,yi)｝ei=yi-yi＾最小二乘法

(a和b的計(jì)算公式)

根據(jù)最小二乘法的要求，可得求解a和b的公式如下例見(jiàn)page345【例1】13.2.3回歸直線的擬合優(yōu)度擬合優(yōu)度：指回歸直線對(duì)觀測(cè)值的擬合程度。若觀測(cè)點(diǎn)離回歸直線近，則擬合程度好；反之則擬合程度差。變差

因變量

y的取值是不同的，y取值的這種波動(dòng)稱(chēng)為變差。變差來(lái)源于兩個(gè)方面由于自變量x的取值不同造成的。除x以外的其他因素(如x對(duì)y的非線性影響、測(cè)量誤差等)的影響。變差的分解

(圖示)xyy{}}

TSSRSSRSSRE1E2E1-E2離差平方和的分解

(三個(gè)平方和的關(guān)系)TSS=RSS+RSSR總平方和(TSS){回歸平方和(RSSR)剩余平方和(RSS){{離差平方和的分解

(三個(gè)平方和的意義)總平方和(TSS)反映不知道x與y有關(guān)系,估計(jì)y的總誤差E1剩余平方和(RSS)反映知道x與y有關(guān)系，估計(jì)y的總誤差E2,是通過(guò)回歸直線進(jìn)行估計(jì)的誤差,3.回歸平方和(RSSR)反映通過(guò)回歸直線被解釋掉的誤差，也稱(chēng)為可解釋的平方和判定系數(shù)r2

(coefficientofdetermination)回歸平方和占總離差平方和的比例反映回歸直線的擬合程度取值范圍在[0,1]之間

R2

1，說(shuō)明回歸方程擬合的越好；R2

0，說(shuō)明回歸方程擬合的越差判定系數(shù)等于相關(guān)系數(shù)的平方，r2判定系數(shù)r2

(coefficientofdetermination)6.判定系數(shù)的意義它表示當(dāng)知道x和y有線性的相關(guān)關(guān)系后,可以改善的預(yù)測(cè)程度,或可以用x解釋掉y的誤差.例如:r2=0.75,表示當(dāng)知道x和y有線性關(guān)系后,可以改善預(yù)測(cè)程度的75%或可以用x解釋掉y的75%的誤差.13.2.4回歸方程的顯著性檢驗(yàn)線性回歸模型的假定條件

（對(duì)總體線性相關(guān)、同方差和獨(dú)立的假定）1、線性要求x和y之間是線性相關(guān)。（見(jiàn)p348【例2】）2、同方差由于x和y之間存在相關(guān)關(guān)系，對(duì)于x的每一個(gè)取值x=xi,y的取值yi是隨機(jī)變量，或稱(chēng)y的子總體。要求y的所有子總體yi，其方差都相等。（見(jiàn)p349【例3】）3、獨(dú)立要求yi是獨(dú)立的，即y1的數(shù)值不影響y2的數(shù)值，各y值之間沒(méi)有關(guān)系。回歸方程的檢驗(yàn)

(檢驗(yàn)的步驟)提出假設(shè)H0：

=0H1：

02.計(jì)算檢驗(yàn)統(tǒng)計(jì)量F確定顯著性水平

，并根據(jù)分子自由度1和分母自由度n-2找出臨界值F

作出決策：若F>F

,拒絕H0；若F<F

,不拒絕H0見(jiàn)page353例見(jiàn)p354【例4】回歸系數(shù)與相關(guān)系數(shù)相關(guān)系數(shù)與回歸系數(shù)的檢驗(yàn)：如果r通過(guò)了檢驗(yàn)，也必然會(huì)導(dǎo)致

通過(guò)檢驗(yàn)（p364）。2.相關(guān)系數(shù)與回歸系數(shù)的意義不同

r表示真實(shí)數(shù)據(jù)與回歸直線靠攏的程度；

表示回歸直線的傾斜程度，表示自變量對(duì)因變量的影響的大小和方向，且無(wú)法反應(yīng)真實(shí)數(shù)據(jù)與回歸直線的關(guān)系，反應(yīng)的是y的均值的變動(dòng)情況。（p366，圖12-18和圖12-19）3.相關(guān)系數(shù)是雙向的，回歸系數(shù)是單向的。（p366）4.相關(guān)系數(shù)的取值范圍是【-1，+1】，回歸系數(shù)的大小不限于【-1，+1】，它的大小取決于變量的單位。如果希望b~【-1，+1】，須使其標(biāo)準(zhǔn)化。（p367）婦女教育年限x(年)家務(wù)勞動(dòng)時(shí)間y(小時(shí))ABCDEFGHI223344468544311000如果教育年限單位由“年”改為“月”或“天”，則b值會(huì)相當(dāng)小。練習(xí)判斷：1、協(xié)方差可以用來(lái)度量線性相關(guān)強(qiáng)度，并且是一個(gè)標(biāo)準(zhǔn)化的度量。2、x和y之間高度相關(guān)證明x引起了y。3、如果知道了r的值接近0，可以估計(jì)回歸系數(shù)b的值也接近0。13.3利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè)13.3.1點(diǎn)估計(jì)13.3.2區(qū)間估計(jì)利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè)根據(jù)自變量x

的取值估計(jì)或預(yù)測(cè)因變量y的取值估計(jì)或預(yù)測(cè)的類(lèi)型點(diǎn)估計(jì)區(qū)間估計(jì)點(diǎn)估計(jì)

點(diǎn)估計(jì)指的是利用估計(jì)的回歸方程，對(duì)于自變量x的一個(gè)給定值x0

，求出因變量y

的一個(gè)個(gè)別值

由于真實(shí)的，其中誤差項(xiàng)是未知的，而回歸方程中，，因此其作為y的點(diǎn)估計(jì)值。區(qū)間估計(jì)點(diǎn)估計(jì)不能給出估計(jì)的精度，點(diǎn)估計(jì)值與實(shí)際值之間是有誤差的，因此需要進(jìn)行區(qū)間估計(jì)。區(qū)間估計(jì)指的是對(duì)于自變量

x的一個(gè)給定值x0，根據(jù)回歸方程得到因變量y的一個(gè)估計(jì)區(qū)間。預(yù)測(cè)區(qū)間估計(jì)假定條件：

其中，預(yù)測(cè)隨機(jī)變量y的標(biāo)準(zhǔn)差。y0在1-

置信水平下的預(yù)測(cè)區(qū)間為

其中,例見(jiàn)page369【例7】總結(jié)1、比較相關(guān)與回歸。（1）從變量關(guān)系類(lèi)型來(lái)看，相關(guān)關(guān)系往往是伴隨、共存的關(guān)系。X和y的地位是平等的，一般不再追究孰因孰果；回歸分析中，變量y為因變量，處在被解釋的地位，x為自變量，用于預(yù)測(cè)因變量的變化。（2）從變量類(lèi)型來(lái)看，相關(guān)分析中所涉及的變量x和y都是隨機(jī)變量（例如研究人的身高與體重的關(guān)系）；回歸分析中，因變量y是隨機(jī)變量，自變量x

可以是隨機(jī)變量，也可以是非隨機(jī)的確定變量（即可以事先指定變量的取值，如收入的多少）；（3）從功能上來(lái)看，相關(guān)分析主要是描述兩個(gè)變量之間線性關(guān)系的密切程度；回歸分析是描述兩個(gè)變量關(guān)系的具體形式，不僅可以解釋變量x對(duì)變量y的影響大小，還可以由回歸方程進(jìn)行預(yù)測(cè)和控制?？刂瓶梢钥闯墒穷A(yù)測(cè)的反問(wèn)題，即要求y落在一定范圍內(nèi)，應(yīng)如何控制x?（不講，社會(huì)研究很少涉及。）2、比較相關(guān)系數(shù)、判定系數(shù)和回歸系數(shù)。（1）相關(guān)系數(shù)☆是對(duì)變量之間關(guān)系密切程度的度量?！畋硎菊鎸?shí)數(shù)據(jù)與回歸直線靠攏的程度?！钊≈捣秶?1，+1】（2）判定系數(shù)☆數(shù)量上等于相關(guān)系數(shù)的平方?！钊≈捣秶?,1】，R2

1，說(shuō)明回歸方程擬合的越好；R20，說(shuō)明回歸方程擬合的越差?！钆卸ㄏ禂?shù)的意義：它表示當(dāng)知道x和y有線性的相關(guān)關(guān)系后,可以改善的預(yù)測(cè)程度,或可以用x解釋掉y的誤差。（3）回歸系數(shù)☆一元線性回歸方程

E(y)=+

x，其中

是直線的斜率，稱(chēng)為回歸系數(shù)?！钏硎净貧w直線的傾斜程度，表示自變量對(duì)因變量的影響的大小和方向。它無(wú)法反應(yīng)真實(shí)數(shù)據(jù)與回歸直線的關(guān)系，反應(yīng)的是當(dāng)x每變動(dòng)一個(gè)單位時(shí)，y