相關(guān)與回歸分析

第六章相關(guān)與回歸分析

第一節(jié)相關(guān)與回歸的基本概念第二節(jié)一元線性回歸分析第一節(jié)相關(guān)與回歸的基本概念函數(shù)關(guān)系與相關(guān)關(guān)系相關(guān)關(guān)系的種類相關(guān)分析與回歸分析相關(guān)關(guān)系的判斷方法一、函數(shù)關(guān)系與相關(guān)關(guān)系(一)函數(shù)關(guān)系1.定義當(dāng)一個(gè)或幾個(gè)變量取一定的值時(shí)，另一個(gè)變量有確定值與之相對應(yīng)，我們稱這種關(guān)系為確定性的函數(shù)關(guān)系。2.函數(shù)關(guān)系特點(diǎn)（1）是一一對應(yīng)的確定關(guān)系；（2）設(shè)有兩個(gè)變量x和y，變量y隨變量x一起變化，并完全依賴于x

，當(dāng)變量x取某個(gè)數(shù)值時(shí)，

y依確定的關(guān)系取相應(yīng)的值，則稱y是x的函數(shù)，記為y=f(x)，其中x稱為自變量，y稱為因變量（3）各觀測點(diǎn)(x,y)落在一條線上

xy3.函數(shù)關(guān)系舉例函數(shù)關(guān)系的例子某種商品的銷售額(y)與銷售量(x)之間的關(guān)系可表示為y=p

x(p為單價(jià))圓的面積與半徑之間的關(guān)系可表示為S=r2

企業(yè)的原材料消耗額(y)與產(chǎn)量(x1)

、單位產(chǎn)量消耗(x2)

、原材料價(jià)格(x3)之間的關(guān)系可表示為y=x1x2x3

1.定義：當(dāng)一個(gè)或幾個(gè)相互聯(lián)系的變量取一定數(shù)值時(shí)，與之相對應(yīng)的另一變量的值雖然不確定，但它仍按某種規(guī)律在一定的范圍內(nèi)變化。變量間的這種關(guān)系稱為具有不確定性的相關(guān)關(guān)系。

現(xiàn)象之間客觀存在的不嚴(yán)格、不確定的數(shù)量依存關(guān)系。（二）相關(guān)關(guān)系2.相關(guān)關(guān)系特點(diǎn)（1）變量間關(guān)系不能用函數(shù)關(guān)系精確表達(dá)；（2）一個(gè)變量的取值不能由另一個(gè)變量唯一確定；當(dāng)變量x取某個(gè)值的時(shí)候，變量y的取值可能有幾個(gè)；（3）各觀測點(diǎn)（x，y）分布在某條線的周圍。xy相關(guān)關(guān)系的例子商品的消費(fèi)量(y)與居民收入(x)之間的關(guān)系商品的消費(fèi)量(y)與物價(jià)(x)之間的關(guān)系商品銷售額(y)與廣告費(fèi)支出(x)之間的關(guān)系糧食畝產(chǎn)量(y)與施肥量(x1)、降雨量(x2)、溫度(x3)之間的關(guān)系收入水平(y)與受教育程度(x)之間的關(guān)系3.相關(guān)關(guān)系舉例二、相關(guān)關(guān)系的種類相關(guān)關(guān)系按相關(guān)程度分類按相關(guān)方向分類按相關(guān)形式分類按所研究變量多少分類（1）完全相關(guān)：當(dāng)一種現(xiàn)象的數(shù)量變化完全由另一種現(xiàn)象的數(shù)量變化所確定時(shí)，稱這兩種現(xiàn)象間的關(guān)系為完全相關(guān)。（2）不相關(guān)：當(dāng)兩種現(xiàn)象互不影響，其數(shù)量變化各自獨(dú)立時(shí)，稱為不相關(guān)現(xiàn)象。（3）兩種現(xiàn)象之間的關(guān)系介于完全相關(guān)和不相關(guān)之間，稱為不完全相關(guān)。1.按相關(guān)的程度可劃分為:完全相關(guān)，不完全相關(guān)和不相關(guān)（1）當(dāng)兩種相關(guān)現(xiàn)象之間的關(guān)系大致呈現(xiàn)為線性關(guān)系時(shí)，稱之為線性相關(guān)。（2）當(dāng)兩種相關(guān)現(xiàn)象之間的關(guān)系不表現(xiàn)為直線關(guān)系，而是近似于某種曲線方程的關(guān)系，則這種相關(guān)關(guān)系稱為非線性相關(guān)。2.按相關(guān)的形式可劃分為:

線性相關(guān)，非線性相關(guān)（1）正相關(guān)：兩個(gè)相關(guān)現(xiàn)象間，當(dāng)一個(gè)變量的數(shù)值增加（或減少）時(shí)，另一個(gè)變量的數(shù)值也隨之增加（或減少），即同方向變化。

例如收入與消費(fèi)的關(guān)系。（2）負(fù)相關(guān)：當(dāng)一個(gè)變量的數(shù)值增加（或減少）時(shí)，而另一個(gè)變量的數(shù)值相反地呈減少（或增加）趨勢變化，即反方向變化。

例如物價(jià)與消費(fèi)的關(guān)系。3.按相關(guān)的方向可劃分為:

正相關(guān)，負(fù)相關(guān)（1）當(dāng)只研究兩個(gè)變量時(shí)，它們之間的相關(guān)，稱為單相關(guān)。（2）當(dāng)所研究的是一個(gè)變量對兩個(gè)或兩個(gè)以上其他變量的相關(guān)關(guān)系時(shí)，稱為復(fù)相關(guān)。例如，某種商品的需求與其價(jià)格水平以及收入水平之間的相關(guān)關(guān)系便是一種復(fù)相關(guān)。（3）在某一現(xiàn)象與多種現(xiàn)象相關(guān)的場合，假定其他變量不變，只考察其中兩個(gè)變量的相關(guān)關(guān)系稱為偏相關(guān)。例如，在假定人們的收入水平不變的條件下，某種商品的需求與其價(jià)格水平的關(guān)系就是一種偏相關(guān)。

4.按相關(guān)關(guān)系涉及的變量多少可劃分為:

單相關(guān)，復(fù)相關(guān)和偏相關(guān)相關(guān)關(guān)系的圖示不相關(guān)負(fù)線性相關(guān)正線性相關(guān)非線性相關(guān)完全負(fù)線性相關(guān)完全正線性相關(guān)三、相關(guān)分析與回歸分析（一）概念：1.相關(guān)分析就是用一個(gè)指標(biāo)來表明現(xiàn)象間相互依存關(guān)系的密切程度。廣義的相關(guān)分析包括相關(guān)關(guān)系的分析（狹義的相關(guān)分析）和回歸分析。2.回歸分析是指對具有相關(guān)關(guān)系的現(xiàn)象，根據(jù)其相關(guān)關(guān)系的具體形態(tài)，選擇一個(gè)合適的數(shù)學(xué)模型（稱為回歸方程式），來近似地表達(dá)變量間的平均變化關(guān)系的一種統(tǒng)計(jì)分析方法。（1）在相關(guān)分析中，不必確定自變量和因變量；而在回歸分析中，必須事先確定哪個(gè)為自變量，哪個(gè)為因變量，而且只能從自變量去推測因變量，而不能從因變量去推斷自變量。（2）相關(guān)分析不能指出變量間相互關(guān)系的具體形式；而回歸分析能確切的指出變量之間相互關(guān)系的具體形式。（二）相關(guān)分析與回歸分析的關(guān)系1.區(qū)別它們不僅具有共同的研究對象，而且在具體應(yīng)用時(shí)，常常必須互相補(bǔ)充。相關(guān)分析需要依靠回歸分析來表明現(xiàn)象數(shù)量相關(guān)的具體形式，而回歸分析則需要依靠相關(guān)分析來表明現(xiàn)象數(shù)量變化的相關(guān)程度。只有當(dāng)變量之間存在著高度相關(guān)時(shí)，進(jìn)行回歸分析尋求其相關(guān)的具體形式才有意義。簡單說：1、相關(guān)分析是回歸分析的基礎(chǔ)和前提；2、回歸分析是相關(guān)分析的深入和繼續(xù)。2.聯(lián)系定性分析是依據(jù)研究者的理論知識和實(shí)踐經(jīng)驗(yàn)，對客觀現(xiàn)象之間是否存在相關(guān)關(guān)系，以及何種關(guān)系作出判斷。定量分析在定性分析的基礎(chǔ)上，通過編制相關(guān)表、繪制相關(guān)圖、計(jì)算相關(guān)系數(shù)等方法，來判斷現(xiàn)象之間相關(guān)的方向、形態(tài)及密切程度。四、相關(guān)關(guān)系的判斷（一）相關(guān)表相關(guān)表是一種反映變量之間相關(guān)關(guān)系的統(tǒng)計(jì)表。將自變量x的數(shù)值按照從小到大的順序排列，然后再將與其相關(guān)的因變量y的對應(yīng)數(shù)值平行排列，便可形成簡單的相關(guān)表。

例：為了研究分析某種產(chǎn)品完成量與其單位產(chǎn)品成本之間的關(guān)系，調(diào)查30個(gè)同類公司得到的原始數(shù)據(jù)如表。 整理后有（二）相關(guān)圖相關(guān)圖也稱散點(diǎn)圖，是在平面直角坐標(biāo)系中，以橫軸表示變量x，縱軸表示變量y，將兩者對應(yīng)的數(shù)值形成的坐標(biāo)點(diǎn)（x,y）在圖中標(biāo)出，即可看出變量之間關(guān)系密切程度。如下圖（銷售收入與廣告費(fèi)相關(guān)圖）銷售收入與廣告費(fèi)相關(guān)圖（三）相關(guān)系數(shù)及其計(jì)算1.相關(guān)系數(shù)早在1890年，英國統(tǒng)計(jì)學(xué)家皮爾生（Pearson）便提出了一個(gè)測定兩個(gè)變量線性關(guān)系的計(jì)算公式，通常稱為積距相關(guān)系數(shù)。計(jì)算公式：式中：分子是兩個(gè)變量x和y的協(xié)方差；分母是兩個(gè)變量的標(biāo)準(zhǔn)差。協(xié)方差是對X與Y變量線性相關(guān)的測度。為了更直觀的理解協(xié)方差的意義，可將X與Y的散點(diǎn)圖按過X與Y的兩直線劃分為四個(gè)象限，可以看到：在第Ⅰ象限中：∵（X-X）>0,(Y-Y)>0∴（X-X)(Y-Y)>0在第Ⅱ象限中：∵（X-X）<0,(Y-Y)>0∴（X-X)(Y-Y)<0在第Ⅲ象限中：∵（X-X）<0,(Y-Y)<0∴（X-X)(Y-Y)>0在第Ⅳ象限中：∵（X-X）>0,(Y-Y)<0∴（X-X)(Y-Y)<02.相關(guān)關(guān)系的測度

（相關(guān)系數(shù)）

樣本相關(guān)系數(shù)的計(jì)算公式或化簡為計(jì)算相關(guān)系數(shù)的“積差法”例1.某企業(yè)10名工人的工齡和年工資資料如下：職工編號12345678910工齡X(年)44567889910工資Y（百元）42465060646874728084要求：計(jì)算相關(guān)系數(shù)，已知條件如下例2.某企業(yè)200名工人的工齡和年工資資料如下，計(jì)算兩者的相關(guān)系數(shù)，已知條件如下：

表1我國人均國民收入與人均消費(fèi)金額數(shù)據(jù)

單位:元年份人均國民收入人均消費(fèi)金額年份人均國民收入人均消費(fèi)金額1981198219831984198519861987393.8419.14460.86544.11668.29737.73859.972492672893294064515131988198919901991199219931068.81169.21250.71429.51725.92099.56436907138039471148【例】在研究我國人均消費(fèi)水平的問題中，把全國人均消費(fèi)額記為y，把人均國民收入記為x。收集到1981～1993年的樣本數(shù)據(jù)(xi，yi)，i=1,2,…，13，計(jì)算相關(guān)系數(shù)。解：根據(jù)樣本相關(guān)系數(shù)的計(jì)算公式有

人均國民收入與人均消費(fèi)金額之間的相關(guān)系數(shù)為0.99873.相關(guān)系數(shù)取值及其意義（1）r的取值范圍是[-1,1]（2）|r|=1，為完全相關(guān)r=1，為完全正相關(guān)r=-1，為完全負(fù)正相關(guān)（3）

r=0，不存在線性相關(guān)關(guān)系（4）-1r<0，為負(fù)相關(guān)；0<r1，為正相關(guān)（5）|r|越趨于1表示關(guān)系越密切；|r|越趨于0表示關(guān)系越不密切4.相關(guān)程度評價(jià)標(biāo)準(zhǔn)0<|r|≤0.3為微弱相關(guān)0.3<|r|≤0.5為低度相關(guān)0.5<|r|≤0.8為顯著相關(guān)0.8<|r|≤1為高度相關(guān)第二節(jié)一元線性回歸分析一、一元線性回歸的基本問題（一）回歸的來源“回歸”這個(gè)統(tǒng)計(jì)學(xué)術(shù)語，最早采用者是英國遺傳學(xué)家高爾登，他把這種統(tǒng)計(jì)分析方法應(yīng)用于研究生物學(xué)的遺傳問題，指出生物后代有回復(fù)或回歸到其上代原有特性的傾向。高爾登的學(xué)生皮爾遜繼續(xù)研究，把回歸與數(shù)學(xué)方法聯(lián)系起來，把代表現(xiàn)象之間一般數(shù)量關(guān)系的直線或曲線稱為回歸直線或回歸曲線。（二）什么是回歸分析？從一組樣本數(shù)據(jù)出發(fā)，確定變量之間的數(shù)學(xué)關(guān)系式；對這些關(guān)系式的可信程度進(jìn)行各種統(tǒng)計(jì)檢驗(yàn)，并從影響某一特定變量的諸多變量中找出哪些變量的影響顯著，哪些不顯著；利用所求的關(guān)系式，根據(jù)一個(gè)或幾個(gè)變量的取值來預(yù)測或控制另一個(gè)特定變量的取值，并給出這種預(yù)測或控制的精確程度。（三）回歸模型的類型一個(gè)自變量兩個(gè)及兩個(gè)以上自變量回歸模型多元回歸一元回歸線性回歸非線性回歸線性回歸非線性回歸1.一元線性回歸模型（1）當(dāng)只涉及一個(gè)自變量時(shí)稱為一元回歸，若因變量y與自變量x之間為線性關(guān)系時(shí)稱為一元線性回歸。（2）對于具有線性相關(guān)關(guān)系的兩個(gè)變量，可以用一個(gè)線性方程來近似表示它們之間的關(guān)系。（3）描述因變量y如何依賴于自變量x和誤差項(xiàng)μ的方程稱為回歸模型。2.標(biāo)準(zhǔn)的一元線性回歸模型

(1)總體回歸模型:

Ｙt＝β0＋β1Ｘt＋ut

Y由線性函數(shù)（β0＋β1Ｘt）和誤差項(xiàng)ut兩部分組成。ut是隨機(jī)誤差項(xiàng)，又稱隨機(jī)干擾項(xiàng)，它是一個(gè)特殊的隨機(jī)變量，反映未列入方程式的其他因素對Ｙ的影響。（2）回歸方程：（β0＋β1Ｘt）是Y的數(shù)學(xué)期望，即對應(yīng)于X取一定值時(shí)Y的平均值，可以寫成：E(Y)=β0＋β1Ｘt

3.誤差項(xiàng)的基本標(biāo)準(zhǔn)假定（1）誤差項(xiàng)ut是一個(gè)期望值為0的隨機(jī)變量，即E(ut)=0。對于一個(gè)給定的x值，y的期望值為E(yt

)=0+

1xt（2）對于所有的x值，ut的方差σ2都相同；（3）誤差項(xiàng)ut是一個(gè)服從正態(tài)分布的隨機(jī)變量即u~N(0,σ2)（4）誤差項(xiàng)之間不存在序列相關(guān)關(guān)系，其協(xié)方差為0。（5）自變量是給定的變量與隨機(jī)誤差項(xiàng)線性無關(guān)。二、一元線性回歸模型的估計(jì)（一）回歸方程1.描述y的平均值或期望值如何依賴于x的方程稱為回歸方程。2.簡單線性回歸方程的形式：E(y)=0+1x方程的圖示是一條直線；0是回歸直線在y軸上的截距，是當(dāng)x=0時(shí)y的期望值；1是直線的斜率，稱為回歸系數(shù)，表示當(dāng)x每變動一個(gè)單位時(shí)，y的平均變動值。（二）估計(jì)的回歸方程2.簡單線性回歸中估計(jì)的回歸方程為其中：是估計(jì)的回歸直線在y軸上的截距，是直線的斜率，它表示對于一個(gè)給定的x的值，是y的估計(jì)值，也表示x每變動一個(gè)單位時(shí)，y的平均變動值。

總體回歸參數(shù)和

是未知的，必需利用樣本數(shù)據(jù)去估計(jì)用。樣本統(tǒng)計(jì)量和代替回歸方程中的未知參數(shù)和，就得到了估計(jì)的回歸方程。使因變量的觀察值與估計(jì)值之間的離差平方和達(dá)到最小來求得和的方法。即用最小二乘法擬合的直線來代表x與y之間的關(guān)系與實(shí)際數(shù)據(jù)的誤差比其他任何直線都小。（三）參數(shù)0和1的最小二乘估計(jì)對應(yīng)X某一數(shù)值的Y有多個(gè)實(shí)際值，通過X和Y的各對數(shù)值也就有可能有多條直線，其中，最具代表性的應(yīng)該是實(shí)際值同這條直線平均離差最小的直線。最小二乘法（圖示）xy(xn,yn)(x1,y1)(x2,y2)(xi,yi)ei=yi-yi＾3、回歸系數(shù)的估計(jì)的最小二乘法公式

設(shè)將Ｑ對求偏導(dǎo)數(shù)，并令其等于零，可得:

加以整理后有：

最小二乘法

（

和的計(jì)算公式）解方程組可得求解和的標(biāo)準(zhǔn)方程如下：例：某種食品的需求量與人口增長量之間關(guān)系，數(shù)據(jù)：

上式中表示人口增加量每增加（或減少）1千人，該種食品的年需求量平均來說增加（或減少）0.5301（十噸）即5.301噸。估計(jì)方程的求法

（Excel的輸出結(jié)果）（四）判定系數(shù)r2和估計(jì)標(biāo)準(zhǔn)差1.擬合程度的評價(jià)所謂擬合程度，是指樣本觀測值聚集在樣本回歸線周圍的緊密程度。判斷回歸模型擬合程度優(yōu)劣最常用的數(shù)量尺度是樣本決定系數(shù)（又稱決定系數(shù)）。它是建立在對總離差平方和進(jìn)行分解的基礎(chǔ)之上的。2.總離差平方和的分解（1）因變量y的取值是不同的，y取值的這種波動稱為變差。變差來源于兩個(gè)方面：由于自變量x的取值不同造成的；除x以外的其他因素(如x對y的非線性影響、測量誤差等)的影響。（2）對一個(gè)具體的觀測值來說，變差的大小可以通過該實(shí)際觀測值與其均值之差來表示。離差平方和的分解（圖示）xyy{}}離差分解圖離差平方和的分解

（三個(gè)平方和的關(guān)系）兩端平方后求和有：從圖上看有：SST=SSR+SSE總變差平方和（SST）{回歸平方和（SSR）{殘差平方和（SSE）{離差平方和的分解

（三個(gè)平方和的意義）總的離差平方和(SST)反映因變量的n個(gè)觀察值與其均值的總離差回歸平方和(SSR)反映自變量x的變化對因變量y取值變化的影響，或者說，是由于x與y之間的線性關(guān)系引起的y的取值變化，也稱為可解釋的平方和。殘差平方和(SSE)反映除x以外的其他因素對y取值的影響，也稱為不可解釋的平方和或剩余平方和。3.樣本可決系數(shù)（判定系數(shù)R2

）（1）回歸平方和占總離差平方和的比例：（2）反映回歸直線的擬合程度（3）取值范圍在[0,1]之間（4）R21，說明回歸方程擬合的越好；R20，說明回歸方程擬合的越差（5）判定系數(shù)等于相關(guān)系數(shù)的平方，即R2＝(r)2

如上所述，Y實(shí)際值同均值的總偏差中，回歸偏差和剩余偏差是此消彼長的關(guān)系。既然回歸偏差可以從正面測定線性模型的擬合優(yōu)度，那么剩余變差就可以從反面判定線性模型的擬合優(yōu)度。

對于一元線性回歸模型，定義剩余變差除以自由度（n－2）所得的商的正平方根為估計(jì)標(biāo)準(zhǔn)差4.回歸估計(jì)的標(biāo)準(zhǔn)誤差

S說明公式中n－2是自由度，是因?yàn)樵谇蠡貧w直線β0，β1兩個(gè)參數(shù)時(shí)是去了兩個(gè)自由度。Σet=0Σet*Xt=05.估計(jì)標(biāo)準(zhǔn)差的意義(1)反映實(shí)際觀察值在回歸直線周圍的分散狀況。(2)從另一