相關(guān)與回歸分析教學.PPTVIP

第十章 相關(guān)與回歸分析,第十章 相關(guān)與回歸分析,第一節(jié) 變量間的相關(guān)關(guān)系 第二節(jié) 一元線性回歸 第三節(jié) 多元線性回歸 第四節(jié) 可化為線性回歸的曲線回歸,學習目標,1. 掌握相關(guān)系數(shù)的含義、計算方法和應用 2. 掌握一元線性回歸的基本原理和參數(shù)的最小二乘估計方法 掌握回歸方程的顯著性檢驗 利用回歸方程進行預測 掌握多元線性回歸分析的基本方法 了解可化為線性回歸的曲線回歸 用 Excel 進行回歸分析,一. 變量相關(guān)的概念 二. 相關(guān)系數(shù)及其計算,變量相關(guān)的概念,變量間的關(guān)系 （函數(shù)關(guān)系）,是一一對應的確定關(guān)系 設(shè)有兩個變量 x 和 y ，變量 y 隨變量 x 一起變化，并完全依賴于 x ，當變量 x 取某個數(shù)值時， y 依確定的關(guān)系取相應的值，則稱 y 是 x 的函數(shù)，記為 y = f (x)，其中 x 稱為自變量，y 稱為因變量 各觀測點落在一條線上,變量間的關(guān)系 （函數(shù)關(guān)系）, 函數(shù)關(guān)系的例子 某種商品的銷售額(y)與銷售量(x)之間的關(guān)系可表示為 y = p x (p 為單價) 圓的面積(S)與半徑之間的關(guān)系可表示為S = R2 企業(yè)的原材料消耗額(y)與產(chǎn)量(x1) 、單位產(chǎn)量消耗(x2) 、原材料價格(x3)之間的關(guān)系可表示為y = x1 x2 x3,變量間的關(guān)系 （相關(guān)關(guān)系）,變量間關(guān)系不能用函數(shù)關(guān)系精確表達 一個變量的取值不能由另一個變量唯一確定 當變量 x 取某個值時，變量 y 的取值可能有幾個 各觀測點分布在直線周圍,變量間的關(guān)系 （相關(guān)關(guān)系）, 相關(guān)關(guān)系的例子 商品的消費量(y)與居民收入(x)之間的關(guān)系 商品銷售額(y)與廣告費支出(x)之間的關(guān)系 糧食畝產(chǎn)量(y)與施肥量(x1) 、降雨量(x2) 、溫度(x3)之間的關(guān)系 收入水平(y)與受教育程度(x)之間的關(guān)系 父親身高(y)與子女身高(x)之間的關(guān)系,相關(guān)關(guān)系的類型,相關(guān)關(guān)系的圖示,相關(guān)系數(shù)及其計算,相關(guān)關(guān)系的測度 （相關(guān)系數(shù)）,對變量之間關(guān)系密切程度的度量 對兩個變量之間線性相關(guān)程度的度量稱為簡單相關(guān)系數(shù) 若相關(guān)系數(shù)是根據(jù)總體全部數(shù)據(jù)計算的，稱為總體相關(guān)系數(shù)，記為 若是根據(jù)樣本數(shù)據(jù)計算的，則稱為樣本相關(guān)系數(shù)，記為 r,相關(guān)關(guān)系的測度 （相關(guān)系數(shù)）, 樣本相關(guān)系數(shù)的計算公式,或化簡為,相關(guān)關(guān)系的測度 （相關(guān)系數(shù)取值及其意義）,r 的取值范圍是 -1,1 |r|=1，為完全相關(guān) r =1，為完全正相關(guān) r =-1，為完全負正相關(guān) r = 0，不存在線性相關(guān)關(guān)系相關(guān) -1r0，為負相關(guān) 0r1，為正相關(guān) |r|越趨于1表示關(guān)系越密切；|r|越趨于0表示關(guān)系越不密切,相關(guān)關(guān)系的測度 （相關(guān)系數(shù)取值及其意義）,r,相關(guān)關(guān)系的測度 （相關(guān)系數(shù)計算例）,【例10.1】在研究我國人均消費水平的問題中，把全國人均消費額記為y，把人均國民收入記為x。我們收集到19811993年的樣本數(shù)據(jù)(xi ，yi)，i =1,2,，13，數(shù)據(jù)見表10-1，計算相關(guān)系數(shù)。,相關(guān)關(guān)系的測度 （計算結(jié)果）,解：根據(jù)樣本相關(guān)系數(shù)的計算公式有 人均國民收入與人均消費金額之間的相關(guān)系 數(shù)為 0.9987,相關(guān)系數(shù)的顯著性檢驗 （概念要點）,1. 檢驗兩個變量之間是否存在線性相關(guān)關(guān)系 等價于對回歸系數(shù) b1的檢驗 采用 t 檢驗 檢驗的步驟為 提出假設(shè)：H0： ；H1： 0,計算檢驗的統(tǒng)計量：,確定顯著性水平，并作出決策 若tt，拒絕H0 若tt，接受H0,相關(guān)系數(shù)的顯著性檢驗 （實例）, 對前例計算的相關(guān)系數(shù)進行顯著性檢(0.05) 提出假設(shè)：H0： ；H1： 0 計算檢驗的統(tǒng)計量,3. 根據(jù)顯著性水平0.05，查t分布表得t(n-2)=2.201 由于t=64.9809t(13-2)=2.201，拒絕H0，人均消費金額與人均國民收入之間的相關(guān)關(guān)系顯著,相關(guān)系數(shù)的顯著性檢驗 （相關(guān)系數(shù)檢驗表的使用）,若IrI大于表上的=5%相應的值，小于表上1%相應的值，稱變量x與y之間有顯著的線性關(guān)系 若IrI大于表上=1%相應的值，稱變量x與y之間有十分顯著的線性關(guān)系 若IrI小于表上=5%相應的值，稱變量x與y之間沒有明顯的線性關(guān)系 根據(jù)前例的r0.9987=5%(n-2)=0.553，表明人均消費金額與人均國民收入之間有十分顯著的線性相關(guān)關(guān)系,第二節(jié) 一元線性回歸,一. 一元線性回歸模型 參數(shù)的最小二乘估計 回歸方程的顯著性檢驗 預測及應用,什么是回歸分析？ （內(nèi)容）,從一組樣本數(shù)據(jù)出發(fā)，確定變量之間的數(shù)學關(guān)系式 對這些關(guān)系式的可信程度進行各種統(tǒng)計檢驗，并從影響某一特定變量的諸多變量中找出哪些變量的影響顯著，哪些不顯著 利用所求的關(guān)系式，根據(jù)一個或幾個變量的取值來預測或控制另一個特定變量的取值，并給出這種預測或控制的精確程度,回歸方程一詞是怎么來的,回歸分析與相關(guān)分析的區(qū)別,相關(guān)分析中，變量 x 變量 y 處于平等的地位；回歸分析中，變量 y 稱為因變量，處在被解釋的地位，x 稱為自變量，用于預測因變量的變化 相關(guān)分析中所涉及的變量 x 和 y 都是隨機變量；回歸分析中，因變量 y 是隨機變量，自變量 x 可以是隨機變量，也可以是非隨機的確定變量 相關(guān)分析主要是描述兩個變量之間線性關(guān)系的密切程度；回歸分析不僅可以揭示變量 x 對變量 y 的影響大小，還可以由回歸方程進行預測和控制,回歸模型的類型,回歸模型與回歸方程,回歸模型,回答“變量之間是什么樣的關(guān)系？” 方程中運用 1 個數(shù)字的因變量(響應變量) 被預測的變量 1 個或多個數(shù)字的或分類的自變量 (解釋變量) 用于預測的變量 3. 主要用于預測和估計,一元線性回歸模型 （概念要點）,當只涉及一個自變量時稱為一元回歸，若因變量 y 與自變量 x 之間為線性關(guān)系時稱為一元線性回歸 對于具有線性關(guān)系的兩個變量，可以用一條線性方程來表示它們之間的關(guān)系 描述因變量 y 如何依賴于自變量 x 和誤差項 的方程稱為回歸模型,一元線性回歸模型 （概念要點）, 對于只涉及一個自變量的簡單線性回歸模型可表示為 y = b0 + b1 x + e 模型中，y 是 x 的線性函數(shù)(部分)加上誤差項 線性部分反映了由于 x 的變化而引起的 y 的變化 誤差項 是隨機變量 反映了除 x 和 y 之間的線性關(guān)系之外的隨機因素對 y 的影響 是不能由 x 和 y 之間的線性關(guān)系所解釋的變異性 0 和 1 稱為模型的參數(shù),一元線性回歸模型 （基本假定）,誤差項是一個期望值為0的隨機變量，即E()=0。對于一個給定的 x 值，y 的期望值為E ( y ) = 0+ 1 x 對于所有的 x 值，的方差2 都相同 誤差項是一個服從正態(tài)分布的隨機變量，且相互獨立。即N( 0 ,2 ) 獨立性意味著對于一個特定的 x 值，它所對應的與其他 x 值所對應的不相關(guān) 對于一個特定的 x 值，它所對應的 y 值與其他 x 所對應的 y 值也不相關(guān),回歸方程 （概念要點）,描述 y 的平均值或期望值如何依賴于 x 的方程稱為回歸方程 簡單線性回歸方程的形式如下 E( y ) = 0+ 1 x,方程的圖示是一條直線，因此也稱為直線回歸方程 0是回歸直線在 y 軸上的截距，是當 x=0 時 y 的期望值 1是直線的斜率，稱為回歸系數(shù)，表示當 x 每變動一個單位時，y 的平均變動值,估計(經(jīng)驗)的回歸方程,簡單線性回歸中估計的回歸方程為,其中： 是估計的回歸直線在 y 軸上的截距， 是直線的斜率，它表示對于一個給定的 x 的值，是 y 的估計值，也表示 x 每變動一個單位時， y 的平均變動值,用樣本統(tǒng)計量 和 代替回歸方程中的未知參數(shù) 和 ，就得到了估計的回歸方程,總體回歸參數(shù) 和 是未知的，必需利用樣本數(shù)據(jù)去估計,參數(shù) 0 和 1 的最小二乘估計,最小二乘法 （概念要點）,使因變量的觀察值與估計值之間的離差平方和達到最小來求得 和 的方法。即,用最小二乘法擬合的直線來代表x與y之間的關(guān)系與實際數(shù)據(jù)的誤差比其他任何直線都小,最小二乘法 （圖示）,最小二乘法 （ 和 的計算公式）, 根據(jù)最小二乘法的要求，可得求解 和 的標準方程如下,估計方程的求法 （實例）,【例】根據(jù)例10.1中的數(shù)據(jù)，配合人均消費金額對人均國民收入的回歸方程 根據(jù) 和 的求解公式得,估計(經(jīng)驗)方程,人均消費金額對人均國民收入的回歸方程為,y = 54.22286 + 0.52638 x,估計方程的求法 （Excel的輸出結(jié)果）,回歸方程的顯著性檢驗,離差平方和的分解,因變量 y 的取值是不同的，y 取值的這種波動稱為變差。變差來源于兩個方面 由于自變量 x 的取值不同造成的 除 x 以外的其他因素(如x對y的非線性影響、測量誤差等)的影響 對一個具體的觀測值來說，變差的大小可以通過該實際觀測值與其均值之差 來表示,離差平方和的分解 （圖示）,離差平方和的分解 （三個平方和的關(guān)系）,2. 兩端平方后求和有,從圖上看有,SST = SSR + SSE,離差平方和的分解 （三個平方和的意義）,總平方和(SST) 反映因變量的 n 個觀察值與其均值的總離差 回歸平方和(SSR) 反映自變量 x 的變化對因變量 y 取值變化的影響，或者說，是由于 x 與 y 之間的線性關(guān)系引起的 y 的取值變化，也稱為可解釋的平方和 殘差平方和(SSE) 反映除 x 以外的其他因素對 y 取值的影響，也稱為不可解釋的平方和或剩余平方和,樣本決定系數(shù) （判定系數(shù) r2 ）,回歸平方和占總離差平方和的比例,反映回歸直線的擬合程度 取值范圍在 0 , 1 之間 r2 1，說明回歸方程擬合的越好；r20，說明回歸方程擬合的越差 判定系數(shù)等于相關(guān)系數(shù)的平方，即r2(r)2,回歸方程的顯著性檢驗 （線性關(guān)系的檢驗 ）,檢驗自變量和因變量之間的線性關(guān)系是否顯著 具體方法是將回歸離差平方和(SSR)同剩余離差平方和(SSE)加以比較，應用F檢驗來分析二者之間的差別是否顯著 如果是顯著的，兩個變量之間存在線性關(guān)系 如果不顯著，兩個變量之間不存在線性關(guān)系,回歸方程的顯著性檢驗 （檢驗的步驟）,提出假設(shè) H0：線性關(guān)系不顯著,2. 計算檢驗統(tǒng)計量F,確定顯著性水平，并根據(jù)分子自由度1和分母自由度n-2找出臨界值F 作出決策：若FF ,拒絕H0；若FF ,接受H0,回歸方程的顯著性檢驗 （方差分析表）,（續(xù)前例）Excel 輸出的方差分析表,平方和,均方,估計標準誤差 Sy,實際觀察值與回歸估計值離差平方和的均方根 反映實際觀察值在回歸直線周圍的分散狀況 從另一個角度說明了回歸直線的擬合程度 計算公式為,注：上例的計算結(jié)果為14.949678,回歸系數(shù)的顯著性檢驗 （要點）,在一元線性回歸中，等價于回歸方程的顯著性檢驗,檢驗 x 與 y 之間是否具有線性關(guān)系，或者說，檢驗自變量 x 對因變量 y 的影響是否顯著,理論基礎(chǔ)是回歸系數(shù) 的抽樣分布,回歸系數(shù)的顯著性檢驗 （樣本統(tǒng)計量 的分布）,是根據(jù)最小二乘法求出的樣本統(tǒng)計量，它有自己的分布 的分布具有如下性質(zhì) 分布形式：正態(tài)分布 數(shù)學期望： 標準差： 由于無未知，需用其估計量Sy來代替得到 的估計的標準差,回歸系數(shù)的顯著性檢驗 （樣本統(tǒng)計量 的分布）,回歸系數(shù)的顯著性檢驗 （步驟）,提出假設(shè) H0: b1 = 0 (沒有線性關(guān)系) H1: b1 0 (有線性關(guān)系) 計算檢驗的統(tǒng)計量,確定顯著性水平，并進行決策 tt，拒絕H0； tt，接受H0,回歸系數(shù)的顯著性檢驗 （實例）,提出假設(shè) H0：b1 = 0 人均收入與人均消費之間無線性關(guān)系 H1：b1 0 人均收入與人均消費之間有線性關(guān)系 計算檢驗的統(tǒng)計量,t=65.0758t=2.201，拒絕H0，表明人均收入與人均消費之間有線性關(guān)系,對前例的回歸系數(shù)進行顯著性檢驗(0.05),回歸系數(shù)的顯著性檢驗 (Excel輸出的結(jié)果）,預測及應用,利用回歸方程進行估計和預測,根據(jù)自變量 x 的取值估計或預測因變量 y的取值 估計或預測的類型 點估計 y 的平均值的點估計 y 的個別值的點估計 區(qū)間估計 y 的平均值的置信區(qū)間估計 y 的個別值的預測區(qū)間估計,利用回歸方程進行估計和預測 （點估計）,2. 點估計值有 y 的平均值的點估計 y 的個別值的點估計 3. 在點估計條件下，平均值的點估計和個別值的的點估計是一樣的，但在區(qū)間估計中則不同,對于自變量 x 的一個給定值x0 ，根據(jù)回歸方程得到因變量 y 的一個估計值,利用回歸方程進行估計和預測 （點估計）, y 的平均值的點估計 利用估計的回歸方程，對于自變量 x 的一個給定值 x0 ，求出因變量 y 的平均值的一個估計值E(y0) ，就是平均值的點估計 在前面的例子中，假如我們要估計人均國民收入為2000元時，所有年份人均消費金額的的平均值，就是平均值的點估計。根據(jù)估計的回歸方程得,利用回歸方程進行估計和預測 （點估計）, y 的個別值的點估計,利用估計的回歸方程，對于自變量 x 的一個給定值 x0 ，求出因變量 y 的一個個別值的估計值 ，就是個別值的點估計,2. 比如，如果我們只是想知道1990年人均國民收入為1250.7元時的人均消費金額是多少，則屬于個別值的點估計。根據(jù)估計的回歸方程得,利用回歸方程進行估計和預測 （區(qū)間估計）,點估計不能給出估計的精度，點估計值與實際值之間是有誤差的，因此需要進行區(qū)間估計 對于自變量 x 的一個給定值 x0，根據(jù)回歸方程得到因變量 y 的一個估計區(qū)間 區(qū)間估計有兩種類型 置信區(qū)間估計 預測區(qū)間估計,利用回歸方程進行估計和預測 （置信區(qū)間估計）, y 的平均值的置信區(qū)間估計 利用估計的回歸方程，對于自變量 x 的一個給定值 x0 ，求出因變量 y 的平均值E(y0)的估計區(qū)間 ，這一估計區(qū)間稱為置信區(qū)間 E(y0) 在1-置信水平下的置信區(qū)間為,式中：Sy為估計標準誤差,利用回歸方程進行估計和預測 （置信區(qū)間估計:算例）,【例】根據(jù)前例，求出人均國民收入為1250.7元時，人均消費金額95%的置信區(qū)間 解：根據(jù)前面的計算結(jié)果 712.57，Sy=14.95，t(13-2)2.201，n=13 置信區(qū)間為,712.5710.265,人均消費金額95%的置信區(qū)間為702.305元722.835元之間,利用回歸方程進行估計和預測 （預測區(qū)間估計）, y 的個別值的預測區(qū)間估計 利用估計的回歸方程，對于自變量 x 的一個給定值 x0 ，求出因變量 y 的一個個別值的估計區(qū)間，這一區(qū)間稱為預測區(qū)間 y0在1-置信水平下的預測區(qū)間為,利用回歸方程進行估計和預測 （置預測區(qū)間估計:算例）,【例】根據(jù)前例，求出1990年人均國民收入為1250.7元時，人均消費金額的95%的預測區(qū)間 解：根據(jù)前面的計算結(jié)果有 712.57，Sy=14.95，t(13-2)2.201，n=13 置信區(qū)間為,712.5734.469,人均消費金額95%的預測區(qū)間為678.101元747.039元之間,影響區(qū)間寬度的因素,1. 置信水平 (1 - ) 區(qū)間寬度隨置信水平的增大而增大 2. 數(shù)據(jù)的離散程度 (s) 區(qū)間寬度隨離散程度的增大而增大 3. 樣本容量 區(qū)間寬度隨樣本容量的增大而減小 4. 用于預測的 xp與x的差異程度 區(qū)間寬度隨 xp與x 的差異程度的增大而增大,置信區(qū)間、預測區(qū)間、回歸方程,第三節(jié) 多元線性回歸,一. 多元線性回歸模型 回歸參數(shù)的估計 回歸方程的顯著性檢驗 回歸系數(shù)的顯著性檢驗 多元線性回歸的預測,多元線性回歸模型,多元線性回歸模型 （概念要點）,一個因變量與兩個及兩個以上自變量之間的回歸 描述因變量 y 如何依賴于自變量 x1 ， x2 ， xp 和誤差項 的方程稱為多元線性回歸模型 涉及 p 個自變量的多元線性回歸模型可表示為,b0 ，b1，b2 ，bp是參數(shù) 是被稱為誤差項的隨機變量 y 是x1,，x2 ， ，xp 的線性函數(shù)加上誤差項 說明了包含在y里面但不能被p個自變量的線性關(guān)系所解釋的變異性,多元線性回歸模型 （概念要點）, 對于 n 組實際觀察數(shù)據(jù)(yi ; xi1,，xi2 ， ，xip )，(i=1,2,n)，多元線性回歸模型可表示為,多元線性回歸模型 （基本假定）,自變量 x1，x2，xp是確定性變量，不是隨機變量 隨機誤差項的期望值為0，且方差2 都相同 誤差項是一個服從正態(tài)分布的隨機變量，即N(0,2)，且相互獨立,多元線性回歸方程 （概念要點）,描述 y 的平均值或期望值如何依賴于 x1， x1 ，xp的方程稱為多元線性回歸方程 多元線性回歸方程的形式為 E( y ) = 0+ 1 x1 + 2 x2 + p xp,b1，b2，bp稱為偏回歸系數(shù) bi 表示假定其他變量不變，當 xi 每變動一個單位時，y 的平均平均變動值,多元線性回歸方方程的直觀解釋,多元線性回歸的估計(經(jīng)驗)方程,總體回歸參數(shù) 是未知的，利用樣本數(shù)據(jù)去估計,用樣本統(tǒng)計量 代替回歸方程中的 未知參數(shù) 即得到估計的回歸方程,是 估計值 是 y 的估計值,參數(shù)的最小二乘估計,參數(shù)的最小二乘法 （要點）,根據(jù)最小二乘法的要求，可得求解各回歸參數(shù) 的標準方程如下,使因變量的觀察值與估計值之間的離差平方和達到最小來求得 。即,回歸方程的顯著性檢驗,多重樣本決定系數(shù) （多重判定系數(shù) R2 ）,回歸平方和占總離差平方和的比例,反映回歸直線的擬合程度 取值范圍在 0 , 1 之間 R2 1，說明回歸方程擬合的越好； R20，說明回歸方程擬合的越差 等于多重相關(guān)系數(shù)的平方，即R2=(R)2,修正的多重樣本決定系數(shù) （修正的多重判定系數(shù) R2 ）,由于增加自變量將影響到因變量中被估計的回歸方程所解釋的變異性的數(shù)量，為避免高估這一影響，需要用自變量的數(shù)目去修正R2的值 用n表示觀察值的數(shù)目，p表示自變量的數(shù)目，修正的多元判定系數(shù)的計算公式可表示為,回歸方程的顯著性檢驗 （線性關(guān)系的檢驗 ）,檢驗因變量與所有的自變量和之間的是否存在一個顯著的線性關(guān)系，也被稱為總體的顯著性檢驗 檢驗方法是將回歸離差平方和(SSR)同剩余離差平方和(SSE)加以比較，應用 F 檢驗來分析二者之間的差別是否顯著 如果是顯著的，因變量與自變量之間存在線性關(guān)系 如果不顯著，因變量與自變量之間不存在線性關(guān)系,回歸方程的顯著性檢驗 （步驟）,提出假設(shè) H0：12p=0 線性關(guān)系不顯著 H1：1，2，p至少有一個不等于0,2. 計算檢驗統(tǒng)計量F,3. 確定顯著性水平和分子自由度p、分母自由度n-p-1找出臨界值F 4. 作出決策：若FF ，拒絕H0；若FF，接受H0,回歸系數(shù)的顯著性檢驗 （要點）,如果F檢驗已經(jīng)表明了回歸模型總體上是顯著的，那么回歸系數(shù)的檢驗就是用來確定每一個單個的自變量 xi 對因變量 y 的影響是否顯著 對每一個自變量都要單獨進行檢驗 應用 t 檢驗 在多元線性回歸中，回歸方程的顯著性檢驗不再等價于回歸系數(shù)的顯著性檢驗,回歸系數(shù)的顯著性檢驗 （步驟）,提出假設(shè) H0： bi = 0 (自變量 xi 與 因變量 y 沒有線性關(guān)系) H1： bi 0 (自變量 xi 與 因變量 y有線性關(guān)系) 計算檢驗的統(tǒng)計量 t,確定顯著性水平，并進行決策 tt，拒絕H0； tt，接受H0,一個二元線性回歸的例子,【例】一家百貨公司在10個地區(qū)設(shè)有經(jīng)銷分公司。公司認為商品銷售額與該地區(qū)的人口數(shù)和年人均收入有關(guān)，并希望建立它們之間的數(shù)量關(guān)系式，以預測銷售額。有關(guān)數(shù)據(jù)如下表。試確定銷售額對人口數(shù)和年人均收入的線性回歸方程，并分析回歸方程的擬合程度，對線性關(guān)系和回歸系數(shù)進行顯著性檢驗(=0.05)。,一個二元線性回歸的例子 (Excel 輸出的結(jié)果),一個二元線性回歸的例子 (計算機輸出結(jié)果解釋),銷售額與人口數(shù)和年人均收入的二元回歸方