相關(guān)與回歸分析.ppt

1、相關(guān)分析與回歸分析,返回總目錄,相關(guān)分析,1. 相關(guān)關(guān)系的概念及分類,（1）相關(guān)關(guān)系的概念,變量之間的依存關(guān)系可以分為函數(shù)關(guān)系和相關(guān)關(guān)系兩種。函數(shù)關(guān)系是指變量之間保持著嚴(yán)格的依存關(guān)系，呈現(xiàn)一一對(duì)應(yīng)的特征。而相關(guān)關(guān)系是指變量之間保持著不確定的依存關(guān)系。線性相關(guān)用于雙變量正態(tài)分布的資料。 體現(xiàn)相關(guān)程度的指標(biāo)：相關(guān)系數(shù) r （取值范圍：-1 r 1）,返回本章,2. 相關(guān)關(guān)系的識(shí)別,（1）散點(diǎn)圖,識(shí)別變量間相關(guān)關(guān)系最簡(jiǎn)單的方法就是圖形法。圖形法就是將所研究變量的觀測(cè)值以散點(diǎn)的形式繪制在相應(yīng)的坐標(biāo)系中，通過(guò)它們呈現(xiàn)出的特征，來(lái)判斷變量之間是否存在相關(guān)關(guān)系，以及相關(guān)的形式、相關(guān)的方向和相關(guān)的程度等。也可

2、以用于發(fā)現(xiàn)異常值。,典型的散點(diǎn)圖,同向變化 正相關(guān),反向變化 負(fù)相關(guān),曲線相關(guān) /無(wú)線性相關(guān),無(wú)伴隨變化趨勢(shì),無(wú)伴隨變化趨勢(shì),無(wú)伴隨變化趨勢(shì),（2）相關(guān)系數(shù),樣本相關(guān)系數(shù)的計(jì)算公式：,分母：XY的協(xié)方差 ；分子：X的方差開(kāi)根號(hào) Y的方差開(kāi)根號(hào) 樣本相關(guān)系數(shù)是根據(jù)樣本觀測(cè)值計(jì)算的，隨著取樣的不同，相關(guān)系數(shù)的值也會(huì)有所變化?？梢宰C明，樣本相關(guān)系數(shù)是總體相關(guān)系數(shù)的一致估計(jì)量。,相關(guān)系數(shù)：衡量?jī)蓚€(gè)變量之間線性相關(guān)關(guān)系的重要指標(biāo),相關(guān)系數(shù)的特點(diǎn)：,相關(guān)系數(shù)的符號(hào)代表著變量間的相關(guān)方向，r0說(shuō)明兩個(gè)變量之間正相關(guān)，r0則表明兩個(gè)變量之間負(fù)相關(guān)。 相關(guān)關(guān)系的取值介于1和1之間，它的絕對(duì)值越接近于1，意味著變

3、量之間的線性相關(guān)程度越強(qiáng)。r1或r1時(shí)，說(shuō)明兩個(gè)變量之間完全線性相關(guān)，r0，說(shuō)明兩個(gè)變量之間不存在線性相關(guān)，r的絕對(duì)值介于0和1之間時(shí)，則說(shuō)明兩個(gè)變量之間存在一定程度的線性相關(guān)。,相關(guān)系數(shù)強(qiáng)度,兩變量相關(guān)強(qiáng)度的強(qiáng)弱分以下幾個(gè)等級(jí)： 當(dāng) | r | 0.8 ， 視為高度相關(guān) 當(dāng) 0.5 | r | 0.8 ，視為中度相關(guān)。 當(dāng) 0.3 | r | 0.5 ，視為低度相關(guān)。 當(dāng) | r | 0.3 ，表明2個(gè)變量之間的相關(guān)程度極弱，在實(shí)際應(yīng)用中可視為不相關(guān)。,相關(guān)系數(shù)的檢驗(yàn),提出假設(shè)：,計(jì)算 t 檢驗(yàn)統(tǒng)計(jì)量：,返回本章,返回總目錄,舉例,舉例：分析紅細(xì)胞內(nèi)鐵含量與血紅蛋白的關(guān)系。,SPSS實(shí)現(xiàn)-散

4、點(diǎn)圖,SPSS實(shí)現(xiàn)-散點(diǎn)圖,SPSS實(shí)現(xiàn)-相關(guān)系數(shù),正態(tài)性檢驗(yàn),正態(tài)資料的用”pearson”;非正態(tài)選“spearman”,得出: 相關(guān)系數(shù) r=0.744 雙側(cè)Pearson檢驗(yàn) P0.001,有統(tǒng)計(jì)學(xué)意義，可見(jiàn)，鐵含量與血紅蛋白相關(guān)。,相關(guān)分析注意事項(xiàng),直線相關(guān)條件：變量是正態(tài)分布的隨機(jī)變量。 應(yīng)用直線相關(guān)注意事項(xiàng)： 必需有實(shí)際意義 Pearson 相關(guān)系數(shù) 相關(guān)分析中變量X 、Y 服從雙變量正態(tài)分布 散點(diǎn)圖的作用 分層資料 對(duì)相關(guān)的解釋：,線性回歸分析,1. 回歸分析概述,（1）回歸分析的概念,在相關(guān)分析確定了變量之間相關(guān)關(guān)系的基礎(chǔ)上，采用一定的計(jì)算方法，建立起變量間數(shù)量變動(dòng)關(guān)系的公式

5、，并根據(jù)一個(gè)變量的變化來(lái)估計(jì)或預(yù)測(cè)另一個(gè)變量發(fā)展變化的研究方法，就是回歸分析。 基本思想：使樣本點(diǎn)到回歸直線的縱向距離的平方和最小。（點(diǎn)都在線上，距離的平方和=0最好-完全相關(guān)）,返回本章,回歸分析和相關(guān)分析都是對(duì)變量之間不嚴(yán)格依存關(guān)系的分析，在理論基礎(chǔ)和方法上具有一致性。只有存在相關(guān)關(guān)系的變量才能進(jìn)行回歸分析，相關(guān)程度越高，回歸分析結(jié)果越可靠。 方向一致：一組數(shù)據(jù)得出的b和r ，符號(hào)一致。 假設(shè)檢驗(yàn)等價(jià)：對(duì)于同一個(gè)樣本，假設(shè)檢驗(yàn)得到的tb和 tr值相等 回歸可以解釋相關(guān)：決定系數(shù)r2 =SS回/SS總 ，則r2就越接近1， 說(shuō)明相關(guān)性好。,返回本章,回歸分析和相關(guān)關(guān)系之間的聯(lián)系,回歸分析和相

6、關(guān)關(guān)系之間的區(qū)別,資料要求不同： 線性相關(guān)要求兩個(gè)變量X和Y服從雙變量正態(tài)分布的隨機(jī)變量 線性回歸要求Y是服從正態(tài)分布的隨機(jī)變量，而X不一定。 應(yīng)用目的、意義不同：相關(guān)關(guān)系；數(shù)量關(guān)系。 回歸系數(shù)b表示X每增減一個(gè)單位時(shí)，Y平均改變b個(gè)單位；相關(guān)系數(shù)r說(shuō)明具有線性關(guān)聯(lián)的的兩個(gè)變量間關(guān)系的密切程度與相關(guān)方向。 計(jì)算方法不同：b = lxy/lxx , r =lxy/lxylxx 取值范圍不同： 單位：b有量綱，受X、Y計(jì)量單位的影響；r無(wú)量綱，不受X、Y 計(jì)量單位的影響。,線性回歸模型的前提條件,線性（linear） X與Y值之間線性趨勢(shì) 獨(dú)立（independent） 個(gè)體觀察值間獨(dú)立 正態(tài)（n

7、ormal） 給定X, 對(duì)應(yīng)的Y服從正態(tài)分布 等方差（equal variance） 不同X所對(duì)應(yīng)Y的方差相等,繪制散點(diǎn)圖； 計(jì)算相關(guān)系數(shù),研究設(shè)計(jì)； 專業(yè)知識(shí)判斷,正態(tài)性檢驗(yàn)； 正態(tài)概率P-P圖 殘差圖,X和Y的散點(diǎn)圖 殘差圖 正態(tài)性檢驗(yàn),線性回歸的步驟,1.根據(jù)樣本數(shù)據(jù)求得模型參數(shù)（ 0 1 2. m ）的估計(jì)值（ b0 b1 b2. bm ），得到總體回歸方程Y= 0+ 1 X1 + 2 X2 +.+ m Xm 的估計(jì)值 (參數(shù)估計(jì)：最常用最小二乘法) 2.對(duì)回歸方程及各自變量做假設(shè)檢驗(yàn)；對(duì)方程的擬合效果及各自變量的作用大小做出評(píng)價(jià) （假設(shè)檢驗(yàn)： 回歸方程，各個(gè)自變量）,2. 回歸模型的

8、建立,當(dāng)變量之間存在顯著的線性相關(guān)關(guān)系時(shí)，可以建立如下的線性回歸模型來(lái)表述這種關(guān)系?？傮w線性回歸模型為：,式中：,代表因變量的第i個(gè)觀測(cè)值,代表自變量的第i個(gè)觀測(cè)值,是模型的參數(shù)（又稱偏回歸系數(shù)）,偏回歸系數(shù)1 2. m的意義: 在其他變量取值不變的條件下，X每增加或減少一個(gè)單位時(shí), Y的平均變化量。,線性回歸模型參數(shù)的估計(jì)方法通常有兩種：普通最小二乘法和最大似然估計(jì)法。最常用的是普通最小二乘法。 最小二乘法的意義在于使 達(dá)到最小。出使估計(jì)值Y 和實(shí)際觀察值Y得殘差平方和達(dá)到最小值，得到的 的兩個(gè)公式 為：,3. 模型的檢驗(yàn),在回歸模型估計(jì)出來(lái)以后，首先要對(duì)其進(jìn)行一系列的檢驗(yàn)，只有通過(guò)了檢驗(yàn)的

9、模型才能用于對(duì)總體變量的估計(jì)或預(yù)測(cè)。,（1）擬合優(yōu)度的檢驗(yàn),決定系數(shù)：,因變量的樣本觀測(cè)值與其均值的離差稱為總離差，記為 。按其來(lái)源，總離差可以分解為兩個(gè)部分：一是因變量的回歸值與其樣本均值之間的離差，記為 ，它代表能夠由回歸方程所解釋的部分，稱為回歸離差；二是樣本觀測(cè)值與回歸值之間的離差，記為 ，它表示的是不能由回歸方程解釋的部分，稱為剩余離差（殘差）。,返回本章,決定系數(shù)是衡量自變量對(duì)因變量變動(dòng)的解釋程度的指標(biāo)，它取決于回歸方程所解釋的 y 的總離差的百分比。決定系數(shù)的公式定義為： 決定系數(shù) = SS回歸/SS總 校正決定系數(shù) （n為樣本容量，k為自變量的個(gè)數(shù)） 意義：用于衡量方程好壞的指

10、標(biāo)之一，只有有統(tǒng)計(jì)學(xué)意義的變量進(jìn)入方程，Radj 才會(huì)增加,估計(jì)標(biāo)準(zhǔn)誤差（SE）,估計(jì)標(biāo)準(zhǔn)誤差是回歸模型（即估計(jì)值）與因變量觀測(cè)值之間得平均平方誤差。這個(gè)誤差的值越小，說(shuō)明估計(jì)值越接近真實(shí)值，回歸模型的擬合度越好。估計(jì)標(biāo)準(zhǔn)誤差的計(jì)算公式為：,作為回歸模型擬合優(yōu)度的評(píng)價(jià)指標(biāo)，估計(jì)標(biāo)準(zhǔn)誤差顯然不如決定系數(shù)。因?yàn)闆Q定系數(shù)是無(wú)量綱的系數(shù)，并且有確定的取值范圍（01），便于對(duì)不同資料回歸模型擬合優(yōu)度的比較。,返回本章,返回總目錄,（2）顯著性檢驗(yàn),通?；貧w模型的顯著性檢驗(yàn)包括系數(shù)的檢驗(yàn)和方程整體的檢驗(yàn)兩個(gè)部分。,回歸系數(shù)的顯著性檢驗(yàn)是指根據(jù)樣本計(jì)算結(jié)果對(duì)總體回歸系數(shù)有關(guān)假設(shè)所進(jìn)行的檢驗(yàn)，它的主要目的是了

11、解總體自變量與因變量之間是否真正存在樣本回歸模型所表述的相關(guān)關(guān)系。,回歸系數(shù)的檢驗(yàn)（ t 檢驗(yàn)）,返回本章,返回總目錄,方程整體性檢驗(yàn)（ F 檢驗(yàn)）,假設(shè)檢驗(yàn)對(duì)整個(gè)模型的檢驗(yàn),對(duì)模型的假設(shè)檢驗(yàn)：方差分析法（ F 檢驗(yàn)） 對(duì)模型進(jìn)行整體檢驗(yàn)： H0： 1 2 . m 0 H1： 1，2 ，.，m 不全為0 統(tǒng)計(jì)量：F 不拒絕H0： 回歸模型無(wú)統(tǒng)計(jì)學(xué)意義 拒絕H0 ：回歸模型有統(tǒng)計(jì)學(xué)意義,假設(shè)檢驗(yàn)對(duì)各偏回歸系數(shù)的假設(shè)檢驗(yàn),t 檢驗(yàn)：H0 : j = 0 , H1 : j 0 單個(gè)回歸系數(shù)的t檢驗(yàn)：表示其它m1個(gè)自變量均在當(dāng)前回歸模型中存在時(shí)，Xj的回歸系數(shù)j 是否為0的假設(shè)檢驗(yàn),假設(shè)檢驗(yàn) 各回歸系

12、數(shù)偏回歸平方和的F檢驗(yàn),P: 第L步時(shí)，方程中自變量的個(gè)數(shù) SS回l（Xj）:第L步時(shí)， Xj的偏回歸平方和 SS殘l（Xj）:第L步時(shí)的殘差平方和 回歸系數(shù)偏回歸平方和的F檢驗(yàn)：表示其它m1個(gè)自變量均在當(dāng)前回歸模型中存在時(shí)，Xj的回歸系數(shù)j 是否為0的假設(shè)檢驗(yàn)，與單個(gè)回歸系數(shù)的t檢驗(yàn)等價(jià)。,最佳預(yù)測(cè)模型選擇準(zhǔn)則1,最小殘差平方和/最大決定系數(shù)準(zhǔn)則： 條件：自變量個(gè)數(shù)相同時(shí)使用，,最佳預(yù)測(cè)模型選擇準(zhǔn)則2,最小殘差均方/最大調(diào)整決定系數(shù)準(zhǔn)則：較最小殘差平方和準(zhǔn)則合理（考慮變量數(shù)量）,自變量篩選,全局擇優(yōu)法： 對(duì)自變量各種不同的組合建立的回歸方程進(jìn)行比較，從全部組合中確定最優(yōu)回歸方程： 殘差均方最

13、小或調(diào)整R2最大的回歸方程，適用于自變量較少的情況。 缺點(diǎn)：自變量較多時(shí)，計(jì)算量大。如 自變量數(shù) 6時(shí)，需考慮 261 63個(gè)方程； 自變量數(shù)10時(shí)，需考慮21011024個(gè)方程.,自變量篩選,逐步選擇法 是實(shí)際應(yīng)用中普遍使用的方法 根據(jù)選入變量的順序不同分為： 前進(jìn)法 （forward selection） 后退法 （backward selection） 逐步回歸法（stepwise regression） 共性：每一步只引入或剔除一個(gè)自變量Xj 假設(shè)檢驗(yàn)方法：對(duì)偏回歸平方和的F檢驗(yàn),前進(jìn)法,自變量從無(wú)到有，從少到多，逐個(gè)引入回歸方程 1.第一個(gè)入選自變量的確定：用因變量Y對(duì)每一自變量分別

14、做直線回歸，對(duì)回歸平方和最大的自變量做F檢驗(yàn)，有統(tǒng)計(jì)學(xué)意義則引入模型 2.對(duì)其它變量，在已選入第一個(gè)自變量的基礎(chǔ)上，計(jì)算其它自變量的偏回歸平方和，最大的偏回歸平方和F檢驗(yàn)有統(tǒng)計(jì)學(xué)意義，則引入 3.重復(fù)步驟2，直至沒(méi)有自變量可以引入為止。 優(yōu)點(diǎn)：可自動(dòng)去掉高度相關(guān)的自變量（一個(gè)進(jìn)入方程后，其它的進(jìn)不來(lái)了） 局限性：后續(xù)變量的引入，可能會(huì)使在其之前進(jìn)入方程的自變量 變得無(wú)統(tǒng)計(jì)學(xué)意義,后退法,1.因變量Y對(duì)所有自變量同時(shí)做線性回歸 2.對(duì)方程中偏（凈）回歸平方和最小的變量做F檢驗(yàn)，無(wú)統(tǒng)計(jì)學(xué)意義，則剔除 3.因變量Y對(duì)剩余的所有自變量同時(shí)做線性回歸 4.重復(fù)第2步，直至方程中的自變量均不能剔除為止 優(yōu)

15、點(diǎn)：考慮了自變量的組合作用 局限性：當(dāng)自變量數(shù)目較多，或某些自變量間高度相關(guān)時(shí)，可能得不出正確結(jié)果（有共線性時(shí)，模型參數(shù)估計(jì)不穩(wěn)定）,逐步回歸法（常用）,在前進(jìn)和后退法的基礎(chǔ)上，雙向篩選變量的方法，本質(zhì)是前進(jìn)法。 1.引入第一個(gè)自變量進(jìn)入方程：用因變量Y對(duì)每一自變量分別做直線回歸，對(duì)回歸平方和最大的自變量做F檢驗(yàn)，有統(tǒng)計(jì)學(xué)意義則引入模型 2.對(duì)方程中的每一個(gè)自變量，做偏回歸平方和的F檢驗(yàn)，剔除“退化”為無(wú)統(tǒng)計(jì)學(xué)意義的自變量，確保每次引進(jìn)新變量前，方程中的自變量均有統(tǒng)計(jì)學(xué)意義（按剔出標(biāo)準(zhǔn)） 3.重復(fù)1和2，直至既無(wú)自變量可以引入，也無(wú)自變量可以剔除為止,自變量篩選的檢驗(yàn)水準(zhǔn),值小：選取自變量的標(biāo)

16、準(zhǔn)嚴(yán)，選入的自變量少 值大：選取自變量的標(biāo)準(zhǔn)寬，選入的自變量多 在逐步選擇中，入 出。 小樣本時(shí)，一般定為0.10 或0.15 大樣本時(shí)，一般定為0.05,多重回歸的應(yīng)用,影響因素分析（不追求最大R2值，根據(jù)專業(yè)知識(shí)和回歸系數(shù)改變量確定變量） 可以用于疾病的影響因素分析（如遺傳特征、感染途徑、程度、自身免疫等） 估計(jì)與預(yù)測(cè)：（應(yīng)選擇有較高R2值的模型） 舉例: 兒童的性別、年齡別、身高、體重評(píng)價(jià)生長(zhǎng)發(fā)育 胎兒的孕周、頭頸、胸徑和腹徑預(yù)測(cè)出生體重 統(tǒng)計(jì)控制（回歸模型的R2值大，回歸系數(shù)標(biāo)準(zhǔn)誤?。?利用回歸方程逆估計(jì)，通過(guò)控制自變量的值控制Y值 舉例：射頻治療儀治療腦腫瘤， 腦皮質(zhì)毀損半徑均數(shù) 0

17、+ 1射頻溫度+ 2照射時(shí)間 按腦皮質(zhì)毀損半徑預(yù)定值，確定最佳射頻溫度和照射時(shí)間,共線性診斷,定義：一個(gè)或幾個(gè)回歸變量可以由其它的回歸變量線性表示時(shí)，稱回歸變量間有共線性。 后果：自變量間共線性很高時(shí)，最小二乘估計(jì)參數(shù)不確定，無(wú)法取得參數(shù)的正確估計(jì)值。導(dǎo)致回歸系數(shù)與專業(yè)知識(shí)相反，或重要變量不能納入模型,多重共線性檢驗(yàn),多重共線性是多元回歸分析中特有的問(wèn)題，簡(jiǎn)單回歸不存在此問(wèn)題。 用于檢驗(yàn)各個(gè)自變量之間是否是無(wú)關(guān)的。,共線性診斷,特征根：多個(gè)維度特征根約為0證明存在多重共線性。 條件指數(shù)（condition index）k（大于10提示存在） 030 嚴(yán)重共線性 VIF：大于5，存在嚴(yán)重共線性

18、方差比例：同一特征值序號(hào)上兩或幾個(gè)系數(shù)方差比例較大時(shí)存在共線性。方差比例越大，共線性越大,多重共線性的對(duì)策,增大樣本量，可部分的解決共線性問(wèn)題 采用多種自變量篩選方法相結(jié)合的方式，建立一個(gè)最優(yōu)的逐步回歸方程。 從專業(yè)的角度加以判斷，人為的去除在專業(yè)上比較次要的，或者缺失值比較多，測(cè)量誤差比較大的共線性因子。 進(jìn)行主成分分析，用提取的因子代替原變量進(jìn)行回歸分析。 進(jìn)行嶺回歸分析，它可以有效的解決多重共線性問(wèn)題。 進(jìn)行通徑分析（Path Analysis）,SPSS實(shí)現(xiàn)方法以及結(jié)果解釋,根據(jù)27名糖尿病人的血清總膽固醇、甘油三酯、空腹胰島素、糖化血紅蛋白、空腹血糖測(cè)量值，建立血糖與其它幾項(xiàng)指標(biāo)的多重線性回歸方程。 SPSS操作 模型建立 假設(shè)檢驗(yàn) 模型參數(shù)的意義,SPSS操作步驟,打開(kāi)數(shù)據(jù)文件 點(diǎn)擊Analyze Regression Linear,Independent: 總膽固醇（X1） 甘油三酯（ X2） 胰島素（