統(tǒng)計(jì)學(xué)-線(xiàn)性回歸分析課件

第12章雙變量回歸與相關(guān)LinearRegressionandCorrelation第12章雙變量回歸與相關(guān)1Content

1.Linearregression2.Linearcorrelation3.Rankcorrelation4.Curvefitting

Content2雙變量計(jì)量資料：每個(gè)個(gè)體有兩個(gè)變量值

總體：無(wú)限或有限對(duì)變量值樣本：從總體隨機(jī)抽取的n對(duì)變量值

（X1,Y1）,（X2,Y2）,…,（Xn,Yn）

目的：研究X和Y的數(shù)量關(guān)系

方法：回歸與相關(guān)簡(jiǎn)單、基本——直線(xiàn)回歸、直線(xiàn)相關(guān)雙變量計(jì)量資料：每個(gè)個(gè)體有兩個(gè)變量值3

英國(guó)人類(lèi)學(xué)家F.Galton首次在《自然遺傳》一書(shū)中，提出并闡明了“相關(guān)”和“相關(guān)系數(shù)”兩個(gè)概念，為相關(guān)論奠定了基礎(chǔ)。其后，他和英國(guó)統(tǒng)計(jì)學(xué)家KarlPearson對(duì)上千個(gè)家庭的身高、臂長(zhǎng)、拃長(zhǎng)（伸開(kāi)大拇指與中指兩端的最大長(zhǎng)度）做了測(cè)量，發(fā)現(xiàn)：歷史背景：英國(guó)人類(lèi)學(xué)家F.4

兒子身高（Y，英寸）與父親身高（X，英寸）存在線(xiàn)性關(guān)系：。也即高個(gè)子父代的子代在成年之后的身高平均來(lái)說(shuō)不是更高，而是稍矮于其父代水平，而矮個(gè)子父代的子代的平均身高不是更矮，而是稍高于其父代水平。Galton將這種趨向于種族穩(wěn)定的現(xiàn)象稱(chēng)之“回歸”。兒子身高（Y，英寸）與父親身高（X5

目前，“回歸”已成為表示變量之間某種數(shù)量依存關(guān)系的統(tǒng)計(jì)學(xué)術(shù)語(yǔ)，并且衍生出“回歸方程”“回歸系數(shù)”等統(tǒng)計(jì)學(xué)概念。如研究糖尿病人血糖與其胰島素水平的關(guān)系，研究?jī)和挲g與體重的關(guān)系等。目前，“回歸”已成為表示變量之間某種數(shù)量依6第一節(jié)直線(xiàn)回歸第一節(jié)直線(xiàn)回歸7一、直線(xiàn)回歸的概念

目的：研究應(yīng)變量Y對(duì)自變量X的數(shù)量依存關(guān)系。特點(diǎn)：統(tǒng)計(jì)關(guān)系。X值和Y的均數(shù)的關(guān)系，不同于一般數(shù)學(xué)上的X和Y的函數(shù)關(guān)系。一、直線(xiàn)回歸的概念目的：研究應(yīng)變量Y對(duì)自變量X的數(shù)量依8

為了直觀地說(shuō)明兩相關(guān)變量的線(xiàn)性依存關(guān)系，用表12-1第（2）、（3）列中大白鼠的進(jìn)食量和體重增加量的數(shù)據(jù)在坐標(biāo)紙上描點(diǎn)，得圖12-1所示的散點(diǎn)圖（scatterplot）。

為了直觀地說(shuō)明兩相關(guān)變量的線(xiàn)性依存關(guān)系，用表12-19

例12-1

用某飼料喂養(yǎng)12只大白鼠，得出大白鼠的進(jìn)食量與體重增加量如表12-1，試?yán)L制其散點(diǎn)圖。

例12-1用某飼料喂養(yǎng)12只大白鼠，得出大白10表12-112只大白鼠的進(jìn)食量（g）與體重增加量(g)測(cè)量結(jié)果

表12-112只大白鼠的進(jìn)食量（g）與體重增加量(g)測(cè)11統(tǒng)計(jì)學(xué)--線(xiàn)性回歸分析ppt課件12

在定量描述大白鼠進(jìn)食量與體重增加量數(shù)量上的依存關(guān)系時(shí)，習(xí)慣上將進(jìn)食量作為自變量（independentvariable），用X表示；體重增加量作為應(yīng)變量（dependentvariable），用Y表示。在定量描述大白鼠進(jìn)食量與體重增加量數(shù)量上的依存關(guān)系時(shí)13

由圖12-1可見(jiàn)，體重增加量有隨進(jìn)食量增加而增大的趨勢(shì)，且散點(diǎn)呈直線(xiàn)趨勢(shì)，但并非12個(gè)點(diǎn)都在直線(xiàn)上，此與兩變量間嚴(yán)格的直線(xiàn)函數(shù)關(guān)系不同，稱(chēng)為直線(xiàn)回歸（linearregression）,其方程叫直線(xiàn)回歸方程，以區(qū)別嚴(yán)格意義的直線(xiàn)方程。回歸是回歸分析中最基本、最簡(jiǎn)單的一種，故又稱(chēng)簡(jiǎn)單回歸。由圖12-1可見(jiàn)，體重增加量有隨進(jìn)食量增加而14直線(xiàn)回歸方程

為各X處Y的總體均數(shù)的估計(jì)。一般表達(dá)式為直線(xiàn)回歸方程為各X處Y的總體均數(shù)的估計(jì)。151．a(chǎn)為回歸直線(xiàn)在Y

軸上的截距。a>0，表示直線(xiàn)與縱軸的交點(diǎn)在原點(diǎn)的上方；a<0，則交點(diǎn)在原點(diǎn)的下方；a=0，則回歸直線(xiàn)通過(guò)原點(diǎn)。a=0a<0a>0XY1．a(chǎn)為回歸直線(xiàn)在Y軸上的截距。a>0，表示直線(xiàn)16b>0，直線(xiàn)從左下方走向右上方，Y隨X增大而增大；

b<0，直線(xiàn)從左上方走向右下方，Y隨X增大而減??；

b=0，表示直線(xiàn)與X軸平行，X與Y無(wú)直線(xiàn)關(guān)系。XY2.b為回歸系數(shù)，即直線(xiàn)的斜率。b的統(tǒng)計(jì)學(xué)意義是：X

每增加(減)一個(gè)單位，Y

平均改變b個(gè)單位。b>0b<0b=0b>0，直線(xiàn)從左下方走向右上方，Y隨X增大而增大；XY17二、直線(xiàn)回歸方程的求法

殘差(residual)或剩余值，即實(shí)測(cè)值Y與假定回歸線(xiàn)上的估計(jì)值的縱向距離。求解a、b實(shí)際上就是“合理地”找到一條能最好地代表數(shù)據(jù)點(diǎn)分布趨勢(shì)的直線(xiàn)。原則：最小二乘法(leastsumofsquares)，即可保證各實(shí)測(cè)點(diǎn)至直線(xiàn)的縱向距離的平方和最小（X，Y）二、直線(xiàn)回歸方程的求法殘差(residual)或剩余值，即18

（12-3）（12-3）19統(tǒng)計(jì)學(xué)--線(xiàn)性回歸分析ppt課件20

例12-2

（續(xù)例12-1）根據(jù)表12-1數(shù)據(jù)，對(duì)大白鼠的體重增加量進(jìn)行回歸分析。

例12-2（續(xù)例12-1）根據(jù)表12-1數(shù)據(jù)21解題步驟解題步驟22統(tǒng)計(jì)學(xué)--線(xiàn)性回歸分析ppt課件23此直線(xiàn)必然通過(guò)點(diǎn)(,)且與縱坐標(biāo)軸相交于截距a。如果散點(diǎn)圖沒(méi)有從坐標(biāo)系原點(diǎn)開(kāi)始，可在自變量實(shí)測(cè)范圍內(nèi)遠(yuǎn)端取易于讀數(shù)的X值代入回歸方程得到一個(gè)點(diǎn)的坐標(biāo)，連接此點(diǎn)與點(diǎn)(,)也可繪出回歸直線(xiàn)。此直線(xiàn)必然通過(guò)點(diǎn)(,)且與縱坐標(biāo)軸相交于24二直線(xiàn)回歸中的統(tǒng)計(jì)推斷1回歸系數(shù)的假設(shè)檢驗(yàn)二直線(xiàn)回歸中的統(tǒng)計(jì)推斷1回歸系數(shù)的假設(shè)檢驗(yàn)25

建立樣本直線(xiàn)回歸方程，只是完成了統(tǒng)計(jì)分析中兩變量關(guān)系的統(tǒng)計(jì)描述，研究者還須回答它所來(lái)自的總體的直線(xiàn)回歸關(guān)系是否確實(shí)存在，即是否對(duì)總體有？建立樣本直線(xiàn)回歸方程，只是完成了261.1回歸系數(shù)的方差分析

1.1回歸系數(shù)的方差分析27統(tǒng)計(jì)學(xué)--線(xiàn)性回歸分析ppt課件28數(shù)理統(tǒng)計(jì)可證明：數(shù)理統(tǒng)計(jì)可證明：29上式用符號(hào)表示為

式中

上式用符號(hào)表示為式中30統(tǒng)計(jì)學(xué)--線(xiàn)性回歸分析ppt課件31上述三個(gè)平方和，各有其相應(yīng)的自由度，并有如下的關(guān)系：

上述三個(gè)平方和，各有其相應(yīng)的自由度，并有如下的關(guān)系32

如果兩變量間總體回歸關(guān)系確實(shí)存在，回歸的貢獻(xiàn)就要大于隨機(jī)誤差，大到何種程度時(shí)可以認(rèn)為具有統(tǒng)計(jì)意義，可計(jì)算統(tǒng)計(jì)量F:如果兩變量間總體回歸關(guān)系確實(shí)存在，回歸的貢獻(xiàn)就要大33式中式中342.t檢驗(yàn)2.t檢驗(yàn)35例12-3（續(xù)例12-1）根據(jù)表12-1數(shù)據(jù)進(jìn)行回歸系數(shù)的方差分析。解：先列出下列計(jì)算結(jié)果例12-3（續(xù)例12-1）根據(jù)表12-1數(shù)據(jù)進(jìn)行回歸系數(shù)的36統(tǒng)計(jì)學(xué)--線(xiàn)性回歸分析ppt課件37（3）確定P值。查F界值表，P<0.001。（4）下結(jié)論。按水準(zhǔn)，拒絕H0，接受H1，故可以認(rèn)為體重的增加量與進(jìn)食量之間有直線(xiàn)關(guān)系。（3）確定P值。查F界值表，P<0.001。（4）下結(jié)論。按38t檢驗(yàn)方法前已算得

:t檢驗(yàn)方法前已算得:39注意：注意：40

（二）回歸方程可信區(qū)間與預(yù)測(cè)一、總體回歸系數(shù)的區(qū)間估計(jì)（二）回歸方程可信區(qū)間與預(yù)測(cè)41例12-5（續(xù)例12-1）試估計(jì)總體回歸系數(shù)的95%的可信區(qū)間。二、例12-5（續(xù)例12-1）試估計(jì)總體回歸系數(shù)的95%的可信42二、的區(qū)間估計(jì) 是指總體中當(dāng)X為一定值時(shí)的均數(shù)。把代入回歸方程所求得的估計(jì)值，為樣本條件均數(shù)（conditionmean）。對(duì)總體的估計(jì)可計(jì)算其可信區(qū)間，其標(biāo)準(zhǔn)誤可按公式計(jì)算。二、的區(qū)間估計(jì) 是指總體中當(dāng)X為一定值時(shí)的均數(shù)43對(duì)一已知的自變量值按回歸方程求出預(yù)測(cè)值，再按下式求出此條件下100（1-）%的可信區(qū)間。對(duì)一已知的自變量值按回歸方程求出預(yù)測(cè)值44例12-6（續(xù)例12-1）根據(jù)例12-2所求直線(xiàn)回歸方程，試計(jì)算當(dāng)時(shí)，95%的可信區(qū)間。例12-6（續(xù)例12-1）根據(jù)例12-2所求直線(xiàn)回歸方45本例當(dāng)時(shí),95%的可信區(qū)間:本例當(dāng)時(shí),46個(gè)體Y值的容許區(qū)間

容許區(qū)間就是總體中X為某定值時(shí)，個(gè)體Y值的波動(dòng)范圍，其標(biāo)準(zhǔn)差按下式計(jì)算。

個(gè)體Y值的容許區(qū)間容許區(qū)間就是總體中X為某定值時(shí)，個(gè)體Y值47個(gè)體Y值的容許區(qū)間按下式計(jì)算。

例12-7用例12-6的數(shù)據(jù)，進(jìn)一步計(jì)算當(dāng)時(shí)，個(gè)體Y值95%的容許區(qū)間。個(gè)體Y值的容許區(qū)間按下式計(jì)算。48計(jì)算出個(gè)體Y值的95%容許區(qū)間為計(jì)算出個(gè)體Y值的95%容許區(qū)間為49回歸方程的應(yīng)用

回歸方程的應(yīng)用50

一、線(xiàn)性回歸的主要用途1．研究因素間的依存關(guān)系

自變量和應(yīng)變量之間是否存在線(xiàn)性關(guān)系，或者應(yīng)變量依賴(lài)自變量變化而變化的規(guī)律。

2．估計(jì)與預(yù)測(cè)

可用易測(cè)定的一組給定的自變量的觀測(cè)值來(lái)推算較難測(cè)定的Y值。3．統(tǒng)計(jì)控制是利用回歸方程進(jìn)行逆估計(jì)，即應(yīng)變量Y給出一個(gè)確定的值或在一定范圍內(nèi)波動(dòng)時(shí)，通過(guò)控制自變量的取值來(lái)實(shí)現(xiàn)。一、線(xiàn)性回歸的主要用途51

二、線(xiàn)性回歸應(yīng)用的注意事項(xiàng)1．在進(jìn)行直線(xiàn)回歸分析之前，應(yīng)繪制散點(diǎn)圖。2．作回歸分析時(shí)，要注意兩變量間是否存在實(shí)際意義。3．兩變量間存在直線(xiàn)關(guān)系時(shí)，不一定表明彼此之間就存在因果關(guān)系。二、線(xiàn)性回歸應(yīng)用的注意事項(xiàng)52

4．建立回歸方程后，須對(duì)回歸系數(shù)進(jìn)行假設(shè)檢驗(yàn)。5.使用回歸方程進(jìn)行估計(jì)與預(yù)測(cè)時(shí)，一般只適用于原來(lái)的觀測(cè)范圍，即自變量的取值范圍，不能隨意將范圍擴(kuò)大。6.在線(xiàn)性回歸分析時(shí)，要注意遠(yuǎn)離群體的極端值對(duì)回歸效果的影響。4．建立回歸方程后，須對(duì)回歸系數(shù)進(jìn)行假設(shè)檢驗(yàn)。53第二節(jié)直線(xiàn)相關(guān)第二節(jié)直線(xiàn)相關(guān)54

直線(xiàn)相關(guān)(linearcorrelation)又稱(chēng)簡(jiǎn)單相關(guān)(simplecorrelation)，用于雙變量正態(tài)分布(bivariatenormaldistribution)資料。其性質(zhì)可由散點(diǎn)圖直觀的說(shuō)明。

目的：研究?jī)蓚€(gè)變量X,Y數(shù)量上的依存（或相關(guān)）關(guān)系。

特點(diǎn)：統(tǒng)計(jì)關(guān)系一、直線(xiàn)相關(guān)的概念直線(xiàn)相關(guān)(linearcorrelation)又稱(chēng)55二、相關(guān)系數(shù)的意義與計(jì)算

1.意義：相關(guān)系數(shù)（correlationcoefficient）又稱(chēng)Pearson積差相關(guān)系數(shù)，用來(lái)說(shuō)明具有直線(xiàn)關(guān)系的兩變量間相關(guān)的密切程度與相關(guān)方向。相關(guān)系數(shù)沒(méi)有單位，其值為-1r1。r值為正表示正相關(guān)，r值為負(fù)表示負(fù)相關(guān)，r的絕對(duì)值等于1為完全相關(guān)，r=0為零相關(guān)。

二、相關(guān)系數(shù)的意義與計(jì)算1.意義：相關(guān)系數(shù)（cor56統(tǒng)計(jì)學(xué)--線(xiàn)性回歸分析ppt課件572.計(jì)算：樣本相關(guān)系數(shù)的計(jì)算公式為

（12-18）

2.計(jì)算：樣本相關(guān)系數(shù)的計(jì)算公式為

（12-18）58表12--58名正常兒童的年齡（歲）與尿肌酐含量（mmol/24h）

例12-5某地方病研究所調(diào)查了8名正常兒童的尿肌酐含量（mmol/24h）如下表：表12--58名正常兒童的年齡（歲）與尿肌酐含量59由例算得，

例9-5

對(duì)例12-5數(shù)據(jù)（，計(jì)算8名兒童的尿肌酐含量與其年齡的相關(guān)系數(shù)。由例算得，例9-5對(duì)例12-5數(shù)據(jù)（，計(jì)算60三、相關(guān)系數(shù)的統(tǒng)計(jì)推斷（一）相關(guān)系數(shù)的假設(shè)檢驗(yàn)（12-19）三、相關(guān)系數(shù)的統(tǒng)計(jì)推斷（一）相關(guān)系數(shù)的假設(shè)檢驗(yàn)（12-19）61例對(duì)前例所得r值，檢驗(yàn)?zāi)蚣◆颗c年齡是否有直線(xiàn)相關(guān)關(guān)系？例對(duì)前例所得r值，檢驗(yàn)?zāi)蚣◆颗c年62檢驗(yàn)步驟本例n=8，r=0.8818，按公式（9-19）檢驗(yàn)步驟本例n=8，r=0.8818，按公式（9-19）63（二）總體相關(guān)系數(shù)的可信區(qū)間

（二）總體相關(guān)系數(shù)的可信區(qū)間64具體步驟如下具體步驟如下65例9-7對(duì)例9-5所得r值，估計(jì)總體相關(guān)系數(shù)的95%可信區(qū)間。

再按公式（9-22）將z作反變換，得到年齡與尿肌酐含量的總體相關(guān)系數(shù)95%可信區(qū)間為（0.4678,0.9971）。

例9-7對(duì)例9-5所得r值，估計(jì)總體相關(guān)系66四、決定系數(shù)(coefficientofdetermination)

定義為回歸平方和與總平方和之比，計(jì)算公式為：（12-23）

取值在0到1之間且無(wú)單位，其數(shù)值大小反映了回歸貢獻(xiàn)的相對(duì)程度，也就是在Y的總變異中回歸關(guān)系所能解釋的百分比。

四、決定系數(shù)(coefficientofdetermin67（12-23）（12-23）68五、直線(xiàn)回歸與相關(guān)應(yīng)用的注意事項(xiàng)

五、直線(xiàn)回歸與相關(guān)應(yīng)用的注意事項(xiàng)

69

1．根據(jù)分析目的選擇變量及統(tǒng)計(jì)方法

直線(xiàn)相關(guān)用于說(shuō)明兩變量之間直線(xiàn)關(guān)系的方向和密切程度，X與Y沒(méi)有主次之分；直線(xiàn)回歸則進(jìn)一步地用于定量刻畫(huà)應(yīng)變量Y對(duì)自變量X在數(shù)值上的依存關(guān)系，其中應(yīng)變量的定奪主要依專(zhuān)業(yè)要求而定，可以考慮把易于精確測(cè)量的變量作為X，另一個(gè)隨機(jī)變量作Y，例如用身高估計(jì)體表面積。兩個(gè)變量的選擇一定要結(jié)合專(zhuān)業(yè)背景，不能把毫無(wú)關(guān)聯(lián)的兩種現(xiàn)象勉強(qiáng)作回歸或相關(guān)分析。1．根據(jù)分析目的選擇變量及統(tǒng)計(jì)方法直線(xiàn)相關(guān)用于說(shuō)明兩變量70統(tǒng)計(jì)學(xué)--線(xiàn)性回歸分析ppt課件712．進(jìn)行相關(guān)、回歸分析前應(yīng)繪制散點(diǎn)圖—第一步

（1）

散點(diǎn)圖可考察兩變量是否有直線(xiàn)趨勢(shì)；（2）

可發(fā)現(xiàn)離群點(diǎn)（outlier）。

散點(diǎn)圖對(duì)離群點(diǎn)的識(shí)別與處理需要從專(zhuān)業(yè)知識(shí)和現(xiàn)有數(shù)據(jù)兩方面來(lái)考慮，結(jié)果可能是現(xiàn)有回歸模型的假設(shè)錯(cuò)誤需要改變模型形式，也可能是抽樣誤差造成的一次偶然結(jié)果甚至過(guò)失誤差。需要認(rèn)真核對(duì)原始數(shù)據(jù)并檢查其產(chǎn)生過(guò)程認(rèn)定是過(guò)失誤差，或者通過(guò)重復(fù)測(cè)定確定是抽樣誤差造成的偶然結(jié)果，才可以謹(jǐn)慎地剔除或采用其它估計(jì)方法。2．進(jìn)行相關(guān)、回歸分析前應(yīng)繪制散點(diǎn)圖—第一步

（1）散點(diǎn)圖723．資料的要求

直線(xiàn)相關(guān)分析要求X與Y服從雙變量正態(tài)分布；直線(xiàn)回歸要求至少對(duì)于每個(gè)X相應(yīng)的Y要服從正態(tài)分布，X可以是服從正態(tài)分布的隨機(jī)變量也可以是能精確測(cè)量和嚴(yán)格控制的非隨機(jī)變量；*對(duì)于雙變量正態(tài)分布資料，根據(jù)研究目的可選擇由X估計(jì)Y或者由Y估計(jì)X，一般情況下兩個(gè)回歸方程不相同）。3．資料的要求

直線(xiàn)相關(guān)分析要求X與73

反應(yīng)兩變量關(guān)系密切程度或數(shù)量上影響大小的統(tǒng)計(jì)量應(yīng)該是回歸系數(shù)或相關(guān)系數(shù)的絕對(duì)值，而不是假設(shè)檢驗(yàn)的P值。P值越小只能說(shuō)越有理由認(rèn)為變量間的直線(xiàn)關(guān)系存在，而不能說(shuō)關(guān)系越密切或越“顯著”。另外，直線(xiàn)回歸用于預(yù)測(cè)時(shí)，其適用范圍一般不應(yīng)超出樣本中自變量的取值范圍。4．結(jié)果解釋及正確應(yīng)用

反應(yīng)兩變量關(guān)系密切程度或數(shù)量上影響大小的統(tǒng)計(jì)量應(yīng)該是回74第三節(jié)秩相關(guān)

(非參數(shù)統(tǒng)計(jì)方法)

第三節(jié)秩相關(guān)

(非參數(shù)統(tǒng)計(jì)方法)75適用條件：

雙變量計(jì)量資料：①資料不服從雙變量態(tài)分布；②總體分布型未知，一端或兩端是不確定數(shù)值（如＜10歲，≥65歲）的資料；原始數(shù)據(jù)（一個(gè)或兩個(gè)變量值）用等級(jí)表示的資料。適用條件：雙變量計(jì)量資料：76一、Spearman秩相關(guān)

1.意義：等級(jí)相關(guān)系數(shù)rs用來(lái)說(shuō)明兩個(gè)變量間直線(xiàn)相關(guān)關(guān)系的密切程度與相關(guān)方向。一、Spearman秩相關(guān)1.773.計(jì)算公式（9-25）

(9-26)

3.計(jì)算公式（9-25）(9-26)78統(tǒng)計(jì)學(xué)--線(xiàn)性回歸分析ppt課件79表9-3某省1995年到1999年居民死因構(gòu)成與WYPLL構(gòu)成表9-3某省1995年到1999年居民死因構(gòu)成與WYPL80檢驗(yàn)步驟檢驗(yàn)步驟81二、相同秩較多時(shí)rs的校正公式中Tx(或TY)＝Σ(t3－t)/12，t為X(或Y)中相同秩的個(gè)數(shù)。顯然當(dāng)Tx＝TY＝0時(shí)，公式(9-27)與公式(9-25)相等