直線(xiàn)回歸課件

簡(jiǎn)單線(xiàn)性回歸11.直線(xiàn)回歸概述多個(gè)變量之間關(guān)系研究：例：某人群年齡、BMI與收縮壓的關(guān)系；兒童身高、胸圍與肺活量的關(guān)系；在此，介紹兩個(gè)變量間線(xiàn)性的數(shù)量依存關(guān)系，即線(xiàn)性回歸。11.直線(xiàn)回歸

“回歸”的由來(lái)11.直線(xiàn)回歸Regression釋義11.直線(xiàn)回歸大多數(shù)高個(gè)子父代的子一代在成年之后的身高平均來(lái)說(shuō)不是更高，而是稍矮于其父代水平；大多數(shù)矮個(gè)子父代的子一代的平均身高不是更矮，而是稍高于其父代水平。

Galton將這種趨向于人群平均水平的現(xiàn)象稱(chēng)之為“回歸”。

Regression釋義11.直線(xiàn)回歸

Galton數(shù)據(jù)散點(diǎn)圖（英寸）11.直線(xiàn)回歸直線(xiàn)回歸的概念

回歸

——

F.Galton和KarlPearson發(fā)現(xiàn)兒子身高（Y，英寸）與父親身高（X，英寸）存在線(xiàn)性關(guān)系：

一.“回歸”(regression)一詞的由來(lái)11.直線(xiàn)回歸

人們借用“回歸”這個(gè)詞來(lái)描述通過(guò)自變量(independentvariable)的數(shù)值預(yù)測(cè)反應(yīng)變量（responsevariable)的平均水平。為了通過(guò)可測(cè)或易測(cè)變量對(duì)未知或難測(cè)或不可測(cè)量的狀態(tài)進(jìn)行估計(jì)，可以借助于回歸分析（regressionanalysis)。

例如：可以用身高體重活量估計(jì)心室輸出量，體循環(huán)總血量。尿雌三醇含量估計(jì)胎兒的體重。11.直線(xiàn)回歸LINE假定xy標(biāo)準(zhǔn)差相等

EQUALSTANDARDDEVIATION

對(duì)于任何X值，隨機(jī)變量Y的標(biāo)準(zhǔn)差

Y|X相等獨(dú)立INDEPENDENCE

每一觀(guān)察值之間彼此獨(dú)立

y|X=α+x直線(xiàn)回歸模型的四個(gè)假定線(xiàn)性L(fǎng)INEARITY

反應(yīng)變量均數(shù)與X間呈直線(xiàn)關(guān)系

Y|X=a+

X正態(tài)

NORMALITY

對(duì)于任何給定的X,Y服從正態(tài)分布，均數(shù)為

Y|X，標(biāo)準(zhǔn)差為

Y|X11.直線(xiàn)回歸直線(xiàn)回歸的一般表達(dá)直線(xiàn)回歸的概念

a：常數(shù)，截距(intercept)

當(dāng)X取值為0時(shí)相應(yīng)Y的均數(shù)估計(jì)；b：斜率(slope)，回歸系數(shù)(cofficientofregession)

當(dāng)X變化一個(gè)單位時(shí)Y的平均改變的估計(jì)值。11.直線(xiàn)回歸直線(xiàn)回歸方程的求法最小二乘法(leastsquaremethod)原理最小二乘法原則(leastsquaremethod)：使各實(shí)際散點(diǎn)（Y）到直線(xiàn)（）的縱向距離的平方和最小。即使最小。11.直線(xiàn)回歸最小二乘(Leastsquares)法圖解Yi（Y的估計(jì)值）

=a+bXi

Yi估計(jì)值i殘差i=Yi–估計(jì)值i尋找使S(殘差i)2最小的直線(xiàn)11.直線(xiàn)回歸直線(xiàn)回歸方程的求法根據(jù)數(shù)學(xué)上的最小二乘法(leastsquaremethod)原理，可導(dǎo)出a、b的算式如下:

因?yàn)橹本€(xiàn)一定經(jīng)過(guò)“均數(shù)”點(diǎn)11.直線(xiàn)回歸直線(xiàn)回歸中的統(tǒng)計(jì)推斷回歸系數(shù)的假設(shè)檢驗(yàn)總體回歸系數(shù)的可信區(qū)間11.直線(xiàn)回歸回歸系數(shù)的假設(shè)檢驗(yàn)直線(xiàn)回歸中的統(tǒng)計(jì)推斷b≠0原因：①總體回歸系數(shù)β=0，由于抽樣誤差引起

b≠0②總體回歸系數(shù)β≠0，存在回歸關(guān)系因此需作β是否為零的假設(shè)檢驗(yàn)。方法：方差分析t檢驗(yàn)11.直線(xiàn)回歸X方差分析方法基本思想——需要對(duì)應(yīng)變量Y的離均差平方和作分解。應(yīng)變量Y的平方和劃分示意圖：11.直線(xiàn)回歸Y的離均差平方和的分解11.直線(xiàn)回歸統(tǒng)計(jì)量F的計(jì)算公式為:

分別稱(chēng)為回歸均方與剩余均方。統(tǒng)計(jì)量F服從自由度為的F分布。求F值后，查F界值表，得P值，按所取檢驗(yàn)水準(zhǔn)作出推斷結(jié)論。直線(xiàn)回歸中的統(tǒng)計(jì)推斷11.直線(xiàn)回歸t檢驗(yàn)方法

直線(xiàn)回歸中的統(tǒng)計(jì)推斷

Sy..x為y的剩余標(biāo)準(zhǔn)差-----扣除x對(duì)Y的線(xiàn)性影響后y對(duì)回歸線(xiàn)的離散程度。

11.直線(xiàn)回歸回歸方程的評(píng)價(jià)假設(shè)檢驗(yàn)RootMSE（剩余標(biāo)準(zhǔn)差）R-Square（決定系數(shù)）AdjR-Sq（校正決定系數(shù)）11.直線(xiàn)回歸R-Square：回歸平方和在Y的總離均差平方和中所占比重R-Square=SS回歸/SS總=1-SS剩余/SS總0≤R-Square≤1當(dāng)回歸系數(shù)=0，則R-Square=0當(dāng)所有的觀(guān)測(cè)值正好落在擬和的回歸線(xiàn)上時(shí)，則R-Square=1

R-Square越接近1，說(shuō)明回歸模型對(duì)資料的擬合優(yōu)度越佳，故R-Square作為衡量模型優(yōu)劣的測(cè)度。

11.直線(xiàn)回歸使用R-Square評(píng)價(jià)模型時(shí)需注意:

較大的R-Square并不一定意味著擬合模型是有用的，可能是因?yàn)椋褐蝗〉米宰兞亢苌賻讉€(gè)水平的觀(guān)察值，此時(shí)，盡管R-Square很大，甚至趨于1，但它不能作為衡量模型優(yōu)劣的測(cè)度統(tǒng)計(jì)量；11.直線(xiàn)回歸AdjR-Sq:校正決定系數(shù)可見(jiàn)，校正決定系數(shù)是相對(duì)SS殘與SS總的自由度進(jìn)行的加權(quán)調(diào)整。11.直線(xiàn)回歸總體回歸系數(shù)β的可信區(qū)間β的1-α雙側(cè)可信區(qū)間為：

直線(xiàn)回歸中的統(tǒng)計(jì)推斷Sb為回歸系數(shù)的標(biāo)準(zhǔn)誤11.直線(xiàn)回歸描述預(yù)報(bào)

控制直線(xiàn)回歸的應(yīng)用11.直線(xiàn)回歸描述兩變量的依存關(guān)系通過(guò)回歸系數(shù)的假設(shè)檢驗(yàn)，若認(rèn)為兩變量間存在著直線(xiàn)回歸關(guān)系，則可用直線(xiàn)回歸來(lái)描述兩變量的依存關(guān)系。直線(xiàn)回歸方程的應(yīng)用11.直線(xiàn)回歸利用回歸方程進(jìn)行預(yù)測(cè)(forecast)把預(yù)報(bào)因子(自變量X)代入回歸方程對(duì)預(yù)報(bào)量(應(yīng)變量Y)進(jìn)行估計(jì)。直線(xiàn)回歸方程的應(yīng)用11.直線(xiàn)回歸利用回歸方程進(jìn)行統(tǒng)計(jì)控制(statisticalcontrol)

利用回歸方程進(jìn)行逆估計(jì)，如要求應(yīng)變量Y在一定范圍內(nèi)波動(dòng)，可以通過(guò)自變量X的取值來(lái)實(shí)現(xiàn)。直線(xiàn)回歸方程的應(yīng)用11.直線(xiàn)回歸總體均數(shù)的可信區(qū)間給定X=X0時(shí)，總體均數(shù)的可信區(qū)間

其中

直線(xiàn)回歸的應(yīng)用11.直線(xiàn)回歸直線(xiàn)回歸中的統(tǒng)計(jì)推斷個(gè)體Y值的預(yù)測(cè)區(qū)間

給定X=X0時(shí)，對(duì)應(yīng)的個(gè)體Y值也存在一個(gè)波動(dòng)范圍。其標(biāo)準(zhǔn)差SY0按如下公式計(jì)算：

給定X=X0時(shí)個(gè)體Y值的1-α預(yù)測(cè)區(qū)間為：