第11講 簡單線性回歸課件

簡單線性回歸Linearregression第11講簡單線性回歸回歸是設(shè)法找出變量間在數(shù)量上的依存變化關(guān)系,用函數(shù)表達式表達出來，這個表達式稱之為回歸方程。第11講簡單線性回歸兩變量間的關(guān)系確定性關(guān)系：兩變量間的函數(shù)關(guān)系

圓的周長與半徑的關(guān)系：C＝2R

速度、時間與路程的關(guān)系：L＝STX與Y的函數(shù)關(guān)系：Y＝a+bX非確定性關(guān)系：兩變量在宏觀上存在關(guān)系，但并未精確到可以用函數(shù)關(guān)系來表達。青少年身高與年齡的關(guān)系；身高與體重的關(guān)系:標準體重(kg)=身高(cm)-105藥物濃度與反應(yīng)率的關(guān)系；第11講簡單線性回歸一、線性回歸的概念當兩個變量存在準確、嚴格的直線關(guān)系時，可以用Y=a+bX，表示兩者的函數(shù)關(guān)系。其中X為自變量（independentvariable）；Y是因變量（dependentvariable）。但在實際生活當中，由于其它因素的干擾，許多雙變量之間的關(guān)系并不是嚴格的函數(shù)關(guān)系，不能用函數(shù)方程來準確反映，為了區(qū)別于兩變量間的函數(shù)方程，我們稱這種關(guān)系為回歸關(guān)系，用直線方程來表示這種關(guān)系稱為回歸直線或線性回歸。

第11講簡單線性回歸小插曲：為什么叫”回歸“？

F.GaltonK.Pearson第11講簡單線性回歸二、回歸參數(shù)的估計式中的是由自變量X推算應(yīng)變量Y的估計值，a是回歸直線在Y軸上的截距；b為樣本的回歸系數(shù)，即回歸直線的斜率，表示當X變動一個單位時，Y平均變動b個單位。計算原理：最小二乘法，即保證各實測點到回歸直線的縱向距離的平方和最小，并使計算出的回歸方程最能代表實測數(shù)據(jù)所反映出的直線趨勢。第11講簡單線性回歸第11講簡單線性回歸例12-1某醫(yī)師為了研究正常成年男性的運動后最大心率與年齡的關(guān)系，測得20名正常成年男性的有關(guān)數(shù)據(jù)，散點圖如下。第11講簡單線性回歸年齡與運動后最大心率的回歸方程第11講簡單線性回歸回歸系數(shù)和回歸方程的意義及性質(zhì)b的意義a的意義的意義的意義的意義第11講簡單線性回歸b

的意義斜率(slope)＝301.3124-3.218X年齡每增加1歲，其運動后最大心率平均減少3.218（次/分鐘)b

的單位為(Y的單位/X的單位)第11講簡單線性回歸

b>0，yincreasewiththeincreaseofX

b<0，ydecreasewiththeincreaseofX

b=0，nolinearcorrelationbetweentwovariables.XYbistheregressioncoefficientandtheslopeoftheline。statisticalsignificanceofb

：whenXchangedaunit,theYchangedbunitsonaverage.b>0b<0b=0第11講簡單線性回歸a的意義a截距(intercept,constant)X=0時，Y的估計值a的單位與Y值相同當X可能取0時，a才有實際意義。第11講簡單線性回歸估計值的意義X=46時,=153.2844,即年齡為46歲的正常成年男性,其平均運動后最大心率估計值為153.2844（次/分鐘)；給定X時，Y的估計值。當時，第11講簡單線性回歸的意義

為殘差：實測點到回歸直線的縱向距離。1112131415165.05.56.06.5第11講簡單線性回歸殘差平方和(residualsumofsquares).綜合表示點距直線的縱向距離。在所有的直線中，回歸直線的殘差平方和是最小的。(最小二乘)的意義第11講簡單線性回歸三、總體回歸系數(shù)的假設(shè)檢驗與直線相關(guān)一樣，直線回歸方程也是從樣本資料計算而得的，同樣也存在著抽樣誤差問題。所以，需要對樣本的回歸系數(shù)b進行假設(shè)檢驗，以判斷b是否從回歸系數(shù)為零的總體中抽得。總體的回歸系數(shù)用β表示。

第11講簡單線性回歸一般步驟H0：β=0回歸方程無意義H1：β≠0回歸方程有意義

α=0.05選擇合適的假設(shè)檢驗方法（方差分析或t檢驗），計算統(tǒng)計量計算概率值P做出推論：統(tǒng)計學結(jié)論和專業(yè)結(jié)論第11講簡單線性回歸方差分析法第11講簡單線性回歸因變量總變異的分解X

P

(X,Y)Y第11講簡單線性回歸Y的總變異分解未引進回歸時的總變異：(sumofsquaresaboutthemeanofY)引進回歸以后的變異(剩余):(sumofsquaresaboutregression)回歸的貢獻，回歸平方和：(sumofsquaresduetoregression)第11講簡單線性回歸Y的總變異分解

第11講簡單線性回歸剩余標準差(1)扣除了X的影響后Y方面的變異;(2)引進回歸方程后,Y方面的變異。

第11講簡單線性回歸回歸系數(shù)檢驗的基本思想如果X與Y無線性回歸關(guān)系，在SS回歸和SS剩余都是其他隨機因素對Y的影響，由此，MS回歸≈MS剩余，總體回歸系數(shù)β=0，反之，β≠0。所以用F檢驗對X與Y之間有無回歸關(guān)系進行檢驗。第11講簡單線性回歸公式第11講簡單線性回歸查F界值表，F(xiàn)0.05（1，18）=4.41，F(xiàn)>F0.05（1，18），P<0.05，拒絕H0

H0：β=0H1：β≠0α=0.05第11講簡單線性回歸t檢驗法Sb是樣本回歸系數(shù)的標準誤第11講簡單線性回歸H0：

＝0，H1：

≠0，

=0.05。年齡與運動后最大心率間存在回歸關(guān)系。第11講簡單線性回歸決定系數(shù)

(coefficientofdetermination)取值在0到1之間，反映了回歸貢獻的相對程度。決定系數(shù)除了作為回歸擬合效果的概括統(tǒng)計量，還可利用它對回歸方程做假設(shè)檢驗。第11講簡單線性回歸四、回歸問題的區(qū)間估計回歸系數(shù)的可信區(qū)間估計估計值的可信區(qū)間估計個體Y值的容許區(qū)間估計第11講簡單線性回歸總體回歸系數(shù)

的可信區(qū)間估計根據(jù)

t分布原理估計：-3.218±2.101×0.2777＝-3.8014~-2.6346第11講簡單線性回歸的可信區(qū)間估計

總體回歸線的95%置信帶

樣本總體Y的總平均給定X時Y的平均(Y的條件均數(shù))根據(jù)

t分布原理：第11講簡單線性回歸的容許區(qū)間估計

個體Y值的容許區(qū)間給定X時Y的估計值是Y的均數(shù)的一個估計。給定X時Y值的容許區(qū)間是Y

值的可能范圍。的100(1-

)%容許限:第11講簡單線性回歸的可信區(qū)間與Y的容許區(qū)間可信區(qū)間是針對條件均數(shù)的，而容許區(qū)間是針對Y的取值范圍的。X=46時，的可信區(qū)間為：149.7501~156.8187(次/分),

表示：年齡為46歲的男子，估計其運動后最大心率為153.2844，95％可信區(qū)間為（149.7501，156.8187)(次/分),

X=46時，Y的容許區(qū)間為：141.7543~164.8145(次/分),

表示：年齡為46歲的男子，估計有95％的人其運動后最大心率在141.7543~164.8145(次/分)之間。第11講簡單線性回歸可信區(qū)間與容許區(qū)間示意

(confidenceband&toleranceband)1112131415164.55.05.56.06.57.0第11講簡單線性回歸五、殘差分析第11講簡單線性回歸線性回歸的應(yīng)用條件(LINE)：(1)線性(linear)(2)獨立(independent)(3)給定X時，Y正態(tài)分布(normal)(4)等方差(equalvariance)

可通過散點圖、殘差圖等方法來判斷數(shù)據(jù)是否滿足這些條件。第11講簡單線性回歸給定X時，Y是正態(tài)分布、等方差示意圖第11講簡單線性回歸給定X時，Y是正態(tài)分布、不等方差示意圖第11講簡單線性回歸殘差及殘差分析殘差是指觀察值Yi與預測值之間的差值，其表達式為：它反映了方程擬合數(shù)據(jù)優(yōu)劣的信息。殘差分析（residualanalysis）旨在通過殘差深入了解數(shù)據(jù)與方程之間的關(guān)系，評價實際資料是否符合回歸方程的假設(shè)，識別離群值等。第11講簡單線性回歸殘差圖標準殘差：（殘差－均值）/標準差以自變量（或因變量）為橫坐標，標準殘差為縱坐標，構(gòu)成的散點圖稱之為殘差圖。運動后最大心率Y和回歸殘差圖第11講簡單線性回歸殘差圖示意圖第11講簡單線性回歸殘差圖示意圖含義以上給出幾種以自變量取值為橫坐標、以標準化殘差為縱坐標的殘差圖的常見類型。在此殘差圖中：情況（a）、情況（b）和情況（f）表示殘差不滿足等方差的條件；情況（c）顯示存在非線性關(guān)系；情況（d）顯示有點處于

2倍標準差以外，可能是離群值；只有情況（e）顯示殘差呈隨機分布，滿足回歸條件。第11講簡單線性回歸六、線性回歸分析的注意事項1.進行相回歸分析要有實際意義。2.充分利用散點圖。3.在回歸分析中要求因變量Y是隨機變量，服從正態(tài)分布，自變量X可以是隨機變量也可以是給定的變量。4.自變量的選擇：因果中的因、容易測量的、變異小的。

第11講簡單線性回歸4.注意線性回歸模型的應(yīng)用條件：LINE5.建立回歸方程后，須對回歸系數(shù)進行假設(shè)檢驗。6.使用回歸方程估計時，在建立方程時的自變量的取值范圍內(nèi)。第11講簡單線性回歸七、線性相關(guān)和回歸的

區(qū)別和聯(lián)系第11講簡單線性回歸聯(lián)系：1.b和r符號一致2.b和r的檢驗是等價的3.用回歸解釋相關(guān)第11講簡單線性回歸區(qū)別1.資料要求不同：回歸要求y服從正態(tài)分布，x是可以精確測量和嚴格控制的變量，一般稱為Ⅰ型回歸；相關(guān)要求兩個變量服從雙變量正態(tài)分布。這種資料若進行回歸分析稱為Ⅱ回歸，可計算兩個方程。I型回歸：X是精確控制的；II型回歸：X是隨機的。由X推算Y：由Y推算X：2.研究目的不同：回歸用來說明兩變量數(shù)量上的依存變化關(guān)系，相關(guān)說明變量間的相關(guān)關(guān)系。第11講簡單線性回歸小結(jié)簡單線性回歸是研究兩個變量間線性關(guān)系的數(shù)量表達式。根據(jù)最小二乘法原則，計算回歸方程。進行簡單線性回歸分析需要滿足線性、獨立、正態(tài)與等方差4個條件。在簡單線性回歸分析中，對回歸方程的檢驗等價于對回歸系數(shù)的假設(shè)檢驗，可通過方差分析或t檢驗完成。第11講簡單線性回歸案例原文題目《高效毛細管電泳法測定血漿中布