簡單回歸分析

簡單回歸分析1第1頁，課件共74頁，創(chuàng)作于2023年2月Regression釋意

F.Galton第2頁，課件共74頁，創(chuàng)作于2023年2月outline簡單線性回歸回歸模型的建立回歸系數(shù)的假設檢驗和區(qū)間估計線性回歸的應用

估計置信區(qū)間估計預測區(qū)間殘差分析第3頁，課件共74頁，創(chuàng)作于2023年2月4第4頁，課件共74頁，創(chuàng)作于2023年2月

5第5頁，課件共74頁，創(chuàng)作于2023年2月

6第6頁，課件共74頁，創(chuàng)作于2023年2月1概述Y因變量

(dependentvariable,responsevariable)X自變量

(independentvariable)

簡單回歸的形式：簡單回歸是回歸分析中最基本、最簡單的一種，又稱直線回歸。第7頁，課件共74頁，創(chuàng)作于2023年2月(1)a為回歸直線在Y

軸上的截距。a>0，表示直線與縱軸的交點在原點的上方；a<0，則交點在原點的下方；a=0，則回歸直線通過原點。8第8頁，課件共74頁，創(chuàng)作于2023年2月(2）b為回歸系數(shù)，即直線的斜率。

b>0，直線從左下方走向右上方，Y隨X增大而增大；

b<0，直線從左上方走向右下方，Y隨X增大而減小；

b=0，表示直線與X軸平行，X與Y無直線關系。

b的統(tǒng)計學意義是：X

每增加(減)一個單位，Y

平均改變b個單位。

9第9頁，課件共74頁，創(chuàng)作于2023年2月2回歸模型的前提假設線性(linear)獨立(independent)正態(tài)(normal)等方差(equalvariance)

恰好為“LINE”。第10頁，課件共74頁，創(chuàng)作于2023年2月給定X時，Y是正態(tài)分布、等方差示意圖xy第11頁，課件共74頁，創(chuàng)作于2023年2月給定X時，Y是正態(tài)分布、不等方差示意圖xy第12頁，課件共74頁，創(chuàng)作于2023年2月最小二乘法(leastsquareestimation，LSE)基本思想：使各實測值Y與回歸直線上對應的估計值之差的平方和為最小，在這個準則下，可導出a、b的最小二乘估計如下：

3估計回歸參數(shù)，建立回歸模型第13頁，課件共74頁，創(chuàng)作于2023年2月自變量反應變量第14頁，課件共74頁，創(chuàng)作于2023年2月

①先作散點圖，以判斷兩變量間是否呈線性趨勢第15頁，課件共74頁，創(chuàng)作于2023年2月凝血酶濃度（X）與凝血時間(Y)數(shù)據(jù)第16頁，課件共74頁，創(chuàng)作于2023年2月回歸系數(shù)b：②求直線回歸方程截距a：第17頁，課件共74頁，創(chuàng)作于2023年2月由凝血酶濃度x估計凝血時間y18第18頁，課件共74頁，創(chuàng)作于2023年2月③繪制回歸直線計算不太接近的兩點的Y值：X=1.1單位/毫升時

Y=21.77393-6.9802×1.1=14.0957（s）X=0.6單位/毫升時

Y=21.77393-6.9802×0.6=17.5858（s）第19頁，課件共74頁，創(chuàng)作于2023年2月③繪制回歸直線圖12-3凝血酶濃度（X）與凝血時間（Y）的散點分布及擬合直線

第20頁，課件共74頁，創(chuàng)作于2023年2月4回歸方程的意義及性質1)b的意義：2)a的意義：第21頁，課件共74頁，創(chuàng)作于2023年2月b

的意義回歸系數(shù)b稱為斜率(slope)，表示自變量增加一個單位時，應變量平均改變的量。

凝血酶濃度每增加1單位/ml,則凝血時間平均減少6.9802秒b

的單位為(Y的單位/X的單位)回歸與相關均表示兩變量間的線性關系，故回歸系數(shù)b與相關系數(shù)r的正負號是相同的。第22頁，課件共74頁，創(chuàng)作于2023年2月a的意義a截距或常數(shù)項(intercept,constant)X=0時，Y的估計值a的單位與Y值相同第23頁，課件共74頁，創(chuàng)作于2023年2月估計值的意義給定X時，Y的平均值。X=1.1時,=14.0957,即凝血酶濃度為1.1單位/ml的健康成人中，估計其平均凝血時間為14.0957秒。X=0.6時，=17.5858,

即凝血酶濃度為0.6單位/ml的健康成人中，估計其平均凝血時間為17.5858秒第24頁，課件共74頁，創(chuàng)作于2023年2月的意義

為殘差：點到直線的縱向距離。各點殘差要求盡可能?。?5頁，課件共74頁，創(chuàng)作于2023年2月回歸直線的有關性質直線通過均點直線上方各點到直線的縱向距離之和

=直線下方各點到直線的縱向距離之和即:各點到該回歸線縱向距離平方和較到其它任何直線者為小。即最小

26第26頁，課件共74頁，創(chuàng)作于2023年2月殘差平方和或剩余平方和(residualsumofsquares)。綜合表示點距直線的距離。在所有的直線中，回歸直線的殘差平方和是最小的。(最小二乘)

的意義第27頁，課件共74頁，創(chuàng)作于2023年2月

5總體回歸系數(shù)β的統(tǒng)計推斷

區(qū)間估計假設檢驗第28頁，課件共74頁，創(chuàng)作于2023年2月總體回歸系數(shù)β的置信區(qū)間

29第29頁，課件共74頁，創(chuàng)作于2023年2月30第30頁，課件共74頁，創(chuàng)作于2023年2月①樣本回歸系數(shù)b的標準誤：

sy,x為的剩余標準差(或回歸的剩余標準差)：X的離均差平方和為：第31頁，課件共74頁，創(chuàng)作于2023年2月總體回歸系數(shù)β的置信區(qū)間

32第32頁，課件共74頁，創(chuàng)作于2023年2月②總體回歸系數(shù)β的假設檢驗建立樣本直線回歸方程，只是完成了統(tǒng)計分析中兩變量關系的統(tǒng)計描述，研究者還須回答它所來自的總體的直線回歸關系是否確實存在，即是否對總體有？第33頁，課件共74頁，創(chuàng)作于2023年2月34第34頁，課件共74頁，創(chuàng)作于2023年2月如圖，無論X如何取值，總在一條水平線上，即0b=，總體直線回歸方程并不成立，意即Y與X無直線關系。然而在一次隨機抽樣中，如果所得樣本為實心園點所示，則會得到一個并不等于0的樣本回歸系數(shù)b。b與0相差到多大可以認為具有統(tǒng)計學意義？可用方差分析或與其等價的t檢驗來回答這一問題。

Y35第35頁，課件共74頁，創(chuàng)作于2023年2月樣本回歸系數(shù)b

總體回歸系數(shù)

H0：總體回歸系數(shù)為0，=0，即兩指標間無直線回歸關系；

H1：總體回歸系數(shù)不為0，0；即兩指標間有直線回歸關系；=0.05。36第36頁，課件共74頁，創(chuàng)作于2023年2月回歸系數(shù)的方差分析37第37頁，課件共74頁，創(chuàng)作于2023年2月6因變量總變異的分解X

P

(X,Y)Y38第38頁，課件共74頁，創(chuàng)作于2023年2月Y的總變異分解總變異SS總回歸平方和SS回剩余平方和SS剩39第39頁，課件共74頁，創(chuàng)作于2023年2月6因變量總變異的分解X

P

(X,Y)Y40第40頁，課件共74頁，創(chuàng)作于2023年2月Y的總變異分解

41第41頁，課件共74頁，創(chuàng)作于2023年2月方差分析表變異來源SS

v

MS

F

回歸

SS回

1

SS回/1

MS回/MS剩剩余

SS剩

n-2

SS剩/n-2

總變異 SS總

n-142第42頁，課件共74頁，創(chuàng)作于2023年2月回歸方程的假設檢驗---方差分析

H0：兩指標間無直線回歸關系；

H1：兩指標間有直線回歸關系。

=0.05。

lXX，lYY，lXY

SS總=lYY=22.93333 SS回

=lXY2/lXX

==19.68416

SS剩

=lYY–lXY2/lXX=3.24917

43第43頁，課件共74頁，創(chuàng)作于2023年2月方差分析表變異來源SS

vMSFP

回歸

19.68416119.684178.76<.01

剩余

3.24917130.24994

總變異

22.933331444第44頁，課件共74頁，創(chuàng)作于2023年2月決定系數(shù)對于兩變量，R2=r2決定系數(shù)反映了回歸貢獻的相對程度,也就是在Y的總變異中回歸能解釋的百分比。因此，R2越接近1，說明應用相關分析的意義越大，即貢獻越大；相反的意義亦成立。45第45頁，課件共74頁，創(chuàng)作于2023年2月回歸系數(shù)的t

檢驗46第46頁，課件共74頁，創(chuàng)作于2023年2月建立假設，確定檢驗水準

H0:β=0，即兩指標間無直線回歸關系；

H1:β≠0，即兩指標間有直線回歸關系；

=0.05計算檢驗統(tǒng)計量：

,v=n-2=13總體回歸系數(shù)的假設檢驗47第47頁，課件共74頁，創(chuàng)作于2023年2月確定p值

t0.05/2,13=2.16，p<0.05下結論：拒絕H0，可認為兩變量間存在直線回歸關系。48第48頁，課件共74頁，創(chuàng)作于2023年2月回歸系數(shù)與相關系數(shù)的假設檢驗結果等價:49第49頁，課件共74頁，創(chuàng)作于2023年2月直線回歸中三種假設檢驗間的關系在直線回歸中，相關系數(shù)的假設檢驗，回歸系數(shù)的假設檢驗，以及回歸方程的方差分析結果等價。50第50頁，課件共74頁，創(chuàng)作于2023年2月③總體回歸系數(shù)β的置信區(qū)間

不包含H0第51頁，課件共74頁，創(chuàng)作于2023年2月7線性回歸的應用估計置信區(qū)間（可信區(qū)間）

總體回歸線的95%置信帶估計參考值范圍（預測區(qū)間）個體Y95%的預測區(qū)間統(tǒng)計控制

第52頁，課件共74頁，創(chuàng)作于2023年2月(1)的置信區(qū)間估計

樣本統(tǒng)計量總體參數(shù)Y的均數(shù)給定Xp時Y的均數(shù)點估計：根據(jù)

t分布原理對進行區(qū)間估計：(Y的條件均數(shù))53第53頁，課件共74頁，創(chuàng)作于2023年2月Xp=1.1時，求的95%可信區(qū)間

結果解釋？第54頁，課件共74頁，創(chuàng)作于2023年2月第55頁，課件共74頁，創(chuàng)作于2023年2月第56頁，課件共74頁，創(chuàng)作于2023年2月(2)個體Y的預測區(qū)間當x=xp時，個體Y值波動范圍的標準差：其波動范圍是第57頁，課件共74頁，創(chuàng)作于2023年2月以第一觀測點數(shù)據(jù)（X1=1.1）點為例，該點預測值的標準差為：結果解釋？第58頁，課件共74頁，創(chuàng)作于2023年2月第59頁，課件共74頁，創(chuàng)作于2023年2月第60頁，課件共74頁，創(chuàng)作于2023年2月第61頁，課件共74頁，創(chuàng)作于2023年2月

的可信區(qū)間與Y的預測區(qū)間可信區(qū)間是針對條件均數(shù)的，而預測區(qū)間是針對個體Y的取值范圍的。前者表示在固定的Xp處（X=Xp），按照（1-α）的置信度估計的Y的總體均數(shù)可信區(qū)間。后者表示在固定的Xp處（X=Xp），（1-α）的個體Y值在預測范圍內。第62頁，課件共74頁，創(chuàng)作于2023年2月

的可信區(qū)間與Y的預測區(qū)間可信區(qū)間是針對條件均數(shù)的，而預測區(qū)間是針對個體Y的取值范圍的。X=1.1時，的95%可信區(qū)間為：13.75~14.44秒,

表示：凝血酶濃度為1.1單位/ml的健康成人中，估計其平均凝血時間為14.09秒，95%可信區(qū)間為13.75~14.44秒。

X=1.1時，Y的95%預測區(qū)間為：12.96~15.23秒,

表示：凝血酶濃度為1.1單位/ml的健康成人中，估計有95％的人其凝血時間在12.96~15.23秒之間。63第63頁，課件共74頁，創(chuàng)作于2023年2月

即利用個體Y值95%的預測區(qū)間，由Y反推X(3)統(tǒng)計控制64第64頁，課件共74頁，創(chuàng)作于2023年2月8直線回歸與直線相關的區(qū)別與聯(lián)系聯(lián)系正負符號相同：在同一資料，r與b的正負符號相同。假設檢驗等價：在同一資料，r與b的假設檢驗統(tǒng)計量t值相等：tr=tb，自由度亦相等，故r與b

的假設檢驗等價。用回歸解釋相關。相關系數(shù)的平方稱為決定系數(shù)，其公式為：

其值在０~１之間。決定系數(shù)反映了回歸貢獻的相對程度,也就是在Y的重變異中回歸能解釋的百分比。因此，R2越接近1，說明應用相關分析的意義越大，即貢獻越大；相反的意義亦成立。對于兩變量，R2=r2。第65頁，課件共74頁，創(chuàng)作于2023年2月8直線回歸與直線相關的區(qū)別與聯(lián)系區(qū)別計量單位：r

沒有單位，b有單位(Y單位/X單位)應用：相關表示相互關系，回歸表示依存關系。若目的是描述兩變量間呈直線關系的密切程度和方向，則應作相關分析；若目的是描述