《概率論與數(shù)理統(tǒng)計(jì)》課件 孟祥波 第十章 回歸分析

概率論

與數(shù)理統(tǒng)計(jì)理學(xué)院數(shù)學(xué)系“悟道詩(shī)---嚴(yán)加安”隨機(jī)非隨意，概率破玄機(jī)；無(wú)序隱有序，統(tǒng)計(jì)解迷離．第十章回歸分析第一節(jié)相關(guān)與回歸分析概述二、相關(guān)關(guān)系的度量與可視化四、小結(jié)一、相關(guān)關(guān)系三、什么是回歸分析一、相關(guān)關(guān)系函數(shù)關(guān)系：人的身高和體重父親的身高和成年兒子的身高糧食的施肥量和產(chǎn)量商品的廣告費(fèi)和銷售額相關(guān)關(guān)系：例如例如二、相關(guān)關(guān)系的度量與可視化1.相關(guān)系數(shù)隨機(jī)變量X

和Y

的相關(guān)系數(shù)定義如下：其中

是X和Y的協(xié)方差，分別為X和Y的方差.二、相關(guān)關(guān)系的度量與可視化1.相關(guān)系數(shù)在實(shí)際問(wèn)題中，基于X

和Y

的n

對(duì)觀測(cè)數(shù)據(jù)

可以利用下式計(jì)算X和Y的相關(guān)系數(shù)：稱r

為變量X

和Y

的樣本相關(guān)系數(shù).二、相關(guān)關(guān)系的度量與可視化1.相關(guān)系數(shù)樣本相關(guān)系數(shù)r度量了變量X

和Y

的線性相關(guān)性的強(qiáng)弱，滿足.對(duì)于固定的樣本容量n1）;2）越接近于1時(shí)，X

和Y

的線性相關(guān)性越強(qiáng);3）越接近于0時(shí)，X

和Y

的線性相關(guān)性越弱.二、相關(guān)關(guān)系的度量與可視化1.相關(guān)系數(shù)二、相關(guān)關(guān)系的度量與可視化2.散點(diǎn)圖二、相關(guān)關(guān)系的度量與可視化3.相關(guān)系數(shù)矩陣圖設(shè)有m個(gè)變量，對(duì)它們進(jìn)行n

次獨(dú)立的觀測(cè)，觀測(cè)數(shù)據(jù)矩陣記為定義的相關(guān)系數(shù)矩陣如下：3.相關(guān)系數(shù)矩陣圖其中這里為變量和的相關(guān)系數(shù)，滿足.例10.1.1

在有氧鍛煉中，人的耗氧能力Y是衡量身體狀況的重要指標(biāo)，它可能與以下因素有關(guān)：年齡X1

(歲)，體重X2(kg)，1500米跑所用的時(shí)間X3(min),靜止時(shí)心速X4(次/min)，跑步后心速X5(次/min).對(duì)24名40至57歲的志愿者進(jìn)行了測(cè)試，結(jié)果如下表所列．試根據(jù)這些數(shù)據(jù)分析耗氧能力Y與諸因素之間的相關(guān)性．例10.1.1

數(shù)據(jù)表：序號(hào)yx1x2x3x4x5144.64489.56.8262178245.34075.16.0462185354.34485.85.1945156459.64268.24.940166549.938895.5355178…………………2345.45276.35.78481642454.75070.95.3548146解經(jīng)計(jì)算得的相關(guān)系數(shù)矩陣如下：為了直觀，繪制相關(guān)系數(shù)矩陣圖，圖中用橢圓色塊直觀地表示變量間的線性相關(guān)程度的大小.相關(guān)系數(shù)矩陣圖第i行，第j

列的橢圓色塊用來(lái)表示第i個(gè)變量和第j

個(gè)變量的相關(guān)性，其短半軸和長(zhǎng)半軸滿足注：橢圓越扁，變量間相關(guān)系數(shù)的絕對(duì)值越接近于1，橢圓越圓，變量間相關(guān)系數(shù)的絕對(duì)值越接近于0．若橢圓的長(zhǎng)軸方向是從左下到右上，則變量間為正相關(guān)，反之為負(fù)相關(guān)．三、什么是回歸分析回歸分析是對(duì)變量的相關(guān)關(guān)系進(jìn)行建模的數(shù)學(xué)工具.回歸分析的內(nèi)容包括：1）從一組樣本數(shù)據(jù)出發(fā)，確定因變量和自變量之間的數(shù)學(xué)關(guān)系式，即經(jīng)驗(yàn)回歸方程；2）對(duì)經(jīng)驗(yàn)回歸方程進(jìn)行顯著性檢驗(yàn)；3）對(duì)回歸方程中的各項(xiàng)進(jìn)行檢驗(yàn)，判斷哪些項(xiàng)對(duì)因變量的影響是顯著的，哪些是不顯著的，通常需要剔除不顯著的項(xiàng)，重新計(jì)算，對(duì)模型做出改進(jìn)；4）利用所求得的經(jīng)驗(yàn)回歸方程進(jìn)行預(yù)測(cè)和控制．小結(jié)1.主要概念：相關(guān)關(guān)系，相關(guān)系數(shù)，樣本相關(guān)系數(shù)，相關(guān)系數(shù)矩陣.2.基于樣本數(shù)據(jù)計(jì)算樣本相關(guān)系數(shù)和相關(guān)系數(shù)矩陣.3.散點(diǎn)圖和相關(guān)系數(shù)矩陣圖.概率論

與數(shù)理統(tǒng)計(jì)理學(xué)院數(shù)學(xué)系“悟道詩(shī)---嚴(yán)加安”隨機(jī)非隨意，概率破玄機(jī)；無(wú)序隱有序，統(tǒng)計(jì)解迷離．第十章回歸分析第二節(jié)一元線性回歸二、參數(shù)的最小二乘估計(jì)四、利用回歸方程進(jìn)行預(yù)測(cè)一、一元線性回歸模型三、回歸方程的顯著性檢驗(yàn)五、小結(jié)一、一元線性回歸模型隨機(jī)變量

Y可控變量X線性相關(guān)Y

關(guān)于X的一

元線性回歸模型：

n

次獨(dú)立觀測(cè)數(shù)據(jù)a,b

為待估計(jì)的模型參數(shù).εi為隨機(jī)誤差項(xiàng).一、一元線性回歸模型當(dāng)時(shí)，，可得對(duì)每個(gè)，相應(yīng)的因變量的觀測(cè)值來(lái)自于正態(tài)總體，回歸直線將穿過(guò)點(diǎn),即回歸直線從Y的均值位置穿過(guò).理論回歸方程：二、參數(shù)的最小二乘估計(jì)假設(shè)a,b

的估計(jì)量為擬合誤差（殘差）一個(gè)比較好的回歸方程應(yīng)該使所有觀測(cè)點(diǎn)的殘差平方和盡可能小二、參數(shù)的最小二乘估計(jì)殘差平方和：二元函數(shù)的最小值點(diǎn)稱為a,b

的最小二乘估計(jì).求關(guān)于的偏導(dǎo)數(shù)，并令其等于0，列方程組如下：二、參數(shù)的最小二乘估計(jì)進(jìn)一步整理得：其中當(dāng)不全相等時(shí)，方程組的系數(shù)矩陣的行列式二、參數(shù)的最小二乘估計(jì)解得唯一解：經(jīng)驗(yàn)回歸方程：其中注：經(jīng)驗(yàn)回歸直線一定過(guò)觀測(cè)數(shù)據(jù)散點(diǎn)圖的幾何中心例10.2.1

由專業(yè)知識(shí)可知，合金鋼的強(qiáng)度Y(107

Pa)與合金鋼中碳的含量X

(%)有關(guān)．為了研究它們之間的關(guān)系，從生產(chǎn)中收集了一批數(shù)據(jù)，如下表所列．試根據(jù)這些數(shù)據(jù)求Y關(guān)于X的經(jīng)驗(yàn)回歸方程．序號(hào)xy序號(hào)xy10.1042.070.1649.020.1143.580.1753.030.1245.090.1850.040.1345.5100.2055.050.1445.0110.2155.060.1547.5120.2360.0解先根據(jù)已知數(shù)據(jù)繪制X

和Y

的散點(diǎn)圖解由散點(diǎn)圖可知，12個(gè)觀測(cè)數(shù)據(jù)點(diǎn)分布在一條直線附近，Y與X是線性相關(guān)的．假定Y

關(guān)于X

的理論回歸方程為經(jīng)計(jì)算得從而可得故Y

關(guān)于X

的經(jīng)驗(yàn)回歸方程為三、回歸方程的顯著性檢驗(yàn)對(duì)于變量Y和X的任意n對(duì)觀測(cè)值，只要不全相等，則無(wú)論變量Y和X之間是否存在線性相關(guān)關(guān)系，都可根據(jù)上面介紹的方法求得一個(gè)線性回歸方程。顯然，只有當(dāng)變量Y和X之間存在線性相關(guān)關(guān)系時(shí)，這樣的線性回歸方程才是有意義的.為了使求得的線性回歸方程真正有意義，就需要檢驗(yàn)變量Y

和X

之間是否存在顯著的線性相關(guān)關(guān)系．三、回歸方程的顯著性檢驗(yàn)1.F

檢驗(yàn)離差分解：三、回歸方程的顯著性檢驗(yàn)1.F

檢驗(yàn)殘差平方和回歸平方和三、回歸方程的顯著性檢驗(yàn)1.F檢驗(yàn)定理10.2.1對(duì)于一

元線性回歸，有并且和相互獨(dú)立H0成立時(shí)，三、回歸方程的顯著性檢驗(yàn)1.F檢驗(yàn)檢驗(yàn)統(tǒng)計(jì)量拒絕域aF

(1,n-2)0拒絕H0不能拒絕H0FF分布三、回歸方程的顯著性檢驗(yàn)1.F

檢驗(yàn)當(dāng)時(shí)拒絕原假設(shè)H0，認(rèn)為Y

和X之間的線性相關(guān)關(guān)系是顯著的.方差來(lái)源平方和自由度均方F值臨界值回歸SSR1MSR=SSR/1MSR/MSE

Fα(1,n–2)殘差SSEn–2MSE=SSE

/(n–2)總和SSTn–1一元線性回歸的方差分析表：例10.2.2

在研究合金鋼的強(qiáng)度(Y)與碳含量(X)關(guān)系的例10.2.1中，我們已經(jīng)求出了Y關(guān)于X的經(jīng)驗(yàn)回歸方程，接下來(lái)取顯著性水平α

=0.01，對(duì)回歸方程進(jìn)行顯著性檢驗(yàn)．解經(jīng)計(jì)算得從而可得解SST,SSR,SSE

的自由度分別為11,1和10，從而可得各均方分別為檢驗(yàn)統(tǒng)計(jì)量的觀測(cè)值由于檢驗(yàn)統(tǒng)計(jì)量可得檢驗(yàn)的p

值為解由上表可知兩不等式均可說(shuō)明在顯著性水平0.01下，Y和X之間的線性相關(guān)關(guān)系是顯著的，或者說(shuō)Y關(guān)于X的回歸方程是顯著的.又F(1,10)分布的上側(cè)0.01分位數(shù)，于是可得方差分析表如下：方差來(lái)源平方和自由度均方F值臨界值p值回歸317.25871317.2587176.539310.040.0000殘差17.9705101.7971

總計(jì)335.229211

三、回歸方程的顯著性檢驗(yàn)2.t檢驗(yàn)定理10.2.2對(duì)于一

元線性回歸，有并且和相互獨(dú)立(1)的分布并且和相互獨(dú)立2.t檢驗(yàn)當(dāng)原假設(shè)成立時(shí)，檢驗(yàn)統(tǒng)計(jì)量(2)檢驗(yàn)統(tǒng)計(jì)量和拒絕域拒絕域檢驗(yàn)的p

值其中稱為剩余標(biāo)準(zhǔn)差(或均方根誤差)故在顯著性水平0.01下拒絕原假設(shè)H0，認(rèn)為Y關(guān)于X

的回歸方程是顯著的以例10.2.1中數(shù)據(jù)為例，經(jīng)計(jì)算得注：對(duì)于一元線性回歸分析，t檢驗(yàn)和F檢驗(yàn)是等同的四、利用回歸方程進(jìn)行預(yù)測(cè)1.點(diǎn)預(yù)測(cè)稱為

y0的點(diǎn)預(yù)測(cè).對(duì)于給定的X=x0，由于因變量Y是隨機(jī)變量，Y

的相應(yīng)取值y0是無(wú)法準(zhǔn)確預(yù)測(cè)的．將x0代入經(jīng)驗(yàn)回歸方程，只能得到y(tǒng)0的均值的估計(jì)四、回歸系數(shù)的顯著性檢驗(yàn)2.區(qū)間預(yù)測(cè)對(duì)于給定的X=x0，相應(yīng)的y0

的均值a+bx0

的點(diǎn)估計(jì)為由可得y0

的置信水平為1-α

的預(yù)測(cè)區(qū)間為其中四、回歸系數(shù)的顯著性檢驗(yàn)2.區(qū)間預(yù)測(cè)當(dāng)時(shí)，y0的預(yù)測(cè)區(qū)間的長(zhǎng)度達(dá)到最短當(dāng)x0逐漸遠(yuǎn)離時(shí)，預(yù)測(cè)區(qū)間的長(zhǎng)度逐漸增大例10.2.3

在例10.2.1中，若碳含量為0.19，求相應(yīng)的合金鋼強(qiáng)度的預(yù)測(cè)值和置信水平為95%的預(yù)測(cè)區(qū)間.解令，可得合金鋼強(qiáng)度y0

的預(yù)測(cè)值為取，則，又可得從而可得所求預(yù)測(cè)區(qū)間為小結(jié)1.主要概念：一元線性回歸模型，理論回歸方程，經(jīng)驗(yàn)回歸方程.2.參數(shù)的最小二乘估計(jì).3.回歸方程的顯著性檢驗(yàn)：F檢驗(yàn)和

t

檢驗(yàn).4.利用回歸方程進(jìn)行預(yù)測(cè)：點(diǎn)預(yù)測(cè)和區(qū)間預(yù)測(cè).概率論

與數(shù)理統(tǒng)計(jì)理學(xué)院數(shù)學(xué)系“悟道詩(shī)---嚴(yán)加安”隨機(jī)非隨意，概率破玄機(jī)；無(wú)序隱有序，統(tǒng)計(jì)解迷離．第十章回歸分析第三節(jié)多元線性回歸二、參數(shù)的最小二乘估計(jì)四、回歸系數(shù)的顯著性檢驗(yàn)一、多元線性回歸模型三、回歸方程的顯著性檢驗(yàn)五、小結(jié)一、多元線性回歸模型隨機(jī)變量

Y可控變量X1,X2,…,

Xm線性相關(guān)Y

關(guān)于X1,X2,…,

Xm

的m

元線性回歸模型：

n

組獨(dú)立觀測(cè)數(shù)據(jù)b0,b1,…,

bm為待估計(jì)的模型參數(shù).εi為隨機(jī)誤差項(xiàng).一、多元線性回歸模型Y

關(guān)于X1,X2,…,

Xm

的m

元線性回歸模型：Y

關(guān)于X1,X2,…,

Xm

的理論回歸方程：二、參數(shù)的最小二乘估計(jì)假設(shè)b0,b1,…,

bm的估計(jì)量為回歸平面擬合誤差（殘差）一個(gè)比較好的回歸方程應(yīng)該使所有觀測(cè)點(diǎn)的殘差平方和盡可能小二、參數(shù)的最小二乘估計(jì)殘差平方和：求m+1元函數(shù)的最小值點(diǎn)，即得未知參數(shù)b0,b1,…,

bm的最小二乘估計(jì)二、參數(shù)的最小二乘估計(jì)求關(guān)于的偏導(dǎo)數(shù)，并令其等于0，列方程組如下：稱為正規(guī)方程組二、參數(shù)的最小二乘估計(jì)1.第一種解法求解方程組其中二、參數(shù)的最小二乘估計(jì)1.第一種解法由后m個(gè)方程解得，代入第一個(gè)方程得Y

關(guān)于X1,X2,…,

Xm

的經(jīng)驗(yàn)回歸方程：二、參數(shù)的最小二乘估計(jì)2.第二種解法（矩陣解法）令可得正規(guī)方程組的矩陣形式X

稱為設(shè)計(jì)矩陣二、參數(shù)的最小二乘估計(jì)2.第二種解法（矩陣解法）由解得將代入理論回歸方程式同樣可得經(jīng)驗(yàn)回歸方程三、回歸方程的顯著性檢驗(yàn)1.離差平方和分解殘差平方和回歸平方和三、回歸方程的顯著性檢驗(yàn)2.F檢驗(yàn)法定理10.3.1對(duì)于m

元線性回歸，有并且和相互獨(dú)立H0成立時(shí)，三、回歸方程的顯著性檢驗(yàn)2.F檢驗(yàn)法檢驗(yàn)統(tǒng)計(jì)量拒絕域aF

(m,n-m-1)0拒絕H0不能拒絕H0FF分布三、回歸方程的顯著性檢驗(yàn)3.方差分析表當(dāng)時(shí)拒絕原假設(shè)H0，認(rèn)為回歸方程整體上是顯著的.方差來(lái)源平方和自由度均方F值回歸SSRmMSR=SSR/mMSR/MSE

剩余SSEn–m–1MSE=SSE

/(n–m–1)總和SSTn–1四、回歸系數(shù)的顯著性檢驗(yàn)1.的分布并且和相互獨(dú)立.定理10.3.2記，對(duì)于m元線性回歸模型，有四、回歸系數(shù)的顯著性檢驗(yàn)2.t

檢驗(yàn)法對(duì)于給定的顯著性水平α，檢驗(yàn)的拒絕域?yàn)楫?dāng)原假設(shè)H0成立時(shí)，檢驗(yàn)統(tǒng)計(jì)量檢驗(yàn)的p

值：例10.3.1

考察15名不同程度的煙民的每日抽煙量X1（支）、飲酒（啤酒）量X2（L）與其心電圖指標(biāo)Y的對(duì)應(yīng)數(shù)據(jù)，如下表所列：（1）求變量的相關(guān)系數(shù)矩陣；（2）求Y

關(guān)于的二元線性回歸方程；（3）對(duì)回歸方程進(jìn)行顯著性檢驗(yàn)（?。?解（1）由式(10.25)~式(10.27)計(jì)算得于是可得X1和X2的相關(guān)系數(shù)為解（1）X1

和Y的相關(guān)系數(shù)為X2

和Y的相關(guān)系數(shù)為X1

,X2,Y的相關(guān)系數(shù)矩陣為解（2）假設(shè)Y關(guān)于X1

,X2

的理論回歸方程為根據(jù)式(10.28)寫(xiě)出如下方程組解得可得Y關(guān)于X1

,X2

的經(jīng)驗(yàn)回歸方程為解（3）顯著性檢驗(yàn)的原假設(shè)和備擇假設(shè)為顯著性檢驗(yàn)的方差分析表如下：由上表可知，

所以Y關(guān)于X1

,X2

的回歸方程是顯著的.方差來(lái)源平方和自由度均方F值臨界值p值回歸110638.83255319.4273.893.890.0000殘差8984.512748.71

總計(jì)119623.3314

小結(jié)1.主要概念：m元線性回歸模型，理論回歸方程，經(jīng)驗(yàn)回歸方程，正規(guī)方程組.2.求解參數(shù)最小二乘估計(jì)的兩種方法.3.回歸方程的顯著性檢驗(yàn)：F檢驗(yàn)法（方差分析表）.4.回歸系數(shù)的顯著性檢驗(yàn)：t檢驗(yàn)法.概率論

與數(shù)理統(tǒng)計(jì)理學(xué)院數(shù)學(xué)系“悟道詩(shī)---嚴(yán)加安”隨機(jī)非隨意，概率破玄機(jī)；無(wú)序隱有序，統(tǒng)計(jì)解迷離．第十章回歸分析第四節(jié)一元非線性回歸二、可線性化的非線性函數(shù)一、一元非線性回歸模型三、小結(jié)一、一元非線性回歸模型隨機(jī)變量

Y可控變量X非線性相關(guān)Y

關(guān)于X的一元非線性回歸模型：

n

組獨(dú)立觀測(cè)數(shù)據(jù)b0,b1,…,

bk為待估計(jì)的模型參數(shù).εi為隨機(jī)誤差項(xiàng).二、可線性化的非線性函數(shù)1.雙曲線函數(shù)3)線性化方法：1)

函數(shù)形式：令，則有2)函數(shù)圖形：2.冪函數(shù)3)線性化方法：1)

函數(shù)形式：取對(duì)數(shù)得2)函數(shù)圖形：令，則有3.對(duì)數(shù)函數(shù)3)線性化方法：1)

函數(shù)形式：2)函數(shù)圖形：令，則有4.指數(shù)函數(shù)3)線性化方法：1)

函數(shù)形式：取對(duì)數(shù)得2)函數(shù)圖形：令，則有5.負(fù)指數(shù)函數(shù)3)線性化方法：1)

函數(shù)形式：取對(duì)數(shù)得2)函數(shù)圖形：令，則有6.邏輯斯蒂（logistic）函數(shù)3)線性化方法：1)

函數(shù)形式：取倒數(shù)得2)函數(shù)圖形：令，則有7.多項(xiàng)式函數(shù)3)線性化方法：1)

函數(shù)形式：2)函數(shù)圖形：令，則有例10.4.1

頭圍是反映嬰幼兒大腦和顱骨發(fā)育程度的重要指標(biāo)之一．為研究頭圍Y和月齡X的關(guān)系，現(xiàn)收集21名男童的頭圍（cm）和月齡數(shù)據(jù)，如下表所列：序號(hào)月齡頭圍序號(hào)月齡頭圍序號(hào)月齡頭圍1137.88844.7154851.42239.49946.1166052.33340.7101045.4177252.94441.8111146.9188453.15542.8121247.0199653.36643.7132449.72010853.07742.9143651.22112053.5求Y

關(guān)于X

的回歸方程．解（1）散點(diǎn)圖（2）理論回歸方程解（3）線性化對(duì)理論回歸方程取對(duì)數(shù)得令建立V

關(guān)于U

的一元線性回歸方程uvuvuv0.13.63230.05883.80.01753.93960.09093.67380.05563.83080.01453.9570.08333.70620.05263.81550.01233.96840.07693.73290.053.8480.01083.97220.07143.75650.04763.85010.00953.97590.06673.77730.03033.9060.00853.97030.06253.75890.02223.93570.00783.9797利用本例中已給數(shù)據(jù)計(jì)算得U,V

的數(shù)據(jù)如下表：解（3）經(jīng)計(jì)算得可得于是V關(guān)于U的經(jīng)驗(yàn)回歸方程為解（3）進(jìn)一步計(jì)算得由于所以V和U之間的線性相關(guān)關(guān)系是非常顯著的.解（4）換回原變量可得故Y關(guān)于X的經(jīng)驗(yàn)回歸方程為注：對(duì)于一元非線性回歸，如何選取合適的回歸曲線是一個(gè)難題，通常要用到專業(yè)知識(shí)，如果專業(yè)上也不清楚，還可以根據(jù)散點(diǎn)圖選取回歸曲線，并且可能會(huì)有多種不同的回歸曲線供選擇．如何評(píng)價(jià)回歸曲線的好壞呢？一個(gè)常用的指標(biāo)是殘差平方和SSE（或均方根誤差），SSE（或）越小的回歸曲線越好.小結(jié)1