概率論與數(shù)理統(tǒng)計A1課件

§9.1回歸分析的概念§9.2一元線性回歸§9.3可線性化的一元非線性回歸§9.4單因素試驗方差分析

回歸分析及方差分析

Ch91§9.1回歸分析的概念回歸分析及方差分析Ch91“回歸”一詞的歷史淵源“回歸”一詞最早由FrancisGalton引入。十九世紀(jì)，英國生物學(xué)家兼統(tǒng)計學(xué)家高爾頓研究發(fā)現(xiàn)：

其中x表示父親身高，y表示成年兒子的身高（單位：英寸，1英寸=2.54厘米）。這表明子代的平均高度有向中心回歸的意思，使得一段時間內(nèi)人的身高相對穩(wěn)定。之后回歸分析的思想滲透到了數(shù)理統(tǒng)計的其它分支中。2“回歸”一詞的歷史淵源“回歸”一詞最早由Franc§9.1回歸分析的基本概念變量之間的關(guān)系確定性關(guān)系非確定性關(guān)系(相關(guān)關(guān)系)3§9.1回歸分析的基本概念變量之間的關(guān)系確定性關(guān)系非確定性關(guān)對變量間統(tǒng)計依賴關(guān)系的考察主要是通過相關(guān)分析(correlationanalysis)或回歸分析(regressionanalysis)來完成的。對于相關(guān)關(guān)系，雖然不能求出變量之間精確的函數(shù)關(guān)系式，但是通過大量的觀測數(shù)據(jù)，可以發(fā)現(xiàn)它們之間存在一定的統(tǒng)計規(guī)律性。4對變量間統(tǒng)計依賴關(guān)系的考察主要是通過相關(guān)分析對于相關(guān)關(guān)系，雖回歸分析是研究一個變量關(guān)于另一個（些）變量的具體依賴關(guān)系的計算方法和理論。分為：一元線性回歸、多元線性回歸、可線性化的非線性歸（雙曲線、指數(shù)、對數(shù)、二次、冪函數(shù)等）5回歸分析是研究一個變量關(guān)于另一個（些）變量的具體依賴關(guān)系的計基本方法考察隨機(jī)變量Y與普通變量x之間的相關(guān)關(guān)系.例1.在農(nóng)業(yè)生產(chǎn)中小麥的畝產(chǎn)量Y與所施肥料量x有一定關(guān)系，在一定范圍內(nèi)，若施肥量大，畝產(chǎn)也較高。問題：Y是怎樣依賴施肥料量x的變化的。問題的特征：x是普通變量,Y是隨機(jī)變量.處理方法：按數(shù)理統(tǒng)計處理問題的方法。6基本方法考察隨機(jī)變量Y與普通變量x之間的相關(guān)關(guān)系.例1.在農(nóng)(1)先進(jìn)行一些試驗，分別取不同的值Y也得到

個相應(yīng)觀察值得到n對數(shù)據(jù)對，稱為樣本數(shù)據(jù)點(2)散點圖

Yxo····················7(1)先進(jìn)行一些試驗，分別取不同的值Y也得到個相應(yīng)(3)尋找Y與x的數(shù)量關(guān)系：其中一般地，，

8(3)尋找Y與x的數(shù)量關(guān)系：其中一般地，，8

例1

合金的強(qiáng)度y(×107Pa)與合金中碳的含量x(%)有關(guān)。為研究兩個變量間的關(guān)系。首先是收集數(shù)據(jù)，我們把收集到的數(shù)據(jù)記為(xi,yi),i=1,2,,n。本例中，我們收集到12組數(shù)據(jù)，列于表1中進(jìn)行回歸分析首先是回歸函數(shù)形式的選擇。當(dāng)只有一個自變量時，通?？刹捎卯嬌Ⅻc圖的方法進(jìn)行選擇。9例1合金的強(qiáng)度y(×107Pa)與合金中碳的含表1合金鋼強(qiáng)度y與碳含量x的數(shù)據(jù)

序號x(%)y(×107Pa)序號x(%)y(×107Pa)10.1042.070.1649.020.1143.080.1753.030.1245.090.1850.040.1345.0100.2055.050.1445.0110.2155.060.1547.5120.2360.010表1合金鋼強(qiáng)度y與碳含量x的數(shù)據(jù)序號x(%)y(×10為找出兩個量間存在的回歸函數(shù)的形式，可以畫一張圖：把每一對數(shù)(xi,yi)看成直角坐標(biāo)系中的一個點，在圖上畫出n個點，稱這張圖為散點圖，見右圖。11為找出兩個量間存在的回歸函數(shù)的形式，可以畫一張圖：

從散點圖我們發(fā)現(xiàn)12個點基本在一條直線附近，這說明兩個變量之間有一個線性相關(guān)關(guān)系，這個相關(guān)關(guān)系可以表示為

這便是y關(guān)于x的一元線性回歸的數(shù)據(jù)結(jié)構(gòu)式。通常假定

在對未知參數(shù)作區(qū)間估計或假設(shè)檢驗時，還需要假定誤差服從正態(tài)分布，即顯然假定（2）比假定（1）強(qiáng)

12從散點圖我們發(fā)現(xiàn)12個點基本在一條直線附近，這說明由于0,1均未知，需要我們從收集到的數(shù)據(jù)(xi,yi)，i=1,2,…,n，出發(fā)進(jìn)行估計。在收集數(shù)據(jù)時，我們一般要求觀察獨立地進(jìn)行，即假定y1,y2,,yn,相互獨立。綜合上述諸項假定，我們可以給出最簡單、常用的一元線性回歸的數(shù)學(xué)模型：13由于0,1均未知，需要我們從收集到的數(shù)據(jù)(xi,yi§9.2一元線性回歸1.本節(jié)考慮的模型是其中都是未知參數(shù),為回歸系數(shù),分別是直線的截距和斜率。稱為Y關(guān)于x的經(jīng)驗回歸函數(shù)

。方程

稱為Y關(guān)于x的經(jīng)驗線性回歸方程，或經(jīng)驗回歸方程，其相應(yīng)的圖形稱為經(jīng)驗回歸直線。

此模型稱為一元線性回歸模型，基于此種模型的統(tǒng)計分析稱為一元線性回歸分析.14§9.2一元線性回歸1.本節(jié)考慮的模型是其中都是未知參2.下面用最小二乘法來求對于自變量x和因變量y的n對觀察值的最小二乘估計其中是對觀察時的隨機(jī)誤差.

的估計。152.下面用最小二乘法來求對于自變量x和因變量y的n對觀察值使得成立的

和

稱為和的最小二乘估計。

16使得成立的和稱為和的最小二乘估計。16于是得方程組17于是得方程組17解得，

記于是

18解得，記于是18例9.2.1設(shè)某化學(xué)過程的得率Y與該過程的溫度x有關(guān).現(xiàn)作了10次測量，其數(shù)據(jù)如下表所示.x/℃38434954606671778288y/%20.420.922.523.024.224.326.226.628.028.9解故于是得線性回歸方程19例9.2.1設(shè)某化學(xué)過程的得率Y與該過程的溫度x有關(guān).現(xiàn)作了由此給出回歸方程為:

例2

使用例1種合金鋼強(qiáng)度和碳含量數(shù)據(jù)求回歸方程。解20由此給出回歸方程為:例2使用例1種合金鋼強(qiáng)度和,.21,.21殘差顯然殘差的平方和定理9.2.2

是

的無偏估計。

22殘差顯然殘差的平方和定理9.2.2是的無偏估計。22例：求出例9.2.1中誤差方差的無偏估計

解 例9.2.1中已求出

所以23例：求出例9.2.1中誤差方差的無偏估計解 例9.定理9.2.3 對一元線性回歸模型（9.2.3），若進(jìn)一步假定隨機(jī)誤差，則有(1).(2)RSS與和相互獨立.24定理9.2.3 對一元線性回歸模型（9.2.3），若進(jìn)一步假4回歸方程的顯著性檢驗

在使用回歸方程作進(jìn)一步的分析以前，首先應(yīng)對回歸方程是否有意義進(jìn)行判斷。如果1=0，那么不管x如何變化，E(y)不隨x的變化作線性變化，那么這時求得的一元線性回歸方程就沒有意義，稱回歸方程不顯著。如果10，E(y)隨x的變化作線性變化，稱回歸方程是顯著的。綜上，對回歸方程是否有意義作判斷就是要作如下的顯著性檢驗：H0：1=0vsH1：10拒絕H0表示回歸方程是顯著的。254回歸方程的顯著性檢驗在使用回歸方程作進(jìn)一步需要檢驗假設(shè)方法：26需要檢驗假設(shè)方法：26t檢驗法27t檢驗法27例9.2.3試說明例9.2.1中的線性回歸效果是否顯著解 要在水平

下檢驗如下假設(shè)故查表知

因為

24.1260>3.3554，

所以拒絕，線性回歸效果是顯著的.28例9.2.3試說明例9.2.1中的線性回歸效果是否顯著解 5.回歸系數(shù)的置信區(qū)間的置信水平為

的置信區(qū)間為例9.2.4求例9.2.1中回歸系數(shù)

的置信水平為95%的置信區(qū)間.

解295.回歸系數(shù)的置信區(qū)間的置信水平為的置信區(qū)間為例9.2.如果經(jīng)檢驗，回歸方程的線性回歸效果是顯著的，那么就可以用已經(jīng)獲得的回歸方程

進(jìn)行預(yù)測.6.預(yù)測所謂預(yù)測（或稱預(yù)報），就是以一定的置信水平預(yù)測與

對應(yīng)的

的取值范圍.

稱為

的置信水平為

的預(yù)測區(qū)間，也稱為置信區(qū)間.30如果經(jīng)檢驗，回歸方程的線性回歸效果是顯著的，那么就可以用已經(jīng)

方法——通過適當(dāng)?shù)淖兞孔儞Q,化成一元線性回歸問題進(jìn)行分析處理.兩邊取對數(shù)§

9.3、可化為一元線性回歸的問題31方法——通過適當(dāng)?shù)淖兞孔儞Q,化成一元線性兩邊取對數(shù)§9，，，，曲線變換變換后的線性式1雙曲函數(shù)2冪函數(shù)3指數(shù)函數(shù)4對數(shù)函數(shù)5倒指數(shù)函數(shù)6S型曲線32，，，，曲線變換變換后的線性式1雙曲函數(shù)2冪函數(shù)3指數(shù)函數(shù)4配曲線的一般方法是：33配曲線的一般方法是：33例9.3.1 一只紅鈴蟲的產(chǎn)卵數(shù)Y和溫度x有關(guān).經(jīng)觀測獲得一組紅鈴蟲產(chǎn)卵數(shù)與溫度的數(shù)據(jù)如下表所示.試求Y關(guān)于x的回歸方程.編號1234567溫度x/℃21232527293235產(chǎn)卵數(shù)y71121246611532534例9.3.1 一只紅鈴蟲的產(chǎn)卵數(shù)Y和溫度x有關(guān).經(jīng)觀測獲得一解 1.根據(jù)這組數(shù)據(jù)畫出散點圖.2.選擇模型作變換于是得到3.線性化35解 1.根據(jù)這組數(shù)據(jù)畫出散點圖.2.選擇模型作變換于是得到3編號1234567x212325272932351.94592.39793.04453.17814.18974.74495.7838根據(jù)這些數(shù)據(jù)可算得與的最小二乘估計.經(jīng)計算于是得U關(guān)于x的回歸方程

36編號1234567x212325272932351.94594.非線性化

化為Y關(guān)于x的回歸方程為374.非線性化化為Y關(guān)于x的回歸方程為37§9.1回歸分析的概念§9.2一元線性回歸§9.3可線性化的一元非線性回歸§9.4單因素試驗方差分析

回歸分析及方差分析

Ch938§9.1回歸分析的概念回歸分析及方差分析Ch91“回歸”一詞的歷史淵源“回歸”一詞最早由FrancisGalton引入。十九世紀(jì)，英國生物學(xué)家兼統(tǒng)計學(xué)家高爾頓研究發(fā)現(xiàn)：

其中x表示父親身高，y表示成年兒子的身高（單位：英寸，1英寸=2.54厘米）。這表明子代的平均高度有向中心回歸的意思，使得一段時間內(nèi)人的身高相對穩(wěn)定。之后回歸分析的思想滲透到了數(shù)理統(tǒng)計的其它分支中。39“回歸”一詞的歷史淵源“回歸”一詞最早由Franc§9.1回歸分析的基本概念變量之間的關(guān)系確定性關(guān)系非確定性關(guān)系(相關(guān)關(guān)系)40§9.1回歸分析的基本概念變量之間的關(guān)系確定性關(guān)系非確定性關(guān)對變量間統(tǒng)計依賴關(guān)系的考察主要是通過相關(guān)分析(correlationanalysis)或回歸分析(regressionanalysis)來完成的。對于相關(guān)關(guān)系，雖然不能求出變量之間精確的函數(shù)關(guān)系式，但是通過大量的觀測數(shù)據(jù)，可以發(fā)現(xiàn)它們之間存在一定的統(tǒng)計規(guī)律性。41對變量間統(tǒng)計依賴關(guān)系的考察主要是通過相關(guān)分析對于相關(guān)關(guān)系，雖回歸分析是研究一個變量關(guān)于另一個（些）變量的具體依賴關(guān)系的計算方法和理論。分為：一元線性回歸、多元線性回歸、可線性化的非線性歸（雙曲線、指數(shù)、對數(shù)、二次、冪函數(shù)等）42回歸分析是研究一個變量關(guān)于另一個（些）變量的具體依賴關(guān)系的計基本方法考察隨機(jī)變量Y與普通變量x之間的相關(guān)關(guān)系.例1.在農(nóng)業(yè)生產(chǎn)中小麥的畝產(chǎn)量Y與所施肥料量x有一定關(guān)系，在一定范圍內(nèi)，若施肥量大，畝產(chǎn)也較高。問題：Y是怎樣依賴施肥料量x的變化的。問題的特征：x是普通變量,Y是隨機(jī)變量.處理方法：按數(shù)理統(tǒng)計處理問題的方法。43基本方法考察隨機(jī)變量Y與普通變量x之間的相關(guān)關(guān)系.例1.在農(nóng)(1)先進(jìn)行一些試驗，分別取不同的值Y也得到

個相應(yīng)觀察值得到n對數(shù)據(jù)對，稱為樣本數(shù)據(jù)點(2)散點圖

Yxo····················44(1)先進(jìn)行一些試驗，分別取不同的值Y也得到個相應(yīng)(3)尋找Y與x的數(shù)量關(guān)系：其中一般地，，

45(3)尋找Y與x的數(shù)量關(guān)系：其中一般地，，8

例1

合金的強(qiáng)度y(×107Pa)與合金中碳的含量x(%)有關(guān)。為研究兩個變量間的關(guān)系。首先是收集數(shù)據(jù)，我們把收集到的數(shù)據(jù)記為(xi,yi),i=1,2,,n。本例中，我們收集到12組數(shù)據(jù)，列于表1中進(jìn)行回歸分析首先是回歸函數(shù)形式的選擇。當(dāng)只有一個自變量時，通?？刹捎卯嬌Ⅻc圖的方法進(jìn)行選擇。46例1合金的強(qiáng)度y(×107Pa)與合金中碳的含表1合金鋼強(qiáng)度y與碳含量x的數(shù)據(jù)

序號x(%)y(×107Pa)序號x(%)y(×107Pa)10.1042.070.1649.020.1143.080.1753.030.1245.090.1850.040.1345.0100.2055.050.1445.0110.2155.060.1547.5120.2360.047表1合金鋼強(qiáng)度y與碳含量x的數(shù)據(jù)序號x(%)y(×10為找出兩個量間存在的回歸函數(shù)的形式，可以畫一張圖：把每一對數(shù)(xi,yi)看成直角坐標(biāo)系中的一個點，在圖上畫出n個點，稱這張圖為散點圖，見右圖。48為找出兩個量間存在的回歸函數(shù)的形式，可以畫一張圖：

從散點圖我們發(fā)現(xiàn)12個點基本在一條直線附近，這說明兩個變量之間有一個線性相關(guān)關(guān)系，這個相關(guān)關(guān)系可以表示為

這便是y關(guān)于x的一元線性回歸的數(shù)據(jù)結(jié)構(gòu)式。通常假定

在對未知參數(shù)作區(qū)間估計或假設(shè)檢驗時，還需要假定誤差服從正態(tài)分布，即顯然假定（2）比假定（1）強(qiáng)

49從散點圖我們發(fā)現(xiàn)12個點基本在一條直線附近，這說明由于0,1均未知，需要我們從收集到的數(shù)據(jù)(xi,yi)，i=1,2,…,n，出發(fā)進(jìn)行估計。在收集數(shù)據(jù)時，我們一般要求觀察獨立地進(jìn)行，即假定y1,y2,,yn,相互獨立。綜合上述諸項假定，我們可以給出最簡單、常用的一元線性回歸的數(shù)學(xué)模型：50由于0,1均未知，需要我們從收集到的數(shù)據(jù)(xi,yi§9.2一元線性回歸1.本節(jié)考慮的模型是其中都是未知參數(shù),為回歸系數(shù),分別是直線的截距和斜率。稱為Y關(guān)于x的經(jīng)驗回歸函數(shù)

。方程

稱為Y關(guān)于x的經(jīng)驗線性回歸方程，或經(jīng)驗回歸方程，其相應(yīng)的圖形稱為經(jīng)驗回歸直線。

此模型稱為一元線性回歸模型，基于此種模型的統(tǒng)計分析稱為一元線性回歸分析.51§9.2一元線性回歸1.本節(jié)考慮的模型是其中都是未知參2.下面用最小二乘法來求對于自變量x和因變量y的n對觀察值的最小二乘估計其中是對觀察時的隨機(jī)誤差.

的估計。522.下面用最小二乘法來求對于自變量x和因變量y的n對觀察值使得成立的

和

稱為和的最小二乘估計。

53使得成立的和稱為和的最小二乘估計。16于是得方程組54于是得方程組17解得，

記于是

55解得，記于是18例9.2.1設(shè)某化學(xué)過程的得率Y與該過程的溫度x有關(guān).現(xiàn)作了10次測量，其數(shù)據(jù)如下表所示.x/℃38434954606671778288y/%20.420.922.523.024.224.326.226.628.028.9解故于是得線性回歸方程56例9.2.1設(shè)某化學(xué)過程的得率Y與該過程的溫度x有關(guān).現(xiàn)作了由此給出回歸方程為:

例2

使用例1種合金鋼強(qiáng)度和碳含量數(shù)據(jù)求回歸方程。解57由此給出回歸方程為:例2使用例1種合金鋼強(qiáng)度和,.58,.21殘差顯然殘差的平方和定理9.2.2

是

的無偏估計。

59殘差顯然殘差的平方和定理9.2.2是的無偏估計。22例：求出例9.2.1中誤差方差的無偏估計

解 例9.2.1中已求出

所以60例：求出例9.2.1中誤差方差的無偏估計解 例9.定理9.2.3 對一元線性回歸模型（9.2.3），若進(jìn)一步假定隨機(jī)誤差，則有(1).(2)RSS與和相互獨立.61定理9.2.3 對一元線性回歸模型（9.2.3），若進(jìn)一步假4回歸方程的顯著性檢驗

在使用回歸方程作進(jìn)一步的分析以前，首先應(yīng)對回歸方程是否有意義進(jìn)行判斷。如果1=0，那么不管x如何變化，E(y)不隨x的變化作線性變化，那么這時求得的一元線性回歸方程就沒有意義，稱回歸方程不顯著。如果10，E(y)隨x的變化作線性變化，稱回歸方程是顯著的。綜上，對回歸方程是否有意義作判斷就是要作如下的顯著性檢驗：H0：1=0vsH1：10拒絕H0表示回歸方程是顯著的。624回歸方程的顯著性檢驗在使用回歸方程作進(jìn)一步需要檢驗假設(shè)方法：63需要檢驗假設(shè)方法：26t檢驗法64t檢驗法27例9.2.3試說明例9.2.1中的線性回歸效果是否顯著解 要在水平

下檢驗如下假設(shè)故查表知

因為

24.1260>3.3554，

所以拒絕，線性回歸效果是顯著的.65例9.2.3試說明例9.2.1中的線性回歸效果是否顯著解 5.回歸系數(shù)的置信區(qū)間的置信水平為

的置信區(qū)間為例9.2.4求例9.2.1中回歸