生物統(tǒng)計(jì)學(xué)課件：第8章 多元線性回歸和相關(guān)

1、復(fù)習(xí)：一元回歸和相關(guān) 一元回歸分析：建立x與y之間的回歸方程，利用方程由x來預(yù)測(cè)y。 如果x與y存在相關(guān)，但不需要由x來估計(jì)y，只需要對(duì)x與y進(jìn)行相關(guān)分析。R為相關(guān)系數(shù)，取值范圍從-1到1。 R2為決定系數(shù)，取值范圍為01，只能反應(yīng)相關(guān)程度，而不能反應(yīng)相關(guān)性質(zhì)。多元線性回歸和相關(guān) 一元線性回歸研究的是一個(gè)依變量與一個(gè)自變量之間的回歸問題，但是，在畜禽、水產(chǎn)、食品等科學(xué)領(lǐng)域的許多實(shí)際問題中，影響依變量的自變量往往不止一個(gè)，而是多個(gè)，比如綿羊的產(chǎn)毛量這一變量同時(shí)受到綿羊體重、胸圍、體長(zhǎng)等多個(gè)變量的影響，因此需要進(jìn)行一個(gè)依變量與多個(gè)自變量間的回歸分析，即多元回歸分析（multiple regress

2、ion analysis），而其中最為簡(jiǎn)單、常用并且具有基礎(chǔ)性質(zhì)的是多元線性回歸分析（multiple linear regression analysis），許多非線性回歸（non-linear regression）和多項(xiàng)式回歸（polynomial regression）都可以化為多元線性回歸來解決，因而多元線性回歸分析有著廣泛的應(yīng)用。研究多元線性回歸分析的思想、方法和原理與直線回歸分析基本相同，但是其中要涉及到一些新的概念以及進(jìn)行更細(xì)致的分析，特別是在計(jì)算上要比直線回歸分析復(fù)雜得多，當(dāng)自變量較多時(shí)，需要應(yīng)用計(jì)算機(jī)進(jìn)行計(jì)算。多元線性回歸和相關(guān)多元線性回歸分析的基本任務(wù)包括：根據(jù)依變量與多

3、個(gè)自變量的實(shí)際觀測(cè)值建立依變量對(duì)多個(gè)自變量的多元線性回歸方程；檢驗(yàn)、分析各個(gè)自變量對(duì)依自變量的綜合線性影響的顯著性；檢驗(yàn)、分析各個(gè)自變量對(duì)依變量的單純線性影響的顯著性，選擇僅對(duì)依變量有顯著線性影響的自變量，建立最優(yōu)多元線性回歸方程；評(píng)定各個(gè)自變量對(duì)依變量影響的相對(duì)重要性以及測(cè)定最優(yōu)多元線性回歸方程的偏離度等。多元線性回歸方程的建立多元線性回歸中，自變量x個(gè)數(shù)有k個(gè)(k2)n組，設(shè)x1、 x2、 xk為自變量觀測(cè)值，y為因變量觀測(cè)值，則一個(gè)k元線性回歸的數(shù)學(xué)模型為： 式中k1，0為截距， 1 k為偏回歸系數(shù)，為隨機(jī)誤差，服從N(0,)的正態(tài)分布 。多元線性回歸方程的建立多元線性回歸中，自變量x個(gè)

4、數(shù)有k個(gè)(k2)n組，設(shè)x1、 x2、 xk為自變量觀測(cè)值，y為因變量觀測(cè)值： 假定因變量y與自變量x1、x2、xm間存在線性關(guān)系，其數(shù)學(xué)模型為： 式中，x1、x2、xm為可以觀測(cè)的一般變量（或?yàn)榭梢杂^測(cè)的隨機(jī)變量）；y為可以觀測(cè)的隨機(jī)變量，隨x1、x2、xm而變，受試驗(yàn)誤差影響；2為相互獨(dú)立且都服從的隨機(jī)變量。我們可以根據(jù)實(shí)際觀測(cè)值對(duì)以及 方差2作出估計(jì)。多元線性回歸方程的建立多元線性回歸方程的建立 設(shè)y對(duì)x1、x2、 xm的元線性回歸方程為： 式中，b0、b1、b2、bm為 的最小二乘估計(jì)值。即b0、b1、b2、bm應(yīng)使實(shí)際觀測(cè)值y與回歸估計(jì)值 的偏差平方和最小。 多元線性回歸方程的建立例

5、 隨機(jī)抽查某漁場(chǎng)16次放養(yǎng)記錄，得到結(jié)果(單位:kg)，要建立魚產(chǎn)量（y）和投餌量（x1）、放養(yǎng)量（x2）的線性回歸方程，并預(yù)測(cè)x1 =12.5， x2 =2.5時(shí)y平均數(shù)的置信區(qū)間、y觀測(cè)值的置信區(qū)間。這是一個(gè)二元線性回歸問題，設(shè)y對(duì)x1、x2的線性回歸方程為：用DPS解題：（1）輸入數(shù)據(jù)與選擇數(shù)據(jù)：注意：和書上順序不一樣，X1、X2、Y分別在第1、2、3列，順序不可倒?。?）菜單：（3）對(duì)話框：（4）點(diǎn)擊“返回編輯”，即可出結(jié)果： 方差分析表與決定系數(shù)： p=0.00080.01，認(rèn)為魚產(chǎn)量Y與投餌量X1、放養(yǎng)量X2的回歸關(guān)系是非常顯著的。 決定系數(shù)R2=0.668452結(jié)果： 回歸系數(shù)及

6、假設(shè)檢驗(yàn)： 根據(jù)b0、b1、b2我們可以得到回歸方程為： 對(duì)b1、b2進(jìn)行t檢驗(yàn)，p分別為0.0026、0.0004，說明投餌量X1、放養(yǎng)量X2對(duì)魚產(chǎn)量Y的影響是非常顯著的。結(jié)果： y平均數(shù)的置信區(qū)間、y觀測(cè)值的置信區(qū)間 當(dāng)x1=12.5，x2=2.5，預(yù)測(cè)y平均數(shù)的95%置信區(qū)間與y觀測(cè)值95%的置信區(qū)間：自變量的重要性和取舍在多元回歸方程中，x1xk個(gè)自變量對(duì)因變量y的影響程度和對(duì)回歸方程的貢獻(xiàn)大小是不一樣的。因此需要進(jìn)行取舍，去掉那些對(duì)因變量影響不顯著的自變量，建立“最優(yōu)”的多元線性回歸方程，這樣才能對(duì)因變量y作出有效的準(zhǔn)確的分析、預(yù)測(cè)。例 分別測(cè)定21尾狗魚性成熟個(gè)體的全長(zhǎng)x1 (cm

7、)、體長(zhǎng)x2 (cm)、體重x3 (g)、年齡x4 (a)、空殼重x5 (g)、卵巢重x6 (g)和絕對(duì)懷卵量Y (粒)，試建立x1x6與懷卵量Y之間的最優(yōu)多元線性方程用DPS解題：（1）輸入數(shù)據(jù)與選擇數(shù)據(jù)：用DPS解題：（2）菜單：用DPS解題：（3）結(jié)果： 引入1個(gè)變量時(shí)的最優(yōu)回歸方程： X5空殼重對(duì)Y卵巢重的影響最顯著（p=0），優(yōu)先引入方程，得到回歸方程決定系數(shù)R2=0.9283，回歸關(guān)系經(jīng)方差分析，F(xiàn)=245.8777，p=0，非常顯著。 引入2個(gè)變量時(shí)的最優(yōu)回歸方程： X4、X6對(duì)Y卵巢重的影響非常顯著(p0.01)，優(yōu)先引入方程，得到回歸方程決定系數(shù)R2=0.9470（高于引入一

8、個(gè)自變量X5時(shí)的0.9283），回歸關(guān)系經(jīng)方差分析，F(xiàn)=160.8874，p=0，非常顯著。 引入3個(gè)變量時(shí)的最優(yōu)回歸方程： X2、X4、X6對(duì)Y卵巢重的影響非常顯著(p0.01)，優(yōu)先引入方程，得到回歸方程（略）決定系數(shù)R2=0.9750（高于引入2個(gè)自變量時(shí)的0.9470），回歸關(guān)系經(jīng)方差分析，F(xiàn)=220.7037，p=0，非常顯著。 引入4個(gè)變量時(shí)的最優(yōu)回歸方程： X2、X4、X6對(duì)Y卵巢重的影響非常顯著(p0.01)，X1的影響也顯著(p0.05)，優(yōu)先引入方程，得到回歸方程（略）決定系數(shù)R2=0.9820（高于引入3個(gè)自變量時(shí)的0.9750），回歸關(guān)系經(jīng)方差分析，F(xiàn)=218.2896

9、，p=0，非常顯著。 引入5個(gè)變量時(shí)的最優(yōu)回歸方程： X2、X4、X6對(duì)Y卵巢重的影響非常顯著(p0.01)，X1的影響也顯著(p0.05)，優(yōu)先引入方程，而X3對(duì)Y的而影響不顯著(p=0.7259)，得到回歸方程（略）決定系數(shù)R2=0.9822（略高于引入4個(gè)自變量時(shí)的0.9820），回歸關(guān)系經(jīng)方差分析，F(xiàn)=165.1353，p=0，非常顯著。 引入6個(gè)變量時(shí)的最優(yōu)回歸方程： X4、X6對(duì)Y卵巢重的影響非常顯著(p0.01)，X2的影響也顯著(p0.05)，得到回歸方程（略）決定系數(shù)R2=0.9822（略高于引入4個(gè)自變量時(shí)的0.9820），回歸關(guān)系經(jīng)方差分析，F(xiàn)=128.4913，p=0，

10、非常顯著。結(jié)論： 引入X1（全長(zhǎng)）、X2（體長(zhǎng)）、X4（年齡）、X6（卵巢重）四個(gè)自變量時(shí)最好，此時(shí)4個(gè)自變量都對(duì)Y有顯著影響（p0.05）。建立四元回歸方程： X3（體重）、空殼重（X5）沒有引入方程，雖然兩者與全長(zhǎng)、體長(zhǎng)、年兩之間有密切關(guān)系，但兩者容易受到外界環(huán)境的影響而變化，不引入回歸方程也是合理的。Minitab法做題 例8.1（1）輸入數(shù)據(jù)：（2）菜單：（3）對(duì)話框設(shè)置：結(jié)果：（1）回歸方程：（2）偏回歸系數(shù)及其顯著性檢驗(yàn)：結(jié)果：（3）決定系數(shù)R2及方程回歸顯著性檢驗(yàn)：結(jié)果：（4）y平均數(shù)的置信區(qū)間、y觀測(cè)值的置信區(qū)間：Minitab對(duì)于y值的置信區(qū)間預(yù)測(cè)也比較方便。例8.4 看Mi

11、nitab如何對(duì)自變量進(jìn)行取舍菜單：統(tǒng)計(jì)回歸最佳子集對(duì)話框設(shè)置：選項(xiàng)設(shè)置：結(jié)果：引入4個(gè)變量時(shí)決定系數(shù)R2（調(diào)整）最佳，Mallows Cp接近入選的變量數(shù)目時(shí)較好。此時(shí)引入的變量為：全長(zhǎng)、體長(zhǎng)、年齡、卵巢重，與DPS是一致的。然后可以進(jìn)一步做回歸分析：菜單：統(tǒng)計(jì)回歸回歸對(duì)話框：結(jié)果： 回歸方程： 偏回歸系數(shù)及其顯著性檢驗(yàn)：結(jié)果： 回歸決定系數(shù)R2及方差分析： DPS一次性操作即可給出回歸方程、方差分析、決定系數(shù)等數(shù)據(jù)，而Minitab需要兩次操作。多元相關(guān)與偏相關(guān) 多元相關(guān)，又稱復(fù)相關(guān)，是y與k個(gè)x的總相關(guān)。例 分析X1（全長(zhǎng)）、X2（體長(zhǎng)）、X4（年齡）、X6（卵巢重）四個(gè)自變量與懷卵量Y

12、的復(fù)相關(guān)系數(shù)，并進(jìn)行假設(shè)檢驗(yàn)在上面的結(jié)果中已經(jīng)解決了這個(gè)問題： 決定系數(shù)R2=0.9820，p=0.000，相關(guān)非常顯著。偏相關(guān)系數(shù)及其假設(shè)檢驗(yàn)例 分析X1（全長(zhǎng)）、X2（體長(zhǎng)）、X4（年齡）、X6（卵巢重）四個(gè)自變量及懷卵量Y（總共5個(gè)變量）之間都存在不同程度線性相關(guān)關(guān)系。當(dāng)X1變化，其他變量X2、X4、X6、Y都在變化，要消除其他變量的影響，就要保持其他變量不變。比如，要了解X1與Y的關(guān)系，就要保持 X2、X4、X6不變。這就要進(jìn)行偏相關(guān)分析。DPS法（1）輸入數(shù)據(jù)，選擇數(shù)據(jù)：（2）菜單：（3）結(jié)果： Pearson相關(guān)系數(shù)： 從相關(guān)系數(shù)看，所有變量之間都存在非常顯著的正相關(guān)（P0.01)

13、 。（3）偏相關(guān)系數(shù)： 從偏相關(guān)系數(shù)看，年齡與絕對(duì)懷卵量正相關(guān)非常顯著，r=0.7829，p=0.0003； 其次是卵巢重， r=0.6716，p=0.0044； 然后是體長(zhǎng)，r=-0.5962，p=0.0148，體長(zhǎng)與懷卵量是負(fù)相關(guān)。 簡(jiǎn)單的相關(guān)系數(shù)與偏相關(guān)系數(shù)會(huì)差別很大，符號(hào)也存在正負(fù)差異。 簡(jiǎn)單的相關(guān)系數(shù)往往不能反應(yīng)兩個(gè)變量之間的真實(shí)的線性相關(guān)關(guān)系，而偏相關(guān)系數(shù)消除了其他變量的取值的影響，反映兩個(gè)變量的真實(shí)關(guān)系。逐步回歸與通徑分析 在實(shí)際研究中，影響y的因素有很多，這些因素之間可能存在多重共線性問題，如溫度和雨量、雨量與雨日之間的關(guān)系。逐步回歸分析就是一種自動(dòng)從大量變量中選擇對(duì)建立回歸方

14、程比較重要的方法，它是建立在多元線性回歸的基礎(chǔ)上派生出來的一種更算法技巧。 在多元線性回歸分析中，較多的自變量擬合回歸方程，會(huì)使得方程穩(wěn)定性差，建立的方程作為預(yù)測(cè)的可靠性就差，精度低，因此希望得到“最優(yōu)”的回歸方程，把對(duì)y影響不顯著的因素剔除。逐步回歸與通徑分析 逐步回歸分析根據(jù)自變量對(duì)y的影響顯著程度，從大到小逐個(gè)引入方程，每次引入自變量都要進(jìn)行F檢驗(yàn)，確保引入的自變量有新的統(tǒng)計(jì)意義。對(duì)y沒有顯著影響的變量要從方程中剔除。逐步回歸與通徑分析 通徑分析是通徑系數(shù)分析的簡(jiǎn)稱。通徑系數(shù)是自變量偏回歸系數(shù)標(biāo)準(zhǔn)化后得到的，用來表示相關(guān)變量因果關(guān)系的統(tǒng)計(jì)量。逐步回歸與通徑分析 例 測(cè)定“豐產(chǎn)3號(hào)”小麥1

15、5株的單株穗數(shù)x1、每穗的結(jié)實(shí)穗數(shù)x2、百粒重x3、株高x4和單株籽粒產(chǎn)量y，結(jié)果見下表，試建立y與xi之間的最優(yōu)回歸方程。逐步回歸與通徑分析在DPS中輸入數(shù)據(jù)，選擇數(shù)據(jù)：逐步回歸與通徑分析點(diǎn)擊菜單多元分析回歸分析逐步回歸，彈出對(duì)話框：已經(jīng)引入方程的變量為x1、x2、x3，調(diào)整的R為0.94804逐步回歸與通徑分析按yes，則引入變量x4，結(jié)果：已經(jīng)引入方程的變量為x1、x2、x3、x4，調(diào)整的R為0.944730.94804，因此不能引入x4，需要剔除。逐步回歸與通徑分析按No，則剔除變量x4，結(jié)果：已經(jīng)引入方程的變量為x1、x2、x3，調(diào)整的R為0.94804。逐步回歸與通徑分析按OK，得到結(jié)果：方程為：y=-46.9664+2.01317*x1+0.67467*x2+7.83027*x3方程分析表結(jié)果表明，自變量x1、x2、x3與y之間回歸關(guān)系極顯著。逐步回歸與通徑分析方程的估計(jì)標(biāo)準(zhǔn)誤SSE為1.1369，調(diào)整的決定系數(shù)R2=0.8988，逐步回歸與通徑分析直接通徑系數(shù)從三個(gè)自變量對(duì)單株產(chǎn)量y的直接影響可以看出：x1每株穗數(shù)的直接作用最大，為0.7534；其次為x3百粒重，為0.3414；X2小穗數(shù)的直接作用最小，為0.1993逐步回歸與通徑分析間接通徑系數(shù)從間接通徑系數(shù)可以看出：每株穗數(shù)x1通過百粒重x3對(duì)產(chǎn)量y的間接作用最大，為0.1709；每株穗數(shù)