直線回歸與相關(guān).ppt

第六章 直線回歸與相關(guān),客觀事物在發(fā)展過程中是相互聯(lián)系、相互影響，常常要研究兩個(gè)或兩個(gè)以上變量間的關(guān)系。,下一張,主 頁,退 出,上一張,下一張,主 頁,退 出,上一張,1 回歸與相關(guān)的概念,一類是完全確定性的關(guān)系，又稱函數(shù)關(guān)系，可以用精確的數(shù)學(xué)表達(dá)式來表示，即當(dāng)變量x的值取定后，變量y有唯一確定的值與之對(duì)應(yīng)。,如長方形的面積（S） 與 長（a）和寬（b）的關(guān)系： S=ab。它們之間的關(guān)系是確定性的，只要知道了其中兩個(gè)變量的值就可以精確地計(jì)算出另一個(gè)變量的值，這類變量間的關(guān)系稱為函數(shù)關(guān)系。,各種變量間的關(guān)系大致可分為兩類：,確定性關(guān)系,非確定性關(guān)系,如人的身高與體重的關(guān)系，作物種植密度與產(chǎn)量的關(guān)系，食品價(jià)格與需求量的關(guān)系等等，這些變量間都存在著十分密切的關(guān)系，但不能由一個(gè)或幾個(gè)變量的值精確地求出另一個(gè)變量的值。統(tǒng)計(jì)學(xué)中把這些變量間的關(guān)系稱為相關(guān)關(guān)系，把存在相關(guān)關(guān)系的變量稱為相關(guān)變量。,下一張,主 頁,退 出,上一張,另一類是 非確定性關(guān)系，不能用精確的數(shù)學(xué)公式來表示，當(dāng)變量x的值取定后，y有若干種可能取值。,在一定范圍內(nèi)，對(duì)一個(gè)變量的任意數(shù)值（Xi），雖然沒有另一個(gè)變量的確定數(shù)值yi與之對(duì)應(yīng)，但是卻有一個(gè)特定yi的條件概率分布與之對(duì)應(yīng)，這種變量的不確定關(guān)系，稱為相關(guān)關(guān)系。,一種是因果關(guān)系，即一個(gè)變量的變化受另一個(gè)或幾個(gè)變量的影響。如小麥的生長速度受遺傳特性、營養(yǎng)水平、管理?xiàng)l件等因素的影響。 另一種是平行關(guān)系，它們互為因果或共同受到另外因素的影響。如人的身高和胸圍之間的關(guān)系屬于平行關(guān)系。,下一張,主 頁,退 出,上一張,相關(guān)變量間的關(guān)系一般分為兩種:,研究“一因一果”，即一個(gè)自變量與一個(gè)依變量的回歸分析稱為一元回歸分析； 研究“多因一果”，即多個(gè)自變量與一個(gè)依變量的回歸分析稱為多元回歸分析。 一元回歸分析又分為直線回歸分析與曲線回歸分析兩種；多元回歸分析又分為多元線性回歸分析與多元非線性回歸分析兩種。,下一張,主 頁,退 出,上一張,統(tǒng)計(jì)學(xué)上采用回歸分析 （regression analysis）方法研究呈因果關(guān)系的相關(guān)變量間的關(guān)系。表示原因的變量稱為自變量，表示結(jié)果的變量稱為依變量。,回歸分析的任務(wù)就是揭示出呈因果關(guān)系的相關(guān)變量間的聯(lián)系形式，建立它們之間的回歸方程，利用所建立的回歸方程，由自變量（原因）來預(yù)測、控制依變量（結(jié)果）。,回歸分析主要包括：找出回歸方程；檢驗(yàn)回歸方程是否顯著；通過回歸方程來預(yù)測或控制另一變量。,對(duì)多個(gè)變量進(jìn)行相關(guān)分析時(shí)，研究一個(gè)變量與多個(gè)變量間的線性相關(guān)稱為復(fù)相關(guān)分析；研究其余變量保持不變的情況下兩個(gè)變量間的線性相關(guān)稱為偏相關(guān)分析。,下一張,主 頁,退 出,上一張,統(tǒng)計(jì)學(xué)上采用相關(guān)分析 ( correlation analysis)來研究呈平行關(guān)系相關(guān)變量之間的關(guān)系。,對(duì)兩個(gè)變量間的直線關(guān)系進(jìn)行相關(guān)分析稱為簡單相關(guān)分析（也叫直線相關(guān)分析）；,2 直線回歸,2.1 直線回歸方程的建立,下一張,主 頁,退 出,上一張,為了直觀地看出x和y間的變化趨勢，可將每一對(duì)觀測值在平面直角坐標(biāo)系中描點(diǎn)，作出散點(diǎn)圖 （見圖6-1）。,2.1.1數(shù)學(xué)模型,對(duì)于兩個(gè)相關(guān)變量，一個(gè)變量用x表示，另一個(gè)變量用y表示，如果通過試驗(yàn)或調(diào)查獲得兩個(gè)變量的n對(duì)觀測值：（x1，y1），（x2，y2），（xn，yn）,圖6-1 x與y的關(guān)系散點(diǎn)圖,下一張,主 頁,退 出,上一張,散點(diǎn)圖可直觀地、定性地表示了兩個(gè)變量之間的關(guān)系。為了探討它們之間的規(guī)律性，還必須根據(jù)觀測值將其內(nèi)在關(guān)系定量地表達(dá)出來。, 兩個(gè)變量間有關(guān)或無關(guān)；若有關(guān)，兩個(gè)變量間關(guān)系類型，是直線型還是曲線型；,由散點(diǎn)圖（圖6-1）可以看出：, 兩個(gè)變量間直線關(guān)系的性質(zhì)（是正相關(guān)還是負(fù)相關(guān)）和程度（是相關(guān)密切還是不密切）；,由于依變量y的實(shí)際觀測值總是帶有隨機(jī)誤差，因而依變量y的實(shí)際觀測值yi可用自變量x的實(shí)際觀測值xi表示為：,（i=1,2, , n） （6-1）,若呈因果關(guān)系的兩個(gè)相關(guān)變量y（依變量）與x（自變量）間的關(guān)系是直線關(guān)系，那么，根據(jù)n對(duì)觀測值所描出的散點(diǎn)圖，如圖6-1（b）和圖6-1（e）所示。,式中：，為未知參數(shù)， i為相互獨(dú)立，且服從N（0， ）的隨機(jī)變量。這就是直線回歸的數(shù)學(xué)模型。,總體線性回歸模型的圖示,Y,X,觀察值,觀察值,總體線性回歸模型,因變量,自變量,參數(shù),隨機(jī)誤差,y條件平均數(shù),下一張,主 頁,退 出,上一張,2.1.2 參數(shù)，的估計(jì),其中， 是的估計(jì)值，b是的估計(jì)值。,最小二乘估計(jì)法,建立 樣本線性回歸方程的方法 最小二乘法,實(shí)際觀察值與樣本回歸線上 的點(diǎn)的距離的平方和最小,x,y,e1,e2,e3,e4,最小,、b應(yīng)使回歸估計(jì)值 與實(shí)際觀測值y的偏差平方和最小，即：總的離回歸平方和，即剩余平方和,根據(jù)微積分學(xué)中的求極值的方法，令 Q對(duì)a、b的一階偏導(dǎo)數(shù)等于0，即：,最小,（6-3）,（6-4）,經(jīng)整理，得關(guān)于a、b的正規(guī)方程組：,下一張,主 頁,退 出,上一張,解正規(guī)方程組，得：,（6-5）,（6-7）,在6-7式中，分子為自變量x的離均差與依變量y的離均差的乘積和 ，簡稱乘積和，記作 ，分母是自變量x的離均差平方和 ，記作SSX。,所 以,a為回歸截距（regression intercept），是回歸直線與y軸交點(diǎn)的縱坐標(biāo)，當(dāng)x=0時(shí)， ；b為回歸系數(shù)（regression coefficient），表示x變化一個(gè)單位，y平均變化的數(shù)量；b的符號(hào)反映了x影響y的性質(zhì)，b的絕對(duì)值大小反映了x 影響y的程度； 為回歸估計(jì)值，是當(dāng)x在其研究范圍內(nèi)取某一個(gè)值時(shí)，y值平均數(shù) 的估計(jì)值。,如果將 式代入（6-2）式，可得到回歸方程的中心化形式：,下一張,主 頁,退 出,上一張,性質(zhì)1,性質(zhì)2,性質(zhì)3 回歸直線通過點(diǎn),回歸方程的基本性質(zhì)：,【例6-1】食品感官評(píng)定時(shí)，測得食品甜度與蔗糖濃度的關(guān)系如表6-2所示，試建立y與x的直線回歸方程。,2.1.3 計(jì)算示例,表6-2 食品甜度與蔗糖濃度的關(guān)系,（1）作散點(diǎn)圖 以蔗糖質(zhì)量分?jǐn)?shù)（x）為橫坐標(biāo)，甜度（y）為縱坐標(biāo)作散點(diǎn)圖，如圖6-2所示。,圖6-2,（2）計(jì)算回歸截距a，回歸系數(shù)b，建立直線回歸方程,下一張,主 頁,退 出,上一張,首先根據(jù)實(shí)際觀測值計(jì)算出下列數(shù)據(jù)：,所以，甜度y對(duì)蔗糖質(zhì)量分?jǐn)?shù)x的直線回歸方程為：,然后計(jì)算出b、a：,以上計(jì)算也可在回歸計(jì)算表中進(jìn)行。,回歸方程計(jì)算表1（一級(jí)數(shù)據(jù)）,回歸方程計(jì)算表2（二級(jí)數(shù)據(jù)）,注：x，y分別為X，Y的平均數(shù),根據(jù)直線回歸方程可作出回歸直線，見圖。從圖看出，并不是所有的散點(diǎn)都恰好落在回歸直線上，這說明用 去估計(jì)y是有偏差的。,下一張,主 頁,退 出,上一張,附：直線回歸的偏離度估計(jì) 偏差平方和 的大小表示了實(shí)測點(diǎn)與回歸直線偏離的程度，因而此偏差平方和又稱為離回歸平方和。統(tǒng)計(jì)學(xué)證明：在直線回歸分析中離回歸平方和的自由度為n-2。那么，離回歸均方為： 離回歸均方是模型（6-1）中2的估計(jì)值。 離回歸均方的平方根叫離回歸標(biāo)準(zhǔn)誤，記為 ，,離回歸標(biāo)準(zhǔn)誤Syx的大小表示了回歸直線與實(shí)測點(diǎn)偏差的程度，即回歸估測值 與實(shí) 際觀測值y偏離（差）的程度，所以，用離回歸標(biāo)準(zhǔn)誤Syx來表示回歸方程的偏離度。,下一張,主 頁,退 出,上一張,對(duì)于【例6.1】有,所以，離回歸標(biāo)準(zhǔn)誤為,離回歸平方和：,由上式計(jì)算出 ，然后求出離回歸標(biāo)準(zhǔn)誤Syx。,如果x和y變量間并不存在直線關(guān)系， 但由n對(duì)觀測值（xi，yi）也可以根據(jù)上面介紹的方法求得一個(gè)回歸方程 =a+bx。 顯然，這樣的回歸方程所反應(yīng)的兩個(gè)變量間的直線關(guān)系是不真實(shí)的。 如何判斷直線回歸方程所反應(yīng)的兩個(gè)變量間的直線關(guān)系的真實(shí)性呢？這取決于變量x與y間是否存在直線關(guān)系。從y的變異著手來分析。,下一張,主 頁,退 出,上一張,2.2 直線回歸方程的顯著性檢驗(yàn),圖6-3 的分解圖,2.2.1 直線回歸的變異來源,y總變異的分解,下一張,主 頁,退 出,上一張,由于,所以,于是,由圖6-3可以看出：,上式兩端平方，然后對(duì)所有的n點(diǎn)求和，則有,所以有 （6-9） 反映了y的總變異程度，稱為y的總偏差平方和，記為SSy； 反映了由于y與x間存在直線關(guān)系所引起的y的變異程度，稱為回歸平方和，記為SSR；,反映了除y與x存在直線關(guān)系以外的一切因素（包括x對(duì)y的非線性影響及其他一切未加控制的隨機(jī)因素）所引起的y的變異程度，稱為離回歸平方和或剩余平方和，記為SSr或SSe。 所以，y的總變異平方和可分解為：,下一張,主 頁,退 出,上一張,表明y的總平方和可剖分為 回歸平方和 與離回歸平方和兩部分。與此相對(duì)應(yīng)，y的總自由度dfy也可分解為回歸自由度dfr與離回歸自由度dfr兩部分，即,在直線回歸分析中，回歸自由度等于自變量的個(gè)數(shù)， 即 ；y的 總 自 由度 ；離回歸自由度 。于是： 離回歸均方 ， 回 歸 均 方 。,x與y兩個(gè)變量間是否存在直線關(guān)系，可用F檢驗(yàn)法進(jìn)行檢驗(yàn)。 無效假設(shè)HO：=0，備擇假設(shè)HA：0。 在無效假設(shè)成立的條件下，回歸均方與離回歸均方的比值服從 和 的F分布，所以，可以用下式來檢驗(yàn)回歸方程的顯著性。,下一張,主 頁,退 出,上一張,2.2.2 回歸關(guān)系（方程）顯著性檢驗(yàn)F檢驗(yàn),df1=1，df2=n-2,（6-10）,回歸平方和的計(jì)算：,下一張,主 頁,退 出,上一張,根據(jù)（6-9）式，可得到離回歸平方和計(jì)算公式為：,【例6.2】 檢驗(yàn)例6-1中求得的回歸方程是否顯著（a=005）,方差分析,列出方差分析表進(jìn)行回歸關(guān)系顯著性檢驗(yàn)。,下一張,主 頁,退 出,上一張,表6-4 蔗糖濃度與甜度回歸關(guān)系方差分析表,因?yàn)?，表明甜度與蔗糖濃度間存在著極顯著的直線關(guān)系。,采用回歸系數(shù)的顯著性檢驗(yàn)t檢驗(yàn)也可檢驗(yàn)x與y之間是否存在直線關(guān)系。 t檢驗(yàn)時(shí)， 無效假設(shè)HO：=0， 備擇假設(shè)HA：0。,2.2.3 回歸系數(shù)的顯著性檢驗(yàn)t檢驗(yàn),其中，Sb為回歸系數(shù)標(biāo)準(zhǔn)誤，,t 檢驗(yàn)的計(jì)算公式為：,（6-11）,離回歸標(biāo)準(zhǔn)誤,Syx反映回歸估測值 與實(shí)測值y的偏離程度,t與臨界值t a（n-2）比較，以判斷顯著性。,對(duì)于 【例8.1】 資 料 ，已計(jì)算得 故有,下一張,主 頁,退 出,上一張,當(dāng) ，查t值表，得 因 ， ， 否定HO：0，接受HA：0，即直線回歸系數(shù)b=1.2550是極顯著的，表明蔗糖濃度與甜度大小存在極顯著的直線關(guān)系，可用所建立的直線回歸方程來進(jìn)行 預(yù)測和控制。,在直線回歸假設(shè)檢驗(yàn)中，F(xiàn)檢驗(yàn)的結(jié)果與t檢驗(yàn)的結(jié)果是一致的。,特別要指出的是：利用直線回歸方程進(jìn)行預(yù)測或控制時(shí)，一般只適用于原來研究的范圍，不能隨意把范圍擴(kuò)大，因?yàn)樵谘芯康姆秶鷥?nèi)兩變量是直線關(guān)系，這并不能保證在這研究范圍之外仍然是直線關(guān)系。若需要擴(kuò)大預(yù)測和控制范圍，則要有充分的理論依據(jù)或進(jìn)一步的實(shí)驗(yàn)依據(jù)。利用直線回歸方程進(jìn)行預(yù)測或控制 ， 一 般只能內(nèi)插，不要輕易外延。,3 直線相關(guān),進(jìn)行直線相關(guān)分析的基本任務(wù)在于根據(jù)x、y的實(shí)際觀測值，計(jì)算表示兩個(gè)相關(guān)變量x、y間線性相關(guān)程度和性質(zhì)的統(tǒng)計(jì)量相關(guān)系數(shù)r，并進(jìn)行顯著性檢驗(yàn)。,下一張,主 頁,退 出,上一張,3.1 決定系數(shù)和相關(guān)系數(shù) 直線回歸分析中： 由這個(gè)等式不難看到，y與x直線回歸效果的好壞取決于回歸平方和 與離回歸平方和 的大小，或者說取決于回歸平方和在y的總平方和 中所占的比例的大小。這個(gè)比例越大，y與x的直線回歸效果就越好，反之則差。 我們把比值 叫 做 x 對(duì) y 的決定系數(shù)（ determination coefficient ），記為 r2，即,下一張,主 頁,退 出,上一張,決定系數(shù)的大小表示了回歸方程估測可靠程度的高低，或者說表示了回歸直線擬合度的高低，或者表示x對(duì)y的變異影響大小。顯然有0r21。如r20.81，表明SSR占SSy的81，也就是說，x決定了y變異的81，決定作用強(qiáng)。,SPxy/SSx是以x為自變量、y為依變量時(shí)的回歸系數(shù)byx。 若把y作為自變量、x作為依變量 ，則回歸系數(shù) bxy =SPxy/SSy ，所以決定系數(shù)r2等于y對(duì)x的回歸系數(shù)與 x對(duì)y的回歸系數(shù)的乘積。這就是說，決定系數(shù)反應(yīng)了x為自變量、y為依變量和y為自變量、x為依變量時(shí)兩個(gè)相關(guān)變量x與y直線相關(guān)的信息 ，即決定系數(shù)表示了 兩個(gè)互為因果關(guān)系的相關(guān)變量間直線相關(guān)的程度。但決定系數(shù)介于0和1之間，不能反應(yīng)直線關(guān)系的性質(zhì)是同向增減或是異向增減。,下一張,主 頁,退 出,上一張,相關(guān)系數(shù)可表示y與x的直線相關(guān)的密切程度，也可表示直線相關(guān)的性質(zhì)，記為r，即,（6-20）,離均差積和,下一張,主 頁,退 出,上一張,3.2 相關(guān)系數(shù)的計(jì)算,對(duì)【例6-5】 進(jìn)行相關(guān)分析。,表6-5某品種大豆籽粒脂肪x和蛋白質(zhì)y含量,下一張,主 頁,退 出,上一張,根據(jù)表6-5所列數(shù)據(jù)先計(jì)算出：,大豆子粒內(nèi)脂肪含量和蛋白質(zhì)含量的相關(guān)系數(shù)為-0.8517。,那么，,根據(jù)實(shí)際觀測值計(jì)算得來的相關(guān)系數(shù)r是樣本相關(guān)系數(shù)， 它是雙變量正態(tài)總體中的總體相關(guān)系數(shù)的估計(jì)值。樣本相關(guān)系數(shù)r是否來自0的總體，還須對(duì)樣本相關(guān)系數(shù)r 進(jìn)行顯著性檢驗(yàn)。 此 時(shí)無 效 假 設(shè)、備擇假設(shè)為HO:=0，HA:0。與直線回歸關(guān)系顯著性檢驗(yàn)一樣，可采用t檢驗(yàn)法與F檢驗(yàn)法對(duì)相關(guān)系數(shù)r的顯著性進(jìn)行檢驗(yàn)。,3.3 相關(guān)系數(shù)的顯著性檢驗(yàn),其中， ，叫做相關(guān)系數(shù)標(biāo)準(zhǔn)誤。,F檢驗(yàn)： F= ， df1=1，df2=n-2 (6-22) t 檢驗(yàn)： t= ， df=n-2 (6-23),下一張,主 頁,退 出,上一張,統(tǒng)計(jì)學(xué)家已根據(jù)相關(guān)系數(shù)r顯著性t檢驗(yàn)法計(jì)算出了臨界r值并列出了表格。 所以可以直接采用查表法對(duì)相關(guān)系數(shù)r進(jìn)行顯著性檢驗(yàn)。 具體作法是： 先根據(jù) 自由度 n-2 查臨界 r 值 ( 附 表 8 )，得 ， 。 若|r| ，P0.05，則相關(guān)系數(shù)r不顯著，在r的右上方標(biāo)記“ns”；若 |r| ，0.01P0.05，則相關(guān)系數(shù) r 顯著，在r的右上方標(biāo)記“*”；若|r| ， P 0.01， 則相 關(guān) 系 數(shù) r 極顯著，在 r 的右上方標(biāo)記“*”。,而|r| = | -0.8517| ，P0.01，表明該品種大豆子粒內(nèi)脂肪含量與蛋白質(zhì)含量呈極顯著負(fù)相關(guān)。,下一張,主 頁,退 出,上一張,對(duì)于【例6-5】，因?yàn)?df =n-2=42-2=40， 查附表8得：,相關(guān)系數(shù)對(duì)樣本相關(guān)關(guān)系的計(jì)量,表明直線相關(guān)分析與回歸分析關(guān)系十分密切。它們的研究對(duì)象都是呈直線關(guān)系的相關(guān)變量。,兩種分析所進(jìn)行的顯著性檢驗(yàn)都是解決y與x間是否存在直線關(guān)系，二者的檢驗(yàn)是等價(jià)的。,3.4 相關(guān)系數(shù)與回歸系數(shù)的關(guān)系,*直線回歸分析，有自變量和依變量區(qū)分，側(cè)重于尋求它們之間的聯(lián)系形式直線回歸方程； *直線相關(guān)分析，無自變量和依變量區(qū)分，側(cè)重于揭示它們之間的聯(lián)系程度和性質(zhì)計(jì)算相關(guān)系數(shù)。,在實(shí)際進(jìn)行直線回歸分析時(shí)，可用相關(guān)系數(shù)顯著性檢驗(yàn)代替直線回歸關(guān)系顯著性檢驗(yàn)。,例 題,根據(jù)散點(diǎn)圖，確定回歸方程形式：,計(jì)算得到：,線性相關(guān)性檢驗(yàn)：,查表得：,顯然，在顯著性水平=0.001下，Y與x的線性相關(guān)關(guān)系高度顯著。,直線回歸分析與相關(guān)分析在生物科學(xué)研究領(lǐng)域中已得到了廣泛的應(yīng)用，但在實(shí)際工作中卻很容易被誤用或作出錯(cuò)誤的解釋。為了正確地應(yīng)用直線回歸分析和相關(guān)分析這一工具，必須注意以下幾點(diǎn)：,4 應(yīng)用直線回歸與相關(guān)的注意事項(xiàng),（1）變量間是否存在相關(guān) 直線回歸分析和相關(guān)分析畢竟是處理變量間關(guān)系的數(shù)學(xué)方法，在將這些方法應(yīng)用于生物科學(xué)研究時(shí)要考慮到生物本身的客觀實(shí)際情況，譬如變量間是否存在直線相關(guān)以及在什么條件下會(huì)發(fā)生直線相關(guān)，求出的直線回歸方程是否有意義，某性狀作為自變量或依變量的確定等等，都必須由生物科學(xué)相應(yīng)的專業(yè)知識(shí)來決定，并且還要用到生物科學(xué)實(shí)踐中去檢驗(yàn)。如果不以一定的生物科學(xué)依據(jù)為前提，把風(fēng)馬牛不相及的資料隨意湊到一塊作直線回歸分析或相關(guān)分析，那將是根本性的錯(cuò)誤。,下一張,主 頁,退 出,上一張,（2）其余變量盡量保持一致 由于自然界各種事物間的相互聯(lián)系和相互制約，一個(gè)變量的變化通常會(huì)受到許多其它變量的影響，因此，在研究兩個(gè)變量間關(guān)系時(shí)，要求其余變量應(yīng)盡量保持在同一水平，否則，回歸分析和相關(guān)分析可能會(huì)導(dǎo)致完全虛假的結(jié)果。例如研究人的身高和胸圍之間的關(guān)系，如果體重固定，身高越高的人，胸圍越小，但當(dāng)體重在變化時(shí)，其結(jié)果也就會(huì)變化。,下一張,主 頁,退 出,上一張,（3）觀測值要盡可能的多 在進(jìn)行直線回歸與相關(guān)分析時(shí)，兩個(gè)變量成對(duì)觀測值應(yīng)盡可能多一些，這樣可提高分析的精確性，一般至少有5對(duì)以上的觀測值。同時(shí)變量x的取值范圍要盡可能大一些，這樣才容易發(fā)現(xiàn)兩個(gè)變量間的變化關(guān)系。 （4）結(jié)論外推要謹(jǐn)慎 直線回歸與相關(guān)分析一般是在一定取值區(qū)間內(nèi)對(duì)兩個(gè)變量間的關(guān)系進(jìn)行描述，超出這個(gè)區(qū)間，變量間關(guān)系類型可能