衛(wèi)生統(tǒng)計(jì)學(xué)11多元回歸與多元逐步回歸

1、醫(yī)學(xué)統(tǒng)計(jì)學(xué)Tel：E-Mail：醫(yī)學(xué)統(tǒng)計(jì)學(xué) 馬斌榮主編人民衛(wèi)生出版社 2004年第四版 第十一章 多元回歸與多元逐步回歸 (Multiple Regression & Stepwise Multiple Regression)第一節(jié) 多元線性回歸的一般解法第二節(jié) 二元回歸方程的計(jì)算實(shí)例第三節(jié) 多元逐步回歸第四節(jié) 使用多元回歸的注意事項(xiàng) 予備知識(shí) 予備知識(shí)第一節(jié) 多元線性回歸的一般解法 設(shè)與應(yīng)變量Y 有關(guān)的自變量有k個(gè)，記為X1, X2, X3, ., Xk?，F(xiàn)觀察了n 例 表11.1 多元線性回歸原始觀察數(shù)據(jù)試作Y 與 X1, X2, X3, .,Xk 多元直線回歸方程第一節(jié) 多元線性回歸的一

2、般解法假設(shè)多元線性回歸方程為：多元線性回歸的一般步驟：1.求 系數(shù) 及2.對(duì)整個(gè)回歸方程作假設(shè)檢驗(yàn)3. 對(duì)每一個(gè)自變量 作假設(shè)檢驗(yàn)。無(wú)統(tǒng)計(jì)學(xué)意義？ 如何辦？ 如果某幾個(gè)自變量 無(wú)統(tǒng)計(jì)學(xué)意義 即 較小如何辦？第一節(jié) 多元線性回歸的一般解法1.求 系數(shù) 及假設(shè)多元線性回歸方程為：其中 ， 為待定常數(shù)。假設(shè)為已知根據(jù)觀察到的n 例數(shù)據(jù)，代入上述公式可得第i例的應(yīng)變量 之估計(jì)值 。建立等式： 根據(jù)最小二乘法，應(yīng)該使所選定的b1, b2, ., bk 能夠讓上述公式的Q 值達(dá)極小。 為了使Q達(dá)極小，可將Q 對(duì)b1, b2, ., bk求一價(jià)偏導(dǎo)數(shù)，并使之等于0，經(jīng)化簡(jiǎn)可得下列方程組：其中當(dāng)i=j時(shí)，為各

3、自變量的離均差平方和；當(dāng)ij時(shí)，為兩兩間的離均差積和為各自變量與應(yīng)變量的離均差積和對(duì)于線性方程組可利用行列式，求出系數(shù)b1, b2, b3, ., bk。再用公式 求得b0，第一節(jié) 多元線性回歸的一般解法二、 多元線性回歸方程的假設(shè)檢驗(yàn)用樣本的測(cè)定值作多元回歸分析，不可避免地存在著抽樣誤差。因此，在建立起多元線性回歸方程后，還必須對(duì)該方程作假設(shè)檢驗(yàn)1. H0：所有自變量對(duì)應(yīng)變量都無(wú)線性回歸關(guān)系。2. 計(jì)算 值SS回歸=b1L1Y+b2L2Y +bkLkSS殘差=SS總SS回歸df總=n 1,df回歸=回歸變量數(shù) = k ,df殘差=nk13. 根據(jù)df1 = k, df2 = nk1 查F 值

4、表求出 0.05(k,n-k-1)及0.01(k,n-k-1), 并與F 值比較，作出結(jié)論。第一節(jié) 多元線性回歸的一般解法三、偏回歸系數(shù)的假設(shè)檢驗(yàn) 為了檢驗(yàn)每個(gè)自變量是否對(duì) 都存在線性回歸關(guān)系，需分別對(duì)每個(gè)自變量(即相應(yīng)的偏回歸系數(shù))進(jìn)行檢驗(yàn)，以免把作用不顯著的自變量引入回歸方程中。這同樣可用 檢驗(yàn) 1. 將所有k個(gè)自變量Xj (j =1,2,.,k) 都引入回歸方程中， 得到回歸平方和及殘差平方和，記為SS回歸及SS殘差。 2. 將擬檢驗(yàn)的某個(gè)自變量Xi 從回歸方程中取出后，重新建立起 一個(gè)含k -1個(gè)自變量X1, X2, ., Xi-1, Xi+1, ., Xk 的 回歸方程，并得到不含X

5、i作用的回歸平方和SS回歸(-i)。 則 SS回歸SS回歸(-i) 就是在其他自變量已在回歸方程中的條 件下， Xi 單獨(dú)引起的回歸平方和的改變量， 把這個(gè)量稱為Xi 的偏回歸平方和。 第一節(jié) 多元線性回歸的一般解法3. 用 值來(lái)檢驗(yàn)該Xi 的回歸效應(yīng)是否顯著， 值的計(jì)算公式為4. 根據(jù)df1 = 1, df2 = nk1 查F 值表求出 0.05(1,n-k-1)及0.01(1,n-k-1), 并與F 值比較，作出結(jié)論。第一節(jié) 多元線性回歸的一般解法 應(yīng)該注意： 從回歸方程中剔除一個(gè)自變量，譬如Xj，這決不是簡(jiǎn)單地把bjXj 項(xiàng)從方程中剔除就完事，而是應(yīng)從余下的k - 1個(gè)變量著手，重新建立

6、含有k - 1個(gè)自變量的新方程組，然后再解出新的 。一般來(lái)說(shuō)，新的 回歸系數(shù) 與原來(lái)的bi是不同的。這是因?yàn)槠貧w系數(shù)之間存在著相關(guān)性，當(dāng)從原方程剔除一個(gè)變量時(shí)，其他變量，特別是與它有密切關(guān)系的一些變量的偏回歸系數(shù)就會(huì)受到影響，有時(shí)影響是很大的。 第一節(jié) 多元線性回歸的一般解法應(yīng)該注意： 在用F 檢驗(yàn)對(duì)偏回歸系數(shù)進(jìn)行一次檢驗(yàn)后，只能剔除其中一個(gè)因子，這個(gè)因子是所有不顯著因子中F 值最小的。然后重新建立新的方程，再對(duì)新的偏回歸系數(shù)進(jìn)行逐個(gè)檢驗(yàn)，直到余下的偏回歸系數(shù)都有統(tǒng)計(jì)學(xué)意義時(shí)為止。 第一節(jié) 多元線性回歸的一般解法 在許多情況下，需要比較各個(gè)自變量對(duì)應(yīng)變量的相對(duì)貢獻(xiàn)大小。但是，由于各自變量的測(cè)

7、量單位不同，單從各偏回歸系數(shù)的絕對(duì)值大小來(lái)分析不易得出正確結(jié)論。為此，首先對(duì)各偏回歸系數(shù)進(jìn)行標(biāo)準(zhǔn)化處理，即消除測(cè)量單位的影響，然后比較各標(biāo)準(zhǔn)化的偏回歸系數(shù)的大小以反映各自對(duì)應(yīng)變量的貢獻(xiàn)大小。 標(biāo)準(zhǔn)化偏回歸系數(shù) 的計(jì)算公式為：式中Si及Sy 分別為自變量Xi 及應(yīng)變量Y 的標(biāo)準(zhǔn)差，bi 為Xi 的偏回歸系數(shù)應(yīng)該注意：第二節(jié) 二元回歸方程的計(jì)算實(shí)例例11.1 20名兒童的血紅蛋白Y (g/100ml)與微量元素鈣X1 g/100ml)和鐵X2 (g/100ml)的測(cè)定結(jié)果如表11.2，試作多元線性回歸。 表11.2 20例兒童的血紅蛋白和微量元素的測(cè)定結(jié)果 第二節(jié) 二元回歸方程的計(jì)算實(shí)例一、 計(jì)算

8、回歸系數(shù) L11 = 74923.12 - (1208.67)2/ 20 = 1878.9616L22 = 3519638.96 - (8353.67)2/ 20 = 30444.8366L12 = 507772.11 - (1208.67)(8353.67)/ 20 = 2930.5941L1Y = 14131.85 - (1208.67)(233.5)/ 20 = 20.6278L2Y = 98397.80 - (8353.67)(233.5)/ 20 = 868.7028LYY = 2771.88 - (233.5)2/ 20 = 45.7675建立聯(lián)立方程：解此方程，可求得； b1 =

9、 -0.0394 b2 = 0.0323 b0 = 11.68 - (-0.0394) (60.43) - (0.0323) (417.68) = 0.5699最后可得方程： =0.5699 - 0.0394 X1 + 0.0323 X2第二節(jié) 二元回歸方程的計(jì)算實(shí)例二、 多元線性回歸方程的假設(shè)檢驗(yàn)用樣本的測(cè)定值作多元回歸分析，不可避免地存在著抽樣誤差。因此，在建立起多元線性回歸方程后，還必須對(duì)該方程作假設(shè)檢驗(yàn)該假設(shè)檢驗(yàn)可用方差分析，1. H0：所有自變量對(duì)應(yīng)變量都無(wú)線性回歸關(guān)系。2. 計(jì)算 值45.7675SS回歸=b1L1Y+b2L2Y +bkLk(-0.0394)(20.6278)+(0

10、.0323)(868.7028)=27.2464SS殘差=SS總SS回歸45.7675-27.2464=18.5211df總=n 1 = 20-1 = 19,df回歸=回歸變量數(shù) k = 2,df殘差=nk1=20-2-1=17第二節(jié) 二元回歸方程的計(jì)算實(shí)例3.df回歸2, df殘差17 查 界值表 0.05(2,17)3.59 0.01(2,17)6.114. 本例 0.01(2,17), 所以P 0.01 拒絕H0 ，故總體上認(rèn)為微量元素鈣和鐵對(duì)血紅蛋白有回歸關(guān)系。第二節(jié) 二元回歸方程的計(jì)算實(shí)例1. 將微量元素鈣X1 和鐵X2 全部納入回歸方程中，得到的 SS回歸27.2464 SS殘差1

11、8.5211 三、偏回歸系數(shù)的假設(shè)檢驗(yàn)2. 把X1 從回歸方程中取出，而單獨(dú)建立X2 與Y 的回歸方程 為: = -0.2415 + 0.02853 X2，此時(shí) SS回歸( -1 )24.78423. 若把X2 從回歸方程中取出， 而單獨(dú)建立X1 與Y 的回歸方程 為: = 11.0116 + 0.010977 X1，此時(shí) SS回歸( -2 )0.2264第二節(jié) 二元回歸方程的計(jì)算實(shí)例4. 進(jìn)行F 檢驗(yàn) 查F 界值表，得 0.05(1,17)4.45 0.01(1,17)8.40 可以認(rèn)為X1 (鈣)對(duì)血紅蛋白的線性回歸無(wú)統(tǒng)計(jì)學(xué)意義。 但是X2(鐵)對(duì)血紅蛋白的線性回歸有統(tǒng)計(jì)學(xué)意義。結(jié)論為：應(yīng)

12、把X1 剔除，只建立X2 與Y 的線性回歸方程，即： = -0.2415 + 0.02853 X2 第三節(jié) 多元逐步回歸 一、基本思路幾個(gè)自變量與一個(gè)因變量關(guān)系的回歸方程中，每個(gè)自變量對(duì)因變量變化所起的作用進(jìn)行假設(shè)檢驗(yàn)結(jié)果，可能有些有統(tǒng)計(jì)學(xué)意義，有些無(wú)統(tǒng)計(jì)學(xué)意義。一個(gè)較理想的回歸方程， 應(yīng)包括所有對(duì)因變量有統(tǒng)計(jì)學(xué)意義的自變量， 而不包括作用無(wú)統(tǒng)計(jì)學(xué)意義的自變量。建立這樣一個(gè)回歸方程較理想的方法之一是 多元逐步回歸分析法第三節(jié) 多元逐步回歸二、基本原理：1. 按每個(gè)自變量對(duì)因變量作用大小，由大到小依次逐個(gè)引入回歸方程2. 每引入一個(gè)自變量，都要對(duì)回歸方程中每一個(gè)（包括剛被引入的） 自變量的作用作

13、假設(shè)檢驗(yàn)。當(dāng)發(fā)現(xiàn)一個(gè)或幾個(gè)作用無(wú)統(tǒng)計(jì)學(xué)意義 變量被引入時(shí)，即行逐個(gè)剔除，3. 每剔除一個(gè)自變量后，也要對(duì)仍留在回歸方程中的自變量逐個(gè)作假 設(shè)檢驗(yàn)。如果發(fā)現(xiàn)方程中還存在作用無(wú)顯著意義的自變量時(shí)， 也予以剔除，4. 直至沒有自變量可引入，也沒有自變量可從回歸方程中剔除為止。第四節(jié) 使用多元回歸的注意事項(xiàng)1. 使用多元回歸時(shí)，它是將所有變量都列入回歸方程中。因此，同時(shí)求出b1,b2, .,bk, 所以必須再作“回歸方程的假設(shè)檢驗(yàn)”及“偏回歸系數(shù)的假設(shè)檢驗(yàn)”，從而確定究竟哪些變量應(yīng)列入回歸方程。2. 不能簡(jiǎn)單的用回歸系數(shù)b1, b2, ,bk的絕對(duì)值大小來(lái)確定其回歸作用的大小，而要對(duì)這些系數(shù)作標(biāo)準(zhǔn)化處理后，才可作其作用大小的比較。 第四節(jié) 使用