衛(wèi)生統(tǒng)計學多元回歸與多元逐步回歸

衛(wèi)生統(tǒng)計學多元回歸與多元逐步回歸醫(yī)學統(tǒng)計學湖北中醫(yī)學院衛(wèi)生教研室1第一頁，共二十五頁，編輯于2023年，星期二醫(yī)學統(tǒng)計學湖北中醫(yī)學院衛(wèi)生教研室2第十一章多元回歸與多元逐步回歸

(MultipleRegression&StepwiseMultipleRegression)第一節(jié)多元線性回歸的一般解法第二節(jié)二元回歸方程的計算實例第三節(jié)多元逐步回歸第四節(jié)使用多元回歸的注意事項第二頁，共二十五頁，編輯于2023年，星期二醫(yī)學統(tǒng)計學湖北中醫(yī)學院衛(wèi)生教研室3予備知識第三頁，共二十五頁，編輯于2023年，星期二醫(yī)學統(tǒng)計學湖北中醫(yī)學院衛(wèi)生教研室4予備知識第四頁，共二十五頁，編輯于2023年，星期二醫(yī)學統(tǒng)計學湖北中醫(yī)學院衛(wèi)生教研室5第一節(jié)多元線性回歸的一般解法設與應變量Y

有關(guān)的自變量有k個，記為X1,X2,X3,...,

Xk。現(xiàn)觀察了n例表11.1多元線性回歸原始觀察數(shù)據(jù)試作Y與X1,X2,X3,...,Xk多元直線回歸方程第五頁，共二十五頁，編輯于2023年，星期二醫(yī)學統(tǒng)計學湖北中醫(yī)學院衛(wèi)生教研室6第一節(jié)多元線性回歸的一般解法假設多元線性回歸方程為：多元線性回歸的一般步驟：1.求系數(shù)及2.對整個回歸方程作假設檢驗3.對每一個自變量作假設檢驗。無統(tǒng)計學意義？如何辦？

如果某幾個自變量無統(tǒng)計學意義即較小如何辦？第六頁，共二十五頁，編輯于2023年，星期二醫(yī)學統(tǒng)計學湖北中醫(yī)學院衛(wèi)生教研室7第一節(jié)多元線性回歸的一般解法1.求系數(shù)及假設多元線性回歸方程為：其中，為待定常數(shù)。假設為已知根據(jù)觀察到的n例數(shù)據(jù)，代入上述公式可得第i例的應變量之估計值。建立等式：根據(jù)最小二乘法，應該使所選定的b1,b2,...,bk

能夠讓上述公式的Q

值達極小。為了使Q達極小，可將Q

對b1,b2,...,bk求一價偏導數(shù)，并使之等于0，經(jīng)化簡可得下列方程組：第七頁，共二十五頁，編輯于2023年，星期二醫(yī)學統(tǒng)計學湖北中醫(yī)學院衛(wèi)生教研室8其中當i=j時，為各自變量的離均差平方和；當ij時，為兩兩間的離均差積和為各自變量與應變量的離均差積和對于線性方程組可利用行列式，求出系數(shù)b1,b2,b3,...,bk。再用公式求得b0，第八頁，共二十五頁，編輯于2023年，星期二醫(yī)學統(tǒng)計學湖北中醫(yī)學院衛(wèi)生教研室9第一節(jié)多元線性回歸的一般解法二、多元線性回歸方程的假設檢驗用樣本的測定值作多元回歸分析，不可避免地存在著抽樣誤差。因此，在建立起多元線性回歸方程后，還必須對該方程作假設檢驗1.H0：所有自變量對應變量Ｙ都無線性回歸關(guān)系。2.計算Ｆ值SS回歸=b1L1Y+b2L2Y+…+bkLkSS殘差=SS總－SS回歸df總=n－1,df回歸=回歸變量數(shù)=

k,df殘差=n－k－13.根據(jù)df1=k,df2=n－k－1查F

值表求出

Ｆ0.05(k,n-k-1)及Ｆ0.01(k,n-k-1),

并與F

值比較，作出結(jié)論。第九頁，共二十五頁，編輯于2023年，星期二醫(yī)學統(tǒng)計學湖北中醫(yī)學院衛(wèi)生教研室10第一節(jié)多元線性回歸的一般解法三、偏回歸系數(shù)的假設檢驗

為了檢驗每個自變量是否對Ｙ都存在線性回歸關(guān)系，需分別對每個自變量(即相應的偏回歸系數(shù))進行檢驗，以免把作用不顯著的自變量引入回歸方程中。這同樣可用Ｆ檢驗

1.將所有k個自變量Xj(j=1,2,...,k)都引入回歸方程中，得到回歸平方和及殘差平方和，記為SS回歸及SS殘差。2.將擬檢驗的某個自變量Xi從回歸方程中取出后，重新建立起一個含k-1個自變量X1,X2,...,Xi-1,Xi+1,...,Xk的回歸方程，并得到不含Xi作用的回歸平方和SS回歸(-i)。

則SS回歸－SS回歸(-i)就是在其他自變量已在回歸方程中的條件下，Xi單獨引起的回歸平方和的改變量，把這個量稱為Xi的偏回歸平方和。第十頁，共二十五頁，編輯于2023年，星期二醫(yī)學統(tǒng)計學湖北中醫(yī)學院衛(wèi)生教研室11第一節(jié)多元線性回歸的一般解法3.用Ｆ值來檢驗該Xi的回歸效應是否顯著，Ｆ值的計算公式為4.根據(jù)df1=1,df2=n－k－1查F

值表求出

Ｆ0.05(1,n-k-1)及Ｆ0.01(1,n-k-1),

并與F

值比較，作出結(jié)論。第十一頁，共二十五頁，編輯于2023年，星期二醫(yī)學統(tǒng)計學湖北中醫(yī)學院衛(wèi)生教研室12第一節(jié)多元線性回歸的一般解法

應該注意：

⑴從回歸方程中剔除一個自變量，譬如Xj，這決不是簡單地把bjXj項從方程中剔除就完事，而是應從余下的k-1個變量著手，重新建立含有k-1個自變量的新方程組，然后再解出新的。一般來說，新的回歸系數(shù)與原來的bi是不同的。這是因為偏回歸系數(shù)之間存在著相關(guān)性，當從原方程剔除一個變量時，其他變量，特別是與它有密切關(guān)系的一些變量的偏回歸系數(shù)就會受到影響，有時影響是很大的。

第十二頁，共二十五頁，編輯于2023年，星期二醫(yī)學統(tǒng)計學湖北中醫(yī)學院衛(wèi)生教研室13第一節(jié)多元線性回歸的一般解法應該注意：

⑵在用F

檢驗對偏回歸系數(shù)進行一次檢驗后，只能剔除其中一個因子，這個因子是所有不顯著因子中F

值最小的。然后重新建立新的方程，再對新的偏回歸系數(shù)進行逐個檢驗，直到余下的偏回歸系數(shù)都有統(tǒng)計學意義時為止。

第十三頁，共二十五頁，編輯于2023年，星期二醫(yī)學統(tǒng)計學湖北中醫(yī)學院衛(wèi)生教研室14第一節(jié)多元線性回歸的一般解法

⑶在許多情況下，需要比較各個自變量對應變量的相對貢獻大小。但是，由于各自變量的測量單位不同，單從各偏回歸系數(shù)的絕對值大小來分析不易得出正確結(jié)論。為此，首先對各偏回歸系數(shù)進行標準化處理，即消除測量單位的影響，然后比較各標準化的偏回歸系數(shù)的大小以反映各自對應變量的貢獻大小。標準化偏回歸系數(shù)的計算公式為：式中Si及Sy分別為自變量Xi及應變量Y

的標準差，bi為Xi的偏回歸系數(shù)應該注意：第十四頁，共二十五頁，編輯于2023年，星期二醫(yī)學統(tǒng)計學湖北中醫(yī)學院衛(wèi)生教研室15第二節(jié)二元回歸方程的計算實例例11.120名兒童的血紅蛋白Y(g/100ml)與微量元素鈣X1

g/100ml)和鐵X2(g/100ml)的測定結(jié)果如表11.2，試作多元線性回歸。表11.220例兒童的血紅蛋白和微量元素的測定結(jié)果

第十五頁，共二十五頁，編輯于2023年，星期二醫(yī)學統(tǒng)計學湖北中醫(yī)學院衛(wèi)生教研室16第二節(jié)二元回歸方程的計算實例一、計算回歸系數(shù)

L11=74923.12-(1208.67)2/20=1878.9616L22=3519638.96-(8353.67)2/20=30444.8366L12=507772.11-(1208.67)(8353.67)/20=2930.5941L1Y=14131.85-(1208.67)(233.5)/20=20.6278L2Y=98397.80-(8353.67)(233.5)/20=868.7028LYY=2771.88-(233.5)2/20=45.7675建立聯(lián)立方程：解此方程，可求得；b1=-0.0394b2=0.0323b0=11.68-(-0.0394)(60.43)-(0.0323)(417.68)=0.5699最后可得方程：

=0.5699-0.0394X1+0.0323X2第十六頁，共二十五頁，編輯于2023年，星期二醫(yī)學統(tǒng)計學湖北中醫(yī)學院衛(wèi)生教研室17第二節(jié)二元回歸方程的計算實例二、多元線性回歸方程的假設檢驗用樣本的測定值作多元回歸分析，不可避免地存在著抽樣誤差。因此，在建立起多元線性回歸方程后，還必須對該方程作假設檢驗該假設檢驗可用方差分析，1.H0：所有自變量對應變量Ｙ都無線性回歸關(guān)系。2.計算Ｆ值＝45.7675SS回歸=b1L1Y+b2L2Y+…+bkLk＝(-0.0394)(20.6278)+(0.0323)(868.7028)=27.2464SS殘差=SS總－SS回歸＝45.7675-27.2464=18.5211df總=n－1=20-1=19,df回歸=回歸變量數(shù)

k=2,df殘差=n－k－1=20-2-1=17第十七頁，共二十五頁，編輯于2023年，星期二醫(yī)學統(tǒng)計學湖北中醫(yī)學院衛(wèi)生教研室18第二節(jié)二元回歸方程的計算實例3.df回歸＝2,df殘差＝17查Ｆ界值表

Ｆ0.05(2,17)＝3.59Ｆ0.01(2,17)＝6.114.本例Ｆ>Ｆ0.01(2,17),所以P<0.01

拒絕H0，故總體上認為微量元素鈣和鐵對血紅蛋白有回歸關(guān)系。第十八頁，共二十五頁，編輯于2023年，星期二醫(yī)學統(tǒng)計學湖北中醫(yī)學院衛(wèi)生教研室19第二節(jié)二元回歸方程的計算實例1.將微量元素鈣X1和鐵X2全部納入回歸方程中，得到的

SS回歸＝27.2464

SS殘差＝18.5211

三、偏回歸系數(shù)的假設檢驗2.把X1

從回歸方程中取出，而單獨建立X2

與Y

的回歸方程為:=-0.2415+0.02853X2，此時SS回歸(-1)＝24.78423.若把X2

從回歸方程中取出，而單獨建立X1

與Y

的回歸方程為:=11.0116+0.010977X1，此時

SS回歸(-2)＝0.2264第十九頁，共二十五頁，編輯于2023年，星期二醫(yī)學統(tǒng)計學湖北中醫(yī)學院衛(wèi)生教研室20第二節(jié)二元回歸方程的計算實例4.進行F

檢驗⒌查F

界值表，得

Ｆ0.05(1,17)＝4.45Ｆ0.01(1,17)＝8.40可以認為X1(鈣)對血紅蛋白的線性回歸無統(tǒng)計學意義。但是X2(鐵)對血紅蛋白的線性回歸有統(tǒng)計學意義。結(jié)論為：應把X1剔除，只建立X2與Y

的線性回歸方程，即：=-0.2415+0.02853X2第二十頁，共二十五頁，編輯于2023年，星期二醫(yī)學統(tǒng)計學湖北中醫(yī)學院衛(wèi)生教研室21第三節(jié)多元逐步回歸

一、基本思路幾個自變量與一個因變量關(guān)系的回歸方程中，每個自變量對因變量變化所起的作用進行假設檢驗結(jié)果，可能有些有統(tǒng)計學意義，有些無統(tǒng)計學意義。一個較理想的回歸方程，應包括所有對因變量有統(tǒng)計學意義的自變量，而不包括作用無統(tǒng)計學意義的自變量。建立這樣一個回歸方程較理想的方法之一是多元逐步回歸分析法第二十一頁，共二十五頁，編輯于2023年，星期二醫(yī)學統(tǒng)計學湖北中醫(yī)學院衛(wèi)生教研室22第三節(jié)多元逐步回歸二、基本原理：1.按每個自變量對因變量作用大小，由大到小依次逐個引入回歸方程2.每引入一個自變量，都要對回歸方程中每一個（包括剛被引入的）自變量的作用作假設檢驗。當發(fā)現(xiàn)一個或幾個作用無統(tǒng)計學意義變量被引入時，即行逐個剔除，3.每剔除一個自變量后，也要對仍留在回歸方程中的自變量逐個作假設檢驗。如果發(fā)現(xiàn)方程中還存在作用無顯著意義的自變量時，也予以剔除，4.直至