多元線性回歸分析PPT精選文檔

1、1第十四章第十四章 多元線性回歸分析多元線性回歸分析 Multivariate linear regression 2 人的體重體重與身高、胸圍身高、胸圍血壓值血壓值與年齡、性別、勞動強度、飲食習(xí)慣、吸煙年齡、性別、勞動強度、飲食習(xí)慣、吸煙狀況、家族史狀況、家族史糖尿病人的血糖血糖與胰島素、糖化血紅蛋白、血清總胰島素、糖化血紅蛋白、血清總膽固醇、甘油三脂膽固醇、甘油三脂射頻治療儀定向治療腦腫瘤過程中，腦皮質(zhì)的毀損毀損半徑半徑與輻射的溫度、輻射的溫度、 照射的時間照射的時間一個變量的變化直接與另一組變量的變化有關(guān)：一個變量的變化直接與另一組變量的變化有關(guān)：如：3Multivariate line

2、ar regression概念：概念：多元線性回歸分析多元線性回歸分析也稱復(fù)線性回歸分析復(fù)線性回歸分析（multiple linear regression analysis）,它研究一組自變量如何直接影響一個因變量。自變量（independent variable）是指獨立自由變量的變量，用向量X表示；因變量（dependent variable)是指非獨立的、受其它變量影響的變量，用向量Y表示；由于模型僅涉及一個因變量，所以多元線性回歸分析也稱單變量線性回歸分析（univariate linear regression analysis）4多元回歸分析數(shù)據(jù)格式多元回歸分析數(shù)據(jù)格式5假定因變

3、量假定因變量Y與與自變量自變量 間存在如下關(guān)系：間存在如下關(guān)系：mmXXXY22110式中， 是常數(shù)項， 稱為偏回歸系數(shù)（partial regression coefficient）。 的含義為在其它自變量保持不變的條件下，自變量 改變一個單位時因變量Y 的平均改變量。 為隨機誤差，又稱殘差（residual），它表示 的變化中不能由自變量 解釋的部分。0m,21m,ii21Ym,iXi21mX,X,X21iX一、多元線性回歸方程模型一、多元線性回歸方程模型6x1x2y22110XbXbbY7應(yīng)用條件：應(yīng)用條件：注意：注意：雖然模型要求因變量是連續(xù)數(shù)值變量，但對自變量的類型不限。若自變量是分

4、類變量，特別是無序分類變量，要轉(zhuǎn)化為亞變量才能分析。對于自變量是分類變量的情形，需要用廣義線性回歸模型分析。廣義線性回歸模型分析。8二、多元線性回歸分析的步驟二、多元線性回歸分析的步驟（一）估計各項參數(shù)，建立多元線性回歸方程模型（二）對整個模型進行假設(shè)檢驗，模型有意義的前提下，再分別對各偏回歸系數(shù)進行假設(shè)檢驗。（三）計算相應(yīng)指標(biāo)，對模型的擬合效果進行評價。9（一）模型的參數(shù)估計（一）模型的參數(shù)估計1027名糖尿病患者的血清總膽固醇（x1）、甘油三酯（x2）、空腹胰島素（x3）、糖化血紅蛋白（x4）、空腹血糖（y）的測量值列于表中，試建立血糖與其它幾項指標(biāo)關(guān)系的多元線性回歸方程。 例例14.11

5、4.111各變量的離差矩陣各變量的離差矩陣12線性回歸方程模型為：線性回歸方程模型為：131、對模型的假設(shè)檢驗F檢驗檢驗2、對偏回歸系數(shù)的假設(shè)檢驗F檢驗檢驗和和t 檢驗檢驗3、標(biāo)準(zhǔn)偏化回歸系數(shù)（二）對模型及偏回歸系數(shù)的假設(shè)檢驗（二）對模型及偏回歸系數(shù)的假設(shè)檢驗141、對模型的假設(shè)檢驗F檢驗檢驗15SS回歸=b1l1y+ b2l2y + b3l3y + b4l4y =0.142467.6962+0.351589.8025+0.2706142.4347+0.638284.5570 =133.7107；回歸=m=4 各變量的離差矩陣各變量的離差矩陣16SS總=lyy=222.5519；總=n-1=2

6、6SS剩余= SS總- SS回歸=222.5519-133.7107=88.8412剩余=n-m-1=22 MS回歸= SS回歸/回歸； MS剩余= SS剩余/剩余；F= MS回歸/ MS剩余1、對模型的假設(shè)檢驗F檢驗檢驗171、對模型的假設(shè)檢驗F檢驗檢驗182、對偏回歸系數(shù)的假設(shè)檢驗F檢驗檢驗和和t 檢驗檢驗回歸方程成立只能認(rèn)為總的來說自變量與因變量間存在線性關(guān)系，但是否每一個自變量都與因變量間存在線性關(guān)系，須對其偏回歸系數(shù)進行假設(shè)檢驗。 方差分析法 t 檢驗法19 偏回歸系數(shù)的假設(shè)檢驗-方差分析法方差分析法20 偏回歸系數(shù)的假設(shè)檢驗-方差分析法方差分析法21 Parameter Stand

7、ard Standardized Variable DF Estimate Error t Value Pr |t| Estimate 變量 自由度 偏回歸系數(shù) 標(biāo)準(zhǔn)誤 t值 P值 標(biāo)準(zhǔn)化回歸系數(shù) Intercept 22 5.94327 2.82859 2.10 0.0473 0X1 22 0.14245 0.36565 0.39 0.7006 0.07758X2 22 0.35147 0.20420 1.72 0.0993 0.30931 X3 22 -0.27059 0.12139 -2.23 0.0363 -0.33948 X4 22 0.63820 0.24326 2.62 0.01

8、55 0.39774偏回歸系數(shù)的假設(shè)檢驗 t 檢驗檢驗22指定指定REG過程進行多元線性回歸分析，擬合過程進行多元線性回歸分析，擬合y與四個自變量間的多元線性回歸方程與四個自變量間的多元線性回歸方程23整個方程有整個方程有統(tǒng)計學(xué)意義統(tǒng)計學(xué)意義各自變量的參數(shù)估計各自變量的參數(shù)估計對偏回歸系數(shù)對偏回歸系數(shù)的假設(shè)檢驗的假設(shè)檢驗24注注意意25YjjYYjjjYYjjjjSSbnlnlbllbb) 1/() 1/( 3、標(biāo)準(zhǔn)化偏回歸系數(shù)26偏回歸系數(shù)偏回歸系數(shù)偏回歸系偏回歸系數(shù)標(biāo)準(zhǔn)誤數(shù)標(biāo)準(zhǔn)誤標(biāo)準(zhǔn)偏回歸系數(shù)標(biāo)準(zhǔn)偏回歸系數(shù)27（三）計算相應(yīng)指標(biāo)，對模型的擬合效果進行評價n評價回歸方程回歸效果的優(yōu)劣是回歸分

9、析的重要內(nèi)容之一。常用評價指標(biāo)有：常用評價指標(biāo)有：n復(fù)相關(guān)系數(shù)、n決定系數(shù)、n校正決定系數(shù)、n剩余標(biāo)準(zhǔn)差等。 281.復(fù)相關(guān)系數(shù) 復(fù)相關(guān)系數(shù)（R），衡量因變量Y與回歸方程內(nèi)所有自變量線性組合件相關(guān)關(guān)系的密切程度。 0=R=1,沒有負值。 R的值越接近1，說明相關(guān)關(guān)系越密切；越接近0說明相關(guān)關(guān)系越弱。292.決定系數(shù)30313、剩余標(biāo)準(zhǔn)差324、校正決定系數(shù)33三、逐步回歸分析三、逐步回歸分析34（一）最優(yōu)子集回歸法求出所有自變量可能組合子集的回歸方程的模型（共有2m1個），按一定準(zhǔn)則選擇最優(yōu)模型，常用的準(zhǔn)則有：校正決定系數(shù)（考慮了自變量的個數(shù)）Cp準(zhǔn)則（C即criterion，p為所選模型中變

10、量的個數(shù)；）AIC(Akaikes Information Criterion)準(zhǔn)則；35最優(yōu)子集法的局限性 如果自變量個數(shù)為4，則所有的回歸有24115個；當(dāng)自變量數(shù)個數(shù)為10時，所有可能的回歸為 2101 1023個；.；當(dāng)自變量數(shù)個數(shù)為50時，所有可能的回歸為25011015個。36（二）逐步選擇法（二）逐步選擇法 1. 前進法（forward selection）2. 后退法（backward elimination）3. 逐步回歸法（stepwise regression）。它們的共同特點是每一步只引入或剔除一個自變量。決定其取舍則基于對偏回歸平方和的F檢驗1; 1;) 1(21)(

11、pnpnSSSSSSFjj殘回回37（1）前進法）前進法 自變量從無到有、從少到多自變量從無到有、從少到多 Y對每一個自變量作直線回歸，對回歸平方和最大的自變量作F 檢驗，有意義（P?。﹦t引入。在此基礎(chǔ)上，計算其它自變量的偏回歸平方和，選取偏回歸平方和最大者作F 檢驗，。 局限性：后續(xù)變量的引入可能會使先進入方程的自變量變得不重要。38（2）后退法）后退法 先將全部自變量放入方程，然后逐步剔除先將全部自變量放入方程，然后逐步剔除 偏回歸平方和最小的變量，作F檢驗及相應(yīng)的P值，決定它是否剔除（P大） 。建立新的回歸方程。重復(fù)上述過程。 局限性：自變量高度相關(guān)時，可能得不出正確的結(jié)果；開始時剔除的

12、變量即使后來變得有顯著性也不能再進入方程 。39（3 3）逐步回歸法）逐步回歸法 雙向篩選：雙向篩選：引入引入有意義的變量（前進法），有意義的變量（前進法），剔除剔除無意義變無意義變量（后退法）量（后退法） 小樣本檢驗水準(zhǔn) a 一般定為0.10或0.15，大樣本把a值定為0.05。 a值越小表示選取自變量的標(biāo)準(zhǔn)越嚴(yán)。 4041用逐步回歸法篩選自變量用逐步回歸法篩選自變量進入方進入方程的自程的自變量變量剔出方剔出方程的自程的自變量變量每一步每一步時模型時模型的決定的決定系數(shù)系數(shù)R2C(p)統(tǒng)計量統(tǒng)計量42標(biāo)準(zhǔn)化偏回歸系數(shù)標(biāo)準(zhǔn)化偏回歸系數(shù)y=0.35409x2-0.36013x3+0.41334x

13、443第三節(jié)第三節(jié) 多元線性回歸的應(yīng)用及其注意事項多元線性回歸的應(yīng)用及其注意事項 44二、二、 多元線性回歸應(yīng)用時的注意事項多元線性回歸應(yīng)用時的注意事項 n1樣本含量 n2方程“最優(yōu)”問題 n3關(guān)于逐步回歸 n4多元共線性 n5. 異常值識別與強影響分析 454647n多元共線性是指在進行多元回歸分析時，自變量間存在較強的線性相關(guān)關(guān)系。共線關(guān)系的存在，可使得估計系數(shù)方差加大，系數(shù)估計不穩(wěn)，結(jié)果分析困難。因此在多元回歸分析時，特別是當(dāng)回歸結(jié)果難以用專業(yè)知識解釋時，要進行共線性診斷，找出存在共線性且不重要的那些自變量，剔出方程，另行回歸分析。n對于存在共線性的資料，可以利用共線性診斷有選擇的保留自變量以消除共線性；或者采用嶺回歸嶺回歸、主成分回歸主成分回歸等回歸分析方法以避免共線性指標(biāo)對結(jié)果的影響。4 4多元共線性多元共線性48 多元共線性的表現(xiàn)多元共線性的表現(xiàn)在實際應(yīng)用中主要表現(xiàn)為：在實際應(yīng)用中主要表現(xiàn)為：（1）模型擬合效果很好，但偏回歸系數(shù)幾乎都無統(tǒng)計學(xué)意義；（2）偏回歸系數(shù)估計值的方差很大；（3）偏回歸系數(shù)估計值不穩(wěn)定，隨著樣本含量的增減各偏回歸系數(shù)發(fā)生較大變化或當(dāng)一個自變量被引入或剔除時其余變