多重線性回歸

多重線性回歸1第1頁，共60頁，2023年，2月20日，星期四主要內容1多重線性回歸模型簡介2回歸系數(shù)的估計3多重回歸的假設檢驗4評價回歸方程的標準5自變量的篩選6多重線性回歸的應用及其注意事項

2第2頁，共60頁，2023年，2月20日，星期四某地13歲男童身高、體重、肺活量的實測數(shù)據(jù)編號身高(cm)x1體重(kg)x2肺活量(L)y1135.132.01.753163.646.22.755156.237.12.757167.841.52.759145.033.02.5011165.549.53.0013153.341.02.7515160.547.22.2517147.640.52.0019155.144.72.7521143.031.51.7523160.840.42.7525158.237.52.0027144.534.72.2529156.532.01.753第3頁，共60頁，2023年，2月20日，星期四問題身高、體重與肺活量有無線性關系？用身高和體重預測肺活量有多高的精度？單獨用身高、或體重是否也能達到同樣效果？身高的貢獻大，還是體重的貢獻大？4第4頁，共60頁，2023年，2月20日，星期四一、多重線性回歸模型多重線性回歸數(shù)學模型：Y為因變量的實際觀測值X1、X2、…Xm為m個自變量為常數(shù)項為總體偏回歸系數(shù)為殘差，Y的變化中不能用現(xiàn)有自變量解釋的部分5第5頁，共60頁，2023年，2月20日，星期四多重線性回歸方程

b0為截距(intercept)，又稱常數(shù)(constant),

表示各自變量均為0時y的估計值

bj稱為樣本偏回歸系數(shù)(partialregressioncoefficient)，表示在其他自變量固定不變的情況下，自變量xj每改變一個單位時單獨引起因變量y的平均改變量。稱為y的估計值或預測值(predictedvalue)6第6頁，共60頁，2023年，2月20日，星期四舉例根據(jù)某地29名13歲男童的身高x1(cm)，體重x2(kg)和肺活量y(L)建立的回歸方程為：當x1=150，x2=32時，

表示對所有身高為150cm，體重為32kg的13歲男童，估計平均肺活量為1.9168(L)。7第7頁，共60頁，2023年，2月20日，星期四二、回歸系數(shù)的估計最小二乘法(leastsquare,LS)基本思想殘差平方和(sumofsquaresforresiduals)最小8第8頁，共60頁，2023年，2月20日，星期四用偏導數(shù)方法可得出下列正規(guī)方程組9第9頁，共60頁，2023年，2月20日，星期四求解正規(guī)方程組得偏回歸系數(shù)10第10頁，共60頁，2023年，2月20日，星期四標準化偏回歸系數(shù)

（standardizedpartialregressioncoefficient)無量綱，越大說明相應的自變量xj

對y的貢獻越大11第11頁，共60頁，2023年，2月20日，星期四例20-1

總膽固醇和甘油三酯對空腹血糖的影響12第12頁，共60頁，2023年，2月20日，星期四三、多重回歸的假設檢驗回歸方程（模型）的檢驗偏回歸系數(shù)的檢驗13第13頁，共60頁，2023年，2月20日，星期四模型檢驗方差分析法確定系數(shù)法14第14頁，共60頁，2023年，2月20日，星期四方差分析法變異分解1.總變異：2.引進回歸以后的變異(剩余):

3.回歸的貢獻，回歸平方和：15第15頁，共60頁，2023年，2月20日，星期四回歸方程檢驗的方差分析表變異來源離均差平方和SS自由度df離均差平方均方MSF回歸SS回歸KSS回歸/KMS回歸剩余SS剩余N-K-1SS剩余/(N-K-1)/MS剩余總SS總N-116第16頁，共60頁，2023年，2月20日，星期四檢驗步驟1.建立假設，確定檢驗水準2.計算F值3.確定P值，得出結論17第17頁，共60頁，2023年，2月20日，星期四確定系數(shù)法

(coefficientofdetermination)確定系數(shù)18第18頁，共60頁，2023年，2月20日，星期四R2可用于檢驗多元回歸方程H0：2=0；H1：20。檢驗統(tǒng)計量為：19第19頁，共60頁，2023年，2月20日，星期四

偏回歸系數(shù)的假設檢驗t檢驗H0：j=0；H1：j0。20第20頁，共60頁，2023年，2月20日，星期四偏回歸平方和法偏回歸平方和：是指將某自變量xj從回歸方程中刪除后所引起的回歸平方和減少的量。21第21頁，共60頁，2023年，2月20日，星期四例20-1

總膽固醇和甘油三酯對空腹血糖的影響模型檢驗結果22第22頁，共60頁，2023年，2月20日，星期四偏回歸系數(shù)的t檢驗結果23第23頁，共60頁，2023年，2月20日，星期四偏回歸平方和法的檢驗結果方程內變量方程外變量SS回歸偏回歸平方和（xj）F(xj)x1,x24.281x2x11.5432.7389.849x1x22.9891.2924.647F0.05,(1,37)=4.1124第24頁，共60頁，2023年，2月20日，星期四評價回歸方程的標準復相關系數(shù)校正復相關系數(shù)剩余標準差25第25頁，共60頁，2023年，2月20日，星期四復相關系數(shù)

(multiplecorrelationcoefficient)

0≤R≤1R反映的是因變量與所有自變量的總的相關關系,當方程中自變量個數(shù)增加時,R總是增加的。當只有一個因變量y與一個自變量x時，R就等于y與x的簡單相關系數(shù)之絕對值：R=|ryx

|。根據(jù)R的大小判斷方程的優(yōu)劣時，結論總是自變量最多的方程最好，用R衡量方程的優(yōu)劣是有缺陷的。26第26頁，共60頁，2023年，2月20日，星期四校正復相關系數(shù)Rad當有統(tǒng)計學意義的變量進入方程中，可使Rad增加，而當無統(tǒng)計學意義的變量增加到方程中時，Rad反而減少。Rad是衡量方程優(yōu)劣的重要指標27第27頁，共60頁，2023年，2月20日，星期四剩余標準差剩余標準差小則估計值與實測值接近，反之則估計值與實測值相差較大，它是反映回歸方程精度的指標28第28頁，共60頁，2023年，2月20日，星期四自變量的篩選全面分析法前進法后退法逐步回歸法29第29頁，共60頁，2023年，2月20日，星期四全面分析法

（最優(yōu)子集法）從所有可能的變量組合的回歸方程中挑選最優(yōu)者，即把所有包含1個、2個、…直至全部k個自變量的回歸方程都計算出來（），挑選剩余標準差最小的。30第30頁，共60頁，2023年，2月20日，星期四前進法的基本思想選定一個標準。開始方程中沒有自變量(常數(shù)項除外)按自變量對y的貢獻大小由大到小依次挑選進入方程。每選入一個變量進入方程，則重新計算方程外各自變量對y的貢獻。直到方程外變量均達不到入選標準，沒有自變量可被引入方程為止。31第31頁，共60頁，2023年，2月20日，星期四圖示：前進法

計算lij、方程外的變量分別進入方程，計算SS回增加量增加最大者為XKXK進入方程顯著對XK進行檢驗不顯著結束32第32頁，共60頁，2023年，2月20日，星期四前進法Y，X1

X2X3X4X5第一步建立5個方程

Y與x1P1=0.015

Y與x2P2=0.003Y與x3P3=0.026Y與x4P4=0.223Y與x5P5=0.665選入X2方程中有一個變量33第33頁，共60頁，2023年，2月20日，星期四前進法第二步建立4個方程

Y與X2，x1P1=0.023

Y與x2，x3P2=0.005Y與x2，x4P3=0.223Y與x2，x5P4=0.635選入X3方程中有二個變量

x2，x334第34頁，共60頁，2023年，2月20日，星期四前進法第三步建立3個方程

Y與X2，X3，x1P1=0.023

Y與X2，X3，x4P2=0.000Y與X2，X3，x5P3=0.535選入X4方程中有三個變量

X2，X3，x435第35頁，共60頁，2023年，2月20日，星期四前進法考慮在剩余的X1、X5選入。若P有小于0.05，繼續(xù)考慮選入。依次循環(huán)，直到方程外也選不入，計算停止，此時的方程為前進法的最優(yōu)方程。36第36頁，共60頁，2023年，2月20日，星期四后退法的基本思想選定一個標準開始所有變量均在方程中按自變量對y的貢獻大小由小到大依次剔除變量。每剔除一個變量，則重新計算方程內各自變量對y的貢獻。直到方程內變量均達到入選標準，沒有自變量可被剔除為止。37第37頁，共60頁，2023年，2月20日，星期四圖示：后退法

變量全部進入方程方程內的變量分別剔除，計算SS回減少量，減少量最小者為Xk剔除Xk顯著對XK進行檢驗不顯著不剔除Xk,結束38第38頁，共60頁，2023年，2月20日，星期四后退法Y，X1

X2X3X4X5第一步建立1個方程

Y與X1，X2，X3，X4，X5

39第39頁，共60頁，2023年，2月20日，星期四后退法第二步建立5個方程（考慮剔除）

Y與X1，X2，X3，X4

無X5所損失P1=0.723Y與X1，X2，X3，X5

無X4所損失P2=0.005Y與X1，X2，X4，X5

無X3所損失P3=0.123Y與X1，X3，X4，X5

無X2所損失P4=0.035Y與X2，X3，X4，X5

無X1所損失P4=0.53540第40頁，共60頁，2023年，2月20日，星期四后退法第三步建立4個方程（考慮剔除）

Y與X1，X2，X3

無X4所損失P1=0.003Y與X1，X2，X4

無X3所損失P2=0.005Y與X1，X3，X4

無X2所損失P4=0.035Y與X2，X3，X4

無X1所損失P4=0.53541第41頁，共60頁，2023年，2月20日，星期四后退法第四步建立3個方程（考慮剔除）

Y與X2，X3無X4所損失P1=0.003Y與X2，X4無X3所損失P2=0.002Y與X3，X4無X2所損失P3=0.00542第42頁，共60頁，2023年，2月20日，星期四后退法若P都小于0.05，不能剔除，直到方程內剔不出，計算停止，此時的方程為后退法的最優(yōu)方程。43第43頁，共60頁，2023年，2月20日，星期四逐步回歸將自變量逐個地引入方程，引入的條件是該自變量的偏回歸平方和在未選入的自變量中是最大的，并F檢驗具有顯著意義。另一方面，每引入一個新變量，要對先前選入方程的自變量逐個進行F檢驗，將偏回歸平方和最小且無顯著性的自變量剔出方程，直到方程外的自變量不能再引入，方程內的自變量不能再剔除。44第44頁，共60頁，2023年，2月20日，星期四圖示：逐步回歸過程

計算lij、方程外的變量分別進入方程，計算SS回增加量增加最大者為XKXK進入方程步數(shù)>2方程內的變量分別剔除，計算SS回減少量，減少量最小者為XS對XS檢驗剔除XS顯著不顯著顯著對XK進行檢驗不顯著結束是否45第45頁，共60頁，2023年，2月20日，星期四前進法逐步回歸Y，X1

X2X3X4X5第一步建立5個方程

Y與x1P1=0.015

Y與x2P2=0.003Y與x3P3=0.026Y與x4P4=0.223Y與x5P5=0.665選入X2方程中有一個變量46第46頁，共60頁，2023年，2月20日，星期四前進法逐步回歸第二步建立4個方程

Y與X2，x1P1=0.023

Y與x2，x3P2=0.005Y與x2，x4P3=0.223Y與x2，x5P4=0.635選入X3方程中有二個變量

x2，x3

47第47頁，共60頁，2023年，2月20日，星期四前進法逐步回歸第三步建立3個方程

Y與X2，X3，x1P1=0.023

Y與X2，X3，x4p2=0.000Y與X2，X3，x5p3=0.535選入X4方程中有三個變量

X2，X3，x448第48頁，共60頁，2023年，2月20日，星期四前進法逐步回歸第四步建立3個方程（考慮剔除）

Y與X2，X3無X4所損失P1=0.003Y與X2，X4無X3所損失P2=0.002Y與X3，X4無X2所損失P3=0.25049第49頁，共60頁，2023年，2月20日，星期四前進法逐步回歸此時P3大于0.05,則剔除變量X2，然后考慮在剩余的X1、X5選入。若P都小于0.05,繼續(xù)考慮選入。依次循環(huán)，直到方程內剔不出，方程外也選不入，計算停止，此時的方程為前進法的最優(yōu)方程。50第50頁，共60頁，2023年，2月20日，星期四后退法逐步回歸開始時全部因素都引入模型，然后分別剔除各因素，比較Ｐ值最大者，經(jīng)檢驗，如沒有顯著性，首先剔除。再分別考慮剔除還在模型內的各因素，如果Ｐ值最大者經(jīng)檢驗，沒有顯著性，再剔除。直到模型內的因素均不能剔除為止。再考慮模型外的各因素，分別引入模型，經(jīng)檢驗，具有顯著性者再引入。直到模型內的因素都具有顯著性，都不能剔除，而模型外的因素都不具有顯著性，不能引入，則得到最后的模型。51第51頁，共60頁，2023年，2月20日，星期四后退法逐步回歸Y，X1

X2X3X4X5第一步建立1個方程

Y與X1，X2，X3，X4，X5

52第52頁，共60頁，2023年，2月20日，星期四后退法逐步回歸第二步建立5個方程（考慮剔除）

Y與X1，X2，X3，X4

無X5所損失P1=0.723Y與X1，X2，X3，X5

無X4所損失P2=0.005Y與X1，X2，X4，X5

無X3所損失P3=0.123Y與X1，X3，X4，X5

無X2所損失P4=0.035Y與X2，X3，X4，X5

無X1所損失P4=0.53553第53頁，共60頁，2023年，2月20日，星期四后退法逐步回歸第三步建立4個方程（考慮剔除）

Y與X1，X2，X3

無X4所損失P1=0.003Y與X1，X2，X4

無X3所損失P2=0.005Y與X1，X3，X4

無X2所損失P4=0.035Y與X2，X3，X4