醫(yī)療統(tǒng)計學多元逐步回歸二零一八課件

多重線性回歸中自變量的確定:根據(jù)理論知識根據(jù)經(jīng)驗部分自變量的作用不確認，借助統(tǒng)計分析來實現(xiàn)剔除：對問題的研究可能不重要可能實際上與其他變量重疊較大測量誤差

逐步回歸1醫(yī)療統(tǒng)計學多元逐步回歸二零一八2/3/2025為何要剔除一部分自變量？自變量太多，信息成本高，模型復雜，不易分析理解高度相關的自變量并不增強模型的預測能力，反而加大回歸系數(shù)的樣本變差，削弱模型的描述能力

少而精2醫(yī)療統(tǒng)計學多元逐步回歸二零一八2/3/2025逐步回歸逐步回歸------從m個自變量中選擇Ｋ（Ｋ≤m）個自變量，擬合最優(yōu)或較理想的多元線性回歸方程。選出的自變量數(shù)應：足夠少：對應變量無重要作用的自變量不能多，剔除在方程外充分多：對應變量有重要作用的自變量不能少，保留在方程中3醫(yī)療統(tǒng)計學多元逐步回歸二零一八2/3/2025自變量選擇準則殘差平方和（SS殘）與確定系數(shù)（R2）殘差均方(MS殘）與調(diào)整確定系數(shù)（AdjR2）AIC信息統(tǒng)計量ＣＰ統(tǒng)計量4醫(yī)療統(tǒng)計學多元逐步回歸二零一八2/3/2025殘差平方和（SS殘）以某一自變量Ｘj被引入模型中導致殘差平方和的改變量評價在此模型條件下Ｘj對應變量影響程度；引入Ｘj，SS殘減少量多，則Ｘj對Ｙ的作用大，可被引入剔除Ｘj，SS殘增加量多，則Ｘj對Ｙ的作用大，不應剔除5醫(yī)療統(tǒng)計學多元逐步回歸二零一八2/3/2025確定系數(shù)（R2）R2=1-SS殘/SS總

R2與SS殘完全相關，作為選擇自變量的準則時完全與SS殘等價。6醫(yī)療統(tǒng)計學多元逐步回歸二零一八2/3/2025SS殘與R2

如具有p個自變量的某一種組合可使：SS殘P與含全部（m個）自變量SS殘m接近；R2P與

R2m接近則含這p個自變量的方程為“最優(yōu)”方程

但“接近”的標準憑主觀確定7醫(yī)療統(tǒng)計學多元逐步回歸二零一八2/3/2025SS殘與R2

SS殘、R2值的大小與引入自變量個數(shù)有關，隨自變量個數(shù)的增加SS殘減少8醫(yī)療統(tǒng)計學多元逐步回歸二零一八2/3/2025SS殘與R2

SS殘值小，R2大缺點：按SS殘值小，R2大的原則選擇自變量，全部自變量均引入時的模型為較“優(yōu)”模型，未起到選擇自變量作用；

SS殘變化量準則適用于比較具有相同自變量個數(shù)模型優(yōu)劣的判據(jù)，而不適合對變量個數(shù)不同的模型的比較。9醫(yī)療統(tǒng)計學多元逐步回歸二零一八2/3/2025殘差均方(MS殘）模型從無自變量開始，按自變量對Y作用大小逐漸引入，當對Y作用大的自變量引入時，SS殘減少幅度大于（n-p-1)減少幅度，MS殘降低；當模型中自變量增加到一定程度，對Y作用大的自變量已基本引入，再增加自變量，SS殘減少幅度小于（n-p-1)減少幅度，MS殘增加。10醫(yī)療統(tǒng)計學多元逐步回歸二零一八2/3/2025調(diào)整確定系數(shù)（AdjR2）作為選擇自變量的準則，AdjR2與MS殘等價。缺點：n很大，AdjR2≈

R2

，評判效果不佳11醫(yī)療統(tǒng)計學多元逐步回歸二零一八2/3/2025AIC信息統(tǒng)計量由日本統(tǒng)計學家Akaike（1974）提出并修正以適合于回歸模型選擇的準則------Akaike信息量準則（Akaikeinformationcriterion)，簡記AIC。最小二乘法下

AIC=n.Ln(SS殘Ｐ）＋２Ｐ

SS殘Ｐ：含P個自變量時的殘差平方和。AIC達到最小為準則12醫(yī)療統(tǒng)計學多元逐步回歸二零一八2/3/2025ＣＰ統(tǒng)計量Mallows，C.L（1966）提出。

：含有P個自變量的殘差平方和；：含有全部自變量（m個）的殘差平方和13醫(yī)療統(tǒng)計學多元逐步回歸二零一八2/3/2025ＣＰ統(tǒng)計量ＣＰ統(tǒng)計量從預測出發(fā)，基于殘差平方和的一個準則。若含有P個自變量的模型合適，具有較小的ＣＰ值，且ＣＰ接近于P+1的模型為“最優(yōu)”模型。n大時，ＣＰ準則效果好14醫(yī)療統(tǒng)計學多元逐步回歸二零一八2/3/2025自變量選擇方法“目的”決定自變量選擇方法選擇對應變量作最好預報的一組自變量----著眼點是擬合回歸方程的一組自變量整體，用該組自變量應使回歸方程擬合得最好；選擇對應變量作最好解釋的主要自變量----著眼點是引入回歸方程的一組自變量的每個自變量15醫(yī)療統(tǒng)計學多元逐步回歸二零一八2/3/2025自變量選擇方法最優(yōu)子集法向前法向后法逐步法16醫(yī)療統(tǒng)計學多元逐步回歸二零一八2/3/2025最優(yōu)子集法m個自變量，可建立２m-1個不同自變量組合方程，按某一自變量選擇準則，從２m-1個方程中選擇一個或幾個最優(yōu)的方程。常用自變量選擇準則：SS殘準則、R2準則、AdjR2準則、ＣＰ準則建議選擇：AdjR2準則、ＣＰ準則17醫(yī)療統(tǒng)計學多元逐步回歸二零一八2/3/2025最優(yōu)子集法優(yōu)點：MS殘最小，F(xiàn)最大，回歸方程最優(yōu)；缺點：

計算量大，如m＝15，則必須擬合２15-1=32767個子集回歸方程來挑選最優(yōu)，因此該法主要適用于m較小情況當樣本含量n小時，結(jié)果的重復性差；不能保證：引入回歸方程的各自變量都有統(tǒng)計學意義、回歸方程外的各自變量都無統(tǒng)計學意義

18醫(yī)療統(tǒng)計學多元逐步回歸二零一八2/3/2025最優(yōu)子集法實例輸出結(jié)果解讀(M=3）子集SS殘R2MS殘AdjR2CPX18774770.48241096840.41775.8226X211123380.34391390420.26188.9866X37947590.5312993450.47264.7079X1.X24964370.7072709190.62352.6885X1.X36459250.6190922750.51014.7026X2.X36541650.6141934520.50394.8136X1.X2.X34453320.7373742220.60604.000019醫(yī)療統(tǒng)計學多元逐步回歸二零一八2/3/2025向前法（forwardselection)基本思想０步:方程中無自變量，SS回=

0，SS殘=

SS總；１步：分別建立自變量為X1、X2…Xm的m個回歸方程，對貢獻最大者，即F最大者（假如為X1）作偏回歸平方和Ｆ檢驗，如無統(tǒng)計學意義，則終止，如有統(tǒng)計學意義，則引入X1，完成第１步；20醫(yī)療統(tǒng)計學多元逐步回歸二零一八2/3/2025向前法２步：在方程中已有Ｘ1情況下，分別引入１個其余自變量，（X1，X2），（X1，X3）…(X1,Xm）建立方程，引入偏F最大者（假設為X2）作Ｆ檢驗，如無統(tǒng)計學意義，則終止，如有統(tǒng)計學意義，則引入X2，完成第2步；反復上述過程，直到剩余變量不能再引入。整個過程結(jié)束。21醫(yī)療統(tǒng)計學多元逐步回歸二零一八2/3/2025向前法優(yōu)點：計算量小缺點：引入自變量在當時有統(tǒng)計學意義，但隨著其他自變量引入，可能引入的自變量與前期引入自變量間存在共線性，導致前期引入自變量作用無統(tǒng)計學意義，因此，最終方程中可能存在無統(tǒng)計學意義的自變量。22醫(yī)療統(tǒng)計學多元逐步回歸二零一八2/3/2025向后法(backwardselection)0步：建立1個包含全部自變量的方程，作F檢驗，如無統(tǒng)計學意義，全部過程結(jié)束，否則進行第1步；1步：建立剔除1個自變量的方程（共m個方程），計算剔除變量后所致殘差平方和增量的偏F值，取最小者與F界值比較，如無統(tǒng)計學意義，則將對應的自變量剔除；……重復上述過程，每次循環(huán)剔除1個對模型貢獻最小的且無統(tǒng)計學意義的自變量，直到方程中變量都不能再剔除為止。23醫(yī)療統(tǒng)計學多元逐步回歸二零一八2/3/2025向后法優(yōu)點：可行性強，若自變量較少時，不太多的步驟可以獲得回歸方程；缺點：第０步計算含全部自變量的回歸方程，如自變量數(shù)多，則計算量大；每次剔除１個貢獻最小且無統(tǒng)計學意義的自變量，若無統(tǒng)計學意義的自變量多，則計算量大。24醫(yī)療統(tǒng)計學多元逐步回歸二零一八2/3/2025逐步法（stepwiseselection)向前法與向后法相結(jié)合，基本思想：1步：在全部自變量中，引入一個對Y貢獻最大的自變量，建立只含1個自變量的回歸方程；2步：在上步基礎上考慮引入第2個變量，建立只含2個自變量的回歸方程；3步：2個自變量的回歸方程中是否有變量剔除；…..每引入1個與剔除1個自變量均作假設檢驗,以保證引入新自變量前與引入新變量后,方程中均只含有具有統(tǒng)計學意義的自變量，直到無法剔除方程中的自變量，也無法引入方程外的自變量。25醫(yī)療統(tǒng)計學多元逐步回歸二零一八2/3/2025回歸系數(shù)反常及其原因反?，F(xiàn)象與專業(yè)上能接受的值相差很大。甚至符號相反方程有統(tǒng)計學意義，但每個變量均無統(tǒng)計學意義專業(yè)上認為很重要，但未選入方程反?？赡茉螂x群值或異常數(shù)據(jù)自變量觀察范圍太窄或方差太小樣本量不足或自變量太多共線性26醫(yī)療統(tǒng)計學多元逐步回歸二零一八2/3/2025實例研究