多層線性模型簡介兩水平模型

關(guān)于多層線性模型簡介兩水平模型主要內(nèi)容為什么要用多層線性模型?回歸分析模型回顧多層（多水平）數(shù)據(jù)特點(diǎn)什么是多層線性模型？HLM發(fā)展HLM數(shù)學(xué)模型HLM常見簡化模型兩水平模型應(yīng)用舉例應(yīng)該注意的問題第2頁,共76頁，2024年2月25日，星期天回歸分析模型第3頁,共76頁，2024年2月25日，星期天回歸分析模型的假設(shè)線性（Linearity）誤差正態(tài)分布（normallydistributed）誤差方差齊性（homoskedastic）誤差或觀測個體之間相互獨(dú)立（independent）第4頁,共76頁，2024年2月25日，星期天什么是多層（多水平）數(shù)據(jù)?多層（多水平）數(shù)據(jù)指的是觀測數(shù)據(jù)在單位上具有嵌套的關(guān)系。如學(xué)生嵌套于班級，班級嵌套于學(xué)校等。同一單位內(nèi)的觀測，具有更大的相似性。同一個班級的學(xué)生由于受相同的班級環(huán)境等因素的影響有更大的相似性。第5頁,共76頁，2024年2月25日，星期天嵌套于背景（contextual）特征

的多層數(shù)據(jù)舉例學(xué)生水平特征的觀測，嵌套于班級或?qū)W校兄弟姊妹特征的觀測，嵌套于家庭個體之間的觀測嵌套于社區(qū)個體不同時間點(diǎn)的重復(fù)測量嵌套于個體病人嵌套于醫(yī)院參數(shù)的估計嵌套于不同的研究(元分析，meta-analysis)第6頁,共76頁，2024年2月25日，星期天對多層數(shù)據(jù)，我們了解什么...隨機(jī)選取兩個觀測，同一組內(nèi)的觀測之間的相似性要比不同組觀測之間的相似性大；如果回歸模型不能解釋所有的組間的差異（事實(shí)上傳統(tǒng)回歸不可能做到這一點(diǎn)）,那么同一組內(nèi)的觀測之間的誤差可能相關(guān)；這就違背了傳統(tǒng)回歸（OLS）中關(guān)于殘差相互獨(dú)立的假設(shè)；至少，傳統(tǒng)回歸分析得到的標(biāo)準(zhǔn)誤的估計不正確（太小）。

第7頁,共76頁，2024年2月25日，星期天HLM數(shù)據(jù)特點(diǎn)對于嵌套數(shù)據(jù)，傳統(tǒng)回歸模型的做法：（1）個體（如學(xué)生）水平上分析問題：同一班級的學(xué)生間相互獨(dú)立的假設(shè)是不合理的，同樣對不同班級的學(xué)生和相同班級的學(xué)生作同一假設(shè)也是不合理的。（2）組（如學(xué)校）水平上分析問題：丟失了班級內(nèi)學(xué)生個體間的差異的信息。第8頁,共76頁，2024年2月25日，星期天HLM數(shù)據(jù)特點(diǎn)對于嵌套數(shù)據(jù)，傳統(tǒng)回歸分析的假設(shè)往往無法滿足。傳統(tǒng)的線性回歸模型假設(shè)變量間存在直線關(guān)系，因變量總體上服從正態(tài)分布，方差齊性，個體間相互獨(dú)立。前兩個假設(shè)較易保證，但方差齊性，尤其是個體間相互獨(dú)立的假設(shè)卻很難滿足。第9頁,共76頁，2024年2月25日，星期天獨(dú)立性不滿足帶來的問題傳統(tǒng)回歸系數(shù)估計的標(biāo)準(zhǔn)誤依賴于相互獨(dú)立的假設(shè)；如果獨(dú)立性的假設(shè)不滿足，得到的標(biāo)準(zhǔn)誤的估計往往偏小，因此所犯第一類錯誤的概率往往偏大。第10頁,共76頁，2024年2月25日，星期天表1當(dāng)組內(nèi)相關(guān)存在時，第一類錯誤限定為0.05時，實(shí)際所犯第一類錯誤的概率第11頁,共76頁，2024年2月25日，星期天HLM數(shù)學(xué)模型例如：對73個學(xué)校1905名學(xué)生進(jìn)行調(diào)查，目的是考慮其剛上高中時的入學(xué)成績與三年后高考成績之間的關(guān)系?？紤]方法：（1）如果用傳統(tǒng)的線性回歸分析，直接在學(xué)生水平上進(jìn)行分析，得出入學(xué)學(xué)業(yè)成績對高考成績之間的一條回歸直線，如下圖1所示，從圖1的結(jié)果可以看出，傳統(tǒng)回歸分析沒有區(qū)分不同的學(xué)校之間的差異。第12頁,共76頁，2024年2月25日，星期天圖1：不考慮學(xué)校之間差異的回歸直線

第13頁,共76頁，2024年2月25日，星期天HLM數(shù)學(xué)模型（2）如果將數(shù)據(jù)進(jìn)行簡單合并，用每個學(xué)校學(xué)生的平均成績代替這個學(xué)校的成績，直接在學(xué)校水平上估計入學(xué)成績對高考成績的影響，得到一條回歸直線，如圖2所示，這種方法忽略了不同學(xué)生之間的差異；第14頁,共76頁，2024年2月25日，星期天圖2：只考慮學(xué)校差異忽略學(xué)生差異回歸直線

第15頁,共76頁，2024年2月25日，星期天HLM數(shù)學(xué)模型（3）如果假設(shè)不同學(xué)校入學(xué)成績對高考成績的回歸直線截距不同，斜率相同（平均學(xué)習(xí)成績之間存在差異），得到如圖3的結(jié)果，從圖中結(jié)果可以看出，不同學(xué)校學(xué)生平均高考成績之間存在差異。第16頁,共76頁，2024年2月25日，星期天圖3：考慮不同學(xué)校平均成績差異的回歸直線第17頁,共76頁，2024年2月25日，星期天HLM數(shù)學(xué)模型（4）對73所學(xué)校分別做回歸分析，得到如圖4的結(jié)果，如圖4所示，從圖中結(jié)果可以看出，不同學(xué)?；貧w直線的截距和斜率均不同，即：不同學(xué)校學(xué)生平均高考成績之間存在差異，入學(xué)學(xué)業(yè)成績對高考成績的影響強(qiáng)度不同。第18頁,共76頁，2024年2月25日，星期天圖4：考慮不同學(xué)校平均成績差異和入學(xué)對畢業(yè)成績影響程度差異的回歸直線第19頁,共76頁，2024年2月25日，星期天回歸模型中，如何解決殘差相關(guān)的問題?希望定義一個模型，可以明確地允許因變量水平在組內(nèi)和組間存在差異例如，允許學(xué)生的學(xué)業(yè)成績存在學(xué)校之間的差異第20頁,共76頁，2024年2月25日，星期天告別OLS:一個簡單的多層線性模型將重寫為:第21頁,共76頁，2024年2月25日，星期天一個簡單的多層線性模型第22頁,共76頁，2024年2月25日，星期天一個簡單的多層線性模型Outcomeforobservationiinunitj第23頁,共76頁，2024年2月25日，星期天一個簡單的多層線性模型OutcomeforobservationiinunitjIntercept第24頁,共76頁，2024年2月25日，星期天一個簡單的多層線性模型OutcomeforobservationiinunitjInterceptCoefficientValueofXforobservationiinunitj

第25頁,共76頁，2024年2月25日，星期天一個簡單的多層線性模型OutcomeforobservationiinunitjInterceptCoefficientValueofXforobservationiinunitj

Residualtermspecifictounitj

第26頁,共76頁，2024年2月25日，星期天一個簡單的多層線性模型OutcomeforobservationiinunitjInterceptCoefficientValueofXforobservationiinunitj

Residualtermspecifictounitj

Residualtermspecifictoobservationiinunitj第27頁,共76頁，2024年2月25日，星期天一個簡單的多層線性模型OutcomeforobservationiinunitjInterceptCoefficientValueofXforobservationiinunitj

Residualtermspecifictounitj

Residualtermspecifictoobservationiinunitj第28頁,共76頁，2024年2月25日，星期天

uj表示什么?殘差項定義第

j組（第二水平）對于第

j組的所有觀測都相同只有下標(biāo)

j,沒有下標(biāo)

i解釋:總截距和第

j組的截距之間的差異第29頁,共76頁，2024年2月25日，星期天

rij表示什么?殘差項定義第j組第i個觀測

均值為0第30頁,共76頁，2024年2月25日，星期天模型的特征注意到:

ij=uj+rij我們有:Var(

ij) =Var(uj+rij) =Var(uj)

+Var(rij)+2*Cov(uj,rij) =Var(uj)

+Var(rij)第31頁,共76頁，2024年2月25日，星期天模型的特征

Yij

的值可能存在第二水平（組間）的差異對于

uj和rij沒有定義其分布.

X

和

Y

之間的關(guān)系不依賴于

j(

1

不依賴于

j)第32頁,共76頁，2024年2月25日，星期天模型的另一種表達(dá)這里第33頁,共76頁，2024年2月25日，星期天多層線性模型水平1（如：學(xué)生）

水平2（如：學(xué)校）

jju0000+=gbYij---第j個學(xué)校的第i個學(xué)生jju1101+=gb第34頁,共76頁，2024年2月25日，星期天何謂多層線性模型?多層線性模型又稱為：

多水平分析（MultilevelAnalysis）混合模型（MixedModels）隨機(jī)系數(shù)模型（RandomCoefficientModels）第35頁,共76頁，2024年2月25日，星期天HLM的發(fā)展快速發(fā)展與應(yīng)用

HLM（Bryk，Randenbush，Seltzer＆Congdon，1988）；Mlwin（Rabash，Prosser＆Goldstein，1989）；VARCL（Longford，1988）；MPLUS（Muthen，1992）;SAS,SPSS第36頁,共76頁，2024年2月25日，星期天多層線性模型回歸模型的一種常用來回答背景變量（如班級環(huán)境等）與個體變量（如學(xué)生特征）之間的關(guān)系常用來估計組內(nèi)（如班級內(nèi)）和組間（如班級間）變量間的關(guān)系

以及跨水平的交互作用。例如,學(xué)校組織氣氛對學(xué)生學(xué)業(yè)成績的影響；學(xué)校組織氣氛與學(xué)生社會經(jīng)濟(jì)地位的交互作用。

第37頁,共76頁，2024年2月25日，星期天多層線性模型簡介多層線性模型－－一種處理嵌套數(shù)據(jù)的統(tǒng)計方法。通過定義不同水平（層）的模型，將隨機(jī)變異分解為兩個部分，其一是第一水平個體間差異帶來的誤差，另一個是第二水平班級的差異帶來的誤差?？梢约僭O(shè)第一水平個體間的測量誤差相互獨(dú)立，第二水平班級帶來的誤差在不同班級之間相互獨(dú)立。多水平分析法同時考慮到不同水平的變異。第38頁,共76頁，2024年2月25日，星期天多層線性模型多層分析方法提供了解決嵌套數(shù)據(jù)關(guān)系的合理的正確的統(tǒng)計方法。下面結(jié)合上面提到的例子，介紹兩水平模型的一般數(shù)學(xué)表示：第39頁,共76頁，2024年2月25日，星期天多層線性模型水平1（如：學(xué)生）

水平2（如：學(xué)校）

jjjuW001000++=ggbYij---第j個學(xué)校的第i個學(xué)生第40頁,共76頁，2024年2月25日，星期天多層線性模型合并模型：其中：yij表示因變量（如三年后的高考成績），xij表示第一水平（學(xué)生）的預(yù)測變量，Wj表示第二水平（學(xué)校）的預(yù)測變量。

第41頁,共76頁，2024年2月25日，星期天多層線性模型模型的假設(shè)條件為：

第42頁,共76頁，2024年2月25日，星期天多層線性模型截距與斜率之間的相關(guān)系數(shù)：截距與斜率之間的相關(guān)系數(shù)大小表示了不同學(xué)校平均高考成績與入學(xué)成績對高考成績影響強(qiáng)度之間的關(guān)系，如果相關(guān)系數(shù)大于零，表示平均成績越高，入學(xué)成績對期末成績的影響越大。

第43頁,共76頁，2024年2月25日，星期天HLM常用模型類型隨機(jī)效應(yīng)一元方差分析模型（one-wayAnovawithRandomEffect）

第一水平：第二水平：合并模型：ijojijeuY++=00g第44頁,共76頁，2024年2月25日，星期天HLM常用模型類型無條件模型：模型中沒任何預(yù)測變量的多層分析模型；模型表示與隨機(jī)效應(yīng)的方差分析模型相同。在無條件模型中：

上式的相關(guān)系數(shù)描述了水平2單位內(nèi)個體之間的相關(guān)（intralevel2-unitcorrelation），它測量了學(xué)校之間方差占總方差的比例，或者說在總的變異中由水平二解釋的方差的比例。

第45頁,共76頁，2024年2月25日，星期天HLM常用模型類型隨機(jī)效應(yīng)單因素協(xié)方差分析（One-wayANCOVAwithRandomEffects）

水平1：水平2：

第46頁,共76頁，2024年2月25日，星期天HLM常用模型類型一般的線性回歸模型

第一水平：第二水平：第47頁,共76頁，2024年2月25日，星期天HLM常用模型類型隨機(jī)系數(shù)回歸模型（Random-CoefficientsRegressionModel）

第一水平：第二水平：第48頁,共76頁，2024年2月25日，星期天HLM應(yīng)用舉例hsb1.sav和hsb2.sav在水平一的數(shù)據(jù)文件hsb1.sav中，有7185個觀測樣本和四個第一水平的變量（不包含第二水平指標(biāo)變量：學(xué)校編號ID），這四個變量所表示的含義如下：minority，學(xué)生的種族（1=少數(shù)民族，0=其他）female：學(xué)生性別（1=女，0=男）ses：學(xué)生的社經(jīng)地位，由學(xué)生父母受教育程度、職業(yè)和收入合成，變量已被標(biāo)準(zhǔn)化mathach：學(xué)生的數(shù)學(xué)學(xué)業(yè)成績第49頁,共76頁，2024年2月25日，星期天HLM應(yīng)用舉例數(shù)據(jù)文件hsb2.sav中包含有160個學(xué)校，每個學(xué)校測量了六個學(xué)校水平的變量（不包含學(xué)校指標(biāo)變量ID）。·size：學(xué)校招生人數(shù)·sector：學(xué)校類型（1=天主教教會學(xué)校，0=公立學(xué)校）·pracad：從事學(xué)術(shù)研究的學(xué)生的比例·disclim：學(xué)校紀(jì)律環(huán)境，由量表測量得到·himnty：學(xué)校招生少數(shù)民族學(xué)生比例描述（1=超過40%少數(shù)民族學(xué)生，0=其他）·meanses：包含在水平1數(shù)據(jù)中，每個學(xué)校學(xué)生的平均社經(jīng)地位

第50頁,共76頁，2024年2月25日，星期天HLM應(yīng)用舉例目的：分析影響學(xué)生數(shù)學(xué)成績的學(xué)生水平變量和學(xué)校水平變量第51頁,共76頁，2024年2月25日，星期天個體水平模型Yij=

0j+

1jX1ij+

2jX2ij+…+

KjXKij+rij第j組第

I個個體因變量的觀測值第j個組的截距第j組

X1

對應(yīng)的斜率第j組

X2

對應(yīng)的斜率第j組

XK

對應(yīng)的斜率第52頁,共76頁，2024年2月25日，星期天背景（Contextual）模型

Yij=

0j+

1jX1ij+

2jX2ij+…+

KjXKij+rij

0j=

00

1j=

10

2j=

20

…

Kj=

K0在傳統(tǒng)回歸（OLS）模型中,截距和斜率都是固定的，即對不同的第二水平單元均相同第53頁,共76頁，2024年2月25日，星期天背景（Contextual）影響問題第二水平不同單元（如不同學(xué)校），截距是否相同?能否用第二水平的協(xié)變量預(yù)測截距之間的差異?斜率是否存在第二水平的變異?能否用第二水平的預(yù)測變量解釋斜率之間的差異?第54頁,共76頁，2024年2月25日，星期天截距是否存在第二水平的變異?

Yij=

0j+

1jX1ij+

2jX2ij+…+

KjXKij+rij

0j=

00

+u0j

1j=

10

2j=

20

…

Kj=

K0Intherandomeffectsmodel,theinterceptvariesaroundsomegrandmeanintercept(

00),andtheslopesarefixed–theyarethesameinallunitsTestH0:Var(u0j)=0第55頁,共76頁，2024年2月25日，星期天可否用第二水平的預(yù)測變量解釋截距之間的差異?Yij=

0j+

1jX1ij+

2jX2ij+…+

KjXKij+rij

0j=

00

+

01Z1+

02Z2+…+

0MZM+u0j

1j=

10

2j=

20

…

Kj=

K0Here,theZm’spredicttheintercept.TestH0:

0m=0第56頁,共76頁，2024年2月25日，星期天斜率是否存在第二水平的變異?Yij=

0j+

1jX1ij+

2jX2ij+…+

KjXKij+rij

0j=

00+u0j

1j=

10

+u1j

2j=

20

+u2j…

Kj=

K0+uKjTheinterceptandeachoftheslopesvariesaroundtheirgrandmeans(the

k0’s)TestH0:Var(ukj)=0第57頁,共76頁，2024年2月25日，星期天能否用第二水平的預(yù)測變量解釋斜率間的差異?Yij=

0j+

1jX1ij+

2jX2ij+…+

KjXKij+rij

0j=

00+

01Z1+

02Z2+…+

0MZM+u0j

1j=

10

+

11Z1+

12Z2+…+

1MZM+u1j

2j=

20

+

21Z1+

22Z2+…+

2MZM+u2j…

Kj=

K0

+

K1Z1+

K2Z2+…+

KMZM+uKjHere,theZm’spredicttheslopes.TestH0:

km=0第58頁,共76頁，2024年2月25日，星期天無條件模型第59頁,共76頁，2024年2月25日，星期天無條件模型參數(shù)估計結(jié)果Finalestimationofvariancecomponents:-----------------------------------------------------------------------------RandomEffectStandardVariancedfChi-squareP-valueDeviationComponent-----------------------------------------------------------------------------INTRCPT1,2.935018.614311591660.232590.000level-1,R6.2568639.14831-----------------------------------------------------------------------------第60頁,共76頁，2024年2月25日，星期天含有第一水平預(yù)測變量的HLM模型（隨機(jī)系數(shù)模型）第61頁,共76頁，2024年2月25日，星期天隨機(jī)系數(shù)模型參數(shù)估計結(jié)果Finalestimationoffixedeffects(withrobuststandarderrors)----------------------------------------------------------------------------StandardApprox.FixedEffectCoefficientErrorT-ratiod.f.P-value----------------------------------------------------------------------------ForINTRCPT1,B0INTRCPT2,G0012.6649350.18925166.9211590.000ForSESslope,B1INTRCPT2,G102.3938780.11769720.3391590.000----------------------------------------------------------------------------第62頁,共76頁，2024年2月25日，星期天Finalestimationofvariancecomponents:-----------------------------------------------------------------------------RandomEffectStandardVariancedfChi-squareP-valueDeviationComponent-----------------------------------------------------------------------------INTRCPT1,U02.197684.82978159905.264720.000SESslope,U10.646750.41828159216.211780.002level-1,R6.0686436.82835-----------------------------------------------------------------------------第63頁,共76頁，2024年2月25日，星期天含有第二水平預(yù)測變量的模型第64頁,共76頁，2024年2月25日，星期天TheoutcomevariableisMATHACHFinalestimationoffixedeffects(withrobuststandarderrors)----------------------------------------------------------------------------StandardApprox.FixedEffectCoefficientErrorT-ratiod.f.P-value----------------------------------------------------------------------------ForINTRCPT1,B0INTRCPT2,G0012.6584100.17326373.0591580.000DISCLIM,G01-1.1285190.160735-7.0211580.000ForSESslope,B1INTRCPT2,G102.4092880.11219421.4741580.000DISCLIM,G110.5706150.1239064.6051580.000----------------------------------------------------------------------------第65頁,共76頁，2024年2月25日，星期天Finalestimationofvariancecomponents:-----------------------------------------------