多層線性模型簡介兩水平模型

關(guān)于多層線性模型簡介兩水平模型第1頁，講稿共76頁，2023年5月2日，星期三主要內(nèi)容為什么要用多層線性模型?回歸分析模型回顧多層（多水平）數(shù)據(jù)特點(diǎn)什么是多層線性模型？HLM發(fā)展HLM數(shù)學(xué)模型HLM常見簡化模型兩水平模型應(yīng)用舉例應(yīng)該注意的問題第2頁，講稿共76頁，2023年5月2日，星期三回歸分析模型第3頁，講稿共76頁，2023年5月2日，星期三回歸分析模型的假設(shè)線性（Linearity）誤差正態(tài)分布（normallydistributed）誤差方差齊性（homoskedastic）誤差或觀測個(gè)體之間相互獨(dú)立（independent）第4頁，講稿共76頁，2023年5月2日，星期三什么是多層（多水平）數(shù)據(jù)?多層（多水平）數(shù)據(jù)指的是觀測數(shù)據(jù)在單位上具有嵌套的關(guān)系。如學(xué)生嵌套于班級，班級嵌套于學(xué)校等。同一單位內(nèi)的觀測，具有更大的相似性。同一個(gè)班級的學(xué)生由于受相同的班級環(huán)境等因素的影響有更大的相似性。第5頁，講稿共76頁，2023年5月2日，星期三嵌套于背景（contextual）特征

的多層數(shù)據(jù)舉例學(xué)生水平特征的觀測，嵌套于班級或?qū)W校兄弟姊妹特征的觀測，嵌套于家庭個(gè)體之間的觀測嵌套于社區(qū)個(gè)體不同時(shí)間點(diǎn)的重復(fù)測量嵌套于個(gè)體病人嵌套于醫(yī)院參數(shù)的估計(jì)嵌套于不同的研究(元分析，meta-analysis)第6頁，講稿共76頁，2023年5月2日，星期三對多層數(shù)據(jù)，我們了解什么...隨機(jī)選取兩個(gè)觀測，同一組內(nèi)的觀測之間的相似性要比不同組觀測之間的相似性大；如果回歸模型不能解釋所有的組間的差異（事實(shí)上傳統(tǒng)回歸不可能做到這一點(diǎn)）,那么同一組內(nèi)的觀測之間的誤差可能相關(guān)；這就違背了傳統(tǒng)回歸（OLS）中關(guān)于殘差相互獨(dú)立的假設(shè)；至少，傳統(tǒng)回歸分析得到的標(biāo)準(zhǔn)誤的估計(jì)不正確（太?。?。

第7頁，講稿共76頁，2023年5月2日，星期三HLM數(shù)據(jù)特點(diǎn)對于嵌套數(shù)據(jù)，傳統(tǒng)回歸模型的做法：（1）個(gè)體（如學(xué)生）水平上分析問題：同一班級的學(xué)生間相互獨(dú)立的假設(shè)是不合理的，同樣對不同班級的學(xué)生和相同班級的學(xué)生作同一假設(shè)也是不合理的。（2）組（如學(xué)校）水平上分析問題：丟失了班級內(nèi)學(xué)生個(gè)體間的差異的信息。第8頁，講稿共76頁，2023年5月2日，星期三HLM數(shù)據(jù)特點(diǎn)對于嵌套數(shù)據(jù)，傳統(tǒng)回歸分析的假設(shè)往往無法滿足。傳統(tǒng)的線性回歸模型假設(shè)變量間存在直線關(guān)系，因變量總體上服從正態(tài)分布，方差齊性，個(gè)體間相互獨(dú)立。前兩個(gè)假設(shè)較易保證，但方差齊性，尤其是個(gè)體間相互獨(dú)立的假設(shè)卻很難滿足。第9頁，講稿共76頁，2023年5月2日，星期三獨(dú)立性不滿足帶來的問題傳統(tǒng)回歸系數(shù)估計(jì)的標(biāo)準(zhǔn)誤依賴于相互獨(dú)立的假設(shè)；如果獨(dú)立性的假設(shè)不滿足，得到的標(biāo)準(zhǔn)誤的估計(jì)往往偏小，因此所犯第一類錯(cuò)誤的概率往往偏大。第10頁，講稿共76頁，2023年5月2日，星期三表1當(dāng)組內(nèi)相關(guān)存在時(shí)，第一類錯(cuò)誤限定為0.05時(shí)，實(shí)際所犯第一類錯(cuò)誤的概率第11頁，講稿共76頁，2023年5月2日，星期三HLM數(shù)學(xué)模型例如：對73個(gè)學(xué)校1905名學(xué)生進(jìn)行調(diào)查，目的是考慮其剛上高中時(shí)的入學(xué)成績與三年后高考成績之間的關(guān)系?？紤]方法：（1）如果用傳統(tǒng)的線性回歸分析，直接在學(xué)生水平上進(jìn)行分析，得出入學(xué)學(xué)業(yè)成績對高考成績之間的一條回歸直線，如下圖1所示，從圖1的結(jié)果可以看出，傳統(tǒng)回歸分析沒有區(qū)分不同的學(xué)校之間的差異。第12頁，講稿共76頁，2023年5月2日，星期三圖1：不考慮學(xué)校之間差異的回歸直線

第13頁，講稿共76頁，2023年5月2日，星期三HLM數(shù)學(xué)模型（2）如果將數(shù)據(jù)進(jìn)行簡單合并，用每個(gè)學(xué)校學(xué)生的平均成績代替這個(gè)學(xué)校的成績，直接在學(xué)校水平上估計(jì)入學(xué)成績對高考成績的影響，得到一條回歸直線，如圖2所示，這種方法忽略了不同學(xué)生之間的差異；第14頁，講稿共76頁，2023年5月2日，星期三圖2：只考慮學(xué)校差異忽略學(xué)生差異回歸直線

第15頁，講稿共76頁，2023年5月2日，星期三HLM數(shù)學(xué)模型（3）如果假設(shè)不同學(xué)校入學(xué)成績對高考成績的回歸直線截距不同，斜率相同（平均學(xué)習(xí)成績之間存在差異），得到如圖3的結(jié)果，從圖中結(jié)果可以看出，不同學(xué)校學(xué)生平均高考成績之間存在差異。第16頁，講稿共76頁，2023年5月2日，星期三圖3：考慮不同學(xué)校平均成績差異的回歸直線第17頁，講稿共76頁，2023年5月2日，星期三HLM數(shù)學(xué)模型（4）對73所學(xué)校分別做回歸分析，得到如圖4的結(jié)果，如圖4所示，從圖中結(jié)果可以看出，不同學(xué)?；貧w直線的截距和斜率均不同，即：不同學(xué)校學(xué)生平均高考成績之間存在差異，入學(xué)學(xué)業(yè)成績對高考成績的影響強(qiáng)度不同。第18頁，講稿共76頁，2023年5月2日，星期三圖4：考慮不同學(xué)校平均成績差異和入學(xué)對畢業(yè)成績影響程度差異的回歸直線第19頁，講稿共76頁，2023年5月2日，星期三回歸模型中，如何解決殘差相關(guān)的問題?希望定義一個(gè)模型，可以明確地允許因變量水平在組內(nèi)和組間存在差異例如，允許學(xué)生的學(xué)業(yè)成績存在學(xué)校之間的差異第20頁，講稿共76頁，2023年5月2日，星期三告別OLS:一個(gè)簡單的多層線性模型將重寫為:第21頁，講稿共76頁，2023年5月2日，星期三一個(gè)簡單的多層線性模型第22頁，講稿共76頁，2023年5月2日，星期三一個(gè)簡單的多層線性模型Outcomeforobservationiinunitj第23頁，講稿共76頁，2023年5月2日，星期三一個(gè)簡單的多層線性模型OutcomeforobservationiinunitjIntercept第24頁，講稿共76頁，2023年5月2日，星期三一個(gè)簡單的多層線性模型OutcomeforobservationiinunitjInterceptCoefficientValueofXforobservationiinunitj

第25頁，講稿共76頁，2023年5月2日，星期三一個(gè)簡單的多層線性模型OutcomeforobservationiinunitjInterceptCoefficientValueofXforobservationiinunitj

Residualtermspecifictounitj

第26頁，講稿共76頁，2023年5月2日，星期三一個(gè)簡單的多層線性模型OutcomeforobservationiinunitjInterceptCoefficientValueofXforobservationiinunitj

Residualtermspecifictounitj

Residualtermspecifictoobservationiinunitj第27頁，講稿共76頁，2023年5月2日，星期三一個(gè)簡單的多層線性模型OutcomeforobservationiinunitjInterceptCoefficientValueofXforobservationiinunitj

Residualtermspecifictounitj

Residualtermspecifictoobservationiinunitj第28頁，講稿共76頁，2023年5月2日，星期三

uj表示什么?殘差項(xiàng)定義第

j組（第二水平）對于第

j組的所有觀測都相同只有下標(biāo)

j,沒有下標(biāo)

i解釋:總截距和第

j組的截距之間的差異第29頁，講稿共76頁，2023年5月2日，星期三

rij表示什么?殘差項(xiàng)定義第j組第i個(gè)觀測

均值為0第30頁，講稿共76頁，2023年5月2日，星期三模型的特征注意到: ij=uj+rij我們有:Var(ij) =Var(uj+rij) =Var(uj)

+Var(rij)+2*Cov(uj,rij) =Var(uj)

+Var(rij)第31頁，講稿共76頁，2023年5月2日，星期三模型的特征

Yij

的值可能存在第二水平（組間）的差異對于

uj和rij沒有定義其分布.

X

和

Y

之間的關(guān)系不依賴于

j(1

不依賴于

j)第32頁，講稿共76頁，2023年5月2日，星期三模型的另一種表達(dá)這里第33頁，講稿共76頁，2023年5月2日，星期三多層線性模型水平1（如：學(xué)生）

水平2（如：學(xué)校）

jju0000+=gbYij---第j個(gè)學(xué)校的第i個(gè)學(xué)生jju1101+=gb第34頁，講稿共76頁，2023年5月2日，星期三何謂多層線性模型?多層線性模型又稱為：

多水平分析（MultilevelAnalysis）混合模型（MixedModels）隨機(jī)系數(shù)模型（RandomCoefficientModels）第35頁，講稿共76頁，2023年5月2日，星期三HLM的發(fā)展快速發(fā)展與應(yīng)用

HLM（Bryk，Randenbush，Seltzer＆Congdon，1988）；Mlwin（Rabash，Prosser＆Goldstein，1989）；VARCL（Longford，1988）；MPLUS（Muthen，1992）;SAS,SPSS第36頁，講稿共76頁，2023年5月2日，星期三多層線性模型回歸模型的一種常用來回答背景變量（如班級環(huán)境等）與個(gè)體變量（如學(xué)生特征）之間的關(guān)系常用來估計(jì)組內(nèi)（如班級內(nèi)）和組間（如班級間）變量間的關(guān)系

以及跨水平的交互作用。例如,學(xué)校組織氣氛對學(xué)生學(xué)業(yè)成績的影響；學(xué)校組織氣氛與學(xué)生社會經(jīng)濟(jì)地位的交互作用。

第37頁，講稿共76頁，2023年5月2日，星期三多層線性模型簡介多層線性模型－－一種處理嵌套數(shù)據(jù)的統(tǒng)計(jì)方法。通過定義不同水平（層）的模型，將隨機(jī)變異分解為兩個(gè)部分，其一是第一水平個(gè)體間差異帶來的誤差，另一個(gè)是第二水平班級的差異帶來的誤差。可以假設(shè)第一水平個(gè)體間的測量誤差相互獨(dú)立，第二水平班級帶來的誤差在不同班級之間相互獨(dú)立。多水平分析法同時(shí)考慮到不同水平的變異。第38頁，講稿共76頁，2023年5月2日，星期三多層線性模型多層分析方法提供了解決嵌套數(shù)據(jù)關(guān)系的合理的正確的統(tǒng)計(jì)方法。下面結(jié)合上面提到的例子，介紹兩水平模型的一般數(shù)學(xué)表示：第39頁，講稿共76頁，2023年5月2日，星期三多層線性模型水平1（如：學(xué)生）

水平2（如：學(xué)校）

jjjuW001000++=ggbYij---第j個(gè)學(xué)校的第i個(gè)學(xué)生第40頁，講稿共76頁，2023年5月2日，星期三多層線性模型合并模型：其中：yij表示因變量（如三年后的高考成績），xij表示第一水平（學(xué)生）的預(yù)測變量，Wj表示第二水平（學(xué)校）的預(yù)測變量。

第41頁，講稿共76頁，2023年5月2日，星期三多層線性模型模型的假設(shè)條件為：

第42頁，講稿共76頁，2023年5月2日，星期三多層線性模型截距與斜率之間的相關(guān)系數(shù)：截距與斜率之間的相關(guān)系數(shù)大小表示了不同學(xué)校平均高考成績與入學(xué)成績對高考成績影響強(qiáng)度之間的關(guān)系，如果相關(guān)系數(shù)大于零，表示平均成績越高，入學(xué)成績對期末成績的影響越大。

第43頁，講稿共76頁，2023年5月2日，星期三HLM常用模型類型隨機(jī)效應(yīng)一元方差分析模型（one-wayAnovawithRandomEffect）

第一水平：第二水平：合并模型：ijojijeuY++=00g第44頁，講稿共76頁，2023年5月2日，星期三HLM常用模型類型無條件模型：模型中沒任何預(yù)測變量的多層分析模型；模型表示與隨機(jī)效應(yīng)的方差分析模型相同。在無條件模型中：

上式的相關(guān)系數(shù)描述了水平2單位內(nèi)個(gè)體之間的相關(guān)（intralevel2-unitcorrelation），它測量了學(xué)校之間方差占總方差的比例，或者說在總的變異中由水平二解釋的方差的比例。

第45頁，講稿共76頁，2023年5月2日，星期三HLM常用模型類型隨機(jī)效應(yīng)單因素協(xié)方差分析（One-wayANCOVAwithRandomEffects）

水平1：水平2：

第46頁，講稿共76頁，2023年5月2日，星期三HLM常用模型類型一般的線性回歸模型

第一水平：第二水平：第47頁，講稿共76頁，2023年5月2日，星期三HLM常用模型類型隨機(jī)系數(shù)回歸模型（Random-CoefficientsRegressionModel）

第一水平：第二水平：第48頁，講稿共76頁，2023年5月2日，星期三HLM應(yīng)用舉例hsb1.sav和hsb2.sav在水平一的數(shù)據(jù)文件hsb1.sav中，有7185個(gè)觀測樣本和四個(gè)第一水平的變量（不包含第二水平指標(biāo)變量：學(xué)校編號ID），這四個(gè)變量所表示的含義如下：minority，學(xué)生的種族（1=少數(shù)民族，0=其他）female：學(xué)生性別（1=女，0=男）ses：學(xué)生的社經(jīng)地位，由學(xué)生父母受教育程度、職業(yè)和收入合成，變量已被標(biāo)準(zhǔn)化mathach：學(xué)生的數(shù)學(xué)學(xué)業(yè)成績第49頁，講稿共76頁，2023年5月2日，星期三HLM應(yīng)用舉例數(shù)據(jù)文件hsb2.sav中包含有160個(gè)學(xué)校，每個(gè)學(xué)校測量了六個(gè)學(xué)校水平的變量（不包含學(xué)校指標(biāo)變量ID）?！ize：學(xué)校招生人數(shù)·sector：學(xué)校類型（1=天主教教會學(xué)校，0=公立學(xué)校）·pracad：從事學(xué)術(shù)研究的學(xué)生的比例·disclim：學(xué)校紀(jì)律環(huán)境，由量表測量得到·himnty：學(xué)校招生少數(shù)民族學(xué)生比例描述（1=超過40%少數(shù)民族學(xué)生，0=其他）·meanses：包含在水平1數(shù)據(jù)中，每個(gè)學(xué)校學(xué)生的平均社經(jīng)地位

第50頁，講稿共76頁，2023年5月2日，星期三HLM應(yīng)用舉例目的：分析影響學(xué)生數(shù)學(xué)成績的學(xué)生水平變量和學(xué)校水平變量第51頁，講稿共76頁，2023年5月2日，星期三個(gè)體水平模型Yij=0j+1jX1ij+2jX2ij+…+KjXKij+rij第j組第

I個(gè)個(gè)體因變量的觀測值第j個(gè)組的截距第j組

X1

對應(yīng)的斜率第j組

X2

對應(yīng)的斜率第j組

XK

對應(yīng)的斜率第52頁，講稿共76頁，2023年5月2日，星期三背景（Contextual）模型

Yij=0j+1jX1ij+2jX2ij+…+KjXKij+rij0j=00

1j=10

2j=20

…Kj=K0在傳統(tǒng)回歸（OLS）模型中,截距和斜率都是固定的，即對不同的第二水平單元均相同第53頁，講稿共76頁，2023年5月2日，星期三背景（Contextual）影響問題第二水平不同單元（如不同學(xué)校），截距是否相同?能否用第二水平的協(xié)變量預(yù)測截距之間的差異?斜率是否存在第二水平的變異?能否用第二水平的預(yù)測變量解釋斜率之間的差異?第54頁，講稿共76頁，2023年5月2日，星期三截距是否存在第二水平的變異?

Yij=0j+1jX1ij+2jX2ij+…+KjXKij+rij0j=00

+u0j1j=10

2j=20

…Kj=K0Intherandomeffectsmodel,theinterceptvariesaroundsomegrandmeanintercept(00),andtheslopesarefixed–theyarethesameinallunitsTestH0:Var(u0j)=0第55頁，講稿共76頁，2023年5月2日，星期三可否用第二水平的預(yù)測變量解釋截距之間的差異?Yij=0j+1jX1ij+2jX2ij+…+KjXKij+rij0j=00

+01Z1+02Z2+…+0MZM+u0j

1j=10

2j=20

…Kj=K0Here,theZm’spredicttheintercept.TestH0:

0m=0第56頁，講稿共76頁，2023年5月2日，星期三斜率是否存在第二水平的變異?Yij=0j+1jX1ij+2jX2ij+…+KjXKij+rij0j=00+u0j1j=10

+u1j2j=20

+u2j…Kj=K0+uKjTheinterceptandeachoftheslopesvariesaroundtheirgrandmeans(thek0’s)TestH0:Var(ukj)=0第57頁，講稿共76頁，2023年5月2日，星期三能否用第二水平的預(yù)測變量解釋斜率間的差異?Yij=0j+1jX1ij+2jX2ij+…+KjXKij+rij0j=00+01Z1+02Z2+…+0MZM+u0j1j=10

+11Z1+12Z2+…+1MZM+u1j2j=20

+21Z1+22Z2+…+2MZM+u2j…Kj=K0

+K1Z1+K2Z2+…+KMZM+uKjHere,theZm’spredicttheslopes.TestH0:

km=0第58頁，講稿共76頁，2023年5月2日，星期三無條件模型第59頁，講稿共76頁，2023年5月2日，星期三無條件模型參數(shù)估計(jì)結(jié)果Finalestimationofvariancecomponents:-----------------------------------------------------------------------------RandomEffectStandardVariancedfChi-squareP-valueDeviationComponent-----------------------------------------------------------------------------INTRCPT1,2.935018.614311591660.232590.000level-1,R6.2568639.14831-----------------------------------------------------------------------------第60頁，講稿共76頁，2023年5月2日，星期三含有第一水平預(yù)測變量的HLM模型（隨機(jī)系數(shù)模型）第61頁，講稿共76頁，2023年5月2日，星期三隨機(jī)系數(shù)模型參數(shù)估計(jì)結(jié)果Finalestimationoffixedeffects(withrobuststandarderrors)----------------------------------------------------------------------------StandardApprox.FixedEffectCoefficientErrorT-ratiod.f.P-value----------------------------------------------------------------------------ForINTRCPT1,B0INTRCPT2,G0012.6649350.18925166.9211590.000ForSESslope,B1INTRCPT2,G102.3938780.11769720.3391590.000----------------------------------------------------------------------------第62頁，講稿共76頁，2023年5月2日，星期三Finalestimationofvariancecomponents:-----------------------------------------------------------------------------RandomEffectStandardVariancedfChi-squareP-valueDeviationComponent-----------------------------------------------------------------------------INTRCPT1,U02.197684.82978159905.264720.000SESslope,U10.646750.41828159216.211780.002level-1,R6.0686436.82835-----------------------------------------------------------------------------第63頁，講稿共76頁，2023年5月2日，星期三含有第二水平預(yù)測變量的模型第64頁，講稿共76頁，2023年5月2日，星期三TheoutcomevariableisMATHACHFinalestimationoffixedeffects(withrobuststandarderrors)----------------------------------------------------------------------------StandardApprox.FixedEffectCoefficientErrorT-ratiod.f.P-value----------------------------------------------------------------------------ForINTRCPT1,B0INTRCPT2,G0012.6584100.17326373.0591580.000DISCLIM,G01-1.1285190.160735-7.0211580.000ForSESslope,B1INTRCPT2,G102.4092880.11219421.4741580.000DISCLIM,G110.5706150.1239064.6051580.000----------------------------------------------------------------------------第65頁，講稿共76頁，2023年5月2日，星期三Finalestimationofvariancecomponents