EM算法理論及其應(yīng)用

1、2009年11月第15卷第4期安慶師范學(xué)院學(xué)報(bào)(自然科學(xué)版Journal of Anqing Teachers College(Natural Science EditionNov.2009楊基棟(華東師范大學(xué)金融與統(tǒng)計(jì)學(xué)院,上海200062摘要:EM算法是一種迭代算法,主要用來計(jì)算后驗(yàn)分布的眾數(shù)或極大似然估計(jì),廣泛地應(yīng)用于缺損數(shù)據(jù)、截尾數(shù)據(jù)、成群數(shù)據(jù)、帶有討厭參數(shù)的數(shù)據(jù)等所謂的不完全數(shù)據(jù)的統(tǒng)計(jì)推斷問題。在介紹EM算法的基礎(chǔ)上,針對(duì)EM算法收斂速度慢的缺陷,具體討論了加速EM算法:EMB算法和MEMB算法;針對(duì)EM算法計(jì)算的局限性,給出了EM算法的推廣:GEM和MCEM算法。最后給出了EM的實(shí)

2、值實(shí)例,結(jié)果精確。關(guān)鍵詞:EM算法;極大似然估計(jì);GEM算法;MCEM算法;EMB算法;MEMB算法中圖分類號(hào):O212.8文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):1007-4260(200904-0030-060引言在統(tǒng)計(jì)領(lǐng)域里,統(tǒng)計(jì)計(jì)算技術(shù)近年來發(fā)展很快,它使許多統(tǒng)計(jì)方法,尤其是Bayes統(tǒng)計(jì)得到廣泛的運(yùn)用。Bayes計(jì)算方法有很多,大體上可分為兩大類:一類是直接應(yīng)用于后驗(yàn)分布以得到后驗(yàn)均值或后驗(yàn)眾數(shù)的估計(jì),以及這種估計(jì)的漸進(jìn)方差或其近似;另一類算法可以總稱為數(shù)據(jù)添加算法,這是近年發(fā)展很快而且應(yīng)用很廣的一種算法,它是在觀測(cè)數(shù)據(jù)的基礎(chǔ)上加一些“潛在數(shù)據(jù)”,從而簡(jiǎn)化計(jì)算并完成一系列簡(jiǎn)單的極大化或模擬,該“潛在

3、數(shù)據(jù)”可以是“缺損數(shù)據(jù)”或未知參數(shù)。其原理可以表述如下:設(shè)我們能觀測(cè)到的數(shù)據(jù)是Y,關(guān)于Y的后驗(yàn)分布p(|Y很復(fù)雜,難以直接進(jìn)行各種統(tǒng)計(jì)計(jì)算,假如我們能假定一些沒有能觀測(cè)到的潛在數(shù)據(jù)Z為已知(譬如,Y為某變量的截尾觀測(cè)值,則Z為該變量的真值,則可能得到一個(gè)關(guān)于的簡(jiǎn)單的添加后驗(yàn)分布p(|Y,Z,利用p(|Y,Z的簡(jiǎn)單性我們可以對(duì)Z的假定作檢查和改進(jìn),如此進(jìn)行,我們就將一個(gè)復(fù)雜的極大化或抽樣問題轉(zhuǎn)變?yōu)橐幌盗泻?jiǎn)單的極大化或抽樣。EM算法就是一種常用的數(shù)據(jù)添加算法。1EM算法及其理論先考慮一個(gè)簡(jiǎn)單情形。設(shè)某元件的失效時(shí)間Y關(guān)于某個(gè)變量x有直線回歸關(guān)系,假設(shè)在一次試驗(yàn)中得到一批觀測(cè)數(shù)據(jù),見右圖,“

4、5;”表示該種元件的失 效時(shí)間對(duì)應(yīng)的值,“”對(duì)應(yīng)元件的(右截尾時(shí)間(比實(shí)際失效時(shí)間要小。如果直線斜率和截距的估計(jì)值已知,則我們可以在真實(shí)數(shù)據(jù)不小于截尾數(shù)據(jù)的前提下,將各個(gè)被截尾的失效時(shí)間估計(jì)出來(譬如,若E(Y|x>Z,則用E(Y|x作為真實(shí)數(shù)據(jù),否則取Z作為真實(shí)數(shù)據(jù),從而得到所謂的“完全數(shù)據(jù)”,由此“完全數(shù)據(jù)”,我們可以對(duì)直線斜率和截距進(jìn)行估計(jì)(如極大似然估計(jì),估計(jì)出新的斜率和截距后,在重新估計(jì)各個(gè)被截尾的失效時(shí)間,得到新的完全數(shù)據(jù),如此重復(fù),我們將一個(gè)復(fù)雜的估計(jì)時(shí)間替換成一系列簡(jiǎn)單的估計(jì)問題。將之一般化,我們可以給出EM算法。EM算法是一種迭代方法,最初由Demp ster等于197

5、7年首次提出,主要用來計(jì)算后驗(yàn)分布的眾數(shù)或極大似然估計(jì)。近十年來引起了統(tǒng)計(jì)學(xué)家們的極大興趣,在統(tǒng)計(jì)領(lǐng)域得到廣泛應(yīng)用。這種方法可以廣3收稿日期:2009-05-21作者簡(jiǎn)介:楊基棟,女,安徽安慶人,華東師范大學(xué)金融與統(tǒng)計(jì)學(xué)院助理工程師。泛的應(yīng)用于缺損數(shù)據(jù),截尾數(shù)據(jù),成群數(shù)據(jù),帶有討厭參數(shù)的數(shù)據(jù)等所謂的不完全數(shù)據(jù)。它的每一次迭代有兩步組成:E 步(求期望和M 步(極大化。一般的,以p (|Y 表示的基于觀測(cè)數(shù)據(jù)的后驗(yàn)分布密度函數(shù),稱為觀測(cè)后驗(yàn)分布,p (|Y ,Z 表示添加數(shù)據(jù)Z 后得到的關(guān)于的后驗(yàn)分布密度函數(shù),稱為添加后驗(yàn)分布,p (Z |,Y 表示在給定和觀測(cè)數(shù)據(jù)Y 下潛在數(shù)據(jù)Z 的條件分布密

6、度函數(shù)。我們的目的是計(jì)算觀測(cè)后驗(yàn)分布p (|Y 的眾數(shù),于是,EM 算法如下進(jìn)行。記(i 為第i +1次迭代開始時(shí)后驗(yàn)眾數(shù)的估計(jì)值,則第i +1次迭代的兩步為E 步:將p (|Y ,Z lo g p (|Y ,Z 后關(guān)于Z 的條件分布求期望,從而把Z 積掉,即Q (|(i ,Y E z lo g p (|Y ,Z |(i ,Y =log p (|Y ,Z p (Z |(i ,Y d Z (1M 步:將Q (|(i ,Y 極大化,即找一個(gè)點(diǎn)(i+1,使Q (i+1|(i ,Y =max Q (|(i ,Y (2如此形成了一次迭代(i (i+1。將上述E 步和M 步進(jìn)行迭代直至(i+1-(i 或Q

7、 (i+1|(i ,Y -Q (i |(i ,Y 充分小時(shí)停止。例1假設(shè)一次試驗(yàn)可能有四個(gè)結(jié)果,其發(fā)生的概率分別為125,18,20,34。此處觀測(cè)數(shù)據(jù)為Y =(y 1,y 2,y 3,y 4=(125,18,20,34,取的先驗(yàn)分布(為(0,1上均勻分布,則的觀測(cè)后驗(yàn)分布為p (|Y (p (Y |=(12+4y 114(1-y 214(1-y 3(4y 4(2+y 1(1-y 2+y 3y 4(3假設(shè)第一種結(jié)果可以分解成兩部分,其發(fā)生概率分別為12和4,令Z 和y 1-Z 分別表示試驗(yàn)中結(jié)果落入這兩部分的次數(shù)(Z 是不能觀測(cè)的潛在數(shù)據(jù),則的添加后驗(yàn)分布為p (|Y ,Z (p (Y ,Z

8、|=(12z (4y 1-z 14(1-y 214(1-y 3(4y 4y 1-z +y 4(1-y 2+y 3(4用(3求的后驗(yàn)眾數(shù)比較麻煩,而用(4求后驗(yàn)眾數(shù)則十分簡(jiǎn)單。在第i +1次迭代中,假設(shè)有估計(jì)值(i ,則可通過E 步和M 步得到一個(gè)新的估計(jì),在E 步中有:Q (|(i ,Y =E z (y 1-Z +y 4log +(y 2+y 3lo g (1-|(i ,Y =y 1-E z (Z |(i ,Y +y 4lo g+(y 2+y 3log (1-因在(i 和Y 給定下,Z b (y 1,2/(i +2,故E z (Z |(i ,Y =2y 1/(i +2在M 步中,我們將Q (|

9、(i ,Y 對(duì)求導(dǎo)并令其為0,有(i+1=y 1+y 4-E z (Z |(i ,Y y 1+y 2+y 3+y 4-E z (Z |(i ,Y =(i y 1+(i +2y 4(i y 1+(i +2(y 2+y 3+y 4=159(i +68197(i +144(5(5式給出了有EM 算法得到的迭代公式。由此公式進(jìn)行迭代,可得到觀測(cè)后驗(yàn)分布的眾數(shù)。由(5式不用迭代也可求出的估計(jì)。事實(shí)上,它是一個(gè)迭代公式,若收斂到=(159+68/(197+144,解之有=0.626821497。2EM 算法的收斂性2.1EM 算法的收斂性定理EM 算法的最大優(yōu)點(diǎn)是簡(jiǎn)單和穩(wěn)定。EM 算法的主要目的是提供一個(gè)

10、簡(jiǎn)單的迭代算法來計(jì)算極大似然估計(jì),人們自然會(huì)問,如此建立的EM 算法是否達(dá)到預(yù)期的要求,就是說,由EM 算法得到的估計(jì)序列是否收斂,如果收斂,其結(jié)果是p (|Y 的最大值或局部最大值。為此我們給出以下兩個(gè)定理。記EM 算法得到的估計(jì)序列為(i ,i =1,2,(|Y =lo g p (|Y 。定理1EM 算法在每一次迭代后均提高(觀測(cè)后驗(yàn)密度函數(shù)值,即p (i+1|Y p (i |Y (6證明由全概率公式p (,Z |Y =p (Z |,Y p (|Y =p (|Y ,Z p (Z |Y 將上式后面兩項(xiàng)取對(duì)數(shù)有l(wèi)o g p (|Y =log p (|Y ,Z -log p (Z |,Y +lo

11、g p (Z |Y (7設(shè)現(xiàn)有估計(jì)(i ,將上式對(duì)Z 關(guān)于p (Z |(i ,Y 求期望,有l(wèi)og p (|Y =lo g p (|Y ,Z -log p (Z |,Y +log p (Z |Y p (Z |(i ,Y d Z Q (|(i ,Y -H (|(i ,Y +K (i ,Y (8其中Q (|(i ,Y 已在(1中定義,H (|(i ,Y =log p (Z |,Y p (Z |(i ,Y d Z ,K (i ,Y =log p (Z |Y p (Z |(i ,Y d Z13第4期楊基棟:EM 算法理論及其應(yīng)用分別在(8中取為(i 和(i+1并相減,有l(wèi)og p (i+1|Y -lo

12、 g p (i |Y =Q (i+1|(i ,Y -Q (i |(i ,Y -H (i+1|(i ,Y -H (i |(i ,Y 由J ensen 不等式,EZ|(i ,y log (p (Z |(i ,Y p (Z |(i ,Y log E Z|(i ,y (p (Z |(i+1,Y p (Z |(i ,Y =0,故H (i+1|(i ,Y -H (i |(i ,Y 0,而(i+1是使Q (|(i ,Y 達(dá)到最大的,顯然Q (i+1|(i ,Y -Q (i |(i ,Y 0。這就說明,用EM 算法求出的(i 的確使其對(duì)數(shù)似然L (i |Y 關(guān)于i 單增,但只有在嚴(yán)格單增的情況下,才能保證EM

13、 算法求出的(×為的極大似然估計(jì)。這是從純數(shù)學(xué)的,實(shí)際應(yīng)用有一定的困難。定理2(1如果p (|Y 有上界,則L (i |Y 收斂到某個(gè)L ×。(2如果Q (|關(guān)于和都連續(xù),則在關(guān)于L 的很一般的條件下,由EM 算法得到的估計(jì)序列(i 的收斂值×是L 的穩(wěn)定點(diǎn)。證明(1的證明由單調(diào)收斂定理立得;(2的證明見文獻(xiàn)4。關(guān)于定理2,我們指出,定理的條件在大多數(shù)場(chǎng)合是滿足的,定理的收斂性結(jié)論是針對(duì)(對(duì)數(shù)后驗(yàn)密度函數(shù)數(shù)值給出的,而后驗(yàn)密度函數(shù)值序列的收斂性比估計(jì)序列本身的收斂性更具意義。另外,在定理2的條件下,EM 算法的結(jié)果只能保證收斂到后驗(yàn)密度函數(shù)的穩(wěn)定點(diǎn),并不能保證收斂

14、到極大值點(diǎn),事實(shí)上,任何一種算法都很難保證其結(jié)果為極大值點(diǎn)。較可行的辦法是選取幾個(gè)不同的初值進(jìn)行迭代,然后在諸估計(jì)間加以選擇,這可以減輕初值選取對(duì)結(jié)果的影響。2.2EM 算法收斂速度的探討EM 算法是一種求參數(shù)極大似然估計(jì)的迭代算法,在處理不完全數(shù)據(jù)中有重要應(yīng)用。EM 算法實(shí)現(xiàn)簡(jiǎn)單,數(shù)值計(jì)算穩(wěn)定,存儲(chǔ)量小,并具有良好的全局收斂性。但是,EM 算法收斂速度相當(dāng)慢,只是次線性的收斂速度,這個(gè)缺點(diǎn)防礙了EM 算法的應(yīng)用?，F(xiàn)已提出了多種加速EM 算法收斂的方法,其中使用非線性規(guī)劃中的Broyden 對(duì)稱秩1校正公式,提出了一種加速EM 算法收斂的方法。與其他加速收斂方法相比,本方法簡(jiǎn)便易行,不必對(duì)不完

15、全數(shù)據(jù)的似然函數(shù)一維搜索,在收斂性方面,與EM 算法一樣具有全局收斂性。數(shù)值試驗(yàn)結(jié)果表明,本方法的收斂速度比EM 算法快的多。一般地,在EM 算法的M 步求(i+1時(shí),可求解方程組5Q (|(i 5=0,得到參數(shù)的迭代公式(i+1=G (i 。這種迭代公式通常使EM 算法的收斂速度很慢,為加速收斂,可考慮使用其他方法求解。根據(jù)著名的Fisher 公式5Q (|(i 5|=(i =g (i ,這里g (i 是不完全數(shù)據(jù)對(duì)數(shù)似然函數(shù)L (在(i 處的梯度g (i =L (|=(i ,于是問題轉(zhuǎn)化為求(×,使g (×=0,從而可以使用非線性規(guī)劃中的有效方法求解,達(dá)到加速收斂的目的

16、。在非線性規(guī)劃的求解方法中,Broyden 對(duì)稱秩1校正公式具有二次終止性和超線性的收斂速度,使用它可望改善EM 步長(zhǎng)的緩慢變化,以加速EM 算法的收斂。但是,如果不對(duì)L (進(jìn)行一維搜索,Broyden 對(duì)稱秩1校正公式僅具有局部收斂性,因此考慮將Broyden 對(duì)稱秩1校正公式的二次終止性和EM 算法良好的全局收斂性相結(jié)合,形成一種能夠加速EM 算法收斂的新方法EM B 算法。在迭代初期,使用EM 算法,而當(dāng)接近最優(yōu)解時(shí),EM 步長(zhǎng)的變化極為緩慢,這時(shí)使用Broyden 對(duì)稱秩1校正公式進(jìn)行校正。算法1(EMB 算法1取初始值(0,常數(shù)(0,1,H (0=I ,r (0=g (0,k =0。

17、2若g (k =0,停止計(jì)算,(k 即為所求;否則轉(zhuǎn)3。3若g (k <r (k ,則取r (k+1滿足g (k ÷r (k+1<r (k ,置(k+1=(k -H (k g (k ,轉(zhuǎn)5,否則轉(zhuǎn)4。4置r (k+1=r (k ,取EM 步長(zhǎng)(k ,置(k+1=(k +(k 。5對(duì)H (k 使用Broyden 對(duì)稱秩1校正公式,置H (k+1=H (k +(k -H (k (k (k -H (k (k T (k -H (k (k T (k ,其中k =g (k+1-g (k ,(k =(k+1-(k 。6置k =k +1,轉(zhuǎn)2。關(guān)于EMB 算法的收斂性有如下結(jié)論:定理3在

18、EM 算法收斂的條件下,EMB 算法是收斂的。證明分三種情形討論23安慶師范學(xué)院學(xué)報(bào)(自然科學(xué)版2009年1若在EMB 算法中,每次迭代都取EM 步長(zhǎng)(k 計(jì)算(k+1,即EMB 算法即為EM 算法。2若在EMB 算法中,每次迭代都按公式(k+1=(k -H (k g (k 計(jì)算(k+1,則由g (k ÷r (k+1<r (k 可得r (k+1<r (k <2r (k-1<<k+1r (0,因<1,故k 時(shí),記(k (×,則g (×=0,因此EMB 算法收斂。3一般情形時(shí),若設(shè)EMB 算法局部收斂,即存在某個(gè)>0及k 1,

19、當(dāng)k >k 1時(shí),g (k >,而由非負(fù)單調(diào)遞減數(shù)列r (k 的構(gòu)造可知,存在子列r (k ,r (k 0。因此存在k 2,當(dāng)k >max k 1,k 2時(shí),r (k <,于是g (k <r (k <(t 1,矛盾。因此EMB 算法收斂。從數(shù)值試驗(yàn)結(jié)果來看,EMB 算法能顯著減少迭代次數(shù),但有些時(shí)候效果不好,為此考慮在EMB 算法中加進(jìn)一個(gè)延遲參數(shù),目的是將校正盡量靠后,當(dāng)接近最優(yōu)解時(shí),再用Broyden 對(duì)稱秩1校正公式。算法2(M EMB 算法1取初始值(0,常數(shù)(0,1,非負(fù)整數(shù),r (0=g (0,k =0。2若g (k =0,停止計(jì)算,(k 即為所

20、求;否則轉(zhuǎn)3。3若k >,轉(zhuǎn)4,否則轉(zhuǎn)5。4若g (k <r (k ,則取r (k+1滿足g (k ÷r (k+1<r (k ,置(k+1=(k -H (k g (k ,轉(zhuǎn)6,否則轉(zhuǎn)5。5置r (k+1=r (k ,取EM 步長(zhǎng)(k ,置(k+1=(k +(k 。6對(duì)H (k 使用Broyden 對(duì)稱秩1校正公式,置H (k+1=H (k +(k -H (k (k (k -H (k (k T (k -H (k (k T (k ,其中k =g (k+1-g (k ,(k =(k+1-(k 。7置k =k +1,轉(zhuǎn)2。2.3EM 算法的推廣算法EM 算法得到廣泛應(yīng)用的一

21、個(gè)重要原因是在M 步中,求極大化的方法與完全數(shù)據(jù)下求極大化的方法完全一樣。在許多場(chǎng)合,這樣的極大化有顯式表示,然而并不總是這樣,有時(shí)要找Q (|(i ,Y 達(dá)到最大的是困難的,一個(gè)比較簡(jiǎn)單的方法是找一個(gè)(i+1,使Q (i+1|(i ,Y >Q (i |(i ,Y (9由(1和(9組成的EM 算法稱為廣義EM 算法(GEM 算法。我們可以利用無約束最優(yōu)化方法中的一些方法,像最速下降法,Newto n 法,共軛方向法和共軛梯度法,擬Newto n 法,Powell 方向加速法,來構(gòu)造廣義EM 算法(GEM 算法,既可避免EM 算法M 步中表達(dá)式的局限,又可加速EM 算法,使EM 算法的收斂

22、速度得到很大的提高。在EM 算法的M 步求(i+1時(shí),根據(jù)著名的Fisher 公式5Q (|(i 5|=(i =g (i ,這里g (i 是不完全數(shù)據(jù)對(duì)數(shù)似然函數(shù)L (在(i 處的梯度,于是問題轉(zhuǎn)化為求(3,使g (3=0,從而可以使用非線性規(guī)劃中的有效方法求解,達(dá)到加速收斂的目的。像上一章介紹的EMB 算法和M EMB 算法,就是兩種廣義的EM 算法,及GEM 算法。還有Laird 等利用數(shù)值分析中的外推Ait ken 加速來加速EM 算法,Lo uis 在Newto n 法的基礎(chǔ)上關(guān)于EM 算法提出了一種加速的方法,Amshidian 等提出了EM 算法的廣義共軛梯度加速方法等。而對(duì)于EM

23、 算法的E 步,有時(shí)要獲得期望的顯式表示是不可能的,即使近似計(jì)算也很困難,這時(shí)用Mo nte Carlo 方法來完成,就是所謂的Mo nte Carlo EM (MCEM 方法,它將E 步改為:(E1由p (Z |(i ,Y 隨機(jī)的抽取m 個(gè)隨機(jī)數(shù)Z 1,Z m ;(E2計(jì)算Q (|(i ,Y =1m m j =1log p (|Z j ,Y 。由大數(shù)定理,只要m 足夠大,Q (|(i ,Y 與(|(i ,Y 很接近,從而我們可以在M 步中對(duì)Q (|(i ,Y 求極大化。在MCEM 算法中有兩點(diǎn)是主要考慮的:一是m 的大小的確定,從精確角度來講,m 自然越大越好,但過大的m 使得計(jì)算的效率太低

24、,一般在開始時(shí)m 不需要很大;另一點(diǎn)是收斂性的判斷,因在E 步中是采用的Mo nte Carlo 方法,若要求這樣得到的(i 收斂到一點(diǎn)顯然是不現(xiàn)實(shí)的。在MCEM 中,收斂性的判別往往可借助圖形來進(jìn)行。若經(jīng)過若干次迭代后,迭代值圍繞直線=3小幅波動(dòng),則可以認(rèn)為算法收33第4期楊基棟:EM 算法理論及其應(yīng)用斂了,此時(shí),為增加估計(jì)精度,可增加m 的值再運(yùn)行一段時(shí)間,就可停止。MCEM 算法比較靈活,但是需要仔細(xì)選擇模擬容量和確保正確的收斂性準(zhǔn)則。我們可以通過增加迭代次數(shù)來提高模擬容量,例如,在McColloch (1994方法中,模擬容量隨著迭代次數(shù)線性增加。除此以外,由于蒙特卡羅誤差,該EM 算

25、法不具有單調(diào)性,難以估計(jì)其收斂性。在McColloch 方法中,MCEM 算法通過規(guī)定迭代的次數(shù)來結(jié)束算法。Shi 和Lee (2000用臨時(shí)抽樣的方法直觀的觀察MCEM 算法的收斂性。3EM 算法的應(yīng)用實(shí)例EM 算法可以應(yīng)用于醫(yī)學(xué)研究中,尤其是臨床醫(yī)學(xué)中十分常見的一種數(shù)據(jù)觀測(cè)形式為重復(fù)觀測(cè),其特點(diǎn)是在同一實(shí)驗(yàn)單位上進(jìn)行多次重復(fù)觀測(cè),這個(gè)過程由于各種原因經(jīng)常導(dǎo)致實(shí)驗(yàn)觀測(cè)數(shù)據(jù)缺失,如動(dòng)物的意外死亡,記錄儀器發(fā)生故障,被調(diào)查者拒絕回答相關(guān)調(diào)查項(xiàng)目等,然而,目前絕大多數(shù)重復(fù)觀測(cè)數(shù)據(jù)統(tǒng)計(jì)分析方法都有一個(gè)基本假定,即每個(gè)實(shí)驗(yàn)單位具有完全的重復(fù)觀測(cè)數(shù)據(jù)(通常假定服從多元正態(tài)分布。因此有必要對(duì)缺失數(shù)據(jù)進(jìn)行適

26、當(dāng)?shù)奶幚?否則數(shù)據(jù)分析時(shí),通常的做法是刪去具有缺失的部分觀察記錄而不考慮記錄數(shù)據(jù)所蘊(yùn)涵的信息,從而造成信息的損失以及分析結(jié)果的偏性。缺失數(shù)據(jù)的處理方式在很大程度上依賴醫(yī)學(xué)數(shù)據(jù)觀測(cè)的實(shí)際背景,例如,常規(guī)的實(shí)驗(yàn)設(shè)計(jì)得到的獨(dú)立結(jié)構(gòu)數(shù)據(jù)方差分析前的缺項(xiàng)估計(jì)的原理,都是解誤差離均差平方和對(duì)缺項(xiàng)變量的導(dǎo)數(shù)等于0的方程,從而獲得缺項(xiàng)的估計(jì)值。而醫(yī)學(xué)重復(fù)觀測(cè)設(shè)計(jì)得到的數(shù)據(jù)有別于獨(dú)立結(jié)構(gòu)數(shù)據(jù),其數(shù)據(jù)間存在一定的相關(guān)性,因此需要進(jìn)行專門的缺項(xiàng)估計(jì)方法的研究。為此。我們?cè)谲浖幊痰幕A(chǔ)上,應(yīng)用EM 算法進(jìn)行了這方面的數(shù)據(jù)處理。目前,可用于進(jìn)行缺項(xiàng)估計(jì)的方法很多,但EM 算法較為優(yōu)秀,它是利用所有的資料信息來進(jìn)行缺項(xiàng)

27、估計(jì),以“補(bǔ)缺”的方式將含有缺失值的“不完全資料”轉(zhuǎn)化為“完全資料”,因此,對(duì)EM 算法得到的“完全資料”可以應(yīng)用所有的重復(fù)觀測(cè)資料分析方法進(jìn)行處理分析。EM 方法補(bǔ)缺使估計(jì)系數(shù)的方差明顯變小,從而提高了生長(zhǎng)曲線系數(shù)的估計(jì)精度。當(dāng)醫(yī)院科研數(shù)據(jù)量較大時(shí),為方便缺失值的估計(jì),就需用MA TL AB 進(jìn)行編程,另外,在實(shí)際工作中為了了解多個(gè)指標(biāo)間的關(guān)系及變化規(guī)律,常常需要同時(shí)觀測(cè)個(gè)體的多個(gè)反應(yīng)指標(biāo),此時(shí),雖然數(shù)據(jù)不是重復(fù)觀測(cè)數(shù)據(jù),但如果缺失數(shù)據(jù)隨機(jī)發(fā)生,即缺失數(shù)據(jù)發(fā)生的可能性不被該數(shù)據(jù)值的大小所影響,則同樣可用EM 算法進(jìn)行估計(jì),因此EM 算法不但適用于重復(fù)觀測(cè)缺失數(shù)據(jù)的處理,而且適用于一般情況下多變