EM算法在高斯混合模型中的應用

1、精選優(yōu)質(zhì)文檔-傾情為你奉上EM算法在高斯混合模型中的應用1.定義對于一個隨機信號生成器，假設他的模型參數(shù)為，我們能觀測到的數(shù)據(jù)輸出為X，不能觀測到的數(shù)據(jù)輸出為Y，且隨機系統(tǒng)模型結(jié)構(gòu)的概率密度函數(shù)為 （1）能夠觀測到的一部分數(shù)據(jù)輸出數(shù)據(jù)，模型的另一部分輸出數(shù)據(jù) 未知,模型的參數(shù)也未知。EM算法就是要求我們從觀測數(shù)據(jù)中估計出參數(shù)。2.EM算法的描述假設每一對隨機系統(tǒng)的輸出樣本對于不同的n相互獨立，這樣當，x和y都已知的情況下，概率也已知。未觀測的輸出y的概率分布也屬于待求參數(shù)。根據(jù)獨立性假設有： （2）3.EM算法的基本思路 基本問題是求解下面的方程的解： （3）由于X是確定量，Y是未知的，因此即

2、使給定了，也無法求得的值，因此我們只能退一步求： （4）其中 （5）表示考慮了未知數(shù)據(jù)y的所有可能的取值Y后對求平均值。最后根據(jù)log函數(shù)的單調(diào)性得到（4）的等效形式： （6）對于(6)給出的最優(yōu)化問題，考慮用下面的遞推算法解決，即：先給定一個估值并計算，然后更新得到并且有 （7） （8）其中，等號在時成立，即： （9）于是對的遞推算法（7）可通過進行，步驟為：1） 令k=0，先給出估值 2） 然后找出滿足 （10）3） k更新為k+1并返回步驟2)直到收斂 令 (11)處理后 (12)其中 (13)4.EM算法與高斯混合模型在隨機系統(tǒng)模型中，假設是通道的隨機信號生成器的概率密度函數(shù)的參數(shù)，是

3、選中通道的概率。記為。假設個隨機信號生成器和通道選擇隨機生成器是相互獨立的，從通道輸出的數(shù)據(jù)的概率是： (14)不考慮通信信息，輸出的概率為： (15)其中： ：是第個通道隨機信號生成器的參數(shù)。 ：參數(shù)集合。觀測數(shù)據(jù)為一批隨機產(chǎn)生的輸出信號，并且每個輸出都是相互獨立的，而每個輸出來自哪個通道不可測。于是系統(tǒng)模型參數(shù)估計問題就變?yōu)橥ㄟ^有限的輸出樣本估計個通道參數(shù).應用（12）求解，其中可以簡化為：（16）其中： 這樣我們把和分別放在兩項里面，他們不相關(guān)，可以獨立考慮。在中應用約束條件：用拉格朗日乘子優(yōu)化得到：上式的含義是，選中號通道的概率估計是每個觀測數(shù)據(jù)來自于通道的條件概率（根據(jù)上一次估值估算

4、）的平均。其中的通過下式得出。中的的優(yōu)化取決于分布函數(shù)的類型，對于為高斯分布時，其中是分布的均值，是方差。再經(jīng)過推導，有： ， 通道參數(shù)得更新可以看作是對的加權(quán)，加權(quán)系數(shù)可以看成是根據(jù)上一次的參數(shù)估計算出來得率屬于通道的概率。最后，上面的EM算法可能收斂到局部極大點，因此需要選擇多個參數(shù)的初始值進行迭代計算，并選擇使得最大的解，最大的解可由下式算出：5.EM算法在matlab中的實現(xiàn) 利用上面推導出的公式，我們以二個一維的高斯分布（,）來驗證EM算法的性能，首先用二個一維的高斯分布來建立一個高斯混合模型。假設： , 其中與為混合系數(shù)，且有，我們要用EM算法估計混合系數(shù)和各一維高斯分布的均值和方

5、差。并將利用EM算法估計出的值與真實值做比較，就可以得到該算法的性能。首先我們?nèi)〉恼鎸嵵禐椋?.4,0.6,1,2,0.25,0.36）這樣我們得到一個混合高斯分布，他的密度函數(shù)為,然后產(chǎn)生1000個服從的分布的觀測樣本點。接下來要做的就是對這1000個樣本點用EM算法進行處理，來估計出一組的值。在使用EM算法時，要首先給設定一組初值這里假設初值為=0.3，=0.7，0.8，1.8，0.2，0.25Matlab具體程序如下：Y=zeros(1,10000);for i=1:10000 if rand(1)>0.3 Y(i)=normrnd(2,sqrt(0.36),1,1); else

6、Y(i)=normrnd(1,sqrt(0.25),1,1); endend %高斯混合模型A=0.3 0.7; %設置參數(shù) 的初值M=0.8 1.8; %設置均值 的初值S=0.2 0.25; %設置方差 的初值for n=1:1000 for j=1:2 a3=0; a4=0; a5=0; for k=1:10000 a1=0; for t=1:2 a1=A(t)*1/sqrt(2*pi*S(t)*exp(-(Y(k)-M(t)2/(2*S(t)+a1; end f= A(j) * 1/sqrt(2*pi*S(j)*exp(-(Y(k)-M(j)2/(2*S(j); a2=f/a1; a3=a2+a3; %a3對應公式 a4=a2*Y(k)+a4; %a4對應公式 a5=a2*(Y(k)-M(j)2+a5; %a5對應公式 end A(j)=a3/10000; %循環(huán)更新系數(shù)值 M(j)=a4/a3; %循環(huán)更新均值值 S(j)=a5/a3; %循環(huán)更新方差值 endend運行程序，查看變量A,M,S的值，與真實值比較一下，就可以得到用EM算法估計的高斯混合模型的性能了。得到參數(shù)為A= 0.3063 0.6937，M= 1.0093