高斯混合模型算法

幾種典型的機(jī)器算法首先第一種是高斯混合模型算法:高斯模型有單高斯模型(SGM)和混合高斯模型(GMM)兩種。(1)單高斯模型：(2)混合高斯模型：對(duì)于(b)圖所示的情況，很明顯，單高斯出了高斯混合模型(GMM)，顧名思義，就是數(shù)據(jù)可以看作是從數(shù)個(gè)高斯分布中生成出來(lái)的。雖然我們可以用不同的分布來(lái)隨意地構(gòu)造XX近任何連續(xù)的概率密分布。Component線性加成在一起就組成了GMM的概(1)為加權(quán)系數(shù)。根據(jù)上面的式子，如果我們要從GMM的分布中隨機(jī)地取一個(gè)點(diǎn)的話，實(shí)際上可以分為兩步： 個(gè)，每個(gè)Component被選中的概率實(shí)際上就是地考慮從這個(gè)Component的分布中選取一個(gè)點(diǎn)就可以了──這里已經(jīng)回到了普通的Gaussian分布，轉(zhuǎn)化為了已知的問(wèn)題。假設(shè)現(xiàn)在有N個(gè)生，現(xiàn)在我們要需要確定πk,μk,σk這些參(2)加上一個(gè)log函數(shù)，但是由上文博客里的(2)因此，要進(jìn)一步求解。EM算法的步驟這里不作詳細(xì)的介紹，可以參見(jiàn)/?p=391functionvarargout=gmm(X,K_or_centroids)2%============================================================3%Expectation-Maximizationiteration4%GaussianMixtureModel.6%PX=GMM(X,K_OR_CENTROIDS)7%[PXMODEL]=GMM(X,K_OR_CENTROIDS)9%-X:N-by-Ddatamatrix.10%-K_OR_CENTROIDS:eitherKicatingthenumberof11%componentsoraK-by-Dmatrix12%choosingoftheinitialKcentroids.14%-PX:N-by-KmatrixindicatingtheprobabilityofeachparametersforaGMM:17%MODEL.Miu:aK-by-Dmatrix.18%MODEL.Sigma:aD-by-D-by-Kmatrix.19%MODEL.Pi:a1-by-Kvector.20%============================================================23[N,D]=size(X);25ifisscalar(K_or_centroids)26K=K_or_centroids;27%randomlypickcentroids28rndp=randperm(N);29centroids=X(rndp(1:K),:);31K=size(K_or_centroids,1);32centroids=K_or_centroids;35%initialvaluessLprev=-inf;whiletrue40Px=calc_prob();42%newvalueforpGamma44pGamma=pGamma./repmat(sum(pGamma,2),1,K);46%newvalueforparametersofComponent47Nk=sum(pGamma,1);49pPi=Nk/N;forkk=1:KkXshift))/Nk(kk);56%checkforconvergence57L=sum(log(Px*pPi'));58ifL-Lprev<thresholddLprev=L;64ifnargout==165varargout={Px};67model=[];68model.Miu=pMiu;69model.Sigma=pSigma;70model.Pi=pPi;71varargout={Px,model};74function[pMiupPipSigma]=75pMiu=centroids;76pPi=zeros(1,K);77pSigma=zeros(D,D,K);79%hardassignxtoeach81repmat(sum(pMiu.*pMiu,2)',N,1)-...822*X*pMiu';83[dummylabels]=min(distmat,fork=1:K86Xk=X(labels==k,:);87pPi(k)=size(Xk,1)/N;end92functionPx=calc_prob()93Px=zeros(N,K);94fork=1:K95Xshift=X-repmat(pMiu(k,:),N,1);97tmp=sum