盲源分離之極大似然ICA算法

1、極大似然獨(dú)立成分分析算法一、似然度極大似然估計(jì)可以解釋為：采納那些使觀測(cè)向量具有最大概率的估計(jì)參數(shù)值。設(shè)是對(duì)觀測(cè)向量的概率密度的估計(jì)，源信號(hào)的概率密度函數(shù)為，根據(jù)線性變換下兩個(gè)概率密度函數(shù)之間的關(guān)系，觀測(cè)數(shù)據(jù)的概率密度函數(shù)的估計(jì)與源信號(hào)概率密度函數(shù)滿足對(duì)于給定的模型，觀測(cè)數(shù)據(jù)的似然函數(shù)是模型參數(shù)的函數(shù)，定義為當(dāng)模型參數(shù)為分離矩陣時(shí)，對(duì)數(shù)似然函數(shù)為式中，為獨(dú)立同分布觀測(cè)數(shù)據(jù)的樣本數(shù)，最大化此似然函數(shù)就可獲得關(guān)于參數(shù)的最優(yōu)估計(jì)。二、Infomax算法Infomax算法即為信息傳輸極大化算法。圖1 Infomax算法框圖由圖1可知，Infomax算法是一種基于信息論的前向反饋?zhàn)越M織神經(jīng)網(wǎng)絡(luò)的算法，其

2、中為多路觀測(cè)信號(hào)向量，它是由個(gè)獨(dú)立源線性混合而成，網(wǎng)絡(luò)輸出是對(duì)真實(shí)源的逼近。為可逆單調(diào)非線性函數(shù)，非線性輸出為。獨(dú)立性判據(jù)為最大信息傳輸準(zhǔn)則，即通過(guò)對(duì)分離矩陣 (神經(jīng)網(wǎng)絡(luò)的連接權(quán)值矩陣)的調(diào)整尋找優(yōu)化的，使網(wǎng)絡(luò)輸出和輸入之間的互信息達(dá)到最大。由信息論可知式中，為網(wǎng)絡(luò)聯(lián)合輸出熵；為輸出的條件熵。若系統(tǒng)存在噪聲，即，有，則上式可表示為于是，和之間的互信息最大等價(jià)于網(wǎng)絡(luò)聯(lián)合輸出熵最大(噪聲與系統(tǒng)無(wú)關(guān))。以網(wǎng)絡(luò)輸出的聯(lián)合熵作為目標(biāo)函數(shù)，由信息熵理論可知式中，為非線性輸出的邊緣熵；為非線性輸出之間的互信息，其值總是非負(fù)的，只有當(dāng)非線性輸出之間彼此相互獨(dú)立時(shí)，。由互信息可知，單調(diào)可逆非線性映射對(duì)互信息沒有

3、影響，所以取最小值0時(shí)，也同時(shí)達(dá)到最小值零，于是各成分間相互統(tǒng)計(jì)獨(dú)立，ICA問(wèn)題得以解決。此時(shí)式中，為輸出的概率密度函數(shù)，因此最大化包含了最大化邊緣熵和最小化互信息兩個(gè)內(nèi)容。選擇熵作為目標(biāo)函數(shù)是因?yàn)殪厥且粋€(gè)隨機(jī)變量無(wú)序性的度量及信息量大小(不確定信息的多少)的測(cè)度，的各成分統(tǒng)計(jì)獨(dú)立性越高則相應(yīng)的熵越大，所含信息也越多?？梢宰C明，當(dāng)非線性函數(shù)為源的概率密度函數(shù)的積分累積分布函數(shù)時(shí)，邊緣熵最大。由于在系統(tǒng)中，所以其中，為分離矩陣的雅克比行列式的絕對(duì)值，即得到由上式可知，當(dāng)已知時(shí)，的大小隨而變，即隨權(quán)值矩陣而變，將代入上式并求梯度，可得 (1)對(duì)于(1)式的第一項(xiàng)，將權(quán)值按行展開為，為對(duì)應(yīng)元素的代數(shù)

4、余子式，由于所以式中，表示的伴隨矩陣。對(duì)于(1)式的第二項(xiàng)，可以將對(duì)數(shù)項(xiàng)展開，而對(duì)于某一個(gè)，展開項(xiàng)中只有一個(gè)與其相關(guān)，令顯然，第二項(xiàng)與有關(guān)，這樣得到分離矩陣調(diào)整算法公式為可以選擇取值在0,1之間的單調(diào)遞升函數(shù)，如Sigmod函數(shù)和tanh函數(shù)等?？紤]語(yǔ)音信號(hào)一般為超高斯信號(hào)，采用固定形式為函數(shù)的非線性函數(shù)參數(shù)調(diào)節(jié)公式為 (2) (3)式中，為迭代次數(shù)；為學(xué)習(xí)率(通常是一個(gè)小于1的正數(shù))。Infomax算法就按式(2)和(3)進(jìn)行分離矩陣的迭代求解，知道算法收斂。采用自然梯度(或相對(duì)梯度)對(duì)式(2)進(jìn)行化簡(jiǎn)，即在其右邊乘以，于是式(2)化為 (4)由于為正定矩陣，并不影響隨機(jī)梯度下降算法的收斂，

5、同時(shí)式(4)避免了矩陣的求逆過(guò)程，因而計(jì)算量明顯降低，收斂速度加快。缺點(diǎn)：由于Sigmod函數(shù)的微分所表示的概率分布函數(shù)是超高斯的(峰度為正)，因此Infomax算法只適用于超高斯源信號(hào)的盲分離。三、擴(kuò)展Infomax算法實(shí)際觀測(cè)信號(hào)通常是超高斯源和亞高斯源的混合信號(hào)，因此在傳統(tǒng)Infomax算法基礎(chǔ)上采用雙概率模型，并在盲分離算法迭代過(guò)程中，根據(jù)分離結(jié)果的統(tǒng)計(jì)特性變化，動(dòng)態(tài)切換概率模型，最終實(shí)現(xiàn)概率模型與真實(shí)源信號(hào)概率分布類型的統(tǒng)一，實(shí)現(xiàn)最佳的盲分離效果。圖2所示為擴(kuò)展Infomax算法的原理框圖，其中亞高斯概率密度模型為 (5)圖2 擴(kuò)展Infomax算法原理框圖令，由式(5)及雙曲正切函數(shù)的定義，可以得到令及，則上式可以簡(jiǎn)化為于是，分離矩陣的更新規(guī)則為圖2中的單峰超高斯概率密度模型為式中，為具有零均值、單位方差的高斯密度函數(shù)；同理，可計(jì)算出非線性函數(shù)為因此，分離矩陣的更新規(guī)則為引入維對(duì)角矩陣，稱為概率密度切換矩陣，對(duì)角元素為峰度符號(hào)，取值根據(jù)歸一化峰度的符號(hào)變化來(lái)確定。根據(jù)峰度的定義，有對(duì)于高斯信號(hào)，；對(duì)于超高斯信號(hào)，；對(duì)于亞高斯信號(hào)，。擴(kuò)展Infomax算法的分離矩陣的更新規(guī)則為其中，超高斯信號(hào)：；亞高斯信號(hào)：?？偨Y(jié)，擴(kuò)展Infomax算法