盲源分離問題綜述

1、盲源分離問題綜述摘要：盲源分離，是從觀測到的混合信號中恢復(fù)不可觀測的源信號的問題。作為陣列信號處理的一種新技術(shù)，近幾年來受到廣泛關(guān)注。本文主要闡述了盲源分離問題的數(shù)學(xué)模型、典型算法以及盲源分離的應(yīng)用，并結(jié)合盲源分離問題的研究現(xiàn)狀，分析了其未來的發(fā)展方向。主題詞：盲源分離;盲源分離的典型算法1. 引言盲信號分離問題起源于人們對“雞尾酒會”問題的研究。 在某個(gè)聚會上，我們正在相互交談，同一時(shí)刻同一場景下其他人的交談也在同時(shí)進(jìn)行著，可能還有樂隊(duì)的音樂伴奏，這時(shí)整個(gè)會場上是一片嘈雜。但是非常奇妙的是，作為交談對象的雙方，我們能夠在這混亂的眾多聲音中很清晰的聽到對方的話語，當(dāng)然，如果我們偶爾走神，將精力

2、放在樂隊(duì)奏出的音樂時(shí)，我們也同樣可以聽清楚音樂的主旋律。這種可以從由許多聲音所構(gòu)成的混合聲音中選取自己需要的聲音而忽視其他聲音的現(xiàn)象就是雞尾酒會效應(yīng)。如何在這種從觀察到的混合信號中分離出源信號的問題就是所謂的盲分離（Blind Signal Separation, BSS）問題，有時(shí)也被稱為盲源分離（Blind Source Separation）問題。1986年，法國學(xué)者Jeanny Herault和Christian Jutten提出了遞歸神經(jīng)網(wǎng)絡(luò)模型和基于Hebb學(xué)習(xí)律的學(xué)習(xí)算法，以實(shí)現(xiàn)兩個(gè)獨(dú)立源信號混合的分離，這一篇開創(chuàng)性論文的發(fā)表使盲源分離問題的研究有了實(shí)質(zhì)性的進(jìn)展。隨著數(shù)字信號處理

3、理論和技術(shù)的發(fā)展以及相關(guān)學(xué)科的不斷深入,大量有效的盲分離算法不斷被提出,使盲分離問題逐漸成為當(dāng)今信息處理領(lǐng)域中最熱門的研究課題之一,在無線通信、圖象處理、地震信號處理、陣列信號處理和生物醫(yī)學(xué)信號處理等領(lǐng)域得到了廣泛的應(yīng)用。2. 盲源分離問題的數(shù)學(xué)模型盲源分離是指在不知道源信號和信道傳輸參數(shù)的情況下,根據(jù)輸入信號的統(tǒng)計(jì)特性,僅由觀測信號恢復(fù)出源信號各個(gè)獨(dú)立成分的過程。盲源分離研究的信號模型主要有三種:線性混合模型、卷積混合模型和非線性混合模型。2.1 線性混合模型線性混合模型在神經(jīng)網(wǎng)絡(luò)、信號處理等研究中常常用到,其數(shù)學(xué)模型描述為:S1t，S2t Snt是一個(gè)隨機(jī)的時(shí)間序列，用m個(gè)話筒表示接收到的

4、混合信號，用X1t，X2t Xmt來表示。它們有如下關(guān)系：X1t=a11S1t+a1nSntXmt=am1S1t+amnSnt其中aij是未知的混合系數(shù)，在線性瞬時(shí)混合中，一般假定aij是未知的常數(shù)矩陣。盲源分離需要解決的問題就是如何從接收到的觀察信號中估計(jì)出源信號S1t，S2t Snt和混合矩陣的過程。實(shí)際上式還應(yīng)該存在一個(gè)干擾存項(xiàng)，如果考慮到噪聲的存在，那么上式可以推廣到更一般的情況，即為：X(t)=AS(t)+n(t)X(t)= (X1t，X2t Xmt)為接收到的m維隨機(jī)向量，又稱為觀察向量，也是唯一可以利用的條件，S(t)= (S1t，S2t Snt)是n維獨(dú)立的源信號組成的向量，又

5、稱為隱含向量，因?yàn)樗鼈兪俏粗挠^察不到的向量，有時(shí)也稱為獨(dú)立分量，n(t)為噪聲向量，A是aij系數(shù)組成的混合矩陣。盲分離問題就是求得一個(gè)分離矩陣W，通過W就可以僅從觀察信號X(t)中恢復(fù)出源信號S(t)。設(shè)y(t)是源信號的估計(jì)矢量，則分離系統(tǒng)可由下式表示：Y(t)=WX(t)2.2 卷積混合模型考慮到延遲和濾波的混迭信號的線性混合，這通常被稱為卷積混合，其數(shù)學(xué)模型描述為:Y(t)=k=-W(k)x(t-k)因?yàn)閭鬏數(shù)难訒r(shí)以及接收系統(tǒng)頻響的差異，瞬時(shí)混合系統(tǒng)盲分離算法一般不能夠處理卷積混合問題。一類很有研究前景的方法就是頻域盲源分離算法，利用頻域算法可以提高BSS方法的收斂速度和學(xué)習(xí)速度，另

6、外時(shí)域卷積問題可以變換為頻域相乘問題。2.3 非線性混合模型非線性混合是一種研究最為廣泛的模型,即將源信號線性混合后再通過一個(gè)非線性函數(shù)得到觀察信號，其數(shù)學(xué)模型描述為:Y(t)=f(Z(t)=f(AS(t)求解時(shí)首先尋找一個(gè)非線性函數(shù)g(t)，使得g(t)=f-1(t)，即非線性的校正階段,然后同線性瞬時(shí)混合的盲分離求解一樣尋找一個(gè)分離矩陣從而求得源信號的近似。3. 盲源分離問題的典型算法3.1 H-J算法Herault和Jutten可能是最早對盲源分離問題進(jìn)行研究的，他們引進(jìn)了仿神經(jīng)的算法，是一種逐步調(diào)整權(quán)重的神經(jīng)網(wǎng)絡(luò)。圖一 H-J算法仿神經(jīng)網(wǎng)絡(luò)由圖可知，Y(t)= X(t)- WY(t)，

7、即Y(t)=(I+W)-1X(t)，算法的實(shí)質(zhì)就是引入了信號的高階統(tǒng)計(jì)信息，不過由于學(xué)習(xí)每一步過程中都要對矩陣（I+W）求逆，導(dǎo)致運(yùn)算量增加。H-J算法中非線形函數(shù)的選取具有隨意性，在理論上沒有給出令人滿意的收斂性證明，但是在實(shí)際應(yīng)用中的收斂性相當(dāng)不錯(cuò)。不過需要注意的是H-J算法僅用于觀察信號數(shù)目與源信號數(shù)目相同的情況下，仍然具有一定的局限性。3.2 最大熵算法從信息理論角度來考慮，盲信號分離問題就是一個(gè)以分離系統(tǒng)最大熵為準(zhǔn)則，利用神經(jīng)網(wǎng)絡(luò)或自適應(yīng)算法，通過非線性函數(shù)來間接獲得高階累積量的過程。這種方法的思想就是當(dāng)神經(jīng)元輸出Z的各個(gè)分量zi相互獨(dú)立時(shí)，其熵最大，所以這種方法又稱為最大熵算法。B

8、ell和Sejnowski的這種方法是將Linskers的信息傳輸最大化理論推廣到非線性單元來處理任意分布的輸入信號。這一原理具體內(nèi)容如下：假設(shè)信號通過S型函數(shù)傳輸時(shí)，如果該S型函數(shù)的斜率部分與信號的高密部分保持一致時(shí)，則可以實(shí)現(xiàn)信息的最大化傳輸。由最大熵原理可以知道，當(dāng)輸出熵最大時(shí)，互熵也最大，即有最多的信息通過了可逆變換從輸入端傳輸?shù)捷敵龆?。這時(shí)輸入變量的概率密度函數(shù)和可逆變換G之間的關(guān)系由Linsker的最多信息原理（Infomax Principle）描述：當(dāng)函數(shù)G的最陡部分與輸入變量的最陡概率部分向重合時(shí)，最大的信息從輸入端傳導(dǎo)了輸出端。圖二 最大熵算法網(wǎng)絡(luò)結(jié)構(gòu)示意圖對于最大熵算法所

9、處理的最基本的問題就是要使得一個(gè)神經(jīng)網(wǎng)絡(luò)處理單元的輸出Y(t)中包含的關(guān)于其輸入X(t)的互信息最大。這個(gè)算法只能夠分離出超高斯信號的混合，這個(gè)限制的重要原因是在算法中使用了非線性函數(shù)log，非線性函數(shù)是log就相當(dāng)于強(qiáng)加一個(gè)先驗(yàn)知識超高斯分布給源信號。3.3 最小互信息算法最小互信息（Minimum Mutual Information, MMI）的基本思想是選擇神經(jīng)網(wǎng)絡(luò)的權(quán)值矩陣W，使得輸出Y的各個(gè)分量之間的相關(guān)性最小化。這里的信號間的相互依賴關(guān)系可以用Y的概率密度函數(shù)及其各個(gè)邊緣概率密度函數(shù)的乘積間的K-L散度來表示。在使用互信息作為信號分離的代價(jià)函數(shù)時(shí)，對輸出的各個(gè)分量無需使用非線性變

10、換這種預(yù)處理手段。由隨機(jī)梯度算法得到：dW(t)dt=tW-T-(Y)xT其中t為學(xué)習(xí)率,(Y)函數(shù)的選取與獨(dú)立元的本身性質(zhì)有關(guān)。函數(shù)(Y)的選取對于整個(gè)算法的性能有很大的影響，如果知道了真正的概率密度函數(shù)，最好的選擇就是使用它們，但是實(shí)際中我們很難知道這些知識，只能夠進(jìn)行概率密度的自適應(yīng)估計(jì)，所以對這個(gè)關(guān)鍵的非線性函數(shù)進(jìn)行研究，也是一個(gè)值得關(guān)注的問題。3.4 最大似然算法最大似然估計(jì)（Maximum Likelihood Estimation, MLE）是利用已經(jīng)獲得的觀測樣本來估計(jì)樣本的真實(shí)概率密度。具有諸如一致性、方差最小性以及全局最優(yōu)性等很多優(yōu)點(diǎn)，但是最大似然估計(jì)需要知道關(guān)于輸入信號概

11、率分布函數(shù)的先驗(yàn)知識，這是很難滿足的，所以必須盡量避開它。最大似然估計(jì)首先是由Girolami和Fyfe于1996年提出用于盲分離問題，而Pearlmutter和Parra從最大似然估計(jì)推導(dǎo)出通用的ICA學(xué)習(xí)規(guī)則。目前，最大似然算法是解決盲分離問題的一個(gè)非常普遍的方法。通過推導(dǎo)可以得到標(biāo)準(zhǔn)化的最大似然函數(shù)：L (x1,x2,xn;)=pxxlogpx(x;)dx=-Dpxx|px(x;)-H(pxx)由此式我們可以發(fā)現(xiàn)最大似然函數(shù)是由Kullback-Leibler散度和熵值得到的，而第二項(xiàng)的熵不依賴于參數(shù)，相當(dāng)于一個(gè)常數(shù)項(xiàng)。Cardoso將上式轉(zhuǎn)化為一個(gè)盲源分離問題：pxx為x的概率分布函數(shù)

12、，混合信號由X=AS給出，=A為所要求的未知的混合矩陣，參數(shù)集是一組可逆的NN的矩陣。這樣由上式可以得到最大似然估計(jì)的代價(jià)函數(shù)就變成L=-Dpxx|px(x;)3.5 獨(dú)立分量分析算法(ICA)信號經(jīng)過變換后,使不同信號分量之間的相關(guān)性最小化,并盡可能相互統(tǒng)計(jì)獨(dú)立。目前已經(jīng)有很多有效的在線ICA算法,如自然梯度算法、EASI算法、廣義ICA算法、靈活I(lǐng)CA算法和迭代求逆ICA算法等。這些算法都可歸類為最小均方算法(LMS),但LMS型算法存在收斂速度和穩(wěn)態(tài)性能之間的矛盾，一般有如下幾種典型的獨(dú)立分量分析算法。1.快速定點(diǎn)算法(FastICA)FastICA算法基于非高斯性最大化原理,使用固定點(diǎn)

13、迭代理論尋找WTX 的非高斯性最大值。該算法采用牛頓迭代算法,對觀測變量X的大量采樣點(diǎn)進(jìn)行批處理,每次從觀測信號中分離出一個(gè)獨(dú)立分量,是一種快速的尋優(yōu)迭代算法。FastICA算法適用于任何非高斯信號,具有良好的收斂性(二次收斂) ,同時(shí)不需要選擇學(xué)習(xí)步長。但該算法只能以批處理的方式進(jìn)行,不適合實(shí)時(shí)應(yīng)用的需要,而且隨著信號源個(gè)數(shù)的增加,算法性能會明顯變差。算法的梯度公式如下:W = diag (i)diag (i)+Eg(y)yT W式中: i=-1i+Egyi; i= - Eyigyi。2.自然梯度算法由于分離矩陣的變化空間是黎曼空間,而自然梯度J( y;W )WWTW是隨機(jī)梯度J( y;W

14、)W在黎曼空間的擴(kuò)展,所以自然梯度更真實(shí)地反映了最速下降方向,同時(shí)由于右乘正定矩陣消去了矩陣求逆運(yùn)算,因此自然梯度算法在收斂速度和穩(wěn)定性方面都較隨機(jī)梯度有所改善。梯度公式如下:W =I - g ( y)yTW，式中：為學(xué)習(xí)步長3.等變化自適應(yīng)算法( EASI)EASI算法用相對梯度J( y;W )W代替一般的隨機(jī)梯度進(jìn)行優(yōu)化計(jì)算,是一種將白化過程和去除高階相關(guān)過程同時(shí)進(jìn)行的一種具有等變化性的算法。但是EASI算法需要選取學(xué)習(xí)率參數(shù),且其選取是否合適直接影響算法的收斂性能,且其對于超高斯信號的收斂速度沒有遞歸最小二乘(RLS)算法快。其梯度公式如下:W =I - yyT + g ( y) yT-

15、 ygT( y) W自然梯度算法、EASI算法和迭代求逆算法都具有等變化性,但只適合于亞高斯或超高斯信號單獨(dú)存在的情況。在亞高斯和超高斯信號同時(shí)存在時(shí),可以使用廣義ICA算法和靈活I(lǐng)CA算法等自適應(yīng)算法,但它們的計(jì)算比較復(fù)雜。3.6 非線性PCA算法主分量分析PCA是以輸入數(shù)據(jù)協(xié)方差矩陣的最大特征值以及相應(yīng)的特征向量定義的常規(guī)的統(tǒng)計(jì)信號處理方法，標(biāo)準(zhǔn)的PCA方法僅僅用到了輸入數(shù)據(jù)的二階統(tǒng)計(jì)量，輸出數(shù)據(jù)之間滿足互不相關(guān)。將高階統(tǒng)計(jì)量引入標(biāo)準(zhǔn)的PCA方法中就稱為非線性PCA（Nonlinear PCA, NLPCA）方法，利用非線性PCA可以完成對輸入信號的盲分離。高階統(tǒng)計(jì)量是以隱含的方式引入計(jì)算

16、的，算法采用自適應(yīng)迭代的方法，易于工程實(shí)現(xiàn)。非線性PCA有兩個(gè)優(yōu)點(diǎn)：一是輸入輸出間的映射是非線性的，而標(biāo)準(zhǔn)PCA只能夠?qū)崿F(xiàn)線性映射；二是非線性PCA在處理輸入數(shù)據(jù)時(shí)，考慮了高階統(tǒng)計(jì)量，而不僅僅是其二階統(tǒng)計(jì)量，這個(gè)特性對于盲信號處理是特別有用的。非線性PCA的代價(jià)函數(shù)為：J(W)=E|V-Wg(WTV)|2這里的權(quán)值W是mm的矩陣,g()是對矢量的非線性函數(shù)，在非線性準(zhǔn)則里，g()通常是一些奇函數(shù)，如亞高斯信號g(t)=tanh(t)，超高斯信號g(t)= t3等。3.7 非線性混合盲分離算法在非線性混合模型中,盲信號分離算法的分離目標(biāo)是獲取逆線性混合矩陣。非線性盲分離的研究主要有以下幾類方法:

17、1.自組織映射(SOM)法:該算法不考慮非線性混合的具體形式,但其網(wǎng)絡(luò)復(fù)雜性會隨著源信號數(shù)目的增多呈指數(shù)增長,且在分離連續(xù)源信號時(shí)存在嚴(yán)重的插值誤差。2.感知器模型法:1992年,Burel首先提出用一個(gè)兩層感知器和基于BP思想的無監(jiān)督訓(xùn)練算法,通過梯度下降算法最小化互信息量準(zhǔn)則,得到一種可用于非線性混合信號的盲分離算法。1998年,Yang和Amari利用兩層感知器網(wǎng)絡(luò)結(jié)構(gòu),通過最大熵和最小互信息作為測量獨(dú)立的代價(jià)函數(shù),提出了BP網(wǎng)絡(luò)訓(xùn)練算法,當(dāng)合理選擇非線性函數(shù)時(shí),該算法可以分離出一些特定非線性混合的源信號。3.徑向基函數(shù)網(wǎng)絡(luò)法:2001年,Tan等人提出了使用徑向基函數(shù)(RBF)神經(jīng)網(wǎng)絡(luò)

18、逼近非線性混疊的逆映射,實(shí)現(xiàn)盲信號分離。4.后非線性混合盲分離方法: 1997年,Taleb和Jutten首先提出了后非線性混合模型,同時(shí)指出這類模型具有可分離性,并針對這類模型提出了一種非線性混合盲分離算法。Solazzi和Uncini也針對后非線性混合模型,基于信息量最大化準(zhǔn)則,利用自適應(yīng)樣條函數(shù),提出了樣條神經(jīng)網(wǎng)絡(luò)后非線性盲分離算法。利用多個(gè)獨(dú)立同分布信號的線性組合仍服從高斯分布的特性,先將觀測信號變成高斯信號,然后用瞬時(shí)線性混合的算法分離提取源信號,這種算法省去了求逆的過程。5.貝葉斯集合學(xué)習(xí)算法:該算法采用多層感知器神經(jīng)元網(wǎng)絡(luò)(MLP) ,能夠?qū)Ψ蔷€性靜態(tài)和動態(tài)過程實(shí)現(xiàn)盲分離。6.基

19、于遺傳算法的盲分離方法:該算法基于非線性混合模型:X(t)= AfHS(t)式中: A和H為線性、瞬時(shí)結(jié)構(gòu)的混合矩陣。利用遺傳算法使信號非線性混合度最小化,然后對去除非線性后的數(shù)據(jù)進(jìn)行線性分離,從而實(shí)現(xiàn)盲分離。與傳統(tǒng)的梯度算法相比,基于遺傳算法的盲分離方法有著更快的收斂速度和穩(wěn)定性,能夠在全局范圍內(nèi)尋找最優(yōu)解。4. 盲源分離的應(yīng)用4.1 語音信號處理Bell和Sejnoski于1995年提出了最大熵算法，并且給出了語音信號分離的試驗(yàn)，證實(shí)了該方法的可行性和有效性。Lee和Bell將基于自然梯度的信息最大傳輸盲源分離算法進(jìn)行盲反卷積，并用于真實(shí)環(huán)境的語音信號分離，試驗(yàn)證實(shí)分離后，可以提高語音識別

20、率。4.2 生物醫(yī)學(xué)信號處理由于生理信號常常是由若干獨(dú)立成分的加權(quán)（例如，誘發(fā)腦電總是被自發(fā)腦電所淹沒，且常常伴隨有心電、眼動、頭皮肌電等干擾），用獨(dú)立分量分析技術(shù)來分解，所得到的結(jié)果更具有生理意義，并有利于去除干擾等。4.3 金融數(shù)據(jù)分析Back和Weigend于1998年利用獨(dú)立分量分析對日本三年中每天的股票的portfolio進(jìn)行分析，假設(shè)得到的多維時(shí)間序列（例如每天股票的returns）是反映了一個(gè)系統(tǒng)（股票市場）的一些統(tǒng)計(jì)獨(dú)立的時(shí)間序列相互作用的結(jié)果，并同PCA獲得的結(jié)果進(jìn)行比較。結(jié)果顯示，應(yīng)用ICA分解得到的獨(dú)立成分能夠?qū)善钡膬r(jià)格完好的重建。因此ICA是PCA的一種有效的補(bǔ)充工具

21、，它允許數(shù)據(jù)的基本結(jié)構(gòu)能更輕易的觀察得到。4.4 在陣列信號處理以及在移動通信中的應(yīng)用一個(gè)未知的有限的帶寬信道的頻率響應(yīng)經(jīng)常會帶來碼間干擾（Inter symbol Interference, ISI），當(dāng)輸入未知時(shí)，要消除這種干擾，得到信道的傳輸函數(shù)，就必須要進(jìn)行“盲”處理。在移動通信中“盲”處理顯得格外重要。在移動通信中，由于時(shí)變多徑衰落會產(chǎn)生很嚴(yán)重的碼間干擾。為了得到正確的實(shí)時(shí)的信息流，就必須對信道的時(shí)變特性進(jìn)行辨識和均衡。雖然有很多技術(shù)，如碼分多址訪問（Code Division Multiple Access, CDMA）等的發(fā)展和應(yīng)用使得信道的容量增大，但是由于進(jìn)行辨識與均衡的部分所占的比例仍然很可觀。如果我們不使用訓(xùn)練序列，而采用盲信道辨識，從接收信號直接估計(jì)信道的特征，就會大大節(jié)省信道容量，提高信道容量的利用率。利用盲分離技術(shù)可以成功的