盲源分離算法比較研究

盲源分離算法比較研究

獨(dú)立分量分析（ica）是將觀察到的隨機(jī)向量分解成幾個(gè)獨(dú)立變量的方法1的方法。ICA的應(yīng)用十分廣泛,較新的應(yīng)用有因果關(guān)系分析、獨(dú)立分量檢測(cè)、多數(shù)據(jù)集分析等［2］。盲源分離(blindsourcesseparation,BSS)是指在不知源信號(hào)和傳輸通道參數(shù)的情況下,僅由觀測(cè)信號(hào)恢復(fù)出源信號(hào)各個(gè)分量的過程。ICA的發(fā)展是與BSS緊密聯(lián)系的,只是后者的研究范疇更寬,處理手段也更多［3］。然而,在源信號(hào)相互統(tǒng)計(jì)獨(dú)立的假設(shè)前提下,ICA與BSS的提法可以認(rèn)為是完全一致的。FastICA［4～6］是芬蘭學(xué)者Hyvue562rinen等人于1997年以及之后提出的著名的一類ICA算法,該類算法的主要優(yōu)點(diǎn)在于收斂速度快,且由于無須引入調(diào)節(jié)步長(zhǎng)等人為設(shè)置參數(shù)而更簡(jiǎn)單方便。然而,Chevalier等人于2004年首先在文獻(xiàn)中提出,FastICA在弱的或是空間相關(guān)性高的源信號(hào)的情況下會(huì)失敗,并在之后提出了RobustICA［8～11］算法,該算法被證明不僅簡(jiǎn)單,且性能超過了FastICA。然而,RobustICA使用的目標(biāo)函數(shù)正是FastICA中認(rèn)為不夠穩(wěn)健的峭度,因此本文主要針對(duì)這個(gè)問題進(jìn)行研究,并進(jìn)一步對(duì)這兩種算法的穩(wěn)健性、算法復(fù)雜度等方面的性能進(jìn)行分析比較,為以后更好地使用及進(jìn)一步改進(jìn)這些算法打好基礎(chǔ)。1獨(dú)立片段分析的總結(jié)1.1混合模型估計(jì)假設(shè)觀測(cè)到m個(gè)隨機(jī)變量x1,x2,…,xm,而這些變量是由另外n個(gè)隨機(jī)變量s1,s2,…,sn線性組合得到的式中:aij是實(shí)系數(shù)。假設(shè)si在統(tǒng)計(jì)上彼此獨(dú)立。這就是基本的ICA模型。由于該模型描述了觀測(cè)變量是如何由獨(dú)立分量si的混合過程得到的,因此ICA是一種生成模型。用向量—矩陣符號(hào)方式表示通常比式(1)的求和表達(dá)式更為方便。此時(shí),混合模型可以寫為在盲源分離問題中,上式可理解為:s為源信號(hào),A為混合矩陣,x為觀測(cè)信號(hào)。由于無噪聲模型的估計(jì)問題其本身已相當(dāng)困難［6］,因此為了簡(jiǎn)單起見,該模型中忽略了噪聲項(xiàng)。ICA模型的估計(jì)通常是通過先選擇一個(gè)合適的目標(biāo)函數(shù),然后對(duì)其進(jìn)行最小化或是最大化。其中目標(biāo)函數(shù)的選擇決定了ICA算法的統(tǒng)計(jì)性質(zhì),如一致性、漸變性、穩(wěn)健性等,最優(yōu)化算法則決定了ICA算法運(yùn)行的性能,如收斂速度、計(jì)算復(fù)雜度以及穩(wěn)定性等。關(guān)于ICA的詳細(xì)內(nèi)容可參閱文獻(xiàn)。1.2ica的獨(dú)立成分為確保ICA模型能夠被估計(jì),必須對(duì)其進(jìn)行一定的約束。首先,獨(dú)立分量也就是源信號(hào),被假定是統(tǒng)計(jì)獨(dú)立的。該假設(shè)是ICA能夠成立的前提。其次,獨(dú)立成分必須具有非高斯的分布。如果觀測(cè)變量具有高斯分布,那么ICA在本質(zhì)上是不可能實(shí)現(xiàn)的。最后,為了簡(jiǎn)單起見,假定未知的混合矩陣是方陣。也就是說,獨(dú)立分量的個(gè)數(shù)與觀測(cè)向量的個(gè)數(shù)是相等的,即m=n。前兩個(gè)約束是為了確保ICA模型是可辨識(shí)的,而第三條約束則是為了簡(jiǎn)化問題,并不是必需的。1.3源信號(hào)和混合矩陣不確定的原因分析從ICA的模型中容易發(fā)現(xiàn)存在一些不確定因素。一是獨(dú)立分量的方差是不確定的,二是獨(dú)立分量的次序是不確定的。這兩個(gè)不確定因素的原因均在于源信號(hào)和混合矩陣都是未知的。然而在盲源分離問題中,這兩個(gè)方面的不確定性并不會(huì)影響對(duì)于源信號(hào)的辨識(shí),因此是允許其存在的。2比較fastic和robotic算法2.1fpsa算法的迭代1997年芬蘭學(xué)者Hyvue562rinen等人首先提出基于峭度的固定點(diǎn)算法［4］,其后,在1999年又提出了基于負(fù)熵的ICA固定點(diǎn)算法［5］,在2001年出版的著作［6］中又作了進(jìn)一步的簡(jiǎn)化。由于這一算法比批處理甚至自適應(yīng)處理具有更快的收斂速度,因此又被稱為快速ICA算法,即FastICA。該算法首先要求對(duì)觀測(cè)數(shù)據(jù)進(jìn)行白化預(yù)處理,去除數(shù)據(jù)間的相關(guān)性。對(duì)FastICA算法的改進(jìn)主要有對(duì)其優(yōu)化算法的改進(jìn)以及使用更為穩(wěn)健的高階統(tǒng)計(jì)方法［13］。本文主要對(duì)經(jīng)典的FastICA算法進(jìn)行研究?；谇投鹊腇astICA算法以峭度作為非高斯性的度量。假設(shè)白化后的觀測(cè)向量為x,尋找觀測(cè)值xi的一個(gè)線性組合,即wTx,使其具有最大或最小的峭度。算法的迭代公式如下:式中:E{·}表示求數(shù)學(xué)期望。該算法雖然簡(jiǎn)單卻是非常有效的,它能夠快速且可靠地收斂,大部分情況下比基于梯度的算法具有明顯的優(yōu)勢(shì)。然而在實(shí)際應(yīng)用中,由于峭度的值只能從測(cè)量樣本中估計(jì),使得峭度方法也存在一些缺點(diǎn)。而負(fù)熵作為非高斯性的度量其效果優(yōu)于峭度,因此基于負(fù)熵的FastICA算法的應(yīng)用更廣泛一些。使用負(fù)熵的最大問題在于其計(jì)算非常困難,因此負(fù)熵的近似是十分必要的。此處略去算法的推導(dǎo)過程,給出算法的迭代公式如下:式中:g(·)的選擇參見文獻(xiàn)。與前面提及的峭度算法相同的是,FastICA在無須快速適應(yīng)變化環(huán)境的情況下,即使只用到負(fù)熵的一般形式的近似,其收斂特性也是二次的。更進(jìn)一步,由于算法中沒有調(diào)節(jié)步長(zhǎng)或其他需要調(diào)整的參數(shù),故算法容易使用且更加可靠。此外,利用負(fù)熵的魯棒性近似取代峭度增強(qiáng)了相應(yīng)估計(jì)的統(tǒng)計(jì)性能。2.2基于穩(wěn)健性檢驗(yàn)的rowelltica算法Zarzoso等人［11］研究表明,在眾多的目標(biāo)函數(shù)中,峭度被證明是在ICA中使用得最普遍的統(tǒng)計(jì)量。盡管峭度在漸近方差以及對(duì)于野點(diǎn)的穩(wěn)健性方面存在不足,但是峭度被證明在數(shù)學(xué)上易處理,計(jì)算簡(jiǎn)便,對(duì)有限采樣的穩(wěn)健性,使得峭度被廣泛使用［14］。假設(shè)觀測(cè)數(shù)據(jù)為x,同F(xiàn)astICA不同的是,RobustICA所使用的觀測(cè)數(shù)據(jù)x是沒有經(jīng)過白化處理的,僅要求其均值為零,則解混后的數(shù)據(jù)為y=wTx,其峭度公式為算法細(xì)節(jié)參閱文獻(xiàn)。RobustICA算法能在不作任何改動(dòng)的情況下處理實(shí)數(shù)源和復(fù)數(shù)源。2.3標(biāo)準(zhǔn)1:標(biāo)準(zhǔn)形式下無噪聲條件下的標(biāo)準(zhǔn)使用假設(shè)v為零均值的實(shí)隨機(jī)變量,則其峭度定義為對(duì)于高斯隨機(jī)變量其峭度為零;峭度大于零的稱為超高斯分布;峭度小于零的稱為亞高斯分布。對(duì)于兩個(gè)獨(dú)立隨機(jī)變量v1與v2以及標(biāo)量α,峭度滿足如下公式:使用峭度作為目標(biāo)函數(shù)最大的優(yōu)點(diǎn)在于其計(jì)算簡(jiǎn)便,易于實(shí)現(xiàn);其次,在無噪聲的模型下,對(duì)于無限采樣點(diǎn)不存在偽局部極值點(diǎn)。正是峭度這個(gè)吸引人的特性可以產(chǎn)生全局收斂的ICA算法［11］。然而,峭度作為目標(biāo)函數(shù)存在的問題也是不容忽視的。峭度存在的問題主要有兩個(gè)方面:a)漸近方差問題;b)對(duì)于野值的穩(wěn)健性問題［14］。首先,對(duì)于超高斯的獨(dú)立分量而言,漸近方差最小化要求目標(biāo)函數(shù)較四階功率的增長(zhǎng)更加緩慢。而四階功率是四階累積量或者說是峭度所固有的特性。此時(shí),以峭度作為目標(biāo)函數(shù)并不能滿足漸近方差最小化的要求。其次,峭度可能對(duì)野值極其敏感,即其值可能只取決于分布于邊緣的少量觀測(cè)值,而這些觀測(cè)值可能是錯(cuò)誤的或與問題無關(guān)的。更進(jìn)一步,對(duì)于野點(diǎn)的穩(wěn)健性也需要有緩慢增長(zhǎng)的目標(biāo)函數(shù)。而實(shí)際中的信號(hào)很多是具有超高斯分布的,這就意味著在大多數(shù)情況下,峭度并不是一個(gè)相當(dāng)充分的目標(biāo)函數(shù)。綜上所述,峭度并不是一個(gè)非高斯性的魯棒度量。2.4這兩種算法的比較本節(jié)主要從以下兩個(gè)方面對(duì)FastICA和RobustICA這兩個(gè)算法進(jìn)行比較:基于負(fù)熵的fps基于峭度的FastICA算法其目標(biāo)函數(shù)中峭度的定義如式(11)所示,稱之為簡(jiǎn)單形式。而RobustICA算法中的目標(biāo)函數(shù)的峭度為其四階累積量的完整表達(dá)式,如式(5)所示?；谪?fù)熵的FastICA算法使用的是經(jīng)過近似處理的負(fù)熵作為非高斯性的度量,與基于峭度的FastICA算法相比,該方法的性能更好［5］。文獻(xiàn)中提出基于預(yù)白化階段的正交進(jìn)程有一個(gè)固有的下限,也就是說在采樣數(shù)量N趨近于無窮時(shí)達(dá)到的漸近分離性能,這主要是由于在計(jì)算白化矩陣時(shí)引入的誤差在后續(xù)的計(jì)算中無法補(bǔ)償。因此在有限采樣點(diǎn)的情況下,使用完整表達(dá)式且不經(jīng)過白化處理的方式較使用簡(jiǎn)單形式且必須要進(jìn)行白化預(yù)處理的方式,其提取性能會(huì)有所提升。算法的基本思想基于峭度的FastICA算法使用的是固定點(diǎn)算法進(jìn)行優(yōu)化,而基于負(fù)熵的FastICA算法則使用的是Newton法進(jìn)行優(yōu)化。而Newton法本身存在一些問題:首先,可能會(huì)出現(xiàn)在某步迭代時(shí)目標(biāo)函數(shù)值上升的情況;其次,當(dāng)初始值距最優(yōu)值較遠(yuǎn)時(shí),產(chǎn)生的點(diǎn)列可能不收斂,或者收斂到鞍點(diǎn),或者得到的Hesse矩陣奇異,無法繼續(xù)計(jì)算;最后,因?yàn)樾枰?jì)算Hesse矩陣,因此計(jì)算量大。RobustICA算法使用的是精確線性搜索優(yōu)化方法來獲得最優(yōu)步長(zhǎng)。然而,精確線性搜索計(jì)算十分復(fù)雜,要想在實(shí)際中應(yīng)用就必須進(jìn)行一些改進(jìn)。RobustICA算法是通過將峭度表示成μ的多項(xiàng)式,通過尋找低級(jí)多項(xiàng)式的根來確定全局最優(yōu)步長(zhǎng)μopt。3信號(hào)均方誤差評(píng)判算法本章主要對(duì)FastICA和RobustICA這兩種算法的性能進(jìn)行比較分析。其中,FastICA中又包含了基于峭度的算法(Fast-ICA-Kurtosis,簡(jiǎn)記為F-K)和基于負(fù)熵的算法(FastICA-Negent-ropy,簡(jiǎn)記為F-N),加上RobustICA(簡(jiǎn)記為R)算法。本章主要對(duì)這三個(gè)算法在亞高斯源、超高斯源以及混合源的情況下,隨信噪比以及采樣點(diǎn)數(shù)的變化對(duì)其性能的影響進(jìn)行比較。為了更精確描述信號(hào)分離的性能優(yōu)劣,這里使用信號(hào)均方誤差(SMSE)作為評(píng)判準(zhǔn)則［9］,公式如下:其中:sk為源信號(hào),^sk為相應(yīng)的估計(jì)信號(hào),K為源信號(hào)個(gè)數(shù)。本章的算法研究以MATLAB作為仿真平臺(tái),分別使用了三個(gè)亞高斯源、三個(gè)超高斯源以及由兩個(gè)亞高斯源和兩個(gè)超高斯源組成的混合源,混合矩陣隨機(jī)生成,加入高斯白噪聲,對(duì)混合后的含噪數(shù)據(jù)使用前面提及的三個(gè)算法進(jìn)行盲源分離。3.1亞高斯源和混合源對(duì)算法性能的影響首先對(duì)三個(gè)亞高斯源混合后加入高斯白噪聲,每個(gè)源取3000個(gè)采樣點(diǎn),信噪比從-15dB增加至45dB,每個(gè)實(shí)驗(yàn)點(diǎn)重復(fù)實(shí)驗(yàn)200次,對(duì)結(jié)果進(jìn)行平均。得到的結(jié)果如圖1所示。對(duì)三個(gè)超高斯源混合后加入高斯白噪聲,每個(gè)源取5000個(gè)采樣點(diǎn),信噪比從-15dB增加至51dB,每個(gè)實(shí)驗(yàn)點(diǎn)重復(fù)實(shí)驗(yàn)200次,對(duì)結(jié)果進(jìn)行平均。得到的結(jié)果如圖2所示。對(duì)四個(gè)源組成的混合源混合后加入高斯白噪聲,每個(gè)源取5000個(gè)采樣點(diǎn),信噪比從-15dB增加至51dB,每個(gè)實(shí)驗(yàn)點(diǎn)重復(fù)實(shí)驗(yàn)200次,對(duì)結(jié)果進(jìn)行平均。得到的結(jié)果如圖3所示。從圖1中可以看出,F-K和F-N算法在亞高斯源的情況下隨著信噪比的增加性能變化基本一致,而R算法在信噪比為0~20dB之間的性能略優(yōu)于F-K和F-N算法。在超高斯源的情況下,從圖2中可見,三個(gè)算法在信噪比低于15dB時(shí),性能差別不大,F-K和F-N算法略優(yōu)于R算法,當(dāng)信噪比大于15dB時(shí),R算法優(yōu)于F-N算法,F-N算法優(yōu)于F-K算法?；旌显吹那闆r下(圖3),F-K與F-N算法性能基本一致,在0~30dB之間R算法的性能略優(yōu)于這兩種算法,大于30dB時(shí),F-K和F-N算法優(yōu)于R算法。綜上所述,在亞高斯源和混合源的情況下,信噪比較低時(shí),R算法優(yōu)于F-K和F-N算法,信噪比較高時(shí),FastICA的兩個(gè)算法的性能更好。而對(duì)超高斯信號(hào)而言,低信噪比時(shí)F-K和F-N算法性能相當(dāng),略優(yōu)于R算法,信噪比較高時(shí)R算法的性能最優(yōu),其次是F-N算法,F-K算法的性能相對(duì)最差。3.2單次給藥性能本部分實(shí)驗(yàn)對(duì)三個(gè)亞高斯源混合后加入高斯白噪聲,信噪比分別取10dB、20dB和30dB,每個(gè)源從150個(gè)采樣點(diǎn)取至1350個(gè)采樣點(diǎn),間隔50個(gè)采樣點(diǎn),每個(gè)實(shí)驗(yàn)點(diǎn)重復(fù)實(shí)驗(yàn)200次,對(duì)結(jié)果進(jìn)行平均。三個(gè)不同的信噪比下得到的性能對(duì)比如圖4所示。從圖中可以看出,對(duì)亞高斯源而言,低信噪比時(shí),R算法的性能隨著采樣點(diǎn)數(shù)的增加始終優(yōu)于FastICA算法。而在信噪比較高時(shí),在采樣點(diǎn)數(shù)少于400時(shí),R算法的性能明顯優(yōu)于FastICA算法,采樣點(diǎn)數(shù)大于400時(shí),幾種算法的性能隨采樣點(diǎn)數(shù)的變化基本一致。接下來對(duì)三個(gè)超高斯源混合后加入高斯白噪聲,信噪比分別取10dB、20dB和30dB,每個(gè)源從100個(gè)采樣點(diǎn)取至3500個(gè)采樣點(diǎn),間隔200個(gè)采樣點(diǎn),每個(gè)實(shí)驗(yàn)點(diǎn)重復(fù)實(shí)驗(yàn)200次,對(duì)結(jié)果進(jìn)行平均,得到的性能對(duì)比如圖5所示。從圖5中可以看出,當(dāng)源信號(hào)為超高斯信號(hào)時(shí),SNR=10dB時(shí)幾種算法的性能基本一致。而當(dāng)信噪比較高時(shí),隨著采樣點(diǎn)數(shù)的增加R算法的性能最優(yōu),F-N算法次之,F-K算法相對(duì)較差。此外,信噪比較高時(shí),FastICA算法隨著采樣點(diǎn)數(shù)的增加性能的波動(dòng)較大,R算法則相對(duì)平穩(wěn)一些。最后對(duì)混合源信號(hào)混合時(shí)加入高斯白噪聲,信噪比分別取10dB、20dB和30dB,每個(gè)源從100個(gè)采樣點(diǎn)取至2250個(gè)采樣點(diǎn),間隔100個(gè)采樣點(diǎn),每個(gè)實(shí)驗(yàn)點(diǎn)重復(fù)實(shí)驗(yàn)200次,對(duì)結(jié)果進(jìn)行平均,得到的性能對(duì)比如圖6所示。從圖6中混合源的情況可以看出,信噪比為10dB和20dB的時(shí)候,F-K和F-N算法的性能隨采樣點(diǎn)數(shù)的變化基本一致,R算法則要優(yōu)于這兩個(gè)算法。當(dāng)信噪比為30dB時(shí),采樣點(diǎn)數(shù)小于1100時(shí),R算法的性能最優(yōu),F-N次之,F-K最后;當(dāng)采樣點(diǎn)數(shù)大于1100,小于2000時(shí),R和F-N算法性能相當(dāng),F-K次之;當(dāng)采樣點(diǎn)數(shù)大于2000時(shí),三個(gè)算法性能基本相同。3.3浮點(diǎn)操作的生成一些文獻(xiàn)中,算法復(fù)雜度通常使用迭代次數(shù)來作為評(píng)測(cè)標(biāo)準(zhǔn)。有的算法可能需要上千次的迭代,但其每次迭代的運(yùn)算量很小,算法的復(fù)雜度并不高;還有一類僅需很少的迭代就可收斂的算法,其每次迭代中可能包含很大的運(yùn)算量,因此迭代次數(shù)這個(gè)標(biāo)準(zhǔn)并不是十分合理。此外,還有一些文獻(xiàn)中使用算法的平均運(yùn)行時(shí)間作為評(píng)判標(biāo)準(zhǔn),但是這個(gè)標(biāo)準(zhǔn)也并不客觀。因?yàn)槭褂貌煌木幊陶Z言,不同的運(yùn)行環(huán)境,對(duì)同一問題不同的處理手段會(huì)使算法的運(yùn)行時(shí)間產(chǎn)生顯著的差別。因此考慮使用算法在完成一次完整運(yùn)算時(shí)所需要的浮點(diǎn)操作的數(shù)量作為復(fù)雜度更客觀的評(píng)測(cè)標(biāo)準(zhǔn)。一次浮點(diǎn)操作可以看做是一次加法再加一次乘法,實(shí)際執(zhí)行中,在一個(gè)數(shù)字信號(hào)處理器中一次浮點(diǎn)操作相應(yīng)于一次乘累加循環(huán)。在信號(hào)提取問題中,提取算法的總代價(jià)可以使用迭代次數(shù)、每個(gè)源每次迭代的代價(jià)以及提取源的數(shù)量的乘積來計(jì)算。此外,如果數(shù)據(jù)需要進(jìn)行白化預(yù)處理,此階段中在計(jì)算奇異值分解的過程中,會(huì)額外增加2K2T次浮點(diǎn)操作。每個(gè)源每個(gè)采樣點(diǎn)的復(fù)雜度可以通過總代價(jià)除以KT獲得,其中K為源信號(hào)的個(gè)數(shù),T為采樣長(zhǎng)度。RobustICA和FastICA在每次迭代中需要的主計(jì)算量如表1所示。其中,基于負(fù)熵的FastICA算法使用的函數(shù)g(·)按下式選取:計(jì)算量的統(tǒng)計(jì)細(xì)節(jié)參閱文獻(xiàn),統(tǒng)計(jì)過程中的期望用觀測(cè)信號(hào)的采樣平均來代替。采樣長(zhǎng)度T假設(shè)足夠大,此時(shí)只有由T決定的項(xiàng)被考慮。從表中可以看出RobustICA單次迭代的代價(jià)通常比FastICA高,然而,正如文獻(xiàn)所證實(shí)的那樣,RobustICA的每一次迭代在搜索好的解決方案時(shí)更加有效,因此在同樣精度要求