獨立成分分析成1課件

1、目錄目錄目錄v問題的提出問題的提出一、信號與隨機(jī)變量間的關(guān)系一、信號與隨機(jī)變量間的關(guān)系二、獨立分量分析法二、獨立分量分析法(ICA)的基本問題的基本問題三、獨立分量分析法三、獨立分量分析法(ICA)的歷史與應(yīng)用的歷史與應(yīng)用v數(shù)學(xué)準(zhǔn)備v獨立分量法具體算法問題的提出問題的提出：1、信號與隨機(jī)變量間的關(guān)系、信號與隨機(jī)變量間的關(guān)系一、信號與隨機(jī)變量間的關(guān)系問題：隨機(jī)變量X在實際中的體現(xiàn)？答：獨立重復(fù)試驗，得到試驗樣本集Xi。 由這組數(shù)據(jù)樣本點可以估計出隨機(jī)變量的各階矩，近而估計出pdf（probability distribution function)等全部統(tǒng)計信息。問題的提出問題的提出：1、信號與

2、隨機(jī)變量間的關(guān)系、信號與隨機(jī)變量間的關(guān)系對一個信號X(t)：獨立重復(fù)試驗 抽樣ti， i=1,2, N樣本集 X(ti)因而信號X(t)可以看成是一個隨機(jī)變量, 并可估算它的各階矩，以及談?wù)撍膒df，獨立、相關(guān)等統(tǒng)計特性。例如： 00.20.40.60.811.21.41.61.82-1-0.500.51Ni=11E=( )NiX(t)X tN2i=11D=( )E)NiX(t)X tX(t)問題的提出問題的提出：2、獨立分量分析法的基本問題、獨立分量分析法的基本問題v 假設(shè)源信號若干個統(tǒng)計上相互獨立的信號組成的，它們在空間中形成交疊，獨立分量分析(Independent Component

3、 Analysis，ICA)是借助于多個信道同步觀察交疊信號，將觀察信號經(jīng)過解混分解成若干獨立成分，作為對源信號的一組估計。信號源1( )s t2( )s t3( )s t( )Mst混合系統(tǒng)A觀察信號1( )x t2( )x t3( )x t( )Mxt解混矩陣B估計信號1( )y t2( )y t3( )y t( )Myt1信 道2信 道3信 道n信 道(t)S(t)X(t)Yv 簡化假設(shè)：1、A是線性系統(tǒng)，可用矩陣表示. (實際仿真時是隨機(jī)陣)2、信道對信號無影響，觀察信道數(shù)與信號數(shù)相同，(A，B方陣)信號源1( )s t2( )s t3( )s t( )Mst混合矩陣A觀察信號1( )

4、x t2( )x t3( )x t( )Mxt解混矩陣B估計信號1( )y t2( )y t3( )y t( )Myt1信 道2信 道3信 道n信 道( )( )ttXAS( )( )ttYBXN點采樣M NM MM NXASM NM MM NYBX問題的提出問題的提出：2、獨立分量分析法的基本問題、獨立分量分析法的基本問題問題的提出問題的提出：2、獨立分量分析法的基本問題、獨立分量分析法的基本問題信號的分離圖像的分離圖像的分離v 源圖像v 混合后的圖像v 分離后的圖像 問題的提出問題的提出：3、獨立分量分析法的基本問題、獨立分量分析法的基本問題v幾點說明：v1、解出來的Y只要求各分量獨立，因

5、而解不是唯一的，可以有相移、次序顛倒、幅值變化等v2、要解出Y，需要對Y各分量是否獨立進(jìn)行判斷。確切地說，需要找到某種判斷函數(shù)G，使Y個分量獨立時G(Y)達(dá)到最大或最小值。v3、由于獨立判據(jù)函數(shù)G的不同，以及求解Y的步驟不同，有不同的獨立分量分析法。問題的提出問題的提出：4、獨立分量分析法的歷史與應(yīng)用、獨立分量分析法的歷史與應(yīng)用v歷史：v是盲信號處理的一種，是90年代后期發(fā)展起來的vICA是盲信號處理的一個組成部分，20世紀(jì)90年代后期(1986、1991)發(fā)展起來的一項新處理方法，最早是針對“雞尾酒會問題”這一聲學(xué)問題發(fā)展起來的v雞尾酒會問題：從酒會的嘈雜的聲音中，如何分辨出所關(guān)心的聲音(

6、)S tH( )X t信道問題的提出問題的提出：4、獨立分量分析法的歷史與應(yīng)用、獨立分量分析法的歷史與應(yīng)用v 應(yīng)用：盲分離問題的研究在短短的二十年時間里，已經(jīng)取得顯著的成效，也正因為信號盲分離技術(shù)具有如此廣闊的應(yīng)用前景，促使國內(nèi)外廣大的科研工作者迅速投身這一領(lǐng)域的研究，盲分離技術(shù)也因此獲得了飛速的發(fā)展。然而，這一領(lǐng)域的研究工作還遠(yuǎn)不能滿足工程的需要，特別在單路混疊信號的盲分離與應(yīng)用方面，是一個基本的、極富挑戰(zhàn)性的研究課題。 v 信號處理碼分多址通信，雷達(dá)信號分選等v 生物醫(yī)學(xué)心電圖(胎兒)，腦電圖等v 圖像處理圖像壓縮，數(shù)字識別，圖像融合等v 其他地震勘探、遙感遙測等，總之包含了信息、通訊、生

7、命、材料、電力、機(jī)械、化學(xué)等各個學(xué)科模型與假定模型與假定v 設(shè)某個混合系統(tǒng)由個k傳感器和m個信號源組成，其混合模型可以表述如下：v v 為了保證上式的可分解性。需有如下的假設(shè)限制（約束條件） ：v 1.每個源信號之間是統(tǒng)計獨立的，其聯(lián)合概率密度函數(shù)可分解為邊緣密度的乘積。v 2.混合矩陣 ,為列滿秩的矩陣，即rank( )= 。v 3.在 的分量中，服從高斯分布的分量不超過一個。v 分離結(jié)果的不確定性：分離結(jié)果的不確定性：v 1：幅值的不確定性；2：排列次序的不確定性12 ( ), ( ), ( )Tks t s ts ts12 ( ), ( ), ( )Tks t s ts ts12 ( )

8、,( ),( )Tmx t x tx tx(t)=(t)xAs121122( ,.,)( )().()nnnP s ssp s p sp sm nARm nARA Ak( )s t目錄目錄目錄v問題的提出v預(yù)備知識預(yù)備知識一、統(tǒng)計數(shù)學(xué)知識一、統(tǒng)計數(shù)學(xué)知識二、信息論基本知識二、信息論基本知識三、三、概率密度函數(shù)的展開概率密度函數(shù)的展開四、信號通過線性系統(tǒng)信息特征的變化四、信號通過線性系統(tǒng)信息特征的變化v獨立分量法介紹v總結(jié)與展望預(yù)備知識：一、統(tǒng)計數(shù)學(xué)知識預(yù)備知識：一、統(tǒng)計數(shù)學(xué)知識v1、特征函數(shù)v2、第二特征函數(shù) 各分量獨立時：( )( )j xj xp x edxE e ( )log ( )ss

9、( )( )TTjjpedE e x xxxsj( ) s( )s替換( )log ( )ss單變量多變量單變量多變量=1( )=( )Miiss=1( )=( )Miiss預(yù)備知識：一、統(tǒng)計數(shù)學(xué)知識預(yù)備知識：一、統(tǒng)計數(shù)學(xué)知識3、矩 n階矩：v4、累計量 n階累計量：0( )()nnnsndsmE xds0( )nnsndskds11km2221kmm33321132kmm mm24423134kmmm m24211126m mm期望方差單變量多變量121212,012( ),MMMnnnnsssnnnMMssss1Mnnn單變量121212,012( ),MMMnnnnsssnnnMKsss

10、s1Mnnn（聯(lián)合矩）多變量（聯(lián)合累計量）預(yù)備知識：一、統(tǒng)計數(shù)學(xué)知識預(yù)備知識：一、統(tǒng)計數(shù)學(xué)知識v 當(dāng)各分量獨立時：只有 中一個非零，其他皆為零時，不為零。即互累計量為零。(可作為檢驗獨立的一個判據(jù))121212,012( ),MMMnnnnsssnnnMKssss1Mnnn12,Mn nn12,MnnnK預(yù)備知識：二、信息論基本知識預(yù)備知識：二、信息論基本知識1、熵 信號中平均所含有的信息量。隨機(jī)信號 單變量： 多變量： 聯(lián)合熵： 各分量獨立時：在協(xié)方差矩陣相同的概率密度函數(shù)中，高斯分布的熵最大。( )( )log( )(log( )H xp xp x dxEp x ( )( )log( )(

11、log( )HppdEp xxxxx1( )( )NiiHH xxxx預(yù)備知識：二、信息論基本知識預(yù)備知識：二、信息論基本知識2、Kullback-Leibler散度 兩個概率密度函數(shù)間相似程度的度量。概率密度函數(shù)：p(x),q(x) 單變量： 多變量： 特點：( ) ( ), ( )( )log( )p xKL p x q xp xdxq x( ) ( ), ( )( )log( )pKL pqpdqxxxxxx ( ), ( )0KL p x q x( )( )KLp xq x=0,0KL ( ), ( )KL ( ), ( )pqpqyBx Byyxx預(yù)備知識：二、信息論基本知識預(yù)備知識

12、：二、信息論基本知識3、互信息 可見 ，當(dāng)僅但當(dāng)各分量獨立時， 互信息是各分量獨立程度的最直接的量度！ =1( ) ( ),( )NiiIKL pp xxx( )0Ix( )0Ix預(yù)備知識：二、信息論基本知識預(yù)備知識：二、信息論基本知識4、負(fù)熵 任意概率密度函數(shù)p(x)pG(x): 與p(x) 其具有相同協(xié)方差陣的高斯分布因為在協(xié)方差矩陣相同的概率密度函數(shù)中，高斯分布的熵最大，所以負(fù)熵非負(fù)。負(fù)熵用來度量p(x)的非高斯程度。非高斯性另一種衡量方法：四階累計量k4,峰度(kurtosis)，單變量。 |k4| 高斯信號k4 =0 k4 0,超高斯 k4 0,亞高斯 ( )=KL ( ),( )(

13、 )( )GGJ p xp x pxHxH x11()()()log2detiNiixxxiVI pJ pJ pVV是協(xié)方差陣預(yù)備知識預(yù)備知識：三、：三、概率密度函數(shù)的展開概率密度函數(shù)的展開v高階統(tǒng)計量形式：設(shè)x零均值，方差1（白化數(shù)據(jù)）vEdgeworth展開vGram-Charlier展開3434( )1( )( )( )3!4!Gp xkkHxHxpx ( ),nH x Hermite多項式2232344341 ( )47648J p xkkkk k2242343341 ( )431848J p xkkkk k缺點：大值野點會引起較大誤差預(yù)備知識預(yù)備知識：三、：三、概率密度函數(shù)的展開概率

14、密度函數(shù)的展開v非多項式函數(shù)的加權(quán)和形式：文獻(xiàn)提到，當(dāng) 與標(biāo)準(zhǔn)高斯分布 相差不太大時， 可用若干個非多項式函數(shù) 的加權(quán)和來逼近： 需要滿足以下條件：(1)、正交歸一性(2)、矩消失性( )p y( )Gpy( )p y(i)( )(1)Fy iN( )1( )( )1( )NiGiip ypycFy(i)( )Fy( )( )( )0,0,1,2kiGpy y Fy dyk( )( )( )( )( )ijGijpy Fy Fy dy探查性投影追蹤探查性投影追蹤為了使近似性能較好，F(xiàn)(y)除了上述性質(zhì)外，最好能有以下性質(zhì)： (1)、統(tǒng)計特性EF(y)不難求得(2)、當(dāng)y增大時，F(xiàn)(y)的增長速

15、度不能快于 ，以使EF(y)對野點不太敏感。通常N取1或2。有以下函數(shù)形式可用：2y(1)( ):Fy1logcoshaya2(/2)yye12,1aa通常取(2)( ):Fy2(/2)yey預(yù)備知識：四、信號通過線性系統(tǒng)信息特征的變化預(yù)備知識：四、信號通過線性系統(tǒng)信息特征的變化v信號通過線性系統(tǒng)v熵關(guān)系： |B|=1，即系統(tǒng)正交歸一時，熵不變vKL散度關(guān)系： |B|=1，即系統(tǒng)正交歸一時，KL散度為0( ) txB( )( )ttyBx線性系統(tǒng)( )( )logHHyxB ( ), ( )logKL ppxyB預(yù)備知識：四、信號通過線性系統(tǒng)信息特征的變化預(yù)備知識：四、信號通過線性系統(tǒng)信息特征

16、的變化v互信息關(guān)系：v負(fù)熵關(guān)系： ( )= ( )J pJ pyx11( )( )log( )( )NNiiiiI yI xH yH xB( , )( )()( )()I x yH yH y xH xH x y目錄目錄目錄v問題的提出v數(shù)學(xué)準(zhǔn)備v獨立分量法具體算法獨立分量法具體算法一、主要步驟一、主要步驟二、各類二、各類ICA算法簡介算法簡介三、三、Fast ICA算法算法v總結(jié)與展望目錄：獨立分量法具體算法目錄：獨立分量法具體算法v獨立分量法具體算法一、主要步驟一、主要步驟二、各類ICA算法簡介三、Fast ICA算法獨立分量法具體算法獨立分量法具體算法：一、：一、主要步驟主要步驟v獨立分量

17、分析： 對交疊信號X，求解混矩陣B，使Y=BX各分量盡量相互獨立。獨立判據(jù)函數(shù)G。主要步驟：v預(yù)處理部分（簡化計算）v核心算法部分獨立分量法具體算法獨立分量法具體算法：一、：一、主要步驟主要步驟v預(yù)處理部分：v1、對X零均值處理 v2、球化分解（白化）即：乘球化矩陣S，使Z=SX各行正交歸一，即ZZ=I意義：消除原始各道數(shù)據(jù)間二階相關(guān)(?)，以后只需要考慮高階矩量(因為獨立時各階互累積量為0)，使很多運(yùn)算過程簡化。注意：各道數(shù)據(jù)間不相關(guān)，不一定獨立，除非是高斯信號獨立分量法具體算法獨立分量法具體算法: 一、一、主要步驟主要步驟主成分分析與球化主成分分析與球化協(xié)方差矩陣：特征值分解： U:特征向量矩陣，正交歸一，每一列稱為一特征向量:特征值對角矩陣，可排序：特征值代表分量功率大小。P中各行正交，稱為X的主分量，且可見各行能量從大到小排列可以選擇能量大的主分量代表X，此即為主成份分析的由來。TXCXX12,M DiagT UU120M12 ,MUu uu=iiiXC uuT1MiiiiXCu uTPU XTPP獨立分量法具體算法獨立分量法具體算法: 一、一、主要步驟主要步驟主成分分析與球化主成分分析與球化取球化陣：可見：滿足球化條件！1/2T1/2ZSXU XP1/2TSUT1/2TT