現(xiàn)代統(tǒng)計(jì)信號(hào)處理(第一章)

1、2.718281828459045235360287471352662497757247093699959 57496696762772407663035354759457138217852516642742746 63919320030599218174135966290435729003342952605956307 3813232862794349076323382988075319525101901 SelectFromDitits/PartitionFirstRealDigitsE,10,1000,10,1,PrimesQ,1 Reference Harvard University

2、 Engineering Sciences 251r. Advanced Topics in Inference, Information, and Statistical Signal Processing Waterloo, Canada ECE 603: Statistical Signal Processing, for Graduate student, Steven M. Kay, Fundamentals of Statistical Signal Processing, Prentice Hall, 1993 邱田爽等著 統(tǒng)計(jì)信號(hào)處理-非高斯信號(hào)處理及應(yīng)用. 電子工業(yè)出版社，2

3、004 J.G.Proakis(美) 統(tǒng)計(jì)信號(hào)處理算法，清華大學(xué)出版社，2006 School of Electronics and Information Engineering 2/30 第一章 引言 1.1基本概念 統(tǒng)計(jì)信號(hào)處理 是從噪聲背景中提取有用信息的最佳理論和方法從噪聲背景中提取有用信息的最佳理論和方法。基本內(nèi)容 包括了信號(hào)檢測、估計(jì)和最佳濾波理論及其應(yīng)用。 應(yīng)用領(lǐng)域 通信、雷達(dá)、聲納、導(dǎo)航、自動(dòng)控制、語音信號(hào)、圖像、生物醫(yī) 學(xué)、地震信號(hào)等 School of Electronics and Information Engineering 3/30 噪聲信號(hào)觀測信號(hào) + 統(tǒng)計(jì)信號(hào)

4、處理 統(tǒng)計(jì)信號(hào)處理的基本問題 舉例1：通信系統(tǒng) 處理要求：有效性問題、可靠性問題 處理約束：外部干擾、內(nèi)部噪聲、信號(hào)畸變 解決的問題： 噪聲中信息檢測問題 消除信號(hào)畸變的最佳濾波問題 School of Electronics and Information Engineering 4/30 信源變換編碼調(diào)制 解調(diào)解碼反變換信宿 信道信道 統(tǒng)計(jì)信號(hào)處理的基本問題 舉例2：雷達(dá)系統(tǒng) 處理要求：目標(biāo)發(fā)現(xiàn)問題、目標(biāo)定位問題 處理約束：外部干擾、內(nèi)外部噪聲、雜波 解決的問題： 噪聲中目標(biāo)檢測問題 回波信號(hào)延遲測量的最佳濾波問題 School of Electronics and Information

5、 Engineering 5/30 統(tǒng)計(jì)信號(hào)處理的基本問題 舉例3：聲納系統(tǒng) 處理要求： 目標(biāo)發(fā)現(xiàn)問題、目標(biāo)定位問題 處理約束：外部干擾、內(nèi)外部噪聲、雜波 解決的問題： 傳感器陣列目標(biāo)定位問題 回波信號(hào)的波形估計(jì)問題 School of Electronics and Information Engineering 6/30 0 0 2 d c 0 1 cos 1.2統(tǒng)計(jì)信號(hào)處理的數(shù)學(xué)描述 針對(duì)觀測序列 估計(jì)問題：估計(jì)某個(gè)參數(shù) ， 檢測問題： 濾波問題 School of Electronics and Information Engineering 7/30 ) 1(),1 (),0( Nx

6、xxg )()()(: )()(: 1 0 nwnsnxH nwnxH ) 1(),1 (),0()(NxxxTnf 1.3統(tǒng)計(jì)信號(hào)處理的發(fā)展歷史 基礎(chǔ)理論：統(tǒng)計(jì)推斷的假設(shè)檢驗(yàn)理論 1、貝葉斯定理：Thomas Bayes（1702-1761） 以最大后驗(yàn)概率估計(jì)參數(shù) 先驗(yàn)知識(shí)的應(yīng)用 1758年，An essay towards solving a Problem in the Doctrine of Chances” 1763年，A letter to John Canton” School of Electronics and Information Engineering 8/30 n

7、i ii ii i APABP APABP BAP 1 )()|( )()|( )|( 1.3統(tǒng)計(jì)信號(hào)處理的發(fā)展歷史 基礎(chǔ)理論：統(tǒng)計(jì)推斷的假設(shè)檢驗(yàn)理論 2、參數(shù)估計(jì)中的評(píng)價(jià)函數(shù)： Pierre-Simon Laplace(1749-1827) 以真值和估計(jì)值間的單調(diào)函數(shù)作為評(píng)價(jià)標(biāo)準(zhǔn) Carl Friedrich Gauss(1777-1855) 1794，最小二乘法 1801，用于計(jì)算小行星谷神星軌道 School of Electronics and Information Engineering 9/30 ) ( wg 2 g 1.3統(tǒng)計(jì)信號(hào)處理的發(fā)展歷史 基礎(chǔ)理論：統(tǒng)計(jì)推斷的假設(shè)檢驗(yàn)理論

8、 3、穩(wěn)定分布和廣義中心極限定理： Paul Pierre Lvy（1886-1971） 穩(wěn)定分布 Alpha穩(wěn)定分布1925 廣義中心極限定理1937 有限方差的隨機(jī)變量和的分布趨向正態(tài)分布。 具有無限方差的隨機(jī)變量和的分布趨向穩(wěn)定分布 f(x;,0,c,0) 。 School of Electronics and Information Engineering 10/30 )2/tan()(1 (exp tsngictit 1.3統(tǒng)計(jì)信號(hào)處理的發(fā)展歷史 基礎(chǔ)理論：統(tǒng)計(jì)推斷的假設(shè)檢驗(yàn)理論 4、顯著性檢驗(yàn)和最大似然法 Ronald Fisher（1890-1962） 1920，顯著性檢驗(yàn) 最大

9、似然法 Fisher信息 似然函數(shù) School of Electronics and Information Engineering 11/30 );(Xf 2 );(ln)(XfEI 1.3統(tǒng)計(jì)信號(hào)處理的發(fā)展歷史 基礎(chǔ)理論：假設(shè)檢驗(yàn)統(tǒng)計(jì)推斷的假設(shè)檢驗(yàn)理論 4、假設(shè)檢驗(yàn)和矩的理論 Karl Person（1857-1936） 線性遞歸和矩的理論 Jerzy Neyman（1894-1981） 假設(shè)檢驗(yàn)：Neyman-Person公式（1933） 假設(shè) H1成立的似然比檢驗(yàn)為 School of Electronics and Information Engineering 12/30 11

10、00 : : H H )|( )|( )( 1 0 xL xL x )|)( 0 HxP 1.3統(tǒng)計(jì)信號(hào)處理的發(fā)展歷史 基礎(chǔ)理論：假設(shè)檢驗(yàn)統(tǒng)計(jì)推斷的假設(shè)檢驗(yàn)理論 5、代價(jià)和風(fēng)險(xiǎn)原則、極大極小原理 Abraham Wald （1902-1950） 不同的判決有不同的代價(jià) 代價(jià)最小的檢驗(yàn) 極大極小原理（1939） 最小化最大可能損失 統(tǒng)計(jì)假設(shè)的序貫檢驗(yàn) Sequential Tests of Statistical Hypotheses School of Electronics and Information Engineering 13/30 1.3統(tǒng)計(jì)信號(hào)處理的發(fā)展歷史 應(yīng)用技術(shù)：統(tǒng)計(jì)方法的

11、信號(hào)處理 1、維納濾波 Norbert Wiener（1894-1964） 1941，反飛機(jī)武器的自動(dòng)瞄準(zhǔn)系統(tǒng) 信息的通信可以看作一個(gè)統(tǒng)計(jì)學(xué)問題 最佳準(zhǔn)則，使得系統(tǒng)性能可以被計(jì)算 1949，維納濾波器 估計(jì)噪聲中的信號(hào) 最小方差準(zhǔn)則，尋找最佳函數(shù)g(t)使得誤差函數(shù)最小 預(yù)測、濾波、平滑 School of Electronics and Information Engineering 14/30 )()()()(tntsgtx )()()(txdtste 1.3統(tǒng)計(jì)信號(hào)處理的發(fā)展歷史 應(yīng)用技術(shù)：統(tǒng)計(jì)方法的信號(hào)處理 2、卡爾曼濾波 Rudolf E. Kalman （1930-） 2008 C

12、harles Stark Draper Prize 德雷珀獎(jiǎng) 1960,”A new approach to linear filtering and prediction problems”, 隨機(jī)離散系統(tǒng)的狀態(tài)估計(jì)問題 1961, 和R.S.Bucy一起” New Results in Linear Filtering and Prediction Theory”,連續(xù)時(shí)間系統(tǒng)的狀態(tài)估計(jì)問題 將維納濾波問題擴(kuò)展到非平穩(wěn)的多入多出系統(tǒng) 應(yīng)用廣泛 School of Electronics and Information Engineering 15/30 1.3統(tǒng)計(jì)信號(hào)處理的發(fā)展歷史 應(yīng)用技

13、術(shù)：統(tǒng)計(jì)方法的信號(hào)處理 3、匹配濾波器(Match Filter) D.O. North An analysis of the factors which determine signal/noise discrimination in pulsed carrier systems”,1943 最大輸出信噪比準(zhǔn)則:從噪聲和信號(hào)的統(tǒng)計(jì)特性出發(fā),最佳線性濾波器的傳遞 函數(shù)為 信號(hào)檢測的基礎(chǔ)理論 相關(guān)接收機(jī) School of Electronics and Information Engineering 16/30 0 )()( *tj ecSH 1.3統(tǒng)計(jì)信號(hào)處理的發(fā)展歷史 應(yīng)用技術(shù)：經(jīng)典的統(tǒng)計(jì)

14、信號(hào)處理 20世紀(jì)50-60年代 使用統(tǒng)計(jì)的假設(shè)檢驗(yàn)、參數(shù)估計(jì)、序列分析等 信號(hào)檢測、估計(jì)等 特點(diǎn)： 高斯過程 自相關(guān)、互相關(guān)函數(shù) 統(tǒng)計(jì)量為二階 中心極限定理 解決平穩(wěn)、線性過程問題 一般為單入單出系統(tǒng) School of Electronics and Information Engineering 17/30 1.3統(tǒng)計(jì)信號(hào)處理的發(fā)展歷史 現(xiàn)代統(tǒng)計(jì)信號(hào)處理 20世紀(jì)60年代至今 統(tǒng)計(jì)理論 高階統(tǒng)計(jì)量和高階譜高階統(tǒng)計(jì)量和高階譜 低階低階a穩(wěn)定分布穩(wěn)定分布 估計(jì)理論： 自適應(yīng)濾波 粒子濾波 數(shù)據(jù)融合 信號(hào)檢測理論 CFAR檢測 非參量檢測 分布式檢測 量子檢測 現(xiàn)代統(tǒng)計(jì)信號(hào)處理 處理方法 時(shí)頻

15、分析 神經(jīng)網(wǎng)絡(luò) 盲信號(hào)處理盲信號(hào)處理PCA/ICA 針對(duì)問題 陣列信號(hào)處理 非平穩(wěn) 非線性 特點(diǎn)： 非高斯過程 統(tǒng)計(jì)量為高階或低階 廣義中心極限定理 解決多入多出問題 School of Electronics and Information Engineering 18/30 1.4統(tǒng)計(jì)信號(hào)處理數(shù)學(xué)基礎(chǔ) 1、隨機(jī)過程 1.1一些定義 對(duì)任意時(shí)刻，x(t)是一個(gè)隨機(jī)變量，均值定義為 方差定義為 自相關(guān)函數(shù) 協(xié)方差函數(shù) School of Electronics and Information Engineering 19/30 dxtxxptxEtmx),()()( )()()()()( 22

16、 2 2 tmtxEtmtxEt xxx 212121212121 ),()()(),(dxxdttxxpxxtxtxEttRx )()(),( )()()()(),( 2121 221121 tmtmttR tmtxtmtxEttC xxx xxx 1.4統(tǒng)計(jì)信號(hào)處理數(shù)學(xué)基礎(chǔ) 1、隨機(jī)過程 1.2平穩(wěn)性 嚴(yán)格平穩(wěn)（狹義平穩(wěn)） 廣義平穩(wěn) 實(shí)際意義 與實(shí)際信號(hào)的觀測量或指標(biāo)相關(guān) 正態(tài)隨機(jī)過程的一般性 School of Electronics and Information Engineering 20/31 ),(),( )(),( ),(),( 212121 1111 xxpttxxp xp

17、txp ttxxpctctxxp NNNN )(),( )( 21 xx xx RttR mtm 1.4統(tǒng)計(jì)信號(hào)處理數(shù)學(xué)基礎(chǔ) 1、隨機(jī)過程 1.2功率譜 隨機(jī)過程x(t)的功率譜 單位頻帶內(nèi)信號(hào)的頻譜分量消耗在單位電阻上的平均功率的統(tǒng)計(jì)均值 從頻域角度描述隨機(jī)過程的統(tǒng)計(jì)特性,僅表示功率分布,不包含相位信息 與相關(guān)函數(shù)的關(guān)系 School of Electronics and Information Engineering 21/30 2 )( 2 1 lim)( T T x X T EG T T tj T dtetxX )()( deRG j xx )()( deGR j xx )()( 1.

18、4統(tǒng)計(jì)信號(hào)處理數(shù)學(xué)基礎(chǔ) 1、隨機(jī)過程 1.3經(jīng)過線性系統(tǒng) 對(duì)輸入隨機(jī)過程x(t)而言,輸出y(t)的均值為 若輸入x(t)為平穩(wěn)隨機(jī)過程 H(0)為系統(tǒng)的傳遞函數(shù)在 =0 處的值 School of Electronics and Information Engineering 22/30 )()()()()(txthdhtxty dhtmdhtxEdhtxEtyE x )()()()()()()( dhtmtm xy )()()( )0()()(Hmdhmdhmm xxxy h(t) x(t)y(t) 1.4統(tǒng)計(jì)信號(hào)處理數(shù)學(xué)基礎(chǔ) 1、隨機(jī)過程 1.3經(jīng)過線性系統(tǒng) 輸入和輸出互相關(guān) 輸出自相關(guān)

19、 頻譜變換后 School of Electronics and Information Engineering 23/30 ),()( )(),( )()()( )()( ),( 212 21 21 21 21 ttRth duuhuttR duuhutxtxE tytxE ttR x x xy ),()( )(),( )()()( )()( ),( 211 21 21 21 21 ttRth duuhtutR tyduuhutxE tytyE ttR xy xy yy ),( 21 ttRxy ),( 21 ttRyy )()()( * xxy GHG )()( )()()( )()()(

20、 2 * x x xyy GH GHH GHG 1.4統(tǒng)計(jì)信號(hào)處理數(shù)學(xué)基礎(chǔ) 1、隨機(jī)過程 1.4常用隨機(jī)變量和過程 正態(tài)分布 其概率密度函數(shù) 正態(tài)分布 n階矩(零均值) 分布 有N個(gè)相互獨(dú)立的零均值、單位方差的高斯隨機(jī)變量 若 則該變量為 分布，概率密度函數(shù)為 School of Electronics and Information Engineering 24/30 2 2 2 )( exp 2 1 )( mx xp ),( 2 mN 0, 120 1,2) 1(531 kkn kknn xE n n 2 1 0 22 N i i x 1210 , N xxxx 2 2 exp )2/(2

21、 1 )( 2 2 2 2/ 2 x x N xp N N NVarNE2, 22 1.4統(tǒng)計(jì)信號(hào)處理數(shù)學(xué)基礎(chǔ) 1、隨機(jī)過程 1.4常用隨機(jī)變量和過程 高斯過程 隨機(jī)過程x(t)的任意N維分布都是高斯分布 N維概率密度 School of Electronics and Information Engineering 25/30 )()( 2 1 exp det2 1 )( 1 2 1 2 mxCmx C x T N p ),(),(),( ),(),(),( ),(),(),( , )( )( )( , 110101 111101 101000 1 1 0 1 1 0 NNNN N N NN

22、 ttCttCttC ttCttCttC ttCttCttC txE txE txE x x x Cmx 1.4統(tǒng)計(jì)信號(hào)處理數(shù)學(xué)基礎(chǔ) 1、隨機(jī)過程 1.4常用隨機(jī)變量和過程 物理可實(shí)現(xiàn)的線性系統(tǒng)輸出的分布 輸出過程是多個(gè)隨機(jī)變量之和 輸入為高斯隨機(jī)過程，輸出也服從高斯分布 輸入為白噪聲，輸出服從高斯分布 輸入為寬帶噪聲，系統(tǒng)為窄帶，輸出近似服從高斯分布 1.4統(tǒng)計(jì)信號(hào)處理數(shù)學(xué)基礎(chǔ) 1、隨機(jī)過程 1.4常用隨機(jī)變量和過程 非高斯隨機(jī)過程 Laplace分布 廣義高斯分布 （=0為高斯分布； =1為Laplace分布；-1均勻分布) 混合高斯分布 穩(wěn)定分布 School of Electronics and Information Engineering 27/30 b x b xp exp 2 1 )( 1 2 2 2 2 1 )(exp )( )( x c c xp )()()1 ()( 21 xpxpxp 2 2 2 exp 2 1 )( ii i x xp 1.4統(tǒng)計(jì)信號(hào)處理數(shù)學(xué)基礎(chǔ) 2、時(shí)間序列模型 2.1 AR模型（p階） 可以看作白噪聲激勵(lì)一個(gè)線性系統(tǒng)后的響應(yīng)，