現(xiàn)代統(tǒng)計信號處理(第一章)

1、2.71828182845904523536028747135266249775724709369995957496696762772407663035354759457138217852516642742746639193200305992181741359662904357290033429526059563073813232862794349076323382988075319525101901SelectFromDitits/PartitionFirstRealDigitsE,10,1000,10,1,PrimesQ,1現(xiàn)代統(tǒng)計信號處理Modern Statistical Signal

2、 Processing電子與信息工程學(xué)院School of Electronics and Information Engineering 0Reference Harvard University Engineering Sciences 251r. Advanced Topics in Inference, Information, and Statistical Signal Processing Waterloo, Canada ECE 603: Statistical Signal Processing, for Graduate student, Steven M. Kay, Fu

3、ndamentals of Statistical Signal Processing, Prentice Hall, 1993 邱田爽等著 統(tǒng)計信號處理-非高斯信號處理及應(yīng)用. 電子工業(yè)出版社，2004 J.G.Proakis(美) 統(tǒng)計信號處理算法，清華大學(xué)出版社，2006School of Electronics and Information Engineering 3/30第一章 引言1.1基本概念統(tǒng)計信號處理是從噪聲背景中提取有用信息的最佳理論和方法從噪聲背景中提取有用信息的最佳理論和方法?；緝?nèi)容包括了信號檢測、估計和最佳濾波理論及其應(yīng)用。應(yīng)用領(lǐng)域通信、雷達(dá)、聲納、導(dǎo)航、自動控制

4、、語音信號、圖像、生物醫(yī)學(xué)、地震信號等School of Electronics and Information Engineering 4/30噪聲信號觀測信號+統(tǒng)計信號處理統(tǒng)計信號處理的基本問題 舉例1：通信系統(tǒng) 處理要求：有效性問題、可靠性問題 處理約束：外部干擾、內(nèi)部噪聲、信號畸變 解決的問題：噪聲中信息檢測問題消除信號畸變的最佳濾波問題School of Electronics and Information Engineering 5/30信源變換編碼調(diào)制解調(diào)解碼反變換信宿信道信道統(tǒng)計信號處理的基本問題 舉例2：雷達(dá)系統(tǒng) 處理要求：目標(biāo)發(fā)現(xiàn)問題、目標(biāo)定位問題 處理約束：外部干擾、內(nèi)

5、外部噪聲、雜波 解決的問題：噪聲中目標(biāo)檢測問題回波信號延遲測量的最佳濾波問題School of Electronics and Information Engineering 6/30統(tǒng)計信號處理的基本問題 舉例3：聲納系統(tǒng) 處理要求：目標(biāo)發(fā)現(xiàn)問題、目標(biāo)定位問題 處理約束：外部干擾、內(nèi)外部噪聲、雜波 解決的問題：傳感器陣列目標(biāo)定位問題回波信號的波形估計問題School of Electronics and Information Engineering 7/30002dc01cos1.2統(tǒng)計信號處理的數(shù)學(xué)描述針對觀測序列估計問題：估計某個參數(shù) ，檢測問題：濾波問題School of Elect

6、ronics and Information Engineering 8/30) 1(),1 (),0(Nxxxg)()()(:)()(:10nwnsnxHnwnxH) 1(),1 (),0()(NxxxTnf1.3統(tǒng)計信號處理的發(fā)展歷史 基礎(chǔ)理論：統(tǒng)計推斷的假設(shè)檢驗理論 1、貝葉斯定理：Thomas Bayes（1702-1761）以最大后驗概率估計參數(shù)先驗知識的應(yīng)用1758年，An essay towards solving a Problem in the Doctrine of Chances”1763年，A letter to John Canton”School of Electr

7、onics and Information Engineering 9/30niiiiiiAPABPAPABPBAP1)()|()()|()|(1.3統(tǒng)計信號處理的發(fā)展歷史 基礎(chǔ)理論：統(tǒng)計推斷的假設(shè)檢驗理論 2、參數(shù)估計中的評價函數(shù)： Pierre-Simon Laplace(1749-1827)以真值和估計值間的單調(diào)函數(shù)作為評價標(biāo)準(zhǔn) Carl Friedrich Gauss(1777-1855)1794，最小二乘法1801，用于計算小行星谷神星軌道School of Electronics and Information Engineering 10/30)( wg2g1.3統(tǒng)計信號處理的發(fā)

8、展歷史基礎(chǔ)理論：統(tǒng)計推斷的假設(shè)檢驗理論3、穩(wěn)定分布和廣義中心極限定理：Paul Pierre Lvy（1886-1971）穩(wěn)定分布Alpha穩(wěn)定分布1925廣義中心極限定理1937有限方差的隨機(jī)變量和的分布趨向正態(tài)分布。具有無限方差的隨機(jī)變量和的分布趨向穩(wěn)定分布f(x;,0,c,0) 。School of Electronics and Information Engineering 11/30)2/tan()(1 (exptsngictit1.3統(tǒng)計信號處理的發(fā)展歷史基礎(chǔ)理論：統(tǒng)計推斷的假設(shè)檢驗理論4、顯著性檢驗和最大似然法Ronald Fisher（1890-1962）1920，顯著性檢驗

9、最大似然法Fisher信息 似然函數(shù)School of Electronics and Information Engineering 12/30);(Xf2);(ln)(XfEI1.3統(tǒng)計信號處理的發(fā)展歷史基礎(chǔ)理論：假設(shè)檢驗統(tǒng)計推斷的假設(shè)檢驗理論4、假設(shè)檢驗和矩的理論Karl Person（1857-1936）線性遞歸和矩的理論Jerzy Neyman（1894-1981）假設(shè)檢驗：Neyman-Person公式（1933）假設(shè) H1成立的似然比檢驗為School of Electronics and Information Engineering 13/301100:HH)|()|()(1

10、0 xLxLx)|)(0HxP1.3統(tǒng)計信號處理的發(fā)展歷史基礎(chǔ)理論：假設(shè)檢驗統(tǒng)計推斷的假設(shè)檢驗理論5、代價和風(fēng)險原則、極大極小原理Abraham Wald （1902-1950）不同的判決有不同的代價代價最小的檢驗極大極小原理（1939）最小化最大可能損失統(tǒng)計假設(shè)的序貫檢驗Sequential Tests of Statistical HypothesesSchool of Electronics and Information Engineering 14/301.3統(tǒng)計信號處理的發(fā)展歷史應(yīng)用技術(shù)：統(tǒng)計方法的信號處理1、維納濾波Norbert Wiener（1894-1964）1941，反飛

11、機(jī)武器的自動瞄準(zhǔn)系統(tǒng)信息的通信可以看作一個統(tǒng)計學(xué)問題最佳準(zhǔn)則，使得系統(tǒng)性能可以被計算1949，維納濾波器估計噪聲中的信號最小方差準(zhǔn)則，尋找最佳函數(shù)g(t)使得誤差函數(shù)最小預(yù)測、濾波、平滑School of Electronics and Information Engineering 15/30)()()()(tntsgtx)()()(txdtste1.3統(tǒng)計信號處理的發(fā)展歷史 應(yīng)用技術(shù)：統(tǒng)計方法的信號處理 2、卡爾曼濾波 Rudolf E. Kalman （1930-）2008 Charles Stark Draper Prize德雷珀獎1960,”A new approach to lin

12、ear filtering and prediction problems”,隨機(jī)離散系統(tǒng)的狀態(tài)估計問題1961, 和R.S.Bucy一起” New Results in Linear Filtering and Prediction Theory”,連續(xù)時間系統(tǒng)的狀態(tài)估計問題將維納濾波問題擴(kuò)展到非平穩(wěn)的多入多出系統(tǒng)應(yīng)用廣泛School of Electronics and Information Engineering 16/301.3統(tǒng)計信號處理的發(fā)展歷史 應(yīng)用技術(shù)：統(tǒng)計方法的信號處理 3、匹配濾波器(Match Filter) D.O. NorthAn analysis of the f

13、actors which determine signal/noise discrimination in pulsed carrier systems”,1943最大輸出信噪比準(zhǔn)則:從噪聲和信號的統(tǒng)計特性出發(fā),最佳線性濾波器的傳遞函數(shù)為信號檢測的基礎(chǔ)理論相關(guān)接收機(jī)School of Electronics and Information Engineering 17/300)()(*tjecSH1.3統(tǒng)計信號處理的發(fā)展歷史應(yīng)用技術(shù)：經(jīng)典的統(tǒng)計信號處理20世紀(jì)50-60年代使用統(tǒng)計的假設(shè)檢驗、參數(shù)估計、序列分析等信號檢測、估計等特點：高斯過程自相關(guān)、互相關(guān)函數(shù)統(tǒng)計量為二階中心極限定理解決平穩(wěn)、

14、線性過程問題一般為單入單出系統(tǒng)School of Electronics and Information Engineering 18/301.3統(tǒng)計信號處理的發(fā)展歷史 現(xiàn)代統(tǒng)計信號處理 20世紀(jì)60年代至今 統(tǒng)計理論 高階統(tǒng)計量和高階譜高階統(tǒng)計量和高階譜 低階低階a穩(wěn)定分布穩(wěn)定分布 估計理論： 自適應(yīng)濾波 粒子濾波 數(shù)據(jù)融合 信號檢測理論 CFAR檢測 非參量檢測 分布式檢測 量子檢測 現(xiàn)代統(tǒng)計信號處理 處理方法 時頻分析 神經(jīng)網(wǎng)絡(luò) 盲信號處理盲信號處理PCA/ICA 針對問題 陣列信號處理 非平穩(wěn) 非線性 特點： 非高斯過程 統(tǒng)計量為高階或低階 廣義中心極限定理 解決多入多出問題Schoo

15、l of Electronics and Information Engineering 19/301.4統(tǒng)計信號處理數(shù)學(xué)基礎(chǔ) 1、隨機(jī)過程 1.1一些定義對任意時刻，x(t)是一個隨機(jī)變量，均值定義為方差定義為自相關(guān)函數(shù)協(xié)方差函數(shù)School of Electronics and Information Engineering 20/30dxtxxptxEtmx),()()()()()()()(2222tmtxEtmtxEtxxx212121212121),()()(),(dxxdttxxpxxtxtxEttRx)()(),()()()()(),(2121221121tmtmttRtmtxt

16、mtxEttCxxxxxx1.4統(tǒng)計信號處理數(shù)學(xué)基礎(chǔ) 1、隨機(jī)過程 1.2平穩(wěn)性 嚴(yán)格平穩(wěn)（狹義平穩(wěn)） 廣義平穩(wěn) 實際意義與實際信號的觀測量或指標(biāo)相關(guān)正態(tài)隨機(jī)過程的一般性School of Electronics and Information Engineering 21/31),(),()(),(),(),(2121211111xxpttxxpxptxpttxxpctctxxpNNNN)(),()(21xxxxRttRmtm1.4統(tǒng)計信號處理數(shù)學(xué)基礎(chǔ) 1、隨機(jī)過程 1.2功率譜 隨機(jī)過程x(t)的功率譜單位頻帶內(nèi)信號的頻譜分量消耗在單位電阻上的平均功率的統(tǒng)計均值從頻域角度描述隨機(jī)過程的統(tǒng)計

17、特性,僅表示功率分布,不包含相位信息 與相關(guān)函數(shù)的關(guān)系School of Electronics and Information Engineering 22/302)(21lim)(TTxXTEGTTtjTdtetxX)()(deRGjxx)()(deGRjxx)()(1.4統(tǒng)計信號處理數(shù)學(xué)基礎(chǔ) 1、隨機(jī)過程 1.3經(jīng)過線性系統(tǒng) 對輸入隨機(jī)過程x(t)而言,輸出y(t)的均值為 若輸入x(t)為平穩(wěn)隨機(jī)過程 H(0)為系統(tǒng)的傳遞函數(shù)在 =0 處的值School of Electronics and Information Engineering 23/30)()()()()(txthdhtx

18、tydhtmdhtxEdhtxEtyEx)()()()()()()(dhtmtmxy)()()()0()()(Hmdhmdhmmxxxyh(t)x(t)y(t)1.4統(tǒng)計信號處理數(shù)學(xué)基礎(chǔ) 1、隨機(jī)過程 1.3經(jīng)過線性系統(tǒng) 輸入和輸出互相關(guān) 輸出自相關(guān) 頻譜變換后School of Electronics and Information Engineering 24/30),()()(),()()()()()(),(21221212121ttRthduuhuttRduuhutxtxEtytxEttRxxxy),()()(),()()()()()(),(21121212121ttRthduuhtu

19、tRtyduuhutxEtytyEttRxyxyyy),(21ttRxy),(21ttRyy)()()(*xxyGHG)()( )()()( )()()(2*xxxyyGHGHHGHG1.4統(tǒng)計信號處理數(shù)學(xué)基礎(chǔ) 1、隨機(jī)過程 1.4常用隨機(jī)變量和過程正態(tài)分布 其概率密度函數(shù) 正態(tài)分布 n階矩(零均值) 分布 有N個相互獨立的零均值、單位方差的高斯隨機(jī)變量 若 則該變量為 分布，概率密度函數(shù)為School of Electronics and Information Engineering 25/30222)(exp21)(mxxp),(2mN 0, 1201,2) 1(531kknkknnxE

20、nn21022Niix1210,Nxxxx22exp)2/(21)(2222/2xxNxpNNNVarNE2,221.4統(tǒng)計信號處理數(shù)學(xué)基礎(chǔ)1、隨機(jī)過程1.4常用隨機(jī)變量和過程高斯過程隨機(jī)過程x(t)的任意N維分布都是高斯分布N維概率密度School of Electronics and Information Engineering 26/30 )()(21expdet21)(1212mxCmxCxTNp),(),(),(),(),(),(),(),(),(,)()()(,110101111101101000110110NNNNNNNNttCttCttCttCttCttCttCttCttCt

21、xEtxEtxExxxCmx1.4統(tǒng)計信號處理數(shù)學(xué)基礎(chǔ)1、隨機(jī)過程1.4常用隨機(jī)變量和過程物理可實現(xiàn)的線性系統(tǒng)輸出的分布輸出過程是多個隨機(jī)變量之和輸入為高斯隨機(jī)過程，輸出也服從高斯分布輸入為白噪聲，輸出服從高斯分布輸入為寬帶噪聲，系統(tǒng)為窄帶，輸出近似服從高斯分布1.4統(tǒng)計信號處理數(shù)學(xué)基礎(chǔ) 1、隨機(jī)過程 1.4常用隨機(jī)變量和過程非高斯隨機(jī)過程 Laplace分布 廣義高斯分布 （=0為高斯分布； =1為Laplace分布；-1均勻分布) 混合高斯分布 穩(wěn)定分布School of Electronics and Information Engineering 28/30bxbxpexp21)(122221)(exp)()(xccxp)()()1 ()(21xpxpxp222exp21)(iiixxp1.4統(tǒng)計