信號(hào)處理入門：若干分水嶺

1、信號(hào)處理入門：若干分水嶺信號(hào)處理入門：若干分水嶺（1）統(tǒng)計(jì)分布：從拉普拉斯到高斯再到拉普拉斯）統(tǒng)計(jì)分布：從拉普拉斯到高斯再到拉普拉斯（2）信息采樣：從拉格朗日到耐奎斯特、香農(nóng)到壓縮采樣）信息采樣：從拉格朗日到耐奎斯特、香農(nóng)到壓縮采樣（3）優(yōu)化準(zhǔn)則：從條件期望到最小均方誤差、最小二乘到稀疏約束）優(yōu)化準(zhǔn)則：從條件期望到最小均方誤差、最小二乘到稀疏約束（4）吝嗇原理：線性與非線性、凸與非凸）吝嗇原理：線性與非線性、凸與非凸（5）針對(duì)即將開題的針對(duì)即將開題的2010級(jí)碩士研究生級(jí)碩士研究生2021-12-112內(nèi)容內(nèi)容n從幾個(gè)問題開始從幾個(gè)問題開始n稀疏信號(hào)處理模型、問題描述、基本原理稀疏信號(hào)處理模型

2、、問題描述、基本原理n稀疏信號(hào)處理常用算法、軟件工具稀疏信號(hào)處理常用算法、軟件工具n稀疏信號(hào)處理的例子稀疏信號(hào)處理的例子n一些問題討論一些問題討論2021-12-113一、從幾個(gè)問題開始一、從幾個(gè)問題開始n高斯分布憑什么無所不在？高斯分布憑什么無所不在？ nMMSE是最優(yōu)的？是最優(yōu)的？n吝嗇原則：免費(fèi)的午餐？吝嗇原則：免費(fèi)的午餐？n分辨率受孔徑限制？分辨率受孔徑限制？n機(jī)器學(xué)習(xí)：支持向量是稀疏的？機(jī)器學(xué)習(xí)：支持向量是稀疏的？n什么是多維標(biāo)度問題什么是多維標(biāo)度問題?2021-12-114譜的概念最初是從哪里得來的呢？譜的概念最初是從哪里得來的呢？n譜是信號(hào)處理中最重要的概念之一。譜是信號(hào)處理中最

3、重要的概念之一。n信號(hào)處理經(jīng)常要在時(shí)域與頻域之間的轉(zhuǎn)換，這信號(hào)處理經(jīng)常要在時(shí)域與頻域之間的轉(zhuǎn)換，這種轉(zhuǎn)換稱為傅里葉變換，也常叫做頻譜分析。種轉(zhuǎn)換稱為傅里葉變換，也常叫做頻譜分析。n在信號(hào)處理中，經(jīng)常會(huì)遇到頻譜、功率譜、能在信號(hào)處理中，經(jīng)常會(huì)遇到頻譜、功率譜、能量譜、幅度譜、相位譜等各式各樣的關(guān)于譜的量譜、幅度譜、相位譜等各式各樣的關(guān)于譜的概念。概念。2021-12-115牛頓：牛頓：1666年，科學(xué)史上的奇跡年年，科學(xué)史上的奇跡年n1642年出生在英國(guó)，是世界近代科學(xué)技術(shù)史上年出生在英國(guó)，是世界近代科學(xué)技術(shù)史上偉大的物理學(xué)家、天文學(xué)家和數(shù)學(xué)家。偉大的物理學(xué)家、天文學(xué)家和數(shù)學(xué)家。n1666年，年

4、，23歲的牛頓為了躲避瘟疫，回到鄉(xiāng)下歲的牛頓為了躲避瘟疫，回到鄉(xiāng)下的老家度假。的老家度假。n在那段日子里，他一個(gè)人獨(dú)立完成了幾項(xiàng)開天在那段日子里，他一個(gè)人獨(dú)立完成了幾項(xiàng)開天辟地的工作，包括發(fā)明了微積分（流數(shù)），完辟地的工作，包括發(fā)明了微積分（流數(shù)），完成了光分解的實(shí)驗(yàn)分析，以及對(duì)于萬有引力定成了光分解的實(shí)驗(yàn)分析，以及對(duì)于萬有引力定律的開創(chuàng)性思考。律的開創(chuàng)性思考。 2021-12-116光學(xué)光學(xué)n公元公元1669年，牛頓剛剛成為劍橋大學(xué)盧卡斯席位的特聘年，牛頓剛剛成為劍橋大學(xué)盧卡斯席位的特聘教授。也許是這個(gè)席位與生俱來的貴族傳統(tǒng)，也許是牛教授。也許是這個(gè)席位與生俱來的貴族傳統(tǒng)，也許是牛頓的聲名太

5、顯赫，這個(gè)教授席位在日后的科學(xué)史中，不頓的聲名太顯赫，這個(gè)教授席位在日后的科學(xué)史中，不僅是劍橋的榮耀、英國(guó)科學(xué)家的榮耀，更記載著人類對(duì)僅是劍橋的榮耀、英國(guó)科學(xué)家的榮耀，更記載著人類對(duì)自然探索的光榮。自然探索的光榮。n牛頓開始的第一項(xiàng)研究即是光學(xué)，為此甚至不惜推后對(duì)牛頓開始的第一項(xiàng)研究即是光學(xué)，為此甚至不惜推后對(duì)微積分理論的進(jìn)一步完善。實(shí)際上，不管是光學(xué)，還是微積分理論的進(jìn)一步完善。實(shí)際上，不管是光學(xué)，還是微積分，基礎(chǔ)都來源于他微積分，基礎(chǔ)都來源于他1665至至1666年在老家躲避瘟年在老家躲避瘟疫的開創(chuàng)性工作。而對(duì)于光學(xué)，最開始是因?yàn)樗l(fā)現(xiàn)了疫的開創(chuàng)性工作。而對(duì)于光學(xué)，最開始是因?yàn)樗l(fā)現(xiàn)了一種

6、幾乎是完美的研磨透鏡的新方法。一種幾乎是完美的研磨透鏡的新方法。 2021-12-117色差現(xiàn)象n利用這些透鏡，他發(fā)現(xiàn)當(dāng)白光通過透鏡的時(shí)候會(huì)產(chǎn)生很多顏色的光，也就是色差現(xiàn)象。如何來解釋這一現(xiàn)象呢？n牛頓自己的理論是白光由各種顏色的光組成，透鏡本身并不能產(chǎn)生顏色，僅僅是將光的組成部分進(jìn)行了分解。n但是在嚴(yán)格的實(shí)驗(yàn)驗(yàn)證之前，他還不能貿(mào)然發(fā)表他的這些觀點(diǎn)。上述實(shí)驗(yàn)或許將證明他的理論。 2021-12-118實(shí)驗(yàn)n主要實(shí)驗(yàn)設(shè)備是兩個(gè)三棱鏡：一個(gè)用于將白光分解為各種不同顏色的光，另一個(gè)希望能將各種顏色的光恢復(fù)成白光。n他已經(jīng)非常仔細(xì)地研磨這些三棱鏡，保證即便實(shí)驗(yàn)不成功也不會(huì)是棱鏡的原因。n他舉起光源，將

7、其對(duì)準(zhǔn)第一個(gè)三棱鏡：在兩個(gè)棱鏡之間是七色的彩虹，在第二個(gè)棱鏡之后，又是白光。n又經(jīng)過多次的反復(fù)實(shí)驗(yàn)，每次都得到了預(yù)想的結(jié)果。于是他確信，對(duì)這個(gè)實(shí)驗(yàn)，即便是皇家學(xué)會(huì)那些最挑剔的批評(píng)者也將無話可說了。 2021-12-119譜（spectrum）的由來n牛頓認(rèn)識(shí)到，白光包含了各種顏色的光。n他將這些通常用肉眼看不見的各種種顏色的光，看做是幽靈一般。n于是，在他的拉丁文手稿中用了specter這個(gè)詞。后來，經(jīng)過逐步的演化，人們用spectrum來表示譜：意思是彩虹中的各種顏色。這就是譜（spectrum）的由來。 2021-12-1110停步不前n牛頓的下一步工作本來應(yīng)該是去深入認(rèn)識(shí)這些不同顏色的光

8、源于其頻率的不同。n然而很遺憾的是，即便是那個(gè)時(shí)代最杰出的科學(xué)家牛頓，也終于沒能邁出這一步。n主要原因：他堅(jiān)信光的粒子性而不是波動(dòng)性。2021-12-1111頻譜的概念n在此之后，光的波/粒大戰(zhàn)還將延續(xù)幾百年，并深刻影響著物理學(xué)的進(jìn)程，這已經(jīng)是題外話了。n將頻率與譜聯(lián)系并統(tǒng)一起來，才構(gòu)筑了信號(hào)處理中我們通常所說的頻譜的概念。2021-12-1112高斯分布：高斯分布：An equation is for eternityAn equation is for eternity The fundamental nature of this distribution and its main pro

9、perties were derived by Laplace (1781) when Gauss was six years old.The distribution itself had been found by de Moivre (1733) before Laplace was born.2021-12-1113高斯的問題高斯的問題(1809)(1809)n最簡(jiǎn)單最簡(jiǎn)單n最優(yōu)最優(yōu)2021-12-1114高斯的推導(dǎo)高斯的推導(dǎo) (1809)n什么情況下樣本均值是最大似然估計(jì)問題什么情況下樣本均值是最大似然估計(jì)問題的解？的解？2021-12-1115若解是樣本均值，則應(yīng)滿足：若解是樣本均

10、值，則應(yīng)滿足：nany real number can be arbitrarily accurately approximated by rational numbers2021-12-1116Result nGauss assumed the sample mean due to its computational convenience and derived the Gaussian law.nThis line of reasoning is quite the opposite to the modern exposition in textbooks on statistics

11、and signal processing where the LS method is derived from the assumed Gaussianity.2021-12-1117為什么要折衷？為什么要折衷？n性能最優(yōu)n計(jì)算最簡(jiǎn)單2021-12-11181.1 高斯分布憑什么無所不在？高斯分布憑什么無所不在？nThe role of Gaussian models in signal processing is based on the optimal property of the Gaussian distribution minimizing Fisher information

12、 over the class of distributions with a bounded variance.nThe central limit theorem (CLT) is not only a unique reason but perhaps it is even not the main reason2021-12-1119Fisher information2021-12-11201.2 MMSE是最優(yōu)的是最優(yōu)的？If h is known to be sparse, can we do even better than the MMSE estimate? And if

13、so, how much better can we do?有偏估計(jì)！有偏估計(jì)！2021-12-1121NP-Hard ？現(xiàn)代最小二乘現(xiàn)代最小二乘(P0) 0min xsubject to 2bAx(P1) 1min xsubject to 2bAx2021-12-11221.3 吝嗇原則：免費(fèi)的午餐？吝嗇原則：免費(fèi)的午餐？n多成分混合（合成，正問題）n分離各個(gè)成分（感知，反問題）1()Mkkkxa2( )( )Hsax2021-12-1123貪婪的譜估計(jì)貪婪的譜估計(jì) = = 濾波：濾波：2( )( )Hswx211121121121111/22( )( )( )( )( )1( )( )( )( )( )( )( )( )( )( )( )( )1( )( )( )( )( )MHCBFkkkMVDRHMHkkkHPPvARHHHPPPHnnnMUSICHHHnnkk PwasaqR awsaR aaqqqawsaqqaaqUU awsaU U aaq1M2021-12-11241.4 分辨率受孔徑限制？分辨率受孔徑限制？nDFTOOOOOOOO=O O O O O O O OO O O O O O O OO O O O O O O OO O O O O O O OO O O O O O O OO O O O O O O