數(shù)字信號(hào)處理 第12章-1課件

第12章參數(shù)模型功率譜估計(jì)12.1平穩(wěn)隨機(jī)信號(hào)的參數(shù)模型12.2AR模型的正則方程與參數(shù)計(jì)算12.3AR模型譜估計(jì)的性質(zhì)與階次選擇12.4AR模型的穩(wěn)定性與信號(hào)建模12.5關(guān)于線性預(yù)測(cè)12.6AR模型系數(shù)的求解算法12.7MA模型12.8ARMA模型12.9Pisarenko諧波分解與MUSIC算法第12章參數(shù)模型功率譜估計(jì)12.1平穩(wěn)隨機(jī)信號(hào)的參數(shù)112.1平穩(wěn)隨機(jī)信號(hào)的參數(shù)模型經(jīng)典譜估計(jì)：分辨率低（受窗函數(shù)長(zhǎng)度的限制）;方差性能不好；方差和分辨率之間的矛盾。對(duì)平穩(wěn)信號(hào)建模:用于功率譜估計(jì):提高分辨率，減小方差；也可用于信號(hào)的特征提取，預(yù)測(cè)，編碼及數(shù)據(jù)壓縮等。12.1平穩(wěn)隨機(jī)信號(hào)的參數(shù)模型經(jīng)典譜估計(jì)：對(duì)平穩(wěn)信號(hào)建模:2步驟2由的先驗(yàn)知識(shí)，如,估計(jì)的參數(shù)：步驟1假定所研究的平穩(wěn)過(guò)程是由一白噪聲序列激勵(lì)一線性系統(tǒng)所產(chǎn)生的輸出；從功率譜估計(jì)的角度，對(duì)平穩(wěn)信號(hào)建模的步驟：步驟2由的先驗(yàn)知識(shí)，如,估計(jì)3即是對(duì)建立的數(shù)學(xué)模型。參數(shù)一旦上述系數(shù)被求出，則：

功率譜估計(jì)：隨機(jī)信號(hào)通過(guò)LSI系統(tǒng)的輸入輸出關(guān)系步驟3即是對(duì)建立的數(shù)學(xué)模型。參數(shù)一旦上述系數(shù)被求出，則4LSI系統(tǒng)的輸入、輸出關(guān)系：以上兩式是LSI系統(tǒng)的時(shí)域表示，無(wú)論對(duì)確定性信號(hào)還是隨機(jī)信號(hào)都成立?，F(xiàn)假定輸入、輸出是平穩(wěn)隨機(jī)信號(hào)（輸入是白噪聲）。差分方程卷積關(guān)系LSI系統(tǒng)的輸入、輸出關(guān)系：以上兩式是LSI系統(tǒng)的時(shí)域表示，5轉(zhuǎn)移函數(shù)的兩種表示形式，獨(dú)立于信號(hào)。譜分解的Z域表示待辨識(shí)的參數(shù)。轉(zhuǎn)移函數(shù)的兩種表示形式，獨(dú)立于信號(hào)。譜分解的Z域表示待辨識(shí)的6

AR（Auto—Regressive，自回歸）模型若：并假定：全極點(diǎn)模型則：AR（Auto—Regressive，自回歸）模型若：并假7

MA（Moving—Average,移動(dòng)平均）模型若：則：全零點(diǎn)模型MA（Moving—Average,移動(dòng)平均）模型若：則：8

ARMA（Auto-RegressiveMoving- Average,自回歸－移動(dòng)平均） 模型極—零模型ARMA模型如果：不全為零則：ARMA（Auto-RegressiveMoving-9AR模型:全極模型，線性，用的最多，被研究的也最多，性能很好；MA模型：全零模型，看起來(lái)簡(jiǎn)單； 但是非線性；ARMA模型：極－零模型，二者的綜合。具體選用那一個(gè)模型，一是取決于信號(hào)的特點(diǎn)，二是取決于信號(hào)處理任務(wù)的需要，需區(qū)別對(duì)待。AR模型:全極模型，線性，用的最多，MA模型：全零10KaySM,MarpleSL.SpectrumAnalysis:amodern Perspective.Proc.IEEE, 69(Nov):1380-1419,1981MakhoulJ.LinearPrediction:atutorialreview.Proc.IEEE,62(April):561-580,1975KaySM.ModernSpectrumEstimation: TheoryandApplication.19884MarpleSL.DigitalSpectrumAnalysis withApplication.1987推薦如下參考文獻(xiàn)：KaySM,MarpleSL.Spectrum1112.2AR模型的正則方程與參數(shù)計(jì)算目標(biāo)：找到已知參數(shù)和未知參數(shù)的關(guān)系， 以便求解未知參數(shù)：已知參數(shù)：求解方法：由下面的差分方程入手：兩邊同乘，求均值未知參數(shù)：12.2AR模型的正則方程與參數(shù)計(jì)算目標(biāo)：找到已知參數(shù)和未12

和 的互相關(guān)和13因果系統(tǒng)卷積關(guān)系因果系統(tǒng)卷積關(guān)系14結(jié)果1：結(jié)果2：結(jié)合起來(lái)正則方程（NormalEq.）結(jié)果1：結(jié)果2：結(jié)合起來(lái)正則方程（NormalEq.）15Toeplitz自相關(guān)陣又稱(chēng)Yule-Walker方程Toeplitz又稱(chēng)Yule-Walker方16利用Yule-Walker方程，可求解出AR模型參數(shù)：于是模型可以構(gòu)造，可以實(shí)現(xiàn)功率譜估計(jì)。提法：設(shè)在時(shí)刻之前的個(gè)數(shù)據(jù)已知現(xiàn)在希望用它們預(yù)測(cè) 為了深入了解AR模型的特點(diǎn)，現(xiàn)探討另外一個(gè)問(wèn)題，即線性預(yù)測(cè)問(wèn)題：利用Yule-Walker方程，可求解出AR模型參數(shù)：于是17線性預(yù)測(cè)誤差序列均方誤差線性預(yù)測(cè)誤差序列均方誤差18令：可以得到使最小的及。不求導(dǎo)，使用正交原理：Wiener-HopfEq.令：可以得到使最小的19：最小預(yù)測(cè)誤差功率線性預(yù)測(cè)的Wiener-HopfEq.：最小預(yù)測(cè)誤差功率線性預(yù)測(cè)的Wiener20注意到：對(duì)同一信號(hào)，都使用其得到了兩組方程：來(lái)自AR模型：Yule-Walk方程來(lái)自LP：Wiener-Hopf 方程注意到：對(duì)同一信號(hào)，都使用其得到了兩組21結(jié)論：對(duì)同一信號(hào)，二者是相同的，即一個(gè)p階AR模型的系數(shù)可用來(lái)構(gòu)成一個(gè)p階的線性預(yù)測(cè)器，反之亦然。并且：由于所以等效的概念結(jié)論：對(duì)同一信號(hào)，二者是相同的，即一個(gè)p階AR模型的系22應(yīng)等于AR模型激勵(lì)白噪聲的功率。由LP的含意，因此AR模型也可以看作是在最小平方意義上對(duì)數(shù)的擬合；上面等效的含意是：由于LP包含了對(duì)數(shù)據(jù)的外推，因此，對(duì)應(yīng)的譜估計(jì)所用數(shù)據(jù)的范圍比實(shí)際的應(yīng)有擴(kuò)展，因此可以提高分辨率。線性預(yù)測(cè)器的誤差序列等效于激勵(lì)A(yù)R模型的白噪聲序列；應(yīng)等于AR模型激勵(lì)白噪聲的功率23AR模型白化濾波器線性預(yù)測(cè)器AR模型白化濾波器線性預(yù)測(cè)器24Yule-Walker方程的快速計(jì)算－Levinson-Durbin快速算法：反射系數(shù)要求解的參數(shù)：思路：利用Toeplitz矩陣特點(diǎn)，由低階高階Yule-Walker方程的快速計(jì)算反射系數(shù)要求解的參數(shù)：25數(shù)字信號(hào)處理第12章_1課件26？零階預(yù)測(cè)器的誤差等于信號(hào)的功率？零階預(yù)測(cè)器的誤差等于信號(hào)的功率27遞推公式遞推過(guò)程中，要始終保持：？遞推公式遞推過(guò)程中，要始終保持：？28P階AR模型（LP）有三組參數(shù)：可互相導(dǎo)出，請(qǐng)給出它們互相導(dǎo)出的公式。都是p+1個(gè)AR模型P階AR模型（LP）有三組參數(shù)：可互相導(dǎo)出，請(qǐng)給出它們互相29基于AR模型譜估計(jì)的實(shí)現(xiàn)：由估計(jì)步驟1步驟2解Yule-walker方程，得估計(jì)的模型參數(shù)步驟3尚需離散化基于AR模型譜估計(jì)的實(shí)現(xiàn)：由30離散譜，用FFT計(jì)算實(shí)際計(jì)算：離散譜，用FFT計(jì)算實(shí)際計(jì)算：3112.3AR模型譜估計(jì)的性質(zhì)1.AR譜的平滑特性AR模型是一有理分式，估計(jì)出的譜平滑，不需要像周期圖那樣再做平滑或平均，因此，不需要為此去犧牲分辨率。12.3AR模型譜估計(jì)的性質(zhì)1.AR譜的平滑特性AR模322.AR譜的分辨率經(jīng)典譜估計(jì)：假定：分辨率反比于N，即對(duì)間接法：分辨率還要降低2.AR譜的分辨率經(jīng)典譜估計(jì)：假定：分辨率反比于N，即33AR模型包含了對(duì)的“預(yù)測(cè)”或“外推”。實(shí)際上，這包含著自相關(guān)函數(shù)的“外推”。令：AR譜AR譜對(duì)應(yīng)的自相關(guān)函數(shù)可以證明：AR模型自相關(guān)函數(shù)匹配性質(zhì)AR模型包含了對(duì)的“預(yù)測(cè)”或“外推”。實(shí)34證明：由兩邊做DTFT反變換：證明：由兩邊做DTFT反變換：35左邊右邊有：上式等效于Yule-Walker方程，對(duì)同樣的模型系數(shù)，因此必有當(dāng)時(shí)，可以用下式外推：左邊右邊有：上式等效于Yule-Walker方程，對(duì)同樣的36外推后的對(duì)應(yīng)AR譜，因此AR譜有較高的分辨率。而經(jīng)典譜估計(jì)中無(wú)外推，即：分辨率低注意到AR模型自相關(guān)函數(shù)的匹配：設(shè)想：如果階次,則AR譜對(duì)應(yīng)的自相關(guān)函數(shù)完全等于信號(hào)的自相關(guān)函數(shù)，AR譜等于真譜。外推后的對(duì)應(yīng)AR譜，因此AR譜有較高的37（b)p=10;(c)p=20;(d)p=30（b)p=10;(c)p=20;(d)p=3038最大熵譜估計(jì):Burg于1975年博士論文。MaximumEntropySpectralEstimation，MESE）關(guān)于熵：設(shè)信源由這M個(gè)事件組成：產(chǎn)生的概率是

的信息量：對(duì)數(shù)以e為底對(duì)數(shù)以2為底奈特（nat)比特（bit）單位最大熵譜估計(jì):Burg于1975年博士論文。關(guān)于熵：39離散型隨機(jī)變量連續(xù)型隨機(jī)變量熵Burg最大熵譜估計(jì)的思路是：已知某隨機(jī)信號(hào)自相關(guān)函數(shù)的個(gè)值，現(xiàn)希望以這個(gè)值對(duì)的自相關(guān)函數(shù)予以外推。外推的方法很多，Burg的準(zhǔn)則是：外推后的自相關(guān)函數(shù)對(duì)應(yīng)的時(shí)間序列具有最大的熵，即是最隨機(jī)的。離散型隨機(jī)變量連續(xù)型隨機(jī)變量熵Burg最大熵譜估計(jì)的思路是：40最大熵功率譜保證：的遞推方法很多。所以很多說(shuō)明了自相互函數(shù)的外推特點(diǎn)原則：是所有各種可能外推所對(duì)應(yīng)的時(shí)間序列中最隨機(jī)的，即含有最大信息量（熵）。再假定是高斯的。在這三個(gè)條件制約下，有：最大熵功率譜保證：所以說(shuō)明了自相互函數(shù)的外推特點(diǎn)原則：413.AR模型譜的匹配性質(zhì)P階線性預(yù)測(cè)從LSI系統(tǒng)輸入、輸出關(guān)系若用AR譜去匹配信號(hào)的譜，則誤差系列的譜應(yīng)由常數(shù)譜來(lái)匹配，體現(xiàn)的白化性質(zhì)。從AR模型和LP等效關(guān)系p階AR模型3.AR模型譜的匹配性質(zhì)P階線性預(yù)測(cè)從LSI系統(tǒng)輸入、42給定平穩(wěn)信號(hào)的功率譜，希望用一模型的譜來(lái)匹配它，匹配的原則是使二者比值的積分最小。令相對(duì)中的參數(shù)最小可得到最佳Yule-WalkerEq的又一解釋?zhuān)航o定平穩(wěn)信號(hào)的功率譜，希望用一模型的譜來(lái)匹配它，匹配43當(dāng)有：的真實(shí)功率譜AR譜AR模型自相關(guān)函數(shù)匹配性質(zhì)當(dāng)有：的真實(shí)功率譜AR譜A44所以，理論上：我們可用一個(gè)全極點(diǎn)模型來(lái)近似已知譜，達(dá)到任意精度。由：增加，等效地?cái)U(kuò)大了相等的部分所以，理論上：我們可用一個(gè)全極點(diǎn)模型來(lái)近由：增加，45在內(nèi)緊隨（1）全局跟隨性質(zhì)（global)因?yàn)榫禐?，所以在上下波動(dòng)（2）局部跟隨性質(zhì)（local)總效果：緊隨的峰值從對(duì)整個(gè)積分的貢獻(xiàn)來(lái)考慮情況多情況少在內(nèi)緊隨（1）全局跟隨性質(zhì)（g46緊跟譜的峰值緊跟譜的峰值474.AR譜的統(tǒng)計(jì)性質(zhì)AR譜估計(jì)的方差反比于的長(zhǎng)度N和SNRAR譜變?yōu)锳RMA譜，既有極點(diǎn)，又有零點(diǎn)，分辨率會(huì)有下降。5.AR譜估計(jì)的不足若的SNR不高，那么可看作

區(qū)別？4.AR譜的統(tǒng)計(jì)性質(zhì)AR譜估計(jì)的方差反比于的48AR模型階次p的選擇Levinson遞推給出：（1）最終預(yù)測(cè)誤差準(zhǔn)則（2）信息論準(zhǔn)則遞減、恒正pAR模型階次p的選擇Levinson遞推給出：（1）最終預(yù)4912.4AR模型的穩(wěn)定性為什么有穩(wěn)定性問(wèn)題？式中自相關(guān)函數(shù)是估計(jì)出的，由解出：始終是穩(wěn)定的？能否保證取決于R的性質(zhì)12.4AR模型的穩(wěn)定性為什么有穩(wěn)定性問(wèn)題？式中自相關(guān)函數(shù)50第10章已證明：若正定，則求出的保證的根都在單位圓內(nèi)，且唯一。 ——AR模型的最小相位性質(zhì)結(jié)論1第10章已證明：若正定，則求出的51由線性方程組的克萊姆法則，必然是唯一的。關(guān)鍵是證明其最小相位性質(zhì)。對(duì)階模型，預(yù)測(cè)誤差功率應(yīng)為最小。若有一零點(diǎn)在單位圓外，將其反射到單位圓內(nèi)，如果進(jìn)一步減小。這就說(shuō)明原來(lái)的 不是最佳的。也即，只有最小相位的才能構(gòu)成最優(yōu)的階線性預(yù)測(cè)器。證明：由線性方程組的克萊姆法則，52令：代入：式中：令：代入：式中：53所以整個(gè)積分不為零。由此，不是最佳的階預(yù)測(cè)器。將：則：令：但是：所以整個(gè)積分不為零。由此，不是最佳的54若由個(gè)復(fù)正弦組成，即則：矩陣奇異我們證明過(guò)是非負(fù)定的，但結(jié)論1要求是正定的。何時(shí)，何時(shí)結(jié)論2？若由個(gè)復(fù)正弦組成，即則：55純線譜證明：標(biāo)量情況向量情況純線譜證明：標(biāo)量情況向量情況56假定：有非零解：則：又：必有假定：有非零解：則：又：必有57第一點(diǎn)得證由線性方程組理論，必有：必不全為零，有非零解請(qǐng)自己證明即：第二點(diǎn)：第一點(diǎn)得證由線性方程組理論，必有：必不全為零，有非零解請(qǐng)自己58若由個(gè)正弦組成，又稱(chēng)純諧波過(guò)程，則是完全可預(yù)測(cè)的，即可以做到：結(jié)論2和3對(duì)信號(hào)建模有著重要的指導(dǎo)作用。對(duì)個(gè)復(fù)正弦，其自相關(guān)矩陣的秩為，因此模型的階次最大只能為，否則，將出現(xiàn)矩陣奇異的現(xiàn)象，當(dāng)然，所求出的模型是不穩(wěn)定的。對(duì)純正弦建模時(shí)，一般要人為的加入一些噪聲，防止自相關(guān)陣奇異。結(jié)論3若由個(gè)正弦組成59關(guān)于信號(hào)建模本質(zhì)的討論用白噪聲激勵(lì)一個(gè)線性系統(tǒng)，真的能產(chǎn)生我們所研究的隨機(jī)信號(hào)或者：??關(guān)于信號(hào)建模本質(zhì)的討論用白噪聲激勵(lì)一個(gè)線60并沒(méi)討論過(guò)時(shí)域信號(hào)的匹配性質(zhì)，即：我們介紹過(guò)AR模型的：（1）自相關(guān)函數(shù)的匹配性質(zhì)：（2）功率譜的匹配性質(zhì)并沒(méi)討論過(guò)時(shí)域信號(hào)的匹配性質(zhì)，即：我們介紹過(guò)AR模型的：（261實(shí)際上，我們無(wú)法要求：因此，我們討論過(guò)的信號(hào)建模是在二階統(tǒng)計(jì)意義上的建模，要求的是自相關(guān)函數(shù)和功率譜這些二階統(tǒng)計(jì)量的匹配。而只能做到：實(shí)際上，我們無(wú)法要求：因此，我們討論過(guò)的信號(hào)建模是在二階統(tǒng)計(jì)62定義：若平穩(wěn)過(guò)程存在階模型，使得模型的輸出和在階統(tǒng)計(jì)意義上一致，則稱(chēng)可在階統(tǒng)計(jì)意義上準(zhǔn)確建模。是在階統(tǒng)計(jì)意義上準(zhǔn)確模型；即是自相關(guān)和功率譜匹配；做譜分解，可得，但由于失去相位信息，所以模型無(wú)窮多若已知，由定義：若平穩(wěn)過(guò)程存在階模型，使63實(shí)際上，我們可以在其它階次的統(tǒng)計(jì)量上建模。階次大于2的譜稱(chēng)為“多譜（Polyspectrum)。三階譜定義為:三階譜又稱(chēng)“雙譜（Bispectrum)”,對(duì)應(yīng)的相關(guān)函數(shù)又稱(chēng)三階相關(guān)：階次大于2的統(tǒng)計(jì)分析，稱(chēng)為“高階譜分析（High-OrderSpectralAnalysis)”,MATLAB中有專(zhuān)門(mén)的工具箱。實(shí)際上，我們可以在其它階次的統(tǒng)計(jì)量上建模。三階譜又稱(chēng)“雙譜（64Wold分解定理：任一平穩(wěn)過(guò)程均可作如下分解：1.是一規(guī)則過(guò)程（平穩(wěn)，連續(xù)譜）, 是一純正弦過(guò)程，二者不相關(guān);2.

可以表為一個(gè)無(wú)窮階的MA過(guò)程:并有且和也不相關(guān)Wold分解定理：任一平穩(wěn)過(guò)程均可作如下分65這一分解的含義是：任一寬平穩(wěn)過(guò)程的功率譜都可表為一連續(xù)譜和一線譜的和：Wold分解定理是平穩(wěn)過(guò)程的一個(gè)基本定理?？捎糜诓煌Ｐ椭g的等效。如可由一p階AR模型來(lái)產(chǎn)生，所以，一個(gè)p階AR模型可由一無(wú)窮階的MA模型來(lái)等效，反之亦然。這為建模及模型求解提供了方便。這一分解的含義是：任一寬平穩(wěn)過(guò)程的Wold66第12章參數(shù)模型功率譜估計(jì)12.1平穩(wěn)隨機(jī)信號(hào)的參數(shù)模型12.2AR模型的正則方程與參數(shù)計(jì)算12.3AR模型譜估計(jì)的性質(zhì)與階次選擇12.4AR模型的穩(wěn)定性與信號(hào)建模12.5關(guān)于線性預(yù)測(cè)12.6AR模型系數(shù)的求解算法12.7MA模型12.8ARMA模型12.9Pisarenko諧波分解與MUSIC算法第12章參數(shù)模型功率譜估計(jì)12.1平穩(wěn)隨機(jī)信號(hào)的參數(shù)6712.1平穩(wěn)隨機(jī)信號(hào)的參數(shù)模型經(jīng)典譜估計(jì)：分辨率低（受窗函數(shù)長(zhǎng)度的限制）;方差性能不好；方差和分辨率之間的矛盾。對(duì)平穩(wěn)信號(hào)建模:用于功率譜估計(jì):提高分辨率，減小方差；也可用于信號(hào)的特征提取，預(yù)測(cè)，編碼及數(shù)據(jù)壓縮等。12.1平穩(wěn)隨機(jī)信號(hào)的參數(shù)模型經(jīng)典譜估計(jì)：對(duì)平穩(wěn)信號(hào)建模:68步驟2由的先驗(yàn)知識(shí)，如,估計(jì)的參數(shù)：步驟1假定所研究的平穩(wěn)過(guò)程是由一白噪聲序列激勵(lì)一線性系統(tǒng)所產(chǎn)生的輸出；從功率譜估計(jì)的角度，對(duì)平穩(wěn)信號(hào)建模的步驟：步驟2由的先驗(yàn)知識(shí)，如,估計(jì)69即是對(duì)建立的數(shù)學(xué)模型。參數(shù)一旦上述系數(shù)被求出，則：

功率譜估計(jì)：隨機(jī)信號(hào)通過(guò)LSI系統(tǒng)的輸入輸出關(guān)系步驟3即是對(duì)建立的數(shù)學(xué)模型。參數(shù)一旦上述系數(shù)被求出，則70LSI系統(tǒng)的輸入、輸出關(guān)系：以上兩式是LSI系統(tǒng)的時(shí)域表示，無(wú)論對(duì)確定性信號(hào)還是隨機(jī)信號(hào)都成立?，F(xiàn)假定輸入、輸出是平穩(wěn)隨機(jī)信號(hào)（輸入是白噪聲）。差分方程卷積關(guān)系LSI系統(tǒng)的輸入、輸出關(guān)系：以上兩式是LSI系統(tǒng)的時(shí)域表示，71轉(zhuǎn)移函數(shù)的兩種表示形式，獨(dú)立于信號(hào)。譜分解的Z域表示待辨識(shí)的參數(shù)。轉(zhuǎn)移函數(shù)的兩種表示形式，獨(dú)立于信號(hào)。譜分解的Z域表示待辨識(shí)的72

AR（Auto—Regressive，自回歸）模型若：并假定：全極點(diǎn)模型則：AR（Auto—Regressive，自回歸）模型若：并假73

MA（Moving—Average,移動(dòng)平均）模型若：則：全零點(diǎn)模型MA（Moving—Average,移動(dòng)平均）模型若：則：74

ARMA（Auto-RegressiveMoving- Average,自回歸－移動(dòng)平均） 模型極—零模型ARMA模型如果：不全為零則：ARMA（Auto-RegressiveMoving-75AR模型:全極模型，線性，用的最多，被研究的也最多，性能很好；MA模型：全零模型，看起來(lái)簡(jiǎn)單； 但是非線性；ARMA模型：極－零模型，二者的綜合。具體選用那一個(gè)模型，一是取決于信號(hào)的特點(diǎn)，二是取決于信號(hào)處理任務(wù)的需要，需區(qū)別對(duì)待。AR模型:全極模型，線性，用的最多，MA模型：全零76KaySM,MarpleSL.SpectrumAnalysis:amodern Perspective.Proc.IEEE, 69(Nov):1380-1419,1981MakhoulJ.LinearPrediction:atutorialreview.Proc.IEEE,62(April):561-580,1975KaySM.ModernSpectrumEstimation: TheoryandApplication.19884MarpleSL.DigitalSpectrumAnalysis withApplication.1987推薦如下參考文獻(xiàn)：KaySM,MarpleSL.Spectrum7712.2AR模型的正則方程與參數(shù)計(jì)算目標(biāo)：找到已知參數(shù)和未知參數(shù)的關(guān)系， 以便求解未知參數(shù)：已知參數(shù)：求解方法：由下面的差分方程入手：兩邊同乘，求均值未知參數(shù)：12.2AR模型的正則方程與參數(shù)計(jì)算目標(biāo)：找到已知參數(shù)和未78

和 的互相關(guān)和79因果系統(tǒng)卷積關(guān)系因果系統(tǒng)卷積關(guān)系80結(jié)果1：結(jié)果2：結(jié)合起來(lái)正則方程（NormalEq.）結(jié)果1：結(jié)果2：結(jié)合起來(lái)正則方程（NormalEq.）81Toeplitz自相關(guān)陣又稱(chēng)Yule-Walker方程Toeplitz又稱(chēng)Yule-Walker方82利用Yule-Walker方程，可求解出AR模型參數(shù)：于是模型可以構(gòu)造，可以實(shí)現(xiàn)功率譜估計(jì)。提法：設(shè)在時(shí)刻之前的個(gè)數(shù)據(jù)已知現(xiàn)在希望用它們預(yù)測(cè) 為了深入了解AR模型的特點(diǎn)，現(xiàn)探討另外一個(gè)問(wèn)題，即線性預(yù)測(cè)問(wèn)題：利用Yule-Walker方程，可求解出AR模型參數(shù)：于是83線性預(yù)測(cè)誤差序列均方誤差線性預(yù)測(cè)誤差序列均方誤差84令：可以得到使最小的及。不求導(dǎo)，使用正交原理：Wiener-HopfEq.令：可以得到使最小的85：最小預(yù)測(cè)誤差功率線性預(yù)測(cè)的Wiener-HopfEq.：最小預(yù)測(cè)誤差功率線性預(yù)測(cè)的Wiener86注意到：對(duì)同一信號(hào)，都使用其得到了兩組方程：來(lái)自AR模型：Yule-Walk方程來(lái)自LP：Wiener-Hopf 方程注意到：對(duì)同一信號(hào)，都使用其得到了兩組87結(jié)論：對(duì)同一信號(hào)，二者是相同的，即一個(gè)p階AR模型的系數(shù)可用來(lái)構(gòu)成一個(gè)p階的線性預(yù)測(cè)器，反之亦然。并且：由于所以等效的概念結(jié)論：對(duì)同一信號(hào)，二者是相同的，即一個(gè)p階AR模型的系88應(yīng)等于AR模型激勵(lì)白噪聲的功率。由LP的含意，因此AR模型也可以看作是在最小平方意義上對(duì)數(shù)的擬合；上面等效的含意是：由于LP包含了對(duì)數(shù)據(jù)的外推，因此，對(duì)應(yīng)的譜估計(jì)所用數(shù)據(jù)的范圍比實(shí)際的應(yīng)有擴(kuò)展，因此可以提高分辨率。線性預(yù)測(cè)器的誤差序列等效于激勵(lì)A(yù)R模型的白噪聲序列；應(yīng)等于AR模型激勵(lì)白噪聲的功率89AR模型白化濾波器線性預(yù)測(cè)器AR模型白化濾波器線性預(yù)測(cè)器90Yule-Walker方程的快速計(jì)算－Levinson-Durbin快速算法：反射系數(shù)要求解的參數(shù)：思路：利用Toeplitz矩陣特點(diǎn)，由低階高階Yule-Walker方程的快速計(jì)算反射系數(shù)要求解的參數(shù)：91數(shù)字信號(hào)處理第12章_1課件92？零階預(yù)測(cè)器的誤差等于信號(hào)的功率？零階預(yù)測(cè)器的誤差等于信號(hào)的功率93遞推公式遞推過(guò)程中，要始終保持：？遞推公式遞推過(guò)程中，要始終保持：？94P階AR模型（LP）有三組參數(shù)：可互相導(dǎo)出，請(qǐng)給出它們互相導(dǎo)出的公式。都是p+1個(gè)AR模型P階AR模型（LP）有三組參數(shù)：可互相導(dǎo)出，請(qǐng)給出它們互相95基于AR模型譜估計(jì)的實(shí)現(xiàn)：由估計(jì)步驟1步驟2解Yule-walker方程，得估計(jì)的模型參數(shù)步驟3尚需離散化基于AR模型譜估計(jì)的實(shí)現(xiàn)：由96離散譜，用FFT計(jì)算實(shí)際計(jì)算：離散譜，用FFT計(jì)算實(shí)際計(jì)算：9712.3AR模型譜估計(jì)的性質(zhì)1.AR譜的平滑特性AR模型是一有理分式，估計(jì)出的譜平滑，不需要像周期圖那樣再做平滑或平均，因此，不需要為此去犧牲分辨率。12.3AR模型譜估計(jì)的性質(zhì)1.AR譜的平滑特性AR模982.AR譜的分辨率經(jīng)典譜估計(jì)：假定：分辨率反比于N，即對(duì)間接法：分辨率還要降低2.AR譜的分辨率經(jīng)典譜估計(jì)：假定：分辨率反比于N，即99AR模型包含了對(duì)的“預(yù)測(cè)”或“外推”。實(shí)際上，這包含著自相關(guān)函數(shù)的“外推”。令：AR譜AR譜對(duì)應(yīng)的自相關(guān)函數(shù)可以證明：AR模型自相關(guān)函數(shù)匹配性質(zhì)AR模型包含了對(duì)的“預(yù)測(cè)”或“外推”。實(shí)100證明：由兩邊做DTFT反變換：證明：由兩邊做DTFT反變換：101左邊右邊有：上式等效于Yule-Walker方程，對(duì)同樣的模型系數(shù)，因此必有當(dāng)時(shí)，可以用下式外推：左邊右邊有：上式等效于Yule-Walker方程，對(duì)同樣的102外推后的對(duì)應(yīng)AR譜，因此AR譜有較高的分辨率。而經(jīng)典譜估計(jì)中無(wú)外推，即：分辨率低注意到AR模型自相關(guān)函數(shù)的匹配：設(shè)想：如果階次,則AR譜對(duì)應(yīng)的自相關(guān)函數(shù)完全等于信號(hào)的自相關(guān)函數(shù)，AR譜等于真譜。外推后的對(duì)應(yīng)AR譜，因此AR譜有較高的103（b)p=10;(c)p=20;(d)p=30（b)p=10;(c)p=20;(d)p=30104最大熵譜估計(jì):Burg于1975年博士論文。MaximumEntropySpectralEstimation，MESE）關(guān)于熵：設(shè)信源由這M個(gè)事件組成：產(chǎn)生的概率是

的信息量：對(duì)數(shù)以e為底對(duì)數(shù)以2為底奈特（nat)比特（bit）單位最大熵譜估計(jì):Burg于1975年博士論文。關(guān)于熵：105離散型隨機(jī)變量連續(xù)型隨機(jī)變量熵Burg最大熵譜估計(jì)的思路是：已知某隨機(jī)信號(hào)自相關(guān)函數(shù)的個(gè)值，現(xiàn)希望以這個(gè)值對(duì)的自相關(guān)函數(shù)予以外推。外推的方法很多，Burg的準(zhǔn)則是：外推后的自相關(guān)函數(shù)對(duì)應(yīng)的時(shí)間序列具有最大的熵，即是最隨機(jī)的。離散型隨機(jī)變量連續(xù)型隨機(jī)變量熵Burg最大熵譜估計(jì)的思路是：106最大熵功率譜保證：的遞推方法很多。所以很多說(shuō)明了自相互函數(shù)的外推特點(diǎn)原則：是所有各種可能外推所對(duì)應(yīng)的時(shí)間序列中最隨機(jī)的，即含有最大信息量（熵）。再假定是高斯的。在這三個(gè)條件制約下，有：最大熵功率譜保證：所以說(shuō)明了自相互函數(shù)的外推特點(diǎn)原則：1073.AR模型譜的匹配性質(zhì)P階線性預(yù)測(cè)從LSI系統(tǒng)輸入、輸出關(guān)系若用AR譜去匹配信號(hào)的譜，則誤差系列的譜應(yīng)由常數(shù)譜來(lái)匹配，體現(xiàn)的白化性質(zhì)。從AR模型和LP等效關(guān)系p階AR模型3.AR模型譜的匹配性質(zhì)P階線性預(yù)測(cè)從LSI系統(tǒng)輸入、108給定平穩(wěn)信號(hào)的功率譜，希望用一模型的譜來(lái)匹配它，匹配的原則是使二者比值的積分最小。令相對(duì)中的參數(shù)最小可得到最佳Yule-WalkerEq的又一解釋?zhuān)航o定平穩(wěn)信號(hào)的功率譜，希望用一模型的譜來(lái)匹配它，匹配109當(dāng)有：的真實(shí)功率譜AR譜AR模型自相關(guān)函數(shù)匹配性質(zhì)當(dāng)有：的真實(shí)功率譜AR譜A110所以，理論上：我們可用一個(gè)全極點(diǎn)模型來(lái)近似已知譜，達(dá)到任意精度。由：增加，等效地?cái)U(kuò)大了相等的部分所以，理論上：我們可用一個(gè)全極點(diǎn)模型來(lái)近由：增加，111在內(nèi)緊隨（1）全局跟隨性質(zhì)（global)因?yàn)榫禐?，所以在上下波動(dòng)（2）局部跟隨性質(zhì)（local)總效果：緊隨的峰值從對(duì)整個(gè)積分的貢獻(xiàn)來(lái)考慮情況多情況少在內(nèi)緊隨（1）全局跟隨性質(zhì)（g112緊跟譜的峰值緊跟譜的峰值1134.AR譜的統(tǒng)計(jì)性質(zhì)AR譜估計(jì)的方差反比于的長(zhǎng)度N和SNRAR譜變?yōu)锳RMA譜，既有極點(diǎn)，又有零點(diǎn)，分辨率會(huì)有下降。5.AR譜估計(jì)的不足若的SNR不高，那么可看作

區(qū)別？4.AR譜的統(tǒng)計(jì)性質(zhì)AR譜估計(jì)的方差反比于的114AR模型階次p的選擇Levinson遞推給出：（1）最終預(yù)測(cè)誤差準(zhǔn)則（2）信息論準(zhǔn)則遞減、恒正pAR模型階次p的選擇Levinson遞推給出：（1）最終預(yù)11512.4AR模型的穩(wěn)定性為什么有穩(wěn)定性問(wèn)題？式中自相關(guān)函數(shù)是估計(jì)出的，由解出：始終是穩(wěn)定的？能否保證取決于R的性質(zhì)12.4AR模型的穩(wěn)定性為什么有穩(wěn)定性問(wèn)題？式中自相關(guān)函數(shù)116第10章已證明：若正定，則求出的保證的根都在單位圓內(nèi)，且唯一。 ——AR模型的最小相位性質(zhì)結(jié)論1第10章已證明：若正定，則求出的117由線性方程組的克萊姆法則，必然是唯一的。關(guān)鍵是證明其最小相位性質(zhì)。對(duì)階模型，預(yù)測(cè)誤差功率應(yīng)為最小。若有一零點(diǎn)在單位圓外，將其反射到單位圓內(nèi)，如果進(jìn)一步減小。這就說(shuō)明原來(lái)的 不是最佳的。也即，只有最小相位的才能構(gòu)成最優(yōu)的階線性預(yù)測(cè)器。證明：由線性方程組的克萊姆法則，118令：代入：式中：令：代入：式中：119所以整個(gè)積分不為零。由此，不是最佳的階預(yù)測(cè)器。將：則：令：但是：所以整個(gè)積分不為零。由此，不是最佳的120若由個(gè)復(fù)正弦組成，即則：矩陣奇異我們證明過(guò)是非負(fù)定的，但結(jié)論1要求是正定的。何時(shí)，何時(shí)結(jié)論2？若由