第二十四講：最小二乘估計、波形估計課件

7.6最小二乘估計（LeastSquareEstimate）最小二乘估計是一種對數(shù)據(jù)的概率分布未做任何假定的一種估計方法，僅對數(shù)據(jù)模型進(jìn)行假定。SignalModelPerturbationnoiseModelinaccuraciesSignalModel-+7.6最小二乘估計（LeastSquareEstim1選擇一種的最佳估計,使s(n)最接近z(n)例如：DC電平信號選擇一種的最佳估計,使s(n)最接近z(n)2例：正弦信號頻率的估計最小化難以得到閉合性形式的解，原因是信號與未知參數(shù)f0之間存在高度的非線性關(guān)系。例：正弦信號頻率的估計最小化難以得到閉合性形式的解，原因是信3第二十四講：最小二乘估計、波形估計課件4加權(quán)最小二乘估計加權(quán)最小二乘估計5討論：（1）當(dāng)觀測噪聲的均值為零時，最小二乘與加權(quán)最小二乘是無偏估計。討論：（1）當(dāng)觀測噪聲的均值為零時，最小二乘與加權(quán)最小二乘6（2）估計的方差陣（2）估計的方差陣7(3)對于加權(quán)最小二乘估計，如果有一些模型的知識，如E(v)=0，E[vvT]=R，當(dāng)W=R-1時，估計誤差的方差陣達(dá)到最小，這個最小的方差陣為這時的估計稱為馬爾可夫估計(3)對于加權(quán)最小二乘估計，如果有一些模型的知識，如E(v8例：信號幅度的估計設(shè)N次獨(dú)立觀測為方法一：例：信號幅度的估計設(shè)N次獨(dú)立觀測為方法一：9方法2：方法2：10信號處理實(shí)例：最小二乘在目標(biāo)跟蹤中的應(yīng)用目標(biāo)的跟蹤問題可等效成一個曲線擬合問題假定目標(biāo)做勻速直線運(yùn)動運(yùn)動模型（只考慮x方向）：信號處理實(shí)例：最小二乘在目標(biāo)跟蹤中的應(yīng)用目標(biāo)的跟蹤問題可等效11觀測模型：令觀測模型：令12遞推算法：批處理算法，運(yùn)算量太大。遞推算法：批處理算法，運(yùn)算量太大。13遞推算法：遞推算法：147.7波形估計(WaveformEstimation)根據(jù){z(n),n[n0,nf]}估計s(n)波形估計的應(yīng)用圖像恢復(fù)語音恢復(fù)目標(biāo)跟蹤彈道數(shù)據(jù)處理7.7波形估計(WaveformEstimation)151.波形估計的三種類型(1)濾波：根據(jù)當(dāng)前和過去的觀測值{z(k),k=n0,n0+1,...,n}對信號s(n)進(jìn)行估計(2)預(yù)測:根據(jù)當(dāng)前和過去的觀測值{z(k),k=n0,n0+1,...,nf

}對未來時刻n(n>nf)的信號s(n)進(jìn)行估計，預(yù)測也稱為外推。數(shù)據(jù)數(shù)據(jù)1.波形估計的三種類型(1)濾波：根據(jù)當(dāng)前和過去的觀測值16(3)內(nèi)插:根據(jù)某一區(qū)間的觀測數(shù)據(jù){z(k),k=n0,n0+1,...,nf

}對區(qū)間內(nèi)的某一個時刻n(n0<n<nf)的信號進(jìn)行估計，內(nèi)插也稱為平滑。數(shù)據(jù)(3)內(nèi)插:根據(jù)某一區(qū)間的觀測數(shù)據(jù)數(shù)據(jù)17波形估計宜采用可建立遞推算法的線性最小均方估計或最小二乘估計。v(n)相互獨(dú)立，且若采用最大似然估計波形估計宜采用可建立遞推算法的線性最小均方估計或最小二乘估計18這個估計量是沒有意義的，因?yàn)闆]有對觀測做任何處理。這個估計量是沒有意義的，因?yàn)闆]有對觀測做任何處理。19最小均方估計：線性最小均方估計：濾波最小均方估計：線性最小均方估計：濾波20由正交原理：Wiener-Holf方程波形估計的關(guān)鍵是如何求解Wiener-Holf方程由正交原理：Wiener-Holf方程波形估計的關(guān)鍵是如何21維納濾波器假定信號和觀測過程是平穩(wěn)隨機(jī)序列，并且是聯(lián)合平穩(wěn)隨機(jī)序列，系統(tǒng)為線性時不變離散時間線性系統(tǒng)，n0=-，即觀測數(shù)據(jù)為{z(k),-<k}，維納濾波器假定信號和觀測過程是平穩(wěn)隨機(jī)序列，并且是聯(lián)合平穩(wěn)隨22維納濾波器維納濾波器23當(dāng)信號s(n)與觀測噪聲統(tǒng)計獨(dú)立時當(dāng)信號s(n)與觀測噪聲統(tǒng)計獨(dú)立時24如果假定{z(k),-<k}，系統(tǒng)為因果的線性時不變系統(tǒng)如果假定{z(k),-<k}，系統(tǒng)為因果的線性25第二十四講：最小二乘估計、波形估計課件26當(dāng)觀測為白噪聲的時候，當(dāng)觀測為白噪聲的時候，27如果不是白噪聲，那么可以先白化Hw(z)H2(z)如果不是白噪聲，那么可以先白化Hw(z)H2(z)28例7.13設(shè)觀測過程為z(n)=s(n)+v(n)，其中假定觀測噪聲v(n)為零均值白噪聲，方差為1，s(n)是具有有理譜的平穩(wěn)隨機(jī)序列，功率譜密度為信號s(n)與v(n)統(tǒng)計獨(dú)立，求估計s(n)的維納濾波器例7.13設(shè)觀測過程為z(n)=s(n)+v(n)，其中假29解：解：30第二十四講：最小二乘估計、波形估計課件31第二十四講：最小二乘估計、波形估計課件32連續(xù)時間的維納濾波器離散時間濾波連續(xù)時間濾波物理可實(shí)現(xiàn)物理可實(shí)現(xiàn)連續(xù)時間的維納濾波器離散時間濾波連續(xù)時間濾波物理可實(shí)現(xiàn)物理可33例7.13設(shè)觀測過程為z(t)=s(t)+v(t)，-<t<其中假定觀測噪聲v(n)為零均值白噪聲，功率譜密度為1，s(n)是具有有理譜的平穩(wěn)隨機(jī)過陳，功率譜密度為求估計s(t)的維納濾波器。例7.13設(shè)觀測過程為z(t)=s(t)+v(t)，-<34第二十四講：最小二乘估計、波形估計課件35第七章小結(jié)貝葉斯估計非貝葉斯估計最小均方估計條件中位數(shù)估計最大后驗(yàn)概率估計線性最小均方估計最大似然估計最小二乘估計都需要計算后驗(yàn)概率密度需要計算似然函數(shù)只對數(shù)據(jù)模型進(jìn)行假定第七章小結(jié)貝葉斯估計非貝葉斯估計最小均方估計最大似然估計都需361.最小均方估計平方代價函數(shù)的貝葉斯估計最小均方估計是無偏估計2.條件中位數(shù)估計絕對值代價函數(shù)的貝葉斯估計1.最小均方估計平方代價函數(shù)的貝葉斯估計最小均方估計是無偏373.最大后驗(yàn)概率估計采用絕對值代價函數(shù)的貝葉斯估計最大后驗(yàn)概率方程3.最大后驗(yàn)概率估計采用絕對值代價函數(shù)的貝葉斯估計最大后驗(yàn)38貝葉斯估計都需要計算后驗(yàn)概率密度，需要已知被估計量的分布特性。先驗(yàn)信息的應(yīng)用，有利于提高估計的性能。貝葉斯估計都需要計算后驗(yàn)概率密度，需要已知被估計量的分布特性39Mean=Median=Mode高斯后驗(yàn)分布Mean=Median=Mode高斯后驗(yàn)分布404.最大似然估計最大似然方程：4.最大似然估計最大似然方程：41常用信號參數(shù)的估計（1）高斯白噪聲中恒定電平的估計（2）高斯白噪聲的方差估計均值為零均值已知均值未知常用信號參數(shù)的估計（1）高斯白噪聲中恒定電平的估計（2）42（3）信號幅度的估計z[n]=As[n]+v[n]，n=0,1,….N-1正弦信號幅度估計:（3）信號幅度的估計z[n]=As[n]+v[n]，n=043(4)正弦信號相位的估計(4)正弦信號相位的估計445.估計的性能0DesirePDF概率密度越尖越好均值要等于真值方差越小越好對于有偏估計，均方誤差越小越好性能指標(biāo)：無偏性有效性一致性5.估計的性能0DesirePDF概率密度越尖越好對于有45估計量的CRLB當(dāng)且僅當(dāng)任何無偏估計的方差滿足估計量的CRLB當(dāng)且僅當(dāng)任何無偏估計的方差滿足46達(dá)到CRLB的估計稱為效估計量如果有效估計量存在，則該有效估計量一定是最大似然估計如果有效估計量不存在，則最大似然估計的方差不一定是最小的。最大似然估計是漸近有效估計量，即達(dá)到CRLB的估計稱為效估計量如果有效估計量存在，則該有效估47隨機(jī)參量的CRLB任何無偏估計的均方誤差滿足等號成立的條件隨機(jī)參量的CRLB任何無偏估計的均方誤差滿足等號成立的條件48如果有某個無偏估計達(dá)到CRLB,那么該估計必定是最大后驗(yàn)概率估計.而最小均方估計的均方誤差也是最小的,所以這時最小均方估計與最大后驗(yàn)概率估計等價.如果有某個無偏估計達(dá)到CRLB,那么該估計必定是最大后驗(yàn)概率496.線性最小均方估計6.線性最小均方估計50線性最小均方估計是無偏的。當(dāng)觀測與被估計量是聯(lián)合高斯分布式，線性最小均方估計與最小均方估計等價。矢量形式：線性最小均方估計是無偏的。當(dāng)觀測與被估計量是聯(lián)合高斯分布式517.最小二乘估計7.最小二乘估計52第二十四講：最小二乘估計、波形估計課件53性質(zhì)：當(dāng)觀測噪聲的均值為零時，最小二乘與加權(quán)最小二乘是無偏估計。W=R-1時稱為馬爾可夫估計性質(zhì)：W=R-1時稱為馬爾可夫估計548.波形估計濾波、預(yù)測、平滑的概念運(yùn)用正交原理獲得Wiener-Holf方程8.波形估計濾波、預(yù)測、平滑的概念運(yùn)用正交原理獲得Wien55離散時間濾波連續(xù)時間濾波物理可實(shí)現(xiàn)物理可實(shí)現(xiàn)離散時間濾波連續(xù)時間濾波物理可實(shí)現(xiàn)物理可實(shí)現(xiàn)56習(xí)題：7.237.247.25習(xí)題：7.237.247.25577.6最小二乘估計（LeastSquareEstimate）最小二乘估計是一種對數(shù)據(jù)的概率分布未做任何假定的一種估計方法，僅對數(shù)據(jù)模型進(jìn)行假定。SignalModelPerturbationnoiseModelinaccuraciesSignalModel-+7.6最小二乘估計（LeastSquareEstim58選擇一種的最佳估計,使s(n)最接近z(n)例如：DC電平信號選擇一種的最佳估計,使s(n)最接近z(n)59例：正弦信號頻率的估計最小化難以得到閉合性形式的解，原因是信號與未知參數(shù)f0之間存在高度的非線性關(guān)系。例：正弦信號頻率的估計最小化難以得到閉合性形式的解，原因是信60第二十四講：最小二乘估計、波形估計課件61加權(quán)最小二乘估計加權(quán)最小二乘估計62討論：（1）當(dāng)觀測噪聲的均值為零時，最小二乘與加權(quán)最小二乘是無偏估計。討論：（1）當(dāng)觀測噪聲的均值為零時，最小二乘與加權(quán)最小二乘63（2）估計的方差陣（2）估計的方差陣64(3)對于加權(quán)最小二乘估計，如果有一些模型的知識，如E(v)=0，E[vvT]=R，當(dāng)W=R-1時，估計誤差的方差陣達(dá)到最小，這個最小的方差陣為這時的估計稱為馬爾可夫估計(3)對于加權(quán)最小二乘估計，如果有一些模型的知識，如E(v65例：信號幅度的估計設(shè)N次獨(dú)立觀測為方法一：例：信號幅度的估計設(shè)N次獨(dú)立觀測為方法一：66方法2：方法2：67信號處理實(shí)例：最小二乘在目標(biāo)跟蹤中的應(yīng)用目標(biāo)的跟蹤問題可等效成一個曲線擬合問題假定目標(biāo)做勻速直線運(yùn)動運(yùn)動模型（只考慮x方向）：信號處理實(shí)例：最小二乘在目標(biāo)跟蹤中的應(yīng)用目標(biāo)的跟蹤問題可等效68觀測模型：令觀測模型：令69遞推算法：批處理算法，運(yùn)算量太大。遞推算法：批處理算法，運(yùn)算量太大。70遞推算法：遞推算法：717.7波形估計(WaveformEstimation)根據(jù){z(n),n[n0,nf]}估計s(n)波形估計的應(yīng)用圖像恢復(fù)語音恢復(fù)目標(biāo)跟蹤彈道數(shù)據(jù)處理7.7波形估計(WaveformEstimation)721.波形估計的三種類型(1)濾波：根據(jù)當(dāng)前和過去的觀測值{z(k),k=n0,n0+1,...,n}對信號s(n)進(jìn)行估計(2)預(yù)測:根據(jù)當(dāng)前和過去的觀測值{z(k),k=n0,n0+1,...,nf

}對未來時刻n(n>nf)的信號s(n)進(jìn)行估計，預(yù)測也稱為外推。數(shù)據(jù)數(shù)據(jù)1.波形估計的三種類型(1)濾波：根據(jù)當(dāng)前和過去的觀測值73(3)內(nèi)插:根據(jù)某一區(qū)間的觀測數(shù)據(jù){z(k),k=n0,n0+1,...,nf

}對區(qū)間內(nèi)的某一個時刻n(n0<n<nf)的信號進(jìn)行估計，內(nèi)插也稱為平滑。數(shù)據(jù)(3)內(nèi)插:根據(jù)某一區(qū)間的觀測數(shù)據(jù)數(shù)據(jù)74波形估計宜采用可建立遞推算法的線性最小均方估計或最小二乘估計。v(n)相互獨(dú)立，且若采用最大似然估計波形估計宜采用可建立遞推算法的線性最小均方估計或最小二乘估計75這個估計量是沒有意義的，因?yàn)闆]有對觀測做任何處理。這個估計量是沒有意義的，因?yàn)闆]有對觀測做任何處理。76最小均方估計：線性最小均方估計：濾波最小均方估計：線性最小均方估計：濾波77由正交原理：Wiener-Holf方程波形估計的關(guān)鍵是如何求解Wiener-Holf方程由正交原理：Wiener-Holf方程波形估計的關(guān)鍵是如何78維納濾波器假定信號和觀測過程是平穩(wěn)隨機(jī)序列，并且是聯(lián)合平穩(wěn)隨機(jī)序列，系統(tǒng)為線性時不變離散時間線性系統(tǒng)，n0=-，即觀測數(shù)據(jù)為{z(k),-<k}，維納濾波器假定信號和觀測過程是平穩(wěn)隨機(jī)序列，并且是聯(lián)合平穩(wěn)隨79維納濾波器維納濾波器80當(dāng)信號s(n)與觀測噪聲統(tǒng)計獨(dú)立時當(dāng)信號s(n)與觀測噪聲統(tǒng)計獨(dú)立時81如果假定{z(k),-<k}，系統(tǒng)為因果的線性時不變系統(tǒng)如果假定{z(k),-<k}，系統(tǒng)為因果的線性82第二十四講：最小二乘估計、波形估計課件83當(dāng)觀測為白噪聲的時候，當(dāng)觀測為白噪聲的時候，84如果不是白噪聲，那么可以先白化Hw(z)H2(z)如果不是白噪聲，那么可以先白化Hw(z)H2(z)85例7.13設(shè)觀測過程為z(n)=s(n)+v(n)，其中假定觀測噪聲v(n)為零均值白噪聲，方差為1，s(n)是具有有理譜的平穩(wěn)隨機(jī)序列，功率譜密度為信號s(n)與v(n)統(tǒng)計獨(dú)立，求估計s(n)的維納濾波器例7.13設(shè)觀測過程為z(n)=s(n)+v(n)，其中假86解：解：87第二十四講：最小二乘估計、波形估計課件88第二十四講：最小二乘估計、波形估計課件89連續(xù)時間的維納濾波器離散時間濾波連續(xù)時間濾波物理可實(shí)現(xiàn)物理可實(shí)現(xiàn)連續(xù)時間的維納濾波器離散時間濾波連續(xù)時間濾波物理可實(shí)現(xiàn)物理可90例7.13設(shè)觀測過程為z(t)=s(t)+v(t)，-<t<其中假定觀測噪聲v(n)為零均值白噪聲，功率譜密度為1，s(n)是具有有理譜的平穩(wěn)隨機(jī)過陳，功率譜密度為求估計s(t)的維納濾波器。例7.13設(shè)觀測過程為z(t)=s(t)+v(t)，-<91第二十四講：最小二乘估計、波形估計課件92第七章小結(jié)貝葉斯估計非貝葉斯估計最小均方估計條件中位數(shù)估計最大后驗(yàn)概率估計線性最小均方估計最大似然估計最小二乘估計都需要計算后驗(yàn)概率密度需要計算似然函數(shù)只對數(shù)據(jù)模型進(jìn)行假定第七章小結(jié)貝葉斯估計非貝葉斯估計最小均方估計最大似然估計都需931.最小均方估計平方代價函數(shù)的貝葉斯估計最小均方估計是無偏估計2.條件中位數(shù)估計絕對值代價函數(shù)的貝葉斯估計1.最小均方估計平方代價函數(shù)的貝葉斯估計最小均方估計是無偏943.最大后驗(yàn)概率估計采用絕對值代價函數(shù)的貝葉斯估計最大后驗(yàn)概率方程3.最大后驗(yàn)概率估計采用絕對值代價函數(shù)的貝葉斯估計最大后驗(yàn)95貝葉斯估計都需要計算后驗(yàn)概率密度，需要已知被估計量的分布特性。先驗(yàn)信息的應(yīng)用，有利于提高估計的性能。貝葉斯估計都需要計算后驗(yàn)概率密度，需要已知被估計量的分布特性96Mean=Median=Mode高斯后驗(yàn)分布Mean=Median=Mode高斯后驗(yàn)分布974.最大似然估計最大似然方程：4.最大似然估計最大似然方程：98常用信號參數(shù)的估計（1）高斯白噪聲中恒定電平的估計（2）高斯白噪聲的方差估計均值為零均值已知均值未知常用信號參數(shù)的估計（1）高斯白噪聲中恒定電平的估計（2）99（3）信號幅度的估計z[n]=As[n]+v[n]，n=0,1,….N-1正弦信號幅度估計:（3）信號幅度的估計z[n]=As[n]+v[n]，n=0100(4)正弦信號相位的估計(4)正弦信號相位的估計1015.估計的性能0DesirePDF概率密度越尖越好均值要等于真值方差越小越好對于有偏估計，均方誤差越小越好性能指標(biāo)：無偏性