現(xiàn)代數(shù)字信號(hào)處理課件：離散隨機(jī)信號(hào)及信號(hào)模型

離散隨機(jī)信號(hào)及信號(hào)模型2.1離散隨機(jī)過(guò)程的概念及性質(zhì)2.2時(shí)域離散隨機(jī)信號(hào)的統(tǒng)計(jì)描述2.3隨機(jī)序列數(shù)字特征的估計(jì)2.4線性系統(tǒng)對(duì)隨機(jī)信號(hào)的響應(yīng)2.5時(shí)間序列信號(hào)模型

2.1離散隨機(jī)過(guò)程的概念及性質(zhì)

信號(hào)按其性質(zhì)分，有確定性信號(hào)和隨機(jī)信號(hào)。所謂確定性信號(hào)，就是信號(hào)的幅度隨時(shí)間的變化有一定的規(guī)律性，可以用一個(gè)明確的數(shù)學(xué)關(guān)系進(jìn)行描述，是可以再現(xiàn)的。而隨機(jī)信號(hào)隨時(shí)間的變化沒(méi)有明確的變化規(guī)律，在任何時(shí)間的信號(hào)大小都不能預(yù)測(cè)，因此不可能用一明確的數(shù)學(xué)關(guān)系進(jìn)行描述，但這類信號(hào)的分布存在著一定的統(tǒng)計(jì)信號(hào)規(guī)律，它可以用概率密度函數(shù)、概率分布函數(shù)、數(shù)字特征等進(jìn)行描述。實(shí)際中的隨機(jī)信號(hào)常有四種形式:

(1)連續(xù)隨機(jī)信號(hào):時(shí)間變量和幅度均取連續(xù)值的隨機(jī)信號(hào)。

(2)時(shí)域離散隨機(jī)信號(hào)(簡(jiǎn)稱隨機(jī)序列):時(shí)間變量取離散值，而幅度取連續(xù)值的隨機(jī)信號(hào)。

(3)幅度離散隨機(jī)信號(hào):幅度取離散值，而時(shí)間變量取連續(xù)值的隨機(jī)信號(hào)。例如隨機(jī)脈沖信號(hào)，其取值只有兩個(gè)電平，不是高電平就是低電平，但高低電平的選取卻是隨機(jī)的。

(4)離散隨機(jī)序列(也稱為隨機(jī)數(shù)字信號(hào)):幅度和時(shí)間變量均取離散值的信號(hào)。定義1

設(shè)已給概率空間(Ω，Γ，P)，Z為整數(shù)集，若對(duì)每一整數(shù)n(n∈Z)，均有定義在(Ω，Γ，P)上的一個(gè)隨機(jī)變量x(ω，n)(ω∈Ω)與之對(duì)應(yīng)，則稱依賴于參數(shù)n的一列隨機(jī)變量x(ω，n)為一離散時(shí)間隨機(jī)過(guò)程或隨機(jī)序列，記為{x(ω，n)，ω∈Ω，n∈Z}，簡(jiǎn)記為{x(n)，n∈Z}或{xn}。隨機(jī)序列有以下特點(diǎn):

(1)隨機(jī)序列中任何一點(diǎn)上的取值都是不能先驗(yàn)確定的隨機(jī)變量。一個(gè)隨機(jī)信號(hào)(或序列)是一個(gè)隨機(jī)過(guò)程，在它的每個(gè)時(shí)間點(diǎn)上的取值都是隨機(jī)的，可用一個(gè)隨機(jī)變量表示。或者說(shuō)，一個(gè)隨機(jī)過(guò)程是由一個(gè)隨機(jī)試驗(yàn)所產(chǎn)生的隨機(jī)變量依時(shí)序組合而得到的序列。今后我們用{x(n)}表示一個(gè)隨機(jī)序列，而用x(n)表示時(shí)間為n的點(diǎn)上的一個(gè)隨機(jī)變量。顯然，任何一個(gè)具體實(shí)驗(yàn)所得到的序列(例如圖2.1所示的序列x1(n))都只能是隨機(jī)序列的一個(gè)樣本序列(或一個(gè)實(shí)現(xiàn))。圖2.1拋硬幣得到的隨機(jī)樣本序列

(2)隨機(jī)序列可以用它的統(tǒng)計(jì)平均特性來(lái)表征。一個(gè)隨機(jī)序列中的每一個(gè)隨機(jī)變量都可以用確定的概率分布特性來(lái)統(tǒng)計(jì)地描述，即可通過(guò)統(tǒng)計(jì)平均特性來(lái)表征。

(3)平穩(wěn)隨機(jī)信號(hào)的能量化表示。一隨機(jī)信號(hào)各頻率的能量稱為功率譜密度(簡(jiǎn)稱功率譜)。一個(gè)平穩(wěn)的隨機(jī)信號(hào)的功率譜是確定的，因此，功率譜可以統(tǒng)計(jì)表征一個(gè)隨機(jī)過(guò)程的譜特性。我們將會(huì)知道，一個(gè)信號(hào)的功率譜是這個(gè)信號(hào)的自相關(guān)函數(shù)的傅立葉變換。功率譜和自相關(guān)函數(shù)是一個(gè)傅立葉變換對(duì)，它們相互唯一地確定，而且都是信號(hào)的一種(二維)統(tǒng)計(jì)平均表征，分別從不同域的側(cè)面表征著一個(gè)隨機(jī)過(guò)程的最本質(zhì)的性質(zhì)。因此，對(duì)于一個(gè)觀測(cè)到的隨機(jī)信號(hào)，重要的是確定它的功率譜密度函數(shù)和自相關(guān)函數(shù)。

2.2時(shí)域離散隨機(jī)信號(hào)的統(tǒng)計(jì)描述

2.2.1時(shí)域離散隨機(jī)信號(hào)(隨機(jī)序列)的概率描述

隨機(jī)序列和連續(xù)隨機(jī)信號(hào)一樣，可以用概率密度函數(shù)和概率分布函數(shù)進(jìn)行描述。

1.概率分布函數(shù)

對(duì)于隨機(jī)變量Xn，其概率分布函數(shù)用下式描述:

(2.2.1)

式中，P表示概率。

2.概率密度函數(shù)

如果Xn取連續(xù)值，其概率密度函數(shù)用下式描述:

(2.2.2)式(2.2.1)和式(2.2.2)分別稱為隨機(jī)序列的一維概率分布函數(shù)和一維概率密度函數(shù)，它們只描述隨機(jī)序列在某一時(shí)刻n的統(tǒng)計(jì)特性。而對(duì)于隨機(jī)序列，不同n的隨機(jī)變量之間并不是孤立的，為了更加完整地描述隨機(jī)序列，需要了解二維及多維統(tǒng)計(jì)特性。二維概率分布函數(shù):(2.2.3)對(duì)于連續(xù)隨機(jī)變量，其二維概率密度函數(shù)為(2.2.4)以此類推，N維概率分布函數(shù)為(2.2.5)對(duì)于連續(xù)隨機(jī)變量，其N維概率密度函數(shù)為(2.2.6)2.2.2隨機(jī)序列的數(shù)字特征

1.數(shù)學(xué)期望(統(tǒng)計(jì)平均值)

隨機(jī)序列的數(shù)學(xué)期望定義為(2.2.7)式中，E表示求統(tǒng)計(jì)平均值。由式(2.2.7)可見(jiàn)，數(shù)學(xué)期望是n的函數(shù)，如果隨機(jī)序列是平穩(wěn)的，則數(shù)學(xué)期望是常數(shù)，與n無(wú)關(guān)。

2.均方值與方差

隨機(jī)序列均方值定義為

(2.2.8)隨機(jī)序列的方差定義為(2.2.9)可以證明，上式也可以寫(xiě)為:(2.2.10)一般均方值和方差都是n的函數(shù)，但對(duì)于平穩(wěn)隨機(jī)序列，它們與n無(wú)關(guān)，是常數(shù)。如果隨機(jī)變量Xn代表電壓或電流，則其均方值表示在n時(shí)刻消耗在1Ω電阻上的集合平均功率，方差則表示消耗在1Ω電阻上的交變功率的集合平均。有時(shí)將σx稱為標(biāo)準(zhǔn)方差。

3.隨機(jī)序列的相關(guān)函數(shù)和協(xié)方差函數(shù)

我們知道，在隨機(jī)序列不同時(shí)刻的狀態(tài)之間存在著關(guān)聯(lián)性，或者說(shuō)不同時(shí)刻的狀態(tài)之間互相有影響，包括隨機(jī)序列本身或者不同隨機(jī)序列之間。這一特性常用自相關(guān)函數(shù)和互相關(guān)函數(shù)進(jìn)行描述。

自相關(guān)函數(shù)定義為

(2.2.11)自協(xié)方差函數(shù)定義為(2.2.12)式中的“*”表示復(fù)共軛。上式也可以寫(xiě)成(2.2.13)對(duì)于零均值隨機(jī)序列，

，則這種情況下，自相關(guān)函數(shù)和自協(xié)方差函數(shù)沒(méi)有什么區(qū)別。對(duì)于兩個(gè)不同的隨機(jī)序列之間的關(guān)聯(lián)性，我們用互相關(guān)函數(shù)和互協(xié)方差函數(shù)描述?；ハ嚓P(guān)函數(shù)的定義為(2.2.14)式中，表示Xn和Ym的聯(lián)合概率密度。

互協(xié)方差函數(shù)定義為(2.2.15)同樣，當(dāng)時(shí)，有cov(Xn，Ym)=rxy(n，m)2.2.3平穩(wěn)隨機(jī)序列及其數(shù)字特征

在信息處理與傳輸中，經(jīng)常遇到一類稱為平穩(wěn)隨機(jī)序列的重要信號(hào)。所謂平穩(wěn)隨機(jī)序列，是指它的N維概率分布函數(shù)或N維概率密度函數(shù)與時(shí)間n的起始位置無(wú)關(guān)。換句話說(shuō)，平穩(wěn)隨機(jī)序列的統(tǒng)計(jì)特性不隨時(shí)間的平移而發(fā)生變化。如果將隨機(jī)序列在時(shí)間上平移k，其統(tǒng)計(jì)特性滿足下式:(2.2.16)那么這類隨機(jī)序列就稱為平穩(wěn)隨機(jī)序列。經(jīng)常將上面這類隨機(jī)序列稱為狹義(嚴(yán))平穩(wěn)隨機(jī)序列，這一嚴(yán)平穩(wěn)的條件在實(shí)際情況下很難滿足。許多隨機(jī)序列不是嚴(yán)平穩(wěn)隨機(jī)序列，但它們的均值和均方差卻不隨時(shí)間而改變，其相關(guān)函數(shù)僅是時(shí)間差的函數(shù)。一般將這一類隨機(jī)序列稱為廣義(寬)平穩(wěn)隨機(jī)序列。下面我們重點(diǎn)分析廣義平穩(wěn)隨機(jī)序列。為簡(jiǎn)單起見(jiàn)，將廣義平穩(wěn)隨機(jī)序列簡(jiǎn)稱為平穩(wěn)隨機(jī)序列。

平穩(wěn)隨機(jī)序列的一維概率密度函數(shù)與時(shí)間無(wú)關(guān)，因此均值、方差和均方值均與時(shí)間無(wú)關(guān)，它們可分別用下式表示:

(2.2.17)(2.2.18)(2.2.19)二維概率密度函數(shù)僅決定于時(shí)間差，與起始時(shí)間無(wú)關(guān)；自相關(guān)函數(shù)與自協(xié)方差函數(shù)是時(shí)間差的函數(shù)。自相關(guān)函數(shù)

rxx(m)與自協(xié)方差函數(shù)covxx(m)分別用下式表示:

(2.2.20)(2.2.21)

對(duì)于兩個(gè)各自平穩(wěn)且聯(lián)合平穩(wěn)的隨機(jī)序列，其互相關(guān)函數(shù)為(2.2.22)顯然，對(duì)于自相關(guān)函數(shù)和互相關(guān)函數(shù)，下面的公式成立:(2.2.23)(2.2.24)如果對(duì)于所有的m，滿足公式:rxy(m)=0，則稱兩個(gè)隨機(jī)序列互為正交。如果對(duì)于所有的m，滿足公式:rxy(m)=mxmy，

covxy(m)=0，則稱兩個(gè)隨機(jī)序列互不相關(guān)。

實(shí)平穩(wěn)隨機(jī)序列的相關(guān)函數(shù)、協(xié)方差函數(shù)具有以下重要性質(zhì):

(1)自相關(guān)函數(shù)和自協(xié)方差函數(shù)是m的偶函數(shù)，用下式表示:

rxx(m)=rxx(－m)，covxx(m)=covxx(－m)

(2.2.25)

rxy(m)=ryx(－m)，covxy(m)=covyx(－m)

(2.2.26)

(2)

(2.2.27)

rxx(0)數(shù)值上等于隨機(jī)序列的平均功率。

(3)

(2.2.28)(4)(2.2.29)(2.2.30)上式說(shuō)明大多數(shù)平穩(wěn)隨機(jī)序列內(nèi)部的相關(guān)性隨著時(shí)間差的變大，將會(huì)愈來(lái)愈弱。(5)(2.2.31)三種定義之間的關(guān)系為對(duì)于實(shí)平穩(wěn)隨機(jī)序列，三種定義的自相關(guān)函數(shù)是一樣的。自相關(guān)函數(shù)與互相關(guān)函數(shù)如下本書(shū)采用第三種定義方法。2.2.4平穩(wěn)隨機(jī)序列的功率譜

我們知道，平穩(wěn)隨機(jī)序列是非周期函數(shù)，且是能量無(wú)限信號(hào)，無(wú)法直接利用傅立葉變換進(jìn)行分析。但自相關(guān)函數(shù)也是非周期序列，卻隨著時(shí)間差m的增大，而趨近于隨機(jī)序列的均值。如果隨機(jī)序列的均值為0，即mx=0，rxx(m)是收斂序列，其Z變換用Pxx(z)表示如下:(2.2.32)且(2.2.33)將式(2.2.33)進(jìn)行Z變換，得到

(2.2.34)如果z1是其極點(diǎn)，則(z1－1)*也是極點(diǎn)。如果z1在單位圓內(nèi)，則(z1－1)*必須在單位圓外。收斂域一定包含單位圓。pxx(z)的收斂域有以下形式:類似地，互相關(guān)函數(shù)的Z變換用Pxy(z)表示，有(2.2.35)(2.2.36)由于Pxx(z)的收斂域包含單位圓，因此rxx(m)的傅立葉變換存在。令z=exp(jω)，代入式(2.2.32)，有

(2.2.37)(2.2.38)將m=0代入上式，得到(2.2.39)按照式(2.2.27)，rxx(0)就等于隨機(jī)序列的平均功率，因此將Pxx(ejω)稱為功率譜密度，或者簡(jiǎn)稱為功率譜。式(2.2.37)、式(2.2.38)表示的一對(duì)傅立葉變換式稱為維納—辛欽定理。對(duì)于實(shí)平穩(wěn)隨機(jī)序列功率譜，有以下性質(zhì):

(1)功率譜是ω的偶函數(shù):

Pxx(ω)=Pxx(－ω)

(2.2.40)

這一結(jié)果可直接由自相關(guān)函數(shù)是時(shí)間差的偶函數(shù)證明。由于功率譜和自相關(guān)函數(shù)都是實(shí)、偶函數(shù)，因此它們還可以表示為(2.2.41)(2.2.42)

(2)功率譜是實(shí)的非負(fù)函數(shù)，即

Pxx(ω)≥0

此性質(zhì)的證明見(jiàn)下節(jié)。類似地，對(duì)于互功率譜，有(2.2.43)(2.2.44)(2.2.45)2.2.5隨機(jī)序列的各態(tài)歷經(jīng)性

我們知道集合平均要求對(duì)大量的樣本進(jìn)行平均，實(shí)際中這種做法是不現(xiàn)實(shí)的。在很多情況下，可以用一條樣本曲線描述隨機(jī)序列，因此可以用樣本曲線進(jìn)行測(cè)量和分析。

設(shè)x(n)是平穩(wěn)隨機(jī)序列X(n)的一條樣本曲線，其時(shí)間平均值為

(2.2.46)類似地，其時(shí)間自相關(guān)函數(shù)為(2.2.47)式中，〈·〉表示時(shí)間平均算子。如果平穩(wěn)隨機(jī)序列的集合平均值與集合自相關(guān)函數(shù)值依概率趨于平穩(wěn)隨機(jī)序列樣本函數(shù)的時(shí)間平均值與時(shí)間自相關(guān)函數(shù)，即滿足下面兩式:

〈x(n)〉=mx=E[X(n)]

(2.2.48)

〈x*(n)x(n+m)〉=rxx(m)=E[X*(n)X(n+m)]

(2.2.49)

則稱該平穩(wěn)隨機(jī)序列具有各態(tài)歷經(jīng)性。平穩(wěn)隨機(jī)序列雖有各態(tài)歷經(jīng)性的和非各態(tài)歷經(jīng)性的兩種，但在實(shí)際中遇到的平穩(wěn)隨機(jī)序列，一般都是各態(tài)歷經(jīng)性的。這樣我們用研究平穩(wěn)隨機(jī)序列的一條樣本曲線代替研究其集合，用時(shí)間平均代替集合平均，就給研究平穩(wěn)隨機(jī)序列帶來(lái)了很大的方便。2.2.6隨機(jī)信號(hào)的采樣定理

對(duì)于平穩(wěn)隨機(jī)信號(hào)，如果其功率譜嚴(yán)格限制在某一有限頻帶內(nèi)，則該隨機(jī)信號(hào)稱為帶限隨機(jī)信號(hào)。如果平穩(wěn)隨機(jī)信號(hào)X(t)的功率譜Pxx(Ω)滿足下式:

Pxx(Ω)=0，|Ω|≥Ωc

則稱X(t)為低通性帶限隨機(jī)信號(hào)，式中Ωc表示功率譜的最高截止頻率。

設(shè)以采樣間隔T對(duì)平穩(wěn)隨機(jī)信號(hào)X(t)進(jìn)行采樣，采樣后隨機(jī)序列為X(n)，只要采樣頻率fs滿足

(2.2.50)或者則有以下采樣插值公式:(2.2.51)可以證明，在均方意義上，X(t)等于，即(2.2.52)

2.3隨機(jī)序列數(shù)字特征的估計(jì)

2.3.1估計(jì)準(zhǔn)則

一般來(lái)說(shuō)，根據(jù)觀測(cè)數(shù)據(jù)對(duì)一個(gè)量(參數(shù))或者同時(shí)對(duì)幾個(gè)量(參數(shù))進(jìn)行推斷，是估計(jì)問(wèn)題。例如，通信工程中的信號(hào)參數(shù)和波形，包括振幅、頻率、相位、時(shí)延和瞬時(shí)波形。這里無(wú)論對(duì)何種量都必須根據(jù)觀測(cè)值進(jìn)行估計(jì)，而觀測(cè)存在觀測(cè)誤差(或者把觀測(cè)誤差看成噪聲)。雖然被估計(jì)的參數(shù)是確定量，觀測(cè)數(shù)據(jù)卻是隨機(jī)的，由觀測(cè)值推算出的估計(jì)量存在隨機(jī)估計(jì)誤差。因此如何判定估計(jì)方法的好壞，是統(tǒng)計(jì)估計(jì)的基本問(wèn)題。假定對(duì)隨機(jī)變量x觀測(cè)了N次，得到N個(gè)觀測(cè)值:x0,x1,x2,…,xN－1,希望通過(guò)這N個(gè)觀測(cè)值估計(jì)參數(shù)α，稱α為真值，它的估計(jì)值用表示。是觀測(cè)值的函數(shù)，假定該函數(shù)關(guān)系用F[·]表示為

(2.3.1)

估計(jì)誤差用表示，，這里和都是隨機(jī)變量。作為隨機(jī)變量，就存在一定的統(tǒng)計(jì)分布規(guī)律。設(shè)的概率密度曲線如圖2.2所示，圖中α是要估計(jì)的參數(shù)，如果估計(jì)值接近α的概率很大，則說(shuō)這是一種比較好的估計(jì)方法。圖2.2估計(jì)量的概率密度曲線

1.偏移性

令估計(jì)量的統(tǒng)計(jì)平均值與真值之間的差值為偏移B。其公式為(2.3.2)如果B=0，稱為無(wú)偏估計(jì)。無(wú)偏估計(jì)表示估計(jì)量?jī)H在它的真值附近擺動(dòng)，這是我們希望有的估計(jì)特性。如果B≠0，則稱為有偏估計(jì)。如果隨著觀察次數(shù)N的加大，能夠滿足下式:(2.3.3)則稱為漸進(jìn)無(wú)偏估計(jì)，這種情況在實(shí)際中是經(jīng)常有的。

2.估計(jì)量的方差

如果兩個(gè)估計(jì)量的觀察次數(shù)相同，又都是無(wú)偏估計(jì)，哪一個(gè)估計(jì)量在真值附近的擺動(dòng)更小一些，即估計(jì)量的方差更小一些，就說(shuō)這一個(gè)估計(jì)量的估計(jì)更有效。

如果和都是x的兩個(gè)無(wú)偏估計(jì)值，對(duì)任意N，

它們的方差滿足下式:式中

3.一致性——均方誤差

在許多情況下，比較兩個(gè)有偏估計(jì)值是比較麻煩的。偏移較小的估計(jì)值可能有較大的方差，而方差較小的估計(jì)值可能有較大的偏移，此時(shí)使用與估計(jì)值有關(guān)的均方誤差會(huì)更方便。估計(jì)量的均方誤差用下式表示:(2.3.4)如果估計(jì)量的均方誤差隨著觀察次數(shù)的增加趨于0，即估計(jì)量隨N的加大，在均方意義上趨于它的真值，則稱該估計(jì)是一致估計(jì)。估計(jì)量的均方誤差與估計(jì)量的方差和偏移的關(guān)系推導(dǎo)如下:

(2.3.5)上式表示，隨N的加大，偏移和估計(jì)量方差都趨于零，是一致估計(jì)的充分必要條件。通常對(duì)于一種估計(jì)方法的選定，往往不能使上述的三種性能評(píng)價(jià)一致，此時(shí)只能對(duì)它們折衷考慮，盡量滿足無(wú)偏性和一致性。2.3.2均值的估計(jì)

假設(shè)已取得樣本數(shù)據(jù)xi(i=0，1，2，…，N－1)，均值的估計(jì)量用下式計(jì)算:(2.3.6)式中，N是觀察次數(shù)。下面用已介紹的方法評(píng)價(jià)它的估計(jì)質(zhì)量。

1.偏移(2.3.7)因此B=0，說(shuō)明這種估計(jì)方法是無(wú)偏估計(jì)。

2.估計(jì)量的方差與均方誤差在計(jì)算上式時(shí)，與數(shù)據(jù)內(nèi)部的相關(guān)性有關(guān)，先假設(shè)數(shù)據(jù)內(nèi)部不相關(guān)，那么(2.3.8)(2.3.9)上式表明，估計(jì)量的方差隨觀察次數(shù)N的增加而減少，當(dāng)N→∞時(shí)，估計(jì)量的方差趨于0。這種情況下估計(jì)量的均方誤差為

這樣，當(dāng)N→∞時(shí)，B=0，，是一致估計(jì)。結(jié)論是:當(dāng)數(shù)據(jù)內(nèi)部不相關(guān)時(shí)，按照式(2.3.7)估計(jì)值，是一種無(wú)偏的一致估計(jì)，是一種好的估計(jì)方法。如果數(shù)據(jù)內(nèi)部存在關(guān)聯(lián)性，會(huì)使一致性的效果下降，估計(jì)量的方差比數(shù)據(jù)內(nèi)部不存在相關(guān)情況的方差要大，達(dá)不到信號(hào)方差的1/N。此時(shí)

當(dāng)序列的n與i相差m時(shí)，E[(xn－mx)(xi－mx)]=cov(m)，而N點(diǎn)數(shù)據(jù)中相距m點(diǎn)的樣本有N－m對(duì)，因此(2.3.10)式中

式(2.3.10)表明當(dāng)數(shù)據(jù)之間存在相關(guān)性時(shí)，按照式(2.3.6)估計(jì)均值，其估計(jì)量的方差下降不到真值的1/N。也可將式(2.3.10)表示成(2.3.11)如果希望估計(jì)量的方差改進(jìn)K倍，令，則可以利用式(2.3.11)估計(jì)需要的樣本數(shù)據(jù)的點(diǎn)數(shù)N。2.3.3方差的估計(jì)

已知N點(diǎn)樣本數(shù)據(jù)xi(i=0，1，2，…，N－1)，假設(shè)數(shù)據(jù)之間不存在相關(guān)性，且信號(hào)的均值mx已知，方差用下式估計(jì):

(2.3.12)可以證明這是一致估計(jì)，但實(shí)際中一般mx是不知道的。下面分析數(shù)據(jù)之間不存在相關(guān)性，均值也不知道的情況下，方差的估計(jì)方法。方差估計(jì)用下式計(jì)算:(2.3.13)式中的均值估計(jì)值用式(2.3.7)計(jì)算。下面分析它的偏移性，按照式(2.3.13)，有

(2.3.14)式中的第二項(xiàng)已經(jīng)推出，即式(2.3.8)。式中的第三項(xiàng)推導(dǎo)如下:(2.3.15)將式(2.3.8)和式(2.3.15)代入式(2.3.14)，得到(2.3.16)上式表明，按照式(2.3.6)估計(jì)方差，是有偏估計(jì)，但是漸進(jìn)無(wú)偏。為了得到無(wú)偏估計(jì)，可以用下式計(jì)算:(2.3.17)和之間的關(guān)系是(2.3.18)將上式兩邊取統(tǒng)計(jì)平均值，并將式(2.3.17)代入，得到

(2.3.19)上式表明，按照式(2.3.17)計(jì)算方差，是無(wú)偏估計(jì)。另外可以證明它也是一致估計(jì)，證明從略。如果數(shù)據(jù)之間存在相關(guān)性，也按照式(2.3.18)進(jìn)行方差估計(jì)，可以證明是有偏估計(jì)，但是漸近無(wú)偏估計(jì)。方差估計(jì)值的統(tǒng)計(jì)平均值為(2.3.20)2.3.4隨機(jī)序列自相關(guān)函數(shù)的估計(jì)

設(shè)只觀測(cè)到實(shí)隨機(jī)序列x(n)的一段樣本數(shù)據(jù)，n=0，1，2，…，N－1，利用這一段樣本數(shù)據(jù)估計(jì)自相關(guān)函數(shù)的方法有兩種，即無(wú)偏自相關(guān)函數(shù)估計(jì)和有偏自相關(guān)函數(shù)估計(jì)。

1.無(wú)偏自相關(guān)函數(shù)的估計(jì)

無(wú)偏自相關(guān)函數(shù)的估計(jì)公式為將上面兩式寫(xiě)成一個(gè)表達(dá)式:(2.3.21)下面分析這種自相關(guān)函數(shù)的估計(jì)質(zhì)量，首先分析偏移性:

(2.3.22)因此B=0，這是一種無(wú)偏估計(jì)。下面推導(dǎo)估計(jì)量的方差:(2.3.23)為了分析簡(jiǎn)單，假設(shè)x(n)是實(shí)的、均值為0的高斯隨機(jī)信號(hào)，求和號(hào)內(nèi)的部分可以寫(xiě)成下式:(2.3.24)

圖2.3求和域的變化式中，令r=k－n，此時(shí)求和域發(fā)生了變化，如圖2.3所示。根據(jù)變化后的求和域(k，r)，估計(jì)量的方差推導(dǎo)如下:

(2.3.25)一般觀測(cè)數(shù)據(jù)量N很大，則有(2.3.26)上式中，只有當(dāng)N>>m，N→∞時(shí)，估計(jì)量的方差才趨于0。但是當(dāng)m→N時(shí)，方差將很大，因此，這種估計(jì)方法在一般情況下不是一種好的估計(jì)方法；雖然是無(wú)偏估計(jì)，也不能算是一致估計(jì)。在推導(dǎo)過(guò)程中，曾假設(shè)信號(hào)為高斯信號(hào)，對(duì)于非高斯信號(hào)該結(jié)論也正確。

2.有偏自相關(guān)函數(shù)的估計(jì)

有偏自相關(guān)函數(shù)用表示，計(jì)算公式如下:(2.3.27)對(duì)比式(2.3.21)，不同點(diǎn)是求平均時(shí)只用N去除，這是不合理的，但下面可推導(dǎo)出它服從漸近一致估計(jì)的原則，比無(wú)偏自相關(guān)函數(shù)的估計(jì)誤差小，因此以后需要由觀測(cè)數(shù)據(jù)估計(jì)自相關(guān)函數(shù)時(shí)，均用上式進(jìn)行計(jì)算。下面先分析它的偏移性。無(wú)偏自相關(guān)函數(shù)與有偏自相關(guān)函數(shù)的關(guān)系式為(2.3.28)因?yàn)槭菬o(wú)偏估計(jì)，因此得到(2.3.29)上式說(shuō)明是有偏估計(jì)，但是漸近無(wú)偏，其偏移為(2.3.30)在式(2.3.29)中，的統(tǒng)計(jì)平均值等于其真值乘以三角窗函數(shù)ωB(m)(或稱巴特利特窗函數(shù))，即(2.3.31)三角窗函數(shù)的波形如圖2.4所示。只有當(dāng)m=0時(shí)，才是無(wú)偏的，其他m值都是有偏的，但當(dāng)N→∞時(shí)，ωB(m)→1，B→0，因此是漸近無(wú)偏。圖2.4三角窗函數(shù)下面推導(dǎo)它的估計(jì)量方差。

估計(jì)量的方差為

(2.3.32)可得到(2.3.32)顯然，當(dāng)N→∞時(shí)，并且

2.4線性系統(tǒng)對(duì)隨機(jī)信號(hào)的響應(yīng)

所謂系統(tǒng)，用數(shù)學(xué)語(yǔ)言來(lái)表述，就是從輸入序列{x(n)，n∈Z}到輸出序列{y(n)，n∈Z}的映射,記為L(zhǎng)，如果輸入序列{x(n)，n∈Z}和輸出序列{y(n)，n∈Z}滿足如下關(guān)系:

(2.4.1)則稱L為線性(時(shí)不變)系統(tǒng)；稱{h(k)，k∈Z}為線性系統(tǒng)的沖激響應(yīng)，它是線性系統(tǒng)的時(shí)域表征。如果k<0時(shí)的h(k)=0，則L是因果的。此時(shí)(2.4.2)若沖激響應(yīng){h(k)，k∈Z}滿足條件(2.4.3)就稱L是穩(wěn)定的，穩(wěn)定意味著有界的輸入導(dǎo)致了有界的輸出。事實(shí)上，若有正數(shù)M使得對(duì)一切n∈Z，都有|x(n)|<M，那么在實(shí)踐中，常見(jiàn)的系統(tǒng)都是穩(wěn)定和因果的線性系統(tǒng)。2.4.1線性時(shí)不變系統(tǒng)對(duì)隨機(jī)輸入的響應(yīng)

定理1

設(shè)輸入{x(n)，n∈Z}是平穩(wěn)序列，jxx(m)和Pxx(ω)分別為其自相關(guān)函數(shù)和功率譜密度，且jxx(m)絕對(duì)可和，L是線性時(shí)不變系統(tǒng)，其沖激響應(yīng)為h(n)，響應(yīng)頻率為H(ω),且滿足(1)(2)則有:

(1)L的輸出{y(n)，n∈Z}為

(2.4.4)

(2){y(n)}的均值函數(shù)和相關(guān)函數(shù)分別為(2.4.5)

(3){y(n)}的功率譜密度存在，且(2.4.6)證明由所列(2)，根據(jù)均方收斂準(zhǔn)則可知，y(n)存在，且y(n)的均值my按定義為

這里h(·)是確定的系統(tǒng)特性。又因x(n)是平穩(wěn)的隨機(jī)過(guò)程，其E[x(n)]=E[x(n－k)]=mx所以(2.4.7)即當(dāng)mx是與時(shí)間無(wú)關(guān)的常數(shù)時(shí)，my也是與時(shí)間無(wú)關(guān)的常數(shù)。由于輸出y(n)的自相關(guān)函數(shù)為

因?yàn)閤(n)是平穩(wěn)的，所以E[x*(n－k)x(n+m－r)]=jxx(m+k－r)可見(jiàn)(2.4.8)由于求和結(jié)果與n無(wú)關(guān),因此輸出自相關(guān)序列也只與時(shí)間差m有關(guān)。于是可以得出結(jié)論:對(duì)于線性非時(shí)變系統(tǒng),如果用一個(gè)平穩(wěn)隨機(jī)信號(hào)激勵(lì),其輸出信號(hào)也將是一個(gè)平穩(wěn)隨機(jī)信號(hào)。按假設(shè)條件及維納-辛欽公式知，{x(n)，n∈Z}有譜密度Pxx(ω)，而

于是再由維納—辛欽公式即可斷言{y(n)，n∈Z}也有譜密度Pyy(ω)，—π≤ω≤π。并由式,可得

，式(2.4.6)得證，定理1證畢。令l=r－k，式(2.4.8)可表示為(2.4.9)這里

(2.4.10)v(l)可稱為h(·)的自相關(guān)序列，它是一個(gè)時(shí)間卷積的結(jié)果。h(n)是一確定的(而不是隨機(jī)的)序列，并無(wú)統(tǒng)計(jì)平均的含義可言，它是h(n)與h(－n)的卷積，具有相關(guān)函數(shù)的形式，隱含了系統(tǒng)特性h(·)的前后波及性，將式(2.4.10)代入式(2.4.9)得(2.4.11)這個(gè)公式與求確知信號(hào)響應(yīng)的卷積公式十分相似。確知信號(hào)的輸出等于輸入與系統(tǒng)的沖激響應(yīng)的卷積，而這里的輸出、輸入則是與輸出和輸入隨機(jī)序列相對(duì)應(yīng)的自相關(guān)函數(shù)。系統(tǒng)的“沖激響應(yīng)”h(n)則換成了h(n)的自相關(guān)序列v(m)。式(2.4.11)是隨機(jī)過(guò)程-線性系統(tǒng)理論中極為有用和重要的一個(gè)基本關(guān)系式。它可用文字作如下表述:x(n)與h(n)卷積的自相關(guān)，等于x(n)的自相關(guān)和h(n)的自相關(guān)的卷積。這可推廣為卷積的相關(guān)，等于相關(guān)的卷積(見(jiàn)后面的式(2.4.16)及圖2.5的例子)，并可用公式形式表示如下:

如果

e(n)=a(n)*b(n)

f(n)=c(n)*d(n)

則ef(m)=jac(m)*jbd(m)

(2.4.12)

這個(gè)關(guān)系稱為相關(guān)—卷積定理，它在許多信號(hào)處理問(wèn)題的求解中十分有用。2.4.2系統(tǒng)輸入、輸出的互相關(guān)函數(shù)與互譜密度

現(xiàn)在讓我們來(lái)討論關(guān)于線性非時(shí)變系統(tǒng)的輸入和輸出之間的互相關(guān)函數(shù)jxy(m)及互譜密度Pxy(ω)。

定理2

設(shè)線性時(shí)不變系統(tǒng)L的輸入和輸出分別為平穩(wěn)序列{x(n)，n∈Z}和{y(n)，n∈Z},且{x(n)}存在譜密度Pxx(ω)，則系統(tǒng)的輸入{x(n)}與輸出{y(n)}平穩(wěn)相關(guān)，且它們的互譜密度函數(shù)為

Pxy(ω)=H(ω)Pxx(ω)，Pyx(ω)=H*(ω)Pxx(ω)

(2.4.13)

其中H(ω)為L(zhǎng)的頻率響應(yīng)。證明按定義

(2.4.14)式(2.4.14)又稱為輸入—輸出互相關(guān)定理。將式(2.4.14)代入式(2.4.11)得(2.4.15)設(shè)mx=0(自相關(guān)函數(shù)的Z變換存在)，將式(2.4.14)與式(2.4.15)轉(zhuǎn)換到z域，則有

Φxy(z)=H(z)Φxx(z)

(2.4.16)

Φyy(z)=H(z－1)Φxy(z)

(2.4.17)如用功率譜表示則有Pxy(ω)=H(ejw)Pxx(ω)

(2.4.18)Pyy(ω)=H(e－jω)Pxy(ω)

(2.4.19)式(2.4.14)與式(2.4.15)說(shuō)明了一個(gè)線性非時(shí)變系統(tǒng)的輸入與輸出間的互相關(guān)函數(shù)jxy(m)同輸入自相關(guān)函數(shù)jxx(m)及輸出自相關(guān)函數(shù)jyy(m)間的關(guān)系:jxy(m)等于jxx(m)與h(m)的卷積，而jyy(m)等于jxy(m)與h(－m)的卷積，這是兩個(gè)有用的關(guān)系式。當(dāng)輸入為白噪聲時(shí)，其功率譜密度Pxx(ω)為常數(shù)，按式

可得上式表明這個(gè)常數(shù)就是σ2x，故在白噪聲情況下有Pxx(ω)=σ2x=E[|x(n)|2]=平均功率，mx=0

(2.4.20)jxx(m)=F－1[Pxx(ω)]=σ2xδ(m)

(2.4.21)式(2.4.20)說(shuō)明白噪聲的功率在頻率軸上的分布密度處處相同(等于σ2x)，并且它就等于輸入信號(hào)的平均功率。將式(2.4.21)代入式(2.4.14)，得jxy(m)=σ2xh(m)

(2.4.22)將式(2.4.21)代入式(2.4.18)則可得

Pxy(ω)=H(ejω)Pxx(ω)=σ2xH(ejω)

(2.4.23)

式(2.4.22)和式(2.4.23)說(shuō)明由白噪聲激勵(lì)的線性非時(shí)變系統(tǒng)，其輸入、輸出互相關(guān)函數(shù)正比于系統(tǒng)的沖激響應(yīng)式h(m)，而其輸入、輸出的互功率譜正比于系統(tǒng)的頻率響應(yīng)

H(ejω)。因此,式(2.4.22)和式(2.4.23)常用于通過(guò)估計(jì)jxy(m)或Pxy(ω)來(lái)估計(jì)線性非時(shí)變系統(tǒng)的沖激響應(yīng)或頻率響應(yīng)。

例2.1

在圖2.5中，如果已知隨機(jī)序列x(n)與y(n)的互相關(guān)函數(shù)jxy(m)，試證明:

(1)Φyv(z)=H1(z)Φyx(z)

Φvy(z)=H1(z－1)Φxy(z)

(2)Φvw(z)=H2(z)Φvy(z)

Φwv(z)=H2(z－1)Φyv(z)

(3)Φvw(z)=H1(z－1)H2(z)Φxy(z)

Φwv(z)=H1(z)H2(z－1)Φyx(z)圖2.5證明:

(1)按定義有所以

Φyv(z)=Z[jyv(m)]=H1(z)Φyz(z)

(2.4.24)又因?yàn)棣祒y(m)=Φyx(－m)jyv(m)=jvy(－m)所以有

Φxy(z)=Φyx(z－1)

Φyv(z)=Φvy(z－1)

將以上兩式代入式(2.4.24)得

Φvy(z－1)=H1(z)Φxy(z－1)

將上式中z用z－1代入即得

Φvy(z)=H1(z－1)Φxy(z)

(2.4.25)

(2)同理可證

jvw(m)=E[v(n)w(n+m)]=h2(m)jvy(m)

(2.4.26)

所以

Φvw(z)=H2(z)Φvy(z)

(2.4.27)

又因?yàn)棣祐w(z)=Φwv(z－1)，所以，式(2.4.27)即為

Φwv(z－1)=H2(z)Φyv(z－1)將上式中z用z－1代入即得

Φwv(z)=H2(z－1)Φyv(z)

(2.4.28)

式(2.4.24)、式(2.4.25)、式(2.4.27)與式(2.4.28)正是我們所要證明的結(jié)果。例2.1的第(3)題作為習(xí)題，請(qǐng)讀者自行完成。建議按步驟證明而勿直接利用式(2.4.27)與式(2.4.28)。請(qǐng)把本例的結(jié)果轉(zhuǎn)入時(shí)域，利用相關(guān)卷積定理證明。

2.5時(shí)間序列信號(hào)模型

隨機(jī)序列主要采用自相關(guān)函數(shù)和功率譜密度函數(shù)進(jìn)行研究。對(duì)于平穩(wěn)隨機(jī)序列，近年來(lái)從時(shí)間序列分析角度，又提出了另外一種研究方法，即時(shí)間序列信號(hào)模型法。這種模型是一個(gè)線性模型，它具有連續(xù)功率譜的特性，在功率譜估計(jì)方面，表現(xiàn)出很大的優(yōu)點(diǎn)，對(duì)于研究平穩(wěn)隨機(jī)序列是一種很有效的方法。許多平穩(wěn)隨機(jī)序列都可以看成是由典型噪聲源激勵(lì)一個(gè)線性系統(tǒng)產(chǎn)生的，這種噪聲源一般是白噪聲序列源。假設(shè)該線性穩(wěn)定系統(tǒng)的系統(tǒng)函數(shù)用H(z)表示，如圖2.6所示，圖中ω(n)是均值為0、方差為σ2ω的白噪聲。圖2.6平穩(wěn)隨機(jī)序列的信號(hào)模型2.5.1三種時(shí)間序列模型

假設(shè)信號(hào)模型用一個(gè)p階差分方程描述:

x(n)+a1x(n－1)+…+apx(n－p)

=ω(n)+b1ω(n－1)+…+bqω(n－q)

(2.5.1)

式中，ω(n)是均值為0、方差為σ2ω的白噪聲；x(n)是我們要研究的隨機(jī)序列。根據(jù)系數(shù)取值，將模型分成以下三種。

1.滑動(dòng)平均模型(MovingAverage，簡(jiǎn)稱MA模型)

當(dāng)式(2.5.1)中ai=0，i=1，2，3，…，p時(shí)，該模型稱為MA模型。其模型差分方程和系統(tǒng)函數(shù)分別用下式表示:

x(n)=ω(n)+b1ω(n－1)+…+bqω(n－q)

(2.5.2)

H(z)=B(z)

B(z)=1+b1z－1+b2z－2+…+bqz－q…

(2.5.3)

上式表明該模型只有零點(diǎn)，沒(méi)有除原點(diǎn)以外的極點(diǎn)，因此該模型也稱為全零點(diǎn)模型。如果模型全部零點(diǎn)都在單位圓內(nèi)部，則是一個(gè)最小相位系統(tǒng)，且模型是可逆的。

2.自回歸模型(Autoregressive，簡(jiǎn)稱AR模型)

當(dāng)式(2.5.1)中bi=0，i=1，2，3，…，q時(shí)，該模型稱為AR模型。其模型差分方程和系統(tǒng)函數(shù)分別用下式表示:

x(n)+a1x(n－1)+a2x(n－2)+…+apx(n－p)=ω(n)

(2.5.4)(2.5.5)上式表明該模型只有極點(diǎn)，沒(méi)有除原點(diǎn)以外的零點(diǎn)，因此該模型也稱為全極點(diǎn)模型。只有當(dāng)全部極點(diǎn)都在單位圓內(nèi)部時(shí)，模型才穩(wěn)定。

3.自回歸-滑動(dòng)平均模型(簡(jiǎn)稱ARMA模型)

該模型的差分方程用式(2.5.1)描述，系統(tǒng)函數(shù)用下式表示:(2.5.6)式中，分子部分稱為MA部分，分母部分稱為AR部分，這兩部分無(wú)公共因子，應(yīng)分別滿足穩(wěn)定性和可逆性的條件。2.5.2三種時(shí)間序列信號(hào)模型的適應(yīng)性

為了說(shuō)明三種信號(hào)模型都有普遍適用性質(zhì)，我們首先介紹沃爾德(Wold)分解定理。

(1)沃爾德分解定理:任意一個(gè)實(shí)平穩(wěn)隨機(jī)序列x(n)均可以分解成:x(n)=u(n)+v(n),式中u(n)是確定性信號(hào),v(n)是具有連續(xù)譜分布函數(shù)的平穩(wěn)隨機(jī)MA序列。這里確定性部分可以不存在或者事先去掉，MA部分常常是有限階的。該定理說(shuō)明MA信號(hào)模型具有普遍使用的性質(zhì)。由于ARMA信號(hào)模型包含了MA模型部分，因此ARMA信號(hào)模型也具有普遍適用性質(zhì)。對(duì)于AR信號(hào)模型的適用性，下面予以說(shuō)明。

(2)任意一個(gè)MA序列可用無(wú)限階AR信號(hào)模型表示，或者用階數(shù)足夠大的AR信號(hào)模型近似表示。證明如下:

設(shè)MA序列為對(duì)上式進(jìn)行Z變換得到

X(z)=B(z)W(z)式中，B(z)是MA信號(hào)模型的系統(tǒng)函數(shù)，或者說(shuō)是bi(i=1，2，3，…)序列的Z變換。設(shè)MA信號(hào)模型滿足可逆性條件，即B－1(z)存在，令

B－1(z)=G(z)=1+g1z－1+g2z－2+…這樣

X(z)G(z)=(1+g1z－1+g2z－2+…)X(z)=W(z)

對(duì)上式進(jìn)行Z反變換，得到

x(z)+g1x(n－1)+g2x(n－2)+…=ω(n)

上式表示的就是x(n)的AR信號(hào)模型差分方程，因此證明了一個(gè)時(shí)間序列可以用有限階MA信號(hào)模型表示的同時(shí)，也可以用無(wú)限階的AR模型表示，對(duì)于ARMA模型也同樣可以證明。下面舉例說(shuō)明。

例如，ARMA模型系統(tǒng)函數(shù)為

設(shè)AR模型系統(tǒng)函數(shù)用HAR(z)表示，即

令HAR(z)=H(z)，即可以求出ci系數(shù):以上說(shuō)明MA和ARMA模型可以用無(wú)限階AR模型表示。反過(guò)來(lái)的結(jié)論也正確。例如:用MA模型表示:2.5.3自相關(guān)函數(shù)、功率譜與時(shí)