信息論與隨機(jī)過程

信息論與隨機(jī)過程演示文稿目前一頁\總數(shù)五十八頁\編于二十二點(diǎn)優(yōu)選信息論與隨機(jī)過程目前二頁\總數(shù)五十八頁\編于二十二點(diǎn)課程主要安排隨機(jī)過程的概念與基本類型馬爾可夫鏈隱馬爾可夫模型隨機(jī)過程在生物信息科學(xué)中的應(yīng)用目前三頁\總數(shù)五十八頁\編于二十二點(diǎn)

第二章隨機(jī)過程的概念和基本類型

第一節(jié)隨機(jī)過程的定義及其分類

第二節(jié)隨機(jī)過程的分布及其數(shù)字特征第三節(jié)幾種重要的隨機(jī)過程簡介目前四頁\總數(shù)五十八頁\編于二十二點(diǎn)

第一節(jié)隨機(jī)過程的定義及其分類一、直觀背景及例子電話站在時(shí)刻t時(shí)以前接到的呼叫次數(shù)例1一般情況下它是一個(gè)隨機(jī)變數(shù)X，并且依賴時(shí)間t，即隨機(jī)變數(shù)X（t），t[0，24]。例2研究某一商品的銷售量一般情況下它是一個(gè)隨機(jī)變數(shù)X，并且依賴時(shí)間t，即隨機(jī)變數(shù)X（t），t=1，2，…首頁目前五頁\總數(shù)五十八頁\編于二十二點(diǎn)例3國民收入問題表示依賴于一個(gè)變動(dòng)參量的一族隨機(jī)變量。它雖然不能用一個(gè)確定的函數(shù)來描述，但也是有規(guī)律的。隨著各種隨機(jī)因素的影響而隨機(jī)變化，一般地有其中C（t）、I（t）分別表示t年的消費(fèi)和積累隨機(jī)過程首頁目前六頁\總數(shù)五十八頁\編于二十二點(diǎn)二、隨機(jī)過程的定義1．隨機(jī)過程設(shè)E是隨機(jī)試驗(yàn)，

{}是它的樣本空間，T是一個(gè)參數(shù)集，若對于每一個(gè)都有隨機(jī)變量，與之對應(yīng)，則稱依賴于t的隨機(jī)變量為隨機(jī)過程，或稱為隨機(jī)函數(shù)。通常記作說明1參數(shù)集T在實(shí)際問題中，常常指的是時(shí)間參數(shù)，但有時(shí)也用其它物理量作為參數(shù)集。首頁目前七頁\總數(shù)五十八頁\編于二十二點(diǎn)說明2因?yàn)槭且粋€(gè)隨機(jī)變量，首頁目前八頁\總數(shù)五十八頁\編于二十二點(diǎn)2．貝努利過程

設(shè)每隔單位時(shí)間擲一次硬幣，觀察它出現(xiàn)的結(jié)果。如果出現(xiàn)正面，記其結(jié)果為1；如果出現(xiàn)反面，記其結(jié)果為0。一直拋擲下去，便可得到一無窮序列

因?yàn)槊看螔仈S的結(jié)果是一個(gè)隨機(jī)變量（1或0），所以無窮次拋擲的結(jié)果是一隨機(jī)變量的無窮序列，稱為隨機(jī)序列，也可稱為隨機(jī)過程。每次拋擲的結(jié)果與先后各次拋擲的結(jié)果是相互獨(dú)立的，并且出現(xiàn)1或0的概率與拋擲的時(shí)間n無關(guān)。

首頁目前九頁\總數(shù)五十八頁\編于二十二點(diǎn)設(shè)稱具有這種特性的隨機(jī)過程為貝努利型隨機(jī)過程。注如果固定觀測時(shí)刻t，則它的試驗(yàn)結(jié)果是屬于兩個(gè)樣本點(diǎn)（0，1）所組成的樣本空間則樣本空間出現(xiàn)的值為（0,0）,（0,1）,（1,0）,（1,1）首頁目前十頁\總數(shù)五十八頁\編于二十二點(diǎn)三、隨機(jī)過程的分類1、按參數(shù)集和狀態(tài)分類

參數(shù)集T的是一個(gè)可列集T={0，1，2，…}離散參數(shù)連續(xù)參數(shù)參數(shù)分類參數(shù)集T的是一個(gè)不可列集狀態(tài)分類離散狀態(tài)連續(xù)狀態(tài)取值是離散的取值是連續(xù)的首頁目前十一頁\總數(shù)五十八頁\編于二十二點(diǎn)T離散、I離散 T離散、I非離散（連續(xù)）參數(shù)T狀態(tài)I分類概率結(jié)構(gòu)分類2．按過程的概率結(jié)構(gòu)分類T非離散（連續(xù)）、I離散T非離散（連續(xù)）、I非離散（連續(xù)）獨(dú)立隨機(jī)過程獨(dú)立增量隨機(jī)過程馬爾可夫過程平穩(wěn)隨機(jī)過程首頁目前十二頁\總數(shù)五十八頁\編于二十二點(diǎn)第二節(jié)隨機(jī)過程的分布及其數(shù)字特征一、隨機(jī)過程的分布函數(shù)一維分布函數(shù)其分布函數(shù)為一維概率密度首頁目前十三頁\總數(shù)五十八頁\編于二十二點(diǎn)二維分布函數(shù)聯(lián)合分布函數(shù)二維概率密度首頁目前十四頁\總數(shù)五十八頁\編于二十二點(diǎn)例1

袋中放有一個(gè)白球，兩個(gè)紅球，每隔單位時(shí)間從袋中任取一球，取后放回，對每一個(gè)確定的t對應(yīng)隨機(jī)變量試求這個(gè)隨機(jī)過程的一維分布函數(shù)族。分析先求概率密度首頁目前十五頁\總數(shù)五十八頁\編于二十二點(diǎn)所以解P首頁目前十六頁\總數(shù)五十八頁\編于二十二點(diǎn)二、隨機(jī)過程的數(shù)字特征1．均值函數(shù)或稱為數(shù)學(xué)期望說明首頁目前十七頁\總數(shù)五十八頁\編于二十二點(diǎn)2．方差函數(shù)說明均方差函數(shù)首頁目前十八頁\總數(shù)五十八頁\編于二十二點(diǎn)3．協(xié)方差函數(shù)二階中心混合矩簡稱協(xié)方差函數(shù)注首頁目前十九頁\總數(shù)五十八頁\編于二十二點(diǎn)4．互協(xié)方差函數(shù)其中首頁目前二十頁\總數(shù)五十八頁\編于二十二點(diǎn)5．相關(guān)函數(shù)簡稱相關(guān)函數(shù)注首頁目前二十一頁\總數(shù)五十八頁\編于二十二點(diǎn)6．互相關(guān)函數(shù)注則首頁目前二十二頁\總數(shù)五十八頁\編于二十二點(diǎn)7．互不相關(guān)注有則即若首頁目前二十三頁\總數(shù)五十八頁\編于二十二點(diǎn)例2.5設(shè)隨機(jī)過程其中是相互獨(dú)立的隨機(jī)變量，且，，求的均值函數(shù)和協(xié)方差函數(shù)。解：由數(shù)學(xué)期望的性質(zhì)，有因?yàn)橄嗷オ?dú)立，故目前二十四頁\總數(shù)五十八頁\編于二十二點(diǎn)例2.8設(shè)為信號過程，為噪聲過程，令，則的均值函數(shù)為其自相關(guān)函數(shù)為特別，當(dāng)兩個(gè)隨機(jī)變量的均值函數(shù)恒為零且互不相關(guān)時(shí)，有目前二十五頁\總數(shù)五十八頁\編于二十二點(diǎn)補(bǔ)例2解求：（1）均值函數(shù)；（2）協(xié)方差函數(shù)；（3）方差函數(shù)。（1）（2）（3）首頁目前二十六頁\總數(shù)五十八頁\編于二十二點(diǎn)第三節(jié)幾種重要的隨機(jī)過程簡介一、正交增量過程1．定義首頁目前二十七頁\總數(shù)五十八頁\編于二十二點(diǎn)補(bǔ)充：獨(dú)立隨機(jī)過程簡稱獨(dú)立隨機(jī)過程。

首頁目前二十八頁\總數(shù)五十八頁\編于二十二點(diǎn)二、獨(dú)立增量過程1．定義隨機(jī)變量的增量是相互獨(dú)立的首頁目前二十九頁\總數(shù)五十八頁\編于二十二點(diǎn)2.平穩(wěn)獨(dú)立增量過程首頁目前三十頁\總數(shù)五十八頁\編于二十二點(diǎn)例1證的隨機(jī)變量序列，令則首頁目前三十一頁\總數(shù)五十八頁\編于二十二點(diǎn)三、馬爾可夫過程簡稱馬氏過程。首頁目前三十二頁\總數(shù)五十八頁\編于二十二點(diǎn)馬氏過程的特點(diǎn)馬氏性實(shí)質(zhì)上是無后效性，所以也稱馬氏過程為無后效過程。稱這個(gè)特性為馬爾可夫性，簡稱馬氏性。

首頁目前三十三頁\總數(shù)五十八頁\編于二十二點(diǎn)四、正態(tài)過程1．定義為n維正態(tài)分布，其密度函數(shù)為也稱高斯過程則稱首頁目前三十四頁\總數(shù)五十八頁\編于二十二點(diǎn)其中且B為協(xié)方差矩陣首頁目前三十五頁\總數(shù)五十八頁\編于二十二點(diǎn)例5證可得注逆命題也成立目前三十六頁\總數(shù)五十八頁\編于二十二點(diǎn)五、維納過程1．定義則稱或布朗運(yùn)動(dòng)過程稱為標(biāo)準(zhǔn)維納過程特別首頁維納過程是一類非常重要的隨機(jī)過程，它是基于對例子布朗運(yùn)動(dòng)的數(shù)學(xué)刻畫。維納過程經(jīng)常被廣泛地應(yīng)用到經(jīng)濟(jì)學(xué)、管理學(xué)等其他應(yīng)用學(xué)科之中。目前三十七頁\總數(shù)五十八頁\編于二十二點(diǎn)

維納過程是布朗運(yùn)動(dòng)的數(shù)學(xué)模型.英國植物學(xué)家布朗在顯微鏡下，觀察漂浮在平靜的液面上的微小粒子，發(fā)現(xiàn)它們不斷地進(jìn)行著雜亂無章的運(yùn)動(dòng)，這種現(xiàn)象后來稱為布朗運(yùn)動(dòng).以W(t）表示運(yùn)動(dòng)中一微粒從時(shí)刻t=0到時(shí)刻t>0的位移的橫坐標(biāo)（同樣也可以討論縱坐標(biāo)），且設(shè)W(0)=0，根據(jù)愛因斯坦1905年提出的理論，微粒的這種運(yùn)動(dòng)是由于受到大量隨機(jī)的相互獨(dú)立的分子的碰撞的結(jié)果.于是，粒子在時(shí)段（s,t]上的位移可以看作是許多微小位移的代數(shù)和.則W(t)-W(s）服從正態(tài)分布.

目前三十八頁\總數(shù)五十八頁\編于二十二點(diǎn)2．均值、方差、協(xié)方差及相關(guān)函數(shù)均值協(xié)方差及相關(guān)函數(shù)證方差由定義可得均值、方差公式首頁目前三十九頁\總數(shù)五十八頁\編于二十二點(diǎn)下證同理

故顯然首頁目前四十頁\總數(shù)五十八頁\編于二十二點(diǎn)3．維納過程是正態(tài)過程由維納過程定義知服從n維正態(tài)分布首頁目前四十一頁\總數(shù)五十八頁\編于二十二點(diǎn)故知所以又因首頁目前四十二頁\總數(shù)五十八頁\編于二十二點(diǎn)4．具有馬氏性證因此所以所以維納過程是馬氏過程。首頁目前四十三頁\總數(shù)五十八頁\編于二十二點(diǎn)目前四十四頁\總數(shù)五十八頁\編于二十二點(diǎn)六、平穩(wěn)隨機(jī)過程

平穩(wěn)過程的統(tǒng)計(jì)特性與馬氏過程不同，它不隨時(shí)間的推移而變化，過程的“過去”可以對“未來”有不可忽視的影響。返回首頁定義2.12目前四十五頁\總數(shù)五十八頁\編于二十二點(diǎn)目前四十六頁\總數(shù)五十八頁\編于二十二點(diǎn)例2.13設(shè)隨機(jī)過程其中Y，Z是相互獨(dú)立的隨機(jī)變量，且，則隨機(jī)過程為廣義平穩(wěn)過程。目前四十七頁\總數(shù)五十八頁\編于二十二點(diǎn)七．泊松過程滿足首頁則稱目前四十八頁\總數(shù)五十八頁\編于二十二點(diǎn)注意從條件（3）可知泊松過程有平穩(wěn)增量，且并稱生起率或強(qiáng)度（單位時(shí)間內(nèi)發(fā)生的事件的平均個(gè)數(shù)）。首頁目前四十九頁\總數(shù)五十八頁\編于二十二點(diǎn)說明

要確定計(jì)數(shù)過程是泊松過程，必須證明它滿足三個(gè)條件：為此給出一個(gè)與泊松過程等價(jià)的定義目前五十頁\總數(shù)五十八頁\編于二十二點(diǎn)則稱首頁滿足定義2目前五十一頁\總數(shù)五十八頁\編于二十二點(diǎn)泊松過程的基本性質(zhì)一．?dāng)?shù)字特征目前五十二頁\總數(shù)五十八頁\編于二十二點(diǎn)目前五十三頁\總數(shù)五十八頁\編于二十二點(diǎn)2．到達(dá)時(shí)間間隔和等待時(shí)間的分布定義則稱則稱首頁目前五十四