隨機(jī)過程習(xí)題

1、2.1 設(shè)是一馬爾可夫過程，又設(shè)。試證明：即一個(gè)馬爾可夫過程的反向也具有馬爾可夫性。證明：首先，由條件概率的定義式得根據(jù)馬爾可夫性將上式中的分子和分母展開，并化簡(jiǎn)得于是，2.2 試證明對(duì)于任何一個(gè)馬爾可夫過程，如“現(xiàn)在”的值為已知，則該過程的“過去”和“將來(lái)”是相互統(tǒng)計(jì)獨(dú)立的，即如果有，其中代表“現(xiàn)在”，代表“過去”，代表“將來(lái)”，若為已知值。試證明：證明：首先，由條件概率的定義式得然后，根據(jù)馬爾可夫性將上式中的分子展開，并化簡(jiǎn)得 2.3 若是一馬爾可夫過程，。試證明：證明：首先，利用性質(zhì)：得于是，由馬爾可夫性得再利用性質(zhì)得=2.4 若有隨機(jī)變量序列，且之間相互統(tǒng)計(jì)獨(dú)立，的概率密度函數(shù)為，。定

2、義另一隨機(jī)變量序列如下：試證明：（1）序列具有馬爾可夫性； （2）(1) 證明：由于相互統(tǒng)計(jì)獨(dú)立，其n維聯(lián)合概率密度函數(shù)為由隨機(jī)變量序列與的關(guān)系可得如下的雅可比行列式所以，的n維聯(lián)合概率密度函數(shù)為于是，由于且所以，因此所以，序列具有馬爾可夫性。(2) 證明：根據(jù)條件均值的定義得于是，由給定的關(guān)系和2.5 設(shè)有隨機(jī)過程x(n) (n=1，2，3，)，它的狀態(tài)空間I：x：0<x<1是連續(xù)的，它的參數(shù)T為離散的，T=n (n=1，2，3，)。設(shè)x (1)為（0，1）間均勻分布的隨機(jī)變量，即x (1)的概率密度為x (1), x (2), x (m)的聯(lián)合概率密度為(1) 求x (2)的邊

3、際概率密度f(wàn)2(x2)；(2) 試問該過程是否為馬爾可夫過程；(3) 求轉(zhuǎn)移概率密度f(wàn)2|1(x2| x1)，fm|m-1(xm| x m -1)。(4) 求。(1) 解：由給出的x (1), x (2), x (m)的聯(lián)合概率密度函數(shù)可知其分布區(qū)域如右圖加黑部分所示。因此，的邊際概率密度函數(shù)為1(2) 證明：因?yàn)?(0< xm <xm-1 <<x1 <1)顯然,只與xm-1有關(guān)，所以該過程是馬爾可夫過程。(3) 解：由(2)得其中，0< xm <xm-1<1 (m=1，2，3，)。(4) 解：由給出的x (1)，x (2)，x (m)的聯(lián)合概率

4、密度函數(shù)可知于是， 所以，2.6 設(shè)有一參數(shù)離散、狀態(tài)連續(xù)的隨機(jī)過程，它的狀態(tài)空間為，又的概率密度函數(shù)為的m維聯(lián)合概率密度為（1） 求邊際概率密度（2） 求的概率密度；（3） 說(shuō)明該過程是馬爾可夫過程，并求其轉(zhuǎn)移概率密度(1) 解：由m維聯(lián)合概率密度可得m-1維聯(lián)合概率密度(2) 解：同(1)理可求得：所以，(3) 解：由條件概率的定義可得由此可見，當(dāng)m-1時(shí)刻的狀態(tài)確定時(shí)，m時(shí)刻的狀態(tài)與以前時(shí)刻的狀態(tài)無(wú)關(guān)。所以，該過程為馬爾可夫過程。其轉(zhuǎn)移概率密度為2.7 有三個(gè)黑球和三個(gè)白球。把六個(gè)球任意等分給甲乙兩個(gè)袋中，并把甲袋中的白球數(shù)定義為該過程的狀態(tài)，則有四種狀態(tài)：0，1，2，3。現(xiàn)每次從甲、乙

5、兩袋中各取一球，然后互相交換，即把從甲袋取出的球放入乙袋，把從乙袋取出的球放入甲袋，經(jīng)過n次交換，過程的狀態(tài)為(n=1，2，3，4，)。(1) 試問此過程是否為馬爾可夫鏈；(2) 計(jì)算它的一步轉(zhuǎn)移概率矩陣。(1) 證明：顯然，該過程由當(dāng)前狀態(tài)轉(zhuǎn)移到另一個(gè)狀態(tài)的轉(zhuǎn)移概率只與當(dāng)前狀態(tài)和轉(zhuǎn)移到的狀態(tài)有關(guān)，與其它時(shí)刻的狀態(tài)無(wú)關(guān)。因此，該過程是為馬爾可夫鏈。(2) 解：以甲袋中的白球數(shù)i作為該過程的狀態(tài)。當(dāng)和3時(shí)，過程狀態(tài)由i轉(zhuǎn)移到j(luò)概率為當(dāng)i=0時(shí)，；當(dāng)i=3時(shí)，。于是，一步轉(zhuǎn)移概率矩陣為：2.8 設(shè)是一馬爾可夫鏈，它的狀態(tài)轉(zhuǎn)移空間為I：0，1，2，它的初始狀態(tài)的概率分布為，；它的一步轉(zhuǎn)移概率矩陣為(

6、1) 計(jì)算概率；(2) 計(jì)算。(1) 解：由馬爾可夫性可得其中，于是(2) 解：二步轉(zhuǎn)移概率矩陣為所以，另一種解法是根據(jù)切普曼-柯爾莫哥洛夫方程得2.9 設(shè)有馬爾可夫鏈，它的狀態(tài)轉(zhuǎn)移空間為I：0，1，2，它的一步轉(zhuǎn)移概率矩陣為(1) 試求，并證明；(2) 求。(1) 證明：和分別為所以，(2) 解：實(shí)際上，一步轉(zhuǎn)移概率矩陣可以經(jīng)過行列變換為由此可見，這是一個(gè)周期為2的馬爾可夫鏈。所以，當(dāng)n為奇數(shù)時(shí)n為偶數(shù)時(shí)2.10 設(shè)有馬爾可夫鏈，它的狀態(tài)轉(zhuǎn)移空間為I：0，1，它的一步轉(zhuǎn)移概率矩陣為試用數(shù)學(xué)歸納法證明證明：當(dāng)n=1時(shí)，顯然是成立的。假設(shè)成立，即則當(dāng)時(shí)所以結(jié)論成立。2.11 設(shè)有馬爾可夫鏈，它的

7、狀態(tài)空間為，它的一步轉(zhuǎn)移概率矩陣為試求（利用矩陣的特征值、特征矢量方法計(jì)算）解：解算此題有以下三種方法：方法一：利用矩陣的相似變換：首先，容易解得矩陣的兩個(gè)特征值和對(duì)應(yīng)的特征向量分別為由這些特征向量做為列向量構(gòu)成的矩陣Q和其逆陣Q-1為與矩陣存在如下關(guān)系 并且于是得方法二：利用矩陣的特征值、特征矢量：首先，由下面的等價(jià)關(guān)系可知是的特征值，的特征向量是的特征向量。因此，可由的所有特征值和特征向量，利用這個(gè)等式解。設(shè)對(duì)于本題，可得方程組如下解得的值與方法一的結(jié)果相同。方法三：利用母函數(shù)：首先，轉(zhuǎn)移概率矩陣對(duì)應(yīng)的母函數(shù)為將矩陣的第一行第一列元素展開成s的級(jí)數(shù)為其中，sn項(xiàng)的系數(shù)就是的第一行第一列元素

8、，即同理可得。2.12 天氣預(yù)報(bào)問題。其模型是：今日是否下雨依賴于前三天是否有雨(即一連三天有雨；前面兩天有雨，第三天是晴天；)，問能否把這個(gè)問題歸結(jié)為馬爾可夫鏈。如果可以，問該過程的狀態(tài)有幾個(gè)？如果過去一連三天有雨，今天有雨的概率為0.8；過去三天連續(xù)為晴天，而今天有雨的概率為0.2；在其它天氣情況時(shí)，今日的天氣與昨日相同的概率為0.6。求這個(gè)馬爾可夫鏈的轉(zhuǎn)移矩陣。解：此問題本來(lái)不是馬爾可夫鏈，但是通過將連續(xù)三天的天氣情況定義為一個(gè)狀態(tài)，則可以認(rèn)為是一個(gè)馬爾可夫鏈。每天的天氣狀況分為有雨（用“1”表示）和無(wú)雨（用“0”表示）兩種情況，所以該馬爾可夫鏈有23=8中狀態(tài)。將連續(xù)四天的天氣情況用Y

9、和N表示。例如，前三天有雨，第四天無(wú)雨，則表示為YYYN。根據(jù)題意可知，如果過去一連三天有雨，今天有雨的概率為0.8；過去三天連續(xù)為晴天，而今天有雨的概率為0.2；即P1111=0.8，P0001=0.2，在其它天氣情況時(shí)，今日的天氣與昨日相同的概率為0.6，即P0011= P0111=P1011=0.6P1100=P0000= P0100=P1000=0.6于是可得其它的概率值為P0000=1-P0001=0.8，P0010=1-P0000=0.2，P0101=1-P0100=0.4P0110=1-P0111=0.4，P1001=1-P1000=0.4，P1010=1-P1011=0.4因此，概率轉(zhuǎn)移矩陣為2.13 設(shè)有馬爾可夫鏈，它的狀態(tài)空間為I：0，1，它的一步轉(zhuǎn)移概率矩陣為試求，。解：，另一種方法是利用母