幾種常用的隨機過程

1、第十講幾種常用的隨機過程10.1馬爾可夫過程馬爾可夫序列馬爾可夫序列是指時間參數(shù)離散， 狀態(tài)連續(xù)的馬爾可夫過程。一個隨機變量序列 xn （n=1,2,）,若對于任意的 n 有F X ( xn |或f X ( xn |xn 1,xn 1,x ,., x )n 21x,., x )n 21F X ( xn | xn 1) （10.1）f X ( xn | xn 1) （10.2）則稱 xn 為馬爾可夫序列。 xn 的聯(lián)合概率密度為f X ( x1 , x2 ,.,xn)f X (xn | xn 1) f X (xn 1 | xn 2)f X ( x2 | x1) f X (x1)（ 10.3）馬爾

2、可夫序列有如下性質(zhì)：（1） 一個馬爾可夫序列的子序列仍為馬爾可夫序列。（2）f X ( xn | xn 1 , xn 2 ,., xn k )f X ( xn | xn 1)（ 10.4）（3） E ( X n | x n 1 ,., x1)E ( X n | x n 1) （ 10.5）（ 4） 在一個馬爾可夫序列中， 若已知現(xiàn)在，則未來與過去相互獨立。即f X ( xn , xs | xr )f X ( xn | xn 1) f X ( xs | xr )，n>r>s（10.6）（5） 若條件概率密度 f X ( xn| xn 1) 與 n 無關(guān)，則稱馬爾可夫序列是齊次的。（6

3、） 若一個馬爾可夫序列是齊次的，且所有的隨機變量 X n 具有同樣的概率密度，則稱該馬爾可夫序列為平穩(wěn)的。（ 7） 馬爾可夫序列的轉(zhuǎn)移概率滿足切普曼柯爾莫哥洛夫方程，即f X ( xn | x s)f X ( xn | xr ) f X ( xr | x s)，n>r>s(10.7)馬爾可夫鏈馬爾可夫鏈?zhǔn)侵笗r間參數(shù)，狀態(tài)方程皆為離散的馬爾可夫過程。1馬爾可夫鏈的定義設(shè)X n (n1,2,) 為離散時間隨機過程， 其狀態(tài)空間I 1,2 , N。如果過程在 tm k 時刻為aaa任一狀態(tài) ai m k (i1,2, N ) 的概率，只與過程在 tm 時刻的狀態(tài)有關(guān)，而與過程在tm 時刻

4、以前的狀態(tài)無關(guān)，即P X m kaim k | X mai m, X 1ai1PX m kai m k | X m ai m(10.8)則稱該過程為馬爾可夫鏈，或簡稱馬氏鏈。2 馬氏鏈的轉(zhuǎn)移概率及有限維分布馬氏鏈的轉(zhuǎn)移概率定義為pij (m,m k) p X m ka j | X m ai,i,j 1,2,N;m,k皆為正整數(shù)（10）.9如果 pij (m,m k) 與 m 無關(guān)，則稱該馬氏鏈為齊次的。下面我們僅研討齊次馬氏鏈，并習(xí)慣上省去“齊次”二字。馬氏鏈的一步轉(zhuǎn)移概率及其矩陣分別定義為pij pij(1) pij ( m, m 1) P X m 1 a j | X m ai (10.10

5、)p11p12p1NP P(1)p21p22p2 NpN1pN 2pNN（10.11）一步轉(zhuǎn)移概率矩陣P 有以下兩個性質(zhì)0pij1（ 10.12）Npij 1i 1（ 10.13）馬氏鏈的高階轉(zhuǎn)移概率及其矩陣分別定義為p ij (n)pij ( m, m n)P X m n a j | X m a i ( 10.14 )p11(n)p12( n)pP(n)p 21(n)p 22(n)pp N 1( n)p N 2( n)p(n)1N( n)2 N(10.15)(n)NNn 步轉(zhuǎn)移概率矩陣P(n)具有如下的性質(zhì)：0 pij (n) 1(10.16)Npij (n) 1(10.17)i 1此外，還

6、規(guī)定pij(0) pij(m, m)1,ijij0, ij馬氏鏈的 n 步轉(zhuǎn)移概率及其矩陣具有如下的切普慢柯爾摩哥洛夫方程的離散形式，即Npij(n)pij(l k)pir (k ) p rj(10.18)r 1p ( n )p( lk )p ( l ) p ( k )(10.19)當(dāng) n 為任意正整數(shù)時，則有np(n)pp( n1)p(10.20)式（ 7.18），若 n=k+1, 則有pij (k 1)pir prj(k)pir(k) prj(10.21)rr由上可知，以一步轉(zhuǎn)移概率 pij 為元素的一步轉(zhuǎn)移概率矩陣 P 決定了馬氏鏈狀態(tài)轉(zhuǎn)移過程的概率法則。但是， P 決定不了初始概率分布

7、，必須引入初始概率pip x0ai , i0,1,2,(10.22)并稱 pi = （ p0, p1, p2,）為初始分布，顯然有1pi0,pi1(10.23)i若絕對概率 pj (k) p Xk aj ，則有p j (k 1)pi pij(k 1)pi (k) pij(10.24)ii馬氏鏈的有限維分布可表示為p X 0 ai 0, X 1 ai 1, X n ai np X 0ai 0 P X 1ai 1 | X 0ai 0P X nai n| X n 1ai n 1pi 0 pi 0i 1pi n 1i n(10.25)3遍歷性及平穩(wěn)分布（ 1）遍歷性 設(shè) X (n) 為齊次馬氏鏈，若對

8、于一切狀態(tài) i 與 j，存在不依賴于 i 的極限lim p ij (n ) p j(10.36)n則稱馬氏鏈X （n）具有遍歷性。定理（有限馬氏鏈具有遍歷性的充分條件）對有限狀態(tài)的齊次馬氏鏈X （n），若存在正整數(shù) m，使pij ( m )0, i , j1,2,.,N(10.37)則此鏈?zhǔn)潜闅v的。而且，式（10.36）中的 p j p1 , p2 ,. p N 是方程組Np jpi pij , j 1,2,., N(10.38)i1在滿足條件No p j 1,p j 1(10.39)i1下的惟一解。（ 2）平穩(wěn)分布馬氏鏈的一個概率分布 v j , 即： v j0和v j1，如有j 0v jv

9、i p（ 10.40 ）i 0ij則稱它為該鏈的平穩(wěn)分布。并有vivi pij (n)(10.41)i0馬爾可夫過程這里論及的馬爾可夫過程是指時間，狀態(tài)皆連續(xù)的馬爾可夫過程。 擴散過程就是這類馬爾可夫過程的一個特例。設(shè)有一隨機過程：X (t ), t T , t1t 2.t n1t n T ,若在， ，1 , t n對X（t）觀測得到t1 t 2 .t n相應(yīng)的觀測值，1, xn滿足x1x2 . xnFX ( xn ;tn / xn 1, xn 2 ,.,x2, x1;tn 1,tn2.,t2 ,t1)FX ( xn ;tn / xn 1; tn 1),n3的整數(shù)（10.42）則稱此類過程為馬

10、爾可夫過程， 簡稱馬氏過程。馬氏過程的轉(zhuǎn)移概率分布定義為：FX (xn;tn | xn 1;tn 1)P X(tn) X(tn 1)xn 1(10.43)或FX (x;t | x0;t0 )P X(t) x | X(t0)x0, tt0 (10.44)轉(zhuǎn)移概率分布是關(guān)于x 的分布函數(shù)， 故有：（）（； ）01 FXx t | x0 t0（）（； ）12 FXt | x0 t0（ ） （； ）03 FXt | x0 t0（ 10.45）（ 10.46）(10.47）（）（； ）是關(guān)于x單調(diào)不減，右連續(xù)的函數(shù)。4 FXx t | x0 t0（ ）滿足切普曼 柯爾莫哥洛夫方程5（ ； ）（ ； ）（

11、 ； ）FX x t | x0t0FX x t | x1 t1dX1 FX x1t1 | x0 t0（10.48）馬氏過程的轉(zhuǎn)移概率密度定義為f X (x;t |x0; t0 )FX (x;t |x0; t0 ).49 故有x（10）f X ( x; t / x0;t0 )dx 1（10）.50f X ( x; t / x0 ; t0 )( xx0 ),當(dāng)tt0時（10.51）f X ( xn ; tn / xn 1, xn 2 ,., x2 , x1; tn 1, tn2.,t2, t1 )的整數(shù)（10.52）f X ( xn ;tn / xn 1; tn 1), n 3它也滿足切普曼柯爾莫

12、哥洛夫方程f X ( xn ; tn / xk ; tk )f X ( xn ; nn / xr ; tr ) f X ( xr ; tr / xk ; tk )dx ,t k t r tn（ 10.53 ）如果馬氏過程X （t）有FX (x;t / x0;t0)FX (x/ x0;),tt0( 10.54)或 f X (x; t / x0; t0)f X ( x/ x0;),tt 0（10.55）則稱它為為齊次馬爾可夫過程。馬氏過程 X （ t）的 n 維概率密度可寫成fX (x1, x2,.xn;t1,t2,.,tn )1fX (x1;t1)f X (xi1;ti 1 / xi ;ti )

13、,t1 t2 . tn(10.56 )i110.2 獨立增量過程10.2.1 獨立增量過程設(shè)有一個隨機過程X (t )(tT ) ，若對任意的時刻 0 t0t1 t2tnb ，過程的增量X (t1) X (t0 )、X (t2 )X (t1)、 、 X (tn ) X (tn 1 ) 是相互獨立的隨機變量，則稱 X (t ) 為獨立增量過程或可加過程。若參數(shù)集 T t0 ,b ，則像馬爾可夫過程一樣，獨立增量過程的有限維分布可由它的初始概率分布 P X (t0 ) x 及一切增量的概率分布唯一地確定。如 果 獨 立 增 量 過 程X (t ) 的 增 量X (ti )X (ti 1 ) 的分布

14、僅與 (ti ti 1 ) 有關(guān)，而與ti、ti 1本身無關(guān)，則稱 X (t ) 為齊次的。泊松過程實際上，泊松過程就是一個純不連續(xù)的馬爾可夫過程，而且也是一個獨立增量過程。1. 泊松過程（ 1） 定義 設(shè)隨機過程X (t )(tt00,)的狀態(tài)只取非負(fù)整數(shù)值， 若滿足下列三個條件：PX( 0)01; X(t) 為均勻獨立增量過程； 對任意時刻應(yīng)的隨機變量的增量t, t2(t,), t1t ，102 對X (t1,t2 )X (t2)X (t1) 服從數(shù)學(xué)期望為 ( t 2 t1 ) 的泊松分布，即對于k=0,1,2···有Pk ( t 1 , t 2 )P X

15、( t1 , t 2 )X ( t 2 )X ( t1 ) k ( t 2 t1 ) ke( t2t1)(10.57)k !則稱 X(t) 為泊松過程。對于式（ 10.57），若 t10,t2 t 時，則有Pk (0, t2 )(t)ket ,t0, k 0,1,2,(10.58)k!（ 2）數(shù)字特征泊松過程X(t) 的均值、均方差、方差、自相關(guān)函數(shù)分別為：E X t() t(10.59)E X 2(t)t22t(10.60)DX(t)t(10.61)RX ( t1 ,t2 )t22t1t2,t1t2(7.26)E X (t1) X (t2 )2t t,ttt11 2122. 泊松增量（1）定

16、義由泊松過程X(t) 在給定的時間間隔t0 內(nèi)的增量與t 之比，我們構(gòu)成一新過程：X(tt)-X(t)Y(t)(10.63)t稱它為泊松增量。顯然，若 k 是間隔 (t,t t)內(nèi)的隨機點數(shù)，則Y(t)=k/ t。故P Y(t)k( t) ket(10.64)tk!（ 2） Y(t) 的均值、自相關(guān)函數(shù)分別為：EY(t)1 E X (tt)-1E X (t )(10.65)tt2 ,t1t2tRY (t1 ,t2 )2t1t2,tt(10.66)2ttt13過濾的泊松過程與散粒噪聲泊松過程 X(t) 對 t 求導(dǎo)，就能得到與時間軸上隨機點 ti 相對應(yīng)的沖激序列 Z(t) ，稱此離散隨機過程為

17、泊松沖激序列。即dX (t)(t ti )（10.67）Z(t)dti（ 1） 過濾的泊松過程設(shè)有一泊松沖激脈沖序列 Z (t )(tti ) 經(jīng)過一線性時不i變?yōu)V波器，則此濾波器輸出是一隨機過程X(t) ，如圖：Z (t)h(t )X (t )ttt1t1N(T)X(t) Z (t) h(t)h(t ti ),0 t(10.72)i1式中， h(t)為濾波器的沖激響應(yīng)；ti 為第i 個沖激脈沖出現(xiàn)的時間；N(t) 為在 0, T 內(nèi)輸入到濾波器的沖激脈沖的個數(shù)， 它服從泊松分布。我們稱此為過濾的泊松過程。（ 2） 散粒噪聲 在電子管、晶體管中，由散粒效應(yīng)引起的散粒噪聲電流皆為過濾的泊松過程。

18、因此，散粒噪聲 X(t) 可表示成類似式（ 10.72）的形式。X(t) Z(t) h(t)h(t ti ),t(10.73)i而且，不難證明此X(t) 也是平穩(wěn)的。維納過程維納過程 W (t ) 是另一個最重要的獨立增量過程，有時也稱它為布朗運動過程，還可以將它看成是隨機游動X(t) 的極限形式。1. 定義設(shè)隨機過程W (t )(t0,) )滿足下列條件：（ 1） PW(0) 01;（ 2） W (t ) 為均勻獨立增量過程， 且對任 意 時 刻 t 1、 t 2 0 ,)， t 1t 2 ,及0 ,W(t 2) W(t 1)具有與W(t 2 ) W(t 1 ) 相同的正態(tài)分布函數(shù)，其概率密度為fW ( w2w1; t 2 , t1 )1( w2w )2exp12 (t 2t1 )2 (t 2t1 )(10.79)式中，為正常數(shù)。（3）對任意時刻 t 0,) ，W (t ) 具有均值 EW(t)=0 的正態(tài)分布函數(shù)，其概率密度為f W( w , t )1e w 2 / 2 t (10.80)2t2. W(t) 的均值與自相關(guān)函數(shù)分別為EW(t)E limX (