概率統(tǒng)計(jì)課件：有限維概率分布

有限維概率分布1.

初始分布的概念馬氏鏈{X

(t),t

t0

,

t1

,

t2

,

}

在初始時(shí)刻t0

的概率分布pj

(t0

)

P{X

(t0

)

j},

j

0,1,

2,

稱為初始分布Ot0 t1t2

tX(t0)初始分布x2.一維概率分布(絕對概率,

瞬時(shí)概率)馬爾可夫鏈在任何時(shí)刻tn的一維概率分布pj

(tn

)

P{X

(tn

)

j}, j

0,1,

2,

又稱為絕對概率,或稱為瞬時(shí)概率.O t0 t1

tn-1tn

tX(t0)xjX(tn)p

j

(tn

)

P{X

(tn

)

j}, j

0,1,

2,

設(shè)：已知初始分布

p

j(t0

)

P{X

(t0

)

j},

j

0,1,

2,

以及n步轉(zhuǎn)移概率求：瞬時(shí)概率0ij

p(n)(

t)

, i

, j

0

,

1,

2

(n)j ni 0 ij

0

p(t)

p(t

)

p (t),j

0,1,

2,

i

0同樣的方法可得

i

0pj

(tn

)

pi

(tn

1

)

pij(tn

1

),

j

0,1,

2,

于是

pi(tn

1)pij(tn

1

), j

0,1,

2,

i

0由全概率公式得P{X(tn

)

j}

P{X

(tn

1

)

i}

P{X

(tn

)

j

|

X

(tn

1

)

i}i

0

如果馬氏鏈具有齊次性,那么上式化為

pj(tn)

p

i

(tn

1

)

p

ij

, j

0

,

1,

2

,

i

0i 0(

n

)ijp

(t )

p

i

0p (t )

, j

0,1,2,

j n

結(jié)論：齊次馬爾可夫鏈在時(shí)刻

tn

的瞬時(shí)概率完全地由初始分布和n步轉(zhuǎn)移概率所確定.(

p

0

(t

n

),

p1

(t

n

),

,

p

j

(t

n

),

)00

01100

ji0p(n)p(n)p(n)p(n)p(n) p(n)p(n)

p(n) p(n)

(

p0

(t0

),

p1(t0

),

,

pj

(t0

),

)

11

1

j

i1

ij

ij將公式寫成向量形式得n步轉(zhuǎn)移概率矩陣

P(n)

(

p(n)

)

Pn

(

p

(t

),

p

(t

),

,

p

(t

),

)P(n)0 0 1 0 j 0例7

在例3

(一維隨機(jī)游動(dòng))中,設(shè)質(zhì)點(diǎn)在初始時(shí)刻t0恰處在狀態(tài)2,

試求在時(shí)刻t2,

質(zhì)點(diǎn)處在各個(gè)狀態(tài)的概率.P(2)

P205

/9

04

/9

0/

904/

904/

01/9

02

/9

2

/0 0 03

1/

3

0

2

/

3

0

0

1

9

01

按題意有p2

(t0

)

1，p0

(t0

)

p1

(t0

)

p3

(t0

)

p4

(t0

)

0由公式得4(2)0 2i 0 i0p

(t )

pi

0p

(t )

1

1/

9

1/

9

4

1

0

0p

(t )

pp

(t )

42 2(2)i 0 i

2p

(t )

pi

0p (t )

1

4

/

9

4

/

91 2

(2)i 0 i1i

0

4

1

0

0

i

0(

2

)i

3pi(t0)

pp3(t

2

)

4(2)p

(t )

pp (t )

1

4

/

9

4

/

94 2

i 0 i

4i

00 1 0 0

方法二按題意有(p0

(t0

),p1(t0

),p2

(t0

),p3(t0

),p4

(t0

))

0(

p0

(t2

),

p1

(t2

),

p2

(t2

),

p3

(t2

),

p4

(t2

))

(

p

(t ),

p

(t ),

p

(t ),p(t),p(t))

P(2)0 0 1 0 2 0 3 0 4 001/9

02

/9

0000

1/

3

00

0

1/

90 2

/

3 0 0

5

/9 0 4

/9

0 4/

9 0 4/

9

0

0

1

0

2

/

3

1

1/

9 0 4/

9 0 4/

9

t0=0 k1 k2

kn-1knt3.

n維概率分布(有限維分布)不妨設(shè)齊次馬氏鏈的參數(shù)集和狀態(tài)空間都是非負(fù)整數(shù)集。xjnj1Oj2jn-1求

P{X

(k1

)

j1,

X

(k2

)

j2

,

,

X

(kn

)

jn

}設(shè)齊次馬爾可夫鏈{X(n),n=0,1,2,

}的狀態(tài)空間S={0,

1,

2,

,

i

,

},則對任意n個(gè)非負(fù)整數(shù)k1<

k2

<

<

kn和S內(nèi)的任意n個(gè)狀態(tài)j1,j2,

,

jn,

有P{

X(k1)

j1,X(k

2)

j2

,

,

X

(kn

)

jn

}2 11

(

kn

kn

1

)jn

1

jnj1

j2(

k

) (

k

k

)ij1

i

0i

ppp (0

)

p定理二復(fù)習(xí)乘法公式的推廣形式，P.21/(1.9)

P(

A1

)P(

A2

|

A1

)P(

A3

|

A1

A2

)

P(

An |A1

An

1)其中P(A1A

2

An

1

)

0P(A1A2

An)證

由概率的乘法公式和馬爾可夫性P{X

(k1)

j1

,

X

(k2

)

j2

,

,

X

(kn

)

jn

}

P{X(k1)

j1}

P{X(k2

)

j2

|

X(k1)

j1}

P{X(k3)

j3

|

X(k1)

j1,

X(k2

)

j2}

P{X

(kn

)

jn

|

X

(k1)

j1,

X

(k2

)

j2

,

,

X

(kn

1)

jn

1}

P{X

(k1

)

j1}

P{X

(k2

)

j2

|

X

(k1

)

j1}

P{X

(k3

)

j3

|

X

(k2

)

j2}

P{

X

(kn

)

jn|X(kn

1

)

jn

1}1 1 j1

j2 j2

j3jn

1

jn

P{X(k

)

j

}

p(

k2

k1

)

p(

k3

k2

)

p(

kn

kn

1

)

由全概率公式,上式等號右端第一因式化為P{X

(k1)

j1}

P{X

(0)

i}

P{X

(k1

)

j1

|

X

(0)

i}i

0

1i

0(k

)ij1

ip(0)

pP{X

(k1)

j1

,

X

(k2

)

j2

,

,

X

(kn

)

jn

}3 21

于是

(kn

kn

1

)jn

1jnj2

j32 1j1

j2(k

) (k

k

) (k

k )ij1

i

0ip p

pp

(0)p證畢結(jié)論：齊次馬爾可夫鏈有限維分布完全地由初始分布和轉(zhuǎn)移概率所確定.例8

在

0

1傳輸系統(tǒng)(例6)中,設(shè)初始時(shí)輸入0和1的概率分別為1/3和2/3,(1)求第2、3、6步都傳輸出1的概率;(2)系統(tǒng)經(jīng)

n

級傳輸后輸出為

1,

問原發(fā)字符也是

1的概率是多少?p0(0

)

1/

3, p1(0

)

2/

3解

由題設(shè)知X001P1/32/3P{

X

2

1,

X

3

1,X

6

(

p

(0)

p(2)

p

(0)

p(2)

)

p p(3)0 01 1 11 11 11

(1

0.18

2

0.82)

0.9

0.756

0.41283 311

1 1

1p(3

)

i

0

p (0

) p(2)

pi i

1P

p00p01

0.9 0.1

p p

0.1 0.9

1}

10 11

一步轉(zhuǎn)移概率矩陣(2)

先求出

n

步轉(zhuǎn)移概率矩陣.0 10

p q

P

1 qp

,

有相異的特征值

1

1,

2

p

q所以P

相似于對角陣

,

10

1 0

0

0p

q

2

P

(H

H

1)

H

H

1因?yàn)?122 20

1

1

(

p

q)n1

1

(

p

q)n

2

.

1

1

1

(

p

q)n

2 21

1

(

p

q)n

2 2

Pn

(

H

H

1)n

H

nH

1根據(jù)貝葉斯公式,

當(dāng)系統(tǒng)經(jīng)

n

級傳輸后輸出為

1,

原發(fā)字符也是

1

的概率為:0 011 11p

(0)

P

(

n

)

1 11 p (0)

P

(

n

)

p

(0)

P

(

n

).

(2/3)(1

(p

q)n

)1

(1/3)(p

q)

nP{X

n

1}P{X0

1|Xn

1}

P{X0

1, Xn

1}

P{X

0

1}P{X

n

1|

X

0

1}P{X

n

1}如果存在概率分布

(

0

,

1

,

2

,

,

j

,

)

j

0

0,

j(即

j

1

),

滿足

j

i

pij

, j

0,1,2,

i

0則稱

(

0

,

1,

2

,

,

j

,

)為平穩(wěn)分布,稱X(t)具有平穩(wěn)性,是平穩(wěn)齊次馬爾可夫鏈.四.平穩(wěn)分布定義4

對于齊次馬爾可夫鏈{X

(t),

t

t0

,

t1

,

t2

,

}一步轉(zhuǎn)移概率矩陣P

(

pij),

pij

P{X

(tm

1)

j

|

X

(tm

)

i}改寫成向量:平穩(wěn)分布律要滿足j ,

)(

0 ,

1

,

2 ,

,

(

0

,

1

,

2

,

,

j

,

)

P即

P顯然有

P

(

P)P

P2

(

P)P2

P3

Pn

P(n)定理

如果齊次馬爾可夫鏈{X(t),t

t0

,t1,t2

,

}的初始分布pj

(t0

)

P{X

(t0

)

j},

(

j

0,1,

2,

)是一個(gè)平穩(wěn)分布,則對

npj(tn)

P{X

(tn)

j}

pj(t0),j

0,1,2,

證明由平穩(wěn)分布的性質(zhì),得(

p0

(tn

),

p1

(tn

),

,

p

j

(tn

),

)

(

p

(t

),

p

(t

),

,

p

(t

),

)P(n)0 0 1 0 j 0

(

p0

(t0

),

p1

(t0

),

,

p

j

(t0

),

)證畢例9.

設(shè)齊次馬爾可夫鏈{Xn,n=0,1,2,

}的轉(zhuǎn)移概率矩陣為

1/

3 2

/

3 0

1

/32/

31/

3

P

1/

3

01

/

3

1.若初始概率分布為pj

(0)

P{X

0

j}

1/

3, j

1,

2,

3(1)求

P{X

1

1,

X

2

2,X3

3}

3}(2)求

P{X

22.求平穩(wěn)分布.解 1(1)P{X1

1,

X

2

2,

X

3

3}

P{X1

1}P{X

2

2|X1

1}P{X

3

3|

X

2

2,X

1

1}3

P{X1

1}P{X

2

2|X1

1}P{X

3

3|

X

2

2}

P{X1

1}

p12

p23

P{X

0

j}P{X1

1

|

X

0

j}

p12

p23j

133 3 3 3 3 81

P{X

0

j}pj1

p12

p23j

1

2

1

1(1

1

0)

4(2)3P{X2

3}

P{X

0

j}P{X

2

3

|

X

0

j}j

130 j

3j

1

j}

p

(

2

)

P{

X7

1

(

2

2

3)

3 9 9 9 272.平穩(wěn)分布(p1,

p2,

p3)滿足方程組1

3 2

3 31p

p 1

p 1

p 01

3 2

3 3

32p

p 2

p 1

p 23 1p

p 0

p 1

p 12

3 3

3

p

3

1p1

p

24321

14p

1

,

p

2,

p4解之得例

帶一個(gè)反射壁的一維隨機(jī)游動(dòng),

以X(tn)=j表示在時(shí)刻tn粒子處于狀態(tài)j,

狀態(tài)空間S={0,

1,

2,

,

j,

}轉(zhuǎn)移概率p

00

pj,j

1pj,j

1

q

p

, j

0

,

1,

2

,

q

, j

1,

2

,

3

,

p

q

1求平穩(wěn)分布

j

,

j

0,1,2,

q

q

0p0000p00q0p00q0p

P

(

pij

)

0解

根據(jù)題設(shè)條件知轉(zhuǎn)移概率矩陣

1j

0j

P平穩(wěn)分布應(yīng)滿足0 0 001

p

1

p10

q

0

q

j

1

p

j

1,

j

j

1

p

j

1,

j

p

j

1(1)

q

j

1 (2)(3)

1

j

j由(1)得由(2)得j

0

1

(

p

/

q)

0

j

1

j

(

p

/

q)(

j

j

1)

(

p

/

q)

j

(

)1 0

[(

p

/

q)

j

1

(

p

/

q)

j

]

0即應(yīng)滿足

j

1

(

j

j

1)

(

j

1

j

2)

(

2

1)

[(

p

/

q)

j

(

p

/

q)]

0得到

j

(

p

/

q)

,j0j

0,1,

2,

(4)00jj

j

0

j

0

(

p

/

q)

1

1

1

p

/

q由(3),(4)得

當(dāng)p/q<1時(shí),即當(dāng)p<q時(shí),

解得

0=1

p/q,代入(4)式得

j

(

p

/

q) (1

p

/

q), j

0,1,

2,

j而當(dāng)p

q時(shí),不存在平穩(wěn)分布.(1)求粒子從狀態(tài)1經(jīng)二步、經(jīng)三步轉(zhuǎn)移回到狀態(tài)1的轉(zhuǎn)移概率;(2)求過程的平穩(wěn)分布.p

q p 0

P

q 0q

0p

例.具有三狀態(tài):0,1,2的一維隨機(jī)游動(dòng),以X(t)=j表示時(shí)刻t粒子處在狀態(tài)j(j=0,1,2),過程{X(t),t=t0,

t1,t2,

}的一步轉(zhuǎn)移概率矩陣解 (1)11n

2

n)

1

| X

(t )

1}p

(2)2

qp

0

pq

2

pqp2p2

P{X

(t

p1kpk

1k

0

q

P(2)

P2

q2

q2pq2

pqpq p2

pq

p2