狀態(tài)空間分解

1、關(guān)于狀態(tài)空間的分解第一張，PPT共三十二頁(yè)，創(chuàng)作于2022年6月定義第二張，PPT共三十二頁(yè)，創(chuàng)作于2022年6月引理7 (有關(guān)閉集的判定和性質(zhì))證明 (1)用數(shù)學(xué)歸納法第三張，PPT共三十二頁(yè)，創(chuàng)作于2022年6月第四張，PPT共三十二頁(yè)，創(chuàng)作于2022年6月引理8證明第五張，PPT共三十二頁(yè)，創(chuàng)作于2022年6月引理9設(shè)C是閉集,則當(dāng)且僅當(dāng)其中任何兩個(gè)狀態(tài)互通時(shí),C為不可約的.證明第六張，PPT共三十二頁(yè)，創(chuàng)作于2022年6月推論齊次馬爾可夫鏈?zhǔn)遣豢杉s的充要條件是它的任何兩個(gè)狀態(tài)互通特別關(guān)于有限狀態(tài)的馬爾可夫鏈有下面結(jié)論第七張，PPT共三十二頁(yè)，創(chuàng)作于2022年6月定理7(1) 有限齊次馬

2、爾可夫鏈所有非常返狀態(tài)集D不可能 是閉集.(2) 有限齊次馬爾可夫鏈不可能存在零常返狀態(tài).(3) 不可約的有限齊次馬爾可夫鏈的所有狀態(tài)都是 正常返狀態(tài).證明第八張，PPT共三十二頁(yè)，創(chuàng)作于2022年6月第九張，PPT共三十二頁(yè)，創(chuàng)作于2022年6月定理 8證明由以上的分析,可以得到狀態(tài)空間的分解定理第十張，PPT共三十二頁(yè)，創(chuàng)作于2022年6月定理 9齊次馬爾可夫鏈的狀態(tài)空間S可唯一地分解成有限個(gè)或可列無限多個(gè)互不相交的狀態(tài)子集的并.即其中D是所有非常返狀態(tài)構(gòu)成的狀態(tài)子集.所有常返狀態(tài)構(gòu)成的不可約閉集.每個(gè)狀態(tài)子集中的狀態(tài)有著相同的狀態(tài)類型:(即 或者均為零常返,或者均為正常返非周期,或者均為

3、正常返周期且周期相同.)第十一張，PPT共三十二頁(yè)，創(chuàng)作于2022年6月引理10證明第十二張，PPT共三十二頁(yè)，創(chuàng)作于2022年6月定理10 (周期鏈分解定理)證明思路: 從三個(gè)方面證明 (1) 分解式的存在性(2) 轉(zhuǎn)移規(guī)則的合理性(正確性)(3) 分解式的唯一性第十三張，PPT共三十二頁(yè)，創(chuàng)作于2022年6月證明 (1) 分解式的存在性(2) 轉(zhuǎn)移規(guī)則的正確性第十四張，PPT共三十二頁(yè)，創(chuàng)作于2022年6月(3) 分解式的唯一性第十五張，PPT共三十二頁(yè)，創(chuàng)作于2022年6月第十六張，PPT共三十二頁(yè)，創(chuàng)作于2022年6月定理11證明 (1)第十七張，PPT共三十二頁(yè)，創(chuàng)作于2022年6月

4、第十八張，PPT共三十二頁(yè)，創(chuàng)作于2022年6月第十九張，PPT共三十二頁(yè)，創(chuàng)作于2022年6月第二十張，PPT共三十二頁(yè)，創(chuàng)作于2022年6月例1 設(shè)狀態(tài)空間S=0,1,2的馬爾可夫鏈,它的一步 轉(zhuǎn)移概率矩陣為研究其狀態(tài)間的關(guān)系以及狀態(tài)類型120第二十一張，PPT共三十二頁(yè)，創(chuàng)作于2022年6月例2 設(shè)狀態(tài)空間S=1,2,3,4的馬爾可夫鏈,它的一步 轉(zhuǎn)移概率矩陣為試分析狀態(tài)類型第二十二張，PPT共三十二頁(yè)，創(chuàng)作于2022年6月1234第二十三張，PPT共三十二頁(yè)，創(chuàng)作于2022年6月例3 設(shè)Xn,n=0,1,2,是一齊次馬爾可夫鏈, 狀態(tài)空間 S=1,2,3,4,5,其一步轉(zhuǎn)移概率矩陣為試

5、分析狀態(tài)類型第二十四張，PPT共三十二頁(yè)，創(chuàng)作于2022年6月12354第二十五張，PPT共三十二頁(yè)，創(chuàng)作于2022年6月例4 設(shè)齊次馬爾可夫鏈的狀態(tài)空間S=0,1,2,3,其一步 轉(zhuǎn)移概率矩陣為試分析過程的周期性第二十六張，PPT共三十二頁(yè)，創(chuàng)作于2022年6月1203第二十七張，PPT共三十二頁(yè)，創(chuàng)作于2022年6月例5 設(shè)齊次馬爾可夫鏈的狀態(tài)空間S=1,2,3,4,5,6,7,8, 其一步轉(zhuǎn)移概率矩陣為第二十八張，PPT共三十二頁(yè)，創(chuàng)作于2022年6月12534678第二十九張，PPT共三十二頁(yè)，創(chuàng)作于2022年6月例5 設(shè)齊次馬爾可夫鏈的狀態(tài)空間S=1,2,3,4,5,6, 其一步轉(zhuǎn)移概率矩陣為試分解此馬爾可夫鏈,并寫出各狀態(tài)類型及周期.第三十張，P