隨機過程課件-馬爾可夫鏈

隨機過程課件-馬爾可夫鏈馬爾可夫鏈簡介馬爾可夫鏈的性質(zhì)馬爾可夫鏈的轉(zhuǎn)移概率馬爾可夫鏈的收斂性馬爾可夫鏈的模擬與實現(xiàn)馬爾可夫鏈的擴展與改進contents目錄01馬爾可夫鏈簡介定義馬爾可夫鏈?zhǔn)且环N隨機過程，其中下一個狀態(tài)只依賴于當(dāng)前狀態(tài)，與過去狀態(tài)無關(guān)。特性馬爾可夫鏈具有無記憶性，即未來狀態(tài)與過去狀態(tài)獨立，只與當(dāng)前狀態(tài)有關(guān)。此外，馬爾可夫鏈還具有狀態(tài)空間有限或可數(shù)、轉(zhuǎn)移概率矩陣一致等特性。定義與特性用于詞性標(biāo)注、句法分析等任務(wù)。自然語言處理用于分類、聚類、強化學(xué)習(xí)等任務(wù)。機器學(xué)習(xí)用于股票價格預(yù)測、風(fēng)險評估等任務(wù)。金融用于基因序列分析、蛋白質(zhì)結(jié)構(gòu)預(yù)測等任務(wù)。生物信息學(xué)馬爾可夫鏈的應(yīng)用領(lǐng)域描述馬爾可夫鏈可能處于的狀態(tài)的集合。狀態(tài)空間描述從當(dāng)前狀態(tài)轉(zhuǎn)移到下一個狀態(tài)的相對概率。轉(zhuǎn)移概率描述在馬爾可夫鏈達(dá)到穩(wěn)態(tài)后，各個狀態(tài)被訪問的概率。平穩(wěn)分布描述馬爾可夫鏈從任意狀態(tài)出發(fā)，經(jīng)過有限步后能夠到達(dá)任意其他狀態(tài)的性質(zhì)。遍歷性馬爾可夫鏈的數(shù)學(xué)模型02馬爾可夫鏈的性質(zhì)馬爾可夫鏈的狀態(tài)集合是有限的，每個狀態(tài)都有明確的概率轉(zhuǎn)移。有限狀態(tài)空間狀態(tài)空間是可數(shù)的，即存在一個自然數(shù)集合作為狀態(tài)集合，通常用于離散時間的馬爾可夫鏈?？蓴?shù)狀態(tài)空間狀態(tài)空間是連續(xù)的實數(shù)集合，通常用于描述連續(xù)時間的馬爾可夫過程。連續(xù)狀態(tài)空間狀態(tài)空間的分類不可約性不可約性是指馬爾可夫鏈的狀態(tài)轉(zhuǎn)移圖是一個不可約圖，即從任意狀態(tài)出發(fā)，經(jīng)過有限步可以到達(dá)任意其他狀態(tài)。不可約性是馬爾可夫鏈具有唯一平穩(wěn)分布的必要條件。周期性是指馬爾可夫鏈的狀態(tài)轉(zhuǎn)移具有一定的周期性，即存在一個正整數(shù)d，使得從任意狀態(tài)出發(fā)，經(jīng)過d步后又回到該狀態(tài)。周期性會影響馬爾可夫鏈的平穩(wěn)分布的性質(zhì)和計算。周期性狀態(tài)空間的分解是將狀態(tài)空間劃分為若干個子集，每個子集內(nèi)的狀態(tài)具有相似的性質(zhì)和轉(zhuǎn)移概率。通過狀態(tài)空間的分解，可以簡化馬爾可夫鏈的分析和計算，同時有助于理解和描述馬爾可夫鏈的行為。狀態(tài)空間的分解遍歷性是指馬爾可夫鏈的狀態(tài)轉(zhuǎn)移圖是一個遍歷圖，即從任意狀態(tài)出發(fā)，經(jīng)過無數(shù)步后，最終會以概率1到達(dá)目標(biāo)狀態(tài)。遍歷性是馬爾可夫鏈達(dá)到平穩(wěn)分布的必要條件之一，也是判斷馬爾可夫鏈?zhǔn)欠窬哂形ㄒ黄椒€(wěn)分布的重要依據(jù)。遍歷性03馬爾可夫鏈的轉(zhuǎn)移概率轉(zhuǎn)移概率的定義與性質(zhì)馬爾可夫鏈中，給定當(dāng)前狀態(tài)$i$，未來狀態(tài)$j$在某個時間步長內(nèi)發(fā)生的概率稱為轉(zhuǎn)移概率，記作$P(i,j)$。定義轉(zhuǎn)移概率具有非負(fù)性、歸一性和時齊性。非負(fù)性指$P(i,j)geq0$；歸一性指對于每個狀態(tài)$i$，所有可能轉(zhuǎn)移到該狀態(tài)的轉(zhuǎn)移概率之和為1，即$sum_{j}P(i,j)=1$；時齊性指對于任意狀態(tài)$i,j$和任意時間步長$n$，轉(zhuǎn)移概率都相同，即$P(i,j)=P(X_n=j|X_{n-1}=i)$。性質(zhì)將所有狀態(tài)對的轉(zhuǎn)移概率排列成的矩陣稱為轉(zhuǎn)移概率矩陣，記作$P$。定義根據(jù)實際數(shù)據(jù)或?qū)嶒灲Y(jié)果，統(tǒng)計從一個狀態(tài)轉(zhuǎn)移到另一個狀態(tài)的事件數(shù)，然后除以初始狀態(tài)的事件數(shù)，得到轉(zhuǎn)移概率。例如，若初始狀態(tài)為$A$的事件數(shù)為100，其中有30個事件轉(zhuǎn)移到狀態(tài)$B$，則$P(A,B)=frac{30}{100}=0.3$。計算方法轉(zhuǎn)移概率矩陣的計算描述馬爾可夫鏈初始時刻各個狀態(tài)的概率分布。通常表示為向量$pi$，其中$pi_i$表示初始時刻處于狀態(tài)$i$的概率。在馬爾可夫鏈的長期運行中，各個狀態(tài)出現(xiàn)的概率分布稱為平穩(wěn)分布。若轉(zhuǎn)移概率矩陣為$P$，則平穩(wěn)分布向量$pi$滿足$piP=pi$。初始分布與平穩(wěn)分布平穩(wěn)分布初始分布04馬爾可夫鏈的收斂性

極限分布的概念極限分布定義當(dāng)馬爾可夫鏈的狀態(tài)轉(zhuǎn)移次數(shù)趨于無窮時，鏈中各個狀態(tài)出現(xiàn)的相對頻率趨于一個穩(wěn)定的狀態(tài)分布，這個穩(wěn)定的狀態(tài)分布稱為極限分布。存在性對于某些特定的馬爾可夫鏈，其極限分布可能不存在。唯一性對于具有有限狀態(tài)空間的馬爾可夫鏈，其極限分布通常是唯一的。對于具有有限狀態(tài)空間的馬爾可夫鏈，可以通過直接計算每個狀態(tài)的相對頻率來得到極限分布。直接計算迭代法概率生成函數(shù)法對于某些馬爾可夫鏈，可以通過迭代狀態(tài)轉(zhuǎn)移矩陣來逼近極限分布。通過計算概率生成函數(shù)的根來求解極限分布。030201極限分布的計算收斂定理定理一對于具有有限狀態(tài)空間的馬爾可夫鏈，其極限分布存在且唯一。定理二對于不可約的馬爾可夫鏈，其極限分布是遍歷的，即極限分布與初始狀態(tài)無關(guān)。05馬爾可夫鏈的模擬與實現(xiàn)VS使用數(shù)學(xué)公式和種子值生成一系列近似隨機的數(shù)列。真隨機數(shù)生成器利用物理現(xiàn)象（如電路噪音）產(chǎn)生真正的隨機數(shù)。偽隨機數(shù)生成器隨機數(shù)生成通過多次重復(fù)模擬馬爾可夫鏈的路徑來估計某個事件的概率或某個參數(shù)的值。隨著模擬次數(shù)的增加，估計值逐漸接近真實值。采樣分布收斂性馬爾可夫鏈蒙特卡洛方法決策樹將馬爾可夫鏈應(yīng)用于決策分析中，幫助決策者評估不同策略的風(fēng)險和收益。要點一要點二強化學(xué)習(xí)在強化學(xué)習(xí)中，馬爾可夫鏈用于描述環(huán)境狀態(tài)轉(zhuǎn)移和獎勵函數(shù)。馬爾可夫鏈在決策分析中的應(yīng)用06馬爾可夫鏈的擴展與改進時齊馬爾可夫鏈?zhǔn)侵笗r間參數(shù)為離散的馬爾可夫鏈，其狀態(tài)轉(zhuǎn)移概率不隨時間而變化。定義時齊馬爾可夫鏈具有時間一致性，即在不同時刻的轉(zhuǎn)移概率相同。特點時齊馬爾可夫鏈廣泛應(yīng)用于排隊論、可靠性理論和統(tǒng)計學(xué)等領(lǐng)域。應(yīng)用時齊馬爾可夫鏈特點非齊次馬爾可夫鏈的狀態(tài)轉(zhuǎn)移概率與時間有關(guān)，因此具有時間依賴性。應(yīng)用非齊次馬爾可夫鏈在物理學(xué)、化學(xué)和生物學(xué)等領(lǐng)域有廣泛應(yīng)用，如放射性衰變、化學(xué)反應(yīng)和生態(tài)種群動態(tài)等模型。定義非齊次馬爾可夫鏈?zhǔn)侵笗r間參數(shù)為連續(xù)的馬爾可夫鏈，其狀態(tài)轉(zhuǎn)移概率隨時間而變化。非齊次馬爾可夫鏈123時齊馬爾可夫鏈和非齊次馬爾可夫鏈各有其優(yōu)缺點，選擇哪種模型取決于具體問題的特性