markov模型基礎(chǔ)知識(shí)

markov模型基礎(chǔ)知識(shí)本PPT的主要內(nèi)容一、Markov數(shù)學(xué)模型建立的背景二、Markov數(shù)學(xué)模型建模的過(guò)程三、Markov數(shù)學(xué)模型應(yīng)用介紹一、Markov數(shù)學(xué)模型建立的背景1.Markov數(shù)學(xué)模型的建立者——馬爾可夫

安德烈·馬爾可夫，1856年6月14日生于梁贊，1922年7月20日卒于圣彼得堡。1874年入圣彼得堡大學(xué)，受P.L.切比雪夫思想影響很深。1878年畢業(yè)，并以《用連分?jǐn)?shù)求微分方程的積分》一文獲金質(zhì)獎(jiǎng)?wù)?。兩年后，取得碩士學(xué)位，并任圣彼得堡大學(xué)副教授。1884年取得物理-數(shù)學(xué)博士學(xué)位，1886年任該校教授。1896被選為圣彼得堡科學(xué)院院士。1905年被授予功勛教授號(hào)。一、Markov數(shù)學(xué)模型建立的背景1.Markov數(shù)學(xué)模型的建立者——馬爾可夫

馬爾可夫是彼得堡數(shù)學(xué)學(xué)派的代表人物。以數(shù)論和概率論方面的工作著稱。他的主要著作有《概率演算》等。在數(shù)論方面，他研究了連分?jǐn)?shù)和二次不定式理論，解決了許多難題。在概率論中，他發(fā)展了矩法，擴(kuò)大了大數(shù)律和中心極限定理的應(yīng)用范圍。馬爾可夫最重要的工作是在1906～1912年間，提出并研究了一種能用數(shù)學(xué)分析方法研究自然過(guò)程的一般圖式——馬爾可夫鏈。同時(shí)開(kāi)創(chuàng)了對(duì)一種無(wú)后效性的隨機(jī)過(guò)程——馬爾可夫過(guò)程的研究。馬爾可夫經(jīng)多次觀察試驗(yàn)發(fā)現(xiàn)，一個(gè)系統(tǒng)的狀態(tài)轉(zhuǎn)換過(guò)程中第n次轉(zhuǎn)換獲得的狀態(tài)常決定于前一次（第（n-1）次）試驗(yàn)的結(jié)果。馬爾可夫進(jìn)行深入研究后指出：對(duì)于一個(gè)系統(tǒng)，由一個(gè)狀態(tài)轉(zhuǎn)至另一個(gè)狀態(tài)的轉(zhuǎn)換過(guò)程中，存在著轉(zhuǎn)移概率，并且這種轉(zhuǎn)移概率可以依據(jù)其緊接的前一種狀態(tài)推算出來(lái)，與該系統(tǒng)的原始狀態(tài)和此次轉(zhuǎn)移前的馬爾可夫過(guò)程無(wú)關(guān)。目前，馬爾可夫鏈理論與方法已經(jīng)被廣泛應(yīng)用于自然科學(xué)、工程技術(shù)和公用事業(yè)中。

一、Markov數(shù)學(xué)模型建立的背景2.Markov鏈的原理簡(jiǎn)介

馬爾可夫鏈?zhǔn)蔷哂旭R爾科夫性質(zhì)的隨機(jī)變量X_1,X_2,X_3...的一個(gè)數(shù)列。這些變量的范圍，即它們所有可能取值的集合，被稱為“狀態(tài)空間”，而X_n的值則是在時(shí)間n的狀態(tài)。如果X_{n+1}對(duì)于過(guò)去狀態(tài)的條件概率分布僅是X_n的一個(gè)函數(shù)，則P(X_{n+1}=x|X_1=x_1,X_2=x_2,...,X_n=x_n)=P(X_{n+1}=x|X_n=x_n).這里x為過(guò)程中的某個(gè)狀態(tài)。上面這個(gè)恒等式可以被看作是馬爾可夫性質(zhì)。一、Markov數(shù)學(xué)模型建立的背景3.Markov鏈的理論發(fā)展

馬爾可夫在1906年首先做出了這類過(guò)程。而將此一般化到可數(shù)無(wú)限狀態(tài)空間是由柯?tīng)柲宸蛟?936年給出的。馬爾可夫鏈與布朗運(yùn)動(dòng)以及遍歷假說(shuō)這兩個(gè)二十世紀(jì)初期物理學(xué)重要課題是相聯(lián)系的，但馬爾可夫?qū)で蟮乃坪醪粌H于數(shù)學(xué)動(dòng)機(jī)，名義上是對(duì)于縱屬事件大數(shù)法則的擴(kuò)張。物理馬爾可夫鏈通常用來(lái)建模排隊(duì)理論和統(tǒng)計(jì)學(xué)中的建模，還可作為信號(hào)模型用于熵編碼技術(shù)，如算術(shù)編碼（著名的LZMA數(shù)據(jù)壓縮算法就使用了馬爾可夫鏈與類似于算術(shù)編碼的區(qū)間編碼）。馬爾可夫鏈也有眾多的生物學(xué)應(yīng)用，特別是人口過(guò)程，可以幫助模擬生物人口過(guò)程的建模。隱蔽馬爾可夫模型還被用于生物信息學(xué)，用以編碼區(qū)域或基因預(yù)測(cè)。一、Markov數(shù)學(xué)模型建立的背景

4.Markov數(shù)學(xué)模型可行性

世界上的一切事物都在隨時(shí)間而變化，譬如某一地區(qū)氣候指標(biāo)氣溫和濕度的變化；體血液循環(huán)，心臟搏動(dòng)每次的血壓與排血量；神經(jīng)細(xì)胞興奮或抑制的傳遞；生物世代交替過(guò)程中遺傳性狀的表現(xiàn)……所有變化著的事物表現(xiàn)狀態(tài)可能是數(shù)值的、非數(shù)值的、連續(xù)的、離散的。在這種情況下，我們需建立一種研究的是一類重要的隨機(jī)過(guò)程，研究對(duì)象的狀態(tài)s(t)是不確定的，它可能取K種狀態(tài)si(i=1,…,k)之一，有時(shí)甚至可取無(wú)窮多種狀態(tài)的模型，而這種模型就是Markov數(shù)學(xué)模型。在建模時(shí)，時(shí)間變量也被離散化，我們希望通過(guò)建立兩個(gè)相鄰時(shí)刻研究對(duì)象取各種狀態(tài)的概率之間的聯(lián)系來(lái)研究其變化規(guī)律，故馬氏鏈研究的也是一類狀態(tài)轉(zhuǎn)移問(wèn)題。

過(guò)程(或系統(tǒng))在時(shí)刻t0所處的狀態(tài)為已知的條件下，過(guò)程在時(shí)刻t>t0所處狀態(tài)的條件分布與過(guò)程在時(shí)刻t0之前所處的狀態(tài)無(wú)關(guān)。通俗地說(shuō)，就是在已經(jīng)知道過(guò)程“現(xiàn)在”的條件下，其“將來(lái)”不依賴于“過(guò)去”。二、Markov數(shù)學(xué)模型建模的過(guò)程馬爾可夫性(無(wú)后效性)用分布函數(shù)表述馬爾可夫性：1、Markov鏈的定義定義設(shè)隨機(jī)過(guò)程的狀態(tài)空間為：若對(duì)任意的，及有馬氏性…………則稱為離散時(shí)間、離散狀態(tài)的馬爾可夫過(guò)程，或簡(jiǎn)稱為馬爾可夫鏈?！纠考?xì)胞分裂實(shí)驗(yàn)

設(shè)是馬爾可夫鏈，對(duì)任意的，計(jì)算的聯(lián)合分布律2、轉(zhuǎn)移概率

乘法公式

馬氏性

即馬爾可夫鏈的有限維分布完全由初始分布和條件概率確定.

馬氏性注

當(dāng)固定時(shí)，一步轉(zhuǎn)移概率實(shí)質(zhì)上就是在的條件下，隨機(jī)變量的條件分布律，所以條件分布律滿足：

定義1設(shè)是馬爾可夫鏈，記稱為馬爾可夫鏈在時(shí)刻時(shí)的一步轉(zhuǎn)移概率。

定義2設(shè)是馬爾可夫鏈，若其一步轉(zhuǎn)移概率與時(shí)間無(wú)關(guān)，即則稱為齊次馬爾可夫鏈，稱為從狀態(tài)轉(zhuǎn)移到狀態(tài)的一步轉(zhuǎn)移概率.

若馬爾科夫鏈的狀態(tài)空間是有限集，則稱為有限狀態(tài)的馬爾科夫鏈；

若馬爾科夫鏈的狀態(tài)空間是可列集，則稱為可列狀態(tài)的馬爾科夫鏈.矩陣的每一行都是一條件分布律

記.稱為齊次馬爾可夫鏈的初始分布.

齊次馬爾科夫鏈的有限維分布族完全由其一步轉(zhuǎn)移概率矩陣和初始分布確定.則稱矩陣為齊次馬爾科夫鏈的一步轉(zhuǎn)移概率矩陣.

定義3設(shè)是齊次馬爾可夫鏈，其一步轉(zhuǎn)移概率為，記例1(一個(gè)簡(jiǎn)單的疾病死亡模型)3、馬氏鏈的例子馬氏鏈的基本方程基本方程馬氏鏈的兩個(gè)重要類型1.正則鏈~從任一狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達(dá)另外任一狀態(tài)。w~穩(wěn)態(tài)概率馬氏鏈的兩個(gè)重要類型2.吸收鏈~存在吸收狀態(tài)（一旦到達(dá)就不會(huì)離開(kāi)的狀態(tài)i,pii=1）,且從任一非吸收狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達(dá)吸收狀態(tài)。有r個(gè)吸收狀態(tài)的吸收鏈的轉(zhuǎn)移概率陣標(biāo)準(zhǔn)形式R有非零元素yi~從第i個(gè)非吸收狀態(tài)出發(fā)，被某個(gè)吸收狀態(tài)吸收前的平均轉(zhuǎn)移次數(shù)。正則鏈與吸收鏈相關(guān)定義定義2對(duì)于馬氏鏈，若存在一正整數(shù)K，使其轉(zhuǎn)移矩陣的K次冪MK>0（每一分量均大于0），則稱此馬爾鏈為一正則（regular）鏈。定理2若A為正則鏈的轉(zhuǎn)移矩陣，則必有：（1）當(dāng)時(shí)，，其中W為一分量均大于零的隨機(jī)矩陣。（2）W的所有行向量均相同。定理3記定理2中的隨機(jī)矩陣W的行向量為V=(v1,…,vn),則：（1）對(duì)任意隨機(jī)向量x，有（2）V是A的不動(dòng)點(diǎn)向量,即VA=V,A的不動(dòng)點(diǎn)向量是唯一的。定義3狀態(tài)Si稱為馬氏鏈的吸收狀態(tài)，若轉(zhuǎn)移矩陣的第i行滿足：Pii=1，Pij=0（j≠i）定義4馬氏鏈被稱為吸收鏈，若其滿足以下兩個(gè)條件：（1）至少存在一個(gè)吸收狀態(tài)。（2）從任一狀態(tài)出發(fā),經(jīng)有限步轉(zhuǎn)移總可到達(dá)某一吸收狀態(tài)“隨機(jī)”具有r個(gè)吸收狀態(tài)，n－r個(gè)非吸收狀態(tài)的吸收鏈，它的n×n轉(zhuǎn)移矩陣的標(biāo)準(zhǔn)形式為

（注：非標(biāo)準(zhǔn)形式可經(jīng)對(duì)狀態(tài)重新編號(hào)）其中Ir為r階單位陣，O為r×s零陣，R為s×r矩陣，S為s×s矩陣。令上式中的子陣Sn表達(dá)了以任何非吸收狀態(tài)作為初始狀態(tài)，經(jīng)過(guò)n步轉(zhuǎn)移后，處于s個(gè)非吸收狀態(tài)的概率。在吸收鏈中，令F=(I－S)-1，稱F為基矩陣。定理4吸收鏈的基矩陣F中的每個(gè)元素，表示從一個(gè)非吸收狀態(tài)出發(fā)，過(guò)程到達(dá)每個(gè)非吸收狀態(tài)的平均轉(zhuǎn)移次數(shù)。定理5設(shè)N=FC，F(xiàn)為吸收鏈的基矩陣，C=(1,1,…,1)T，則N

的每個(gè)元素表示從非吸收狀態(tài)出發(fā)，到達(dá)某個(gè)吸收狀態(tài)被吸收之前的平均轉(zhuǎn)移次數(shù)。定理6設(shè)B=FR=（bij），其中F為吸收鏈的基矩陣，R為T(mén)中的子陣，則bij表示從非吸收狀態(tài)i出發(fā)，被吸收狀態(tài)j

吸收的概率。例4.8農(nóng)場(chǎng)的植物園中某種植物的基因型為AA,Aa和aa。農(nóng)場(chǎng)計(jì)劃采用AA型的植物與每種基因型植物相結(jié)合的方案培育植物后代。那么經(jīng)過(guò)若干年后，這種植物的任一代的三種基因型分布情況如何？（a）假設(shè)：令n=0,1,2,…。（i）設(shè)an,bn和cn分別表示第n代植物中，基因型為AA,Aa和aa的植物占植物總數(shù)的百分比。令x(n)為第n代植物的基因型分布：當(dāng)n=0時(shí)表示植物基因型的初始分布（即培育開(kāi)始時(shí)的分布）例2農(nóng)場(chǎng)的植物園中某種植物的基因型為AA,Aa和aa。農(nóng)場(chǎng)計(jì)劃采用AA型的植物與每種基因型植物相結(jié)合的方案培育植物后代。那么經(jīng)過(guò)若干年后，這種植物的任一代的三種基因型分布情況如何？三、Markov數(shù)學(xué)模型應(yīng)用介紹（b）建模根據(jù)假設(shè)(ii)，先考慮第n代中的AA型。由于第n－1代的AA型與AA型結(jié)合。后代全部是AA型；第n－1代的Aa型與AA型結(jié)合，后代是AA型的可能性為1/2，而第n－1代的aa型與AA型結(jié)合，后代不可能是AA型。因此當(dāng)n=1,2…時(shí)即類似可推出cn=0顯然有（ii）第n代的分布與第n－1代的分布之間的關(guān)系是確定的。(2.2)(2.3)(2.4)將（2.2）、（2.3）、（2.4）式相加，得根據(jù)假設(shè)(I)，可遞推得出：對(duì)于(2.2)式(2.3)式和(2.4)式，我們采用矩陣形式簡(jiǎn)記為其中（注：這里M為轉(zhuǎn)移矩陣的位置）

(2.5)由（2.5）式遞推，得(2.6)（2.6）式給出第n代基因型的分布與初始分布的關(guān)系。為了計(jì)算出Mn，我們將M對(duì)角化，即求出可逆矩陣P和對(duì)角庫(kù)D，使

M=PDP-1因而有

Mn=PDnP-1,n=1,2,…其中這里，，是矩陣M的三個(gè)特征值。對(duì)于(2.5)式中的M，易求得它的特征值和特征向量：

=1，=1/2，=0因此所以

通過(guò)計(jì)算，P-1=P，因此有即所以有當(dāng)時(shí)，，所以從（4.7）式得到即在極限的情況下，培育的植物都是AA型。若在上述問(wèn)題中，不選用基因AA型的植物與每一植物結(jié)合，而是將具有相同基因型植物相結(jié)合，那么后代具有三種基因型的概率如表所示。11/40aa01/20Aa01/41AA后代基因型aa－aaAa－AaAA－AA父體——母體的基因型并且，其中M的特征值為通過(guò)計(jì)算，可以解出與、相對(duì)應(yīng)的兩個(gè)線性無(wú)關(guān)的特征向量e1和e2，及與相對(duì)應(yīng)的特征內(nèi)量e3：因此解得：當(dāng)

時(shí)，，所以因此，如果用基因型相同的植物培育后代，在極限情況下，后代僅具有基因AA和aa。例3常染體隱性疾病模型現(xiàn)在世界上已經(jīng)發(fā)現(xiàn)的遺傳病有將近4000種。在一般情況下，遺傳疾病和特殊的種族、部落及群體有關(guān)。例如，遺傳病庫(kù)利氏貧血癥的患者以居住在地中海沿岸為多，鐮狀網(wǎng)性貧血癥一般流行在黑人中，家族黑蒙性白癡癥則流行在東歐猶太人中間?；颊呓?jīng)常未到成年就痛苦地死去，而他們的父母則是疾病的病源。假若我們能識(shí)別這些疾病的隱性患者，并且規(guī)定兩個(gè)隱性患者不能結(jié)合（因?yàn)閮蓚€(gè)隱性病患者結(jié)合，他們的后代就可能成為顯性患者），那么未來(lái)的兒童，雖然有可能是隱性患者，但絕不會(huì)出現(xiàn)顯性特征，不會(huì)受到疾病的折磨。

現(xiàn)在，我們考慮在控制結(jié)合的情況下，如何確定后代中隱性患者的概率。

（a）假設(shè)（i）常染色體遺傳的正?；蛴洖锳，不正?；蛴洖閍，并以AA，Aa，aa

分別表示正常人，隱性患者，顯性患者的基因型（ii）設(shè)an,bn分別表示第n代中基因型為

AA，Aa的人占總?cè)藬?shù)的百分比，記，n=1,2,…（這里不考慮aa型是因?yàn)檫@些人不可能成年并結(jié)婚）（iii）為使每個(gè)兒童至少有一個(gè)正常的父親或母親，因此隱性患者必須與正常人結(jié)合，其后代的基因型概率由下表給出：1/20Aa1/21AA后代基因型AA－AaAA－AA父母的基因型（b）建模由假設(shè)（iii），從第n－1代到第n代基因型分布的變化取決于方程所以，其中如果初始分布x(0)已知，那么第n代基因型分布為解將M對(duì)角化，即求出特征值及其所對(duì)應(yīng)的特征向量，得計(jì)算=(3.8)因?yàn)?，所以?dāng)

時(shí)，，隱性患者逐漸消失。從(3.8)式中可知每代隱性患者的概率是前一代隱性患者概率的1/2。

(3.9)（c）模型討論研究在隨機(jī)結(jié)合的情況下，隱性患者的變化是很有意思的，但隨機(jī)結(jié)合導(dǎo)致了非線性化問(wèn)題，超出了本章范圍，然而用其它技巧，在隨機(jī)結(jié)合的情況下可以把（3.9）式改寫(xiě)為(3.10)下面給會(huì)出數(shù)值例子：某地區(qū)有10%的黑人是鐮狀網(wǎng)性盆血癥隱性患者，如果控制結(jié)合，根據(jù)（3.9）式可知下一代（大約27年）的隱性患者將減少到5%；如果隨機(jī)結(jié)合，根據(jù)（3.10）式，可以預(yù)言下一代人中有9.5%是隱性患者，并且可計(jì)算出大約每出生400個(gè)黑人孩子，其中有一個(gè)是顯性患者。（近親繁殖）近親繁殖是指父母雙方有一個(gè)或兩個(gè)共同的祖先，一般追蹤到四代，即至少有相同的曾祖父（母）或外曾祖父（母）。為簡(jiǎn)單起見(jiàn)，我們來(lái)考察一對(duì)表兄妹（或堂兄妹）結(jié)婚的情況，其中□代表男性，○代表女性。設(shè)曾祖父有某基因?qū)1A2，曾祖母有某基因?qū)3A4，容易求得：祖父母取得A1的概率為1/2，故祖父母同有A1基因的概率為1/4；父母同有A1基因的概率為1/16，而子女從父母那里獲得基因?qū)1A1的概率為1/64，而獲得相同基因?qū)ΓǚQ為基因純合子）A1A1，A2A2，A3A3或A4A4之一的概率為1/16,此概率被稱為表兄妹(或堂兄妹)結(jié)婚(表親)的近交系數(shù)。類似可求得半堂親（只有一個(gè)共同祖先）的近交系數(shù)為1/32，從表親（父母為表親）的近交系數(shù)為1/64；非近親結(jié)婚不可能發(fā)生重復(fù)取某祖先的一對(duì)基因?qū)χ械哪骋换蜃鳛樽约旱幕驅(qū)Φ那闆r，故近交系數(shù)為0。（群體的近交系數(shù)）設(shè)某群體中存在近親婚配現(xiàn)象，稱各種近交系數(shù)的數(shù)學(xué)期望為該群體的近交系數(shù)。例如，某村鎮(zhèn)共有2000對(duì)婚配關(guān)系，其中有59對(duì)表親，22對(duì)半堂親和28對(duì)從表親，則該村鎮(zhèn)的近親系數(shù)為現(xiàn)在，我們來(lái)研究近親結(jié)婚會(huì)產(chǎn)生什么結(jié)果。設(shè)某基因?qū)τ葾、a兩種基因組成，出現(xiàn)A的概率為p，出現(xiàn)a的概率為q=1-p。在隨機(jī)交配群體中，其子女為AA、Aa及aa型的概率分別為p2、2pq及q2。對(duì)近交系數(shù)為F的群體，根據(jù)條件概率公式，后代出現(xiàn)aa型基因?qū)Φ母怕蕿楸容^存在近親交配的群體與不允許近親交配(F=0)的群體，令

若a為某種隱性疾病的基因，易見(jiàn)，在近交群體中，后代產(chǎn)生遺傳病（aa型）的概率增大了，且F越大，后代患遺傳病的概率也越大。同樣，后代出現(xiàn)AA型基因?qū)Φ母怕蕿閜2+Fpq。Aa型不可能是共同祖先同一基因的重復(fù)，故其出現(xiàn)的概率為2pq(1-F)。例如，苯丙酮尿癥是一種隱性基因純合子aa型疾?。╝為隱性疾病基因），隱性基因出現(xiàn)的頻率，求表兄妹結(jié)婚及非近親結(jié)婚的子女中患有苯丙酮尿癥的概率。由前，表兄妹結(jié)婚的近交系數(shù)為1/16,故其子女發(fā)生該疾病的概率為而對(duì)禁止近親結(jié)婚的群體，子女發(fā)生該疾病的概率為q2=10-4。表兄妹（或堂兄妹）結(jié)婚使子女發(fā)生該疾病的概率增大了大約7.19倍，由此可見(jiàn)，為了提高全民族的身體素質(zhì)，近親結(jié)婚是應(yīng)當(dāng)禁止的。例4X—鏈遺傳模型的一個(gè)實(shí)例X—鏈遺傳是指另一種遺傳方式：雄性具有一個(gè)基因A或a，雌性具有兩個(gè)基因AA，或Aa，或aa。其遺傳規(guī)律是雄性后代以相等概率得到母體兩個(gè)基因中的一個(gè)，雌性后代從父體中得到一個(gè)基因，并從母體的兩個(gè)基因中等可能地得到一個(gè)。下面，研究與X—鏈遺傳有關(guān)的近親繁殖過(guò)程。（a）假設(shè)（i）從一對(duì)雌雄結(jié)合開(kāi)始,在它們的后代中,任選雌雄各一個(gè)成配偶,然后在它們產(chǎn)生的后代中任選兩個(gè)結(jié)成配偶,如此繼續(xù)下去,(在家畜、家禽飼養(yǎng)中常見(jiàn)這種現(xiàn)象)（ii）父體與母體的基因型組成同胞對(duì)，同胞對(duì)的形式有

(A,AA),(A,Aa),(A,aa),(a,AA),(a,Aa),(a,aa)6種。初始一對(duì)雌雄的同胞對(duì)，是這六種類型中的任一種，其后代的