馬爾可夫鏈模型講解

1、馬爾可夫鏈模型(MarkovChainModel)目錄隱藏1馬爾可夫鏈模型概述2馬爾可夫鏈模型的性質(zhì)3離散狀態(tài)空間中的馬爾可夫鏈模型4馬爾可夫鏈模型的應用4.1科學中的應用4.2人力資源中的應用5馬爾可夫模型案例分析15.1馬爾可夫模型的建立5.2馬爾可夫模型的應用6參考文獻編輯馬爾可夫鏈模型概述馬爾可夫鏈因安德烈馬爾可夫(AndreyMarkov,18561922)得名，是數(shù)學中具有馬爾可夫性質(zhì)的離散時間隨機過程。該過程中，在給定當前知識或信息的情況下，過去(即當期以前的歷史狀態(tài))對于預測將來(即當期以后的未來狀態(tài))是無關(guān)的。時間和狀態(tài)都是離散的馬爾可夫過程稱為馬爾可夫鏈，簡記為=U1,占*

2、馬爾可夫鏈是隨機變量如屁屮的一個數(shù)列。這些變量的范圍,即他們所有可能取值的集合，被稱為“狀態(tài)空間”，而Xn的值則是在時間n的狀態(tài)。如果Xn+1對于過去狀態(tài)的條件概率分布僅是Xn的一個函數(shù)，則P(X.”+i=斜瓦XnX、D=嚴(忑這里x為過程中的某個狀態(tài)。上面這個恒等式可以被看作是馬爾可夫性質(zhì)。馬爾可夫在1906年首先做出了這類過程。而將此一般化到可數(shù)無限狀態(tài)空間是由柯爾莫果洛夫在1936年給出的。馬爾可夫鏈與布朗運動以及遍歷假說這兩個二十世紀初期物理學重要課題是相聯(lián)系的，但馬爾可夫?qū)で蟮乃坪醪粌H于數(shù)學動機，名義上是對于縱屬事件大數(shù)法則的擴張。馬爾可夫鏈是滿足下面兩個假設(shè)的一種隨機過程：1、t+

3、l時刻系統(tǒng)狀態(tài)的概率分布只與t時刻的狀態(tài)有關(guān)，與t時刻以前的狀態(tài)無關(guān)；2、從t時刻到t+l時刻的狀態(tài)轉(zhuǎn)移與t的值無關(guān)。一個馬爾可夫鏈模型可表示為=（S,P，Q）,其中各元的含義如下:1）S是系統(tǒng)所有可能的狀態(tài)所組成的非空的狀態(tài)集，有時也稱之為系統(tǒng)的狀態(tài)空間，它可以是有限的、可列的集合或任意非空集。本文中假定S是可2）數(shù)集（即有限或可列）。用小寫字母i,j（或S,S）等來表示狀態(tài)。ij2）是系統(tǒng)的狀態(tài)轉(zhuǎn)移概率矩陣，其中P表示系統(tǒng)在時ij刻t處于狀態(tài)i，在下一時刻t+l處于狀態(tài)i的概率，N是系統(tǒng)所有可能的狀態(tài)E=I的個數(shù)。對于任意iGs，有3）陽=理的易是系統(tǒng)的初始概率分布，q是系統(tǒng)在初始時刻處i

4、7立鼻=于狀態(tài)i的概率，滿足。馬爾可夫鏈模型的性質(zhì)馬爾可夫鏈是由一個條件分布來表示的P（X+1|X）n+1這被稱為是隨機過程中的“轉(zhuǎn)移概率”。這有時也被稱作是“一步轉(zhuǎn)移概率”。二、三，以及更多步的轉(zhuǎn)移概率可以導自一步轉(zhuǎn)移概率和馬爾可夫性質(zhì)：pgI=/Fg佟九（XJg“=/PgIgIi）PgIjXJg11同樣:邊際分布P(X)是在時間為n時的狀態(tài)的分布。初始分布為P(X)。該過n0程的變化可以用以下的一個時間步幅來描述：XnXn)P(X.n)dX71這是Frobenius-Perronequation的一個版本。這時可能存在一個或多個狀態(tài)分布n滿足:個狀態(tài)分布n滿足:其中Y只是為了便于對變量積分

5、的一個名義。這樣的分布n被稱作是“平穩(wěn)分布(StationaryDistribution)或者“穩(wěn)態(tài)分布(Steady-stateDistribution)。一個平穩(wěn)分布是一個對應于特征根為1的條件分布函數(shù)的特征方程。平穩(wěn)分布是否存在，以及如果存在是否唯一，這是由過程的特定性質(zhì)決定的?！安豢杉s”是指每一個狀態(tài)都可來自任意的其它狀態(tài)。當存在至少一個狀態(tài)經(jīng)過一個固定的時間段后連續(xù)返回，則這個過程被稱為是“周期的”。編輯離散狀態(tài)空間中的馬爾可夫鏈模型如果狀態(tài)空間是有限的，則轉(zhuǎn)移概率分布可以表示為一個具有(i,j)元素的矩陣，稱之為“轉(zhuǎn)移矩陣”：P=P(X=i|X=j)ijn+1n對于一個離散狀態(tài)空間

6、，k步轉(zhuǎn)移概率的積分即為求和，可以對轉(zhuǎn)移矩陣求k次冪來求得。就是說，如果是一步轉(zhuǎn)移矩陣，就是k步轉(zhuǎn)移后的轉(zhuǎn)移矩陣。平穩(wěn)分布是一個滿足以下方程的向量：Ph=十在此情況下，穩(wěn)態(tài)分布n*是一個對應于特征根為1的、該轉(zhuǎn)移矩陣的特征向量。如果轉(zhuǎn)移矩陣卜不可約，并且是非周期的，貝出收斂到一個每一列都是不同的平穩(wěn)分布n不同的平穩(wěn)分布n并且,InnPA7T=7T*h獨立于初始分布n。這是由Perron-Frobeniustheorem所指出的。正的轉(zhuǎn)移矩陣(即矩陣的每一個元素都是正的)是不可約和非周期的。矩陣被稱為是一個隨機矩陣，當且僅當這是某個馬爾可夫鏈中轉(zhuǎn)移概率的矩陣。注意：在上面的定式化中，元素(i,j

7、)是由j轉(zhuǎn)移到i的概率。有時候一個由元素(i,j)給出的等價的定式化等于由i轉(zhuǎn)移到j(luò)的概率。在此情況下，轉(zhuǎn)移矩陣僅是這里所給出的轉(zhuǎn)移矩陣的轉(zhuǎn)置。另外，一個系統(tǒng)的平穩(wěn)分布是由該轉(zhuǎn)移矩陣的左特征向量給出的，而不是右特征向量。轉(zhuǎn)移概率獨立于過去的特殊況為熟知的Bernoullischeme。僅有兩個可能狀態(tài)的Bernoullischeme被熟知為貝努利過程馬爾可夫鏈模型的應用科學中的應用馬爾可夫鏈通常用來建模排隊理論和統(tǒng)計學中的建模，還可作為信號模型用于熵編碼技術(shù)，如算法編碼。馬爾可夫鏈也有眾多的生物學應用，特別是人口過程，可以幫助模擬生物人口過程的建模。隱蔽馬爾可夫模型還被用于生物信息學，用以編碼

8、區(qū)域或基因預測。馬爾可夫鏈最近的應用是在地理統(tǒng)計學(geostatistics)中。其中，馬爾可夫鏈用在基于觀察數(shù)據(jù)的二到三維離散變量的隨機模擬。這一應用類似于“克里金地理統(tǒng)計學(Kriginggeostatistics)，被稱為是“馬爾可夫鏈地理統(tǒng)計學”。這一馬爾可夫鏈地理統(tǒng)計學方法仍在發(fā)展過程中。編輯人力資源中的應用馬爾可夫鏈模型主要是分析一個人在某一階段內(nèi)由一個職位調(diào)到另一個職位的可能性，即調(diào)動的概率。該模型的一個基本假設(shè)就是，過去的內(nèi)部人事變動的模式和概率與未來的趨勢大體相一致。實際上，這種方法是要分析企業(yè)內(nèi)部人力資源的流動趨勢和概率，如升遷、轉(zhuǎn)職、調(diào)配或離職等方面的情況，以便為內(nèi)部的

9、人力資源的調(diào)配提供依據(jù)。它的基本思想是：通過發(fā)現(xiàn)過去組織人事變動的規(guī)律，以推測組織在未來人員的供給情況。馬爾可夫鏈模型通常是分幾個時期收集數(shù)據(jù)，然后再得出平均值，用這些數(shù)據(jù)代表每一種職位中人員變動的頻率，就可以推測出人員變動情況。具體做法是：將計劃初期每一種工作的人數(shù)量與每一種工作的人員變動概率相乘，然后縱向相加，即得到組織內(nèi)部未來勞動力的凈供給量。其基本表達式為：丨皿歸N（t）：t時間內(nèi)I類人員數(shù)量；iP:人員從j類向I類轉(zhuǎn)移的轉(zhuǎn)移率；jiV（t）：在時間（t-1,t）I類所補充的人員數(shù)。i企業(yè)人員的變動有調(diào)出、調(diào)入、平調(diào)、晉升與降級五種。表3假設(shè)一家零售公司在1999至2000年間各類人員

10、的變動情況。年初商店經(jīng)理有12人，在當年期間平均90%的商店經(jīng)理仍在商店內(nèi)，10%的商店經(jīng)理離職，期初36位經(jīng)理助理有11%晉升到經(jīng)理，83%留在原來的職務，6%離職；如果人員的變動頻率是相對穩(wěn)定的，那么在2000年留在經(jīng)理職位上有11人（12X90%），另外,經(jīng)理助理中有4人（36X83%）晉升到經(jīng)理職位，最后經(jīng)理的總數(shù)是15人（11+4）?？梢愿鶕?jù)這一矩陣得到其他人員的供給情況，也可以計算出其后各個時期的預測結(jié)果。假設(shè)的零售公司的馬爾可夫分析，見下表：1999200商店經(jīng)理區(qū)域部門銷售離0經(jīng)理助理經(jīng)理經(jīng)理員職商店經(jīng)理90%10%(n=12)111經(jīng)理助理11%83%6%(n=36)4302

11、區(qū)域經(jīng)理11%66%8%15%(n=96)1163814部門經(jīng)理10%72%2%16%(=288)29207646銷售員6%74%25%(=1440)861066228供給預測1541923011072351編輯馬爾可夫模型案例分析1案例：在信用卡賬戶行為變化預測中的應用信用卡業(yè)務是商業(yè)銀行的零售業(yè)務，信用卡的消費金額是銀行的應收賬款.在此，我們可以借鑒零售行業(yè)應收賬款狀態(tài)變化的預測方法對信用卡賬戶的行為變化進行描述和預測。對信用卡賬戶的馬爾可夫過程進行研究，主要解決新增貸款發(fā)生周期性變化的情況下利用馬爾可夫過程預測不同時刻的信用卡賬戶各狀態(tài)下的金額、已償付態(tài)和壞帳態(tài)的金額、全部應收款的現(xiàn)值及

12、它們的方差計算等內(nèi)容，以為商業(yè)銀行信用卡賬戶的行為風險管理提供方法依據(jù)。編輯馬爾可夫模型的建立馬爾可夫狀態(tài)轉(zhuǎn)移模型是在滿足“馬氏性”和“平穩(wěn)性”的基礎(chǔ)上建立的假定銀行的信用卡賬戶中每期處于不同期限的逾期貸款數(shù)量只與上期逾期貸款的數(shù)量與結(jié)構(gòu)有關(guān)，而與前期的狀態(tài)無關(guān)，這就滿足了“馬氏性”。同時，在外部經(jīng)濟環(huán)境穩(wěn)定、人口特征比較穩(wěn)定、銀行的信用卡管理技術(shù)和方法沒有發(fā)生重大變化的情況下,可以認為逾期貸款由一種狀態(tài)轉(zhuǎn)移到另一種狀態(tài)的概率在各期是保持不變的，即每年的轉(zhuǎn)移概率矩陣基本保持穩(wěn)定,滿足了馬氏鏈的“平穩(wěn)性”要求.這樣，銀行就可以通過往年的數(shù)據(jù)資料模擬出比較精確的轉(zhuǎn)移概率矩陣，對信用卡賬戶的行為狀態(tài)

13、做出預測和評估,下面給出具體分析。假設(shè)某一銀行在時間i有一定的信用卡應收賬款,當前或者隨后的時間內(nèi)這些余額都可以劃分為n個時間段（即狀態(tài)。對于這批在時間i的應收賬款而言，有:B二逾期為0期的應收賬款余額（也就是當前期）；0B=逾期為1期的應收賬款余額；1B=逾期為j期的應收賬款余額；jB=逾期為n-1期的應收賬款余額；n1B=逾期為n期的應收賬款余額。n實踐中，時間段的數(shù)目將視情況而定，最后一個時間段主要依賴于銀行應收賬款的“沖銷”原則,美國的信用卡貸款一般拖欠180天以上即成為呆賬予以“沖銷”.雖然拖欠賬款最終也可能得到償還，但是將超過規(guī)定還款期限的應收賬款歸入壞帳種類中是很自然的會計程序一

14、般而言，我們可以讓Bjk表示從i時刻處于j狀態(tài)轉(zhuǎn)移到i+1時刻處于k狀態(tài)的賬戶的金額.用這種方法，我們可以對處于i時刻的所有應收賬款做出在i+1時刻的一步轉(zhuǎn)移賬戶需要注意的是，還應該有一個“時間”狀態(tài)應該加入到先前所描述的分類中，這一狀態(tài)就是已付款狀態(tài)，用U表示在i時刻任何一種分類狀態(tài)從0到n的賬戶在i+1時刻都可以轉(zhuǎn)移到狀態(tài)這樣，i時刻的應收賬款賬戶可以用一個n+2維矩陣來表示，矩陣中的每一項Bjk表示i時刻j狀態(tài)轉(zhuǎn)移為i+1時刻k狀態(tài)的金額，如下所示：B=%*對信用卡賬戶而言，需要注意的是,當狀態(tài)B中的ji時，應理解為i時jk刻處于狀態(tài)j的賬戶，在隨后的i+1時刻（一般為30天后）償還了部

15、分的利息，使得應收賬款（貸款）又轉(zhuǎn)變?yōu)閗狀態(tài)。從n+2維應收賬款矩陣B可以導出n+2維轉(zhuǎn)移概率矩陣P.轉(zhuǎn)移概率矩陣P中的每一項目表示在特定時間內(nèi)某一賬戶由一種狀態(tài)轉(zhuǎn)移到另一狀態(tài)的可能性這樣的話，一個隱含假設(shè)是，轉(zhuǎn)移概率矩陣的考察周期和應收賬款分類的考察周期是相同的一般情況下，轉(zhuǎn)移概率P表示的是i時刻j狀態(tài)的賬款轉(zhuǎn)移到j(luò)ki+1時刻k狀態(tài)賬款的可能性.根據(jù)應收賬款矩陣B及B,轉(zhuǎn)移概率P可被定義jkjk為:在應用轉(zhuǎn)移概率矩陣時需要注意兩點。一是口狀態(tài)的賬款不可能轉(zhuǎn)移到為:在應用轉(zhuǎn)移概率矩陣時需要注意兩點。一是口狀態(tài)的賬款不可能轉(zhuǎn)移到其它的狀態(tài)，它只能停留在已付款狀態(tài)，訂狀態(tài)賬戶的轉(zhuǎn)移概率依次為:際

16、=匸叫琳=q,阪=q，區(qū)三g,際=0為:際=的狀態(tài)，雖然有時候壞呆賬類賬款仍能收回現(xiàn)金，但在我們的模型里邊假設(shè)呆賬類賬款只能停留在呆賬類的狀態(tài),即:應三q0,類賬款只能停留在呆賬類的狀態(tài),即:應三q0,P=0,，P=-nn,P=0,P=n0n11.00。上面描述的模型可以被看作一個有n+2個狀態(tài)的馬爾可夫鏈過程，其轉(zhuǎn)移概率矩陣為P.而且，它有兩個吸收態(tài)（償付態(tài)0和呆賬態(tài)n）,從其他任何一個暫態(tài)（非吸收態(tài)）都可以到達這兩個吸收態(tài)，因此它是一個具有兩個吸收態(tài)的馬爾可夫鏈我們將在充分利用馬爾可夫理論和已有研究的基礎(chǔ)上，研究如何利用馬爾可夫鏈方法預測和估計信用卡賬戶行為的變化。編輯馬爾可夫模型的應用在

17、此，采用Kemeny和Snell的部分研究成果.為便于計算，將n+2維轉(zhuǎn)移概率方陣重新排列，將吸收態(tài)的償付態(tài)和呆賬態(tài)放在一起,將另外的暫態(tài)0，1，2,n-1放在一起.這樣矩陣P就可以被分割為:其中I是一個2X2階單位矩陣,0是一個2Xn階0矩陣,R是一個nX2階矩陣,Q是一個nXn階矩陣.其中，我們定義矩陣:=IQ丨QS”丨|QJ一定存在,并將其稱為吸收態(tài)馬爾可夫鏈的基本矩陣對于nX2階矩陣的所有分項,NR給出了每一狀態(tài)轉(zhuǎn)移到吸收態(tài)和n的吸收概率.NR中的第一列給出了每一個狀態(tài)轉(zhuǎn)移到已償付狀態(tài)的概率，第二列給出了每一個狀態(tài)下轉(zhuǎn)移到呆賬的概率。無新增貸款的情況假設(shè)在時刻i,具有n個分項向量的頁=

18、(B紬弘j民劉二1給出I來每一狀態(tài)下應收賬款的余額讓b等于所有這些余額之和,則向量是一個沒有非負分量且全部之和為1的概率向量，向量的分量代表了每一狀態(tài)下應收賬款的比例.如果我們假設(shè)上述狀態(tài)中的余額的移動是獨立的，那么我們就可以認定向量n為馬爾可夫鏈的初始向量.另外，還假定:如果A是任一矩陣，那么我們讓A表示A中每一項平方后的結(jié)果;讓A表示A中每一項取平方根后的sqrt結(jié)果則有如下結(jié)論：結(jié)論1二維向量BNR中的分量可以給出來自應收賬款向量B的期望還款和壞帳金額;分量給出來償還態(tài)和呆帳態(tài)的方差,A給出了這兩種狀態(tài)的標準差。rtA=6|_和逍一(恥貞)|證明如上所述，矩陣NR中第一列的分量給出來應收

19、賬款從每一暫態(tài)7T=()13轉(zhuǎn)移到吸收態(tài)(償付態(tài))的概率.向量的分量給出了每次過程開始時賬款轉(zhuǎn)移到每一暫態(tài)的初始概率因此，賬款在最終時償付態(tài)的概率可以由向量nNR的第一列分量給出.如果這一過程開始了b次,那么在最終時償付態(tài)的平均數(shù)就是向量bnNR=BNR的第一列分量.向量nNR的第一分量是函數(shù)f的平均值，其中f表示在最終結(jié)束時償付態(tài)的價值為全部價值,其它狀態(tài)的價值為零這一函數(shù)的方差可以由下式的第一分量給出：因為f2=f,所以M(f2)=M(f),因此f的方差可以由nNR(nNR)的第一分量給出.如果過程開始了b次,那么償付態(tài)的全部金額的方差可以sq由卩=（加叭的第一分量給出.有關(guān)呆帳態(tài)的分析與

20、償付態(tài)的分析類似。此外，還可以對應收賬款現(xiàn)值的計算進行了研究.如果r是利率，則0I廠）就表示了貼現(xiàn)率，應收賬款現(xiàn)值的計算就可以由下面的計算給出。假定B是應收賬款向量,R是矩陣R的第一列分量，則BR表示當前時期11的收現(xiàn)額;從下一期的BQR的價值就只有BBQR1;依此類推，在（k+1）周期時BQkR11的價值就只有BkBQkR.將這些折現(xiàn)價值加在一起就可以得到應收賬款的當前現(xiàn)1值：叫0EQR1丨丨儼衛(wèi)（/局|=囚八0Q丨丨滬Q#丨耳=測，其中的N表示/心.廣在實踐當中，銀行一般都要對信用卡客戶收取一定的年費，假定銀行對客戶收取b的費率，則B=1+b,那么完全可以利用上述公式來計算應收賬款的現(xiàn)值當

21、然，如果考慮利率和年費率兩種因素的話,將會有一個凈折扣率或者一個費用率。新增貸款固定不變的情況假設(shè)每期又發(fā)生了金額為c的新應收款，這些新應收款被分不在不同的狀態(tài)下，構(gòu)成了向量C的各分量組成，即JMI.定義向量則n為概率向量并且被認為是馬爾可夫鏈的初始向量假設(shè)，馬爾可夫過程每期以初始概率n開始了c次.那么應收賬款的穩(wěn)定態(tài)分布會怎么樣，這些賬戶的方差又是多少?每期期望付款和呆賬的數(shù)量以及它們的期望方差又怎么樣？結(jié)論2如果馬爾可夫過程每期以初始概率n開始了c次,則向量CN的分量給出來所有時刻下穩(wěn)定的應收賬款金額，數(shù)值CNg給出了穩(wěn)定態(tài)的全部應收賬款金額，其中g(shù)是各項為1的n維列向量.二維向量CNR給

22、出來每期償付款和呆賬的穩(wěn)定態(tài)的金額。證明如果上述馬爾可夫過程進行了許多個周期，則各狀態(tài)的金額由當前n個月前的nQ、二個月前的nQ2,等等組成.那么這些數(shù)量之和為：訂應丨葉Q3丨=算(IQ丨Q丨b丨)=訃如果這個過程每周期開始了c次,每一狀態(tài)下的應收賬款可以由向量cnN=CN表示如果g是一個各項為1的列向量，則CNg是向量CN的分量之和,代表了應收賬款的全部賬戶余額.如果上述過程進行了很多周期,將會有nR的賬款從第一期的新收款中轉(zhuǎn)移到吸收態(tài)，將有nQR的賬款從接下來的一期的新收款中轉(zhuǎn)移到吸收態(tài)，將有nQ2R的賬款從過期兩個月的新收款中轉(zhuǎn)移到吸收態(tài)，依此類推，那么所有這些之和為：qR丨R丨帀QR丨=打(丨Q丨Q-丨Q丨JR=tjNR如果這一過程開始了c次，每期穩(wěn)定態(tài)的償付款和呆賬將有cnNR=CNR給出。證明完畢。綜合定理1和定理2,我們能夠得出一下推論讓t=CNg，開=(E)C;那么CNR和WAR(xAX)是償付款和呆賬的預測均2值和方差而且，可以根據(jù)對應收款的利率和費率來計算應收賬款的現(xiàn)值。新增貸款發(fā)生周期性變化的情況上述討論都沒有考慮應收賬款發(fā)生變化的情況，然而，在現(xiàn)實情況下，銀行的信用卡消費呈現(xiàn)出一定的周期性，例如在春節(jié)、國慶節(jié)和秋季開學的時候消費比較高.除此