隨機(jī)過程筆記

隨機(jī)過程筆記-05-10許鐵混沌巡洋第一部分：為什么要研究隨機(jī)過程？人類認(rèn)識(shí)世界的歷史，就是一認(rèn)識(shí)和描繪多個(gè)運(yùn)動(dòng)的歷史，從宏觀的天體運(yùn)動(dòng)到分子的運(yùn)動(dòng)，到人心理的運(yùn)動(dòng)-我們通稱為變化，就是一種東西隨時(shí)間的變化。人們最成功的描繪運(yùn)動(dòng)的模型是牛頓的天體運(yùn)動(dòng)，擬定性是牛頓體系最大的特性。給定位置和速度，運(yùn)動(dòng)軌跡即擬定。但是20實(shí)際后的科學(xué)卻失去了牛頓美麗的擬定性光環(huán)。由于當(dāng)人們?cè)噲D描繪某些真實(shí)世界，充滿復(fù)雜而未知因素的運(yùn)動(dòng)時(shí)候，人們發(fā)現(xiàn)不擬定的因素（普通稱之為噪音）對(duì)事物的變化至關(guān)重要，而牛頓的辦法幾乎難以應(yīng)用。而我們所能夠給出的最佳的對(duì)事物變化的東西，是一套叫概率論的東西。而與之對(duì)應(yīng)的產(chǎn)生的一種全新的研究運(yùn)動(dòng)的辦法-隨機(jī)過程,對(duì)不擬定性下的運(yùn)動(dòng)進(jìn)行精細(xì)的數(shù)學(xué)描述。我們周邊充滿了多個(gè)各樣的數(shù)據(jù)，所謂大數(shù)據(jù)時(shí)代，這些數(shù)據(jù)最基本的特點(diǎn)就是含有巨量的噪音，而隨機(jī)過程就是從這些噪音里提取信息的武器。*其實(shí)我們生活中也到處充滿“噪音”。例如說我們每天發(fā)郵件，經(jīng)常有某些人時(shí)回時(shí)不回。那些不回的人終究是忘了還是真的不想回，我們卻不懂得。一種書呆子統(tǒng)計(jì)學(xué)家會(huì)告訴你，你無(wú)法從一次的行為評(píng)判他，而要看他一貫的體現(xiàn)。第一種隨機(jī)過程辦法的偉大勝利是愛因斯坦的布朗運(yùn)動(dòng)。某些小花粉在水里，受到水分子不停碰撞，而呈現(xiàn)隨機(jī)的運(yùn)動(dòng)（花粉顆粒由于很小比較容易受到水分子熱擾動(dòng)的影響）。研究這些花粉的微小運(yùn)動(dòng)似乎有點(diǎn)天然呆，我們卻從中找到了分子世界重要的信息。而花粉那無(wú)序與多變的軌道，也為我們提供了隨機(jī)運(yùn)動(dòng)的范式（隨機(jī)游走）。計(jì)算機(jī)生成的十個(gè)粒子的布朗運(yùn)動(dòng)軌跡如果給隨機(jī)過程打個(gè)比方，它就像是一種充滿交叉小徑的花園。你站在現(xiàn)在的點(diǎn)上，看將來(lái)的變化，將來(lái)有千萬(wàn)種變化的方式，每一種可能又不停分叉變化出其它可能。第二部分：描述隨機(jī)過程的武器隨機(jī)過程怎么研究？幾樣神器是不可缺少的。1.概率空間：面對(duì)不可擬定的將來(lái)，無(wú)非有兩件事需要關(guān)心，一種是有哪些能夠?qū)崿F(xiàn)的可能，一種是每種可能的大小，前者定義一種事件空間（態(tài)空間），后者定義一種數(shù)-概率。核心這些信息從哪里來(lái)呢？我們?nèi)绾味靡l(fā)生什么？又如何懂得多多大可能發(fā)生？--歷史。概率論的思維基點(diǎn)其實(shí)是:日光之下并無(wú)新事。我們對(duì)將來(lái)的預(yù)測(cè)來(lái)源于對(duì)過于的經(jīng)驗(yàn)積累，而溝通過去經(jīng)驗(yàn)與將來(lái)預(yù)測(cè)的工具就是概率。所謂一件事發(fā)生可能性大小，就是一件事在歷史中發(fā)生的頻率。固然諸多狀況下概率也能夠通過已知理論用演繹法推得，但是最根本的，還是由經(jīng)驗(yàn)擬定的概率。概率，我們中學(xué)數(shù)學(xué)都學(xué)過它是一種事件出現(xiàn)的頻率，但它的含義其實(shí)很深很深。由于一種事件出現(xiàn)的頻率來(lái)自于歷史，而概率卻用于對(duì)將來(lái)的預(yù)測(cè)，因此，概率包含的一種基本假設(shè)就是將來(lái)和過去的一致性-你要用概率，你所研究的對(duì)象要有可重復(fù)性。這其實(shí)假設(shè)了概率所研究的事件含有的某種穩(wěn)定性，一旦這些一種過程是一種隨時(shí)間激烈變化的過程，概率幾乎就不能應(yīng)用。因此這里只能說概率是一種近似，他對(duì)于研究那些比較簡(jiǎn)樸的物理過程，如投擲硬幣，才完全有效。因此，所謂概率空間，只能是一種近似，他是人類現(xiàn)有知識(shí)的總和，我們用它描述已知的未知，但是卻一向無(wú)法描述未知的未知-被我們稱作黑天鵝的事件，由于真正的將來(lái)，永遠(yuǎn)無(wú)法只有已知的可能性（感愛好的請(qǐng)參看本人舊文-高斯與天鵝）。在大多數(shù)時(shí)候，我們還是日光之下并無(wú)新事，因此，概論的威力仍然不可小覷。有關(guān)概率空間的思維，能夠立刻滅掉某些看似燒腦實(shí)際腦殘的題目：假設(shè)你在進(jìn)行一種游戲節(jié)目?，F(xiàn)給三扇門供你選擇：一扇門背面是一輛轎車，另兩扇門背面什么都沒有。你的目的固然是要想得到比較值錢的轎車，但你卻并不能看到門背面的真實(shí)狀況。主持人先讓你作第一次選擇。在你選擇了一扇門后，懂得其它兩扇門背面是什么的主持人，打開了另一扇門給你看，并且，固然，那里什么都沒有?，F(xiàn)在主持人告訴你，你尚有一次選擇的機(jī)會(huì)。那么，請(qǐng)你考慮一下，你是堅(jiān)持第一次的選擇不變，還是變化第一次的選擇，更有可能得到轎車？回答這個(gè)問題的核心即事件空間，在主持人打開門之前，事件空間即車的位置有三種可能，你有1/3的可能拿到車。當(dāng)主持人選擇打開門的時(shí)候，它事實(shí)上幫你做了一種選擇，那就是告你某個(gè)車庫(kù)沒有車，這時(shí)候事件空間發(fā)生了變化，由于你的已知變了。如果說以前的事件空間是或者你選擇的車庫(kù)有車（1/3），或者另外兩個(gè)車庫(kù)中的某一種有車(各1/3)?，F(xiàn)在的狀況呢？被打開的車庫(kù)有車的概率變?yōu)?，因此你選擇的車庫(kù)沒車的狀況下車的位置已經(jīng)變成擬定的了，概率為2/3。而原來(lái)你車庫(kù)有車的選項(xiàng)卻不受到這一事件的影響（仍然1/3概率），因此你固然要選擇換車庫(kù)。這個(gè)例子第一種闡明的道理是概率是主觀的，來(lái)自于你頭腦中的信息?；剡^頭看，主持人的舉動(dòng)增加了你對(duì)兩個(gè)車庫(kù)的信息，而車是不變的，因此你要根據(jù)新的信息調(diào)節(jié)概率空間。*此實(shí)例是好的思維辦法的力量的典范，如果你沒有這個(gè)事件空間的角度，恐怕要做無(wú)數(shù)的實(shí)驗(yàn)了。條件概率：現(xiàn)實(shí)生活中的普通都以條件概率的形式出現(xiàn)，即給定一定的已知條件，信息我們會(huì)得到什么樣的概率。對(duì)這一大類問題能夠引出整個(gè)貝葉斯分析理論，將在后續(xù)篇章中介紹。2.隨機(jī)變量：你投擲篩子，得到6個(gè)成果，每種成果有1/6的可能。你把態(tài)空間的種種可能性都用數(shù)字體現(xiàn)出來(lái)，用一套用輕度裝逼的數(shù)學(xué)語(yǔ)言描述，就是隨機(jī)變量。這個(gè)東西包含全部輸出的可能性以及對(duì)應(yīng)的概率，這些可能性（態(tài)空間）和概率的對(duì)應(yīng)關(guān)系我們稱之為分布函數(shù)。如果態(tài)空間是持續(xù)的，我們就得到持續(xù)的分布函數(shù)形式。圖：一種二維高斯分布分布函數(shù)：隨機(jī)變量已經(jīng)包含了兩個(gè)隨機(jī)過程研究的核心武器：態(tài)空間和分布函數(shù)。分布函數(shù)是提取隨機(jī)過程內(nèi)有用信息的第一手段。分布函數(shù)-是在大量數(shù)據(jù)中提取信息的入口。隨機(jī)變量的實(shí)現(xiàn)：隨機(jī)變量能夠看做一種實(shí)驗(yàn)，你在實(shí)驗(yàn)之前，成果是不擬定的，你全部的是一團(tuán)可能性。當(dāng)你做完實(shí)驗(yàn)，卻得到一種唯一的成果，只是預(yù)先不可知。盼望：對(duì)一種隨機(jī)變量，已知其分布函數(shù)，能夠定義一種盼望。這個(gè)東西由每個(gè)成果的取值和它的可能性共同決定，體現(xiàn)將來(lái)成果的加權(quán)平均值。實(shí)際中我們能夠用實(shí)驗(yàn)的辦法擬定這個(gè)數(shù)字，就是所謂蒙特卡洛辦法，不停的投篩子然后做個(gè)統(tǒng)計(jì)，你所得到的成果的平均就是盼望。（平均值和盼望的區(qū)別就是第一種來(lái)自已有的數(shù)據(jù)的平均，第二是對(duì)根據(jù)已有的平均對(duì)將來(lái)的預(yù)測(cè)。）有關(guān)盼望包含著一種投資世界里的基本思維方式，就是對(duì)收益的幅值和風(fēng)險(xiǎn)（概率）一起考慮。經(jīng)常有某些時(shí)候某些出現(xiàn)機(jī)會(huì)極少而收益特別大的可能性決定了盼望，如果你的心臟足夠強(qiáng)大，就應(yīng)當(dāng)充足考慮這些高風(fēng)險(xiǎn)高收益的可能。有關(guān)性：對(duì)于兩個(gè)隨機(jī)變量，你能夠定義一種有關(guān)性covariance，描述一種隨機(jī)變量隨另一種而變化的趨勢(shì)。這個(gè)函數(shù)特別有用，它是現(xiàn)實(shí)生活中我們說兩個(gè)事物有關(guān)性的精確體現(xiàn)。理解這個(gè)算式特別簡(jiǎn)樸，這個(gè)量就是x和y波動(dòng)乘積的盼望，當(dāng)兩個(gè)變量是此消彼長(zhǎng)，則為負(fù)，共生共榮則為正，若兩個(gè)過程不有關(guān)，則為0.方差：上述關(guān)系當(dāng)x=y我們得到方差，方差就是自己和自己的關(guān)聯(lián)函數(shù)，當(dāng)隨機(jī)變量比較靠近正態(tài)分布時(shí)候它能夠描繪波動(dòng)性的大小。對(duì)于N個(gè)隨機(jī)變量，任意兩個(gè)隨機(jī)變量可得到一種covariance，而這樣一組covariance構(gòu)成大名鼎鼎的covariancematrix.測(cè)量分布函數(shù)的武器-蒙特卡洛辦法：搞定一種分布函數(shù)，笨方法也是最有用的辦法就是蒙特卡洛辦法。普通篩子狀況下，篩子有6各面，每個(gè)面出現(xiàn)的概率有1/6，但是萬(wàn)一篩子被做過手腳呢？因此最佳的辦法還是所謂蒙特卡洛抽樣，不停的玩，懂得你認(rèn)為你能夠穩(wěn)定得到每次可能性出現(xiàn)的頻率。所謂笨方法確是最慣用的，特別是隨著高速計(jì)算機(jī)的普及。某些重大的工程，涉及太多復(fù)雜不好擬定因素時(shí)候，我們就讓計(jì)算機(jī)模擬，設(shè)計(jì)一系列的蒙特卡洛抽樣來(lái)求得某些成果。*此名來(lái)自MonteCarlo摩納哥的賭場(chǎng)，其實(shí)賭場(chǎng)里也能夠產(chǎn)生某些最厲害的數(shù)學(xué)思想。抽樣：在計(jì)算機(jī)里研究牽扯隨機(jī)變量的過程最基本的辦法就是抽樣，抽樣就是已知分布函數(shù)獲得一種隨機(jī)的成果的過程。我們要在計(jì)算機(jī)里模擬一種隨機(jī)過程都是通過抽樣來(lái)實(shí)現(xiàn)的。抽樣的成功與否決定這些計(jì)算機(jī)模擬（simulation）能在多少程度逼近真實(shí)。計(jì)算機(jī)的抽樣都是基于最簡(jiǎn)樸的隨機(jī)數(shù)生成器產(chǎn)生的，產(chǎn)生概率均等的均與分布（Uniformdistribution）。但是這些“隨機(jī)數(shù)”實(shí)際是早已設(shè)定好的，因此更準(zhǔn)備的被稱作“偽隨機(jī)數(shù)”。而對(duì)于更加復(fù)雜的分布函數(shù)的抽樣，則有如層出不窮的算法解決它，例如大名鼎鼎的MarkovChainMonteCarlo（MCMC）辦法，將在之后的章節(jié)介紹。第三部分：什么是隨機(jī)過程擬定性過程研究一種量隨時(shí)間擬定的變化，而隨機(jī)過程描述的是一種量隨時(shí)間可能的變化，在這個(gè)過程里，每一種時(shí)刻變化的方向都是不擬定的，或者說隨機(jī)過程就是由一系列隨機(jī)變量構(gòu)成，每一種時(shí)刻系統(tǒng)的狀態(tài)都由一種隨機(jī)變量表述，而整個(gè)過程則構(gòu)成態(tài)空間的一種軌跡（隨機(jī)過程的實(shí)現(xiàn)）。一種隨機(jī)過程最后實(shí)現(xiàn)，會(huì)得到一組隨時(shí)間變化的數(shù)值（態(tài)空間里的軌跡），實(shí)踐中我們都是從數(shù)據(jù)成果中推測(cè)一種隨機(jī)過程的性質(zhì)的。剛說過概率是建立在可重復(fù)性上，是一種抱負(fù)模型，而建立在此上的隨機(jī)過程就更是一種抱負(fù)化的模型，它暗含的是歷史可無(wú)限重復(fù)，然后你把他們收集在一起看一看。我在一開頭的說的充滿分叉小徑的花園是一種比方，但說的也是你需要站在平時(shí)時(shí)空（每一種時(shí)空包含一種歷史的可能性）的角度來(lái)看一種隨機(jī)過程的全貌。我們立刻發(fā)現(xiàn)這是一種超級(jí)復(fù)雜的問題，由于一種隨機(jī)過程含有無(wú)限多可能性。試想象一種最簡(jiǎn)樸的隨機(jī)過程，這個(gè)過程由N步構(gòu)成，每一步都有兩個(gè)選擇（0，1），那么可能的途徑就有2的N次方個(gè)，這個(gè)隨機(jī)過程就要由2^N-1個(gè)概率來(lái)描述(概率只和為一減掉一種維度)，用數(shù)學(xué)物理的語(yǔ)言就是極高維度的問題。*離散的時(shí)間序列是清晰表述隨機(jī)過程的入門方式，即使更普通的表述是時(shí)間是持續(xù)的因此，能否研究一種隨機(jī)過程的核心就是減少問題的維度-這也是物理的核心思想。一下講一下達(dá)成這個(gè)目的發(fā)明的神器：馬爾科夫過程(MarkovProcesses)馬爾科夫過程，是隨機(jī)過程中的精髓部分，其地位猶如牛頓定律在力學(xué)的地位。對(duì)于最普通的隨機(jī)過程，是無(wú)限復(fù)雜的，幸好，在我們?nèi)粘Ｉ钪?，諸多隨機(jī)過程符合或近似更簡(jiǎn)樸的模型。其中現(xiàn)在一種最有效的框架成為馬爾科夫過程.所謂馬爾科夫過程，即隨機(jī)過程的每一步的成果最多只與上一步有關(guān)，而與其它無(wú)關(guān)。好比你不停撒篩子，你每一次的成果不會(huì)影響將來(lái)的成績(jī)。馬爾可夫鏈(Markovchain)：makov過程用數(shù)學(xué)語(yǔ)言表述就是馬爾科夫鏈，就像一臺(tái)熊熊駛過的火車，前一種車廂（上一步）拉著后一種（下一步），向前運(yùn)行。如果一種過程是markov過程，這個(gè)過程就得到了神簡(jiǎn)化，你只需要懂得第n步是如何與第n-1步有關(guān)的，普通由一組條件概率表述，就能夠求得整個(gè)過程。一種巨大的隨機(jī)過程，其內(nèi)核僅僅是這樣一組條件概率，而懂得了這組條件概率，就能夠衍生整個(gè)過程。圖：一種典型的markov過程，每一種的成果只與上一步有關(guān)，我們只需要一組條件概率（箭頭）來(lái)描述，每個(gè)條件概率告你如果態(tài)空間中的某一種事件發(fā)生，那么從這一點(diǎn)出發(fā)，下一種事件發(fā)生的概率。我們不妨多想一下，如果第n步和第n-1步的關(guān)系不是隨機(jī)的，而是擬定的，那我們得到了什么？我們聯(lián)想到牛頓力學(xué)，牛頓力學(xué)也是此刻的狀態(tài)決定下一刻的變化，其本質(zhì)也是鏈?zhǔn)椒▌t，通過此刻與此刻最鄰近的將來(lái)的關(guān)系，衍生出整個(gè)宇宙的過去和將來(lái)，其靈魂同樣是降維?；蛘哒fmarkov就是隨機(jī)過程里的牛頓法則。Markov是不是真的是一種歷史無(wú)關(guān)的過程？No！即使第N+1步只與第N步有關(guān)，但是第N步又包含第N-1步，因此通過鏈?zhǔn)椒▌t，歷史的信息還是能夠傳遞到現(xiàn)在的。典型表述：馬爾科夫鏈的核心條件概率體現(xiàn)式就是這臺(tái)火車鏈接不同車廂的鏈條。如果這個(gè)條件概率關(guān)系不隨時(shí)間變化，我們就得到典型的穩(wěn)態(tài)馬爾科夫鏈。它有一種良好的性質(zhì)，就是當(dāng)這個(gè)過程啟動(dòng)一段時(shí)間就會(huì)進(jìn)入統(tǒng)計(jì)穩(wěn)態(tài)，穩(wěn)態(tài)的分布函數(shù)與歷史途徑無(wú)關(guān)。一種簡(jiǎn)樸的例子：有關(guān)生育偏好與否影響男女比例的問題。我們懂得過去的人喜歡生男孩，往往生女孩子就不停生，直到生到一種男生為止，因此就造成諸多一大堆姐姐只有一種弟弟的家庭。我接觸過的某些特別聰穎的人都會(huì)認(rèn)為這樣的行為會(huì)影響男女比例。大部分人覺得會(huì)造成女孩比例多，少數(shù)人認(rèn)為會(huì)增加男孩比例