隨機(jī)過(guò)程第一章(上).

1、隨機(jī)過(guò)程第一章 隨機(jī)過(guò)程的概念與基本類型n預(yù)備知識(shí)（概率論）n簡(jiǎn)要回顧一下概率論中與本課程有關(guān)的基本概念：隨機(jī)試驗(yàn)、概率空間、樣本空間、概率、隨機(jī)變量等基本概念隨機(jī)試驗(yàn)n試驗(yàn)結(jié)果事先不能準(zhǔn)確預(yù)言，三個(gè)特征試驗(yàn)結(jié)果事先不能準(zhǔn)確預(yù)言，三個(gè)特征:可以在相同條件下重復(fù)進(jìn)行；可以在相同條件下重復(fù)進(jìn)行；每次試驗(yàn)結(jié)果不止一個(gè)，可預(yù)先知道試驗(yàn)每次試驗(yàn)結(jié)果不止一個(gè)，可預(yù)先知道試驗(yàn)所有可能結(jié)果；所有可能結(jié)果；每次試驗(yàn)前不能確定哪個(gè)結(jié)果會(huì)出現(xiàn)。每次試驗(yàn)前不能確定哪個(gè)結(jié)果會(huì)出現(xiàn)。概率空間 概率空間是隨機(jī)試驗(yàn)和概率的數(shù)學(xué)模型； 概率空間由3 3個(gè)要素組成n1）樣本空間n2）定義于樣本空間的事件集n3）定義于事件集上的概

2、率集樣本空間隨機(jī)試驗(yàn)所有可能結(jié)果組成的集合，記為中的元素e稱為樣本點(diǎn),樣本點(diǎn)是試驗(yàn)的每一個(gè)不可分解的結(jié)果.事件樣本空間的子集A稱為事件.基本事件和復(fù)合事件； 必然事件和不可能事件集合運(yùn)算集合運(yùn)算和事件“事件A和事件B至少一個(gè)發(fā)生”構(gòu)成的事件積事件“事件A發(fā)生而事件B不發(fā)生”構(gòu)成的事件“ 事件A和事件B同時(shí)發(fā)生”構(gòu)成的事件差事件互不相容關(guān)系事件A與事件B不可能同時(shí)發(fā)生互逆關(guān)系事件A與事件B必有一個(gè)發(fā)生,且僅有一個(gè)發(fā)生ABABABABA B,ABAB 古典概率n隨機(jī)試驗(yàn)中一切可能結(jié)果是有限多個(gè)；n每個(gè)結(jié)果出現(xiàn)的可能性是相等的；n則事件A發(fā)生的概率可表示為A( )PA 事 件 所 包 含 的 樣 本

3、 點(diǎn) 個(gè) 數(shù)樣 本 空 間 中 所 含 樣 本 點(diǎn) 個(gè) 數(shù)n 例如：一批產(chǎn)品共例如：一批產(chǎn)品共100件，其中次品件，其中次品4件，從這批產(chǎn)品中任取件，從這批產(chǎn)品中任取1件，件，求取到求取到正品的概率正品的概率。幾何概率n計(jì)算無(wú)窮個(gè)基本事件的情形；n樣本點(diǎn)具有均勻分布的性質(zhì)；n設(shè)用L（ ）作為區(qū)域大小的量度，而區(qū)域中任意可能出現(xiàn)的小區(qū)域A的量度用L（A）表示；n則事件A（或某一區(qū)域）發(fā)生的概率表示為)()()(LALAP例如：跳傘運(yùn)動(dòng)員降落在某一區(qū)域的概率例題例題：在時(shí)間間隔T內(nèi)的任何瞬間，兩個(gè)不相關(guān)的信號(hào)等可能地進(jìn)入收音機(jī)。如果當(dāng)且僅當(dāng)這兩個(gè)信號(hào)進(jìn)入收音機(jī)的間隔時(shí)間不大于t，則收音機(jī)受到干擾，

4、試求收音機(jī)收到干擾的概率。x-y=tx-y=-tT2-(T-t)2統(tǒng)計(jì)概率n用于計(jì)算前兩種隨機(jī)概率概括不了的隨機(jī)事件概率；n用事件的頻率近似地去表達(dá)事件的概率；n若在同樣的條件下，將隨機(jī)試驗(yàn)獨(dú)立的重復(fù)做n次，事件A出現(xiàn)了nA次，則事件A的頻率是nnfAAn當(dāng)試驗(yàn)次數(shù)當(dāng)試驗(yàn)次數(shù)n增大時(shí)，其中大量的頻率聚集在一個(gè)常數(shù)周圍；增大時(shí)，其中大量的頻率聚集在一個(gè)常數(shù)周圍；n這個(gè)常數(shù)是客觀存在的，反映了事件A出現(xiàn)可能性的大小，我們認(rèn)為這個(gè)常數(shù)就是事件的概率。)(APfA公理化定義的概率(1933(1933年前蘇聯(lián)科學(xué)家柯?tīng)柲缏宸? )n對(duì)于一個(gè)事件A樣本空間，賦予一個(gè)實(shí)數(shù)P，若滿足：1.0P(A) 1;

5、(非負(fù)性)2.P()=1; (規(guī)范性)3.若A1,A2,.,Ak兩兩互斥，則 (可加性)11)()(kkkkAPAP我們稱P(A)為事件A的一個(gè)概率。概率空間n規(guī)定一個(gè)隨機(jī)試驗(yàn)，所有樣本點(diǎn)之集合構(gòu)成樣本空間 ，在樣本空間中一個(gè)樣本點(diǎn)或若干個(gè)樣本點(diǎn)之適當(dāng)集合適當(dāng)集合F稱為事件域，F(xiàn)中的每一個(gè)集合稱為事件。若A F，則P(A)就是事件A的概率，并稱這三個(gè)實(shí)體的結(jié)合（ ，F(xiàn)，P）為一個(gè)概率空間條件概率n在事件B已發(fā)生這一條件下，事件A發(fā)生的概率。)()()|(BPBAPBAP全概率n若有N個(gè)互斥事件An（n=1,2,N），它的并集等于整個(gè)樣本空間，則:1( )(|) ()NiiiP BP B A P

6、 An其中,事件B伴隨事件Ai發(fā)生n 10箱同規(guī)格產(chǎn)品，其中5箱為甲廠生產(chǎn)， 3箱為乙廠生產(chǎn)， 2箱為丙廠生產(chǎn)，而甲廠、乙廠，丙廠生產(chǎn)的次品率分別為0.1， 0.06，0.03，現(xiàn)在任取1箱，在從箱子中任取1件，問(wèn)取得正品的概率? 例如：1( )( | ) ( )5320.90.940.97 0.926101010NiiiPBPB A PAn設(shè)事件A1，A2，An構(gòu)成一個(gè)完備事件組，概率P(Ai)0,i=1,2,n,對(duì)于任何一個(gè)事件B，若P(B)0, 有1( ) ( | )( | )( ) ( | )iiiNiiiPA PB APA BPA PB A貝葉斯公式(后驗(yàn)概率公式或逆概率公式)事件A

7、1，A2，An看作是導(dǎo)致事件B發(fā)生的“因素”，P(Ai)是在事件B已經(jīng)出現(xiàn)這一信息前Ai出現(xiàn)的概率，通常稱為先驗(yàn)概率公式給出的P(AiB)是在經(jīng)過(guò)試驗(yàn)獲得事件B已經(jīng)發(fā)生這個(gè)信息之后，事件Ai發(fā)生的概率，稱為后驗(yàn)概率例題：設(shè)一個(gè)二進(jìn)制的數(shù)字通信系統(tǒng)，主要由1和0兩種符號(hào)組成，如下圖，且P(B1)=0.6，P(B2)=0.4，求條件概率11|P BA11111111111212| | | |0.6 0.9 0.9310.6 0.90.4 0.1P B AP BAP AP B P A BP B P A BP B P A Bn 10箱同規(guī)格產(chǎn)品，其中5箱為甲廠生產(chǎn)， 3箱為乙廠生產(chǎn)， 2箱為丙廠生產(chǎn)，

8、而甲廠、乙廠，丙廠生產(chǎn)的次品率分別為0.1， 0.06，0.03，現(xiàn)在任取1箱。 n 若取得的是正品，問(wèn)該箱產(chǎn)品是甲廠生產(chǎn)的概率是多少？ 例如：11113159.()() (|)4510 10(|)( )0.9292(|) ()iiiP ABP A P B AP A BP BP B A P A獨(dú)立事件設(shè)（ ，F(xiàn)，P）為一概率空間，事件AF，BF且P(A)0，若P(B|A)=P(B)，則稱事件B隨機(jī)獨(dú)立于事件A.)()()(BPAPBAP例題：設(shè)每個(gè)家庭有3個(gè)孩子，男孩、女孩排列的八種可能性的概率均為1/8，定義如下事件：A既有男孩又有女孩的家庭B最多只有一個(gè)女孩的家庭問(wèn)：A，B是否統(tǒng)計(jì)獨(dú)立？P

9、(A)=(8-1-1)/8=3/4P(B)=(1+3)/8=1/2P(AB)=P (1女)=3/8隨機(jī)變量定義：設(shè)（ ，F(xiàn)，P）是概率空間，對(duì)任一個(gè)e ,都有實(shí)數(shù) X(e)與之對(duì)應(yīng)，則稱X(e)為隨機(jī)變量，簡(jiǎn)記為X。 引入隨機(jī)變量后,隨機(jī)事件就可以表示為隨機(jī)變量在某一范圍內(nèi)的取值.離散型隨機(jī)變量：只取有限個(gè)數(shù)值或可列無(wú)窮多個(gè)值。連續(xù)型隨機(jī)變量：從原樣本空間到新樣本空間的映射是某一個(gè)范圍，是一段（或幾段）實(shí)線（也可能是整個(gè)坐標(biāo)軸），隨機(jī)變量可以取值于某一區(qū)間中的任一數(shù)。分布函數(shù)分布函數(shù)（一個(gè)描述隨機(jī)變量取值的概率分布情況的統(tǒng)一方法）xxeXePxF),)(:()(性質(zhì)：1. F(x)是非降函數(shù)；

10、 (單調(diào)不減性)2. 0F(x) 1； (有界性)3. Px1Xx2=F(x2)-F(x1)4. F(x+0)=F(x) (右連續(xù))離散型離散型隨機(jī)變量的所有取值為隨機(jī)變量的所有取值為xi(i=1,2)Pi是X取xi的概率，稱：P(X=xi )= Pi， i=1,2為離散型隨機(jī)變量X分布律。設(shè)F(x)是連續(xù)型連續(xù)型隨機(jī)變量X的分布函數(shù)，若存在非負(fù)函數(shù) f(x)，有：( )( )xF xf t dt則f(x)為連續(xù)型隨機(jī)變量X概率密度函數(shù)。離散型隨機(jī)變量的概率分布用分布列（律）描述離散型隨機(jī)變量的概率分布用分布列（律）描述qXPpXP)0(,)1(knkknqpCkXP)(ekkXPk!)(連續(xù)

11、型隨機(jī)變量的概率分布用概率密度描述連續(xù)型隨機(jī)變量的概率分布用概率密度描述其它,0,1)(bxaabxf222)(21)(axexf0,00,)(xxexfx0,00,)(xxexfx隨機(jī)變量函數(shù)的分布隨機(jī)變量函數(shù)的分布在給定某任意的隨機(jī)變量X，以及它的分布函數(shù)FX(x)，希望進(jìn)一步求出給定的隨機(jī)變量的某些可測(cè)函數(shù)（如Y=g(X)）的分布函數(shù)。g(x)YXY的分布函數(shù)公式為),)(:()(XYxyxgxPyF如果上式右端概率的導(dǎo)數(shù)對(duì)于y處處存在，那么這個(gè)導(dǎo)數(shù)就給出了隨機(jī)變量Y的概率密度),)(:()(XYxyxgxPdydyf邊際分布邊際分布若二維聯(lián)合分布函數(shù)中有一個(gè)變?cè)呌跓o(wú)窮，則其極限函數(shù)便

12、是一維若二維聯(lián)合分布函數(shù)中有一個(gè)變?cè)呌跓o(wú)窮，則其極限函數(shù)便是一維分布函數(shù)，對(duì)于這種特殊性質(zhì)，我們稱其為邊際分布。分布函數(shù)，對(duì)于這種特殊性質(zhì)，我們稱其為邊際分布。對(duì)于任意兩個(gè)隨機(jī)變量對(duì)于任意兩個(gè)隨機(jī)變量X,Y，其聯(lián)合分布函數(shù)為，其聯(lián)合分布函數(shù)為FXY(x,y)，則，則),()(),()(21yFyFxFxF分別稱分別稱F1(x)和和F2(y)為為FXY(x,y)關(guān)于關(guān)于X和關(guān)于和關(guān)于Y的邊際分布函數(shù)。的邊際分布函數(shù)。)(),(),(lim),()(1xXPYxXPyxFxFxFXYy ydudvvufyFyF),(,)(2離散型隨機(jī)變量（離散型隨機(jī)變量（X，Y）邊際分布函數(shù)計(jì)算如下）邊際分布函

13、數(shù)計(jì)算如下連續(xù)型隨機(jī)變量（連續(xù)型隨機(jī)變量（X，Y）邊際分布函數(shù)計(jì)算如下）邊際分布函數(shù)計(jì)算如下相互獨(dú)立的隨機(jī)變量相互獨(dú)立的隨機(jī)變量設(shè)X，Y是兩個(gè)隨機(jī)變量，若對(duì)任意實(shí)數(shù)x，y有)()()()(),(yYPxXPyYxXPyYxXP則稱X，Y為相互獨(dú)立的隨機(jī)變量。若若X，Y為相互獨(dú)立隨機(jī)變量，則有為相互獨(dú)立隨機(jī)變量，則有)()(),()()(),(yfxfyxfyFxFyxFYXXYYXXY條件分布條件分布)(),()|(|yfyxfyxfYXYYXxYXYXduyufyYxF)|()|(|在給定條件隨機(jī)變量Y=y下，隨機(jī)變量X的條件概率密度函數(shù)為：隨機(jī)變量的數(shù)字特征n統(tǒng)計(jì)平均與數(shù)學(xué)期望n方差n協(xié)方

14、差n相關(guān)系數(shù)n獨(dú)立與不相關(guān)統(tǒng)計(jì)平均與數(shù)學(xué)期望統(tǒng)計(jì)平均與數(shù)學(xué)期望設(shè)離散隨機(jī)變量X，它可能取4個(gè)值x1，x2，x3，x4，做試驗(yàn)n次，計(jì)算X的算術(shù)平均可得：4141443322111)(1kkkkkknnxnxnnxnxnxnxnXP(X=xk)1)()(kkkxXPxXEX對(duì)于離散型隨機(jī)變量可以用脈沖函數(shù)來(lái)表示其概率密度1)()()(kkkXxxxXPxf沖激函數(shù)隨機(jī)變量數(shù)學(xué)期望定義隨機(jī)變量數(shù)學(xué)期望定義dxxxfXEX)()(隨機(jī)變量函數(shù)的數(shù)學(xué)期望值隨機(jī)變量函數(shù)的數(shù)學(xué)期望值已知隨機(jī)變量X的數(shù)學(xué)期望值，求隨機(jī)變量函數(shù)Y=g(X)的數(shù)學(xué)期望，dxxfxgdyyyfXgEYEXY)()()()()(K

15、階原點(diǎn)矩，階原點(diǎn)矩，k階中心矩階中心矩隨機(jī)變量X，若E|X|k，稱EXk為k階原點(diǎn)矩階原點(diǎn)矩。niXkikikdxxfxxXPxXE1)()(離散隨機(jī)變量連續(xù)隨機(jī)變量又若EX存在，且E|X-EX|k ，稱)(kXEXE為X的k階中心矩階中心矩。niXkikikdxxfXExxXPXExXEXE1)()()()()(離散隨機(jī)變量連續(xù)隨機(jī)變量一階原點(diǎn)矩一階原點(diǎn)矩就是隨機(jī)變量的數(shù)學(xué)期望數(shù)學(xué)期望，)(xxdFEX數(shù)學(xué)期望大致的描述了概率分布的中心。數(shù)學(xué)期望大致的描述了概率分布的中心。二階中心矩二階中心矩就是隨機(jī)變量的方差方差，2)(EXXEDXdef方差反映隨機(jī)變量取值的離散程度。01分布分布泊松分布泊松分布正態(tài)分布正態(tài)分布數(shù)學(xué)期望和方差（見(jiàn)page3，表11）中心化的兩個(gè)隨機(jī)變量X-EX，Y-EY的互相關(guān)稱為隨機(jī)變量X和和Y的協(xié)方差的協(xié)方差，)()()()(),(YEXEXYEEYYEXXEYXCov協(xié)方差是描述隨機(jī)現(xiàn)象中，隨機(jī)變量隨機(jī)變量X和和Y線性相關(guān)的程度。線性相關(guān)的程度。引入一個(gè)描述兩個(gè)隨機(jī)變量相關(guān)程度的系數(shù)DYDXYXCovdefXY),(XY稱為歸一化的相關(guān)系數(shù)歸一化的相關(guān)系數(shù)。11XY若XY0，則稱隨機(jī)變量X和Y不相關(guān)。若兩個(gè)隨機(jī)變量X和Y的聯(lián)合矩滿足jijiYEXEYXE則稱隨機(jī)變量隨機(jī)變量X和和Y統(tǒng)計(jì)獨(dú)立統(tǒng)計(jì)