《數(shù)學隨機過程》ppt課件

1、3.1 引言引言數(shù)學分析數(shù)學分析:為研究提供數(shù)學框架與幾何直觀解釋為研究提供數(shù)學框架與幾何直觀解釋隨機分析：用數(shù)學分析中的有關方法分析隨機分析：用數(shù)學分析中的有關方法分析二階矩過二階矩過程程 。隨機過程隨機過程 ： X(t,), t T 的一個樣本函數(shù)的一個樣本函數(shù)(實現(xiàn)、軌道實現(xiàn)、軌道) X(t)是一個以是一個以t ( T)為自變量的為自變量的隨機函數(shù)。隨機函數(shù)。距距離離極極限限連連續(xù)續(xù)導導數(shù)數(shù)積積分分空空間間第三章隨機分析第三章隨機分析1二階矩過程定義二階矩過程定義定義定義1 :設設X(t)=X( t , ), t T 為一個隨機過程，為一個隨機過程，若若 tT ，其均值，其均值EX(t

2、)和方差和方差DX(t )都存在，則稱都存在，則稱X(t)為為二階矩過程二階矩過程 ( second order process ) ，亦稱有限方差，亦稱有限方差過程過程( finite variance process ) 。3.2二階矩過程定義及其性質(zhì)約定約定1：設：設X(t)=X ( t , ), t T 是二階矩過程，則是二階矩過程，則EX(t)=0 EX(t)= X(t) 關于自變量關于自變量 t 的確定函數(shù)，定義的確定函數(shù)，定義Y(t)=X(t)-X(t)，則，則EY(t)=0。而。而Y(t)與與X(t)的方差、自的方差、自協(xié)方差函數(shù)、自相關函數(shù)等數(shù)字特征是相同的。協(xié)方差函數(shù)、自相

3、關函數(shù)等數(shù)字特征是相同的。為了便于分析討論，約定為了便于分析討論，約定 EX(t)=0.約定約定2： Xn ,n 1以概率以概率1 收斂于收斂于 X Xn = X.或或幾幾乎處處收斂到乎處處收斂到X.3.2二階矩過程定義及其性質(zhì)2 二階矩過程的基本性質(zhì)二階矩過程的基本性質(zhì)定理定理1 :設設X(t)=X( t , ), t T 為一個二階矩過程，為一個二階矩過程，則其自協(xié)方差函數(shù)總是存在的。則其自協(xié)方差函數(shù)總是存在的。證明：證明： t1, t2 T , X(t)的自協(xié)方差函數(shù)為的自協(xié)方差函數(shù)為所以所以 CXX(t1, t2 )=covX(t1), X(t2)+)()(| )()(| )()(|)

4、()()()( |)()()()(|)(),(cov| ),(|)()()()()(),(cov),(21222211222112221122122122112121tXDtXDtmtXEtmtXEtmtXtmtXEtmtXtmtXEtXtXttCtmtXtmtXEtXtXttCXXXXXXXXXXXX3.2二階矩過程定義及其性質(zhì)思路：思路：自協(xié)方差自協(xié)方差函數(shù)為有限值。函數(shù)為有限值。定理定理2 : 設設 X(t)=X( t , ), t T 為一個二階矩過程，為一個二階矩過程，則其自相關函數(shù)總是存在的。則其自相關函數(shù)總是存在的。即即 t1, t2 T , X(t)的自相關函數(shù)的自相關函數(shù)定理

5、定理3 : 設設X(t)=X( t , ), t T 為一個二階矩過程，為一個二階矩過程，其自相關函數(shù)為其自相關函數(shù)為RXX(t1, t2 )，則，則特別：若特別：若X(t)=X( t , ), t T 為一個實二階矩過程，為一個實二階矩過程，則則 )()(),(2121tXtXEttRXX),(),(2112ttRttRXXXX),(),(1221ttRttRXXXX3.2二階矩過程定義及其性質(zhì)定理定理4 : 設設X(t)=X( t , ), t T 為一個二階矩過程，為一個二階矩過程，則其自相關函數(shù)為則其自相關函數(shù)為RXX(t1, t2 )具有非負定性，即具有非負定性，即0),(:)(0)

6、,(),(),(),(),(),(),(),(),() (TT212121222121211121RmkXXnnnnXXnXXnXXnXXXXXXnXXXXXXnttttRttRttRttRttRttRttRttRttR0),(C,112121mknknmmkXXnnttRTttt3.2二階矩過程定義及其性質(zhì)數(shù)學分析：數(shù)學分析：給定空間給定空間定義距離定義距離極限極限 連續(xù)性、導數(shù)、積分連續(xù)性、導數(shù)、積分為研究提供數(shù)學框架與幾何直觀解釋。為研究提供數(shù)學框架與幾何直觀解釋。隨機分析：隨機分析：確定空間確定空間定義隨定義隨機機變量的變量的“距離距離” 隨隨機機變量變量極限極限 隨隨機機變量變量連續(xù)

7、性、導數(shù)、積分連續(xù)性、導數(shù)、積分空間空間距離距離均方均方極限極限均方均方連續(xù)連續(xù)均方均方導數(shù)導數(shù)均方均方積分積分H3.3 隨機分析初步隨機分析初步1 H空間與均方極限空間與均方極限1.1 H空間空間定義定義1：設定義在概率空間：設定義在概率空間( ,F F, P)上具有二階矩的上具有二階矩的隨機變量隨機變量全體記作全體記作H = X : EX + 稱集合稱集合 X: EX + 為為二階矩隨機變量空間二階矩隨機變量空間，簡稱為，簡稱為二階矩空間二階矩空間(second order space) 或或 H空間空間. 3.3 隨機分析初步隨機分析初步附注附注A關于線性空間概念的回顧關于線性空間概念的

8、回顧設設V是一個非空的集合，是一個非空的集合，K是一個數(shù)域，又設是一個數(shù)域，又設(a)在在V中定義加法：中定義加法： , V : + V ;(b)在在V中定義數(shù)乘：中定義數(shù)乘： V, k K: k V ;且且 , , V , k,l K , 滿足滿足(1) k ,l K, , V : (2) +( + )= ( + )+ ; (3) + = + ;(4) 0 V, V: +0= ; (5) V, V: + =0(6) 1 K: 1 = ; (7) k ,l K, V: (kl) =k(l ) ;(8) k ,l K, V: (k+l) = k +l ;(9) k K, , V : k( + )

9、= k + k .則稱則稱V是數(shù)域是數(shù)域K上的一個線性空間。上的一個線性空間。3.3 隨機分析初步隨機分析初步定理定理1 H空間是線性空間。即空間是線性空間。即(1)1X1+2X2H XiH, i =const R(C) (i=1,2). 因為因為Schwarz不等式不等式（EXY)2=EX2EY2H|)|(|,|2| 22112221121222121222121212222212122211XXXXEXEXEXXEXEXEXXEXEXEXXE3.3 隨機分析初步隨機分析初步(2) (X1+X2) +X3 = X1+ (X2+X3) Xi H(i=1,2,3) ; (3) X1+X2 = X

10、2 +X1 Xi H (i=1,2) ; (4) 0 H: X +0 = X X H ;(5) -X H: X+(-X)=0 X H ;(6) 1 X = X 1 K: (7) (12)X =1(2X) i =const R(C) , X H: (8) (1+2)X =1X +2X i =const R(C) , X H;(9) (X1+X2 )=X1+X2 i =const R(C) , X H :.3.3 隨機分析初步隨機分析初步附注附注B關于內(nèi)積空間概念的回顧關于內(nèi)積空間概念的回顧 設設V是定義在復數(shù)域是定義在復數(shù)域C上的線性空間，若上的線性空間，若 , V，在，在V中定義中定義 與與

11、的內(nèi)積的內(nèi)積(數(shù)量積數(shù)量積) ，記作，記作( , ) ,且滿足：且滿足：則稱則稱V是一內(nèi)積空間。是一內(nèi)積空間。特別若數(shù)域特別若數(shù)域K為實數(shù)域，則稱為實數(shù)域，則稱V為歐幾里得空間。為歐幾里得空間?！岸x了內(nèi)積的線性空間稱為內(nèi)積空間定義了內(nèi)積的線性空間稱為內(nèi)積空間”),(),(),( )3(00),(, 0),( )2(),(),( )1 (22112211kkkk且3.3 隨機分析初步隨機分析初步 定義定義2 設設 X,Y H ,定義定義 , 并稱并稱(X,Y )為為H空間的空間的內(nèi)積內(nèi)積。 定理定理2則則 H空間是一個內(nèi)積空間?？臻g是一個內(nèi)積空間。證明：證明：),(YXEYX) (a.e 00

12、),(, 0),( ) (a.e 00)(d| ,|,),( ) 1 ( :1,2)K(iconstcH, 222i21XXXXXXxFxXEXEXXEXXYXXX且且3.3 隨機分析初步隨機分析初步證明證明(續(xù)續(xù)),(),(),( ),(),()(),( )3(),(),( ),(,),( )2(2211221122112211221122112211YXcYXcYXcXcYXcYXcYXEcYXEcYXcEYXcEYXcXcEYXcXcXYYXYXYXEXYEXY3.3 隨機分析初步隨機分析初步特別特別設設 X,Y H,若若(X,Y )=0 ，則稱，則稱X與與Y正交，記為正交，記為X Y同

13、時根據(jù)約定同時根據(jù)約定1：EX(t)=0， EY(t)=0因此因此(X,Y )=0 即即X與與Y正交時有正交時有所以所以X與與Y不相關。不相關。故故 (X,Y )=0 X與與Y不相關不相關0 ,covYXEmYmXEYXYX幾何直觀意義幾何直觀意義3.3 隨機分析初步隨機分析初步附注附注C關于賦范線性空間概念的回顧關于賦范線性空間概念的回顧設設V是一個線性空間，若是一個線性空間，若 V，存在一個實數(shù)，存在一個實數(shù)| |與與之對應，且具有下列性質(zhì)：之對應，且具有下列性質(zhì)：(1) | | 0 , 且且| |=0 =0 ；(2) |c |= |c| | , 特別特別 |- |= | |； c R(3

14、) | + | | |+ | |； V則稱則稱| | 為為V中元素中元素 的范數(shù)的范數(shù)(norm)(模、長度模、長度)，此時線此時線性空間性空間V稱為賦范線性空間稱為賦范線性空間 。對于賦范線性空間對于賦范線性空間 V，若定義，若定義 ( , ) = | - |( , V) , 則則V是一個度量是一個度量(距離距離)空間空間 3.3 隨機分析初步隨機分析初步定義定義3設設 X H ,定義定義 稱稱|X|為為H空間的范數(shù)?？臻g的范數(shù)。 定理定理3 H空間是賦范線性空間?？臻g是賦范線性空間。證明：證明：21221)|(),(|XEXXXa.s)or (a.e 00| |, 0| |a.s)or (

15、a.e 00),( , 0),(| | )1 ( :H, 221XXXXXXXXXXXX且且3.3 隨機分析初步隨機分析初步證明證明| | | | | |)| | | (| | ),( |2| | )(| )( | ),( |),( )()(),(),( ),(| | )3(; | | ),(),(| | )2(21212212221212212211122122111212122121221XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXcXXccXcXcX3.3 隨機分析初步隨機分析初步附注附注D關于度量關于度量(距離距離)空間概念的回顧空間概念的回顧設設V是一個集合，若

16、是一個集合，若 , V，若存在一個非負的實數(shù)，若存在一個非負的實數(shù)d( , )與之對應，且具有下列條件：與之對應，且具有下列條件：(1) d( , ) 0 , 且且d( , ) =0 = ；(2) d( , ) = d( , ) ；(3) d( , ) d( , ) + d( , ) ， V ； 則稱則稱d( , )為為V中元素中元素 , 的距離，的距離，此時集合此時集合V稱為稱為度量度量(距離距離)空間空間 。 3.3 隨機分析初步隨機分析初步定義定義4設設 X ,Y H ,定義定義 稱稱(X ，Y) 為為X 與與Y 的距離。的距離。 定理定理4 H空間是度量空間是度量(距離距離)空間?？臻g

17、。證明：證明：|),(YXYXda.s)or (a.e 0|0),( a.s)or (a.e 0| , 0|),( )1 ( :H, YXYXYXdYXYXYXYXdYX且且3.3 隨機分析初步隨機分析初步證明：證明：),(),(|E|E| )( )E( ),(|),( , ),(),( )2( 2222XYdYXdXYXYYXYXYXYXYXYXYXYXdXYdYXd),( ),(),(|)()(|)(H),( ),(),( )3(ZYdZXdYXdZYZXYZZXYZZXYXYXZZYdZXdYXd3.3 隨機分析初步隨機分析初步 H空間空間 H = X : EX + X,Y H：內(nèi)積：內(nèi)

18、積：距離：距離： X H范數(shù)范數(shù)),(YXEYX21221)|(),(|XEXXX|),(YXYXd在在H空間空間 H=X:EX+ 中進一步定義中進一步定義極限極限連續(xù)連續(xù)導數(shù)導數(shù)積分積分與空間中兩個向量的內(nèi)積、距離和一個元素的范數(shù)相類似與空間中兩個向量的內(nèi)積、距離和一個元素的范數(shù)相類似3.3 隨機分析初步隨機分析初步2 均方極限均方極限一、一、 隨機變量序列均方極限隨機變量序列均方極限定義定義5 ：設定義在概率空間：設定義在概率空間( ,F F, P)上的隨機變上的隨機變量量X與隨機變量序列與隨機變量序列Xn, n 1均存在二階矩，均存在二階矩，即即X , Xn , n 1 H。若。若則稱則

19、稱X為序列為序列Xn, n 1的的均方極限均方極限( limit in mean square)記作：記作：即序列即序列Xn, n 1均方收斂均方收斂(mean square convergence)于于X 。0|lim|lim0,lim212XXEXXXXdnnnnnn)(or l.i.mor lim m.s.m.s.nXXXXXXnnnnn3.3 隨機分析初步隨機分析初步定義定義6 ：設定義在概率空間：設定義在概率空間( ,F F, P)上的隨機上的隨機變量序列變量序列Xn, n 1均存在二階矩，即均存在二階矩，即 X ,Xn , n 1 H。若。若則稱隨機變量序列則稱隨機變量序列Xn,

20、n 1是是柯西序列柯西序列(基本序基本序列列)。0,limmnmnXXd3.3 隨機分析初步隨機分析初步定理定理1 ：設：設 Xn , n 1 H。若。若 X H，使得，使得則隨機變量序列則隨機變量序列Xn, n 1是是(均方收斂的均方收斂的)基本序列基本序列(柯柯西序列西序列) 。證明：證明： |Xn Xm | |Xn X | + |Xm X | n ,m : |Xn Xm | 0 , 即即 Xn, n 1是是基本序列基本序列XXnnl.i.m0,limmnmnXXd3.3 隨機分析初步隨機分析初步定理定理2 ：設：設 Xn , n 1 H是基本序列是基本序列(柯西序柯西序列列)，則必，則必

21、 X H，使得，使得完備性定理。完備性定理。XXnnl.i.m3.3 隨機分析初步隨機分析初步附注附注E關于希爾伯特關于希爾伯特(Hilbert)空間的復習空間的復習設設E是一個度量空間，若是一個度量空間，若E中的每一個基本序列均收斂中的每一個基本序列均收斂于于E，則稱，則稱E是一個是一個完備空間完備空間。具有內(nèi)積的完備空間稱。具有內(nèi)積的完備空間稱為為希爾伯特希爾伯特(Hilbert)空間?？臻g。定理定理3 Xn , n 1 H， X H，使得，使得即即H是一個是一個希爾伯特希爾伯特(Hilbert)空間?？臻g。XXnnl.i.m3.3 隨機分析初步隨機分析初步二、二、 隨機變量序列均方極限的

22、性質(zhì)隨機變量序列均方極限的性質(zhì)性質(zhì)性質(zhì) 1: 設設 X ,Y ,Xn,n 1,Yn,n 1 H , , 。若若則則證明：證明：YYXXnnnnl.i.m ,l.i.mYXYXnnn)(l.i.m0|)()(| 0| , 0|:|)()(|)()(| YXYXYYXXnYYXXYYXXYXYXnnnnnnnnnn3.3 隨機分析初步隨機分析初步性質(zhì)性質(zhì) 2 : 設設 X ,Y ,Xn,n 1 H 。若若則則證明：證明：即即“均方極限是唯一的均方極限是唯一的”YXXXnnnnl.i.m ,l.i.m.).(eaYX .).(0|0| eaYXYXYXXXYXXXYXnnnnn3.3 隨機分析初步隨

23、機分析初步性質(zhì)性質(zhì) 3 : 設設 X ,Y,Xn,n 1, Yn,n 1 H 。若若 則則YYXXnnnnl.i.m ,l.i.ml.i.mlim)3(),()l.i.m,l.i.m(l.i.m),(l.i.m)2(l.i.mlim) 1 (222XEXEXEYXYXYXEYXXEXEXEnnnnmmnnmnmnmnmnmnnnnn3.3 隨機分析初步隨機分析初步證明：證明：l.i.mlim| ),( |:Schwarzl.i.mlim) 1 (022122222222222nnnnnnnnYnnnnXEXEXEXXEXXEXEXEXEXEYEXEYXYEXEYEXEYXEYEXEXYEXEX

24、EXE令不等式由3.3 隨機分析初步隨機分析初步證明證明(續(xù)續(xù)),()l.i.m,l.i.m(l.i.m),(l.i.m)2(YXYXYXEYXmmnnmnmnmnmnmn0),(),(),(),(),(),(),(),(),(),(),(),(),(),(),(),(),(),(),(),(),(),(),(),(),(,nmnmmnnmmnnnmmnnnmmmnnnmmmnmnYXXYYXYYXXYXXYYXYYXXYXXYXXYYXYXXYXYXYXYXYXYXYXYXYXYXYXYXYXYXYXYXYXYX),()l.i.m,l.i.m(l.i.m),(l.i.mYXYXYXEYXmm

25、nnmnmnmnmnmn3.3 隨機分析初步隨機分析初步證明證明(續(xù)續(xù))實際上第實際上第(3)式是第式是第 (2)式的特例。即在第式的特例。即在第 (2)式式中取中取Yn =Xn即得即得l.i.mlim)3(222XEXEXEnnnn),()l.i.m,l.i.m(l.i.m),(l.i.mYXYXYXEYXmmnnmnmnmnmnmn3.3 隨機分析初步隨機分析初步性質(zhì)性質(zhì) 4 : 設設 X,Xn,n 1 H 。若若 則則證明：證明：XXnnl.i.m)l.i.m(limXDXDXDnnnnl.i.m )2() 1 (3 22222222nnnnnnnnnXDXDXEXEXDXEXEXEXE

26、XEXEXD，兩式知：和的第由性質(zhì)；由定義：3.3 隨機分析初步隨機分析初步三、三、 均方收斂的判斷準則均方收斂的判斷準則-判斷該序列是否收斂判斷該序列是否收斂1、柯西準則、柯西準則( Cauchy criterion for maen square convergence)設設 X , Xn,n 1 H , 則則的充要條件是：的充要條件是：2、均方收斂準則、均方收斂準則XXnnl.i.m)const(),(l.i.m)(l.i.mCXXXXEmnmnmnmn0l.i.m2nmmnXXE3.3 隨機分析初步隨機分析初步定理定理4: 李普希茨李普希茨(Lipschitz)條件條件: 函數(shù)函數(shù)f(x)在在a,b上有定上有定義，若存在常數(shù)義，若存在常數(shù)M，使得，使得f(x)是一確定性函數(shù)，是一確定性函數(shù)， x1,x2 a,b成立：成立：| f(x1) - f(x2) | M| x1 - x2 |.則稱則稱f(x)在在a,b上滿足李普希茨上滿足李普希茨(Lipschitz)條件。條件。3.3 隨機分析初步隨機分析初步四、四、 隨機變量函數(shù)的均方極限隨機變量函數(shù)的均方極限定理定理5 設設 X , Xn,n 1 H , 且且 ，又，又設設f(x)是一個在其定義域是一個在其定義域 D D 上上滿足李普希茨滿足李普希茨(Lipschitz)