應(yīng)用隨機(jī)過程課件 ch6 更新過程

應(yīng)用隨機(jī)過程第六章更新過程中國人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過程第六章更新過程中國人民大學(xué)出版社PAGE22/83第六章更新過程第六章更新過程應(yīng)用隨機(jī)過程中國人民大學(xué)出版社本章內(nèi)容本章內(nèi)容1定義及例子1更新過程定義更新過程舉例2更新過程的相關(guān)術(shù)語更新過程的性質(zhì)2極限定理

更新方程與拉普拉斯變換更新定理基本更新定理布萊克威爾定理年齡和剩余壽命年齡和剩余壽命的長期期望值年齡和剩余壽命的分布N(t)的概率更新函數(shù)更新函數(shù)的性質(zhì)更新方程

更新過程的變化形式更新獎賞過程3交替更新過程3更新過程定義更新過程定義更新過程定義定義及例子X1X2XnF（為避免平凡情形，這里假設(shè)(0)=P(i=0)<1,i=1,,...,n更新過程定義定義及例子Tn=X1+X2+···+Xn, n≥1, T0=0定義計數(shù)過程N(yùn)(t)=max{n:Tn≤t}，并稱N(t)為更新過程。通常稱n為N()的第n個更新間隔inte-renewalinterva，也稱第n個更新Tnn{Tn稱作更新序列（renewale。更新間隔和更新時刻更新間隔和更新時刻定義及例子定義及例子更新過程定義N(t)N(t)=4X2X1X3X43210 T1 T2 T3 T4 t 時間更新過程與泊松過程更新過程與泊松過程更新過程定義定義及例子更新過程只假設(shè)了Xi,i=1,2,...,n更新過程定義定義及例子andidenticallydistributed,ii，并未限定其具體服從何種概率分布；而（指數(shù)分布由于更新過程未限定具體的概率分布，對其的研究需要基于強(qiáng)大數(shù)定律的相關(guān)性質(zhì)。舉例舉例1：馬氏鏈更新過程舉例定義及例子記Xt是一個不可約、正常返的離散時間馬氏鏈，假設(shè)X0=更新過程舉例定義及例子Tn表示該馬氏鏈第n次返回狀態(tài)x的時刻。令相鄰兩次訪問狀態(tài)x的時間間隔為Xi，則有：Xi=Ti?Ti?1, i=1,2,...n根據(jù)強(qiáng)馬氏性，我們可知：Xi,i=1,2,...n是相互獨(dú)立且同分布的，因此截至?xí)r刻t，訪問狀態(tài)x的次數(shù)N(t)就是一個更新過程，其中：N(t)=max{n:Tn≤t}。舉例舉例2：機(jī)器修理問題更新過程舉例定義及例子廣si，發(fā)生故障后進(jìn)行uiti=siuii輪“正常工作—ti就是獨(dú)立N(更新過程舉例定義及例子廣說明N(T)=max說明

（n:

ni=1

ti\

≤T?這是一種包含了“正常工作”和“維修”兩個狀態(tài)的交替更新過程。這是一種包含了“正常工作”和“維修”兩個狀態(tài)的交替更新過程。舉例舉例3：M/G/1排隊系統(tǒng)更新過程舉例定義及例子假設(shè)有一個服務(wù)員的排隊系統(tǒng)，顧客以速率為λ的泊松過程到達(dá)，這意味著顧客到達(dá)的時間間隔相互獨(dú)立，并且服從速率為λ的指數(shù)分布。假設(shè)顧客接受服務(wù)的時間獨(dú)立同分布，且均值為更新過程舉例定義及例子在這里我們并未假設(shè)接受服務(wù)的時間服從指數(shù)分布，因此服務(wù)時間不具有指數(shù)分布的無記憶性。更新過程的相關(guān)術(shù)語更新過程的相關(guān)術(shù)語更新過程的相關(guān)術(shù)語定義及例子N(t)為更新過程，Xn為N(t)的第n個更新間隔，Tn為第更新過程的相關(guān)術(shù)語定義及例子N()的期望值M(t)稱為更新函數(shù)renewalfunction，即：M(t)=E[N(t)]；在t時刻，距離上一次更新的時間間隔()稱作（ag，即：A(t)=t?TN(t)；tY(t稱作剩余壽命（residuallifY(t)=TN(t)+1?t年齡和剩余壽命年齡和剩余壽命定義及例子更新過程的相關(guān)術(shù)語A(t) 定義及例子更新過程的相關(guān)術(shù)語0 T1 T2

···

TN(t)?1 TN(t) t TN(t)+1X1 X2 XN(t) XN(t)+1A(t)與Y(t)之間存在如下對應(yīng)的等式關(guān)系：A(t)+Y(t)=TN(t)+1?TN(t)=XN(t)+1如果圖中描述的是一個電子元件的壽命，并且認(rèn)為一次更新就意味著零件損壞，需要用新零件替換舊零件。A(t就是零件“已經(jīng)工作的時（年齡(t)（剩余壽命，兩者之和(t)+Y(t)（更新間隔。極限定理極限定理極限定理更新過程的性質(zhì)μE(Xn)n1極限定理更新過程的性質(zhì)對于更新過程N(yùn)(t)，當(dāng)n→∞時，下式以概率1成立：n 1Tn→μ, a.s.極限定理記μ=E(Xn),n≥1表示更新間隔的期望值，若P(Xi>0)>0，那么當(dāng)極限定理t→∞時，下式以概率1成立：N(t) 1t →μ, a.s.極限定理的圖形說明極限定理的圖形說明更新過程的性質(zhì)更新過程的性質(zhì)極限定理N(t)?3?2?1N(t)=43210 T1

t1T2

t2 T3 t3

T4 t 時間t1接近于1/μ。極限定理與泊松過程極限定理與泊松過程極限定理更新過程的性質(zhì)泊松過程可看作更新過程的一個特例，因此若N(t)是泊松過程，則其更新間隔服從速率為λ的指數(shù)分布，相應(yīng)μ=E(Xn極限定理更新過程的性質(zhì)當(dāng)t→∞時，下式以概率1成立N(t)注意：t →λ, a.s.注意：NN(t)/t反映了更新的速率，表示單位時間內(nèi)更新的次數(shù)；而t/N(t)則反映了一次更新所需要的時間。例1極限定理更新過程的性質(zhì)小王的辦公室有一臺使用中的打印機(jī)，一旦墨盒無墨，他需要花費(fèi)（天數(shù)）(6090)例1極限定理更新過程的性質(zhì)例例1：解答極限定理更新過程的性質(zhì)兩次更換墨盒的平均時間由μ=E(U1)+E(U2極限定理更新過程的性質(zhì)U1～U(60,90)，U2～U(1,3)。因此：1E(U)=1(60+90)=75,12

E(U)=1(1+3)=2222因此：μ=75+2=77，從長遠(yuǎn)看，小王以速率1/77替換墨盒，即他需要每77天替換一次墨盒。例2極限定理更新過程的性質(zhì)λ的泊松過程到達(dá)只有一個服務(wù)窗口的銀例2極限定理更新過程的性質(zhì)顧客進(jìn)入銀行的速率是多少？潛在的顧客最終進(jìn)入銀行的比例是多少？例例2：解答極限定理更新過程的性質(zhì)記μG為平均服務(wù)時間，根據(jù)泊松過程的無記憶性，對于進(jìn)入銀行的顧客而言，其時間間隔的均值極限定理更新過程的性質(zhì)因此進(jìn)入銀行的顧客速率為

1μ=λ+μG1 λ=μ 1+λμG另外，由于潛在顧客到達(dá)的速率為λ，因此進(jìn)入銀行的顧客比例為：1/μ=λ/(1+λμG)= 1λ λ 1+λμG定理極限定理定理極限定理更新過程的性質(zhì)N(t)t1成立：N(t)→∞,a.s.NN(t)的概率N(N(t)的概率更新過程的性質(zhì)N(t)≥n Tn≤t于是可以得到：P[N(t)=n]=P[N(t)≥n]?P[N(t)≥n+1]=P(Tn≤t)?P(Tn+1≤t)=Fn(t)?Fn+1(t)說明：這個公式非常簡單但難以應(yīng)用，因為Fn(t)的求解往往會非常棘手。其中：Fn(t說明：這個公式非常簡單但難以應(yīng)用，因為Fn(t)的求解往往會非常棘手。例：例：N(t)的概率N(t)的概率更新過程的性質(zhì)Fn(t)=P(Xn≤t)=1?e?λt由于Tn=X1+X2+···+Xn服從Gamma分布，對應(yīng)的概率密度函數(shù)如下：f t e?λt

(λt)n?1 tTn()=λ

(n?1)!, ≥0求：更新過程N(yùn)(t)的概率P[N(t)=n]。例：解法例：解法1N(N(t)的概率更新過程的性質(zhì)0≤x≤tP[N(t)=n]=0≤x≤trt00

P[N(t)=n|Tn=x]·P(Tn=x)r= P[N(t)=n|Tn=x]·fTn(x)dxrt0= P[Xn+1≥t?x]·fTn(x)dx0rrt (λx)n?1r00= e?λ(t?x)·λe?λx·

dx(n?1)!λne?λt=(n?1)!

txn?1dx=0

λne?λt tn(n?1)!·n

=e?λ

t(λt)nn!例：解法例：解法2N(t)的概率更新過程的性質(zhì)rr利用P[N(t)=n]=Fn(t)?FN(t)的概率更新過程的性質(zhì)rrFn(t)=P(Tn≤t)=

tfTn(s)ds=r0r

t·λe?λs·0

(λs)n?1ds(n?1)!λn =

e?λssn?1ds=

λnrt

e?λsdsn其中，

rt s

(n?1)!n

0tsnt

rtn?0?0

n! 0?λse?λds0

=e?λs

sde0rtFnFn+1(t)=

λn+1

=e?λttn+λe?λsde?λsdsn+1=00

e?λssnds0e?λssndse?λssndsn! n!0(n+1)!0(n+1)!0n!0例：解法例：解法2(cont.)N(t)的概率更新過程的性質(zhì)＿P[N(t)=n]=Fn(t)?N(t)的概率更新過程的性質(zhì)＿nt=λ e?λttn+λrnt

e?λssnds＿?

λn+1rt

e?λssndsrn! 0 n! 0r=e?λt

(λt)n

λn+1 t+

e?λssnds?

λn+1rt

e?λssndsn!?λt(λt)n

n! 0

n! 0注意：=e n!注意：最終得到的更新過程最終得到的更新過程N(yùn)(t)服從泊松分布。更新函數(shù)的性質(zhì)更新函數(shù)的性質(zhì)對于分布函數(shù)Fn(t)=P(Tn≤t)，更新函數(shù)M(t)滿足：M(t)= 對于分布函數(shù)Fn(t)=P(Tn≤t)，更新函數(shù)M(t)滿足：M(t)= F(t)寸∞nn=1定理說明：Fn(t)的求解往往非常困難，特別是對于無窮多個Fn(t)的序列求和，通常得不到封閉表達(dá)式。因此還需要嘗試使用其他的方法來求解更新函數(shù)。更新函數(shù)更新過程的性質(zhì)更新過程的性質(zhì)更新函數(shù)寸更新函數(shù)寸M(t)= Fn(t)證明思路n=1證明思路MM(t)=E[N(t)]= P[N寸∞n=1(t)≥n]{N(tn}與{T≤t}等價→= P(T≤t寸∞n寸∞n)= F(tn)n=1n=1拉普拉斯變換法求解拉普拉斯變換法求解M(t)更新函數(shù)更新過程的性質(zhì)由于Fn(t)是Xi分布函數(shù)F的更新函數(shù)更新過程的性質(zhì)n個n(t)=、?F、···?.,n個根據(jù)拉普拉斯變換的性質(zhì)可知：nL{Fn(t)}=L{F}·L{F}···L{F}=[L{F}]n、 / .,即：n重卷積的拉普拉斯變換L{Fn(t)}，可轉(zhuǎn)化為分布函數(shù)F的拉普拉斯變換L{F}的n次冪。n=1nn=1n=1L{M(t)}=寸L{Fn(t)}=寸[L{F}]n拉普拉斯變換法拉普拉斯變換法(cont.)更新函數(shù)更新過程的性質(zhì)拉普拉斯變換法求解M(t更新函數(shù)更新過程的性質(zhì)L{ } ,L{} L{ }對分布函數(shù)F進(jìn)行拉普拉斯變換，得到L{F}；利用 M(t)=∞L{ } ,L{} L{ }n=1對L{M()}進(jìn)行拉普拉斯逆變換（inverseLaplacetransfor，從而M(t)。1推論31推論3更新函數(shù)更新過程的性質(zhì)若干定理若干定理對于t∈對于t∈[0,∞)，M(t)<∞。當(dāng)t=0時，更新函數(shù)M(t)滿足：M(0)= F(0)1?F(0)當(dāng)t→∞時，M(t)→∞更新方程更新方程更新函數(shù)更新過程的性質(zhì)假設(shè)更新間隔Xn的分布函數(shù)更新函數(shù)更新過程的性質(zhì)f，則由更新函數(shù)M(t)構(gòu)成的更新方程（renewalequation）如下：M(t)=F(t)+M(t)=F(t)+0M(t?x)f(x)dxM(t)=F(t)+0M(t?x)f(x)dx更新方程提供了計算更新函數(shù)的另一種思路。說明：例：例：更新函數(shù)更新過程的性質(zhì)假設(shè)更新間隔Xn的分布函數(shù)F是[0,更新函數(shù)更新過程的性質(zhì)F(t)=t, f(t)=1, t∈[0,1]將上式代入更新方程，可得：M(t)=t+=t?u=t?x→=t+

t0rrM(t?x)dx0rrt0rM(t?x)d(t?x)0rtM(u)du0例例(cont.)更新函數(shù)更新過程的性質(zhì)對式子兩端關(guān)于更新函數(shù)更新過程的性質(zhì)M′(t)=1+M(t)令g(t)=1+M(t)，則g′(t)=M′(t)，于是：g′(t)=g(t)對于這個常微分方程，易得其通解為：g(t)=Cet，相應(yīng)地M(t)=Cet?1由于M(0)=E[N(0)]=0，因此作為初始條件可得C=1，最終可得：M(t)=et?1, t∈[0,1]更新強(qiáng)度更新強(qiáng)度更新函數(shù)更新過程的性質(zhì)假設(shè)更新函數(shù)M(t)可微，記m(t)=dM(t)/dt，稱m(t更新函數(shù)更新過程的性質(zhì)更新過程N(yùn)(t)的更新強(qiáng)度m更新過程N(yùn)(t)的更新強(qiáng)度m(t)滿足：m(t)= f(t)寸∞nn=1其中：fn(t)是分布函數(shù)Fn(t)=P(Tn≤t)對應(yīng)的密度函數(shù)。更新強(qiáng)度的性質(zhì)對比：更新方程對比：更新方程更新強(qiáng)度的積分方程更新強(qiáng)度的積分方程更新函數(shù)更新過程的性質(zhì)更新過程N(yùn)(t)的更新強(qiáng)度m(t更新函數(shù)更新過程的性質(zhì)m(t)=f(t)m(t)=f(t)+0m(t?x)f(x)dxm(t)=f(t)+0m(t?x)f(x)dx其中：f(x)是更新間隔Xn的密度函數(shù)。MM(t)=F(t)+ M(t?x)f(x)dxrt0更新方程與卷積更新方程與卷積M(t)=

t更新函數(shù)更新過程的性質(zhì)rf(x)dx更新函數(shù)更新過程的性質(zhì)r0

tr?M(t x)f(x)dxr?0L{F(t)}=L{f(t)}sL{[F?G](t)}=L{F(t)}=L{f(t)}sL{[F?G](t)}=L{F(t)}·L{G(t)}拉普拉斯變換（Laplacetransform）的性質(zhì)根據(jù)拉普拉斯變換的性質(zhì)，更新方程可轉(zhuǎn)化為：L{M(t)}=1·L{f(t)}s 1?L{f(t)}更新方程與拉普拉斯變換更新方程與拉普拉斯變換更新函數(shù)更新過程的性質(zhì)sL{M(t)}=L{f(t)}+L{M(t)}L{f(t更新函數(shù)更新過程的性質(zhì)sL{M(t)}=s

L{f(t)}·1?L{f(t)}·

(*)如果求出了f(t)的拉普拉斯變換L{f(t)}，并將其代入式(*)，就可以得到L{M(t)}；再對L{M(t)}進(jìn)行拉普拉斯逆變換，最終可以得到M(t)的表達(dá)式。例：例：更新函數(shù)更新函數(shù)更新過程的性質(zhì)≥f(t)=1e?t+e?2t, t 02≥對其進(jìn)行拉普拉斯變換，可得：1 1代入式(*)可得：

L{f(t)}=2(s+1)+s+24 1 1L{M(t)}=3s2+9s?9(s+1.5)對上式進(jìn)行拉普拉斯逆變換，最終可得：392M()=t+1＿1?exp(?3t\＿392更新強(qiáng)度與拉普拉斯變換更新強(qiáng)度與拉普拉斯變換更新函數(shù)更新過程的性質(zhì)0對m(t)=f(t)+rtm(t?x)f(x)d更新函數(shù)更新過程的性質(zhì)0L{m(t)}=L{f(t)}+L{m(t)}L{f(t)}對上式進(jìn)行整理可得：L{ }m(t)=L{f(t)}L{ }1?L{f(t)}

(**)基于式(**)的結(jié)果，對L{m(t)}進(jìn)行拉普拉斯逆變換，最終可以得到m(t)的表達(dá)式。舉例：舉例：更新函數(shù)更新函數(shù)更新過程的性質(zhì)f(t)=λe?λt, λ>0,t≥0L{ }對其進(jìn)行拉普拉斯變換，可得： f(t)=λL{ }λ+s代入式(**)可得：L{m(t)}=

λλ+s =λλ s1?λ+s對上式進(jìn)行拉普拉斯逆變換，最終可得：m(t)=λ停時定義說明：更新定理停時定義說明：更新定理更新過程的性質(zhì)停時和瓦爾德定理停時和瓦爾德定理假設(shè){假設(shè){Xn}是隨機(jī)變量序列，S是取值為正整數(shù)的隨機(jī)變量，若?n，事件{S≤n}由X1,X2,...,Xn唯一決定，則稱S是{Xn}的停時。{SnX1X2Xn所決定。若觀測到X1,X2Xn{SnS是停時，否則就不是。瓦爾德定理（瓦爾德定理（Wald’stheorem）更新定理更新過程的性質(zhì)假設(shè){Xn,n≥1}是獨(dú)立同分布的隨機(jī)變量序列，其期望值均為更新定理更新過程的性質(zhì)S是定義于{Xn,n≥1}上的停時，并且E(S)<∞，則TS=X1+X2+···+XS滿足如下等式：E(TS)=μE(S)瓦爾德定理的推論瓦爾德定理的推論推論更新定理更新過程的性質(zhì)瓦爾德定理可用于對更新函數(shù)M(t推論更新定理更新過程的性質(zhì){N(t),t0Xi,i=12，Ti,i=12TN(t)+1t時刻以后的第一E(Xi)=μ<時，下式成立：E[TN(t)+1]=μ[M(t)+1]例題：例題：更新定理更新過程的性質(zhì)某礦工身陷井下陋室。陋室有三門，他選擇1號門需經(jīng)過更新定理更新過程的性質(zhì)進(jìn)才會獲得自由；選擇2號門則經(jīng)過4天的行進(jìn)后還是回到這個陋室；36天的行進(jìn)后還是回到這個陋室。假設(shè)在所有的時間他都等可能地選取三門中的任意一個，記這個礦工獲得自由所用的時間T。用瓦爾德定理求E(T)i「N li計算E XN=ni=1(b)(b)E(T)例題：解答例題：解答更新定理更新過程的性質(zhì)利用瓦爾德定理，可知：E(T)=E(Xi)E(N)，此處N是停時，表示的是礦工獲得自由前所做的選擇次數(shù)；Xi更新定理更新過程的性質(zhì)E(Xi)=3

×(2+4+6)=4需要注意的是，由于三門當(dāng)中，只有1號門可以最終離開礦井，其他兩門均無法離開。因此，N服從的是幾何分布，其成功的概率為p=1/3，失敗的概率為2/3。由幾何分布的特征，可得：E(N)=

n·∞n∞n

(33

(1\=33綜合上面兩個式子，可得：E(T)=43=12（天。3例題：解答例題：解答(cont.)更新定理更新過程的性質(zhì)iXN=n=2(4+6)(n?1)+2=5n?3{N=n更新定理更新過程的性質(zhì)iXN=n=2(4+6)(n?1)+2=5n?3E「NE

l 1ii=1運(yùn)用條件期望的性質(zhì)，對上式兩端取期望，可得：（「N l?iE ii=1

XN=n =5E(N)?3EXi=5EXi=5×3?3ii=1ii=1E()=2天）基本更新定理（基本更新定理（ElementaryRenewalTheorem）更新定理更新過程的性質(zhì)對于更新過程N(yùn)(t)，記M(t)=E[N(t)],μ=E(Xn),n≥更新定理更新過程的性質(zhì)t→∞時，下式以概率1成立M(t) 1t →μ, a.s.N(t)M(t)。極限定理與基本更新定理極限定理與基本更新定理更新定理更新過程的性質(zhì)N(t)更新定理更新過程的性質(zhì)N(t)1tM(t)→μ1t→μ, a.s. 基本更新定理)ωN(tω)/t，求解出的是時間平均更新速率time-averagerenewalrat；基本更新定理對M(t)/t的ω?，求解其總體的時間平均更新速率。簡而言之，極限定理考查單個樣本的漸近性質(zhì)；基本更新定理則是考查所有樣本的集成（ensemble）所具有的漸近性質(zhì)。舉例：舉例：更新定理更新過程的性質(zhì)一個工人連續(xù)干一些零活，每完成一個零活，就開始一個新的零f的隨機(jī)時間獨(dú)立地完成。然而會λ更新定理更新過程的性質(zhì)長期來看，零活完成的速率是多少？舉例：解答舉例：解答更新定理更新過程的性質(zhì)本問題中，將零活的完成看成一個更新過程。記更新的時間間隔為XE(X)W，發(fā)生觸更新定理更新過程的性質(zhì)| E(XW=w,S=s)=s+E(X), s<| 注意：w, s≥w注意：當(dāng)當(dāng)s<w時，發(fā)生觸電意外，此時將開始新的零活，原零活的時間s仍需計算在內(nèi)舉例：解答舉例：解答(cont.)更新定理更新定理更新過程的性質(zhì)0rrE(X|W=w)=r∞E(X|W=w,S=s)λe?λsds0rrw= [s+E(X)]λe?λsds+rr0rr

∞wλe?λsdsrwrw= sλe?λsds+E(X)0

wλe?λsds+w0

∞λe?λsdswλλ=＿1?(w+1\e?λw＿+E()（1?e?λw）+we?λwλλ（? ） （? ）=E(X)1 e?λw+（? ） （? ）＿ ＿＿ ＿（? ）=E(X)+1 1 e?λwλ接下來，對上式兩端取期望。舉例：解答舉例：解答(cont.)更新定理更新過程的性質(zhì)由于E[E(X|W=w)]=E(X更新定理更新過程的性質(zhì)λE()=＿E()+1＿r1?E(e?λw)＿λE(X)=

1?E(e?λw)λE(e?λw)因此，長期來看，零活完成的速率是 λE(e?λw)r1?E(e?λw)rE(e?λw)= ∞e?λwf(w)dw說明：E(e說明：E(e?λw)是隨機(jī)變量w的矩母函數(shù)，其參數(shù)為?λ

，其中，格點(diǎn)隨機(jī)變量格點(diǎn)隨機(jī)變量定義：格點(diǎn)隨機(jī)變量更新定理更新過程的性質(zhì)若隨機(jī)變量X只在常數(shù)d>0定義：格點(diǎn)隨機(jī)變量更新定理更新過程的性質(zhì)寸∞寸P(X=nd)=1n=0XddX的周期。布萊克威爾定理布萊克威爾定理更新定理更新過程的性質(zhì)假設(shè)μ=E(Xi更新定理更新過程的性質(zhì)若Xi不是格點(diǎn)隨機(jī)變量，對于0≤a<b，當(dāng)t→∞時，μM(b+t)?M(a+t)→b?a, 0≤a<bμ若Xi是格點(diǎn)隨機(jī)變量，且有周期d，當(dāng)t→∞時，μM(nd)?M(nd?d)→d, n=1,2,...μ剩余壽命剩余壽命Y(t)的展示圖更新過程的性質(zhì)年齡和剩余壽命N(t) 更新過程的性質(zhì)年齡和剩余壽命X5X4X3X2X1 t0 T1 T2 T3 T4 T5 T6(a)Y(tY(t)X2X3X5X6X4t0 T1 T2 T3 T4 T5 T6(b)剩余壽命剩余壽命Y(t)的長期期望值年齡和剩余壽命更新過程的性質(zhì)研究的重點(diǎn)在于t→∞年齡和剩余壽命更新過程的性質(zhì)life）是多少。展示圖(b)中，可以得到這些折線與橫軸圍成的面積S(t)，記作：S(t)=

trY(u)du=r0

N(t)2i=1

X2+

trr

Y(u)du, t∈

rTN(t),TN(t)+1）i平均的剩余壽命，就是S(t)與時間t的比值。根據(jù)大數(shù)定律，當(dāng)t→∞i時，該比率S(t)/t→E[Y(t)]剩余壽命剩余壽命Y(t)的長期期望值(cont.)年齡和剩余壽命年齡和剩余壽命更新過程的性質(zhì)E[Y(t)]=limt→∞E[Y(t)]=limt→∞tY(u)du=00

E(X2)2E(2E(X)0 2E(02E(X), a.s.平均剩余壽命的取值，取決于更新間隔X的一階矩和二階矩。, a.s.年齡年齡A(t)的展示圖更新過程的性質(zhì)年齡和剩余壽命N(t) 更新過程的性質(zhì)年齡和剩余壽命X5X4X3X2X1 t0 T1 T2 T3 T4 T5 T6(a)A(A(t)X3X5X6X1X2X40 T1 T2 T3 T4 T5 T6(b)年齡年齡A(t)的長期期望值年齡和剩余壽命更新過程的性質(zhì)類似于剩余壽命的分析，可以對應(yīng)得到t年齡和剩余壽命更新過程的性質(zhì)（time-averageage）的取值E[A(t)]=lim

1rt

A(u)du=

E(X2)

, a.s.t→∞t 0 2E(X)由于A(t)+Y(t)=TN(t)+1?TN(t)=XN(t)+1，可以得到平均更新間隔（time-averageinterval）的結(jié)果：E[XN(t)+1]=lim

1rt

XN(u)+1du=

E(X2)

, a.s.t→∞t 0 E(X)總結(jié)總結(jié)年齡和剩余壽命更新過程的性質(zhì)假設(shè)X是更新過程N(yùn)(t)的時間間隔，且期望為μ，方差為σ2年齡和剩余壽命更新過程的性質(zhì)不是格點(diǎn)隨機(jī)變量。每次更新的年齡A(t)和剩余壽命Y(t)分別記為：A(t)=t?TN(t), Y(t)=TN(t)+1?t于是有：E[Y(t)]=E[A(t)]=

E(X2)2E(X)E(X2)2E(X)

μ2+σ2=2μμ2+σ2=2μ

, a.s., a.s.E[X()+1]=

E(X2)E(X)=

μ2+σ2, a.s.μ年齡年齡A(t)的分布年齡和剩余壽命更新過程的性質(zhì)具體研究當(dāng)t年齡和剩余壽命更新過程的性質(zhì)先研究年齡A(t)的分布，假設(shè)一個系統(tǒng)中某個零件具有獨(dú)立同分布的壽命X1,X2,...。零件損壞后將立即更新，相應(yīng)的更新過程記作N(t)。另外假設(shè)每個零件均有一個試用期y>0，若零件在試用期內(nèi)沒有損壞，則會進(jìn)入正式工作期；若在試用期內(nèi)損壞，則該零件將只有試用期而無正式工作期。Ti?1

ViA(t)y=UiiX t(Ti?1+y) A(t)y=Uii更新過程的性質(zhì)Ti?1

ViA(t)y=Ui年齡和剩余壽命iX t(Ti?1+yA(t)y=Ui年齡和剩余壽命i記第i個零件的試用期為Ui，則：Ui=min(Xi,y)，對應(yīng)的正式工作期為Vi=Xi?Ui,(Xi>y)。根據(jù)期望的性質(zhì)，可得：E(Ui)=E[min(Xi,y)]=r∞P[(min(Xi,y)>s)]ds0=P(Xi0=P(Xi>s,y>s)ds00r{y>s}?{Xi>s}→=r=

yP(Xi>s)dsr0ryF(s)ds0更新過程的性質(zhì)年齡和剩余壽命年齡和剩余壽命limP[A(t)≤y]=E(Ui)t→∞ E(Xi)由于Xi獨(dú)立同分布，因此：E(Xi)=μ，最終可得：μ0μ0tlimP[A(t) y]μ0μ0tlimP[A(t) y]=→∞F(s)ds, y≥0因此當(dāng)t很大時，年齡A(t)的分布函數(shù)FA(y)可用下式近似：FA(y)=E(Xi)F(FA(y)=E(Xi)F(s)ds, y≥00000對上式的兩端關(guān)于y求導(dǎo)，可以進(jìn)一步得到A(t)的密度函數(shù)fA(y)如下：fA(y)=F(y)E(Xi)

=P(Xi>y)μ剩余壽命剩余壽命Y(t)的分布年齡和剩余壽命更新過程的性質(zhì)假設(shè)一個系統(tǒng)中某個零件具有獨(dú)立同分布的壽命X1,X2,...，相應(yīng)的更新過程記作N(t)。零件在損壞前有一個異常狀態(tài)，此狀態(tài)發(fā)生在零件損壞前的y小時。記Vi=min(Xi,y)，Ui=Xi?Vi,(Xi>Vi年齡和剩余壽命更新過程的性質(zhì)Y(t)Ti?1

Ui(Ti?y)

y=Vit TiXi更新過程的性質(zhì)Ti?1

年齡和剩余壽命U年齡和剩余壽命(Ti?y)

y=VitXi

Y(t)Ti根據(jù)期望的性質(zhì)，可得：E(Vi)=E[min(Xi,y)]=根據(jù)強(qiáng)大數(shù)定律，易得：

yrF(s)dsr0limP[Y(t)≤y]=E(Vi)t→∞ E(Xi)更新過程的性質(zhì)年齡和剩余壽命由于Xi獨(dú)立同分布，并且E(Xi)=μ年齡和剩余壽命μ0μ0tlimP[Y(t) y]μ0μ0tlimP[Y(t) y]=→∞F(s)ds, y≥0因此當(dāng)t很大時，剩余壽命Y(t)的分布函數(shù)FY(y)也可用下式近似：FY(y)=E(Xi)F(FY(y)=E(Xi)F(s)ds, y≥00000對上式的兩端關(guān)于y求導(dǎo)，可以進(jìn)一步得到Y(jié)(t)的密度函數(shù)fY(y)如下：fY(y)=F(y)E(Xi)

=P(Xi>y)μ例題：例題：年齡和剩余壽命更新過程的性質(zhì)某臺機(jī)器每次中斷運(yùn)行就換上一個同樣類型的機(jī)器。如果機(jī)器的壽3年齡和剩余壽命更新過程的性質(zhì)請問：該機(jī)器的壽命小于一年的概率是多少？例題：解法一例題：解法一年齡和剩余壽命更新過程的性質(zhì)本問題求解的關(guān)鍵在于更新過程中年齡A(t年齡和剩余壽命更新過程的性質(zhì)XiE(1/3)，相應(yīng)地，有3E(i)=3, (s)=P(i≤s)=1?e?λs=1?exp(?\3因此：FA(1)=tlimP[A(t)≤1]=

1 1rF(s)dsrr(\→∞ E(Xi)0r(\=30

exp

1\?3sd\=?exp

(?3s(

10=1?exp0

(?1\

3=0.2833例題：解法二例題：解法二年齡和剩余壽命年齡和剩余壽命更新過程的性質(zhì)?3×3P(T<1)=1?e?λt=1?exp?3×3

1\=1?exp(?\=0.283更新獎賞過程的定義更新獎賞過程的定義定義更新獎賞過程更新過程的變化形式正如泊松過程是更新過程的特例，復(fù)合泊松過程可看作更新獎賞過程（renewal-reward定義更新獎賞過程更新過程的變化形式Xn,n1N(t)，并假設(shè)每次更新發(fā)生時將接受一次獎賞reward，記i為第i次更新時得到的獎賞，假設(shè)iRiiXiR(t為更新獎賞過程，其表達(dá)式如下：寸N(t)寸R(t)= Rii=1其反映了到時間t為止的全部獎賞數(shù)額。更新過程的變化形式定理更新獎賞過程對于更新獎賞過程R(t)，Ri為第i次更新時得到的獎賞，Ti為第i次更新的時間，Xi為第i個更新間隔，則下式以概率1成立：定理更新獎賞過程R(t) E(Ri)簡要證明t →E(Xi)簡要證明當(dāng)當(dāng)t→∞時，t tN(t)RNi=(tt)1N(t)Rii=1·N(t)=),N(t)i=1Ri tN(t)i=1N(t)→E(Ri)E(Xi)更新過程的變化形式推論更新獎賞過程記R(t)是更新獎賞過程()中的獎賞函數(shù)rewardfunction，其更新E(X)<∞iRi滿足E(|Ri|)<∞，因此：推論更新獎賞過程limt

1rt

R(τ)dτ=

E(Ri)

, a.s.→∞t 0 E(X)定理對于更新獎賞過程R(t)，Ri為第i次更新時得到的獎賞，Ti為第i次更新的時間，Xi為第i個更新間隔，若E(Ri)<∞，E(Xi)<∞，則當(dāng)定理t→∞時，下式成立：E[R(t)] E(Ri)t →E(Xi), a.s.例例1：修車問題更新獎賞過程更新過程的變化形式h的隨機(jī)變量，且如果老車損壞AT年，李師傅的更新獎賞過程更新過程的變化形式問：長期來看，李師傅在單位時間花費(fèi)數(shù)額的期望值是多少？例例1：解答更新獎賞過程更新過程的變化形式對于此問題，首先要界定清楚何時修車、何時換車。假設(shè)每一次出Xi更新獎賞過程更新過程的變化形式Xi=s∧T。首先計算E(Xi)：0rrE(Xi)=E(s∧T)=r∞(s∧T)h(s)ds0rrT= sh(s)ds+r0r

∞Th(s)dsrTrT= sh(s)ds+T0

∞h(s)dsT例例1：解答(cont.)更新獎賞過程更新過程的變化形式對應(yīng)的獎賞期望值E(Ri更新獎賞過程更新過程的變化形式rrE(Ri)=A·P(s<T)+B·P(s≥T)rrT=A h(s)ds+B0

∞h(s)dsT因此：單位時間花費(fèi)數(shù)額的期望值是E(Ri)Ah(s)ds+BE(Ri)Ah(s)ds+Bh(s)ds E(Ri) A E(Ri)Ah(s)ds+Bh(s)dsrr=0TE(Xi)rr=0T

Tsh(s)ds+T0

∞h(s)dsT例例2：火車發(fā)車問題更新獎賞過程更新過程的變化形式μN(yùn)n個旅客在等待，會引起更新獎賞過程更新過程的變化形式該問題中，發(fā)出一列火車，就意味著完成一次更新，而一次更新的時間間該問題中，發(fā)出一列火車，就意味著完成一次更新，而一次更新的時間間更新發(fā)生的時間間隔產(chǎn)生。因此該問題屬于更新獎賞過程。提示：例例2：解答更新獎賞過程更新過程的變化形式由于到達(dá)時間間隔的均值是μ，只有當(dāng)?shù)却穆每蛿?shù)湊夠更新獎賞過程更新過程的變化形式E(Xi)=N·E(Ti)=N·μ記Tn表示第n位到達(dá)的旅客與第(n+1)位到達(dá)的旅客之間的時間間隔，于是：E(Ri)=E[c·T1+2c·T2+···+(N?1)c·TN?1]由于E(Ti)=μ，因此：2E(Ri)=c[μ+2μ+···