分布式系統(tǒng)可靠性設(shè)計(jì)

分布式系統(tǒng)可靠性設(shè)計(jì)第一頁(yè)，共六十頁(yè)，2022年，8月28日10.1分布式容錯(cuò)模型可依賴系統(tǒng)（Dependable,Trustworthy）可用性（availability）系統(tǒng)可為用戶服務(wù)的能力可靠性（Reliability）系統(tǒng)可連續(xù)工作的能力安全性（Safety）系統(tǒng)故障時(shí)產(chǎn)生危害的程度可維護(hù)性（Maintainability）系統(tǒng)故障修復(fù)的難度第二頁(yè)，共六十頁(yè)，2022年，8月28日基本概念（1）失效（fail,failure）、失靈一個(gè)系統(tǒng)不能滿足它的承諾（提供服務(wù)）差錯(cuò)（error）：導(dǎo)致系統(tǒng)失效的原因故障（fault）：導(dǎo)致差錯(cuò)發(fā)生的原因第三頁(yè)，共六十頁(yè)，2022年，8月28日基本概念（2）平均無(wú)故障時(shí)間(MTTF)MeanTimeToFailure平均能夠正常運(yùn)行多長(zhǎng)時(shí)間，才發(fā)生一次故障。用來(lái)度量可靠性p為每秒失效概率平均無(wú)故障時(shí)間(MTTF)=Σ1∞kp(1-p)k-1=1/p例：p=10-6，MTTF=106秒=11.6天平均維修時(shí)間（MTTR）MeanTimeToRepair系統(tǒng)發(fā)生故障后維修和重新恢復(fù)正常運(yùn)行平均花費(fèi)的時(shí)間用來(lái)度量可維護(hù)性可用性=(MTTF/(MTTF+MTTR))

第四頁(yè)，共六十頁(yè)，2022年，8月28日故障的類型按照故障出現(xiàn)的概率短暫型(transient):出現(xiàn)一次，再也不出現(xiàn)間歇型(intermittent)：消失后，再重復(fù)出現(xiàn)永久型(permanent)：一直存在按照故障產(chǎn)生的原因節(jié)點(diǎn)故障硬件故障軟件故障時(shí)序故障第五頁(yè)，共六十頁(yè)，2022年，8月28日基本概念（2）故障控制預(yù)防去除預(yù)告容錯(cuò)（faulttolerance）即使發(fā)生故障，系統(tǒng)仍能提供服務(wù)系統(tǒng)的容錯(cuò)能力用可允許的故障節(jié)點(diǎn)數(shù)量來(lái)衡量。如果系統(tǒng)能夠在k個(gè)節(jié)點(diǎn)出現(xiàn)故障的情況下仍然能夠完成任務(wù)，則稱該系統(tǒng)為k-容錯(cuò)系統(tǒng)。第六頁(yè)，共六十頁(yè)，2022年，8月28日失效（失?。┠Ｐ褪ь愋兔枋霰罎⑿允Х?wù)器停止。但在停止前一直正確工作遺漏性失敗

接收遺漏

發(fā)送遺漏服務(wù)器不能響應(yīng)連入的請(qǐng)求

服務(wù)器不能接收連入的消息

服務(wù)器不能發(fā)送消息定時(shí)性失效服務(wù)器的響應(yīng)超出規(guī)定的時(shí)間間隔響應(yīng)性失效

值失效

狀態(tài)變遷失效服務(wù)器的響應(yīng)不正確

響應(yīng)的值是錯(cuò)誤的服務(wù)器偏離正確的控制流任意性失效服務(wù)器在任意的時(shí)刻產(chǎn)生任意的響應(yīng)第七頁(yè)，共六十頁(yè)，2022年，8月28日失效（失?。┠Ｐ褪∧Ｐ凸收?沉靜系統(tǒng)(fail-silent)。由于故障產(chǎn)生的系統(tǒng)停止不能被其他節(jié)點(diǎn)感知。故障-停止系統(tǒng)(fail-stop)。由于節(jié)點(diǎn)故障產(chǎn)生的系統(tǒng)停止能夠被其他節(jié)點(diǎn)感知。故障-安全系統(tǒng)(fail-safe)。由于節(jié)點(diǎn)故障而停止服務(wù)但不會(huì)產(chǎn)生隨機(jī)故障。拜占庭(Byzantine)故障系統(tǒng)（隨機(jī)故障系統(tǒng)）。由于故障導(dǎo)致系統(tǒng)產(chǎn)生任意的響應(yīng)。惡意的、難檢測(cè)。系統(tǒng)類型同步系統(tǒng)：在規(guī)定上限時(shí)間內(nèi)有響應(yīng)異步系統(tǒng)：響應(yīng)時(shí)間沒有上限第八頁(yè)，共六十頁(yè)，2022年，8月28日基于冗余的失效屏蔽技術(shù)冗余類型信息冗余：如，海明碼。時(shí)間冗余：如，重發(fā)，重做物理冗余：軟件:如復(fù)制進(jìn)程硬件：如復(fù)制電路信息冗余和物理冗余都屬于空間冗余第九頁(yè)，共六十頁(yè)，2022年，8月28日基于冗余的失效屏蔽技術(shù)三模冗余方法(TMR,TripleModularRedundancy)三路表決器(voter)：三路輸入，一路輸出可屏蔽一路錯(cuò)誤（任意性失效）第十頁(yè)，共六十頁(yè)，2022年，8月28日10.2進(jìn)程的恢復(fù)進(jìn)程容錯(cuò)進(jìn)程組：具有相同功能的進(jìn)程集合組成員籍加入：具有成員籍脫離：注銷成員籍多組成員籍：同時(shí)屬于不同的組設(shè)計(jì)問題需要復(fù)制的程度無(wú)故障時(shí)，平均情況和最壞情況下的系統(tǒng)性能有故障時(shí)，平均情況和最壞情況下的系統(tǒng)性能

第十一頁(yè)，共六十頁(yè)，2022年，8月28日組的管理（1）扁平組：所有成員是同等的層次組：協(xié)調(diào)程序和工作程序第十二頁(yè)，共六十頁(yè)，2022年，8月28日組的管理（2）組成員籍管理組服務(wù)器：集中式管理多播通信：分布式管理NN故障后，組的退出fail-stop類型：發(fā)送Goodbye信息fail-silent類型：需其他成員發(fā)現(xiàn)第十三頁(yè)，共六十頁(yè)，2022年，8月28日組的管理（3）消息同步加入組時(shí)：立刻收到所有消息退出組時(shí)：不再收到任何消息組的重建當(dāng)組崩潰后，重新建立組重建協(xié)議第十四頁(yè)，共六十頁(yè)，2022年，8月28日復(fù)制容錯(cuò)技術(shù)（1）復(fù)制容錯(cuò)用多個(gè)相同的進(jìn)程，屏蔽個(gè)別故障進(jìn)程的故障冗余度：相同進(jìn)程的個(gè)數(shù)基于主進(jìn)程協(xié)議(primary-based)結(jié)構(gòu)：分層組結(jié)構(gòu)協(xié)議：primary-backup協(xié)議復(fù)制寫協(xié)議(replicated-write)結(jié)構(gòu)：平面組結(jié)構(gòu)協(xié)議：基于表決數(shù)協(xié)議第十五頁(yè)，共六十頁(yè)，2022年，8月28日主-后備方法（primarybackup）主服務(wù)器失效，則后備服務(wù)器接替其任務(wù)

接管模型客戶主進(jìn)程后備進(jìn)程1.請(qǐng)求2.執(zhí)行3.更新4.執(zhí)行

6.應(yīng)答5.確認(rèn)第十六頁(yè)，共六十頁(yè)，2022年，8月28日復(fù)制容錯(cuò)技術(shù)（2）k-容錯(cuò)度：在有k個(gè)進(jìn)程發(fā)生故障時(shí)，系統(tǒng)仍能正確運(yùn)行Fail-stop型故障：對(duì)k-容錯(cuò)度，需k+1冗余度拜占庭型故障：對(duì)k-容錯(cuò)度，需2k+1冗余度容錯(cuò)的前提條件

所有的請(qǐng)求到達(dá)所有服務(wù)器的順序應(yīng)相同原子廣播問題（atomicbroadcastproblem）

第十七頁(yè)，共六十頁(yè)，2022年，8月28日故障檢測(cè)進(jìn)程故障檢測(cè)主動(dòng)式方法，發(fā)送“Areyoualive?”消息常用方法，ping操作被動(dòng)式方法，等待發(fā)來(lái)的故障消息超時(shí)機(jī)制，在規(guī)定時(shí)間內(nèi)作出響應(yīng)，否則，為故障第十八頁(yè)，共六十頁(yè)，2022年，8月28日10.3可靠的客戶服務(wù)器通信點(diǎn)到點(diǎn)通信可靠通信：防止通信失效遺漏型失效：消息丟失解決策略：利用可靠的傳輸協(xié)議，如TCP協(xié)議。確認(rèn)和重新傳輸連接崩潰失效：連接中斷不能屏蔽，需重建連接解決策略：拋出例外，通知客戶進(jìn)程第十九頁(yè)，共六十頁(yè)，2022年，8月28日RPC失效(1)RPC失效5種失效情況客戶服務(wù)器1.定位失敗2.請(qǐng)求消息丟失3.服務(wù)器失敗5.客戶失敗4.應(yīng)答消息丟失第二十頁(yè)，共六十頁(yè)，2022年，8月28日RPC失效(2)1、客戶不能定位服務(wù)器可能服務(wù)器被修改，客戶存根（stub）與新的服務(wù)器存根不匹配解決策略：拋出例外信號(hào)SIG-NOSERVER，然后由編寫的信號(hào)處理程序做相應(yīng)處理。沒有透明性2、丟失請(qǐng)求消息解決策略：客戶發(fā)現(xiàn)超時(shí)，重發(fā)請(qǐng)求第二十一頁(yè)，共六十頁(yè)，2022年，8月28日RPC失效(3)3、服務(wù)器崩潰崩潰情況解決策略：至少一次語(yǔ)義最多一次語(yǔ)義聽之任之確切一次語(yǔ)義(a)正常情況;(b)在執(zhí)行后崩潰(c)在執(zhí)行前崩潰第二十二頁(yè)，共六十頁(yè)，2022年，8月28日RPC失效(4)舉例：打印文本。在打印服務(wù)器失效時(shí)，客戶和服務(wù)器的策略組合M(發(fā)送完成消息)；P(打印)；C(崩潰)客戶服務(wù)器策略M->P策略P->M重發(fā)策略MPCMC(P)C(MP)PMCPC(M)C(PM)總是重發(fā)請(qǐng)求DUPOKOKDUPDUPOK不重發(fā)OKOKOK當(dāng)收到ACK時(shí)，重發(fā)DUPOKDUPOK當(dāng)沒收到ACK時(shí)，重發(fā)OKOKOKDUPOK第二十三頁(yè)，共六十頁(yè)，2022年，8月28日RPC失效(5)4.丟失應(yīng)答消息解決策略定時(shí)器，超時(shí)檢測(cè)，重發(fā)請(qǐng)求問題：重復(fù)操作解決策略構(gòu)造冪等性操作（idempotent）順序號(hào)標(biāo)志：區(qū)分原始消息和重發(fā)消息第二十四頁(yè)，共六十頁(yè)，2022年，8月28日RPC失效(6)5.客戶崩潰孤兒進(jìn)程問題解決策略：根除法：利用日志，撤銷孤兒進(jìn)程再生法：設(shè)置時(shí)期（epoch）。到達(dá)epoch時(shí)，重新創(chuàng)建客戶進(jìn)程溫和再生法：撤銷無(wú)主的孤兒過(guò)期法：設(shè)置時(shí)間量T。如果超過(guò)T，則撤銷客戶的請(qǐng)求（不一定是孤兒）。第二十五頁(yè)，共六十頁(yè)，2022年，8月28日10.4可靠的分組通信假定：進(jìn)程操作正確，在通信中不加入或退出分組可靠多播將每一個(gè)消息遞交給每一個(gè)當(dāng)前組員不可靠多播不能保證將一個(gè)多播消息遞交給所有組員SRRRmmm第二十六頁(yè)，共六十頁(yè)，2022年，8月28日基本的可靠多播模式解決策略消息傳播：記錄順序號(hào)報(bào)告反饋：如果丟失，返回負(fù)ACK，重新發(fā)送第二十七頁(yè)，共六十頁(yè)，2022年，8月28日可靠多播的可伸縮性（1）反饋爆炸問題：N→1簡(jiǎn)單解決方案：接收者只返回NACK消息發(fā)送者保留消息到歷史緩沖區(qū)歷史緩沖區(qū)溢出問題NACK反饋爆炸SRRRACKACKACK第二十八頁(yè)，共六十頁(yè)，2022年，8月28日可靠多播的可伸縮性（2）反饋抑制技術(shù)（SRM,可伸縮的可靠多播協(xié)議）不返回ACK，只返回NACK壓縮NACK。隨機(jī)延遲后，如果接收到重發(fā)消息，才發(fā)NACK用途：例，白板系統(tǒng)第二十九頁(yè)，共六十頁(yè)，2022年，8月28日可靠多播的可伸縮性（3）層次化反饋控制一個(gè)大組劃分成若干個(gè)小組，形成一個(gè)樹發(fā)送者所在的小組為樹的根每個(gè)局部協(xié)調(diào)者轉(zhuǎn)發(fā)消息給它的孩子局部協(xié)調(diào)者負(fù)責(zé)請(qǐng)求重發(fā)第三十頁(yè)，共六十頁(yè)，2022年，8月28日原子性多播(1)原子性多播問題消息要么遞交給所有組員，要么一個(gè)也不遞交對(duì)于每個(gè)組員，所有消息的遞交次序是相同的用途舉例：主動(dòng)式復(fù)制協(xié)議故障組員處理出故障后，自動(dòng)退出組修復(fù)后，重新加入組組視圖G（groupview）在發(fā)送一個(gè)消息時(shí)，屬于該組的所有進(jìn)程的名單第三十一頁(yè)，共六十頁(yè)，2022年，8月28日原子性多播(2)視圖變更向所有的組員宣布加入或者退出該組帶有通信層的分布式系統(tǒng)結(jié)構(gòu)能區(qū)分消息接收和消息遞交第三十二頁(yè)，共六十頁(yè)，2022年，8月28日原子性多播(3)虛擬同步(virtuallysynchronous)的可靠多播如果發(fā)送者在多播時(shí)崩潰，消息將遞交給其他所有組員，或者，被它們丟棄原理：所有多播在視圖變更之間進(jìn)行第三十三頁(yè)，共六十頁(yè)，2022年，8月28日原子性多播(4)消息遞交次序1.可靠的無(wú)序多播不保證接收到消息的遞交次序是相同的舉例：ProcessP1ProcessP2ProcessP3sendsm1receivesm1receivesm2sendsm2receivesm2receivesm1時(shí)間第三十四頁(yè)，共六十頁(yè)，2022年，8月28日原子性多播(5)2.可靠的FIFO次序多播從同一發(fā)送者接收到的消息的遞交次序與發(fā)送次序一致舉例：發(fā)送者P1,P4；接收者P2,P3ProcessP1ProcessP2ProcessP3ProcessP4sendsm1receivesm1receivesm3sendsm3sendsm2receivesm3receivesm1sendsm4receivesm2receivesm2receivesm4receivesm4時(shí)間第三十五頁(yè)，共六十頁(yè)，2022年，8月28日原子性多播(6)3.可靠的因果次序多播具有因果關(guān)系的消息的遞交次序與發(fā)送次序一致，無(wú)論消息是否由同一發(fā)送者發(fā)送的可使用時(shí)間戳向量實(shí)現(xiàn)第三十六頁(yè)，共六十頁(yè)，2022年，8月28日原子性多播(7)4.全序遞交（Total-ordereddelivery）對(duì)于所有組員的消息遞交次序，是相同的。原子性多播：提供全序遞交的虛擬同步可靠多播第三十七頁(yè)，共六十頁(yè)，2022年，8月28日原子性多播(10)虛擬同步的可靠多播的6個(gè)版本多播基本的消息次序全序遞交?可靠多播無(wú)NoFIFO多播FIFO次序型遞交No因果多播因果-次序型遞交No原子性多播無(wú)YesFIFO原子性多播FIFO-次序型遞交Yes因果原子性多播因果-次序型遞交Yes第三十八頁(yè)，共六十頁(yè)，2022年，8月28日原子性多播(10)虛擬同步性的實(shí)現(xiàn)舉例：ISIS系統(tǒng)P4發(fā)現(xiàn)P7崩潰，多播視圖變更消息(vc)P6發(fā)送所有不穩(wěn)定消息，后跟flush（刷新）消息P6接收到所有返回的flush消息后，確定新的視圖Gi+1第三十九頁(yè)，共六十頁(yè)，2022年，8月28日10.5分布式提交兩階段提交協(xié)議

(a)協(xié)調(diào)者的有限狀態(tài)機(jī)(b)參與者的有限狀態(tài)機(jī)第四十頁(yè)，共六十頁(yè)，2022年，8月28日兩階段提交協(xié)議當(dāng)參與者P處于READY狀態(tài)，并已與另一參與者Q通信之后，可能采取的動(dòng)作.進(jìn)程Q狀態(tài)進(jìn)程P動(dòng)作COMMIT變遷到COMMITABORT變遷到ABORTINIT變遷到ABORTREADY與其他參與者聯(lián)絡(luò)第四十一頁(yè)，共六十頁(yè)，2022年，8月28日兩階段提交協(xié)議協(xié)調(diào)者執(zhí)行步驟writeSTART_2PCtolocallog;

multicastVOTE_REQUESTtoallparticipants;

whilenotallvoteshavebeencollected{

waitforanyincomingvote;

iftimeout{

writeGLOBAL_ABORTtolocallog;

multicastGLOBAL_ABORTtoallparticipants;

exit;

}

recordvote;

}

ifallparticipantssentVOTE_COMMITandcoordinatorvotesCOMMIT{

writeGLOBAL_COMMITtolocallog;

multicastGLOBAL_COMMITtoallparticipants;

}else{

writeGLOBAL_ABORTtolocallog;

multicastGLOBAL_ABORTtoallparticipants;

}第四十二頁(yè)，共六十頁(yè)，2022年，8月28日兩階段提交協(xié)議參與者執(zhí)行步驟writeINITtolocallog;

waitforVOTE_REQUESTfromcoordinator;

iftimeout{

writeVOTE_ABORTtolocallog;

exit;}

ifparticipantvotesCOMMIT{

writeVOTE_COMMITtolocallog;

sendVOTE_COMMITtocoordinator;

waitforDECISIONfromcoordinator;

iftimeout{

multicastDECISION_REQUESTtootherparticipants;

waituntilDECISIONisreceived;/*remainblocked*/

writeDECISIONtolocallog;}ifDECISION==GLOBAL_COMMIT

writeGLOBAL_COMMITtolocallog;

elseifDECISION==GLOBAL_ABORT

writeGLOBAL_ABORTtolocallog;

}else{

writeVOTE_ABORTtolocallog;

sendVOTEABORTtocoordinator;

}第四十三頁(yè)，共六十頁(yè)，2022年，8月28日兩階段提交協(xié)議對(duì)來(lái)自其他參入者的決策請(qǐng)求的處理步驟/*executedbyseparatethread*/whiletrue{

waituntilanyincomingDECISION_REQUESTisreceived;/*remainblocked*/

readmostrecentlyrecordedSTATEfromthelocallog;

ifSTATE==GLOBAL_COMMIT

sendGLOBAL_COMMITtorequestingparticipant;

elseifSTATE==INITorSTATE==GLOBAL_ABORT

sendGLOBAL_ABORTtorequestingparticipant;

else

skip;/*participantremainsblocked*/第四十四頁(yè)，共六十頁(yè)，2022年，8月28日三階段提交協(xié)議目的：在失敗即停故障情況下，避免進(jìn)程阻塞

(a)協(xié)調(diào)者的有限狀態(tài)機(jī)(b)參與者的有限狀態(tài)機(jī)第四十五頁(yè)，共六十頁(yè)，2022年，8月28日三階段提交協(xié)議協(xié)調(diào)者（WAIT）：發(fā)現(xiàn)超時(shí),則abort協(xié)調(diào)者(PRECOMMIT)：發(fā)現(xiàn)超時(shí),繼續(xù)commit參與者(INIT)：發(fā)現(xiàn)超時(shí),則abort參與者(READY)：發(fā)現(xiàn)超時(shí)，詢問其他參與者如果有COMIT/ABORT,則執(zhí)行如果都為PRECOMMIT,則commit如果有INIT，則abort如果都為READY，則abort參與者(PRECOMMIT)：發(fā)現(xiàn)超時(shí),繼續(xù)commit第四十六頁(yè)，共六十頁(yè)，2022年，8月28日10.6恢復(fù)處理目的:使系統(tǒng)從錯(cuò)誤狀態(tài)到正確狀態(tài)類型：向后恢復(fù)(backwardrecovery)：使系統(tǒng)返回到上一個(gè)正確狀態(tài)向前恢復(fù)(forwardrecovery)：使系統(tǒng)前進(jìn)到一個(gè)正確的新狀態(tài)檢查點(diǎn)技術(shù)(checkpoint)消息日志技術(shù)（logging）基于發(fā)送者的寫日志基于接受者的寫日志第四十七頁(yè)，共六十頁(yè)，2022年，8月28日可恢復(fù)的穩(wěn)定存儲(chǔ)器穩(wěn)定存儲(chǔ)器狀態(tài)穩(wěn)定存儲(chǔ)狀態(tài)崩潰狀態(tài)：在更新驅(qū)動(dòng)器1后發(fā)生壞點(diǎn)狀態(tài)：出現(xiàn)壞扇區(qū)第四十八頁(yè)，共六十頁(yè)，2022年，8月28日檢查點(diǎn)分布式快照（snapshot）一致的全局狀態(tài)恢復(fù)線最近的分布式快照，最近的一致性割集舉例第四十九頁(yè)，共六十頁(yè)，2022年，8月28日獨(dú)立檢查點(diǎn)（1）獨(dú)立檢查點(diǎn)每個(gè)進(jìn)程的檢查點(diǎn)是相互獨(dú)立的問題：多米諾效應(yīng)局部狀態(tài)沒有形成分布式快照，導(dǎo)致級(jí)聯(lián)回滾（cascadedrollback）過(guò)程舉例：只有m,m'的接受記錄，沒有發(fā)送記錄第五十頁(yè)，共六十頁(yè)，2022年，8月28日獨(dú)立檢查點(diǎn)（2）解決方法設(shè)CP[i](m)表示Pi的第m個(gè)檢查點(diǎn)設(shè)INT[i](m)表示CP[i](m)和CP[i](m-1)之間的間隔當(dāng)Pi在INT[i](m)中發(fā)送消息x時(shí)，帶上(i,m)當(dāng)Pj在INT[j](n)收到x后，記錄依賴關(guān)系INT[i](m)→INT[j](n)Pj在CP[j](n)中加入該依賴關(guān)系當(dāng)Pi需要回滾到CP[i](m-1)時(shí)，則Pj需要回滾到CP[j](n-1)第五十一頁(yè)，共六十頁(yè)，2022年，8月28日協(xié)作式檢查點(diǎn)（2）同步寫檢查點(diǎn)所有進(jìn)程同步地在本地穩(wěn)存中寫檢查點(diǎn)，使保存的狀態(tài)自動(dòng)地保持全局一致。非阻塞式算法分布式快照算法兩階段阻塞式算法CHECKPOINT_REQUEST：協(xié)調(diào)者發(fā)送命令，所有進(jìn)程寫局部檢查點(diǎn)，將要發(fā)送消息插入隊(duì)列，向協(xié)調(diào)者返回ACK消息。CHECKPOINT_DONE：當(dāng)協(xié)調(diào)者收到所有的ACK后，發(fā)送命令，所有進(jìn)程繼續(xù)第五十二頁(yè)，共六十頁(yè)，2022年，8月28日協(xié)作式檢查點(diǎn)（2）改進(jìn)算法--增量快照算法最近發(fā)送進(jìn)程：進(jìn)程P在上一個(gè)檢查點(diǎn)向其發(fā)送過(guò)請(qǐng)求的進(jìn)程。協(xié)調(diào)者恢復(fù)依賴進(jìn)程：在上一個(gè)檢查點(diǎn)，直接或間接收到協(xié)調(diào)者消息的進(jìn)程。因此，由最近發(fā)送進(jìn)程的閉包集組成。協(xié)調(diào)者只向其最近發(fā)送進(jìn)程多播命令。當(dāng)進(jìn)程P收到寫檢查點(diǎn)請(qǐng)求時(shí)，僅向P的最近發(fā)送進(jìn)程，轉(zhuǎn)發(fā)該請(qǐng)求。每個(gè)進(jìn)程僅轉(zhuǎn)發(fā)該請(qǐng)求一次。當(dāng)所有進(jìn)程被確認(rèn)后，協(xié)調(diào)者發(fā)送第二個(gè)多播命令，開始實(shí)際寫檢查點(diǎn)第五十三頁(yè)，共六十頁(yè)，2022年，8月28日消息日志（1）基本思想減少檢查點(diǎn)的個(gè)數(shù)如果消息的傳送可以重放(replay)，則可取得全局一致性狀態(tài)，而不必從穩(wěn)存恢復(fù)。分段確定性模型(piecewisedeterministicmodel)，假定：每個(gè)進(jìn)程在一序列的間隔中執(zhí)行，有先后次序，是確定性的。每個(gè)間隔是可重放