CynosDB+for+PG+備份與恢復(fù)+-+騰訊云+-+章愛(ài)國(guó)

1、CynosDB for PG 備份與恢復(fù)章愛(ài)國(guó) 騰訊云高級(jí)工程師CynosDB for PG簡(jiǎn)介CynosDB for PG 備份與恢復(fù)總結(jié)與回顧 CynosDB for PG 簡(jiǎn)介CynosDB for PG 整體架構(gòu) 計(jì)算層 存儲(chǔ)層 Meta Center Cluster 備份與恢復(fù)服務(wù)StoreNode Service數(shù)據(jù)模型 Pool Segment SG（Segment Group） BlockStoreNode Service之log寫(xiě)REDO LOG下沉BLOCK 異步回放StoreNode Service 之 BLOCK多版本讀LSN (Log Sequence Number)

2、XlogRecordsCPL (Consistency Point LSN)VDL (Volumn Durable LSN)RPL(Read Point LSN)MRPL (minimal read point lsn) CynosDB for PG 備份與恢復(fù)備份與恢復(fù)原理設(shè)計(jì)增量log流備份設(shè)計(jì)： 增量日志流文件在cos上組織方式：/group_id_/log/log_全量備份設(shè)計(jì)全量備份文件在cos上組織方式：/group_id_/snapshot/snapshot_ snapshot文件內(nèi)容中還會(huì)存以下信息 end_vdl end_vdl_ts end_offset數(shù)據(jù)恢復(fù)設(shè)計(jì)指定時(shí)間

3、點(diǎn)前，找到可恢復(fù)的最近VDL基于這VDL點(diǎn)，構(gòu)造存儲(chǔ)層pool內(nèi)每個(gè)segment group的snapshot data備份流程核心流程日志中斷處理流程恢復(fù)流程 根據(jù)recover_ts找可恢復(fù)的最近VDL點(diǎn) 基于VDL點(diǎn)重構(gòu)pool snapshot data根據(jù)recover_ts找可恢復(fù)的最近VDL點(diǎn)情形一: 所有segment group 的日志流是連續(xù)的1.找當(dāng)前snapshot銜接的log文件: log_start_offset snapshot_start_offset.2. 判斷日志流是否銜接 last_log_end_offset = = next_log_start_offset, 直至log文件的last_vdl_ts recover_ts.情形二：部分segment group的日志流是連續(xù)的 找當(dāng)前snapshot銜接的log流所能覆蓋最大vdl:sp1_end_vdl, log1_end_vdl sp2_end_vdl, log2_end_vdl spn_end_vdl, logn_end_vdl != NULL基于VDL點(diǎn)重構(gòu)snapshot基于VDL的數(shù)據(jù)恢復(fù) apply log結(jié)束點(diǎn)： 掃描第一條lsn大于該VDL的日志記錄.總