iMaster NCE-WAN異地容災(zāi)技術(shù)白皮書

1、 DOCPROPERTY PartNumber DOCPROPERTY Product&Project Name iMaster NCE-WAN DOCPROPERTY DocumentName 異地容災(zāi)技術(shù)白皮書目 錄 TOC h z t 標(biāo)題 1,1,標(biāo)題 2,2,標(biāo)題 3,3, 標(biāo)題 4,4, 標(biāo)題 5,5, 標(biāo)題 7,1, 標(biāo)題 8,2, 標(biāo)題 9,3, Heading1 No Number,1,Appendix heading 1,1,Appendix heading 2,2,Appendix heading 3,3,Appendix heading 4,4,Appendix hea

2、ding 5,5, Heading 1,1,Heading 2,2,Heading 3,3, Heading 4,4, Heading 5,5, Heading 7,1,Heading 8,2,Heading 9,3 HYPERLINK l _Toc9496799 1 概述 技術(shù)特色 HYPERLINK l _ZH-CN_TOPIC_0169512173 o 1.1 產(chǎn)生背景 HYPERLINK l _ZH-CN_TOPIC_0169512174 o 1.2 主要功能 HYPERLINK l _ZH-CN_TOPIC_0169512175 o 1.3 技術(shù)特色產(chǎn)生背景隨著企業(yè)規(guī)模的擴(kuò)展，簡(jiǎn)單的

3、數(shù)據(jù)備份已經(jīng)無(wú)法滿足關(guān)鍵業(yè)務(wù)對(duì)系統(tǒng)的可用性、實(shí)時(shí)性、安全性的需要。更重要的是備份的數(shù)據(jù)往往會(huì)因?yàn)楦鞣N因素而遭到毀壞，如地震、火災(zāi)、丟失等。對(duì)于一個(gè)大企業(yè)、一個(gè)數(shù)據(jù)中心來(lái)說(shuō)，時(shí)時(shí)都有大量的終端用戶使用其業(yè)務(wù)，任何的業(yè)務(wù)中斷、數(shù)據(jù)丟失都會(huì)使企業(yè)遭受嚴(yán)重的損失。如何提高系統(tǒng)的高可用性已經(jīng)成為企業(yè)用戶最關(guān)心的問(wèn)題，軟件系統(tǒng)的高可用設(shè)計(jì)也成為重中之重。異地容災(zāi)解決方案是通過(guò)在不同的地點(diǎn)建立備份系統(tǒng)，系統(tǒng)之間可以進(jìn)行健康狀態(tài)監(jiān)視和功能切換，當(dāng)一處系統(tǒng)因意外（如火災(zāi)、地震等）停止工作時(shí)，整個(gè)應(yīng)用系統(tǒng)可以切換到另一處，使得該系統(tǒng)功能可以繼續(xù)正常工作，提高系統(tǒng)應(yīng)對(duì)災(zāi)難的能力。主要功能為了提升NCE-WAN應(yīng)對(duì)災(zāi)

4、難的能力，提高可靠性，在NCE-WAN本地集群的基礎(chǔ)上，增加了異地容災(zāi)的設(shè)計(jì)。異地容災(zāi)的手動(dòng)災(zāi)備保護(hù)如下：在兩個(gè)地域各部署一套NCE-WAN集群，互相形成主備保護(hù)，重要的業(yè)務(wù)數(shù)據(jù)會(huì)實(shí)時(shí)從主集群同步到備集群，主備之間可以分別登錄維護(hù)管理系統(tǒng)查看對(duì)方的連接狀態(tài)。在主集群故障無(wú)法恢復(fù)的情況下，管理員可以登錄維護(hù)管理系統(tǒng)，對(duì)備集群進(jìn)行人工升主以接管業(yè)務(wù)，保證業(yè)務(wù)可以快速恢復(fù)。由人工確認(rèn)原主備集群狀態(tài)決定如何進(jìn)行主備倒換，可以有效防止雙主情況的出現(xiàn)。技術(shù)特色應(yīng)用級(jí)容災(zāi)NCE-WAN容災(zāi)方案非簡(jiǎn)單的數(shù)據(jù)級(jí)容災(zāi)（即只是做到了數(shù)據(jù)的異地備份），而是應(yīng)用系統(tǒng)級(jí)的容災(zāi)，當(dāng)主集群故障后，除了數(shù)據(jù)不丟失以外還能實(shí)現(xiàn)災(zāi)

5、備系統(tǒng)快速上線接管業(yè)務(wù)。備集群具有主集群相同的業(yè)務(wù)能力，可快速恢復(fù)業(yè)務(wù)容災(zāi)方案要求備集群節(jié)點(diǎn)數(shù)量與主集群相同，使備集群具備了與主集群相同的業(yè)務(wù)處理能力，即完全接管主集群業(yè)務(wù)的能力，可以在主集群故障后快速接管業(yè)務(wù)并上線。南北向統(tǒng)一VIP，實(shí)現(xiàn)主備容災(zāi)系統(tǒng)對(duì)外統(tǒng)一的訪問(wèn)地址，可以滿足更多業(yè)務(wù)場(chǎng)景。靈活的容災(zāi)配置，方便的容災(zāi)維護(hù)能力容災(zāi)提供了便捷的運(yùn)維界面，使管理員可以方便的查看容災(zāi)系統(tǒng)狀態(tài)，修改容災(zāi)系統(tǒng)參數(shù)，進(jìn)行容災(zāi)倒換操作。數(shù)據(jù)同步策略分類設(shè)置根據(jù)業(yè)務(wù)數(shù)據(jù)的差異，將業(yè)務(wù)數(shù)據(jù)分成多種類別，提供不同的同步策略。將只有本地集群使用的數(shù)據(jù)存放本地DB，不進(jìn)行主備同步，減小對(duì)帶寬的要求；將業(yè)務(wù)配置類數(shù)據(jù)存

6、放于業(yè)務(wù)DB，并配置實(shí)時(shí)同步策略，保證數(shù)據(jù)不丟失，RPO基本為0，備升主后不需要進(jìn)行對(duì)賬即可上線提供服務(wù)，提升了升主的性能。技術(shù)實(shí)現(xiàn)REF _ZH-CN_TOPIC_0169512177 r h * MERGEFORMAT 2.1 REF _ZH-CN_TOPIC_0169512177-chtext h * MERGEFORMAT 異地容災(zāi)組網(wǎng)基礎(chǔ)概念REF _ZH-CN_TOPIC_0169512178 r h * MERGEFORMAT 2.2 REF _ZH-CN_TOPIC_0169512178-chtext h * MERGEFORMAT 異地容災(zāi)組件組成REF _ZH-CN_TOP

7、IC_0169512163 r h * MERGEFORMAT 2.3 REF _ZH-CN_TOPIC_0169512163-chtext h * MERGEFORMAT 異地容災(zāi)規(guī)格REF _ZH-CN_TOPIC_0169512164 r h * MERGEFORMAT 2.4 REF _ZH-CN_TOPIC_0169512164-chtext h * MERGEFORMAT 基本原理REF _ZH-CN_TOPIC_0169512168 r h * MERGEFORMAT 2.5 REF _ZH-CN_TOPIC_0169512168-chtext h * MERGEFORMAT 典

8、型業(yè)務(wù)場(chǎng)景 HYPERLINK l _ZH-CN_TOPIC_0169512177 o 2.1 異地容災(zāi)組網(wǎng)基礎(chǔ)概念 HYPERLINK l _ZH-CN_TOPIC_0169512178 o 2.2 異地容災(zāi)組件組成 HYPERLINK l _ZH-CN_TOPIC_0169512163 o 2.3 異地容災(zāi)規(guī)格 HYPERLINK l _ZH-CN_TOPIC_0169512164 o 2.4 基本原理 HYPERLINK l _ZH-CN_TOPIC_0169512168 o 2.5 典型業(yè)務(wù)場(chǎng)景異地容災(zāi)組網(wǎng)基礎(chǔ)概念此處以軟銀場(chǎng)景舉例，NCE-WAN部署在主備兩個(gè)站點(diǎn)中的服務(wù)器上。NCE

9、-WAN分業(yè)務(wù)面和管理面，管理面可以獨(dú)立登錄UI，可進(jìn)行容災(zāi)等維護(hù)操作。NCE-WAN控制器的南北向負(fù)載均衡虛IP可以不一樣，但需要在各自路由器上配置NAT策略，將NCE-WAN的小網(wǎng)地址轉(zhuǎn)化成統(tǒng)一的公網(wǎng)IP，對(duì)外體現(xiàn)還是一樣的。由于兩邊南北向大網(wǎng)IP相同，需要在路由器上配置路由優(yōu)先級(jí)，主集群高優(yōu)先級(jí)，確保外部訪問(wèn)的是主集群。當(dāng)災(zāi)難發(fā)生需要主備切換時(shí)，除了在控制器管理面進(jìn)行容災(zāi)集群主備倒換操作，還需要在路由器上配置優(yōu)先級(jí)，將新主集群配置高優(yōu)先級(jí)。NBI：北向IP地址；NBI VIP：控制器內(nèi)部的北向虛IP地址，通過(guò)Router/FW將外部訪問(wèn)的NBI IP地址轉(zhuǎn)化成內(nèi)部的NBI VIP地址；S

10、BI：南向IP地址；SBI VIP：控制器內(nèi)部的南向虛IP地址，通過(guò)Router/FW將外部訪問(wèn)的SBI IP地址轉(zhuǎn)化成內(nèi)部的SBI VIP地址；Mgr VIP：管理面訪問(wèn)的北向虛IP地址，該IP地址客戶也可以NAT成大網(wǎng)IP地址訪問(wèn)，但NAT的大網(wǎng)IP需要不同；L3：基于三層網(wǎng)絡(luò)的NCE-WAN主備集群間心跳、數(shù)據(jù)同步通道，通過(guò)打通NCE-WAN集群的內(nèi)部網(wǎng)絡(luò)平面實(shí)現(xiàn)。異地容災(zāi)組件組成DRMgr Service：容災(zāi)狀態(tài)管理模塊，是一個(gè)獨(dú)立的微服務(wù)進(jìn)程，主要維護(hù)容災(zāi)關(guān)系，進(jìn)行主備仲裁，執(zhí)行容災(zāi)倒換等。NCE-WAN：控制器服務(wù)進(jìn)程。GaussDB：存放業(yè)務(wù)配置類數(shù)據(jù)的數(shù)據(jù)庫(kù)，主備間以同步方式

11、同步數(shù)據(jù)。DrProduct Service：同步主備間FI中HDFS的數(shù)據(jù)。ACA Nginx：同步主備間Portal自定義模板文件。異地容災(zāi)規(guī)格容災(zāi)指標(biāo)是指在當(dāng)系統(tǒng)發(fā)生災(zāi)難（地震、洪水等）或長(zhǎng)時(shí)間無(wú)法恢復(fù)的故障時(shí)，NCE-WAN在災(zāi)難過(guò)程中的最大數(shù)據(jù)丟失量及從災(zāi)難狀態(tài)恢復(fù)到可運(yùn)行狀態(tài)所需的時(shí)間，用于衡量容災(zāi)系統(tǒng)的數(shù)據(jù)冗余備份能力和業(yè)務(wù)恢復(fù)能力。指標(biāo)項(xiàng)指標(biāo)項(xiàng)描述限制條件配置類業(yè)務(wù)數(shù)據(jù)實(shí)時(shí)同步（同步機(jī)制）RPO=0min無(wú)。設(shè)備告警類業(yè)務(wù)數(shù)據(jù)實(shí)時(shí)同步（異步機(jī)制）RPO=1min無(wú)。異地容災(zāi)倒換切換時(shí)間(min)RTO=故障發(fā)現(xiàn)時(shí)間+15min(切換和啟動(dòng)時(shí)間)+設(shè)備上線時(shí)間125Mbps主備通

12、信帶寬，時(shí)延20ms。首次容災(zāi)配置數(shù)據(jù)同步時(shí)間(min)RTO=130 min125Mbps主備通信帶寬，1萬(wàn)設(shè)備的數(shù)據(jù)量（GaussDB （68GB）+HDFS（4GB）。HDFS數(shù)據(jù)同步（異步機(jī)制）RPO=90 min無(wú)文件同步（異步同步）RPO=3 min配置文件包含用戶定制Portal頁(yè)面文件、集群監(jiān)控配置文件基本原理數(shù)據(jù)同步原理NCE-WAN采用了GaussDB數(shù)據(jù)庫(kù)，數(shù)據(jù)同步主要依賴GaussDB提供的數(shù)據(jù)同步能力。NCE-WAN針對(duì)業(yè)務(wù)數(shù)據(jù)的特點(diǎn)，將DB分成了如下兩個(gè)：本地DB：保存集群獨(dú)有數(shù)據(jù)，這類數(shù)據(jù)不同步到備集群。優(yōu)點(diǎn)是提高性能，減小了主備間的數(shù)據(jù)同步量，降低帶寬壓力。DB

13、在集群內(nèi)部由HA提供主備保護(hù)，主集群內(nèi)部為主+同步備，備集群內(nèi)部為主+同步備，主備集群間本地DB的數(shù)據(jù)不進(jìn)行同步。業(yè)務(wù)DB：保存配置類數(shù)據(jù)，這類數(shù)據(jù)需要同步到備集群，理論上不允許丟失。解決了數(shù)據(jù)丟失問(wèn)題，備升主后不需要復(fù)雜的對(duì)賬流程即可提供服務(wù)，減小了故障恢復(fù)時(shí)間。DB在集群內(nèi)部由HA提供主備保護(hù)，主集群內(nèi)部為主+同步備，備集群內(nèi)部為同步備+異步備，兩個(gè)同步備都從主集群的DB主節(jié)點(diǎn)同步數(shù)據(jù)，異步備從備集群內(nèi)的同步備同步數(shù)據(jù)。因?yàn)闃I(yè)務(wù)DB是同步策略，在提高了RPO指標(biāo)的同時(shí)，對(duì)應(yīng)的性能會(huì)隨著主備站點(diǎn)間網(wǎng)絡(luò)時(shí)延增大而變差，因此建議網(wǎng)絡(luò)時(shí)延越小越好，推薦在20ms之內(nèi)，具體產(chǎn)品可以根據(jù)業(yè)務(wù)性能規(guī)格定

14、義相應(yīng)規(guī)格。心跳檢查原理NCE-WAN主備容災(zāi)由獨(dú)立微服務(wù)DRMgr Service控制，DRMgr Service單個(gè)站點(diǎn)內(nèi)部部署兩個(gè)節(jié)點(diǎn)，通過(guò)分布式鎖選取Leader。主備集群的Leader之間進(jìn)行心跳，如下圖所示：當(dāng)Leader節(jié)點(diǎn)故障，F(xiàn)ollower節(jié)點(diǎn)角色會(huì)轉(zhuǎn)變?yōu)長(zhǎng)eader，并與對(duì)端集群的Leader重新建立心跳。只要有DRMgr Service存活即可保證心跳的存在，提升了心跳的可靠性。手動(dòng)倒換流程集群的主備狀態(tài)變化完全由管理員人工單擊容災(zāi)運(yùn)維頁(yè)面上的倒換按鈕實(shí)現(xiàn)。具體流程如下所示：人工演練：主備集群間心跳正常，用于向客戶演示功能或客戶定期執(zhí)行此功能查看容災(zāi)功能是否可用。主集群

15、故障后備升主，掉電、地震等原因?qū)е轮骷赫w故障。具體流程如下圖：典型業(yè)務(wù)場(chǎng)景安裝部署全新安裝全新部署兩個(gè)控制器集群環(huán)境，對(duì)它們組建主備容災(zāi)關(guān)系，形成一主一備的主備容災(zāi)集群，形成數(shù)據(jù)、業(yè)務(wù)上的保護(hù)。局點(diǎn)改造局點(diǎn)已經(jīng)部署過(guò)控制器的情況下，客戶基于可靠性考慮，要求改造為容災(zāi)部署。例如XXX項(xiàng)目，原先NCE-WAN通過(guò)集群拉遠(yuǎn)方式進(jìn)行部署，考慮到方案的固有缺陷，客戶要求改造成標(biāo)準(zhǔn)的主備容災(zāi)方案部署。站點(diǎn)故障后，恢復(fù)容災(zāi)關(guān)系主備容災(zāi)站點(diǎn)中有一個(gè)站點(diǎn)遭到了破壞，恢復(fù)遭受破壞的站點(diǎn)，重新組建容災(zāi)關(guān)系。運(yùn)維能力可視化操作界面容災(zāi)提供了運(yùn)維界面，可以查看容災(zāi)狀態(tài)、數(shù)據(jù)同步狀態(tài)，修改容災(zāi)配置，執(zhí)行容災(zāi)倒換。人工演練在主備集群心跳連接正常的情況下，進(jìn)行主備倒換，給客戶展示