NSX-T Multisite災(zāi)備與雙活數(shù)據(jù)中心解決方案

1、NSX-T Multisite災(zāi)備與雙活數(shù)據(jù)中心解決方案4 建設(shè)雙數(shù)據(jù)中心的方法5雙活中心的物理架構(gòu)模型物理架構(gòu)的搭建是第一步內(nèi)網(wǎng)用戶端仲裁點的選擇數(shù)據(jù)中心一數(shù)據(jù)中心二FW6雙活項目需要考慮的方面應(yīng)用雙活方案，非常龐大， 層次很多。這里僅簡單地從 infrastructure這個層面來 討論主要分為： 網(wǎng)絡(luò)層應(yīng)用層（計算，VM等），負 載均衡數(shù)據(jù)庫層， 每家DB都有相應(yīng) 方案和要求存儲（data）層： RAID，磁 盤同步等方案7業(yè)務(wù)（應(yīng)用）的布放模式從某一個業(yè)務(wù)的角度來分析一個業(yè)務(wù)或者具有強耦合的一組業(yè)務(wù)需要考慮以下兩種模式，以滿足最終用戶的商業(yè)要求8B/S應(yīng)用的訪問路徑與關(guān)系特點：圖中的c

2、lient 是internet用戶，還是內(nèi)網(wǎng)用戶；作為用戶， 他們以什么樣的方式來訪問web層（例如電信用戶走電信，聯(lián) 通用戶走聯(lián)通線路，復(fù)雜的商業(yè)要求）；內(nèi)網(wǎng)用戶希望如何訪 問等B/S 應(yīng)用，通常分為web、app、DB 三層架構(gòu)B/S 應(yīng)用需要domain name （DNS)來相互訪問，name的訪問存 在在各層互訪中，例如web 以name來訪問app server每一個層次的訪問，都有選擇DC A 和DC B的可能；IT系統(tǒng)運維 必須對每一個應(yīng)用做出明確的指示，在每一層該如何選擇由于訪問路徑的復(fù)雜和多樣，我們需要有一定的限制，但又要 保持一定的靈活性； 同時DC間的距離和DC間互訪，

3、可能會導(dǎo)致 的通訊成本和應(yīng)用性能下降。這些因素綜合考量，達到一個較 好的平衡假設(shè)這些服務(wù)器除DB外，都以VMware VM的形式存在9每層都有ADC LB幫助均衡負載可能的情況Intranet/InternetADCWEBWEBWEBADCAPPAPPAPPADC數(shù)據(jù)中心(一)RouterRouterGTMGTMADCWEBWEBADCAPPAPPAPPADC數(shù)據(jù)中心(二)流量引導(dǎo)ORACLE RACORACLE RACiSession/EoIP/OTV/IPSEC展示層WEBiSession/EoIP/OTV/IPSEC應(yīng)用層WOM/EoIP/OTV/IPSEC數(shù)據(jù)庫10C/S應(yīng)用的訪問路徑

4、與關(guān)系特點：圖中的client 是internet用戶，還是內(nèi)網(wǎng)用戶C/S 應(yīng)用，通常分為 app、DB 兩層架構(gòu)C/S 應(yīng)用直接使用IP來相互訪問， 如果app server是一組機器（cluster），也需要SLB來分配請求同樣app server，會去調(diào)用一些依賴接口，以及DB假設(shè)這些服務(wù)器除DB外，都以VMware VM的形式存在11匯總以上各方面問題的答案，是設(shè)計雙活數(shù)據(jù)中心的基礎(chǔ)以下以VMware產(chǎn)品和解決方案，來探討一下網(wǎng)絡(luò)部分（包括LB） 用戶情況和用戶期望的匯總（舉例）：雙中心路程距離10KM，網(wǎng)絡(luò)設(shè)備已有，VM有300臺，DB為物理機IBM DB2使用IBM AIX的HA（

5、主 備模式）用戶client端全在內(nèi)網(wǎng)中，用戶希望各個院區(qū)的client都盡量訪問本院區(qū)的應(yīng)用資源（相同的 業(yè)務(wù)會在兩個DC同時存在）。DB層只有主院區(qū)為active，其他為standby應(yīng)用間調(diào)用盡量不要跨DC間（DCI）線路業(yè)務(wù)系統(tǒng)C/S和B/S均有用戶情況的匯總找出1-2個CS和BS應(yīng)用進行研究，做POC或其他技術(shù)跟進等12網(wǎng)絡(luò)角度的常用三種DR方法LB和網(wǎng)絡(luò)系統(tǒng)要相互合作LB流量引導(dǎo)的模式GTM根據(jù)地理位置或網(wǎng)絡(luò)距離智能選擇優(yōu)點：可以靈活分配，用戶體驗好缺點：故障切換有一定延遲，應(yīng)用必須支持DNS訪問RHI靜態(tài)路由注入+動態(tài)路由模式優(yōu)點：使用路由調(diào)整方式，切換速度快，應(yīng)用無需支持DNS

6、缺點：只能支持主備模式，不能同時使用N+M冗余模式 （F5 和AVI支持）（跨站點的cluster），F(xiàn)W也有類似方式優(yōu)點：切換迅速，應(yīng)用無需支持DNS缺點：對外有兩個或者兩個以上入口，需要人工分配，必須要有二層打通支持雙活方案就是靈活運用這幾種模型，來滿足用戶現(xiàn)實場景和需要13NSX-T Multisite14方式1-NSX-T 2.5 Multisite法NSX-T系統(tǒng)圖vCenter ComputevCenter ComputeSSBGPT0 GWSSSS1Arm LBLB Server PoolT1 GWDataplane Blue trafficCompute can be exte

7、nded between Sites ANDPrimary Site Active for North/South Blue AppsSSLB Server PoolNSX-TManager Cluster藍色系統(tǒng)網(wǎng)絡(luò)和網(wǎng)段上的VM，以DC1為主， DC2為備15方式1-NSX-T 2.5 Multisite法Active/Active Use CaseSecondary SitevCenterComputeNSX-TManager ClustervCenter ComputePrimary SiteSSSSSSLB Server PoolT0 GWBGPT1 GW1Arm LBDatapla

8、ne Green trafficCompute can be extended between Sites ANDSecondary Site Active for North/South Green AppsSSLB Server Pool綠色系統(tǒng)網(wǎng)絡(luò)和網(wǎng)段上的VM，以DC2為主， DC1為備16方式1-故障切換示意動畫T1-ServiRTT1-DistRTVM3VM2VM1VM3VM2VM1LS2 10.1.2.0/24LS1 10.1.1.0/24T1-stdalone-LBLS-VLAN999- 10.1.2.0/24VM4LS-VLAN999VM4LS-VLAN998 10.1.3.

9、0/24VM5LS-VLAN998VM5L2BridgeData Plane Recovery - LabT1-CSPT0-Lab3網(wǎng)絡(luò)切換后， SRM進行VM恢復(fù)17深藍色的T0/T1，seg網(wǎng)段，和網(wǎng)段上的VM，可以提供所有應(yīng)用服務(wù)，主要用于院區(qū)1用戶的業(yè) 務(wù)處理綠色的T0/T1，seg網(wǎng)段，和網(wǎng)段上的VM，可以提供所有應(yīng)用服務(wù)，主要用于院區(qū)2用戶的業(yè)務(wù) 處理兩套系統(tǒng)從VM的角度是完全一樣的，獨立的兩套（不包括物理機DB）當NSX-T T0/T1系統(tǒng)發(fā)生故障，會向并外的DC自動遷移（或者說當故障后，對端的各種網(wǎng)絡(luò) router，service會激活為active）接下來，利用SRM，進行V

10、M的恢復(fù)用戶訪問流量由于BGP路由更新，會從切換后的DC進入（紫色箭頭）NSX-T 2.5 Multisite 解釋災(zāi)備與雙活數(shù)據(jù)中心NSX-T Multisite第二部分19T1 GWT1 GW20.1.1.0/2420.1.2.0/24VM.11VM.12VM.13VM.14VM.15VM.16SLB SLBuser1 170.1.1.0/24gslbgslbL3L3L3L3Core sw集團骨干網(wǎng)user2Layer2 DCIBackup DBT0 GWNSXT系active DB 統(tǒng)T0 GW整體拓撲VMVM110.1.1.0/24202.用戶1訪問DC1的SLBweb-app-db；

11、用戶2訪問DC2的SLB-web-app-db, db在DC1，需要DCI支持正常狀態(tài)分析C/S和B/SL3 router與集團骨干動態(tài)路由，ospf/bgp/eigrpSLB應(yīng)發(fā)RHI host route（VS) NSXT與core sw 建立BGPSLB ，F(xiàn)W 可以使用N+M或cross DC cluster特性 DB為物理機，直連在core sw上Core sw之間有DCI互聯(lián)鏈路，詳細見P25-26 B/SUser1=院區(qū)一用戶，user2=院區(qū)二用戶DNS階段：GSLB通過LDNS判斷從哪個院區(qū)來的用戶，返回相應(yīng)DC的VIP用戶1訪問DC1的SLBweb-app-db；用戶2訪問

12、DC2的SLB-web-app-db, db在DC1，需要DCI支持 C/S應(yīng)用（經(jīng)過SLB或不經(jīng)過SLB）1.User1 的C/S應(yīng)用主用指向DC1的IP地址；User2主用指向DC2的IP地址 （人工分配的過程）21故障分析221.出口線路sw（圖中未畫出），L3router，SLB，F(xiàn)W單機故障或相關(guān)link fault，會導(dǎo)致路由，STP 重收斂（速度很快1s以下）硬件設(shè)備的主備切換，一般3秒即可完成。SLB和FW等session都有保持， 前端用戶無任何感知雙機均故障的情況B/S應(yīng)用（no N+M）：出口L3router全故障，DC2 gslb會判斷DC1的slb的VS全部失效，更改

13、dns條 目，新連接會到DC2的VIP處理；老的連接（dns cache）會timeout ，重連，內(nèi)網(wǎng)用戶會60秒或幾 分鐘中斷；SLB雙故障，同樣C/S應(yīng)用和B/S（在SLB N+M模式，或者是SLB RHI模式）：實際就是一個動態(tài)路由切換過程。當雙L3或雙SLB故障，DC1的路由全消失，DC2的SLB的high cost RHI for VIPs會生效，相關(guān)的 subnet網(wǎng)段的high cost routes也會生效，結(jié)果就是用戶的流量會吸到DC2去。（詳請看NOTE）因此SLB是應(yīng)用發(fā)布和切換的比較關(guān)鍵的點DC出口部分故障分析23Core sw故障，sw有VSS，VPC，istack

14、等二虛一的技術(shù)，當一臺設(shè)備發(fā)生故障，無影響，請分 別參考相關(guān)文檔對各種故障的討論。對于esxi服務(wù)器和其他物理服務(wù)器來說，物理連線一般為雙上聯(lián)，無影響。VLAN GW一般配置 為FHRP（hsrp，vrrp),也不會有影響。DB server故障，由于DB cluster的相關(guān)VLAN是通過DCI直接連接起來的，因此DB可切換到DC2， 其他不變。兩臺core-sw同時故障，會比較復(fù)雜，一方面要引導(dǎo)流量到DC2，通過GSLB，SLB，RHI動態(tài)路由 等，并外要求SLB的VS盡快指向綠色的server pool；同時DB會出現(xiàn)split brain故障情況。請 參考DCI中斷故障分析頁DCI的設(shè)

15、計請參考backup slides，方法有很多種，選擇適合自己的DC core sw故障分析24NSXT系統(tǒng)故障，單獨T0、T1故障會切換到DC2，會有DCI流量，如果同時故障，如前圖所示，會 全部切換到DC2.此時流量為core sw-DC2core-sw-T0-T1- （DCI)- VMs， 也就是迂回了兩次。 用戶業(yè)務(wù)無影響。（NSXT manager故障，請參考恢復(fù)過程，不影響業(yè)務(wù)流量）如果一個VS的server pool的所有VM全down，SLB會檢查到，會使用low priority server pool 去繼續(xù)處理業(yè)務(wù)，例如這個pool可以為DC2 的綠顏色的serer po

16、ol。Core-sw 以下 NSX-T 系統(tǒng)內(nèi)故障25如一個DC整體故障，藍顏色server pool消失，如使用N+M模式SLB，SLB的VIP會切換對應(yīng)到備用機組（綠色server pool）；如非N+M，可以使用RHI發(fā)布相同VIP的VS，但是是high cost route，平時這個VIP的 VS沒有流量；故障后，才接受流量。所有流量，都會被發(fā)到DC2去。接下來的行動為SRM 恢復(fù)藍色的VM，恢復(fù)后，會重新編組在SLB server pool內(nèi)B/S業(yè)務(wù)，可以使用gslb來切換，但需要dns cache timeout（60秒到幾分鐘內(nèi)網(wǎng)用戶）DC整體故障26DCI故障，是最復(fù)雜的故障

17、（可能需要仲裁點）DB會走split brain流程，假如流程最終會lock住一邊，那么也就是50%的用戶服務(wù)將中斷SLB，F(xiàn)W的cross DC cluster會split brain，這些cluster可能會處理混亂，要看各廠家設(shè)備 實現(xiàn)；如果不采用cross DC cluster，應(yīng)無影響NSX-T系統(tǒng)heartbeat檢測，如果能從集團骨干網(wǎng)L3繞行成功的話，狀態(tài)無改變。如失敗，也會 split brain。理論上split brain后，不會對兩個DC造成影響DCI中斷Split brain27技術(shù)關(guān)鍵點SLB 的功能 N+Mcross DC mode, RHI 路由插入功能，OSP

18、F或BGP插入支持GSLB對B/S業(yè)務(wù)的支持， B/S業(yè)務(wù)相對恢復(fù)比較簡單。兩個DC 的路由規(guī)劃NSX-T 的切換并一種方式是FEDERATION解決方案，請參考相關(guān)session28Multisite 10ms下的管理與數(shù)據(jù)平 面的自動恢復(fù)29Cluster-EdgeFailure Domain FD-2Failure Domain FD-1Cluster ComputeCompute ClusterAutomatic Recovery Mgt PlaneValidation Before Site Failure - LabPrimary SiteSecondary SitePrimary

19、 Mgr 192.168.50.5VLAN Stretched ManagementvCenter Compute and ManagementESXi3ESXi4vCenter ComputeESXi1ESXi2192.168.50.21+22192.168.60.21+22Cluster ManagementESXi-Mgt1ESXi-Mgt2192.168.50.11+12ESXi-Mgt3192.168.50.21+22Lab3-Edge1Lab3DR-Edge2Registration withMgr IP(DNS name not required)vSphere-HA for N

20、SX-T Managers1Check vSphere-HA2Check Edge Nodes are in both location, and automatic T0/T1 active/standby placement30Automatic Recovery Mgt PlaneManagement Plane Recovery - LabSecondary SitevSphere-HAVLAN Stretched ManagementvCenter ComputeESXi3ESXi4192.168.60.21+22ESXi-Mgt3192.168.50.21+22Lab3DR-Edge2Cluster ComputePrimary Mgr 192.168.50.5Cluster-EdgeRegistration withMgr IP(DNS name not required)Lab3-Edge1Compute ClustervCenterESX