雙活數(shù)據(jù)中心容災(zāi)解決方案

1、 雙活數(shù)據(jù)中心容災(zāi)解決方案為什么要講雙活數(shù)據(jù)中心？從應(yīng)用系統(tǒng)和系統(tǒng)保護(hù)來說，分這么幾個角度：首先做容災(zāi)，第一個要考慮的是主備，上圖左側(cè)是最早出現(xiàn)的主備模式，一般是在兩個中心建互備系統(tǒng)，比如我在B中心，容災(zāi)系統(tǒng)在另外一個地方，這種模式比較容易切換。假如A中心出問題了，就綁定在B中心，或者是把數(shù)據(jù)復(fù)制到B中心，容災(zāi)資源是閑置著，承擔(dān)著容災(zāi)的任務(wù)。另外真的出問題了，我得需要一個定位，因為并不能確認(rèn)它是否確實不能用了，所以，要確保這個業(yè)務(wù)完整，數(shù)據(jù)也不丟，定的時間加上切換流程，至少得0.5小時，甚至更長，甚至一兩天，這樣導(dǎo)致弊端很多。后來為了節(jié)約資源，發(fā)展到現(xiàn)在雙中心互備，A中心一部分做生產(chǎn)，B中心也

2、一部分做生產(chǎn)，在原來的儲備方式上做了一個改進(jìn)，優(yōu)點是因為這兩個中心都有生產(chǎn)業(yè)務(wù)運行，可通過資源共享技術(shù)節(jié)省資源。但僅僅是計算源，對于存儲來說，由于這個存儲空間必須要保證完整來做，所以沒有辦法充分利用起來，還是閑置狀態(tài)。針對這種問題，我們現(xiàn)在又有了雙活并行模式，同一個系統(tǒng)，兩個中心都可以承擔(dān)業(yè)務(wù)，同時對外服務(wù)，壞掉任何一方不影響。這是非常理想的一種狀態(tài)，今天主要講的是要實現(xiàn)這種架構(gòu)或部分實現(xiàn)，需要哪些技術(shù)，需要做哪些工作，只是簡單的講，不一定很深入，也希望能夠和大家一起溝通交流，看有沒有更好更優(yōu)的方案。我主要從應(yīng)用到基礎(chǔ)設(shè)施的角度來講。因為從整個應(yīng)用架構(gòu)來看，咱們有一些業(yè)務(wù)可能是有接入層，下面是

3、應(yīng)用邏輯，后面包括還有一些接口，再下面是數(shù)據(jù)層，再下面是基礎(chǔ)架構(gòu)，有可能有存儲和網(wǎng)絡(luò)，這么幾層，每一層都會有相應(yīng)的雙活實現(xiàn)技術(shù)。例如應(yīng)用層可能有各種集群，數(shù)據(jù)層可能有一邊同時可讀寫，或一邊只能讀等。再如基礎(chǔ)架構(gòu)層，在網(wǎng)絡(luò)上對穩(wěn)定性和帶寬吞吐性能要求更高，甚至需要打通跨中心的大二層網(wǎng)絡(luò)，存儲方面則需改變一主一備的讀寫機制，實現(xiàn)同時可讀寫。下面從這五個方面展開談，一個是數(shù)據(jù)層，二是存儲層，三是接入/應(yīng)用層，四是虛擬化/云平臺；五是技術(shù)關(guān)鍵點。一、數(shù)據(jù)層首先講數(shù)據(jù)層（這里指傳統(tǒng)數(shù)據(jù)庫）中的雙活方式，一種叫Active Standby方式，一種方式為兩個都是Active方式，此外還有數(shù)據(jù)邏輯復(fù)制軟件模

4、式。Active Standby是基于Oracle ADG技術(shù)，這個模式采用從主庫向備庫傳輸redo日志方式，備庫恢復(fù)數(shù)據(jù)過程可以用只讀方式打開進(jìn)行查詢操作，實現(xiàn)了部分雙活功能，在主節(jié)點故障后可以將備節(jié)點切為生產(chǎn)。ActiveActive方式指的是兩點都可以同時讀寫，例如通過Oracle Extend RAC實現(xiàn)多個集群節(jié)點同時對外提供業(yè)務(wù)訪問。該方式能做到故障無縫切換，提升應(yīng)用系統(tǒng)整體性能。這種模式理論上不需進(jìn)行人工切換操作。另外在基于邏輯復(fù)制的軟件，利用數(shù)據(jù)庫在線日志中的數(shù)據(jù)變化信息，通過網(wǎng)絡(luò)將變化信息投遞到目標(biāo)端，最后將目標(biāo)端還原數(shù)據(jù)，從而實現(xiàn)源目標(biāo)的數(shù)據(jù)同步。方式一：Oracle AD

5、G首先第一個模式是Oracle ADG模式。通過網(wǎng)絡(luò)從生產(chǎn)向容災(zāi)傳輸歸檔或redo日志，容災(zāi)端恢復(fù)方式同步恢復(fù)。這個數(shù)據(jù)庫不斷把日志寫入到備庫。這種方式的優(yōu)點是存儲支持異構(gòu)。應(yīng)用場景：可以把這個庫可以作為應(yīng)急或容災(zāi)用，作為數(shù)據(jù)保護(hù)手段。方式二：邏輯復(fù)制通過DSG、GoldenGate等邏輯復(fù)制軟件技術(shù)實現(xiàn)跨中心數(shù)據(jù)庫的相互復(fù)制，這種邏輯復(fù)制支持表級的復(fù)制，要求兩個數(shù)據(jù)中心各建一套數(shù)據(jù)庫，物理獨立，同時能讀寫?；跀?shù)據(jù)庫日志準(zhǔn)實時復(fù)制數(shù)據(jù)，支持異構(gòu)數(shù)據(jù)庫，異構(gòu)OS?？梢詫崿F(xiàn)一對一、一對多，多對一、雙向復(fù)制等多種拓?fù)浣Y(jié)構(gòu)。把日志進(jìn)行分析，寫到這個庫，是以跨中心的共享存儲基礎(chǔ)，通過共享存儲資源和Or

6、acle數(shù)據(jù)庫集群軟件管理，實現(xiàn)各個中心節(jié)點對數(shù)據(jù)庫并行訪問。方式三：Oracle 遠(yuǎn)程RAC Oracle Extended RAC以跨中心共享存儲為基礎(chǔ)，通過共享存儲資源和Oracle Clusterware數(shù)據(jù)庫集群管理，實現(xiàn)各個中心節(jié)點對數(shù)據(jù)庫并行訪問。共享存儲可以采用存儲自身數(shù)據(jù)復(fù)制技術(shù)，存儲虛擬網(wǎng)關(guān)或遠(yuǎn)程卷管理等技術(shù)，以O(shè)racle ASM存儲卷管理為例，實現(xiàn)數(shù)據(jù)的雙向?qū)崟r復(fù)制。要點：兩個數(shù)據(jù)中心分別部署一套存儲，各提供一套LUN設(shè)備給全部數(shù)據(jù)庫主機。存儲的SAN網(wǎng)絡(luò)和RAC心跳網(wǎng)絡(luò)需使用低延遲、高帶寬的DWDM光纖鏈路。配置ASM磁盤組。每個磁盤組配置兩個失效組，每個失效組對應(yīng)來

7、自一套存儲的LUN設(shè)備。在第三個站點部署用于RAC的第3個投票盤，使用NFS的方式掛載到所有數(shù)據(jù)庫主機。與管理普通的RAC系統(tǒng)類似，需要重點加強對站點間光纖鏈路情況的監(jiān)控與應(yīng)急。內(nèi)存庫雙活技術(shù)內(nèi)存庫雙活技術(shù)，將數(shù)據(jù)放在內(nèi)存中直接操作的數(shù)據(jù)庫，相對于磁盤，內(nèi)存的數(shù)據(jù)讀寫速度要高出幾個數(shù)量級，將數(shù)據(jù)保存在內(nèi)存中相比從磁盤上訪問能夠極大地提高應(yīng)用的性能。應(yīng)用場景：用于實時計費，讀寫分離場景，主要有Oracle Times Ten，Altibase商用以及華為等相關(guān)產(chǎn)品。內(nèi)存庫集群部署主要有HA模式，雙活模式，線性拆分和分布式集群四種模式。內(nèi)存庫通過復(fù)制手段，實時地復(fù)制到另外一個中心，它們之間是一個跨

8、中心的數(shù)據(jù)，這是HA模式。另外雙活模式，和這個模式是HA模式的延伸，可能一部分表是一個方向復(fù)制，另外一些表反過來。還有一種是線性拆分模式，將內(nèi)存數(shù)據(jù)放在多個內(nèi)存庫集群中，每個內(nèi)存庫存放一部分?jǐn)?shù)據(jù)，并互為備份，這種模式需要應(yīng)用進(jìn)行針對性改造。分布式集群模式，自動實現(xiàn)不同數(shù)據(jù)分片和副本機制，是目前比較流行的一種結(jié)構(gòu)。數(shù)據(jù)層雙活技術(shù)比較邏輯技術(shù)軟件容易出現(xiàn)邏輯錯誤導(dǎo)致數(shù)據(jù)不一致，而且很難稽核。ADG模式數(shù)據(jù)在數(shù)據(jù)庫級是完全一致的，當(dāng)然前提是能正常同步，但是不支持兩邊同時能讀寫。從數(shù)據(jù)延遲來看，不管是ADG還是邏輯復(fù)制軟件，都跟日志量有關(guān)系，后面會講我們在不同日志量情況下做的測試延遲結(jié)果。二、存儲層存

9、儲層作為雙活系統(tǒng)核心基礎(chǔ)架構(gòu)平臺，其雙活技術(shù)在整個架構(gòu)中起到關(guān)鍵作用，目前基于存儲層雙活方案主要有下面三種：基于遠(yuǎn)程卷管理軟件的虛擬化，比如Symantec SF、IBM GPFS、Oracle ASM等?；诖鎯W(wǎng)關(guān)虛禮化，如EMC、vplex、IBM、SVC。在傳統(tǒng)存儲上面增加了一個虛擬化網(wǎng)關(guān)，在每個機房里面，新增存儲虛擬化網(wǎng)關(guān)設(shè)備組成跨站點集群，并對存儲卷進(jìn)行重新封裝，對外提供主機訪問。存儲卷鏡像技術(shù)，將兩套磁盤陣列組成一個集群，兩臺存儲上的LUN被虛擬化為一個虛擬卷。流派一 遠(yuǎn)程卷管理軟件數(shù)據(jù)同步：底層數(shù)據(jù)復(fù)制采用遠(yuǎn)程卷管理軟件，如賽門鐵克的storage Foundation（SF）

10、、IBM的GPFS、Oracle的ASM等，通過邏輯卷鏡像技術(shù)實現(xiàn)底層數(shù)據(jù)邏輯同步。上層應(yīng)用采用Oracle Extended RAC方案實現(xiàn)遠(yuǎn)程多節(jié)點RAC，使生產(chǎn)和容災(zāi)節(jié)點都處于在線狀態(tài)，應(yīng)用邏輯訪問的是同一個數(shù)據(jù)庫。數(shù)據(jù)讀寫：支持雙讀寫。數(shù)據(jù)一致性：完全一致。上面是不用遠(yuǎn)程卷管理軟件的一個情況，我只需要認(rèn)識到自己機房的存儲就可以了。底層存儲實現(xiàn)遠(yuǎn)程復(fù)制到容災(zāi)存儲上，如果改造成遠(yuǎn)程管理軟件，那么服務(wù)器既要認(rèn)到本地存儲也要認(rèn)到對端存儲，實現(xiàn)兩邊都是同時可以對存儲讀寫的，而且還可以通過設(shè)置策略，寫的話向2個存儲同時寫，讀的話可以優(yōu)先讀本地的，從而可以加快讀的速度。流派二 存儲網(wǎng)關(guān)虛擬化實現(xiàn)原理

11、：將存儲虛擬化技術(shù)和Oracle的遠(yuǎn)程RAC技術(shù)結(jié)合，實現(xiàn)跨中心的數(shù)據(jù)雙活訪問。平時兩邊主機分別訪問本地存儲，故障情況下可垮中心訪問對方存儲。對于同一個數(shù)據(jù)塊的讀寫沖突機制，是由Oracle RAC來保證的。存儲不能直接給服務(wù)器訪問，需要先通過中間層虛擬化網(wǎng)關(guān)設(shè)備，再訪問存儲。為了防止出現(xiàn)兩個中心間網(wǎng)絡(luò)全斷情況下，兩邊互相不知道誰還活著，需要建一個仲裁節(jié)點（建議在第三個中心），實現(xiàn)讓誰作為主，讓誰作為訪問的仲裁機制，從而防止數(shù)據(jù)不一致這種極端情況。流派三 基于存儲自身卷鏡像這是一個存儲自身卷的鏡像，這是一些新的設(shè)備情況，它的優(yōu)點，整個網(wǎng)絡(luò)架構(gòu)沒有改變，從主機到交換機到存儲，也沒有增加任何的設(shè)備

12、，這種是相對來說比較易于實行（也需要一個仲裁站點）。存儲層雙活技術(shù)對比這是一個存儲層的雙活技術(shù)比較，容災(zāi)技術(shù)有2個重要參數(shù)，RPO（故障恢復(fù)點）和RTO（故障恢復(fù)時間）。這幾種理論上都能實現(xiàn)RPO等于0，也能支持雙活讀寫。從可靠性來看，這個數(shù)據(jù)不是完全決定的，需要根據(jù)實際情況定。從異構(gòu)性來說，除了存儲自身虛擬化和存儲HA機制不支持外，其余都支持。但不管存儲雙活有哪幾種，雙活都需要用到遠(yuǎn)程Extend RAC。三、接入/應(yīng)用層下圖是一個例子，一個比較前端的系統(tǒng)，分為接入/接口層、應(yīng)用層、主機/數(shù)據(jù)庫層、存儲層等，各個層面統(tǒng)籌考慮雙活機制，才能實現(xiàn)零切換。首先不能像原來煙筒式的數(shù)據(jù)庫連接，應(yīng)考慮統(tǒng)

13、一數(shù)據(jù)庫訪問接口，并實現(xiàn)應(yīng)用自動重聯(lián)機制，確保自動切換，減少人工切換。在應(yīng)用層，則考慮雙中心部署相同的應(yīng)用集群方式，或跨中心的集群方式。從接入層看，如何把業(yè)務(wù)接入到兩個中心，一般有這么幾種，一種是采用全局負(fù)載均衡（如F5的GTM）、DNS、或前置CDN等技術(shù)實現(xiàn)跨中心靈活接入。業(yè)務(wù)多中心并行模式：通過一組GSLB來對外提供服務(wù)，GSLB監(jiān)控服務(wù)的狀態(tài)，并通知組內(nèi)其他設(shè)備，對于每一個DNS請求返回最佳結(jié)果，好的策略選擇和配置方式可以最大幅度提高客戶體驗。業(yè)務(wù)多中心互備模式：對于內(nèi)網(wǎng)業(yè)務(wù)通過一組SLB來提供服務(wù)，實現(xiàn)DNS解析，負(fù)載分發(fā)和故障切換。前置CDN，通過CDN來進(jìn)行不同中心的業(yè)務(wù)接入。四

14、、虛擬化現(xiàn)在都在講云計算，是非常熱門的，其主要技術(shù)特征，首先是帶來虛擬化技術(shù)，其次應(yīng)用實現(xiàn)集群化和x86化。相應(yīng)帶來的問題：我們原來的雙活設(shè)計模式，可能不適應(yīng)這種虛擬化或應(yīng)用集群化模式，需要重新考慮業(yè)務(wù)連續(xù)性雙活方案。我總結(jié)了四大類：繼續(xù)沿用傳統(tǒng)基于負(fù)載均衡的雙活架構(gòu)。每個中心部署獨立的云化應(yīng)用集群，通過接入層負(fù)載均衡實現(xiàn)雙活。舉個例子，有Web集群，通過前面接入增把業(yè)務(wù)分發(fā)到不同集群去。基于分布式應(yīng)用協(xié)調(diào)機制，可以建一套跨中心應(yīng)用集群，通過分布式應(yīng)用協(xié)調(diào)機制，實現(xiàn)跨中心的高可靠性集群，統(tǒng)一配置，統(tǒng)一管理和任務(wù)分配。Hadoop、MPP等的雙活機制，應(yīng)用寫兩份方式實現(xiàn)雙活，跨中心集群方式。虛擬

15、化平臺的跨中心雙活（遷移），我們也是既可以建跨中心集群，也可以建兩個獨立集群，通過一些業(yè)務(wù)來分發(fā)。舉個例子，我們現(xiàn)在可以建云資源池，建一些獨立的池。模式一 相互獨立的雙集群在每個中心部署獨立的云化應(yīng)用集群：如Web類應(yīng)用可通過接入層和負(fù)載均衡實現(xiàn)雙活訪問；如Hadoop或MPP集群應(yīng)用可通過上層應(yīng)用實現(xiàn)雙集群數(shù)據(jù)同步，從而實現(xiàn)雙活。模式二 跨中心單集群模式第一種是基于分布式應(yīng)用協(xié)調(diào)機制：構(gòu)建一套跨中心應(yīng)用集群，通過分布式應(yīng)用協(xié)調(diào)如ZooKeeper實現(xiàn)跨中心的高可靠性集群，實現(xiàn)統(tǒng)一配置、統(tǒng)一管理和任務(wù)分配。第二種是基于數(shù)據(jù)副本保護(hù)機制：如詳單云和大數(shù)據(jù)的Hadoop集群、大數(shù)據(jù)的MPP集群等，

16、通過進(jìn)行合理規(guī)劃設(shè)計，確保任一中心節(jié)點都是完整的數(shù)據(jù)副本，由集群自動維護(hù)兩個中心的數(shù)據(jù)副本同步機制來實現(xiàn)雙活。虛擬化云平臺雙活基于存儲陣列雙活和VMware 跨站點集群功能實現(xiàn)虛擬化平臺數(shù)據(jù)中心容災(zāi)解決方案，在陣列雙活技術(shù)支撐下，通過VMware Cluster 的HA高可用功能實現(xiàn)故障業(yè)務(wù)切換保護(hù)，從而達(dá)到保證業(yè)務(wù)連續(xù)性的要求。網(wǎng)絡(luò)站點間二層互聯(lián)，采用波分傳輸，存儲實現(xiàn)雙活為上層提供共享存儲；將兩個數(shù)據(jù)中心服務(wù)器配置為一個集群，通過HA和DRS實現(xiàn)高可用和資源動態(tài)智能分配；服務(wù)器之間建議通過萬兆以太網(wǎng)提供心跳服務(wù)與vMotion遷移流量，集群內(nèi)的所有服務(wù)器需符合集群的兼容性規(guī)則。應(yīng)用層：由四

17、臺服務(wù)器構(gòu)建VMware ESXi Cluster。五、雙活技術(shù)關(guān)鍵點1、跨中心大二層網(wǎng)絡(luò)為了降低二層網(wǎng)絡(luò)，evn otv必須整體在一個二層網(wǎng)絡(luò)里，這種情況怎么實現(xiàn)呢？這里就需要考慮到大二層網(wǎng)絡(luò)，有那么幾種技術(shù)，一種是EVN/OTV/EVI技術(shù)，通過Mac in ip，實現(xiàn)了這兩個中間的二層網(wǎng)絡(luò)互通。EVN的話，以中間為界，這是一個機房，這是另外一個機房，這是它們內(nèi)部接入的交換機，然后它們把這個接入到這上面，中心間也是類似的，這個P和這個P之間打通，這樣就實現(xiàn)了互通。第二個方案是采用二層光纖直連技術(shù)打通。每個中心部署互聯(lián)匯聚交換機，中心內(nèi)的匯聚（網(wǎng)關(guān)）交換機通過鏈路聚合接入該互聯(lián)匯聚交換機，互

18、聯(lián)匯聚交換機通過鏈路聚合接入波分設(shè)備，鏈路聚合保證整網(wǎng)無二層環(huán)路。同時在匯聚互聯(lián)交換機配置二層風(fēng)暴抑制。第三種基于MPLS網(wǎng)絡(luò)的VPLS互聯(lián)。每個中心的核心交換機與專用的MPLS域?qū)Ｓ镁W(wǎng)絡(luò)直連，通過MPLS專屬網(wǎng)絡(luò)的本地PE設(shè)備與對端中心的機房PE設(shè)備之間建立VPN，將各個PE設(shè)備所互連的二層網(wǎng)絡(luò)通過MPLS VPN方式建立二層互通。第四種為基于Overlay網(wǎng)絡(luò)的大二層互聯(lián)。以Vxlan實現(xiàn)方式為例，每個中心通過單獨的ED設(shè)備與Underlay網(wǎng)絡(luò)連接，在每個中心內(nèi)部業(yè)務(wù)數(shù)據(jù)通過VXLAN進(jìn)行業(yè)務(wù)交換，涉及到跨中心業(yè)務(wù)互訪時，將通過與ED設(shè)備直連的leaf設(shè)備剝離VXLAN標(biāo)簽轉(zhuǎn)換為VLAN

19、業(yè)務(wù)后，由ED設(shè)備再次進(jìn)行VXLAN封裝，從而通過大二層透傳到對端中心的ED設(shè)備剝離VXLAN標(biāo)簽，由對端中心的leaf設(shè)備重新封裝VXLAN標(biāo)簽。一種是VPLS模式，這個是一個標(biāo)準(zhǔn)協(xié)議，但是技術(shù)比較復(fù)雜。大二層互聯(lián)也是疊加在現(xiàn)有的網(wǎng)絡(luò)之上，但是是每個廠家私有協(xié)議，在復(fù)雜的網(wǎng)絡(luò)環(huán)境中很難實現(xiàn)對接。支持Overlay網(wǎng)絡(luò)，可以跨裸光。2、關(guān)于Golden Gate還有剛才提到的Golden Gate性能瓶頸在數(shù)據(jù)同步環(huán)節(jié)，即在復(fù)制進(jìn)程Replicat入庫速度，因為在容災(zāi)端恢復(fù)數(shù)據(jù)過程是執(zhí)行邏輯SQL，比較消耗資源。抽取進(jìn)程（Extract） ：該進(jìn)程主要瓶頸在于LCR(logical chang

20、e record)轉(zhuǎn)換為UDF環(huán)節(jié)，主要優(yōu)化建議：拆分Extract進(jìn)程，建議同一個schema下表盡量在一個進(jìn)程組中優(yōu)化進(jìn)程參數(shù)如eofdelay、flushsecs等I/O部分建議增加日志讀取間隔3s，增加內(nèi)存刷新時間3s投遞進(jìn)程（Pump）：帶寬優(yōu)化和IO優(yōu)化：復(fù)制的表最好有主鍵或唯一索引，減少生產(chǎn)日志量數(shù)據(jù)傳輸過程啟用數(shù)據(jù)壓縮特性，減少帶寬需求量適當(dāng)增大TCP緩存增加隊列讀取間隔為3s，內(nèi)存刷新時間為5s復(fù)制/應(yīng)用進(jìn)程（Replicat）：該環(huán)節(jié)出現(xiàn)性能問題較多，需要重點優(yōu)化：合并小交易減少事物數(shù)量，減少寫checkpoint file/table次數(shù)大交易拆分（maxtransops參數(shù)），提高寫入速度基于表或Range等拆分replicat進(jìn)程還有就是這邊變化得非常大，尤其在這方面是非常大的，如何優(yōu)化中進(jìn)行一定的拆分，建議同一個schema下表盡量在一個進(jìn)程組中，這個獨立解決也可以進(jìn)行帶寬優(yōu)化和IO優(yōu)化。合并小交易減少事物數(shù)量，減少寫checkpoint file次數(shù)。大交易拆分，提高寫入速度，基于表等拆分進(jìn)程。這是一個表，在每分鐘產(chǎn)生的數(shù)據(jù)量，如果在16G以下，基本上是準(zhǔn)時的，但如果在16G以上延遲非常高，每分鐘40G的話，能延遲到1