數(shù)據(jù)容災(zāi)備份解決方案的報告書

1、.wd.wd.wd.中國移動公司IP網(wǎng)管系統(tǒng)性 數(shù)據(jù)容災(zāi)備份解決方案 VERITAS公司北京辦事處TIME yyyy年M月d日2018年11月22日目 錄 TOC o 1-3 h z HYPERLINK l _Toc998674801系統(tǒng)需求分析 PAGEREF _Toc99867480 h 2HYPERLINK l _Toc998674811.1系統(tǒng)建設(shè)目標(biāo) PAGEREF _Toc99867481 h 2HYPERLINK l _Toc998674821.2需求簡析 PAGEREF _Toc99867482 h 5HYPERLINK l _Toc998674832高可用容災(zāi)方案設(shè)計 PAG

2、EREF _Toc99867483 h 8HYPERLINK l _Toc998674842.1 設(shè)計原那么 PAGEREF _Toc99867484 h 8HYPERLINK l _Toc998674852.2 方案概述 PAGEREF _Toc99867485 h 9HYPERLINK l _Toc998674862.1.1IPNET流量管理服務(wù)器及NetCool匯總管理服務(wù)器“N+1 冗余備份方式 PAGEREF _Toc99867486 h 10HYPERLINK l _Toc998674872.1.2“N+1 冗余備份方式 PAGEREF _Toc99867487 h 11HYPER

3、LINK l _Toc998674882.1.3N節(jié)點循環(huán)備份方式 PAGEREF _Toc99867488 h 11HYPERLINK l _Toc998674892.1.4軟件安裝 PAGEREF _Toc99867489 h 12HYPERLINK l _Toc998674902.1.5NetCool網(wǎng)管服務(wù)器/PM服務(wù)器、業(yè)務(wù)網(wǎng)管服務(wù)器、Precision服務(wù)器容災(zāi) PAGEREF _Toc99867490 h 12HYPERLINK l _Toc998674912.1.6功能配置說明 PAGEREF _Toc99867491 h 14HYPERLINK l _Toc998674922

4、.1.7Visionary應(yīng)用服務(wù)器、NetCool報表服務(wù)器、IPNET報表服務(wù)器容災(zāi) PAGEREF _Toc99867492 h 15HYPERLINK l _Toc998674933高可用容災(zāi)方案實現(xiàn) PAGEREF _Toc99867493 h 15HYPERLINK l _Toc998674943.1 軟件功能解釋 PAGEREF _Toc99867494 h 16HYPERLINK l _Toc998674953.2 安裝、配置過程 PAGEREF _Toc99867495 h 21HYPERLINK l _Toc998674963.3 工作過程 PAGEREF _Toc9986

5、7496 h 22HYPERLINK l _Toc998674973.4方案分析 PAGEREF _Toc99867497 h 26HYPERLINK l _Toc998674983.1.13.4.1 有關(guān)數(shù)據(jù)的量化分析及結(jié)果 PAGEREF _Toc99867498 h 26HYPERLINK l _Toc998674993.1.2方案小結(jié) PAGEREF _Toc99867499 h 27HYPERLINK l _Toc998675004附錄 PAGEREF _Toc99867500 h 29HYPERLINK l _Toc99867501一、VERITAS公司簡介 PAGEREF _To

6、c99867501 h 29HYPERLINK l _Toc99867502二、VERITAS Foundation Suite PAGEREF _Toc99867502 h 31HYPERLINK l _Toc99867503三、VERITAS Cluster Server PAGEREF _Toc99867503 h 38系統(tǒng)需求分析系統(tǒng)建設(shè)目標(biāo)建設(shè)本系統(tǒng)的目的是為中國移動公司IP網(wǎng)管系統(tǒng)建設(shè)一個全面的、整體的容災(zāi)方案，最大限度地保證業(yè)務(wù)系統(tǒng)工作的連續(xù)性、可靠性。常言道，“知己知彼，百戰(zhàn)不殆。要實現(xiàn)容災(zāi)，首先要了解我們的“敵人 災(zāi)難。那么，哪些事件可以定義為災(zāi)難呢典型的災(zāi)難事件是自然災(zāi)難，

7、如火災(zāi)、洪水、地震、颶風(fēng)、龍卷風(fēng)、臺風(fēng)等，還有其它如原先提供應(yīng)業(yè)務(wù)運(yùn)營所需的服務(wù)中斷，如設(shè)備故障、軟件錯誤、電信網(wǎng)絡(luò)中斷和電力故障等等。此外，人為的因素往往也會釀成大禍，如操作員錯誤、破壞、植入有害代碼和恐懼襲擊?，F(xiàn)階段，由于我國很多行業(yè)正處在高速開展的階段，很多生產(chǎn)流程和制度仍不完善，加之缺乏經(jīng)歷，這方面的損失屢見不鮮。事實上，我國2003 年遭遇的“非典，某種意義上也是災(zāi)難。對此，我們認(rèn)為需要做到兩點：一是建設(shè)切實可行的應(yīng)急機(jī)制，這主要包含一套基于充分且清楚地將風(fēng)險予以分類定義的業(yè)務(wù)持續(xù)方案，二是在危機(jī)突然降臨時，此方案能被有效執(zhí)行。對于IT 系統(tǒng)，除了上述的災(zāi)難之外，與系統(tǒng)相關(guān)的方案外宕

8、機(jī)也可視作災(zāi)難。對于IT 系統(tǒng)而言，在技術(shù)層面上，容災(zāi)需要考慮：* 數(shù)據(jù)版本保護(hù) 建設(shè)容災(zāi)的多版本保護(hù)底線Bottom Line* 實時數(shù)據(jù)保護(hù) 數(shù)據(jù)復(fù)制，近乎0 的數(shù)據(jù)喪失，數(shù)據(jù)一致性* 應(yīng)用系統(tǒng)恢復(fù) 恢復(fù)時間包括數(shù)據(jù)庫恢復(fù)、應(yīng)用版本的一致性PTF等* 網(wǎng)絡(luò)系統(tǒng)恢復(fù) 數(shù)據(jù)訪問點變化、建設(shè)新網(wǎng)絡(luò)路徑、動態(tài)路由收斂時間/穩(wěn)定性* 容災(zāi)切換決策 及時發(fā)現(xiàn)災(zāi)難容災(zāi)系統(tǒng)管理、容災(zāi)切換的損失和補(bǔ)救方法* 容災(zāi)切換過程 變更管理同時，無論任何時候，備份都是非常重要的，并要定期測試備份的可靠性。一種技術(shù)只能減少或防止某些類型的災(zāi)難的影響。除了簡單或一成不變的應(yīng)用，在沒有特別要求的情況下，盡量不要采用操作系統(tǒng)

9、層面以上的數(shù)據(jù)復(fù)制技術(shù)。而沒有文檔化的流程就相當(dāng)于沒有流程，沒有流程的系統(tǒng)能夠在要求時間內(nèi)恢復(fù)完全靠運(yùn)氣通常不能。另外，在通常情況下，IT 系統(tǒng)相關(guān)的災(zāi)難備份方案設(shè)計都必須考慮以下五大因素，1，災(zāi)難類型需要考慮哪些災(zāi)難怎樣的災(zāi)難會使業(yè)務(wù)中斷多久2，恢復(fù)速度災(zāi)難發(fā)生后需要多久來啟動及運(yùn)行系統(tǒng)能否承受數(shù)天或數(shù)分鐘的等待3，恢復(fù)程度需要恢復(fù)每條記錄和交易嗎可以使用上星期或昨天的數(shù)據(jù)嗎需要恢復(fù)一切嗎有不相關(guān)的文件嗎什么是合法隱含的要求有少數(shù)的一組人輸入交易嗎他們可以重新輸入災(zāi)難期間喪失的交易嗎這些交易十分重要而不容許喪失嗎4，可用的技術(shù)必須結(jié)合考慮所選技術(shù)在本地區(qū)的適用性、實現(xiàn)條件以及在實施時是否受某

10、些現(xiàn)有條件的制約5，方案總體成本實現(xiàn)災(zāi)難備份需要多少投資不實現(xiàn)災(zāi)難備份會損失多少錢據(jù)國際標(biāo)準(zhǔn)SHARE78 的定義，災(zāi)難恢復(fù)解決方案可根據(jù)以下主要方面所到達(dá)的程度分為七級，即從低到高有七種不同層次的災(zāi)難恢復(fù)解決方案?？梢愿鶕?jù)企業(yè)數(shù)據(jù)的重要性以及需要恢復(fù)的速度和程度，來設(shè)計選擇并實現(xiàn)災(zāi)難恢復(fù)方案。這取決于以下要求：備份/恢復(fù)的范圍災(zāi)難恢復(fù)方案的狀態(tài)在應(yīng)用中心與備份中心之間的距離應(yīng)用中心與備份中心之間是如何相互連接的數(shù)據(jù)是怎樣在兩個中心之間傳送的有多少數(shù)據(jù)被喪失怎樣保證更新的數(shù)據(jù)在備份中心被更新備份中心可以開場備份工作的能力現(xiàn)已證明，為實現(xiàn)有效的災(zāi)難恢復(fù)，無需人工介入的自動站點故障切換功能是一個必

11、須被納入考慮范圍的重要事項。目前通用的異地遠(yuǎn)程恢復(fù)標(biāo)準(zhǔn)采用的是1992 年Anaheim 的SHARE78，M028 會議的報告中所闡述的七個層次：0 層- 沒有異地數(shù)據(jù)(No off-site Data)Tier0 即沒有任何異地備份或應(yīng)急方案。數(shù)據(jù)僅在本地進(jìn)展備份恢復(fù)，沒有數(shù)據(jù)送往異地。事實上這一層并不具備真正災(zāi)難恢復(fù)的能力。1 層- PTAM 卡車運(yùn)送訪問方式 (Pickup Truck Access Method)Tier1 的災(zāi)難恢復(fù)方案必須設(shè)計一個應(yīng)急方案，能夠備份所需要的信息并將它存儲在異地。PTAM 指將本地備份的數(shù)據(jù)用交通工具送到遠(yuǎn)方。這種方案相對來說成本較低，但難于管理。2

12、 層- PTAM 卡車運(yùn)送訪問方式+熱備份中心 (PTAM + Hot Center)Tier2 相當(dāng)于Tier1 再加上熱備份中心能力的進(jìn)一步的災(zāi)難恢復(fù)。熱備份中心擁有足夠的硬件和網(wǎng)絡(luò)設(shè)備去支持關(guān)鍵應(yīng)用。相比于Tier1，明顯降低了災(zāi)難恢復(fù)時間。3 層- 電子鏈接 (Electronic Vaulting)Tier3 是在Tier2 的根基上用電子鏈路取代了卡車進(jìn)展數(shù)據(jù)的傳送的進(jìn)一步的災(zāi)難恢復(fù)。由于熱備份中心要保持持續(xù)運(yùn)行，增加了成本，但提高了災(zāi)難恢復(fù)速度。4 層- 活動狀態(tài)的備份中心 (Active Secondary Center)Tier4 指兩個中心同時處于活動狀態(tài)并同時互相備份，在

13、這種情況下，工作負(fù)載可能在兩個中心之間分享。在災(zāi)難發(fā)生時，關(guān)鍵應(yīng)用的恢復(fù)也可降低到小時級或分鐘級。5 層 兩個活動的數(shù)據(jù)中心，確保數(shù)據(jù)一致性的兩階段傳輸承諾Two-Site Two-PhaseCommitTier5 那么提供了更好的數(shù)據(jù)完整性和一致性。也就是說，Tier5 需要兩中心與中心的數(shù)據(jù)都被同時更新。在災(zāi)難發(fā)生時，僅是傳送中的數(shù)據(jù)被喪失，恢復(fù)時間被降低到分鐘級。6 層- 0 數(shù)據(jù)喪失 (Zero Data Loss)，自動系統(tǒng)故障切換Tier6 可以實現(xiàn)0 數(shù)據(jù)喪失率，被認(rèn)為是災(zāi)難恢復(fù)的最高級別，在本地和遠(yuǎn)程的所有數(shù)據(jù)被更新的同時，利用了雙重在線存儲和完全的網(wǎng)絡(luò)切換能力，當(dāng)發(fā)生災(zāi)難時，

14、能夠提供跨站點動態(tài)負(fù)載平衡和自動系統(tǒng)故障切換功能。需求簡析對于IT 系統(tǒng)的容災(zāi)指標(biāo)，我們可以通過以下參數(shù)表示：* 以恢復(fù)點為目標(biāo)(RPO - Recovery Point Object 數(shù)據(jù)的完整性(無數(shù)據(jù)喪失) 數(shù)據(jù)的一致性(數(shù)據(jù)正確且可用以恢復(fù)時間為目標(biāo)(RTO Recovery Time Object中國移動公司的網(wǎng)管系統(tǒng)構(gòu)造圖如下：可以看到在移動IP網(wǎng)管系統(tǒng)中，包含著眾多的功能子系統(tǒng)，根據(jù)每個子系統(tǒng)數(shù)據(jù)變化的頻度以及在整個網(wǎng)管系統(tǒng)中所起到的作用，我們?yōu)槊總€子系統(tǒng)制定了符合各自特色的RPO和RTO。在移動公司現(xiàn)有的業(yè)務(wù)系統(tǒng)中，僅考慮本地高可用性,即通過集群的雙機(jī)系統(tǒng)(Cluster或HA

15、)對業(yè)務(wù)應(yīng)用提供保護(hù)，在一臺服務(wù)器的軟硬件發(fā)生故障時，將整個業(yè)務(wù)切換到后備服務(wù)器上。該方法很大程度上防止了服務(wù)器的單點故障，提高了整個業(yè)務(wù)系統(tǒng)的可用性。但是，隨著業(yè)務(wù)系統(tǒng)的開展，隨著競爭的不斷加劇，在一些重要的系統(tǒng)中，客戶已經(jīng)不滿足于簡單的本地保護(hù)。越來越多的客戶提出了要求更高的系統(tǒng)可用性，要求實現(xiàn)真正的異地容災(zāi)保護(hù)。因為一旦出現(xiàn)異常情況，如火災(zāi)、爆炸、地震、水災(zāi)、雷擊或某個方向線路故障等自然原因以及電源機(jī)器故障、人為破壞等非自然原因引起的災(zāi)難，導(dǎo)致業(yè)務(wù)正常無法進(jìn)展和重要數(shù)據(jù)的喪失、破壞，造成的損失將不可估量。因此，要求業(yè)務(wù)系統(tǒng)可以在發(fā)生上述災(zāi)難時快速恢復(fù)，將損失降到最低點。全面的異地容災(zāi)保護(hù)

16、方案，意味著除了要實現(xiàn)本地的切換保護(hù)外，更要實現(xiàn)數(shù)據(jù)的實時異地復(fù)制和業(yè)務(wù)系統(tǒng)包括數(shù)據(jù)庫和應(yīng)用軟件的實時遠(yuǎn)程切換。高可用容災(zāi)方案設(shè)計2.1 設(shè)計原那么我們?yōu)橐苿庸揪C合結(jié)算提供的高可用容災(zāi)方案的設(shè)計原那么如下：方案當(dāng)前即可實施在滿足要求的前提下盡量簡單除特別必要，不需要增加另外超出本方案的軟硬件如果一個軟件產(chǎn)品可以實現(xiàn)需要的功能，我們不會再使用另外的產(chǎn)品實現(xiàn)重復(fù)的功能同一方案適合多種平臺環(huán)境，降低安裝、管理和維護(hù)的難度。VERITAS的容災(zāi)方案是一個完整的方案，該方案包括5個功能：主節(jié)點主機(jī)系統(tǒng)在異地的備份和恢復(fù)即IT系統(tǒng)重構(gòu)和業(yè)務(wù)接收、主節(jié)點業(yè)務(wù)數(shù)據(jù)在異地的備份及恢復(fù)即生產(chǎn)數(shù)據(jù)的備份和恢復(fù)、主

17、節(jié)點到災(zāi)備節(jié)點的數(shù)據(jù)遠(yuǎn)程實時復(fù)制、本地應(yīng)用服務(wù)和數(shù)據(jù)復(fù)制服務(wù)的切換保護(hù)、應(yīng)用遠(yuǎn)程容災(zāi)切換。涉及的產(chǎn)品包括Netbackup Enterprise Server、Bare Metal Restore、Volume Manager+Volume Replicator,VERITAS Cluster Server和Global Cluster Manager。 該方案涵蓋了容災(zāi)恢復(fù)的7個層次，為整個業(yè)務(wù)系統(tǒng)提供全面的保護(hù)，其對應(yīng)需求分析的系統(tǒng)和各子系統(tǒng)的RPO/RTO如下：在該整體方案中中，上層依賴于它的下層，每一層的產(chǎn)品實現(xiàn)相應(yīng)的功能。 圖中涉及的軟件產(chǎn)品將在下面論述。2.2 方案概述針對IP網(wǎng)管

18、系統(tǒng)及各子系統(tǒng)實際分析得出的RPO/RTO，我們分別采用不同的技術(shù)手段對其實現(xiàn)高可用保護(hù)。IPNET流量管理服務(wù)器及NetCool匯總管理服務(wù)器該系統(tǒng)屬于核心業(yè)務(wù)系統(tǒng)，數(shù)據(jù)更新率極高，且要求在災(zāi)害發(fā)生時必須立即投入備份節(jié)點以維持業(yè)務(wù)的連續(xù)性，因此，我們在數(shù)據(jù)層采用Volume Replicator進(jìn)展實時的遠(yuǎn)程數(shù)據(jù)復(fù)制；在應(yīng)用層采用Cluster Server和Global Cluster Server進(jìn)展實時業(yè)務(wù)級切換。同時，為保證不可預(yù)見的意外事件不對業(yè)務(wù)系統(tǒng)造成不可恢復(fù)的影響，我們還建議利用Netbackup Enterprise Server和Bare Metal Restore技術(shù)，

19、利用磁帶和磁盤介質(zhì)在容災(zāi)節(jié)點保存一份生產(chǎn)系統(tǒng)每天的原始數(shù)據(jù)。NetCool網(wǎng)管服務(wù)器/PM服務(wù)器、業(yè)務(wù)網(wǎng)管服務(wù)器、Precision服務(wù)器該系統(tǒng)屬于業(yè)務(wù)管理系統(tǒng)，直接關(guān)系到管理人員能否順利地進(jìn)展網(wǎng)絡(luò)日常的管理和維護(hù)，并關(guān)系到IP業(yè)務(wù)的正常運(yùn)行，因此需要及時在容災(zāi)節(jié)點實現(xiàn)接收，但該業(yè)務(wù)子系統(tǒng)的數(shù)據(jù)更新率并不高，而且周期性比較強(qiáng)，因此沒有必要花費(fèi)高昂的代價進(jìn)展實時的數(shù)據(jù)復(fù)制，可以采用主節(jié)點數(shù)據(jù)備份，容災(zāi)節(jié)點異地數(shù)據(jù)恢復(fù)的手段保證數(shù)據(jù)的完整性和一致性。我們建議在應(yīng)用層面上，本地節(jié)點利用Cluster Server實施主機(jī)高可用性，防止主機(jī)故障，容災(zāi)節(jié)點利用Global Cluster Server實

20、施遠(yuǎn)程應(yīng)用切換。在數(shù)據(jù)層面上，利用Netbackup Enterprise Server和Bare Metal Restore技術(shù)，在本地先形成一套主機(jī)系統(tǒng)和業(yè)務(wù)數(shù)據(jù)的磁盤備份，并每隔8小時在后臺將本地備份數(shù)據(jù)復(fù)制到遠(yuǎn)程容災(zāi)節(jié)點周期復(fù)制，異地節(jié)點恢復(fù)主節(jié)點數(shù)據(jù)，以實現(xiàn)主備節(jié)點的數(shù)據(jù)同步。Visionary應(yīng)用服務(wù)器、NetCool報表服務(wù)器、IPNET報表服務(wù)器該系統(tǒng)屬于整個網(wǎng)管系統(tǒng)的報表系統(tǒng)，數(shù)據(jù)變化量的頻率相對較低，保存每天的數(shù)據(jù)即可，因此可以考慮底層數(shù)據(jù)備份，業(yè)務(wù)層手工或腳本切換的方式實現(xiàn)系統(tǒng)可用性，我們建議利用Netbackup Enterprise Server和Bare Metal

21、 Restore技術(shù)，利用磁帶和磁盤介質(zhì)在容災(zāi)節(jié)點保存一份生產(chǎn)系統(tǒng)每天的原始數(shù)據(jù)。整個網(wǎng)管系統(tǒng)的歷史數(shù)據(jù)為了保證在任何不可預(yù)見的情況下都能正常維護(hù)整個IP業(yè)務(wù)網(wǎng)絡(luò)，我們還建議在主節(jié)點和災(zāi)備節(jié)點利用Netbackup Enterprise Server在磁帶上至少保持6個月內(nèi)的系統(tǒng)歷史數(shù)據(jù)。IPNET流量管理服務(wù)器及NetCool匯總管理服務(wù)器“N+1 冗余備份方式對于該子系統(tǒng)，VERITAS解決方案能夠按照現(xiàn)業(yè)務(wù)系統(tǒng)的要求實現(xiàn)多種容災(zāi)模型。即:“1+1冗余備份方式“N+1備份方式N節(jié)點循環(huán)備份方式(如果只要求N=2,即雙地點互為備份)第一種方式實際是第二種方式N=1時的特殊情況，以下不單獨(dú)討論

22、。“N+1 冗余備份方式為N個正在運(yùn)行的移動公司IP業(yè)務(wù)系統(tǒng)建設(shè)一套遠(yuǎn)程容災(zāi)備份系統(tǒng)，稱為“N+1備份方式。這種方式下，N個正在運(yùn)行的業(yè)務(wù)系統(tǒng)中的任何數(shù)據(jù)的更改，包括靜態(tài)數(shù)據(jù)更改與動態(tài)數(shù)據(jù)更改，都必須同步到備用系統(tǒng)中。備用系統(tǒng)中存儲著所有的N套正在運(yùn)行的業(yè)務(wù)系統(tǒng)的數(shù)據(jù)總和。正在運(yùn)行的其中一個系統(tǒng)發(fā)生故障，那么備用系統(tǒng)使用對應(yīng)當(dāng)前故障系統(tǒng)的用戶數(shù)據(jù)和相應(yīng)應(yīng)用，來接收故障系統(tǒng)的業(yè)務(wù)。假設(shè)正在運(yùn)行的N個業(yè)務(wù)系統(tǒng)中所有系統(tǒng)同時發(fā)生故障，那么備用系統(tǒng)使用的所有對應(yīng)故障系統(tǒng)的備份數(shù)據(jù)和相應(yīng)應(yīng)用，接收所有業(yè)務(wù)系統(tǒng)?！癗+1備份方式的優(yōu)點是建設(shè)成本比較低，可以使用一套備份系統(tǒng)為多個系統(tǒng)提供容災(zāi)備份的功能，平時

23、設(shè)備利用率比較高。“N+1備份方式的缺點是當(dāng)多個系統(tǒng)同時發(fā)生故障，如果只有一套備份系統(tǒng)為所有用戶提供服務(wù)，可能導(dǎo)致服務(wù)質(zhì)量的下降。該方式建議備份系統(tǒng)使用較高的硬件配置。“N+1系統(tǒng)簡單示意圖如以以下列圖圖二：數(shù)據(jù)傳輸方向圖二 多對一備份Site 1Site nSite n+1Site 2.N節(jié)點循環(huán)備份方式由于只要求N=2，實為一對一互為備份。Site A運(yùn)行本身業(yè)務(wù)系統(tǒng)的同時，還作為Site B業(yè)務(wù)系統(tǒng)的備份系統(tǒng)；同理，Site B運(yùn)行本身業(yè)務(wù)系統(tǒng)的同時，還作為Site A的備份系統(tǒng)。正常情況下，Site B擁有本身業(yè)務(wù)的應(yīng)用、數(shù)據(jù)庫進(jìn)程和相關(guān)的數(shù)據(jù)，同時，Site B系統(tǒng)中有相應(yīng)的數(shù)據(jù)區(qū)存

24、儲從Site A實時復(fù)制來的數(shù)據(jù)。而且Site B實時將數(shù)據(jù)復(fù)制到Site A。當(dāng)Site A 發(fā)生災(zāi)難時，Site B除了提供本身業(yè)務(wù)外，還要提供Site A的相應(yīng)服務(wù)。反之同理。N節(jié)點N=2循環(huán)備份系統(tǒng)簡單示意圖如以以下列圖圖三：數(shù)據(jù)傳輸方向圖三 相互備份Site ASite B軟件安裝在兩種情況下，每個地點的每臺服務(wù)器上安裝的軟件一樣，只是不同情況下配置方法不同，每臺服務(wù)器的具體配置方法后面討論。每臺服務(wù)器安裝軟件如下：1) 安裝VERITAS Volume Manager(VxVM) 2) 安裝VERITAS File System(VxFS) 3) 安裝VERITAS Volume

25、Replicator(VVR) 4) 安裝VERITAS Cluster Server(VCS)、相應(yīng)的數(shù)據(jù)庫代理(Agent)和應(yīng)用軟件代理5) 安裝VERITAS Global Cluster Manager(GCM)NetCool網(wǎng)管服務(wù)器/PM服務(wù)器、業(yè)務(wù)網(wǎng)管服務(wù)器、Precision服務(wù)器容災(zāi)該系統(tǒng)在遠(yuǎn)程的應(yīng)用切換層面上和前述方案一樣，不同的是在數(shù)據(jù)復(fù)制的方法上，我們利用了Netbackup實現(xiàn)數(shù)據(jù)的周期性復(fù)制NetBackup是VERITAS公司的備份管理軟件, 它致力于解決網(wǎng)絡(luò)上大、中、小型服務(wù)器和工作站系統(tǒng)上的數(shù)據(jù)備份、歸檔及災(zāi)難恢復(fù)問題，Veritas 備份產(chǎn)品國際市場份額2

26、000年為39.1%，2001年為40.8%, 2002年為40.6%, 以以下列圖為Garner Group 統(tǒng)計的VERITAS 備份產(chǎn)品2002年國際市場份額：它的突出特點主要有：管理簡單采用統(tǒng)一的Java或 GUI圖形界面，管理輕而易舉，使用先進(jìn)的人工管理界面工具，制定備份策略、介質(zhì)管理策略，對各項備份作業(yè)進(jìn)展監(jiān)控。Netbackup 提供了遠(yuǎn)程分發(fā)式安裝工具，當(dāng)用戶擁有眾多的客戶機(jī)，無需占用大量人力進(jìn)展分散的安裝，只需通過server進(jìn)展遠(yuǎn)程分發(fā)軟件安裝。裸金屬恢復(fù)BMR(Bare Metal Restore) 對于系統(tǒng)中的HP-UX, IBM AIX, Microsoft Wind

27、ows NT/2000 和 Sun Solaris等不同操作系統(tǒng)環(huán)境，我們通過VERITAS Bare Metal Restore裸機(jī)恢復(fù)功能，來簡化服務(wù)器的恢復(fù)過程，以完成系統(tǒng)的快速災(zāi)難恢復(fù)。這樣，當(dāng)系統(tǒng)數(shù)據(jù)完全喪失時，系統(tǒng)管理員可以僅僅通過一個啟動命令就可以進(jìn)展系統(tǒng)數(shù)據(jù)的完整恢復(fù)，不必進(jìn)展通過光盤進(jìn)展操作系統(tǒng)重新安裝，硬盤重新分區(qū)，IP地址重新設(shè)置，以及備份軟件重新安裝等復(fù)雜的步驟。數(shù)據(jù)恢復(fù)重定向在數(shù)據(jù)恢復(fù)的過程中，我們可以通過授權(quán)，進(jìn)一步讓系統(tǒng)管理員選擇數(shù)據(jù)恢復(fù)的目標(biāo)客戶機(jī)。這樣，我們可以災(zāi)備系統(tǒng)上恢復(fù)所需要的數(shù)據(jù)，保證數(shù)據(jù)的可操作性。并行處理NetBackup可以實現(xiàn)多磁帶機(jī)并行操作,

28、因此可以有效地增加帶寬。如果數(shù)據(jù)被并行定位co-located到多盤磁帶上,執(zhí)行選擇性恢復(fù)的過程將會很快。NetBackup可以通過策略共享實現(xiàn)多作業(yè)復(fù)用(Multiplex)磁帶，從而大大加快了備份進(jìn)度，減少了磁帶操作過程的開銷。這一提高是顯而易見的。真正映象恢復(fù)(True Image Recovery使用全備份和增量備份后,恢復(fù)時根據(jù)映象(image)恢復(fù),真正做到已刪除文件無需恢復(fù),大大減少恢復(fù)數(shù)據(jù)量.傳統(tǒng)方式先恢復(fù)全備份文件,再進(jìn)展增量恢復(fù)和文件刪除。磁帶多重拷貝 (Inline Tape Copy, Duplicate)磁帶在線復(fù)制Inline Tape Copy允許用戶在執(zhí)行備份期

29、間，創(chuàng)立備份數(shù)據(jù)的多份拷貝。復(fù)制允許備份完成后復(fù)制多份備份數(shù)據(jù)。Netbackup可以一次備份或復(fù)制2-4份拷貝，管理多達(dá)同一備份的10份拷貝，并且每份拷貝有自己的保護(hù)周期提供災(zāi)難恢復(fù)能力-VAULT在多個地點保存?zhèn)浞莼驈?fù)制介質(zhì)，保證當(dāng)發(fā)生災(zāi)難時或多個的地點快速恢復(fù)關(guān)鍵的數(shù)據(jù)。功能配置說明NetBackup Server：備份系統(tǒng)的核心，該服務(wù)器既是主備份服務(wù)器可以對整個備份系統(tǒng)進(jìn)展監(jiān)控和管理，備份環(huán)境的核心數(shù)據(jù)應(yīng)用庫、備份策略和設(shè)備配置均存放在這臺服務(wù)器上，又是介質(zhì)服務(wù)器，可以直接連接并執(zhí)行自動化管理磁帶庫及其介質(zhì)。由于生產(chǎn)和測試網(wǎng)在物理上是隔開的，所以需要分別安裝兩套備份服務(wù)器。這樣可以使

30、生產(chǎn)和容災(zāi)的備份完全獨(dú)立，但生產(chǎn)數(shù)據(jù)可以通過兩臺磁帶庫實現(xiàn)異地保存。NBU Client: SNA服務(wù)器和測試網(wǎng)的服務(wù)器的備份方式采用網(wǎng)絡(luò)備份的方式。Bare Metal Restore：所有服務(wù)器實現(xiàn)裸機(jī)恢復(fù)。具備“一鍵恢復(fù)系統(tǒng)的功能，減少數(shù)據(jù)恢復(fù)的復(fù)雜度和時間?？梢圆捎肗etbackup復(fù)制方式或者采用制定兩個策略對應(yīng)不同的磁帶庫進(jìn)展備份實現(xiàn)本地、異地雙備份。Netbackup支持不同磁帶庫之間的數(shù)據(jù)復(fù)制，可以設(shè)置策略定時進(jìn)展，相對于Client系統(tǒng)數(shù)據(jù)同時備份到兩個磁帶庫的方法，該方法只復(fù)制備份后產(chǎn)生的Image文件，該作業(yè)由Master Sever調(diào)度，執(zhí)行在磁帶庫之間的數(shù)據(jù)復(fù)制，節(jié)約

31、原Client系統(tǒng)資源。利用光纖線路和遠(yuǎn)程磁帶庫實現(xiàn)了異地的數(shù)據(jù)備份保護(hù)，但在災(zāi)備點如果沒有備份恢復(fù)服務(wù)器，即只保存了數(shù)據(jù)。如果生產(chǎn)點的備份服務(wù)器損壞，那么影響了正常的備份。同時如果沒有災(zāi)備點的備份恢復(fù)服務(wù)器，如果生產(chǎn)點出現(xiàn)場地問題，不能立刻在災(zāi)備點進(jìn)展恢復(fù)。此時可以利用測試網(wǎng)中的備份服務(wù)器重新導(dǎo)入生產(chǎn)網(wǎng)備份的CATALOG，近而恢復(fù)數(shù)據(jù)。以上是為我們?yōu)闃I(yè)務(wù)系統(tǒng)提供的數(shù)據(jù)備份復(fù)方案，設(shè)計的目的是采用業(yè)界最先進(jìn)的備份技術(shù)完成對系統(tǒng)數(shù)據(jù)在線、快速、有效的磁帶備份保護(hù)。同時本方案還提供裸機(jī)快速恢復(fù)和異地磁帶級容災(zāi)技術(shù)，從技術(shù)上保證了數(shù)據(jù)中心的可靠性和快速恢復(fù)能力。利用磁盤緩沖實現(xiàn)周期數(shù)據(jù)復(fù)制磁盤緩沖

32、DISK STAGING為NetBackup管理員提供了一種備份方法，首先在磁盤上創(chuàng)立備份鏡像，然后將鏡像轉(zhuǎn)移到另一種介質(zhì)上。NetBackup軟件的磁盤緩沖分三個步驟完成：首先在磁盤上創(chuàng)立NetBackup備份鏡像，然后在可以配置的稍后時間，將鏡像轉(zhuǎn)移到另外一個介質(zhì)上。此外，磁盤緩沖可以方便備份和恢復(fù)，NetBackup用戶可以利用磁盤緩沖，為將數(shù)據(jù)傳輸?shù)酱艓峁┍憷?，防止多路?fù)用鏡像的弊端。磁盤緩沖的工作原理，磁盤緩沖的工作原理例如如下：假定NetBackup客戶生成的備份數(shù)據(jù)的容量如下：星期一：200MB星期二：300MB星期三：300MB星期四：200MB星期五：500MB假定NetB

33、ackup客戶每天都將數(shù)據(jù)備份到磁盤緩沖存儲設(shè)備上，然后再將數(shù)據(jù)從磁盤緩沖存儲設(shè)備轉(zhuǎn)移到最后的存儲設(shè)備上?？蛻羰褂玫拇疟P緩沖存儲設(shè)備的容量至少到達(dá)500MB，這樣才能以容納一天生成的最大數(shù)據(jù)容量。如果NetBackup管理員只要在磁盤緩沖存儲設(shè)備上保存一天的數(shù)據(jù)，那么500MB的磁盤緩沖存儲設(shè)備就已經(jīng)足夠了，前提條件是能夠成功完成重新定位，每天將數(shù)據(jù)轉(zhuǎn)移到磁帶上。如果管理員想在磁盤上保存超過一天的數(shù)據(jù)，那么應(yīng)對磁盤空間進(jìn)展調(diào)整。磁盤緩沖分三個階段完成：第一階段：在磁盤緩沖存儲設(shè)備上創(chuàng)立備份鏡像；第二階段：重新定位日程決定了將磁盤緩沖存儲設(shè)備上的備份鏡像重新定位到目的存儲設(shè)備上的時間；第三階段：

34、磁盤上的備份鏡像復(fù)制到目的存儲設(shè)備上后，自動取消備份鏡像。NetBackup的磁盤緩沖DISK STAGING流程例如客戶端策略：第一階段日程第一階段：NetBackup策略根據(jù)第一階段策略日程，將客戶端數(shù)據(jù)備份到磁盤緩沖存儲設(shè)備上。第一階段磁盤緩沖存儲設(shè)備策略：第二階段性重新定位日程第二階段：磁盤緩沖存儲設(shè)備DSSU日程根據(jù)重新定位日程，將數(shù)據(jù)重新定向到最后的存儲設(shè)備上目的存儲設(shè)備第二階段第三階段：NetBackup軟件將備份鏡像復(fù)制到目的存儲設(shè)備上，然后自動將它從磁盤上刪除。為進(jìn)展此操作，NetBackup軟件要使磁盤鏡像失效，將目的存儲設(shè)備上的備份鏡像成為主副本。在備份的第一階段，按策略

35、對客戶端進(jìn)展備份，該策略將磁盤緩沖存儲設(shè)備作為目的存儲設(shè)備。應(yīng)為每個專用磁盤分區(qū)/文件系統(tǒng)提供一個磁盤緩沖存儲設(shè)備。第一階段日程的配置方法與其他備份相似。在磁盤緩沖的第二階段，將鏡像從磁盤緩沖存儲設(shè)備重新定向到目的存儲設(shè)備。在磁盤緩沖存儲設(shè)備的設(shè)置過程中，根據(jù)配置的重新定位日程來重新定位鏡像。這是通過點擊磁盤緩沖日程按鈕來完成的。只有選擇磁盤緩沖存儲設(shè)備作為存儲設(shè)備類型時，才能使用該按鈕。第三階段是自動使磁盤鏡像失效，使目的存儲設(shè)備上的鏡像成為數(shù)據(jù)的主副本。這樣用戶就能釋放磁盤空間，以備將來使用。Visionary應(yīng)用服務(wù)器、NetCool報表服務(wù)器、IPNET報表服務(wù)器容災(zāi)在開放系統(tǒng)中，許多

36、產(chǎn)品都能執(zhí)行備份和恢復(fù)功能。然而，能處理現(xiàn)今數(shù)據(jù)中心的海量數(shù)據(jù)的產(chǎn)品那么鳳毛麟角。以往數(shù)據(jù)中心曾是大型機(jī)一統(tǒng)天下，現(xiàn)在那么是以大型UNIX、Windows服務(wù)器以及集群為根基，企業(yè)在此之上構(gòu)建并運(yùn)行和管理關(guān)鍵業(yè)務(wù)應(yīng)用。VERITAS NetBackup獨(dú)有的核心三層架構(gòu)，結(jié)合先進(jìn)的介質(zhì)管理功能，以及卓越的高性能，可以滿足最大規(guī)模數(shù)據(jù)中心的需求。NetBackup主備份服務(wù)器(Master Server)是架構(gòu)的第一層。主備份服務(wù)器是所有數(shù)據(jù)保護(hù)活動(包括作業(yè)日程安排和追蹤客戶端備份、管理磁帶介質(zhì)和文件編錄)的“智能中心。主備份服務(wù)器擁有一個或多個附帶的存儲設(shè)備，可為多臺客戶端服務(wù)器提供數(shù)據(jù)備份

37、，主備份服務(wù)器也可以構(gòu)成集群以實現(xiàn)高可用性。如果企業(yè)在幾個地點都有數(shù)據(jù)或數(shù)據(jù)密集型應(yīng)用，比方數(shù)據(jù)倉庫，那么可安裝介質(zhì)服務(wù)器Media Server- 即架構(gòu)的第二層。這樣，企業(yè)就可以在各個地點，通過部署介質(zhì)服務(wù)器直接在本地備份大型應(yīng)用，同時還可以通過網(wǎng)絡(luò)備份其它客戶端系統(tǒng)。介質(zhì)服務(wù)器既可與主備份服務(wù)器或另一臺介質(zhì)服務(wù)器共享磁帶庫，也可使用自己的磁帶設(shè)備。如果某臺介質(zhì)服務(wù)器因故障或其他問題不能正常工作，可將這一臺介質(zhì)服務(wù)器的備份任務(wù)轉(zhuǎn)移到另一臺介質(zhì)服務(wù)器上進(jìn)展。架構(gòu)第三層是備份網(wǎng)絡(luò)中諸多服務(wù)器和工作站的客戶端代理Client Agent。這一層中，要保護(hù)的數(shù)據(jù)量不一定最多，但是需要安裝的機(jī)器數(shù)量

38、通常都是最多的。主備份服務(wù)器第一層可以對介質(zhì)服務(wù)器第二層和客戶端第三層進(jìn)展集中管理。系統(tǒng)災(zāi)難恢復(fù)VERITAS Bare Metal Restore對于系統(tǒng)中可能存在的IBM AIX, Sun Solaris，HP-UX,等不同操作系統(tǒng)環(huán)境，我們通過VERITAS Bare Metal Restore裸機(jī)恢復(fù)功能，來簡化服務(wù)器的恢復(fù)過程，以完成系統(tǒng)的快速災(zāi)難恢復(fù)。這樣，當(dāng)系統(tǒng)數(shù)據(jù)完全喪失時，系統(tǒng)管理員可以僅僅通過一個啟動命令就可以進(jìn)展系統(tǒng)數(shù)據(jù)的完整恢復(fù)，不必進(jìn)展通過光盤進(jìn)展操作系統(tǒng)重新安裝，硬盤重新分區(qū)，IP地址重新設(shè)置，以及備份軟件重新安裝等復(fù)雜的步驟。BMR的工作簡要流程如下Main Se

39、rver, File Server和Boot Server可合并在備份服務(wù)器上：1、BMR服務(wù)器Main Server在客戶機(jī)日常備份的過程中分析客戶機(jī)的環(huán)境并生成恢復(fù)策略。2、BMR服務(wù)器分配啟動服務(wù)器 Boot Server和文件服務(wù)器File Server.3、當(dāng)客戶機(jī)數(shù)據(jù)喪失時，系統(tǒng)管理員通過網(wǎng)絡(luò)啟動命令啟動客戶機(jī)。4、BMR服務(wù)器驅(qū)動啟動服務(wù)器和文件服務(wù)器，使客戶機(jī)自動獲得啟動鏡像和恢復(fù)方案。5、客戶機(jī)進(jìn)一步劃分硬盤分區(qū)并恢復(fù)所有數(shù)據(jù)。核心系統(tǒng)高可用容災(zāi)方案實現(xiàn)本章將就該方案的每個細(xì)節(jié)進(jìn)展討論。包括方案的詳細(xì)講解，軟件的實際配置方法等。通過閱讀和理解本章，您將了解VERITAS解決方

40、案的實現(xiàn)方法，并清楚地知道VERITAS解決方案是切實可行的，并且有相關(guān)的實施案例和實施經(jīng)歷。我們假設(shè)原來就已經(jīng)按照雙機(jī)系統(tǒng)設(shè)計，那么本方案僅需要增加不同地點間的廣域連接，不需要增加其它硬件。軟件方面要用VERITAS高可用軟件替換原有的HA/Cluster軟件，新增Volume Manager、VERITAS File System、VERITAS Volume Replicator和Global Cluster Manager。在介紹功能前，需要強(qiáng)調(diào)的的是：VERITAS提供的是完整的容災(zāi)解決方案。各個軟件的功能完全集成在一起，建設(shè)一個容遠(yuǎn)程數(shù)據(jù)復(fù)制、本地容災(zāi)、遠(yuǎn)程應(yīng)用切換于一體的方案。3

41、.1 軟件功能解釋在這里，每個軟件只解釋與本方案相關(guān)的那局部功能，至于軟件的全部功能，請見附錄。VERITAS Volume Manager(簡稱VxVM) 將在物理磁盤上建設(shè)多個或一個邏輯卷(Volume)。以裸設(shè)備的方式使用卷，或在卷上建設(shè)文件系統(tǒng)。將數(shù)據(jù)特別是需要進(jìn)展遠(yuǎn)程復(fù)制的相關(guān)文件系統(tǒng)、數(shù)據(jù)庫存放在卷上。由于數(shù)據(jù)復(fù)制是基于卷的，所以，Volume 是進(jìn)展復(fù)制的根基。VERITAS Volume Replicator(簡稱VVR)負(fù)責(zé)遠(yuǎn)程數(shù)據(jù)復(fù)制。VVR復(fù)制基于Volume進(jìn)展。復(fù)制的數(shù)據(jù)可以是數(shù)據(jù)庫中的數(shù)據(jù)文件方式或裸設(shè)備方式和文件。復(fù)制的示意圖見圖四。圖四VVR與VxVM完全集成在

42、一起。用VxVM管理界面和命令統(tǒng)一配置管理；由于VVR僅僅將Volume上每次I/O的實際數(shù)據(jù)實時復(fù)制到遠(yuǎn)程節(jié)點，所以在網(wǎng)絡(luò)線路上傳輸?shù)臄?shù)據(jù)量很少，對帶寬的需求也很小。；將各個業(yè)務(wù)系統(tǒng)中需要進(jìn)展遠(yuǎn)程復(fù)制的多個或一個卷定義為一個Replicated Volume Group(簡稱RVG)；在Site A定義一條RLINK，指向Site B；在Site B也定義一條指向Site A的RLINK。RLINK是單向的；需要進(jìn)展復(fù)制的兩個系統(tǒng)各定義一個指向?qū)Ψ降腞LINK；每個RVG定義一個RLINK。例如有Site A和Site B兩套系統(tǒng)同時用Site C的系統(tǒng)作為備份。在Site A定義一個RVG

43、a，包含需要進(jìn)展數(shù)據(jù)復(fù)制的卷；在Site B定義一個RVGb，包含需要進(jìn)展數(shù)據(jù)復(fù)制的卷；在Site C定義兩個RVG，名為RVGa和RVGb，分別作為Site A RVGa和Site B RVGb的備份。然后，在Site A定義RLINK to_c1，指向Site C；在Site B定義RLINK to_c2，指向Site C；在Site C定義兩個RLINK，一個to_a,指向Site A,另一個to_b,指向Site B。 4Storage Replicator Log(簡稱SRL)是VVR中的重要部件。將數(shù)據(jù)復(fù)制各方的某個卷定義為一個SRL。需要復(fù)制的數(shù)據(jù)首先要寫入SRL，然后傳到異地。

44、VVR通過SRL保證數(shù)據(jù)復(fù)制嚴(yán)格按照寫順序進(jìn)展，這在異步工作方式下非常重要。當(dāng)網(wǎng)絡(luò)中斷或異地系統(tǒng)出現(xiàn)故障時，本地數(shù)據(jù)將記錄在SRL中，等系統(tǒng)恢復(fù)正常時再將SRL中的數(shù)據(jù)按照先進(jìn)先出的順序傳送到異地。當(dāng)SRL滿后，VVR將通過Data Chang Map簡稱DCM記錄變化過的數(shù)據(jù)塊的塊號。 VVR數(shù)據(jù)流程見圖五： 圖五 5Data Change Map簡稱DCM與主節(jié)點的RVG相關(guān)，它其中的內(nèi)容是位圖信息，記錄某一時間點后修改正的數(shù)據(jù)塊位置。DCM在正常情況下不使用，在SRL滿后記錄變化的數(shù)據(jù)塊的塊號，當(dāng)恢復(fù)正常復(fù)制后，等SRL中的數(shù)據(jù)傳送完后，將DCM中記錄的塊傳送到異地。災(zāi)難恢復(fù)后的反向復(fù)制

45、也用到DCM。6數(shù)據(jù)復(fù)制的工作模式缺省為同步/異步自適應(yīng)，即在網(wǎng)絡(luò)延時情況較好、數(shù)據(jù)能夠及時復(fù)制時，工作在同步方式，完全保證兩邊數(shù)據(jù)的一致性；當(dāng)網(wǎng)絡(luò)延時情況較差、數(shù)據(jù)不能及時復(fù)制時，工作在異步方式下，保證主節(jié)點的I/O性能。數(shù)據(jù)復(fù)制根據(jù)實際情況，自行在兩種工作模式之間切換。 如果數(shù)據(jù)復(fù)制的線路帶寬有限，出于保證本地服務(wù)器讀寫性能的考慮，可以將復(fù)制工作模式定義為異步。由于VVR的數(shù)據(jù)復(fù)制嚴(yán)格按照I/O的修改順序進(jìn)展，所以，無論在同步還是異步工作方式下，都能保證數(shù)據(jù)的完整性。對于數(shù)據(jù)庫系統(tǒng)，該復(fù)制機(jī)制能夠保證災(zāi)備節(jié)點的數(shù)據(jù)庫在災(zāi)難發(fā)生時正常啟動并提供服務(wù)。7后備節(jié)點的完全同步，即所謂的建設(shè)基線。在

46、主節(jié)點往后備節(jié)點正常復(fù)制數(shù)據(jù)前，必須逐塊逐塊地將主節(jié)點中需要復(fù)制的數(shù)據(jù)拷貝到后備節(jié)點，也就是說，將雙方的RVG進(jìn)展同步。 后備節(jié)點的完全同步分為兩種情況，一是復(fù)制時主節(jié)點應(yīng)用不進(jìn)展數(shù)據(jù)更改，二是復(fù)制時主節(jié)點應(yīng)用進(jìn)展數(shù)據(jù)更改。兩種情況下，都可以采用自動同步方式或采用備份和檢查點(Check Point)結(jié)合的方法。 自動同步是指通過網(wǎng)絡(luò)將數(shù)據(jù)從主節(jié)點(Primary)復(fù)制到備份節(jié)點(Secondary)。方法很簡單，只要進(jìn)展一步操作即可完成。自動同步對帶寬要求較高，否那么，將無法完成完全同步。自動同步要求RVG中的每個卷都有DCM。 對于網(wǎng)絡(luò)帶寬較小，或者需要完全同步的數(shù)據(jù)量太大時，使用備份與檢

47、查點結(jié)合的方法。在備份開場前，在主節(jié)點設(shè)置檢查點，該檢查點記錄在SRL中，然后將數(shù)據(jù)備份到活動硬盤、光盤、磁帶或其它介質(zhì)上。備份完成后，將檢查點取消。將備份的數(shù)據(jù)恢復(fù)到后備節(jié)點上。然后將RLINK連接掛上，主節(jié)點SRL中記錄的的數(shù)據(jù)傳送到后備節(jié)點，完成后，兩邊數(shù)據(jù)一致，進(jìn)入正常數(shù)據(jù)復(fù)制狀態(tài)。用該方法進(jìn)展數(shù)據(jù)完全同步，要求SRL卷大些，等完成后，再將SRL卷通過Volume Manager在線縮小。8 當(dāng)某些嚴(yán)重意外情況發(fā)生后，后備節(jié)點會變成新的主節(jié)點，稱為角色轉(zhuǎn)換。在災(zāi)難期間，不進(jìn)展數(shù)據(jù)復(fù)制，新的主節(jié)點用DCM記錄變化數(shù)據(jù)位置。9 當(dāng)原來的主節(jié)點在災(zāi)難后恢復(fù)正常，需要進(jìn)展數(shù)據(jù)反向同步和角色轉(zhuǎn)換

48、。反向同步有兩種情況，一種是在災(zāi)難發(fā)生時刻，原主節(jié)點與災(zāi)備節(jié)點的數(shù)據(jù)是同步的即無未復(fù)制的數(shù)據(jù)；第二種是在災(zāi)難發(fā)生時刻，原主節(jié)點與災(zāi)備節(jié)點的數(shù)據(jù)不是完全同步的即主節(jié)點有數(shù)據(jù)尚未復(fù)制到災(zāi)備節(jié)點。第二種情況在反向同步開場時第一步首先要進(jìn)展重置，指將原主節(jié)點SRL和DCM中數(shù)據(jù)這些數(shù)據(jù)在災(zāi)難發(fā)生時尚未來得及傳送的位置信息修改當(dāng)前主節(jié)點即原后備節(jié)點的DCM。然后，將DCM中指向的數(shù)據(jù)全部傳送到原主節(jié)點。而第一種情況的話，直接進(jìn)展第二步工作。傳送完成后，將當(dāng)前主節(jié)點的數(shù)據(jù)庫和應(yīng)用停頓，將雙方角色復(fù)原，并在原主節(jié)點提供正常服務(wù)。 10脫機(jī)處理。通過使用VVR的In-Band Control(IBC)消息、S

49、napshot、以及Volume Manager(VxVM)的FastResync(簡稱FR，即快速同步)功能，可以實現(xiàn)數(shù)據(jù)的脫機(jī)處理。脫機(jī)處理主要指對后備節(jié)點種的數(shù)據(jù)進(jìn)展處理，例如進(jìn)展備份、打印報表、數(shù)據(jù)倉庫處理等。脫機(jī)處理由打破后備節(jié)點的鏡像卷、對鏡像數(shù)據(jù)進(jìn)展處理、重鏡像等幾個過程組成。 11雙收條雙重確認(rèn)機(jī)制。指后備節(jié)點對復(fù)制數(shù)據(jù)的接收確認(rèn)有兩個階段。第一個確認(rèn)當(dāng)后備節(jié)點收到數(shù)據(jù)后發(fā)出；第二個確認(rèn)當(dāng)后備節(jié)點數(shù)據(jù)成功寫入硬盤后發(fā)出。當(dāng)主節(jié)點收到第二個確認(rèn)后，將SRL中的相應(yīng)數(shù)據(jù)清空。VERITAS Cluster Server簡稱VCS是用于本地容災(zāi)的集群軟件，支持多達(dá)32個節(jié)點的應(yīng)用級切

50、換，保證本地業(yè)務(wù)系統(tǒng)的軟硬件高可用性。VCS以其出色的可靠性和易管理性聞名。VCS的功能特點請見附錄。在本方案中，VCS主要負(fù)責(zé)以下功能：VCS負(fù)責(zé)監(jiān)控和管理硬件系統(tǒng)和操作系統(tǒng)，當(dāng)出現(xiàn)故障時進(jìn)展切換。通過數(shù)據(jù)庫代理(Agent監(jiān)控和管理數(shù)據(jù)庫系統(tǒng)，當(dāng)出現(xiàn)故障時進(jìn)展切換。通過API或腳本編寫針對性客戶化應(yīng)用代理，監(jiān)控和管理應(yīng)用系統(tǒng)，當(dāng)出現(xiàn)故障時進(jìn)展切換。通過Replicator 代理監(jiān)控和管理數(shù)據(jù)復(fù)制過程，當(dāng)主服務(wù)器數(shù)據(jù)復(fù)制發(fā)生故障時，自動將數(shù)據(jù)復(fù)制工作切換到后備服務(wù)器，保證數(shù)據(jù)復(fù)制過程的連續(xù)性。這點對于容災(zāi)系統(tǒng)非常重要。該代理充分說明VERITAS提供的是完整的容災(zāi)解決方案。主節(jié)點和備份節(jié)點的

51、VCS集群系統(tǒng)都在Global Cluster Manager的統(tǒng)一監(jiān)控和管理下，從而實現(xiàn)集群系統(tǒng)間的遠(yuǎn)程應(yīng)用切換。GCM在VCS中以兩個服務(wù)組指GCM Master和GCM Slave的形式存在。四、Global Cluster Server簡稱GCM可以稱為Clusters Cluster集群的集群。它負(fù)責(zé)對多個不同地點的多達(dá)32個集群系統(tǒng)進(jìn)展監(jiān)控和管理，在發(fā)生嚴(yán)重災(zāi)難時，進(jìn)展site的切換即應(yīng)用的遠(yuǎn)程切換。 GCM Console為Web界面，通過瀏覽器管理各個Cluster系統(tǒng)，并在管理界面中主動控制或響應(yīng)遠(yuǎn)程切換。3.2 安裝、配置過程在硬件和操作系統(tǒng)環(huán)境準(zhǔn)備好后，整個方案的實際安裝

52、、配置及工作過程如下。詳細(xì)的配置命令和配置文件見附錄。安裝VERITAS Volume Manager(VxVM)和File System(VxFS)。將服務(wù)器本地硬盤的其中一個分區(qū)或整個硬盤作為rootdg。將磁盤陣列中所有磁盤用Volume Manager管理。創(chuàng)立一個disk group，包括涉及的磁盤，并在這些磁盤上劃分出需要的卷，包括用于SRL的卷。如果卷上需要文件系統(tǒng)，使用VxFS。將數(shù)據(jù)庫和應(yīng)用系統(tǒng)都安裝在共享的磁盤陣列卷中。由于VVR與VxVM集成在一起，所以無需另外安裝。為需要復(fù)制的卷增加DCM。創(chuàng)立SRL。定義RLINK，指向備份節(jié)點。定義RVG，將需要進(jìn)展遠(yuǎn)程復(fù)制的卷(包

53、括SRL卷)都定義到一個RVG中，并與RLINK聯(lián)合綁定。進(jìn)展數(shù)據(jù)復(fù)制。安裝VCS、Oracle或Sybase代理、客戶化應(yīng)用代理和VVR代理。安裝完成后，配置心跳線，然后對各個服務(wù)組(Service Group)中涉及的資源進(jìn)展定義。進(jìn)展本地切換測試，優(yōu)化有關(guān)參數(shù)。安裝GCM。安裝完成后，在VCS的服務(wù)組(Service Group)中增加了GCM Master 和GCM Slave。對其進(jìn)展配置。定義GCM響應(yīng)的事件和相應(yīng)的處理動作。用手工模式進(jìn)展異地容災(zāi)切換測試，并調(diào)優(yōu)化有關(guān)參數(shù)。進(jìn)展全系統(tǒng)聯(lián)調(diào)，測試各種情況下的系統(tǒng)工作情況，并進(jìn)一步優(yōu)化有關(guān)參數(shù)。3.3 工作過程為方便論述，本節(jié)模擬地點

54、A和B，兩地各有一套建設(shè)在VCS雙節(jié)點集群上的業(yè)務(wù)系統(tǒng)，以B地點的系統(tǒng)作為A地點的備份。切換示意圖見圖六。圖六正常情況下：業(yè)務(wù)系統(tǒng)運(yùn)行在地點A，包括數(shù)據(jù)庫實例、有關(guān)的文件、數(shù)據(jù)庫數(shù)據(jù)、應(yīng)用軟件。A節(jié)點對外提供服務(wù)。A節(jié)點所有的有關(guān)的數(shù)據(jù)通過VVR實時復(fù)制到B節(jié)點。兩地的VCS對的各自節(jié)點內(nèi)的兩臺服務(wù)器的主機(jī)情況、數(shù)據(jù)庫服務(wù)、應(yīng)用軟件進(jìn)展實時監(jiān)控和管理，其中，VCS還對VVR數(shù)據(jù)復(fù)制服務(wù)進(jìn)展監(jiān)控。GCM 監(jiān)控兩地Cluster系統(tǒng)的運(yùn)行。當(dāng)A地點的主服務(wù)器發(fā)生硬件或軟件故障，導(dǎo)致主服務(wù)器無法提供正常服務(wù)：VCS進(jìn)展本地切換，將主服務(wù)器的數(shù)據(jù)庫服務(wù)、應(yīng)用軟件、VVR數(shù)據(jù)復(fù)制服務(wù)切換到本地后備節(jié)點。

55、整個系統(tǒng)運(yùn)行在本地后備節(jié)點，包括VVR數(shù)據(jù)復(fù)制服務(wù)，由后備服務(wù)器提供對外服務(wù)和數(shù)據(jù)復(fù)制服務(wù)。GCM將監(jiān)控到該切換事件的發(fā)生。如果僅僅是主服務(wù)器數(shù)據(jù)復(fù)制服務(wù)發(fā)生故障，可以不進(jìn)展切換，只需將復(fù)制服務(wù)修復(fù)并正常運(yùn)行。如果A地點的主服務(wù)器恢復(fù)正常，整個系統(tǒng)將重新運(yùn)行在正常情況下。如果在情況二的狀態(tài)下，A地點的后備服務(wù)器也發(fā)生硬件或軟件故障，整個A地點無法正常提供服務(wù)：GCM 將監(jiān)控到該嚴(yán)重災(zāi)難的發(fā)生，將對接收到的Site A down事件進(jìn)展處理：發(fā)出嚴(yán)重告警，并在管理界面上彈出服務(wù)災(zāi)難性切換及服務(wù)切換到遠(yuǎn)程地點等待確認(rèn)畫面。在有關(guān)人員確認(rèn)后，在GCM切換等待確認(rèn)畫面上按確認(rèn)按鈕，將進(jìn)展地點間的容災(zāi)切

56、換。A地點的業(yè)務(wù)將在B地點正常提供服務(wù)。數(shù)據(jù)復(fù)制暫停。Site B的VVR將從Secondary變成New Primary，使用DCM記錄所有變化的數(shù)據(jù)塊。如果A、B地點間網(wǎng)絡(luò)發(fā)生故障：VVR心跳檢測將發(fā)現(xiàn)該故障，A地點VVR將根據(jù)事先的配置進(jìn)展處理。我們的建議是VVR將網(wǎng)絡(luò)故障期間所有數(shù)據(jù)的更改記錄在SRL。如果在一段較長時間內(nèi)，網(wǎng)絡(luò)故障無法恢復(fù)。當(dāng)VVR的SRL卷接近滿時，VVR將使用DCM，記錄變化的數(shù)據(jù)塊位圖。在網(wǎng)絡(luò)故障發(fā)生后，GCM將探測到，并對Network Down 事件進(jìn)展處理：向有關(guān)管理員發(fā)出告警。如果A、B地點間網(wǎng)絡(luò)在短時間內(nèi)恢復(fù)正常。VVR將把A的SRL中積累的數(shù)據(jù)傳送到

57、B。VVR處于正常工作狀態(tài)。GCM處于正常工作狀態(tài)。如果A、B地點間網(wǎng)絡(luò)在很長時間內(nèi)仍無法恢復(fù)正常：VVR停頓遠(yuǎn)程數(shù)據(jù)復(fù)制。GCM無法對兩地間的Cluster運(yùn)行進(jìn)展監(jiān)控。八、災(zāi)難復(fù)原。當(dāng)A地點的系統(tǒng)恢復(fù)正常后，需要進(jìn)展整個系統(tǒng)的回遷。數(shù)據(jù)反向復(fù)制時只復(fù)制災(zāi)難期間變化的數(shù)據(jù)而不是所有的數(shù)據(jù)，這是本方案優(yōu)勢之一。在災(zāi)難期間，B地點是VVR的New Primary，B的DCM記錄所有變化的數(shù)據(jù)塊。A系統(tǒng)正常后，VVR重新建設(shè)與B節(jié)點的RLINK連接，并自動變成Pseudo Secondary偽后備節(jié)點。GCM 發(fā)現(xiàn)A、B地點Cluster恢復(fù)正常，對它們進(jìn)展正常管理。以下過程將在腳本中自動完成。進(jìn)

58、展反向同步的第一步是將A節(jié)點的Pseudo Secondary狀態(tài)轉(zhuǎn)成Secondary狀態(tài)。第二步將進(jìn)展A的SRL和DCM的重置(Replay)，修改B的DCM。因為在A節(jié)點發(fā)生災(zāi)難時，有可能A的SRL中有沒來得及進(jìn)展傳送得數(shù)據(jù)，甚至DCM中標(biāo)記的數(shù)據(jù)塊沒來得及進(jìn)展傳送。也就是說，A中有一些本地已經(jīng)修改，而B還未修改的數(shù)據(jù)。所以，要保持A、B數(shù)據(jù)的一致性，一定要首先對這些數(shù)據(jù)進(jìn)展處理。處理方法成為重置(Replay)。重置將把A節(jié)點SRL中數(shù)據(jù)或DCM中標(biāo)記的數(shù)據(jù)位圖信息傳送到B節(jié)點。B節(jié)點將進(jìn)展判斷，根據(jù)數(shù)據(jù)塊是否有新的修改，對DCM進(jìn)展置位。重置完成后，將進(jìn)展數(shù)據(jù)的反向同步，將災(zāi)難期間B

59、節(jié)點變化的數(shù)據(jù)和需要A節(jié)點重置的數(shù)據(jù)傳送到A。以上的過程中，B的數(shù)據(jù)庫和應(yīng)用都處于正常運(yùn)行狀態(tài)。當(dāng)反向同步完成后，數(shù)據(jù)庫和應(yīng)用將停頓運(yùn)行。 GCM控制進(jìn)展整個系統(tǒng)的反向切換。A節(jié)點重新成為VVR的Primary，進(jìn)展正常復(fù)制。A節(jié)點整個業(yè)務(wù)系統(tǒng)恢復(fù)正常運(yùn)行。3.4方案分析本章將就移動公司綜合結(jié)算需求書中提出的要求分析方案。通過分析，說明方案符合需求，并進(jìn)一步講解方案的細(xì)節(jié)。有關(guān)數(shù)據(jù)的量化分析及結(jié)果涉及數(shù)據(jù)庫的系統(tǒng)業(yè)務(wù)，除了對數(shù)據(jù)庫內(nèi)容的更改進(jìn)行實時數(shù)據(jù)復(fù)制外，還要復(fù)制有關(guān)的系統(tǒng)文件，例如環(huán)境配置信息、數(shù)據(jù)庫環(huán)境配置信息。在帶寬允許的情況下，我們將對整個數(shù)據(jù)庫有關(guān)的內(nèi)容，包括數(shù)據(jù)庫安裝軟件、數(shù)據(jù)

60、庫數(shù)據(jù)等等都實時復(fù)制到災(zāi)備節(jié)點。當(dāng)發(fā)生災(zāi)難時，恢復(fù)的時間會很短。對于VVR對數(shù)據(jù)庫內(nèi)容的復(fù)制，就oracle 為例，有兩種方法：1僅復(fù)制Archive Log和Online Redo Log。該方法的優(yōu)點是復(fù)制數(shù)據(jù)量小，對帶寬要求小，而且比數(shù)據(jù)庫本身的復(fù)制功能更能保持?jǐn)?shù)據(jù)一致性，因為數(shù)據(jù)庫本身的復(fù)制僅復(fù)制Archive Log。缺點是后備節(jié)點要進(jìn)展Log中的交易重提交，當(dāng)發(fā)生災(zāi)難后，后備節(jié)點可能需要較長時間才能提供正常服務(wù) 。數(shù)據(jù)庫的內(nèi)容和Log都進(jìn)展復(fù)制。該方法的優(yōu)點是更好地保持?jǐn)?shù)據(jù)的一致性，而且發(fā)生災(zāi)難時，后備系統(tǒng)恢復(fù)正常服務(wù)的時間較短。缺點是復(fù)制的數(shù)據(jù)量較大，對帶寬的要求較高。根據(jù)計算，