系統(tǒng)容災恢復實施方案

1、 系統(tǒng)容災恢復實施方案基于HPE 3Par存儲目 錄 TOC o 1-3 h z u HYPERLINK l _Toc498624630 1.概述 PAGEREF _Toc498624630 h 3 HYPERLINK l _Toc498624631 2.系統(tǒng)架構及基本配置 PAGEREF _Toc498624631 h 3 HYPERLINK l _Toc498624632 2.1.容災系統(tǒng)架構 PAGEREF _Toc498624632 h 3 HYPERLINK l _Toc498624633 2.2.數(shù)據(jù)復制范圍及復制組（RC Group）對應關系 PAGEREF _Toc498624

2、633 h 4 HYPERLINK l _Toc498624634 2.3.定時快照 PAGEREF _Toc498624634 h 4 HYPERLINK l _Toc498624635 3.日常維護 PAGEREF _Toc498624635 h 4 HYPERLINK l _Toc498624636 3.1.日常維護任務 PAGEREF _Toc498624636 h 4 HYPERLINK l _Toc498624637 3.2.日常維護操作方法 PAGEREF _Toc498624637 h 4 HYPERLINK l _Toc498624638 3.2.1.檢查容災系統(tǒng)狀態(tài) PAG

3、EREF _Toc498624638 h 6 HYPERLINK l _Toc498624639 3.2.2.手工暫停及恢復容災數(shù)據(jù)復制 PAGEREF _Toc498624639 h 7 HYPERLINK l _Toc498624640 3.2.3.檢查快照完成情況 PAGEREF _Toc498624640 h 10 HYPERLINK l _Toc498624641 3.2.4.維護快照定時任務 PAGEREF _Toc498624641 h 11 HYPERLINK l _Toc498624642 3.2.5.手工創(chuàng)建快照 PAGEREF _Toc498624642 h 13 HYP

4、ERLINK l _Toc498624643 3.2.6.從某一快照恢復數(shù)據(jù) PAGEREF _Toc498624643 h 14 HYPERLINK l _Toc498624644 4.容災切換操作步驟 PAGEREF _Toc498624644 h 19 HYPERLINK l _Toc498624645 4.1.切換場景 PAGEREF _Toc498624645 h 19 HYPERLINK l _Toc498624646 4.1.1.計劃性切換 PAGEREF _Toc498624646 h 19 HYPERLINK l _Toc498624647 4.1.2.非計劃性切換 PAGE

5、REF _Toc498624647 h 19 HYPERLINK l _Toc498624648 4.2.存儲切換步驟 PAGEREF _Toc498624648 h 19 HYPERLINK l _Toc498624649 4.2.1.主存儲切換至容災存儲 PAGEREF _Toc498624649 h 20 HYPERLINK l _Toc498624650 4.2.2.容災存儲切換回主存儲 PAGEREF _Toc498624650 h 26 HYPERLINK l _Toc498624651 5.常見故障處理 PAGEREF _Toc498624651 h 33 HYPERLINK l

6、 _Toc498624652 5.1.單條復制鏈路故障 PAGEREF _Toc498624652 h 33 HYPERLINK l _Toc498624653 5.2.全部復制鏈路中斷 PAGEREF _Toc498624653 h 33 HYPERLINK l _Toc498624654 附錄：快照定時任務腳本 PAGEREF _Toc498624654 h 34概述本文檔詳細描述了3PAR容災系統(tǒng)的組成、基本配置、日常維護及容災切換技術操作流程等內(nèi)容，可以作為系統(tǒng)維護人員對容災系統(tǒng)的日常維護手冊及容災切換技術操作手冊系統(tǒng)架構及基本配置容災系統(tǒng)架構容災系統(tǒng)架構如下圖所示：容災系統(tǒng)采用主備磁

7、盤陣列的方式，主存儲為一臺HP 3PAR V400磁盤陣列，容災存儲為一臺HP 3PAR F400磁盤陣列，利用Remote Copy存儲復制軟件將V400上的數(shù)據(jù)通過定時異步的方式復制F400上，實現(xiàn)同機房的數(shù)據(jù)級容災。兩臺磁盤陣列之間數(shù)據(jù)傳輸通過兩條直連千兆以太網(wǎng)線來進行。主存儲上的虛擬卷（Virtual Volume）在復制到容災存儲上的同時，還通過Virtual Copy軟件在本地定時生成快照（Snapshot）用于邏輯恢復。數(shù)據(jù)復制范圍及復制組（RC Group）對應關系本次項目涉及的數(shù)據(jù)復制范圍及復制組對應關系參見附件3PAR容災系統(tǒng)數(shù)據(jù)復制對應關系表。定時快照在陣列內(nèi)部通過定時任

8、務的方式來進行定時快照。對于每一個VV Set（即每一個應用系統(tǒng)所使用的磁盤集合），從每日8點至20點每隔2小時創(chuàng)建一份只讀快照數(shù)據(jù)，命名格式為“vvname_mmddHHMM.ro”，例如9月25日14點05分對vv1創(chuàng)建的快照名稱為vv1_09251405.ro。每份快照保存期為1天，過期將被磁盤陣列自動刪除?？煺斩〞r任務使用的命令語法為：createsv ro exp 1d vvname_mdHM.ro set:”VVset 名稱”除上述快照外，每天0點還會創(chuàng)建一份保存期為7天的快照，命名方式相同。詳細執(zhí)行腳本參見附錄日常維護日常維護任務容災系統(tǒng)的日常維護主要包含以下任務：檢查容災系統(tǒng)狀

9、態(tài)手工暫停及恢復容災數(shù)據(jù)復制檢查快照創(chuàng)建情況暫停及恢復快照定時任務手工創(chuàng)建快照日常維護操作方法日常維護主要通過登陸3PAR圖形界面管理工具IMC來完成。在管理終端上點擊Inform Management Console圖標，選擇登陸兩臺3PAR，用戶名/密碼為3paradm/3pardata，如下圖所示：注意不要勾選“Secure Connection”選項。點擊左下方“Remote Copy”，即可進入容災系統(tǒng)管理界面。如下圖所示。檢查容災系統(tǒng)狀態(tài)檢查容災系統(tǒng)整體狀態(tài)點擊Summary卡片，檢查右側Health一欄的容災系統(tǒng)整體狀態(tài)。其中Service State應為Normal，Targe

10、t應為1 Ready，Links為4 Up，Groups為9 Started，均為綠燈顯示。如下圖：檢查容災鏈路狀態(tài)點擊左側”Links”選項，觀察右側Links欄狀態(tài)信息，每臺存儲下應都有4條鏈路狀態(tài)為Up，顯示為綠燈。檢查容災組狀態(tài)點擊左側Groups選項，觀察右側信息，所有復制組狀態(tài)均為Started。點擊每個Group，觀察下方的Virtual Volume欄信息，每個虛擬卷Sync State狀態(tài)均為Synced或Syncing。如下圖所示。手工暫停及恢復容災數(shù)據(jù)復制手工暫停容災數(shù)據(jù)復制在以下情況下需要手工中斷數(shù)據(jù)復制：復制鏈路上產(chǎn)生擁塞，需中斷部分復制組的數(shù)據(jù)同步以保證其他復制組的

11、正常運行災備數(shù)據(jù)驗證或演習時，主備存儲切換前需手工暫停數(shù)據(jù)復制主存儲或容災存儲需要進行軟件升級，升級前需要手工暫停數(shù)據(jù)復制執(zhí)行方法如下：點擊左側Group選項，在右側選中需要暫停的復制組，右鍵選擇Stop Remote Copy Groups，如下圖：根據(jù)提示選擇OK。該復制組狀態(tài)將變?yōu)镾topped。如下圖：恢復容災數(shù)據(jù)復制當手工斷開容災復制或數(shù)據(jù)復制因鏈路故障導致中斷后，在鏈路暢通的情況下可以手工恢復容災數(shù)據(jù)復制。執(zhí)行方法如下：選中已暫停的復制組，右鍵選擇Start Remote Copy Groups，如下圖：根據(jù)提示選擇OK檢查復制組恢復到Started狀態(tài)，且虛擬卷狀態(tài)從Syncin

12、g變?yōu)镾ynced。檢查快照完成情況檢查快照定時任務完成情況檢查右下方Recent Tasks卡片的任務完成情況，可以看到所有Scheduled Task狀態(tài)為Completed。如出現(xiàn)狀態(tài)為Failed的Scheduled Task，則表明有快照定時任務失敗。如下圖：檢查快照卷點擊左下方Provisioning按鈕，選擇3ParV400Vritual Volumes，在右側選擇Virtual Volumes，點擊虛擬卷左側+號可查看所有的快照卷。如下圖：維護快照定時任務以下工作需要通過命令行（SSH）方式登錄主存儲V400來進行。暫停快照定時任務暫停一項快照定時任務，以APS004_1D為例

13、setsched suspend APS004_1D執(zhí)行showsched命令可顯示該任務已被標記為SuspendedSchedName File/Command Min Hour DOM Month DOW CreatedBy Status Alert NextRunTime createsv_APS019_7D createsv -ro -exp 7d vvname_YmdHM.ro set:V400_APS019 30 0 * * * 3paradm active Y 2012-09-26 00:30:00 CSTcreatesv_APS015-APS018_7D createsv -r

14、o -exp 7d vvname_YmdHM.ro set:V400_APS015-APS018 25 0 * * * 3paradm active Y 2012-09-26 00:25:00 CSTcreatesv_DBS001_7D createsv -ro -exp 7d vvname_YmdHM.ro set:V400_DBS001 20 0 * * * 3paradm active Y 2012-09-26 00:20:00 CSTcreatesv_APS011_7D createsv -ro -exp 7d vvname_YmdHM.ro set:V400_APS011 15 0

15、* * * 3paradm active Y 2012-09-26 00:15:00 CSTcreatesv_APS009_7D createsv -ro -exp 7d vvname_YmdHM.ro set:V400_APS009 10 0 * * * 3paradm active Y 2012-09-26 00:10:00 CSTcreatesv_APS006_7D createsv -ro -exp 7d vvname_YmdHM.ro set:V400_APS006 5 0 * * * 3paradm active Y 2012-09-26 00:05:00 CSTcreatesv_

16、APS004_7D createsv -ro -exp 7d vvname_YmdHM.ro set:V400_APS004 0 0 * * * 3paradm active Y 2012-09-26 00:00:00 CSTcreatesv_APS019_1D createsv -ro -exp 1d vvname_YmdHM.ro set:V400_APS019 30 8,10,12,14,16,18,20 * * * 3paradm active Y 2012-09-25 12:30:00 CSTcreatesv_APS015-APS018_1D createsv -ro -exp 1d

17、 vvname_YmdHM.ro set:V400_APS015-APS018 25 8,10,12,14,16,18,20 * * * 3paradm active Y 2012-09-25 12:25:00 CSTcreatesv_DBS001_1D createsv -ro -exp 1d vvname_YmdHM.ro set:V400_DBS001 20 8,10,12,14,16,18,20 * * * 3paradm active Y 2012-09-25 12:20:00 CSTcreatesv_APS011_1D createsv -ro -exp 1d vvname_Ymd

18、HM.ro set:V400_APS011 15 8,10,12,14,16,18,20 * * * 3paradm active Y 2012-09-25 12:15:00 CSTcreatesv_APS009_1D createsv -ro -exp 1d vvname_YmdHM.ro set:V400_APS009 10 8,10,12,14,16,18,20 * * * 3paradm active Y 2012-09-25 12:10:00 CSTcreatesv_APS006_1D createsv -ro -exp 1d vvname_YmdHM.ro set:V400_APS

19、006 5 8,10,12,14,16,18,20 * * * 3paradm active Y 2012-09-25 12:05:00 CSTcreatesv_APS004_1D createsv -ro -exp 1d vvname_YmdHM.ro set:V400_APS004 0 8,10,12,14,16,18,20 * * * 3paradm suspended Y - 暫停全部定時任務setsched suspend_all執(zhí)行showsched命令可顯示全部任務已被標記為SuspendedSchedName File/Command Min Hour DOM Month DO

20、W CreatedBy Status Alert NextRunTimecreatesv_APS019_7D createsv -ro -exp 7d vvname_YmdHM.ro set:V400_APS019 30 0 * * * 3paradm suspended Y - createsv_APS015-APS018_7D createsv -ro -exp 7d vvname_YmdHM.ro set:V400_APS015-APS018 25 0 * * * 3paradm suspended Y - createsv_DBS001_7D createsv -ro -exp 7d

21、vvname_YmdHM.ro set:V400_DBS001 20 0 * * * 3paradm suspended Y - createsv_APS011_7D createsv -ro -exp 7d vvname_YmdHM.ro set:V400_APS011 15 0 * * * 3paradm suspended Y - createsv_APS009_7D createsv -ro -exp 7d vvname_YmdHM.ro set:V400_APS009 10 0 * * * 3paradm suspended Y - createsv_APS006_7D create

22、sv -ro -exp 7d vvname_YmdHM.ro set:V400_APS006 5 0 * * * 3paradm suspended Y - createsv_APS004_7D createsv -ro -exp 7d vvname_YmdHM.ro set:V400_APS004 0 0 * * * 3paradm suspended Y - createsv_APS019_1D createsv -ro -exp 1d vvname_YmdHM.ro set:V400_APS019 30 8,10,12,14,16,18,20 * * * 3paradm suspende

23、d Y - createsv_APS015-APS018_1D createsv -ro -exp 1d vvname_YmdHM.ro set:V400_APS015-APS018 25 8,10,12,14,16,18,20 * * * 3paradm suspended Y - createsv_DBS001_1D createsv -ro -exp 1d vvname_YmdHM.ro set:V400_DBS001 20 8,10,12,14,16,18,20 * * * 3paradm suspended Y - createsv_APS011_1D createsv -ro -e

24、xp 1d vvname_YmdHM.ro set:V400_APS011 15 8,10,12,14,16,18,20 * * * 3paradm suspended Y - createsv_APS009_1D createsv -ro -exp 1d vvname_YmdHM.ro set:V400_APS009 10 8,10,12,14,16,18,20 * * * 3paradm suspended Y - createsv_APS006_1D createsv -ro -exp 1d vvname_YmdHM.ro set:V400_APS006 5 8,10,12,14,16,

25、18,20 * * * 3paradm suspended Y - createsv_APS004_1D createsv -ro -exp 1d vvname_YmdHM.ro set:V400_APS004 0 8,10,12,14,16,18,20 * * * 3paradm suspended Y - 恢復快照定時任務恢復一項快照定時任務，以APS004_1D為例setsched -resume createsv_APS004_1D執(zhí)行showsched命令可顯示該任務已被標記為Active恢復全部快照定時任務setsched resume_all執(zhí)行showsched命令可顯示全部任

26、務已被標記為Active創(chuàng)建新的定時任務createsched 任務名 “須執(zhí)行的命令” “任務執(zhí)行計劃”，例如：createsched createsv -ro -exp 1d vvname_mdHM.ro set:V400_APS004 0 8,10,12,14,16,18,20 * * * createsv_APS004_1D上例為每天8:00,10:00, 12:00, 14:00, 16:00, 18:00, 20:00各執(zhí)行一次createsv操作。刪除一項定時任務removesched 任務名手工創(chuàng)建快照通過以下方法可以手工創(chuàng)建一份快照：點擊左下方Provisioning按鈕，選

27、擇Virtual Volume Sets，選擇相應VV Set右鍵點擊Create Virtual Copy：選擇快照卷名稱，點選Read Only，不必設置Expiration Time，點擊OK。同一VV Set里的所有虛擬卷都會同時創(chuàng)建一份快照。從某一快照恢復數(shù)據(jù)當生產(chǎn)數(shù)據(jù)因誤操作等因素出現(xiàn)邏輯錯誤時，可通過以下步驟從某個時間點的快照恢復數(shù)據(jù)。注意：同一個虛擬卷組（VV set）里的虛擬卷（VV）必須全部從同一時間點的快照中恢復才能保證數(shù)據(jù)一致性。從主機上卸載（unmount）磁盤刪除虛擬卷與主機的映射關系 選中VV Set，點擊右側VLUNs卡片，選中所有LUN ID并右鍵點擊Remo

28、ve點選虛擬卷下列出的某個快照卷，執(zhí)行promote操作。該操作需對虛擬卷組的所有卷重復執(zhí)行。確認所有promote任務成功完成添加虛擬卷與主機的映射關系選中VV Set，右鍵點擊Export選中需映射的主機。在主機上掛起（mount）磁盤檢查數(shù)據(jù)容災切換操作步驟本章詳細描述了對容災系統(tǒng)進行存儲切換的全過程。存儲切換以復制組（Remote Copy Group）為單位執(zhí)行。切換場景對于存儲切換來說存在兩種切換場景：計劃性切換及非計劃性切換。對于兩個場景而言，存儲切換的基本操作步驟是一樣的。在某些細節(jié)上的差異指出，在4.2節(jié)切換步驟描述中會明確列舉。計劃性切換計劃性切換時，主存儲和容災存儲之間的

29、聯(lián)系保持暢通且均可與管理臺連接。以下場景適用于計劃性切換：存儲復制數(shù)據(jù)驗證及切換測試災難恢復演習主存儲需關機維護的場合（如電源改造等）非計劃性切換非計劃性切換時，主存儲全部或部分容災組與容災存儲之間的復制鏈路將發(fā)生中斷且主存儲可能與管理臺失去連接。以下場景適用于非計劃性切換：主存儲嚴重故障導致不可訪問（如多個控制器故障、多塊硬盤損壞等）主存儲異常斷電存儲切換步驟存儲切換包含兩部分步驟：從主存儲切換到容災存儲，以及從容災存儲回切到主存儲。本節(jié)所使用的圖示均以非計劃性切換為例，主要區(qū)別是：在非計劃性切換時，圖形界面可能只能顯示容災存儲的狀態(tài)（主存儲顯示為灰色），而計劃性切換時，圖形界面將可以同時顯

30、示兩臺存儲的狀態(tài)。主存儲切換至容災存儲 檢查復制組狀態(tài)參照3.2.1節(jié)內(nèi)容檢查復制組狀態(tài)。對于非計劃性切換來說，Target狀態(tài)應為Failed，復制組狀態(tài)應為Stopped。如下圖：對于計劃性切換來說，需參照3.2.2節(jié)方法暫停容災組數(shù)據(jù)復制，復制組狀態(tài)應變?yōu)镾topped。如下圖：刪除主存儲上該復制組磁盤與主機的映射關系 此步驟主要用于計劃性切換，非計劃性切換時如果管理臺可以訪問主存儲，也執(zhí)行此步驟。執(zhí)行方法如下：選中VV Set，點擊右側VLUNs卡片，選中所有LUN ID并右鍵點擊Remove如整臺主存儲已無法訪問，則切換前必須斷開主存儲與SAN交換機之間的所有光纖連接，確保不會因主存

31、儲自動啟動導致主機同時識別到多個相同的磁盤。主機重新掃描磁盤（或重啟），此時應已無法識別原有主存儲磁盤對復制組執(zhí)行切換操作點擊左側Group選項，在右側選中需要切換的復制組，右鍵選擇Failover Remote Copy Groups，如下圖：確認該復制組Writeable LUNs一列為3ParF400在容災存儲上添加虛擬卷與主機的映射關系選中容災存儲F400上對應的VV Set（VV Set對應關系參見3PAR容災系統(tǒng)數(shù)據(jù)復制對應關系表），右鍵選擇Export：在主機上重新掃描磁盤，應識別到容災存儲磁盤在主機上掛起（Mount）容災存儲磁盤檢查文件系統(tǒng)完整性與一致性，主備切換完成。容災存

32、儲切換回主存儲如主存儲修復且原始配置未丟失，啟動主存儲前必須首先斷開主存儲與主機的光纖連接，在刪除虛擬卷與主機映射關系后再連接上光纖。確認主存儲狀態(tài)回切前需首先確認主存儲狀態(tài)正常，包括：主存儲可以正常被管理臺圖形界面管理主存儲硬件狀態(tài)正常主存儲相應復制組所在虛擬卷未映射給主機復制鏈路狀態(tài)正常，檢查方法參見3.2.1節(jié)已切換復制組DR State為Failover， State為Normal，如下圖：對復制組執(zhí)行恢復操作點擊復制組，右鍵選擇Recover Remote Copy Groups，如下圖：等待復制組狀態(tài)為Synced，如下圖停止主機上的IO訪問在主機上卸載（unmont）容災存儲所在

33、磁盤對復制組執(zhí)行同步操作點擊復制組，右鍵選擇Sync Remote Copy Groups，如下圖：等待復制組狀態(tài)為Synced。在容災存儲上刪除虛擬卷與主機的映射關系在容災存儲F400上選中VV Set，點擊右側VLUNs卡片，選中所有LUN ID并右鍵點擊Remove，如下圖：對復制組執(zhí)行還原操作選擇復制組，右鍵選擇Restore Remote Copy Group，如下圖：等待復制組狀態(tài)恢復為初始正常狀態(tài)，如下圖：在主存儲上添加虛擬卷與主機的映射關系在主存儲V400上選中VV Set，右鍵點擊Export選中需映射的主機。在主機上重新掃描磁盤，應識別到主存儲磁盤在主機上掛起（Mount）

34、主存儲磁盤檢查文件系統(tǒng)完整性與一致性，回切完成。常見故障處理以下列舉容災系統(tǒng)常見故障及處理方法：單條復制鏈路故障故障檢測機制單條復制鏈路故障時，系統(tǒng)將在25秒后檢測并將鏈路狀態(tài)設置為Down，檢查方法參考3.2.1節(jié)。故障影響單條復制鏈路故障不會影響容災系統(tǒng)運行。處理方法修復復制網(wǎng)絡故障后，系統(tǒng)會自動檢測該鏈路狀態(tài)并設置為Up，不需人工處理。 全部復制鏈路中斷故障檢測機制全部復制鏈路故障時，系統(tǒng)將在25秒后檢測并將所有鏈路狀態(tài)設置為Down，并在200秒后將對端存儲狀態(tài)設置為Failed。檢查方法參考3.2.1節(jié)。故障影響全部復制鏈路中斷將導致所有復制組被置為Stopped狀態(tài)。處理方法修復復

35、制網(wǎng)絡故障后，系統(tǒng)會自動檢測復制鏈路狀態(tài)并設置為Up，但需手工恢復復制組數(shù)據(jù)復制。參見3.2.2節(jié)。 存儲故障主存儲或容災存儲發(fā)生重啟、宕機等故障時，容災系統(tǒng)表現(xiàn)與全部復制鏈路中斷場景一致，請參考5.2節(jié)進行檢測和處理。附錄：快照定時任務腳本以下為V400上的showsched輸出：SchedName File/Command Min Hour DOM Month DOW CreatedBy Status Alert NextRunTime createsv_APS019_7D createsv -ro -exp 7d vvname_mdHM.ro set:V400_APS019 30 0 *

36、 * * 3paradm active Y 2012-09-26 00:30:00 CSTcreatesv_APS015-APS018_7D createsv -ro -exp 7d vvname_mdHM.ro set:V400_APS015-APS018 25 0 * * * 3paradm active Y 2012-09-26 00:25:00 CSTcreatesv_DBS001_7D createsv -ro -exp 7d vvname_mdHM.ro set:V400_DBS001 20 0 * * * 3paradm active Y 2012-09-26 00:20:00 CSTcreatesv_APS011_7D createsv -ro -exp 7d vvname_mdHM.ro set:V400_APS011 15 0 * * * 3paradm active Y 2012-09-26 00:15:00 CSTcreatesv_APS009_7D createsv -ro -exp 7d vvname_mdHM.ro set:V400_APS009 10 0 * * * 3paradm active Y 2012-09-26 00:10:00 CSTcreatesv_APS00