xx運(yùn)營(yíng)商容災(zāi)項(xiàng)目DataGuard實(shí)施手冊(cè)

1、XX運(yùn)營(yíng)商容災(zāi)項(xiàng)目DG Switch Over測(cè)試報(bào)告后付費(fèi)計(jì)費(fèi)系統(tǒng)(zhjf)CRM生產(chǎn)系統(tǒng)(zhkf)2010-7目錄1.文檔控制ii修改記錄ii分發(fā)者ii審閱記錄ii相關(guān)文檔ii2.系統(tǒng)現(xiàn)狀描述43.測(cè)試目的44.測(cè)試方法4總的測(cè)試步驟4具體的Switch Over步驟55.所需時(shí)間66.風(fēng)險(xiǎn)控制6已知風(fēng)險(xiǎn)6未知風(fēng)險(xiǎn)77.應(yīng)急處理78.建議79.附錄(主備庫配置信息)7綜合計(jì)費(fèi)生產(chǎn)環(huán)境(Primary site)配置7綜合計(jì)費(fèi)容災(zāi)環(huán)境(Standby site)配置8綜合客服生產(chǎn)環(huán)境(Primary site)配置8綜合客服容災(zāi)環(huán)境(Standby site)配置91. 系統(tǒng)現(xiàn)狀描述后付

2、費(fèi)計(jì)費(fèi)系統(tǒng)和CRM生產(chǎn)系統(tǒng)是XX運(yùn)營(yíng)商兩個(gè)重要的業(yè)務(wù)支撐系統(tǒng)，數(shù)據(jù)庫采用Oracle 10g版本.2，均為兩節(jié)點(diǎn)RAC，分別運(yùn)行于IBM AIX5L和HP-UX平臺(tái)。這兩個(gè)系統(tǒng)數(shù)據(jù)量都非常大，分別為4.5T和13T。為了有效保證數(shù)據(jù)安全性、系統(tǒng)可用性，將在距主生產(chǎn)主機(jī)房約1000公里的容災(zāi)中心建立容災(zāi)系統(tǒng)，容災(zāi)技術(shù)采用Oracle 10g DataGuard Physical Standby數(shù)據(jù)庫(備用數(shù)據(jù)庫)技術(shù)，將主數(shù)據(jù)庫產(chǎn)生的歸檔日志通過網(wǎng)絡(luò)傳輸?shù)饺轂?zāi)中心，并應(yīng)用到備用數(shù)據(jù)庫中，使備用數(shù)據(jù)庫與主數(shù)據(jù)庫數(shù)據(jù)保持一致。這兩個(gè)系統(tǒng)對(duì)應(yīng)的容災(zāi)環(huán)境也是2節(jié)點(diǎn)的RAC環(huán)境，RAC到RAC的DataG

3、uard環(huán)境目前并不多見，這也加大了對(duì)此容災(zāi)環(huán)境進(jìn)行維護(hù)和使用的難度，因此進(jìn)行相關(guān)的測(cè)試有利于當(dāng)發(fā)生故障時(shí)能夠及時(shí)切換到容災(zāi)環(huán)境，從而確保不對(duì)XX運(yùn)營(yíng)商的業(yè)務(wù)造成影響或者盡量將這個(gè)影響降低到最小。2. 測(cè)試目的為后付費(fèi)計(jì)費(fèi)系統(tǒng)和CRM生產(chǎn)系統(tǒng)建立容災(zāi)環(huán)境，主要是通過使用Oracle DataGuard技術(shù)，實(shí)現(xiàn)如下目的：l 在主生產(chǎn)系統(tǒng)災(zāi)難時(shí)，使數(shù)據(jù)損失減到最低甚至為零(根據(jù)配置方式和災(zāi)難的程序)，在最短時(shí)間內(nèi)啟用備用系統(tǒng)提供服務(wù)。l 主生產(chǎn)系統(tǒng)硬件設(shè)備需要維護(hù)時(shí)，可以切換到備用系統(tǒng)提供服務(wù)，維護(hù)完成后可以回切。l 可以通過備用數(shù)據(jù)庫進(jìn)行數(shù)據(jù)庫備份，減輕因備份對(duì)主生產(chǎn)系統(tǒng)造成的壓力。l 適當(dāng)保

4、持備用數(shù)據(jù)庫與主生產(chǎn)庫的延遲時(shí)間，可以在一定范圍內(nèi)恢復(fù)人為失誤導(dǎo)致的數(shù)據(jù)丟失。為了確保當(dāng)主生產(chǎn)系統(tǒng)發(fā)生故障時(shí)，備用環(huán)境能夠正常使用，在短時(shí)間之內(nèi)能夠使用備用系統(tǒng)提供服務(wù)，需要對(duì)搭建的容災(zāi)環(huán)境進(jìn)行測(cè)試。Oracle Dataguard技術(shù)提供兩種切換模式，Switch Over和Fail Over。前者切換之后主備關(guān)系仍然存在，容災(zāi)功能仍然具備，只是生產(chǎn)系統(tǒng)和備用系統(tǒng)的角色發(fā)生了改變；而后者切換生產(chǎn)系統(tǒng)和備用系統(tǒng)的角色同樣發(fā)生了改變，但是此種切換模式會(huì)破壞主備關(guān)系，需要重新搭建容災(zāi)環(huán)境。通常在對(duì)主庫進(jìn)行一些維護(hù)操作需要停庫時(shí)進(jìn)行Switch Over切換，當(dāng)主庫的維護(hù)操作完成再重新切換回來。通常

5、當(dāng)主庫出現(xiàn)不可修復(fù)故障，系統(tǒng)不可用時(shí)進(jìn)行Fail Over切換，使用備用環(huán)境提供服務(wù)，之后容災(zāi)環(huán)境需要重新進(jìn)行搭建。3. 測(cè)試方法總的測(cè)試步驟對(duì)于CRM生產(chǎn)系統(tǒng)和后付費(fèi)計(jì)費(fèi)系統(tǒng)采用相關(guān)的方法和步驟進(jìn)行Switch Over進(jìn)行測(cè)試。首先測(cè)試CRM生產(chǎn)系統(tǒng)，之后測(cè)試后付費(fèi)計(jì)費(fèi)系統(tǒng)。每個(gè)系統(tǒng)測(cè)試大概為4小時(shí)，一共需要8小時(shí)。測(cè)試方法如下：1、 從主生產(chǎn)主機(jī)房Switch Over到容災(zāi)中心容災(zāi)環(huán)境；2、 應(yīng)用程序連接到備用數(shù)據(jù)庫進(jìn)行2小時(shí)的業(yè)務(wù)測(cè)試；3、 測(cè)試完成后直接進(jìn)行Fail Over；具體的Switch Over步驟下面描述下大致的操作步驟，詳細(xì)的步驟請(qǐng)看：XX運(yùn)營(yíng)商一、測(cè)試前的主備工作1

6、、停掉所有在主庫上的應(yīng)用程序以及定時(shí)作業(yè)2、停止數(shù)據(jù)庫及歸檔日志備份3、保證切換之前在主庫上沒有額外的會(huì)話連接Select inst_id,count(*) from gv$session;在各個(gè)主機(jī)上查看 ps ef|grep LOCAL=NO|wc l二、Switch Over測(cè)試步驟1、關(guān)閉主庫和備庫上的多余實(shí)例在生產(chǎn)環(huán)境，保留一個(gè)實(shí)例用于switch over的操作，干凈關(guān)閉其他實(shí)例；在備用環(huán)境，保留正在進(jìn)行應(yīng)用歸檔日志進(jìn)行恢復(fù)的實(shí)例，干凈關(guān)閉其他實(shí)例。2、確認(rèn)生產(chǎn)環(huán)境switch over操作是否可行 (主庫操作)在生產(chǎn)環(huán)境執(zhí)行下面的語句Select database_role,sw

7、itchover_status from v$database;正確的返回值應(yīng)該是primary和to standby3、在生產(chǎn)環(huán)境發(fā)起switch over命令，將primary role切換為standby role (主庫操作)alter database commit to switchover to standby ;（alter database commit to switchover to physical standby）這個(gè)步驟會(huì)備份當(dāng)前的控制文件為當(dāng)前session 的trace文件4、關(guān)閉和重啟之前的主庫(primary role) (主庫操作)Shutdown imm

8、ediateStartup mount5、驗(yàn)證備庫環(huán)境的switch over狀態(tài) (備庫操作)在備庫執(zhí)行下面的語句Select database_role,switchover_status from v$database;正確的值應(yīng)該standby和to primary如果顯示SESSIONS ACTIVE，需要將活動(dòng)的會(huì)話kill掉，殺掉活動(dòng)會(huì)話還是繼續(xù)顯示SESSIONS ACTIVE，則在下面的切換命令中添加with session shutdown6、在備庫環(huán)境將備庫(standby role)轉(zhuǎn)換為主庫(primary role) (備庫操作)alter database com

9、mit to switchover to primary;alter database commit to switchover to primary with session shutdown;7、完成備庫到主庫角色的轉(zhuǎn)換 (備庫操作)如果備庫從未以read only方式打開過，則直接open備庫Alter database open;如果備庫曾經(jīng)被以read only的方式打開過，則需要重啟備庫Shutdown immediateStartup8、重新在新的備庫(原先的主庫)上打開日志應(yīng)用 log apply (新的備庫，之前的主庫上操作)alter database recover ma

10、naged standby database disconnect from session;9、將數(shù)據(jù)庫角色改變注冊(cè)到CRS在切換的時(shí)候，由于是10g RAC環(huán)境，切換之后需要讓CRS知道數(shù)據(jù)庫角色的轉(zhuǎn)換，以防止重啟服務(wù)器的時(shí)候，CRS將一個(gè)轉(zhuǎn)換為standby role的數(shù)據(jù)庫以read/write的方式直接打開，造成不必要的失誤。需要手工的將數(shù)據(jù)庫角色的變化注冊(cè)到CRS，方法如下：srvctl modify database -d <name> -o <oracle_home> -r PHYSICAL_STANDBY -s mount這一步驟在實(shí)際進(jìn)行Switch

11、 Over過程中是必須的，因?yàn)槲覀兇舜沃皇菧y(cè)試，之后還是要再重新Switch Over回來，這個(gè)步驟不是必須的。三、 驗(yàn)證Switch Over是否成功1、打開主庫和備庫其他的實(shí)例，同時(shí)驗(yàn)證switch over是否成功在新的主庫上進(jìn)行日志切換操作，查看日志是否能夠正常傳輸?shù)叫碌膫鋷飙h(huán)境，并能夠應(yīng)用到數(shù)據(jù)庫，同時(shí)監(jiān)控alert日志，驗(yàn)證相關(guān)信息。新的主庫Alter system switch logfile;新的備庫Select sequence#,applied from v$archived_log;2、驗(yàn)證主備庫的角色是否改變分別在主備庫執(zhí)行select database_role fr

12、om v$database;4. 所需時(shí)間按照計(jì)劃，每個(gè)系統(tǒng)測(cè)試定的時(shí)間為4小時(shí)，一共需要8小時(shí)。在測(cè)試過程中如果出現(xiàn)問題，測(cè)試失敗或者測(cè)試需要的時(shí)間太長(zhǎng)，一旦影響到正常的營(yíng)業(yè)則考慮取消此次測(cè)試，改在其他時(shí)間再次進(jìn)行。如果在晚上20點(diǎn)開始進(jìn)行測(cè)試的話，凌晨4點(diǎn)左右結(jié)束。5. 風(fēng)險(xiǎn)控制已知風(fēng)險(xiǎn)Switch Over的風(fēng)險(xiǎn)：有可能遇上未知的BUG導(dǎo)致失敗，盡管我們已經(jīng)查了文檔，目前尚未發(fā)現(xiàn)與此相關(guān)的問題。Fail Over的風(fēng)險(xiǎn)：Fail Over后，原系統(tǒng)的備份全無效，且STANDBY容災(zāi)環(huán)境需要重新構(gòu)建，在一段時(shí)間內(nèi)無可用備份，存在風(fēng)險(xiǎn)。另Fail Over基本上不存在不成功的的可能，建議不要

13、做Fail Over，仍是Switch Over回主生產(chǎn)。未知風(fēng)險(xiǎn)在操作過程中出現(xiàn)主機(jī)或網(wǎng)絡(luò)故障，這也是可能的，因此在測(cè)試過程中如出現(xiàn)這類故障，需要停止此次測(cè)試，改在其他時(shí)間進(jìn)行。如果正在操作過程中出現(xiàn)這些問題，需要查看主生產(chǎn)生產(chǎn)環(huán)境是否可用，如果不可用且主機(jī)或網(wǎng)絡(luò)故障短時(shí)間無法解決時(shí)，可以考慮在備庫進(jìn)行Fail Over或使用之前進(jìn)行的clone數(shù)據(jù)庫進(jìn)行恢復(fù)，從而確保不影響第二天的營(yíng)業(yè)或?qū)⑵溆绊懡档偷阶钚　?. 應(yīng)急處理當(dāng)緊急問題發(fā)生，比如在指定的時(shí)間內(nèi)切換測(cè)試沒有成功完成或其他情況出現(xiàn)，影響原定的計(jì)劃，需要進(jìn)行應(yīng)急處理。下面分情況進(jìn)行描述：1、 Switch Over切換測(cè)試失敗，但是主

14、生產(chǎn)生產(chǎn)環(huán)境可以正常使用，則推遲當(dāng)前的測(cè)試，待問題查明后再進(jìn)行；2、 Switch Over切換測(cè)試失敗，主生產(chǎn)生產(chǎn)環(huán)境不可用，推遲當(dāng)前測(cè)試，在備庫進(jìn)行Fail Over或使用之前的clone數(shù)據(jù)庫進(jìn)行恢復(fù)；3、 正常測(cè)試過程中，4個(gè)小時(shí)已經(jīng)足夠完成一個(gè)系統(tǒng)的Switch Over測(cè)試，但是如果出現(xiàn)問題使得測(cè)試過程超過預(yù)先確定的時(shí)間，需要考慮推遲測(cè)試，改為其他時(shí)間進(jìn)行；7. 建議因?yàn)镕ail Over通常肯定是可以成功進(jìn)行的，因此建議在每個(gè)系統(tǒng)的測(cè)試中最后以Switch Over的方式切換回主生產(chǎn)生產(chǎn)環(huán)境，減少不必要的風(fēng)險(xiǎn)。8. 附錄(主備庫配置信息)綜合計(jì)費(fèi)生產(chǎn)環(huán)境(Primary site

15、)配置系統(tǒng)配置如下表：節(jié)點(diǎn)1節(jié)點(diǎn)2IP/32(VIP)/35(VIP)主機(jī)名zhjf01zhjf02服務(wù)器IBM p595IBM p595操作系統(tǒng)AIX 5300-02-00AIX 5300-02-00Cluster軟件HACMP 5.2HACMP 5.2Oracle版本10.2.0.2.0 RAC10.2.0.2.0 RAC$HOME/oracle/oracle$ORACLE_BASE/oracle/app/oracle/oracle/app/oracle$ORACLE_HOME$ORACLE_BASE/product/db_1$ORACLE_BASE/product/db_1$ORA_CR

16、S_HOME$ORACLE_BASE/product/crs_1$ORACLE_BASE/product/crs_1警告日志文件路徑/zhjf01_log/zhjf/bdump/zhjf02_log/zhjf/bdump$ORACLE_SIDzhjf1zhjf2DB_NAMEzhjf數(shù)據(jù)文件大小13TB歸檔日志量從2007年11月1日至2008年2月17日(共109天)的歸檔日志情況來看： 109天的平均值：340GB/天，14GB/小時(shí)，約合4MB/s；其中歸檔日志最多的一天是2007年12月26日，日志數(shù)量為395個(gè)，約為780GB，當(dāng)天平均值為33GB/小時(shí)，9.2MB/s按小時(shí)統(tǒng)計(jì)的峰

17、值最高為120GB/小時(shí),合34MB/s，出現(xiàn)在2008年2月17日19:00綜合計(jì)費(fèi)容災(zāi)環(huán)境(Standby site)配置系統(tǒng)配置如下表：節(jié)點(diǎn)1節(jié)點(diǎn)2IP/2(VIP)133.224.205.4/5(VIP)主機(jī)名Zhjf03Zhjf04服務(wù)器IBM p595IBM p595操作系統(tǒng)AIX 5300-02-00AIX 5300-02-00Cluster軟件HACMP 5.2HACMP 5.2Oracle版本10.2.0.2.0 RAC10.2.0.2.0 RAC$HOME/oracle/oracle$ORACLE_BASE/oracle/app/oracle/oracle/app/orac

18、le$ORACLE_HOME$ORACLE_BASE/product/db_1$ORACLE_BASE/product/db_1$ORA_CRS_HOME$ORACLE_BASE/product/crs_1$ORACLE_BASE/product/crs_1警告日志文件路徑/oracle/app/oracle/admin/zhjf/bdump/oracle/app/oracle/admin/zhjf/bdump$ORACLE_SIDZhjf3Zhjf4綜合客服生產(chǎn)環(huán)境(Primary site)配置系統(tǒng)配置如下表：節(jié)點(diǎn)1節(jié)點(diǎn)2IP/3(VIP)/4(VIP)主機(jī)名zhkf1zhkf2服務(wù)器HP

19、 SuperDomeHP SuperDome操作系統(tǒng)HP-UX HP-UX Cluster軟件Serviceguard Extension for RAC Serviceguard Extension for RAC Oracle版本10.2.0.2.0 RAC10.2.0.2.0 RAC$HOME/oracle/oracle$ORACLE_BASE/oracle/oracle$ORACLE_HOME/oracle/app/product/zhkf/oracle/app/product/zhkf$ORA_CRS_HOME/oracle/app/product/crs/oracle/app/product/crs警告日志文件路徑/bdump_zhkf01/zhkf/bdump/bdump_zhkf02/zhkf/bdump$ORACLE_SIDzhkf1zhkf2DB_NAMEzhkf數(shù)據(jù)文件大小4.5TB歸檔日志量從2007年12月29日至2008年2月17日