Oracle容災(zāi)備份實(shí)時(shí)備份+數(shù)據(jù)遷移應(yīng)用實(shí)踐

1、 Oracle:實(shí)時(shí)備份、 數(shù)據(jù)遷移應(yīng)用實(shí)踐iStream DDS Oracle數(shù)據(jù)庫(kù)復(fù)制軟件介紹1概要DDS實(shí)時(shí)復(fù)制軟件的技術(shù)體系DRS邏輯備份與恢復(fù)DDS解決方案與案例DDS產(chǎn)品特點(diǎn)技術(shù)交流2DDS技術(shù)架構(gòu)傳輸進(jìn)程 sSQL數(shù)據(jù)查詢透明壓縮傳輸采集進(jìn)程分析進(jìn)程 s業(yè)務(wù)系統(tǒng)交易合成 sredo logShare memoryDisk生產(chǎn)數(shù)據(jù)庫(kù) 接收進(jìn)程 s交易裝載 sOCIShare memoryDiskSQL復(fù)制數(shù)據(jù)庫(kù) IP網(wǎng)絡(luò)DTF3源端體系結(jié)構(gòu)PTRACKPMONSPMSGSPRECVSPCOMMPCLEANSHM-SYS系統(tǒng)參數(shù)以及狀態(tài)信息PMERGESHM-MEM 交易信息交換區(qū)域

2、Redo log Blocks共享內(nèi)存區(qū)后臺(tái)進(jìn)程Msg.log磁盤(pán)緩存目 標(biāo)數(shù)據(jù)庫(kù)操作指令PTRACK跟蹤到redo log增量信息，將其寫(xiě)入共享內(nèi)存，并通知 PMERGE 進(jìn)行處理，PTRACK同時(shí)將此數(shù)據(jù)包寫(xiě)入緩存目錄以便后續(xù)進(jìn)程沒(méi)有成功處理或系統(tǒng)其它異常情況時(shí)，這些數(shù)據(jù)能夠恢復(fù)并重新進(jìn)行處理。PMERGE收到PTRACK的通知，將收到的數(shù)據(jù)包進(jìn)行各種必要的處理，生成處理后的數(shù)據(jù)包，將新數(shù)據(jù)包寫(xiě)入共享內(nèi)存，并通知PCOMM 進(jìn)行處理。PCOMM 收到PMERGE的通知，將收到的數(shù)據(jù)包發(fā)送到目標(biāo)端系統(tǒng)，如果發(fā)送不成功（目標(biāo)系統(tǒng)未啟動(dòng)、網(wǎng)絡(luò)故障），將數(shù)據(jù)包寫(xiě)入緩存目錄 。PCLEAN清道夫進(jìn)程

3、，負(fù)責(zé)將緩存中不再需要的文件刪除掉。4目標(biāo)端體系結(jié)構(gòu)PPUTPMONTPMSGTSHM系統(tǒng)運(yùn)行狀態(tài)以及參數(shù)Msg.log磁盤(pán)緩存后臺(tái)進(jìn)程目標(biāo)數(shù)據(jù)庫(kù)操作指令PMONT負(fù)責(zé)建立共享內(nèi)存、信號(hào)燈、消息隊(duì)列，監(jiān)控系統(tǒng)其它進(jìn)程的狀態(tài)，重起異常退出進(jìn)程并報(bào)告狀態(tài)；PMSGT負(fù)責(zé)收集其它所有進(jìn)程報(bào)告的各種錯(cuò)誤信息，將錯(cuò)誤信息存放到日志文件msg.log中；PRECVT負(fù)責(zé)接收界面發(fā)送來(lái)的管理命令并執(zhí)行，接收增量數(shù)據(jù)包，裝載歷史數(shù)據(jù)；PPUT負(fù)責(zé)裝載歷史、增量信息到數(shù)據(jù)庫(kù)中,做數(shù)據(jù)驗(yàn)證；PRECVTPCLEAN共享內(nèi)存區(qū)5數(shù)據(jù)庫(kù)日志分析技術(shù)的概念6delete from xx where xxupdate x

4、x set xx where xxupdate xx set xx where xxupdate xx set xx where xxupdate xx set xx where xxcommitcommitupdate xx set xx where xxupdate xx set xx where xxrollback事務(wù)合成 transaction mergeMemoryMerge完整交易TrackprocessInsert into xx values xxdelete from xx where xxxupdate xx set xx where xxxupdate xx set x

5、x where xxxupdate xx set xx where xxxcommitInsert into xx values xxdelete from xx where xxxupdate xx set xx where xxxupdate xx set xx where xxxcommitMergeprocessMergeprocess 以交易為單位傳輸，保證數(shù)據(jù)的一致性和完整性 rollback的DML放棄處理Redo log翻譯DML7批量同步和增量復(fù)制生產(chǎn)數(shù)據(jù)庫(kù)復(fù)制數(shù)據(jù)庫(kù)datafiledatafileRedo logArchive logDDSDDSApplydatafile步

6、驟1：批量數(shù)據(jù)初始化同步 （快照方式與直接讀取數(shù)據(jù)文件）步驟2：增量數(shù)據(jù)實(shí)時(shí)更新 （支持裸設(shè)備、文件系統(tǒng)、OCFS）InstanceSGAShared poolSGA壓縮傳輸8目標(biāo)系統(tǒng)源系統(tǒng)緩存隊(duì)列和傳輸保證CommprocessCommprocessOKTrackprocessPUTprocess兩端都設(shè)置磁盤(pán)緩存，交易文件按照交易順序傳輸緩存隊(duì)列緩存隊(duì)列在網(wǎng)絡(luò)中斷、系統(tǒng)宕機(jī)、數(shù)據(jù)庫(kù)shutdown等故障情況下，仍能保證復(fù)制數(shù)據(jù)的連續(xù)性等目標(biāo)端確認(rèn)寫(xiě)入磁盤(pán)后才刪除源端數(shù)據(jù)9選擇性復(fù)制對(duì)象過(guò)濾Sys系統(tǒng)表Table復(fù)制Schema復(fù)制Schema復(fù)制Table復(fù)制表級(jí)復(fù)制組級(jí)復(fù)制(多表)用戶級(jí)

7、復(fù)制TablePartition TableTemporary TableIOTViewSequenceIndexProcedureFunctionPackageSynonymTriggerRolePrivilegeUDTMaterialized View10支持異構(gòu)平臺(tái)支持異構(gòu)平臺(tái)，硬件可自由選擇存儲(chǔ)系統(tǒng)異構(gòu) DAS、NAS、SAN、IPSAN服務(wù)器異構(gòu) IBM aix、HP hpux、SUN solaris、Linux Windows裝載傳輸讀取OracleOracleOracle11完善的復(fù)制方式Where 方式復(fù)制優(yōu)點(diǎn)：源端目標(biāo)段相互切換方便缺點(diǎn)：同步速度慢 rowid方式復(fù)制優(yōu)點(diǎn)：同

8、步速度快 缺點(diǎn)：源端目標(biāo)段相互切換需做全同步12靈活復(fù)制方式靈活的復(fù)制方式單向1:1復(fù)制,可實(shí)現(xiàn)完全復(fù)制和選擇性復(fù)制N:1復(fù)制,可實(shí)現(xiàn)海量數(shù)據(jù)整合，集中(N無(wú)限制)1:N復(fù)制,可實(shí)現(xiàn)數(shù)據(jù)分發(fā)、篩選、遷移（N無(wú)限制）支持雙向復(fù)制（where模式）OracleOracleOracleOracleOracleOracleOracleOracleOracle13什么是DRS？Data Rollback Server利用DDS產(chǎn)生的過(guò)程文件進(jìn)行數(shù)據(jù)庫(kù)回滾和前滾重現(xiàn)數(shù)據(jù)庫(kù)的歷史狀態(tài)，審計(jì)、查詢、恢復(fù)單表回滾全部數(shù)據(jù)回滾交易系統(tǒng)DB容災(zāi)系統(tǒng)DBDDS軟件0.dtf.bak1dtf.bak。100.dtf.b

9、ak101.dtf.bak。1000.dtf.bak10001.dtf.bak。10019.dtf10020.dtfDTF列表恢復(fù)交易數(shù)據(jù)庫(kù)恢復(fù)時(shí)刻恢復(fù)數(shù)據(jù)回復(fù)同步時(shí)刻14DRSDRS恢復(fù)truncate的表truncate誤操作給用戶帶來(lái)巨大損失利用傳統(tǒng)技術(shù)如何恢復(fù)？DRS自動(dòng)“保存”數(shù)據(jù)保存時(shí)間通過(guò)配置參數(shù)指定Truncate table xxRename XX to XXCreate table XXXXXXXX15解決方案1 - 數(shù)據(jù)庫(kù)實(shí)時(shí)遠(yuǎn)程容災(zāi)傳統(tǒng)容災(zāi)技術(shù)的局限不能支持異構(gòu)環(huán)境，產(chǎn)品選擇余地小，成本不可控；在傳輸方面對(duì)帶寬和距離的限制頗多；系統(tǒng)部署時(shí)間長(zhǎng)、步驟復(fù)雜、對(duì)生產(chǎn)系統(tǒng)影響較

10、大；容災(zāi)切換存在一定的風(fēng)險(xiǎn)；iStream DDS容災(zāi)方案特點(diǎn) 支持異構(gòu)硬件平臺(tái)和異構(gòu)操作系統(tǒng)環(huán)境 傳輸數(shù)據(jù)量小，帶寬要求低，距離無(wú)限制 數(shù)據(jù)可以復(fù)用，可獲更多投資回報(bào) 容災(zāi)切換沒(méi)有風(fēng)險(xiǎn)1生產(chǎn)容災(zāi)234距離100公里1生產(chǎn)容災(zāi)距離無(wú)限制16興業(yè)證券同城災(zāi)備數(shù)據(jù)庫(kù) Linux AS4U4 Oracle 10g異地災(zāi)備數(shù)據(jù)庫(kù)Oracle 10g2個(gè)節(jié)點(diǎn)RAC Linux AS4U4集中交易數(shù)據(jù)庫(kù) Oracle 10G 2個(gè)節(jié)點(diǎn)RACIBM AIX5L本地復(fù)制100M帶寬總部福州福州同城營(yíng)業(yè)部災(zāi)備機(jī)房10M上海17合肥華安 期貨單實(shí)例Linux 10g單實(shí)例Linux 10g本地容災(zāi)查詢2個(gè)節(jié)點(diǎn)IB

11、M AIX5LDDS本地復(fù)制1000M帶寬合肥總部總部機(jī)房2M同城營(yíng)業(yè)部災(zāi)備機(jī)房18解決方案2 - 跨平臺(tái)無(wú)縫數(shù)據(jù)遷移關(guān)鍵系統(tǒng)數(shù)據(jù)遷移的難點(diǎn)必須長(zhǎng)時(shí)間停止業(yè)務(wù)交易用于導(dǎo)出導(dǎo)入數(shù)據(jù)；過(guò)長(zhǎng)的業(yè)務(wù)中斷時(shí)間，可能是幾小時(shí)，也可能是幾天；7*24運(yùn)行的業(yè)務(wù)系統(tǒng)如何遷移？iStream DDSiStream DDS數(shù)據(jù)遷移優(yōu)勢(shì)實(shí)時(shí)數(shù)據(jù)遷移，無(wú)需暫停業(yè)務(wù)交易；只有系統(tǒng)割接需要停止交易，分鐘級(jí)；支持異構(gòu)硬件、操作系統(tǒng)平臺(tái)遷移；支持Oracle數(shù)據(jù)庫(kù)不同版本之間的遷移；19廣發(fā)證券 應(yīng)用案例5節(jié)點(diǎn)Linux 10g RAC4節(jié)點(diǎn)Linux 10g RAC本地容災(zāi)查詢單實(shí)例Linux 10g5公里DDS復(fù)制10M

12、帶寬DDS本地復(fù)制1000M帶寬應(yīng)用查詢應(yīng)用效果： 已經(jīng)集中的用戶量100萬(wàn)左右 實(shí)時(shí)復(fù)制過(guò)程中交易系統(tǒng)主機(jī)CPU占用率5% 本地?cái)?shù)據(jù)復(fù)制平均延遲26秒 異地系統(tǒng)平均延遲48秒。 總部同城營(yíng)業(yè)部災(zāi)備機(jī)房20解決方案3 - 分擔(dān)生產(chǎn)數(shù)據(jù)庫(kù)負(fù)載復(fù)制數(shù)據(jù)庫(kù)實(shí)時(shí)打開(kāi)原來(lái)在生產(chǎn)系統(tǒng)上的操作可以轉(zhuǎn)移到復(fù)制系統(tǒng)支持?jǐn)?shù)據(jù)查詢支持?jǐn)?shù)據(jù)抽取支持?jǐn)?shù)據(jù)回滾到歷史時(shí)間點(diǎn)21中銀國(guó)際證券查詢數(shù)據(jù)庫(kù)10g單實(shí)例HP UINX 11.23容災(zāi)數(shù)據(jù)庫(kù)10g單實(shí)例HP UINX 11.23集中交易數(shù)據(jù)庫(kù)Oracle10g 2個(gè)節(jié)點(diǎn)RAC HP UINX 11.23DDS本地復(fù)制1000M帶寬上?？偛客菭I(yíng)業(yè)部災(zāi)備機(jī)房100公里

13、10M22解決方案4 - 企業(yè)多節(jié)點(diǎn)數(shù)據(jù)集中建立企業(yè)第二數(shù)據(jù)中心支持硬件及操作系統(tǒng)異構(gòu)環(huán)境支持不同的Oracle版本支持?jǐn)?shù)據(jù)過(guò)濾及篩選支持本地或遠(yuǎn)程部署支持?jǐn)?shù)據(jù)源數(shù)據(jù)庫(kù)數(shù)量可達(dá)256個(gè)Oracle10giStream DDSOracle9iOracle10giStream DDSOracle9iOracle10g23河北財(cái)政多對(duì)一應(yīng)用案例各地市生產(chǎn)交易庫(kù)AIX（oracle為10g 或9i)主交易2各縣生產(chǎn)交易庫(kù)AIX(oracle為10g 或9i)主交易1AIX10g加 HACMP異地容災(zāi)機(jī)房DDS復(fù)制DDS復(fù)制多對(duì)一：容災(zāi)、查詢、實(shí)時(shí)監(jiān)控等多種用途有效結(jié)合應(yīng)用查詢，web實(shí)時(shí)監(jiān)控源端節(jié)點(diǎn)數(shù)總共為204臺(tái)容災(zāi)查詢端只安裝l了一個(gè)數(shù)據(jù)庫(kù)與一套DDS目標(biāo)端軟件24吉林公安 多對(duì)一應(yīng)用案例IBM 小型機(jī)（AI