IBMInfoSphereCDC入門資料學(xué)習(xí)課程

1、高性能端到端數(shù)據(jù)整合方案，解決數(shù)據(jù)孤島問題使用基于日志的變化數(shù)據(jù)獲取 (CDC)技術(shù)，從數(shù)據(jù)日志中捕獲變化數(shù)據(jù) 在多處理平臺間雙向整合數(shù)據(jù) 易于擴展處理大數(shù)據(jù)量，而不影響重要應(yīng)用的性能 跨企業(yè)數(shù)據(jù)庫系統(tǒng)進行實時數(shù)據(jù)整合 從生產(chǎn)系統(tǒng)捕獲數(shù)據(jù)，而不影響性能 實時地轉(zhuǎn)換，并將數(shù)據(jù)應(yīng)用到目標系統(tǒng)業(yè)務(wù)收益: Business intelligence無時間窗的Real-time 報表e-Business Web存儲和后端操作的雙向整合 Master Data Management 跨企業(yè)合并和分發(fā)數(shù)據(jù) 數(shù)據(jù)的冗災(zāi)數(shù)據(jù)的冗災(zāi)Infosphere CDC第1頁/共23頁第一頁，編輯于星期六：點 四十二分。C

2、DC架構(gòu)架構(gòu)Source(Source)Target(Target)AccessServerCLIENT第2頁/共23頁第二頁，編輯于星期六：點 四十二分。主要功能點主要功能點數(shù)據(jù)同步數(shù)據(jù)轉(zhuǎn)換多平臺，多節(jié)點支持行過濾，表級復(fù)制，計算列，以及其他擴展等。Table levell支持1對多，多對一以及級聯(lián)同步l 對同步的過程可以AUDITl 糾錯機制l 支持JAVA APIl 圖形化的監(jiān)控工具第3頁/共23頁第三頁，編輯于星期六：點 四十二分。Log-Based Change Data CaptureDatabase LogsSource EngineTarget EngineTCP/IPMoni

3、toring and ConfigurationDatabaseMessage QueueWeb ServicesBusiness ProcessDB2, Oracle,SQL Server, Teradata,etcFlat files 主要特征: 低影響 靈活實施 支持異構(gòu)平臺 易于使用第4頁/共23頁第四頁，編輯于星期六：點 四十二分。Continuous(Real Time)Replication Modes:Database TableReplication LogNet Change(Periodic)Refresh(Full Copy)PushEngine第5頁/共23頁第五頁，

4、編輯于星期六：點 四十二分。數(shù)據(jù)質(zhì)量問題數(shù)據(jù)質(zhì)量問題-實現(xiàn)統(tǒng)一完整視圖實現(xiàn)統(tǒng)一完整視圖 數(shù)據(jù)格式的轉(zhuǎn)換(如日期) 數(shù)據(jù)類型的轉(zhuǎn)換 字段拆分 字段合并 代碼標準化 數(shù)據(jù)清洗(如去除空格)多表關(guān)聯(lián)多表關(guān)聯(lián)多表拆分多表拆分衍生數(shù)據(jù)計算衍生數(shù)據(jù)計算匯總處理匯總處理記錄拆分記錄拆分表合并表合并 第6頁/共23頁第六頁，編輯于星期六：點 四十二分。異構(gòu)平臺支持異構(gòu)平臺支持IBM System iIBM System zIBM System pHP-9000IntelHP AlphaSunMS SQL ServerSybaseDB2 / UDBOracleTCP/IPTeradataOS/400OS/390

5、AIXHP-UXSolarisMS WindowsLinuxPointBaseDATABASESSource & TargetDATABASES Target OnlyOPERATINGSYSTEMSHARDWAREPLATFORMSNETWORKPROTOCOLSMESSAGE QUEUESupportJMSMQ SeriesWebMethodsBEA TIBCONetezzaItanium第7頁/共23頁第七頁，編輯于星期六：點 四十二分。統(tǒng)一的管理界面統(tǒng)一的管理界面第8頁/共23頁第八頁，編輯于星期六：點 四十二分。易于使用易于使用 基于Java的GUI，配置、管理和監(jiān)控 同一屏

6、幕內(nèi)管理數(shù)據(jù)整合流程 自動映射，拖拽實現(xiàn)轉(zhuǎn)換 事件日志、報警、統(tǒng)計報告第9頁/共23頁第九頁，編輯于星期六：點 四十二分。特點特點 低延遲 一旦提交了對源表進行的修改，并從日志中讀取到這些修改，這些變化就立即發(fā)送出去。 高吞吐量 Q Capture程序始終可以跟蹤在源表發(fā)生的快速變化，并且Apply程序使用多線程，使得它能夠及時跟蹤通信通道中的消息。 低網(wǎng)絡(luò)流量 消息使用一種壓縮格式在隊列中傳送，而且在發(fā)送數(shù)據(jù)的選項中允許選擇傳送最少量的數(shù)據(jù)。 異步性 消息隊列使得Apply程序可以不連接源數(shù)據(jù)庫或者源子系統(tǒng)就可以接收事務(wù)。如果QCapture程序或者Apply程序停止，需要進行處理的消息在程

7、序準備好之后后，將仍然存在于隊列中。由于消息是永久的，所以源表和目標表即使在系統(tǒng)或設(shè)備故障的情況下仍可以保持同步。基于日志的復(fù)制，可忽略對于重要生產(chǎn)系統(tǒng)的影響，不需要時間窗口，不要時基于日志的復(fù)制，可忽略對于重要生產(chǎn)系統(tǒng)的影響，不需要時間窗口，不要時間戳來探測變化。不需要改變應(yīng)用或者表結(jié)構(gòu)，沒有額外的硬件需要，只復(fù)制間戳來探測變化。不需要改變應(yīng)用或者表結(jié)構(gòu)，沒有額外的硬件需要，只復(fù)制變化，意味這最小的網(wǎng)絡(luò)帶寬，交易一發(fā)生，就轉(zhuǎn)換發(fā)送給目標，增加數(shù)據(jù)量，變化，意味這最小的網(wǎng)絡(luò)帶寬，交易一發(fā)生，就轉(zhuǎn)換發(fā)送給目標，增加數(shù)據(jù)量，縮短處理窗口縮短處理窗口第10頁/共23頁第十頁，編輯于星期六：點 四十二

8、分。架構(gòu)（數(shù)據(jù)源)第11頁/共23頁第十一頁，編輯于星期六：點 四十二分。架構(gòu)(目標端)第12頁/共23頁第十二頁，編輯于星期六：點 四十二分。Log-Based ReplicationFeature:可以讀取REDO和ARCHIVE LOGBusiness Benefits:實時性，以及對原有系統(tǒng)影響降到最低第13頁/共23頁第十三頁，編輯于星期六：點 四十二分?？梢詮?fù)制ORACLE DDL和DMLTableSequenceContextDirectoryDimensionFunctionIndexLibraryMaterialized ViewPackageTriggerProcedure

9、ProfileResource Cost RoleRollback SegmentSynonymTablespaceUser ViewFeature:支持DDL（數(shù)據(jù)庫對象和SCHEMA的變化可以同步)Business Benefits:減少錯誤和減輕管理成本，支持DDL和DMLOracle 9i,10g, 11g第14頁/共23頁第十四頁，編輯于星期六：點 四十二分。靈活的架構(gòu)Feature:擴展性好，全圖形化操作第15頁/共23頁第十五頁，編輯于星期六：點 四十二分?？捎糜跀?shù)據(jù)容災(zāi)可用于數(shù)據(jù)容災(zāi)遠程控制端遠程控制端生產(chǎn)服務(wù)器生產(chǎn)服務(wù)器冗災(zāi)服務(wù)器冗災(zāi)服務(wù)器時間漏斗R/WR應(yīng)用數(shù)據(jù)庫應(yīng)用數(shù)據(jù)庫

10、 online第16頁/共23頁第十六頁，編輯于星期六：點 四十二分?？蛇x擇全庫或者部分數(shù)據(jù)的復(fù)制Replicate AllOr Selective同時支持復(fù)制過程數(shù)據(jù)格式的轉(zhuǎn)換第17頁/共23頁第十七頁，編輯于星期六：點 四十二分。Proposed IBM Architecture應(yīng)對復(fù)雜場景應(yīng)對復(fù)雜場景MQ ESEData ConsolidationServerTwoServerOneMQ ESEDataMirrorCDCMQ ESEMQ ESEMQ ESEDataMirrorCDCDataMirrorCDCDataMirrorCDC第18頁/共23頁第十八頁，編輯于星期六：點 四十二分。Feature:一致點的控制，可以和TSM等結(jié)合第19頁/共23頁第十九頁，編輯于星期六：點 四十二分。圖形化的管理第20頁/共23頁第二十頁，編輯于星期六：點 四十二分。 支持 Oracle 9i,10g and 11g 基于日志的備份 DDL & DML 支持 全量刷新和增量方式 自動糾錯 可靠的網(wǎng)絡(luò)連接 有選擇的復(fù)制和數(shù)據(jù)轉(zhuǎn)換 支持RAC環(huán)境