GoldenGate培訓教程

1、GoldenGate軟件及工作原理介紹,高級技術(shù)顧問：,公司目標,GoldenGate為客戶提供交易數(shù)據(jù)管理（Transactional Data Management）解決方案. 有效幫助客戶優(yōu)化數(shù)據(jù)訪問性能，提高交易數(shù)據(jù)的可訪問性和可用性，滿足關(guān)鍵業(yè)務的需要,Real-Time Access to Real-Time Information,公司簡介,歷史及現(xiàn)狀,與多家著名廠商 結(jié)為戰(zhàn)略合作伙伴,廣泛的客戶基礎(chǔ),始建于 1995 Oracle公司2009年7月收購,在北美、歐洲、亞太、拉丁美洲設(shè)有分公司,24x7 全球技術(shù)支持,交易數(shù)據(jù)管理Transactional Data Manage

2、ment,TDM提供異構(gòu)環(huán)境下交易數(shù)據(jù)的實時捕捉、變換、投遞。,TDM 具有: 實時性 秒一級延遲 異構(gòu)環(huán)境支持 在不同平臺和數(shù)據(jù)庫環(huán)境下復制數(shù)據(jù) 以交易為單位復制 維護交易一致性,特點: 高性能 能夠以低資源消耗完成每秒數(shù)千交易的復制 可擴展 開放的結(jié)構(gòu)使客戶適應各種異構(gòu)數(shù)據(jù)平臺 可靠 保證數(shù)據(jù)的連續(xù)可用,GoldenGate支持平臺,GoldenGate 解決方案,高可用性與容災 活動備份 無宕機運行 Active-Active 層次化企業(yè)數(shù)據(jù),實時數(shù)據(jù)集成 數(shù)據(jù)倉庫實時數(shù)據(jù)供給 實時報表 數(shù)據(jù)整合,災難恢復 災難容忍 無間斷運行,磁帶備份 磁盤鏡像 塊復制 熱備份 Active-Acti

3、ve,硬件 存儲 數(shù)據(jù)庫 應用,物理結(jié)構(gòu) 數(shù)據(jù) 交易,批處理 即時復制 近似實時復制 實時復制,腳本 ETL工具加腳本 EAI和ETL工具加腳本 GoldenGate TDM,Weeks Days Hours Minutes / SecondsSub-seconds,Real Time Threshold,高可用性,數(shù)據(jù)整合,實時性要求,為什么選擇 GoldenGate TDM?,消除批處理窗口 方便實現(xiàn)整合流程 低資源占用,實時獲取數(shù)據(jù) 基于日志的復制 對源系統(tǒng)影響小 只捕捉數(shù)據(jù)變化 降低系統(tǒng)負荷 無需額外編程 保證交易完整性和一致性 可以保證在各種平臺下數(shù)據(jù)的完整性和一致性,GoldenG

4、ate TDM軟件技術(shù)概覽,Transactional Data Management (TDM) Software Platform,TDM 工作原理: 模塊化 “積木”,網(wǎng)絡,源數(shù)據(jù)庫,目的數(shù)據(jù)庫,隊列文件: 暫存數(shù)據(jù)變化.,傳輸: 數(shù)據(jù)經(jīng)過壓縮和加密傳送到目的地.,Capture: 實時讀取交易日志捕捉數(shù)據(jù)變化并可實現(xiàn)過濾.,Delivery:執(zhí)行所需的數(shù)據(jù)變化，然后將數(shù)據(jù)變化提交到目的庫.,邏輯數(shù)據(jù)復制的幾個重要問題（一）,數(shù)據(jù)變化來源 讀取在線日志或歸檔日志 在信息不足時與數(shù)據(jù)庫交互 數(shù)據(jù)字典信息 查詢?nèi)罩静蛔阈畔?，例如大對?只復制提交交易 如何標志記錄的唯一性？ Rowid 邏輯

5、復制源和目標的rowid是不一致的，除非自行為兩端記錄建立額外的rowid map 主鍵 實際應用中主要業(yè)務表均建立有主鍵 唯一索引也可作為唯一標識 無主鍵表可使用全部列作為唯一標識,邏輯數(shù)據(jù)復制的幾個問題（二）,oracle數(shù)據(jù)庫附加日志 缺省狀況下只記錄變化記錄的rowid及對應變化（前影像、后影像） 為了能夠在目標投遞到對應的記錄，需在日志中記錄主鍵或唯一索引 數(shù)據(jù)庫級附加日志 SUPPLEMENTAL_LOG_DATA_MIN （最小附加日志） SUPPLEMENTAL_LOG_DATA_PK/UI SUPPLEMENTAL_LOG_DATA_FK/ALL（10g） 表級附加日志 Go

6、ldenGate建議方式 sqlplus alter table add supplemental log group Ggsci add trandata ctais2.mytable /自動尋找PK/UI Dba_log_groups和dba_log_group_columns 每個log group不能超過32列，超過需要人工分組,邏輯數(shù)據(jù)復制的幾個問題（三）,目標端使用附加日志還原sql 根據(jù)附加日志中的主鍵信息構(gòu)筑where條件 如果沒有附加日志或者沒有足夠的列則無法執(zhí)行update和delete操作，而insert不受影響 主鍵變化要重新添加表的附加日志 無主鍵表則列的增刪均要重新

7、添加表的附加日志,CREATE TABLE tcustmer ( cust_code VARCHAR2(4), name VARCHAR2(30), city VARCHAR2(20), state CHAR(2), PRIMARY KEY (cust_code) USING INDEX );,For Record: (a,a,a,a) Update tcustmer set name=b; Oracle附加日志會記錄cust_code列的值a到日志中； 目標端根據(jù)cust_code=a構(gòu)筑update 的sql語句； 如果兩端主鍵變?yōu)閏ity，而沒有重新添加附加日志，則目標端會根據(jù)自己的主鍵

8、city建立附加日志，此時日志中沒有該字段值，導致目標update失敗 如果修改表但沒有修改主鍵，則附加日志不受影響,邏輯數(shù)據(jù)復制的幾個問題（四）,如何將數(shù)據(jù)裝載到目標庫？ 常規(guī)加載 通過SQL裝載 直接加載 通過數(shù)據(jù)塊裝載 不利用空閑存儲空間 不檢查外鍵等約束 裝載速度較快 GoldenGate采用常規(guī)加載 保證數(shù)據(jù)安全和一致性 有效提高性能的選項 合并小交易 拆分大交易 批處理的加速,單向復制 報表、災備,雙向復制 立即接管,點對點 負載均衡, 高可用性及容災,廣播復制 數(shù)據(jù)分發(fā),集中復制 數(shù)據(jù)倉庫,靈活的拓撲結(jié)構(gòu),多級復制 層次化企業(yè)數(shù)據(jù),Data Pumps 與一對多復制,Databa

9、se Transaction Logs,Extract Process,Extract Process,Extract Process,Extract Process,GoldenGate Veridata,快速數(shù)據(jù)對比方案 能夠快速設(shè)別和報告在線數(shù)據(jù)的差異 用途: 降低數(shù)據(jù)差異帶來的風險 簡便快捷的對比 無需影響業(yè)務 關(guān)鍵特性: 支持大數(shù)據(jù)量對比 支持在線狀態(tài)的數(shù)據(jù)對比 優(yōu)秀的對比效率和速度 可執(zhí)行選擇性對比 可自動執(zhí)行無需人工干預 靈活的報表,GoldenGate Director,能夠使客戶定義、配置和管理GoldenGate TDM 各節(jié)點和進程，監(jiān)控運行狀態(tài) 優(yōu)化系統(tǒng)管理 關(guān)鍵特性:

10、 集中管理多個GG進程 豐富的客戶端和web界面提高可用性 提供報警以及與第三方軟件集成的接口 實時獲取GG進程信息 對原系統(tǒng)無影響,典型案例,案例一：中華人民共和國海關(guān)總署,遠距離容災 低帶寬 低延時 可隨時接管的雙業(yè)務中心 快速業(yè)務切換 異構(gòu)復制(內(nèi)部),案例二：國家體育總局體彩中心,N+1模式容災 各省市集中備份 遠距離 低帶寬,案例三：國家稅務總局,N+1集中容災 遠距離 低帶寬,案例三：國家稅務總局-各試點,南海災備中心,生產(chǎn)中心,異址災備中心,同城備份,遠程異地備份,涉及應用系統(tǒng)： 一期：CTAIS2系統(tǒng) 二期：JH系統(tǒng), FWSK系統(tǒng),2020年12月17日星期四,GoldenG

11、ate安裝及其組件,系統(tǒng)需求,為獲取高可用性，建議安裝于共享陣列，可以隨集群軟件切換到備用節(jié)點 復制軟件只需不到200M空間大小，考慮到需要緩存隊列數(shù)據(jù)，建議保留相當于數(shù)據(jù)庫歸檔日志量3-7天的存儲空間 復制軟件安裝目錄可位于任何位置 復制軟件可使用現(xiàn)有系統(tǒng)用戶或者建立專門系統(tǒng)用戶，需滿足如下條件： 該用戶具有為Oracle安裝用戶組成員，環(huán)境變量與Oracle運行用戶一致，可訪問Oracle數(shù)據(jù)庫 其內(nèi)存限制應當滿足數(shù)據(jù)復制要求，可以通過ulimit a輸出察看信息，具體配置在/etc/security/limits 文件中。,雙機環(huán)境下的理想配置方案,正常運行狀態(tài),備機接管狀態(tài),安裝步驟,

12、Unix下的安裝步驟 ftp .gz file to GoldenGate安裝目錄 gzip d *.gz tar xvf *.tar Implement the GoldenGate Password license GGSCI CREATE SUBDIRS 許可文件pw位于 GoldenGate安裝目錄下 V10.4版本后，不再需要許可文件,數(shù)據(jù)庫需求,復制用戶可以使用現(xiàn)有或者新建用戶，DML復制要求權(quán)限如下： 源端：CONNECT/ALTER ANY TABLE/ALTER SESSION/CREATE SESSION /FLASHBACK ANY TABLE/SELECT ANY DI

13、CTIONARY/SELECT ANY TABLE/RESOURCE“ 目標端在源端基礎(chǔ)上加以下權(quán)限：INSERT ANY TABLE/DELETE ANY TABLE/UPDATE ANY TABLE; 需要打開數(shù)據(jù)庫級最小附加日志 select SUPPLEMENTAL_LOG_DATA_MIN from v$database; ALTER DATABASE ADD SUPPLEMENTAL LOG DATA; 針對所有復制表打開表級附加日志 GGSCI add trandata select * from user_log_group_columns where table_name= ; 超過32列無主鍵表需要手工添加附加日志： Alter table add supplemental log group (column,.) always;,GoldenGate組件與目錄結(jié)構(gòu),基本組件 Manager 管理進程，管理其它進程活動 Extract 抽取進程，抽取日志（隊列）獲取數(shù)據(jù)變化 Replicat 投遞進程，向目標數(shù)據(jù)庫投遞數(shù)據(jù) C