Oracle數(shù)據(jù)庫同步技術(shù)

1、.：.；Oracle數(shù)據(jù)庫同步技術(shù)基于Oracle數(shù)據(jù)庫的數(shù)據(jù)同步技術(shù)大體上可分為兩類：Oracle本人提供的數(shù)據(jù)同步技術(shù)和第三方廠商提供的數(shù)據(jù)同步技術(shù)。Oracle本人的同步技術(shù)有DataGuard，Streams，Advanced Replication和今年剛收買的一款叫做GoldenGate的數(shù)據(jù)同步軟件。第三方廠商的數(shù)據(jù)同步技術(shù)有Quest公司的SharePlex和DSG的RealSync。下面對這些技術(shù)逐一進展引見。一、DataGuard數(shù)據(jù)同步技術(shù)DataGuard是Oracle數(shù)據(jù)庫自帶的數(shù)據(jù)同步功能，根本原理是將日志文件從原數(shù)據(jù)庫傳輸?shù)侥康臄?shù)據(jù)庫，然后在目的數(shù)據(jù)庫上運用App

2、ly這些日志文件，從而使目的數(shù)據(jù)庫與源數(shù)據(jù)庫堅持同步。DataGuard提供了三種日志傳輸Redo Transport方式，分別是ARCH傳輸、LGWR同步傳輸和LGWR異步傳輸。在上述三種日志傳輸方式的根底上，提供了三種數(shù)據(jù)維護方式，即最大性能Maximum Performance Mode、最大維護Maximum Protection Mode和最大可用Maximum Availability Mode，其中最大維護方式和最大可用方式要求日志傳輸必需用LGWR同步傳輸方式，最大性能方式下可用任何一種日志傳輸方式。最大性能方式：這種方式是默許的數(shù)據(jù)維護方式，在不影響源數(shù)據(jù)庫性能的條件下提供盡

3、能夠高的數(shù)據(jù)維護等級。在該種方式下，一旦日志數(shù)據(jù)寫到源數(shù)據(jù)庫的聯(lián)機日志文件，事務(wù)即可提交，不用等待日志寫到目的數(shù)據(jù)庫，假設(shè)網(wǎng)絡(luò)帶寬充足，該種方式可提供類似于最大可用方式的數(shù)據(jù)維護等級。最大維護方式：在這種方式下，日志數(shù)據(jù)必需同時寫到源數(shù)據(jù)庫的聯(lián)機日志文件和至少一個目的庫的備用日志文件standby redo log，事務(wù)才干提交。這種方式可確保數(shù)據(jù)零喪失，但代價是源數(shù)據(jù)庫的可用性，一旦日志數(shù)據(jù)不能寫到至少一個目的庫的備用日志文件standby redo log，源數(shù)據(jù)庫將會被封鎖。這也是目前市場上獨一的一種可確保數(shù)據(jù)零喪失的數(shù)據(jù)同步處理方案。最大可用方式：這種方式在不犧牲源數(shù)據(jù)庫可用性的條件下

4、提供了盡能夠高的數(shù)據(jù)維護等級。與最大維護方式一樣，日志數(shù)據(jù)需同時寫到源數(shù)據(jù)庫的聯(lián)機日志文件和至少一個目的庫的備用日志文件standby redo log，事務(wù)才干提交，與最大維護方式不同的是，假設(shè)日志數(shù)據(jù)不能寫到至少一個目的庫的備用日志文件standby redo log，源數(shù)據(jù)庫不會被封鎖，而是運轉(zhuǎn)在最大性能方式下，待缺點處理并將延遲的日志勝利運用在目的庫上以后，源數(shù)據(jù)庫將會自動回到最大可用方式下。根據(jù)在目的庫上日志運用Log Apply方式的不同，DataGuard可分為Physical StandbyRedo Apply和Logical StandbySQL Apply兩種。Physic

5、al Standby數(shù)據(jù)庫，在這種方式下，目的庫經(jīng)過介質(zhì)恢復(fù)的方式堅持與源數(shù)據(jù)庫同步，這種方式支持任何類型的數(shù)據(jù)對象和數(shù)據(jù)類型，一些對數(shù)據(jù)庫物理構(gòu)造的操作如數(shù)據(jù)文件的添加，刪除等也可支持。假設(shè)需求，Physical Standby數(shù)據(jù)庫可以只讀方式翻開，用于報表查詢、數(shù)據(jù)校驗等操作，待這些操作完成后再將數(shù)據(jù)庫置于日志運用方式下。Logical Standby數(shù)據(jù)庫，在這種方式下，目的庫處于翻開形狀，經(jīng)過LogMiner發(fā)掘從源數(shù)據(jù)庫傳輸過來的日志，構(gòu)呵斥SQL語句，然后在目的庫上執(zhí)行這些SQL，使之與源數(shù)據(jù)庫堅持同步。由于數(shù)據(jù)庫處于翻開形狀，因此可以在SQL Apply更新數(shù)據(jù)庫的同時將原來在

6、源數(shù)據(jù)庫上執(zhí)行的一些查詢、報表等操作放到目的庫上來執(zhí)行，以減輕源數(shù)據(jù)庫的壓力，提高其性能。DataGuard數(shù)據(jù)同步技術(shù)有以下優(yōu)勢：1 Oracle數(shù)據(jù)庫本身內(nèi)置的功能，與每個Oracle新版本的新特性如ASM都完全兼容，且不需求另外付費；2 配置管理較簡單，不需求熟習(xí)其他第三方的軟件產(chǎn)品；3 Physical Standby數(shù)據(jù)庫支持任何類型的數(shù)據(jù)對象和數(shù)據(jù)類型；4 Logical Standby數(shù)據(jù)庫處于翻開形狀，可以在堅持數(shù)據(jù)同步的同時執(zhí)行查詢等操作；5 在最大維護方式下，可確保數(shù)據(jù)的零喪失；DataGuard數(shù)據(jù)同步技術(shù)的優(yōu)勢表達在以下幾個方面：1 由于傳輸整個日志文件，因此需求較高的

7、網(wǎng)絡(luò)傳輸帶寬；2 Physical Standby數(shù)據(jù)庫雖然可以只讀方式翻開，然后做些查詢、報表等操作，但需求停頓運用日志，這將使目的庫與源數(shù)據(jù)不能堅持同步，假設(shè)在此期間源數(shù)據(jù)庫發(fā)生缺點，將延伸切換的時間；3 Logical Standby數(shù)據(jù)庫不能支持某些特定的數(shù)據(jù)對象和數(shù)據(jù)類型；4 不支持一對多復(fù)制，不支持雙向復(fù)制，因此無法運用于信息集成的場所；5 只能復(fù)制整個數(shù)據(jù)庫，不能選擇某個schema或表空間進展單獨復(fù)制；6 不支持異構(gòu)的系統(tǒng)環(huán)境，需求一樣的操作系統(tǒng)版本和數(shù)據(jù)庫版本；DataGuard技術(shù)是Oracle引薦的用于高可用災(zāi)難恢復(fù)環(huán)境的數(shù)據(jù)同步技術(shù)。 二、Streams數(shù)據(jù)同步技術(shù)St

8、reams是從版本Oracle 9i才開場具有的數(shù)據(jù)同步功能，是為提高數(shù)據(jù)庫的高可用性和數(shù)據(jù)的分發(fā)和共享功能而設(shè)計的，Streams利用高級隊列技術(shù)，經(jīng)過用LogMiner發(fā)掘日志文件生成變卦的邏輯記錄，然后將這些變卦運用到目的數(shù)據(jù)庫上，從而實現(xiàn)數(shù)據(jù)庫之間或一個數(shù)據(jù)庫內(nèi)部的數(shù)據(jù)同步。Streams數(shù)據(jù)同步大致分如下幾個步驟：1 Capture進程分析日志，生成邏輯記錄LCR，將其放入一個隊列中；2 Propagation進程將LCR發(fā)送到另一個數(shù)據(jù)庫中，通常是目的數(shù)據(jù)庫；3 在目的數(shù)據(jù)庫中，Apply進程將LCR運用到目的庫，實現(xiàn)數(shù)據(jù)的同步；該處置過程的信息流如以下圖：在簡單的Streams配

9、置中，Capture進程普通位于源數(shù)據(jù)庫，因此叫做Local Capture Process，Capture進程在分析日志后將生成的LCR放入隊列中，由Propagation進程將LCR發(fā)送到目的庫中。這樣做的益處是不用在網(wǎng)絡(luò)上傳送整個的日志文件，因此可提高網(wǎng)絡(luò)傳輸?shù)男?，但這普通會給源數(shù)據(jù)庫帶來較大的壓力，影響其性能。另一種配置是Capture進程位于Downstream數(shù)據(jù)庫中，源數(shù)據(jù)庫只擔(dān)任將日志文件傳送日志傳輸方式可為ARCH傳輸、LGWR同步傳輸和LGWR異步傳輸中的任何一種到Downstream數(shù)據(jù)庫中，一切的Capture操作都在Downstream數(shù)據(jù)庫上完成。這種配置的益處是

10、可以大大降低源數(shù)據(jù)庫的壓力，缺陷是需求傳輸整個日志文件，對網(wǎng)絡(luò)帶寬要求較高。Streams數(shù)據(jù)同步技術(shù)有以下優(yōu)勢：1 可支持一對多、多對一和雙向復(fù)制，可用于數(shù)據(jù)分發(fā)和共享，這是DataGuard所不具備的；2 可靈敏配置只復(fù)制數(shù)據(jù)庫中的一部分對象，如可按Table復(fù)制、Schema復(fù)制，表空間復(fù)制等，并可在復(fù)制過程中對數(shù)據(jù)進展過濾和轉(zhuǎn)換，使之滿足不同的需求；3 同DataGuard一樣，是Oracle內(nèi)置功能，與每個Oracle新版本的新特性如ASM都完全兼容，且不需求額外付費；4 可用于異構(gòu)的操作系統(tǒng)和數(shù)據(jù)庫版本，但有一些限制；5 可支持非Oracle數(shù)據(jù)庫和Oracle數(shù)據(jù)庫之間的數(shù)據(jù)同步

11、；6 目的數(shù)據(jù)庫處于翻開形狀，可以在堅持數(shù)據(jù)同步的同時執(zhí)行查詢等操作，分擔(dān)源數(shù)據(jù)庫的壓力；Streams數(shù)據(jù)同步技術(shù)有以下缺陷：1 配置維護較復(fù)雜，需求較高的技術(shù)程度；2 在非Downstream復(fù)制中，對源數(shù)據(jù)庫壓力較大；假設(shè)運用Downstream復(fù)制，那么添加了配置的復(fù)雜性且需求經(jīng)過網(wǎng)絡(luò)傳輸整個日志文件，對網(wǎng)絡(luò)帶寬要求較高；3 不能支持某些特定的數(shù)據(jù)對象和數(shù)據(jù)類型；4 不能保證數(shù)據(jù)的零喪失；Oracle公司將Streams技術(shù)定位于數(shù)據(jù)的分發(fā)和共享，雖然也可用于高可用的災(zāi)難恢復(fù)場所，但Oracle引薦運用的災(zāi)難恢復(fù)技術(shù)是DataGuard。 三、Advanced Replication數(shù)

12、據(jù)同步技術(shù)Advanced Replication配置管理較復(fù)雜，且對源數(shù)據(jù)庫性能影響較大，估計在以后的Oracle版本中將能夠逐漸被Streams技術(shù)所取代，故不再對其做過多的引見。四、GoldenGate數(shù)據(jù)同步技術(shù)GoldenGate原來是一家獨立的軟件廠商的產(chǎn)品，現(xiàn)該產(chǎn)品已被Oracle公司收買，Oracle將GoldenGate軟件集成到到其“交融Fusion中間件中，估計以后該產(chǎn)品將與Oracle數(shù)據(jù)庫更嚴密地集成。GoldenGate可以用于多種不同的操作系統(tǒng)平臺Unix、Linux、Windows和多種不同數(shù)據(jù)庫系統(tǒng)如DB2、Oracle、Infomix、MySQL、Sybas

13、e等之間的數(shù)據(jù)同步，是一款優(yōu)秀的數(shù)據(jù)同步及數(shù)據(jù)分發(fā)產(chǎn)品。GoldenGate軟件需求安裝在源數(shù)據(jù)庫效力器和目的數(shù)據(jù)庫效力器上，所需的操作系統(tǒng)資源在10%以下。GoldenGate數(shù)據(jù)同步的根本原理是由Extract進程讀取源數(shù)據(jù)庫的事物日志Oracle中是redo log，將其中的變卦操作insert、update、delete等按事務(wù)執(zhí)行的順序組合在一同，直接將其發(fā)送到目的效力其上，或者存放到Trails文件中，然后由Data Pump進程將Trails文件傳輸?shù)侥康男Яζ渖希谀康男Яζ魃螩ollector進程接納從源效力器傳送過來的Trails文件，最后由Replicat進程將Trail

14、s文件中的數(shù)據(jù)裝載到目的數(shù)據(jù)庫中，其處置過程如以下圖：由于GoldenGate將數(shù)據(jù)存儲到本人的一致格式的Trail文件中，因此可以將Trail文件傳送到不同的操作系統(tǒng)，運用在不同的數(shù)據(jù)庫系統(tǒng)上，大大加強其靈敏性。另外，由于GoldenGate只搜集必要的數(shù)據(jù)到Trail文件中，且Trail文件可以緊縮，因此大大減少經(jīng)過網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)量，緊縮后傳輸?shù)臄?shù)據(jù)量通常是日志量的1/4或更少。GoldenGate有以下優(yōu)點：1 支持異構(gòu)的操作系統(tǒng)和數(shù)據(jù)庫管理系統(tǒng)，便于客戶在不同數(shù)據(jù)庫管理系統(tǒng)和操作系統(tǒng)平臺之間的數(shù)據(jù)同步，這是其中心優(yōu)勢所在；2 跟DataGuard傳輸整個日志文件相比，GoldenGat

15、e傳輸?shù)臄?shù)據(jù)量大大降低，在沒有LOB等數(shù)據(jù)對象的情況下，通常是整個日志文件1/4或更少；3 目的數(shù)據(jù)庫處于翻開形狀，且支持一對多、多對一，雙向復(fù)制等，也可以選擇部分對象進展復(fù)制，可滿足數(shù)據(jù)分發(fā)和數(shù)據(jù)集成的需求，減輕源數(shù)據(jù)庫壓力；4 所占系統(tǒng)資源較少，通常在10%以下；5 GoldenGate被Oracle公司收買后，估計對Oracle數(shù)據(jù)庫的支持方面會做的更好；GoldenGate的優(yōu)勢表達在以下幾個方面：1 需求支付額外的Liscense費用，通常是一筆不小的支出；2 需求在數(shù)據(jù)庫軟件外安裝一套專門數(shù)據(jù)同步軟件，添加了管理維護的復(fù)雜程度；3 不能支持某些特定的數(shù)據(jù)對象和數(shù)據(jù)類型；4 由于數(shù)據(jù)

16、復(fù)制操作獨立于數(shù)據(jù)庫管理系統(tǒng)，因此不能確保數(shù)據(jù)零喪失。由以上分析可知，GoldenGate用于數(shù)據(jù)整合，數(shù)據(jù)共享和分發(fā)方面比較適宜，至于在高可用的災(zāi)難恢復(fù)環(huán)境中，假設(shè)能滿足業(yè)務(wù)的RPO/RTO要求，也不失為一種理想的數(shù)據(jù)同步處理方案。 五、SharePlex數(shù)據(jù)同步技術(shù)SharePlex是Quest公司開發(fā)的用于專門用于Oracle數(shù)據(jù)庫的數(shù)據(jù)同步軟件，可以運轉(zhuǎn)在異構(gòu)的操作系統(tǒng)平臺上和Oracle數(shù)據(jù)庫的不同版本之間。SharePlex的數(shù)據(jù)復(fù)制原理與GoldenGate類似，需求分別在源數(shù)據(jù)庫效力器和目的數(shù)據(jù)庫效力器上安裝SharePlex軟件。詳細處置過程是：Capture進程分析源數(shù)據(jù)庫

17、的日志文件，抓取所需的數(shù)據(jù)變卦操作，將其存儲在SharePlex本人專有的queue文件中，放入到Capture Queue，然后由Read進程對queue文件進展封裝處置，將其放入到Export Queue中，由Export進程將queue文件經(jīng)過網(wǎng)絡(luò)發(fā)送到目的效力器上，目的效力器上的Import進程接納這些queue文件，將其放入到Post Queue中，最后由Post進程將這些queue文件中的變卦運用到目的數(shù)據(jù)庫中，其處置流程如以下圖：SharePlex數(shù)據(jù)同步技術(shù)的優(yōu)勢有：1 支持異構(gòu)的操作系統(tǒng)平臺，便于數(shù)據(jù)庫管理系統(tǒng)的版本晉級及操作系統(tǒng)平臺切換；2 跟DataGuard傳輸整個日志

18、文件相比，SharePlex傳輸?shù)臄?shù)據(jù)量大大降低，這點跟GoldenGate差不多；3 目的數(shù)據(jù)庫處于翻開形狀，且支持一對多、多對一，雙向復(fù)制等配置，也可以選擇部分對象進展復(fù)制，可滿足數(shù)據(jù)分發(fā)和數(shù)據(jù)集成的需求，減輕源數(shù)據(jù)庫壓力，這方面也類似于GoldenGate；4 所占系統(tǒng)資源較少，通常在10%以下；SharePlex數(shù)據(jù)同步技術(shù)的優(yōu)勢表達在以下幾個方面：1 需求支付額外的Liscense費用，通常是一筆不小的支出；2 需求在數(shù)據(jù)庫軟件外安裝一套專門數(shù)據(jù)同步軟件，添加了管理維護的復(fù)雜程度；3 由于數(shù)據(jù)復(fù)制操作獨立于數(shù)據(jù)庫管理系統(tǒng)，因此不能確保數(shù)據(jù)零喪失；4 由于是第三方的軟件產(chǎn)品，在對某些特定的數(shù)據(jù)對象、數(shù)據(jù)類型和Oracle某些新特性如ASM的支持方面不如數(shù)據(jù)庫廠商本人的處理方案；另外，還有一種能夠就是假設(shè)Oracle對本人的日志格式做些改動或加密，SharePlex將無能為力；從上述分析可知，SharePlex雖然公用于Oracle數(shù)據(jù)庫同步，但同GoldenGate相比并無明顯優(yōu)勢，GoldenGate對異構(gòu)數(shù)據(jù)庫的支持更是SharePlex所不能比。再者，如今GoldenGate曾經(jīng)被