數(shù)據(jù)庫實(shí)時(shí)同步技術(shù)解決方案

數(shù)據(jù)庫實(shí)時(shí)同步技術(shù)解決方案數(shù)據(jù)庫實(shí)時(shí)同步技術(shù)解決方案一、前言隨著企業(yè)的不斷進(jìn)展，企業(yè)信息化的不斷深入，企業(yè)內(nèi)部存在著各種各樣的異構(gòu)軟、硬件平臺(tái)，形成了分布式異構(gòu)數(shù)據(jù)源。當(dāng)企業(yè)各應(yīng)用系統(tǒng)間需要進(jìn)展數(shù)據(jù)溝通時(shí)，其效率及準(zhǔn)確性、準(zhǔn)時(shí)性必定受到影響。為了便于信息資源的統(tǒng)一治理及綜合利用，保障各業(yè)務(wù)部門的業(yè)務(wù)需求及協(xié)調(diào)工作，常常涉及到相關(guān)數(shù)據(jù)庫數(shù)據(jù)實(shí)時(shí)同步處理?；跀?shù)據(jù)庫的各類應(yīng)用系統(tǒng)層出不窮，可能涉及到包括 ACCESS、SQLSERVER、ORACLE、DB2、MYSQL等數(shù)據(jù)庫。目前國內(nèi)外幾家大型的數(shù)據(jù)庫廠商提出的異構(gòu)數(shù)據(jù)庫復(fù)制方案主要有：Oracle的透亮網(wǎng)關(guān)技術(shù)，IBM的CCD表〔全都變化數(shù)據(jù)表〕方案，微軟公司的出版者/訂閱等方案。但由于上述系統(tǒng)致力于解決異構(gòu)數(shù)據(jù)庫間簡潔的交互操作，過于大而全而且費(fèi)用較高，并不符合一些中小企業(yè)的實(shí)際需求。本文結(jié)合企業(yè)的實(shí)際應(yīng)用實(shí)踐閱歷，依據(jù)不同的應(yīng)用類型，給出了相應(yīng)的數(shù)據(jù)庫實(shí)時(shí)同步應(yīng)用的具體解決方案，主要包括：SQLSERVERSQLSERVER同步方案ORACLE到SQLSERVERACCESS到SQLSERVER/ORACLE同步方案二、異構(gòu)數(shù)據(jù)庫異構(gòu)數(shù)據(jù)庫系統(tǒng)是相關(guān)的多個(gè)數(shù)據(jù)庫系統(tǒng)的集合，可以實(shí)現(xiàn)數(shù)據(jù)的共享和透亮訪問，每個(gè)數(shù)據(jù)庫系統(tǒng)在參與異構(gòu)數(shù)據(jù)庫系統(tǒng)之前本身就已經(jīng)存在，擁有自己的DMBS。異構(gòu)數(shù)據(jù)庫的各個(gè)組成局部具有自身的自治性，實(shí)現(xiàn)數(shù)據(jù)共享的同時(shí)，每個(gè)數(shù)據(jù)庫系統(tǒng)仍保有自己的應(yīng)用特性、完整性把握和安全性把握。異構(gòu)數(shù)據(jù)庫的異構(gòu)性主要表達(dá)在以下幾個(gè)方面：1、計(jì)算機(jī)體系構(gòu)造的異構(gòu)各數(shù)據(jù)庫可以分別運(yùn)行在大型機(jī)、小型機(jī)、工作站、PC嵌入式系統(tǒng)中。2、根底操作系統(tǒng)的異構(gòu)各個(gè)數(shù)據(jù)庫系統(tǒng)的根底操作系統(tǒng)可以是 Unix、WindowsNT、Linux等。3、DMBS可以是同為關(guān)系型數(shù)據(jù)庫系統(tǒng)的Oracle、SQLServer等，也可以是不同數(shù)據(jù)模型的數(shù)據(jù)庫，如關(guān)系、模式、層次、網(wǎng)絡(luò)、面對(duì)對(duì)象，函數(shù)型數(shù)據(jù)庫共同組成一個(gè)異構(gòu)數(shù)據(jù)庫系統(tǒng)。三、數(shù)據(jù)庫同步技術(shù)對(duì)于異構(gòu)數(shù)據(jù)庫系統(tǒng)，實(shí)現(xiàn)數(shù)據(jù)共享應(yīng)當(dāng)?shù)竭_(dá)兩點(diǎn)：一是實(shí)現(xiàn)數(shù)據(jù)庫轉(zhuǎn)換；二是實(shí)現(xiàn)數(shù)據(jù)的透亮訪問。所謂透亮訪問，就是在異構(gòu)數(shù)據(jù)系統(tǒng)中用戶可以將異構(gòu)分布式數(shù)據(jù)庫系統(tǒng)看成一般的分布式數(shù)據(jù)庫系統(tǒng)，用自己生疏的數(shù)據(jù)處理語言去訪問數(shù)據(jù)庫，如同訪問一個(gè)數(shù)據(jù)庫系統(tǒng)一樣。但目前還沒有一種廣泛使用的數(shù)據(jù)定義模型和數(shù)據(jù)查詢語言，實(shí)現(xiàn)數(shù)據(jù)的透亮訪問可以承受多對(duì)一轉(zhuǎn)換、雙向的中間件等技術(shù)。開放式數(shù)據(jù)庫互連〔OpenDataBaseConnectivityODBC〕是一種用來在相關(guān)或不相關(guān)的數(shù)據(jù)庫治理系統(tǒng)中存取數(shù)據(jù)的標(biāo)準(zhǔn)應(yīng)用程序接口〔API〕。ODBC為應(yīng)用程序供給了一套高層調(diào)用接口標(biāo)準(zhǔn)和基于動(dòng)態(tài)鏈接庫的運(yùn)行支持環(huán)境。目前，常用的數(shù)據(jù)庫應(yīng)用開發(fā)的前端工具如PowerBuilder、Delphi等都通過開放數(shù)據(jù)庫互聯(lián)(ODBC)接口來連接各種數(shù)據(jù)庫系統(tǒng)。而多數(shù)數(shù)據(jù)庫治理系統(tǒng)〔如： Oracle、Sybase、SQLServer等〕都供給了相應(yīng)的ODBC驅(qū)動(dòng)程序，使數(shù)據(jù)庫系統(tǒng)具有很好的開放性。ODBC接口的最大優(yōu)點(diǎn)是其互操作力氣，抱負(fù)狀況下，每個(gè)驅(qū)動(dòng)程序和數(shù)據(jù)源應(yīng)支持完全一樣的ODBC函數(shù)調(diào)用和SQL語句，使得ODBC應(yīng)用程序可以操作全部的數(shù)據(jù)庫系統(tǒng)。然而，實(shí)際上不同的數(shù)據(jù)庫對(duì)SQL語法的支持程度各不一樣，因此，ODBC標(biāo)準(zhǔn)定義了驅(qū)動(dòng)程序的全都性級(jí)別，ODBCAPI的全都性確定了應(yīng)用程序所能調(diào)用的ODBC函數(shù)種類。數(shù)據(jù)庫同步是在兩個(gè)不同的數(shù)據(jù)庫之間進(jìn)展數(shù)據(jù)交換，以使得任何一個(gè)數(shù)據(jù)庫的轉(zhuǎn)變，會(huì)以同樣的方式消滅在另一個(gè)數(shù)據(jù)庫里。數(shù)據(jù)庫同步可以是單向的，也可以是雙向的。單向同步也叫主從同步，也就是說，其中的一個(gè)數(shù)據(jù)庫是主數(shù)據(jù)庫，另一個(gè)數(shù)據(jù)庫是從數(shù)據(jù)庫。只有主數(shù)據(jù)庫的轉(zhuǎn)變可以被復(fù)制到從數(shù)據(jù)庫里去，從數(shù)據(jù)庫是被動(dòng)的。使用數(shù)據(jù)庫同步技術(shù)，用戶可以將一份數(shù)據(jù)公布到多臺(tái)效勞器上，從而使不同的效勞器用戶都可以在權(quán)限的許可的范圍內(nèi)共享這份數(shù)據(jù)。同步技術(shù)可以確保分布在不同地點(diǎn)的數(shù)據(jù)自動(dòng)同步更，從而保證數(shù)據(jù)的全都性。1數(shù)據(jù)庫同步示意圖目前國內(nèi)外幾家大型的數(shù)據(jù)庫廠商提出的異構(gòu)數(shù)據(jù)庫復(fù)制方案主要有：Oracle的透亮網(wǎng)關(guān)技術(shù)，IBM的CCD表〔全都變化數(shù)據(jù)表〕方案，微軟公司的出版者/訂閱者方案。國外的如土耳其中東科技大學(xué)的MIND系統(tǒng)，美國密歇根－迪爾波恩大學(xué)、斯坦福大學(xué)的TSUNMMIS工程，國內(nèi)的如中關(guān)村科技軟件、華中科技大學(xué)的Panorama系統(tǒng)都有過類似系統(tǒng)的爭論。但是由于上述系統(tǒng)致力于解決異構(gòu)數(shù)據(jù)庫間簡潔的交互操作，大而全，并不符合一些中小企業(yè)IBM的CCDCD表占用資源較多維護(hù)費(fèi)用昂揚(yáng)，微軟公司的出版者/訂閱者方案只能在NT運(yùn)行等。而其它的系統(tǒng)大多都存在此類問題。四、局域網(wǎng)數(shù)據(jù)同步解決方案(一).SQLSERVERSQLSERVERSQLSERVER同類數(shù)據(jù)庫之間實(shí)現(xiàn)同步，可直接參照Microsoft的公布/訂閱模式。具體方法步驟如下：SQL出版效勞器、訂閱效勞器、分發(fā)效勞器、出版物、文章。SQLSQLSERVER主要承受出版物、訂閱的方式來處理復(fù)制。源數(shù)據(jù)所在的效勞器是出版效勞器，負(fù)責(zé)發(fā)表數(shù)據(jù)。出版效勞器把要發(fā)表的數(shù)據(jù)的全部轉(zhuǎn)變狀況的拷貝復(fù)制到分發(fā)效勞器，分發(fā)效勞器包含有一個(gè)分發(fā)數(shù)據(jù)庫，可接收數(shù)據(jù)的全部轉(zhuǎn)變，并保存這些轉(zhuǎn)變，再把這些改變分發(fā)給訂閱效勞器。SQLSERVERSQLSERVER供給了三種復(fù)制技術(shù)，分別是：1、快照復(fù)制/2、事務(wù)復(fù)制/3、合并復(fù)制。公布/訂閱方案第一步：來配置出版效勞器1、選中指定[效勞器]節(jié)點(diǎn)。2、從[工具]下拉菜單的[復(fù)制]子菜單中選擇[公布、訂閱效勞器和分發(fā)]命令。3、系統(tǒng)彈出一個(gè)對(duì)話框點(diǎn)[下一步]然后看著提示始終操作到完成。4、當(dāng)完成了出版效勞器的設(shè)置以后系統(tǒng)會(huì)為該效勞器的樹形構(gòu)造中添加一個(gè)復(fù)制監(jiān)視器。同時(shí)也生成一個(gè)分發(fā)數(shù)據(jù)庫(distribution)。其次步：創(chuàng)立出版物1、選中指定的效勞器。2、從[工具]菜單的[復(fù)制]子菜單中選擇[創(chuàng)立和治理公布]命令。此時(shí)系統(tǒng)會(huì)彈出一個(gè)對(duì)話框。3、選擇要?jiǎng)?chuàng)立出版物的數(shù)據(jù)庫，然后單擊[創(chuàng)立公布]。4、在[創(chuàng)立公布向?qū)的提示對(duì)話框中單擊[下一步]系統(tǒng)就會(huì)彈出一個(gè)對(duì)話框。對(duì)話框上的內(nèi)容是復(fù)制的三個(gè)類型。我們現(xiàn)在選第一個(gè)也就是默認(rèn)的快照公布(其他兩個(gè)大家可以去看看幫助)。5、單擊[下一步]系統(tǒng)要求指定可以訂閱該公布的數(shù)據(jù)庫效勞器類型，SQLSERVER允許在不同的數(shù)據(jù)庫如ORACLE或ACCESS之間進(jìn)展數(shù)據(jù)復(fù)制。但是在這里我們選擇運(yùn)行“SQLSERVER2023“的數(shù)據(jù)庫效勞器。6、單擊[下一步]系統(tǒng)就彈出一個(gè)定義文章的對(duì)話框也就是選擇要出版的表。7、然后[下一步]直到操作完成。當(dāng)完成出版物的創(chuàng)立后創(chuàng)立出版物的數(shù)據(jù)庫也就變成了一個(gè)共享數(shù)據(jù)庫。第三步：設(shè)計(jì)訂閱1、選中指定的訂閱效勞器。2、從[工具]下拉菜單中選擇[復(fù)制]子菜單的[懇求訂閱]。3、依據(jù)單擊[下一步]操作直到系統(tǒng)會(huì)提示檢查SQLSERVER代理效勞的運(yùn)行狀態(tài)，執(zhí)行復(fù)制操作的前提條件是SQLSERVER代理效勞必需已經(jīng)啟動(dòng)。4、單擊[完成]。完成訂閱操作。完成上面的步驟其實(shí)復(fù)制也就是成功了。但是如何來知道復(fù)制是否成功了呢？這里可以通過這種方法來快速看是否成功。開放出版服務(wù)器下面的復(fù)制——公布內(nèi)容——右鍵公布內(nèi)容——屬性——擊活——狀態(tài)然后點(diǎn)馬上運(yùn)行代理程序接著點(diǎn)代理程序?qū)傩該艋钫{(diào)度把調(diào)度設(shè)置為每一天發(fā)生，每一分鐘，在0：00：00和23：59：59之間。接下來就是推斷復(fù)制是否成功了翻開。C:/ProgramFiles/MicrosoftSQLServer/MSSQL/REPLDATA/unc/XIAOWANGZI_database_database下面看是不是有一些以時(shí)間做為文件名的文件夾差不多一分中就產(chǎn)生一個(gè)。假設(shè)不確定是否創(chuàng)立成功，翻開你的數(shù)據(jù)庫看在訂閱的效勞器的指定訂閱數(shù)據(jù)庫下看是否能夠看到剛剛所公布的表。(二)、OracleSQLServer不同數(shù)據(jù)庫平臺(tái)的互連一般稱之為數(shù)據(jù)庫的異構(gòu)效勞，現(xiàn)在各大數(shù)據(jù)庫之間都可以實(shí)現(xiàn)這樣的異構(gòu)互連，只是各廠商的具體實(shí)現(xiàn)技術(shù)不一樣，如：在SQLSERVER里面叫做LINKEDSERVER，通過ODBC實(shí)現(xiàn)與其它數(shù)據(jù)庫的互聯(lián)。而ORACLE實(shí)現(xiàn)異構(gòu)效勞的技術(shù)叫做透亮網(wǎng)關(guān)TransparentGateway，固然之前ORACLE還承受過通用連接技術(shù)。目前ORACLE利用透亮網(wǎng)關(guān)可以實(shí)現(xiàn)和SQLSERVER、SYBASE、DB2等多種數(shù)據(jù)庫的互聯(lián)。透亮網(wǎng)關(guān)的體系構(gòu)造也很簡潔，在ORACLE和SQLERVER之間使用ORACLE透亮網(wǎng)關(guān)效勞器實(shí)現(xiàn)互連互通，其中透亮網(wǎng)關(guān)效勞器可以與ORACLE或SQLSERVER數(shù)據(jù)庫在同一臺(tái)主機(jī)上，也可以是在獨(dú)立的一臺(tái)主機(jī)上。測(cè)試步驟如下：、在SQLSERVER數(shù)據(jù)庫上創(chuàng)立測(cè)試賬號(hào)和表數(shù)據(jù)庫:PUBScyx，createtablet(cchar(10));、測(cè)試用數(shù)據(jù)庫和透亮網(wǎng)關(guān)在同一臺(tái)機(jī)器上，透亮網(wǎng)關(guān)在oracle默認(rèn)安裝時(shí)是擔(dān)憂裝的，所以假設(shè)你想用需要選擇這一選項(xiàng)。、安裝透明網(wǎng)關(guān) forsqlserver 的軟件后，可以在$ORACLE_HOMEtg4msql$ORACLE_HOME/tg4msql/admin/inittg4msql.sql文件確認(rèn)這一 行 正 確 ：HS_FDS_CONNECT_INFO=“SERVER=IP;DATABASE=pubs“server上的listener.ora，在SID_LIST以下內(nèi)容：(SID_NAME=tg4msql)#SID(ORACLE_HOME=c:)(PROGRAM=tg4msql)、在oracleserver上的tnsnames.ora中參與到透亮網(wǎng)關(guān)的tnsname，內(nèi)容如下：sql2k=(DESCRIPTION=(ADDRESS_LIST=(ADDRESS=(PROTOCOL=TCP)(HOST=10.16.98.16)(PORT=1521))#此處HOSTSERVER)(CONNECT_DATA=(SID=tg4msql))SIDSERVERSID(HS=OK))、修改ORACLESERVER的初始化參數(shù)，將global_namesfalseGLOBALNAME。然后重起數(shù)據(jù)庫。ORACLESERVERDBLINK以上測(cè)試實(shí)現(xiàn)通過透亮網(wǎng)關(guān)來訪問sqlserver的數(shù)據(jù)，只需要留意ORACLE[留意事項(xiàng)]：1、OracleForSQLServerUNIX下無法實(shí)現(xiàn)，目前只支持WIN；緣由很簡潔，SQLServer本身不支持UNIX，所以O(shè)racleUNIXSQLServer。2、OracleForSYBASE等有UNIXUNIX3、Oracle透亮網(wǎng)關(guān)軟件在Oracle8i時(shí)是需要花錢另買的，大約1萬$；到Oracle9i時(shí)是作為數(shù)據(jù)庫的一個(gè)組件免費(fèi)公布的，安裝時(shí)在組件種選擇即可。4、針對(duì)我們的實(shí)際應(yīng)用，假設(shè)有需要實(shí)現(xiàn)Oracle到SQLServer的互連，我們需要另外用一臺(tái)WIN下的Oracle9i來做透亮網(wǎng)關(guān)效勞UNIXOracleSQLServer。5SQL來實(shí)現(xiàn)。6、各數(shù)據(jù)庫中特別的數(shù)據(jù)類型，需要在程序中實(shí)現(xiàn)轉(zhuǎn)換，應(yīng)盡量避開使用無法轉(zhuǎn)換的數(shù)據(jù)類型。(三)、OracleSQLServer盡管透亮網(wǎng)關(guān)技術(shù)實(shí)現(xiàn)了OQACLE與SQLSERVER的互連，但在同步應(yīng)用中不便于把握同步數(shù)據(jù)的要求，特別是ORACEL與SQLSERVER存在數(shù)據(jù)類型轉(zhuǎn)換時(shí)存在困難。以下給出同步數(shù)據(jù)代碼樣例如下：為實(shí)現(xiàn)ORACLE到SQLSERVER的數(shù)據(jù)同步，首先需在ORACLE中建一需同步的數(shù)據(jù)視圖，以便于操作訪問。1、在ORACLE中創(chuàng)立需同步的數(shù)據(jù)視圖2、配置局域網(wǎng)客戶端建立tnsname.ora文件，使其能訪問遠(yuǎn)程ORACLE3、在SQLSERVERORACLE視圖同構(gòu)的數(shù)據(jù)庫表4、定義同步方式及步驟5VBSEXE文件，并將EXE程序制作成windows效勞，以便在后臺(tái)運(yùn)行。6、以下是ORACLE到SQLSERVER數(shù)據(jù)同步主要VBS例如代碼；==========oracleTOsqlserver數(shù)據(jù)同步腳本=====================檢測(cè)遠(yuǎn)程oracle效勞器網(wǎng)絡(luò)是否連通,通則連接;連接oracle;連接sqlserver；取Ncklsz取oracle的dataset;notinsqlserver中的inserttosqlserver;日志寫入txt7天的日志;============================================================DoWhileTruedimf,txtfile----創(chuàng)立日志文件對(duì)象,判定7天前的log文件是否存在，存在則刪除！----Setf=CreateObject(“Scripting.FileSystemObject“)settxtfile=f.opentextfile(“D:\wxjl\oracleTOsqlserver\“&date&“.txt“,8,True)If

f.FileExists(“D:\wxjl\oracleTOsqlserver\“&date-7&“.txt“)Thenf.DeleteFile(“D:\wxjl\oracleTOsqlserver\“&date-7&“.txt“)endif------pingoracle效勞器，連通-->則連接oracle/sqlserver------------ip=“10.98.51.82“SetFileSys=CreateObject(“Scripting.FileSystemObject“)SetWShShell=CreateObject(“WScript.Shell“)RetCode=WShShell.Run(“ping-n1“&IP,0,True)ifRetCode=0Thentxtfile.write(date&““&time&“---pinganywherehostok!“)---------測(cè)試連接遠(yuǎn)程oracle----(OraOLEDB.Oracle.1/MSDAORA.1)conn_ora=“Provider=OraOLEDB.Oracle.1;PersistSecurityInfo=True;UserID=qyselect;Password=qy08select12;DataSource=hydata“setrs_ora=createobject(“adodb.recordset“)sql_ora=“select*fromHybjsb.V_QY_CKLSZ“Err.clearOnErrorResumeNext---出錯(cuò)不顯示,執(zhí)行下一條rs_ora.opensql_ora,conn_ora,1,1rs_ora.closeIfErr.Number=0Thentxtfile.writeline(“---connectanywheredatabasesuccessful!sqlserver,insertsqlserverconn_local=“PROVIDER=SQLOLEDB;DATASOURCE=local;UID=sa;PWD=sa“createobject(“adodb.recordset“)--更30Nday=30dept=“卷包車間“DB=“wxjl_1bjb“callxcopy

set rs_local =elsetxtfile.writeline(“---*****遠(yuǎn)程數(shù)據(jù)庫連接失敗!*****“)endifelsetxtfile.writeline(date&““&time&“---#####網(wǎng)絡(luò)故障#######“)endifreleaseconnectionconn_orareleaseconnectionconn_localsetf=nothingsettxtfile=nothingsetrs_local=nothingsetrs_ora=nothing5WScript.Sleep300000Loop 數(shù)據(jù)同步過程 --Subxcopydimrecordstemp是否存在，存在則刪除sql_local=“select count(1) as rec from“&DB&“.dbo.sysobjectswherename=tempandxtype=U“rs_local.opensql_local,conn_local,1,1records=rs_local(“rec“)rs_local.closeifrecords>0thensql_local=“droptable“&DB&“.dbo.temp“rs_local.opensql_local,conn_local,1,1endifNdaytempsql_local=“SELECT * INTO “&DB&“.dbo.temp FROMOPENROWSET(MSDAORA.1,hydata;qyselect;qy08select12,SELECT*FROMHybjsb.V_QY_CKLSZ)“sql_local=sq