達夢數(shù)據交換平臺產品白皮書

1、達夢數(shù)據交換平臺高效全面的數(shù)據集成平臺產品白皮書達夢數(shù)據庫有限公司2013年3月本文檔含有達夢數(shù)據庫公司的保密的技術和商業(yè)信息未經達夢數(shù)據庫公司的書面同意，不得進行拷貝、復印或者以其它任何形式向第三方散發(fā)。我們盡力保證本文檔中信息的準確和完整，但是仍然可能出現(xiàn)技術或者文字描述的錯誤，如果因使用本文檔造成的損失，達夢概不負責。本文檔中包含的信息可能會隨時更改，恕不另行通知。本文檔發(fā)布于2013年3月緒論近幾十年來，信息化的推進和計算機網絡的飛速發(fā)展，使得人類社會所積累的數(shù)據量已經超過了過去5000年的總和,數(shù)據的采集、存儲、處理和傳播的數(shù)量也與日俱增。然而，這些為不同應用服務的數(shù)據都存儲在許多不

2、同的數(shù)據源之中。為更有效地利用這些信息，實現(xiàn)企業(yè)或社會組織數(shù)據共享與交換，減少數(shù)據采集的重復勞動和相應費用，需要從多個分布、異構和自治的數(shù)據源中集成數(shù)據，同時還需要保持數(shù)據在不同系統(tǒng)上的完整性和一致性。因此，如何對數(shù)據進行有效的集成已成為增強企業(yè)商業(yè)競爭力的必然選擇，尤其是對于那些擁有多部門多數(shù)據源的大型企業(yè)或者組織來說，每一個部門都擁有自己的數(shù)據庫，這些數(shù)據庫可能是獨立、異構且自治的，為了各部門間更好的合作和數(shù)據共享，建立一個完善的數(shù)據交換和集成系統(tǒng)是極有應用價值而且尤為重要的。產品介紹達夢數(shù)據交換平臺是達夢數(shù)據庫有限公司在上十年數(shù)據處理經驗的基礎上，研制開發(fā)的具有自主版權的、商品化的數(shù)據交

3、換與處理平臺。達夢數(shù)據交換平臺創(chuàng)新地將傳統(tǒng)的ETL工具（Extract、Transform>Loading與分布式消息平臺相結合，實現(xiàn)了對數(shù)據抽取、傳輸、整合、以及裝載的一站式支持，是構建數(shù)據中心、數(shù)據倉庫、數(shù)據交換和數(shù)據同步等數(shù)據集成類應用的理想平臺，同時也可以作為數(shù)據加工處理工具由業(yè)務人員直接使用。1功能組件達夢數(shù)據交換平臺由以下5個軟件組件構成：達夢數(shù)據集成服務器DMETLServerDMETLServer是一個具備數(shù)據抽?。‥xtract、清洗轉換（Transform和裝載（Load功能的通用的數(shù)據處理平臺，能夠為異構數(shù)據同步和數(shù)據整合應用提供完整的支持。達夢數(shù)據交換設計器DME

4、TLStudioDMETLStudio提供可視化的管理、流程設計、調試功能管4小44二|,一e*T；M在LT小5*14*苔»*X,FEZMkrMji舞事m.CW0EjrlMBA4>3mn不«flraIffi*i»«葉ls*二AMftrvr«*:17dt*SMWAlS,>.!iLEW<，Ul£Hr-i4嚴5達夢數(shù)據交換控制臺DMETLConsoleDMETl服務管理、參數(shù)配置與初始化丈中町國加相丁二HE-V.-Ig“HmiHl4IBAft.°nm.owrn¥>i-nJ、迎IU心0£T

5、£.ETDh®-J3T上升RSy-一口MLTLA®L組：好i一.61磔.1-hKtgfi的處泉網，、WibSwcv5陽1.5<3，典理一wr-_，/D*rfRIS#"也3s前占F二N3節(jié)£豆慘2（物卻a即1gFXMlStt二SfflSK域IM£由lUiGE-TLIDAPrr_£l£M3ft二臺，0良.«-*S*式LMXII司小"；A3行£狂rrWfliE>rsfi»,.行工慘甘CJ»出.”LMKitULCIt達夢數(shù)據總線DMETLDatabus提供基于消

6、息的、可靠的、安全的數(shù)據路由與交換服務，用于支持廣域網上跨部門的數(shù)據交換達夢數(shù)據交換監(jiān)控系統(tǒng)DMETLWebMonitor對多節(jié)點的數(shù)據交換網絡的管理、監(jiān)控以及統(tǒng)計分析功能2版本劃分達夢數(shù)據交換平臺分為標準版和企業(yè)版，其中標準版主要提供基本的數(shù)據整合和數(shù)據同步功能，企業(yè)版則在標準版的功能上增加了基于消息的數(shù)據交換與路由、監(jiān)控與統(tǒng)計、數(shù)據質量管理、數(shù)據的發(fā)布和訂閱等企業(yè)級的功能，其主要功能劃分見下表：標準版企業(yè)版數(shù)據清洗轉換W增量數(shù)據抽取W作業(yè)調度W數(shù)據發(fā)布與訂閱V自定義函數(shù)變量W權限管理W操作審計W實時告警W數(shù)據質量檢測V數(shù)據交換與路由（DMETLDatabusV交換監(jiān)控與統(tǒng)計（DMETLWe

7、bConsole/典型應用場景達夢數(shù)據交換平臺是專門為各種類型的數(shù)據集成應用而設計的，使用達夢數(shù)據交換平臺，能夠大大縮短數(shù)據集成類應用的工作量。達夢數(shù)據交換平臺能夠全面而高效的應用于以下一些場景。1異構數(shù)據同步異構數(shù)據同步是指在一定的時間范圍內，通過特定的技術方式，實現(xiàn)異構數(shù)據源之間的數(shù)據一致性。數(shù)據同步應用通常有以下一些要求：性能要求高，通常要達到準實時同步，因此需要實現(xiàn)增量數(shù)據抽取，以達到快速同步和節(jié)省網絡資源的；可靠性要求高，故障自動恢復。達夢數(shù)據交換平臺可以很好的滿足上述要求，可以支持一對一或者一對多的文件到文件、文件到數(shù)據庫、數(shù)據庫到數(shù)據庫、數(shù)據庫到文件的數(shù)據同步。同步的源和目的數(shù)據

8、可以是不同類型的數(shù)據庫或者文件，并且在同步過程中可以對數(shù)據格式進行轉換以滿足源和目上的不同應用系統(tǒng)的要求。I一對多數(shù)據同步2數(shù)據交換數(shù)據交換，通常用于不同部門間的業(yè)務協(xié)同，數(shù)據的流動是通常由應用發(fā)起并推動的，應用獲取到數(shù)據并完成業(yè)務邏輯之后，可以把數(shù)據存儲下來，也可以丟棄。數(shù)據交換應用通常涉及多個部門的數(shù)據庫和應用程序，需要部署多臺數(shù)據交換服務器。達夢數(shù)據交換平臺內置了軟總線功能，可以連接各種應用和數(shù)據源，支持數(shù)據自動路由，保證數(shù)據的安全可靠傳輸。同時達夢數(shù)據交換平臺也提供了交換監(jiān)控配置系統(tǒng)，通過該系統(tǒng)可以實時監(jiān)控各個交換節(jié)點的狀態(tài)，并可以可視化的修改交換路由設置?？绮块T數(shù)據交換3數(shù)據整合數(shù)據

9、整合是指將不同來源的數(shù)據，經過清洗轉換后變?yōu)榻y(tǒng)一格式，存儲到數(shù)據中心或者數(shù)據倉庫中，用于提供數(shù)據共享、數(shù)據分析等服務。其特點是：數(shù)據量大，數(shù)據種類豐富，需要較高的數(shù)據裝載性能；對數(shù)據質量要求高，需要有豐富易用的數(shù)據清洗轉換組件；數(shù)據持續(xù)集成，不同類型的數(shù)據集成的周期可能不同，需要功能強大的作業(yè)調度與監(jiān)控功能；達夢數(shù)據交換平臺具有數(shù)據分區(qū)并發(fā)清洗和裝載、數(shù)據質量實時檢查以及靈活的調度設置，能全面滿足數(shù)據整合應用對于性能、易用性的要求。數(shù)據整合功能特色全面的數(shù)據源支持支持各種主流數(shù)據庫（達夢、Oracle、SQLServer、DB2、Mysql、SybasePostgreSql等的全量和增量數(shù)據抽

10、取和裝載，還支持TXT、CSV、Excel、XML文件、消息服務器、LDAP服務器、WebService等數(shù)據的抽取和裝載。易用增量數(shù)據抽取內置了各種增量數(shù)據抽取方式，用戶只需要簡單的設置即可實現(xiàn)對各種數(shù)據庫的數(shù)據的增量數(shù)據抽取，為實時數(shù)據集成提供了良好的支持。批量文件處理支持各種文件（txt、excel、xml的批量讀取和解析，能夠自動識別目錄中新增和修改的文件，并且能夠在本地和遠程服務器之間同步文件夾。豐富的數(shù)據轉換規(guī)則內置近40多種數(shù)據清洗轉換規(guī)則，支持動態(tài)擴充。對于簡繁體、漢字拼音、亂碼處理、字符集轉換、中文數(shù)字的中國特有的問題提供內置的轉換規(guī)則進行處理。HW.stiff舊*:f才Q/

11、嚕儂，姓等,隘i!£事班，”卜tk鼻,七淮用,由悵帕切山二二北享/K，；一等!9方善宇今也!崎豐利.三停三代合區(qū)1去*享批量流程創(chuàng)建提供基于模板的批量流程生成向導，可以快速生成大量類似的轉換，大大提高工作效率企業(yè)級的監(jiān)控提供了BS架構的統(tǒng)一監(jiān)控系統(tǒng)，通過該系統(tǒng)用戶可以直觀的監(jiān)控整個多節(jié)點數(shù)據交換網絡，實時查看后臺流程運行狀態(tài)和統(tǒng)計信息、接收和處理系統(tǒng)告警，并執(zhí)行日常的管理和維護工作。實時數(shù)據質量檢查DMETL內置了數(shù)據質量檢查功能，能夠根據用戶定義的規(guī)則對流程中的數(shù)據質量進行檢查，并對結果進行統(tǒng)計。支持用戶定制規(guī)則以及和重用質量檢查規(guī)則高性能采用基于流水線的多線程架構，并支持數(shù)據分區(qū)

12、處理和并行裝載，可以充分發(fā)揮硬件性能,數(shù)據處理能力可以隨著系統(tǒng)CPU和IO性能的提升而同步提升。此外還支持支持單表多連接并行裝載、達夢、oracle的快速裝載接口、文本文件的分段并行解析等。高安全提供基于角色的權限控制機制，責權明晰。支持傳輸加密，不同交換節(jié)點之間傳輸?shù)臄?shù)據都是經過加密處理，防止信息泄露。高可擴展DMETL采用基于OSGI整體架構，系統(tǒng)的各個模塊如流程節(jié)點、轉換規(guī)則、數(shù)據質量檢查規(guī)則都支持插件機制，可以根據具體業(yè)務需求動態(tài)擴展?？删幊烫峁┝撕唵我子玫木幊探涌贏PI,通過調用該API第三方應用可以快速方便的調用DMETL的各項功能，如創(chuàng)建、執(zhí)行流程，獲取監(jiān)控和統(tǒng)計信息等。此外,D

13、METL還支持編寫自定義的java函數(shù)和表達式來對數(shù)據進行處理。應用案例1浦東新區(qū)數(shù)據中心該項目建設是結合浦東新區(qū)信息化發(fā)展的實際需要，解決電子政務建設過程中出現(xiàn)的信息孤島、信息共享交換、數(shù)據安全存儲等問題，面向全區(qū)主要委辦局，建設一套安全、高效、經濟的公共數(shù)據中心，項目總體架構見下圖：項目特色實現(xiàn)了對多個委辦局現(xiàn)運行的各種異質異構系統(tǒng)的支持，包才5windows、linux以及unix操作系統(tǒng)，和對各種品牌的PCServer小型機服務器。支持多種系列的數(shù)據庫，包括Oracle系列、SqlServer系列、db2、sybasemysql、DM數(shù)據庫、access等多種國內外數(shù)據庫管理系統(tǒng)。支持

14、通過政務外網或專用光纖連接對各委辦局的局域網內的數(shù)據進行交換，對地理位置從1公里以內到10公里以外的交換節(jié)點均支持良好。2國家電網主備調數(shù)據同步該項目的最終用戶是國家電網。當前國家電網電力調度系統(tǒng)正面臨大規(guī)模的系統(tǒng)升級，而當前的系統(tǒng)升級過程中，面臨的普遍現(xiàn)實是：舊版系統(tǒng)運行了較長的時間，系統(tǒng)相對穩(wěn)定；新版系統(tǒng)則實現(xiàn)了更多更強的功能。為了保證能夠平穩(wěn)地完成系統(tǒng)的升級，提高系統(tǒng)白穩(wěn)定性，需要同時運行新舊兩個版本的系統(tǒng)，并保證新舊系統(tǒng)的數(shù)據同步。OpeiLOOO/GiflrlpOpon5OO口鑲0LDM表級MIA比對增量項目特色基于DMETL表級增量抽取和靈活的轉換邏輯，高效的實現(xiàn)了國家電網主備調系

15、統(tǒng)間的異構數(shù)據（數(shù)據平臺和數(shù)據模型、數(shù)據結構均不同的同步，保證了新舊調度系統(tǒng)的平穩(wěn)過渡和升級。3商務部產業(yè)安全數(shù)據分析平臺該項目的用戶是商務部產業(yè)安全調查局。項目的核心建設內容是建設一個數(shù)據分析平臺，為產業(yè)損害預警業(yè)務提供數(shù)據，為具體業(yè)務部門日常作業(yè)提供支撐，為領導決策提供支持。該項目涵蓋了從數(shù)據采集、數(shù)據加工處理到信息發(fā)布的全部過程，系統(tǒng)總體構架采取分層的開放體系結構，分為數(shù)據及其管理層、業(yè)務分析層、綜合應用層，如下圖所示。項目特色該項目數(shù)據來源廣泛，數(shù)據結構復雜，主要包括國家統(tǒng)計局數(shù)據、海關進出口數(shù)據、商務部數(shù)據直報系統(tǒng)采集數(shù)據、各行業(yè)協(xié)會和專家報送數(shù)據、購買的海外競爭對手貿易數(shù)據、調查局自采集數(shù)據等。通過DMETL工具實現(xiàn)了上述數(shù)據的有效整合，以此為基礎實現(xiàn)了商務部產業(yè)安全數(shù)據倉庫。4湖北省公安云項目該項目全稱為湖北省公安廳金盾工程多層架構體系建設和政府部門間信息共享平臺項目。項目采用云計算”理念，利用虛擬化技術，對湖北省公安廳現(xiàn)有的軟硬件資源以及內外部數(shù)據進行整合，實現(xiàn)基礎設施即服務（I