Oracle-SOA-主數(shù)據(jù)管理解決方案

Oracle技術(shù)解決方案

ORACLe

i錄

1.概述.........................................................................4

1.1背景......................................................................4

南方電網(wǎng)“十一五”信息化現(xiàn)狀................................................4

南方電網(wǎng)“十二五”信息化定位...............................錯誤!未定義書簽。

1.2項目建設(shè)目標(biāo).............................................錯誤!未定義書簽。

1.3項目建設(shè)范圍.............................................錯誤!未定義書簽。

1.4項目建設(shè)內(nèi)容.............................................錯誤!未定義書簽。

1.5需求分析.................................................錯誤!未定義書簽。

2.Oracle主數(shù)據(jù)管理方案.......................................................4

2.1Oracle主數(shù)據(jù)管理設(shè)計......................................................7

Oracle主數(shù)據(jù)管理總體架構(gòu)設(shè)計................................................7

主數(shù)據(jù)方案設(shè)計.............................................................15

交換數(shù)據(jù)方案設(shè)計...........................................................19

數(shù)據(jù)交換系統(tǒng)功能設(shè)計.......................................................21

3.Oracle主數(shù)據(jù)管理設(shè)計產(chǎn)品介紹.............................................37

3.1OracleBPMSuite（業(yè)務(wù)流程）.................................................37

BPM方案總體架構(gòu)...........................................................37

閉環(huán)的OracleBPM解決方案..................................................38

業(yè)務(wù)流程分析BPA階段.........................................................38

業(yè)務(wù)流程執(zhí)行BPE與業(yè)務(wù)流程監(jiān)視BAM階段.....................................40

OracleBPM平臺中主要模塊介紹..............................................42

3.1.3.lOracleBPM服務(wù)器......................................................42

業(yè)務(wù)規(guī)則42

流程建模與模擬工具...........................................................44

元數(shù)據(jù)資料庫44

OracleBPM解決方案的優(yōu)勢...................................................45

3.2OracleSOASuite（應(yīng)用集成）..................................................46

價值主見....................................................................46

倉建月艮務(wù)....................................................................46

服務(wù)連通與轉(zhuǎn)換.............................................................46

流程編排和整合.............................................................47

服務(wù)發(fā)布與注冊.............................................................48

服務(wù)的平安管理.............................................................49

用戶身份管理...............................................................50

SOA平臺的系統(tǒng)管理.........................................................50

3.3OracleDataIntegrator（批量數(shù)據(jù)抽?。?........................................54

產(chǎn)品概述....................................................................54

0DI產(chǎn)品體系結(jié)構(gòu)............................................................55

數(shù)據(jù)分發(fā)和傳輸.............................................................56

數(shù)據(jù)集成核心...............................................................58

數(shù)據(jù)質(zhì)量核心...............................................................58

數(shù)據(jù)連接....................................................................60

ODI主要優(yōu)勢...............................................................61

3.4GoldenGate（實時數(shù)據(jù)同步方案）............................................61

高可用和容災(zāi)解決方案.......................................................62

實時數(shù)據(jù)整合解決方案.......................................................62

復(fù)制模式....................................................................63

關(guān)鍵特性....................................................................65

應(yīng)用方式....................................................................66

4.軟件配置及部署方案.........................................................68

4.1軟件配置及硬件舉薦......................................................68

4.2部署架構(gòu)圖..............................................................69

L概述

i.i背景

1.1.1南方電網(wǎng)“十一五”信息化現(xiàn)狀

Oracle主數(shù)據(jù)管理方案

南方電網(wǎng)的數(shù)據(jù)質(zhì)量管理必需有一整套的用于生成和維護(hù)企業(yè)主數(shù)據(jù)的規(guī)范、技術(shù)和方

案，以保證主數(shù)據(jù)的完整性、一樣性和精確性。

(1)數(shù)據(jù)標(biāo)準(zhǔn)管理

數(shù)據(jù)標(biāo)準(zhǔn)包括各業(yè)務(wù)域的數(shù)據(jù)集標(biāo)準(zhǔn)、數(shù)據(jù)模型標(biāo)準(zhǔn)及信息分類編碼標(biāo)準(zhǔn)。這些標(biāo)準(zhǔn)用

于指導(dǎo)各業(yè)務(wù)系統(tǒng)建設(shè)與實施。

在標(biāo)準(zhǔn)管理上，數(shù)據(jù)資源管理工具應(yīng)能有效管控標(biāo)準(zhǔn)的變更與執(zhí)行。尤其是“十二五”

期間，如何管理網(wǎng)省兩級、省級集中的業(yè)務(wù)系統(tǒng)的統(tǒng)一版本問題是關(guān)鍵。

(2)主數(shù)據(jù)管理

通過企業(yè)范圍內(nèi)的統(tǒng)一視圖，即ECIM模型，實現(xiàn)主數(shù)據(jù)管理，促進(jìn)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)集

成與共享。

主數(shù)據(jù)管理須要解決主數(shù)據(jù)的定義、標(biāo)識、存儲、匯合、清洗、監(jiān)管與共享。主數(shù)據(jù)可

以為業(yè)務(wù)系統(tǒng)或數(shù)據(jù)中心服務(wù)。

(3)數(shù)據(jù)質(zhì)量管理

數(shù)據(jù)管理的最終的目標(biāo)是為了提升系統(tǒng)數(shù)據(jù)質(zhì)量。在主數(shù)據(jù)的清洗階段，通過數(shù)據(jù)質(zhì)量

管理工作，對數(shù)據(jù)進(jìn)行解析、標(biāo)準(zhǔn)化、匹配&去重、補(bǔ)充及驗證建立牢靠的數(shù)據(jù)。對于核心

結(jié)構(gòu)化數(shù)據(jù)在加載到數(shù)據(jù)中心時也進(jìn)行相像的工作，提高決策支持水平。

南方電網(wǎng)的主數(shù)據(jù)管理系統(tǒng)從1T建設(shè)的角度而言都會是一個相對困難的系統(tǒng),往往會

和企業(yè)數(shù)據(jù)倉庫/決策支持系統(tǒng)以及企業(yè)內(nèi)的各個業(yè)務(wù)系統(tǒng)發(fā)生關(guān)系，技術(shù)實現(xiàn)上也會涉

及到ETL、流程、SOA、企業(yè)服務(wù)總線等多個方面，一個典型的主數(shù)據(jù)管理的信息流為：

某個業(yè)務(wù)系統(tǒng)觸發(fā)對企業(yè)主數(shù)據(jù)的改動;

?主數(shù)據(jù)管理系統(tǒng)將整合之后完整、精確的主數(shù)據(jù)分發(fā)給全部有關(guān)的應(yīng)用系統(tǒng)；

?主數(shù)據(jù)管理系統(tǒng)為業(yè)務(wù)系統(tǒng)和決策支持以及數(shù)據(jù)倉庫系統(tǒng)供應(yīng)精確的數(shù)據(jù)源。

因此對于南方電網(wǎng)數(shù)據(jù)質(zhì)量管理的建設(shè)，必需從項目建設(shè)初期就考慮整體的平臺框架和技術(shù)

實現(xiàn)。Oracle主數(shù)據(jù)管理(MasterDataManagement,MDM)是當(dāng)前業(yè)界最完整的是一種集

成的、完整的企業(yè)主數(shù)據(jù)(企業(yè)業(yè)務(wù)運行和商務(wù)分析所依靠的關(guān)鍵性基礎(chǔ)數(shù)據(jù))管理平臺，

具有企業(yè)級主數(shù)據(jù)存儲、主數(shù)據(jù)整合、主數(shù)據(jù)清洗、主數(shù)據(jù)監(jiān)管以及主數(shù)據(jù)共享等五大功能,

可全面連接企業(yè)數(shù)據(jù)內(nèi)容(廣泛運用和在部門間共享的數(shù)據(jù))和實現(xiàn)企業(yè)范圍內(nèi)的主數(shù)據(jù)統(tǒng)

一、完整和一樣。作為企業(yè)的真實數(shù)據(jù)來源，Oracle主數(shù)據(jù)管理(MDM)平臺通過數(shù)據(jù)治理服

務(wù)以及對周邊應(yīng)用系統(tǒng)的集成和對商務(wù)智能系統(tǒng)的支持，來統(tǒng)一管理企業(yè)內(nèi)重要的基礎(chǔ)數(shù)據(jù)

信息，可以整合并維護(hù)企業(yè)范圍的全面、精確且權(quán)威的主數(shù)據(jù)，并將這些主數(shù)據(jù)信息作為共

享服務(wù)分發(fā)到所需的業(yè)務(wù)和分析系統(tǒng)。

Oracle主數(shù)據(jù)管理解決方案具有以下特性：

?保證數(shù)據(jù)的唯一性和精確性：有效整理和集中分散在關(guān)鍵企業(yè)流程和應(yīng)用軟件中的

數(shù)據(jù)片斷，通過一系列匹配、整合和清洗規(guī)則使之形成單一真實數(shù)據(jù)源，并供應(yīng)基于工

作流的數(shù)據(jù)監(jiān)管流程來實現(xiàn)持續(xù)的數(shù)據(jù)質(zhì)量維護(hù)。最終將統(tǒng)一的數(shù)據(jù)資產(chǎn)作為Web服務(wù)

供應(yīng)應(yīng)周邊的業(yè)務(wù)系統(tǒng)，實現(xiàn)企業(yè)范圍的主數(shù)據(jù)協(xié)同；

?有效降低數(shù)據(jù)管理成本：供應(yīng)統(tǒng)一的資源庫來集中管理企業(yè)重要的數(shù)據(jù)資產(chǎn)，并能

將對這些數(shù)據(jù)資產(chǎn)的訪問以服務(wù)的方式供應(yīng)應(yīng)周邊應(yīng)用系統(tǒng)，實時地供應(yīng)訪問主數(shù)據(jù)的

WEB服務(wù)，包括匹配、申請全部信息以及申請所需信息等；

?實現(xiàn)更好的報表：精確、有效的數(shù)據(jù)是精確、有效的報表的基礎(chǔ)，OracleMDM可以

將清洗、排重、整理之后的精確數(shù)據(jù)供應(yīng)應(yīng)企業(yè)的商務(wù)分析系統(tǒng)，得到更加精確的決策

支持；

.供應(yīng)企業(yè)系統(tǒng)架構(gòu)敏捷性和創(chuàng)新性的基礎(chǔ)：維護(hù)持續(xù)的、唯一而精確的主數(shù)據(jù)資產(chǎn),

能夠在不斷變更的業(yè)務(wù)環(huán)境中增加IT彈性，滿足爆炸式數(shù)據(jù)增長的需求。

Oracle主數(shù)據(jù)管理能支持以下六大功能:

Govern

?指定每個特定主數(shù)據(jù)域的業(yè)務(wù)職責(zé)，例如，產(chǎn)品、客戶、供應(yīng)商和組織結(jié)構(gòu)。

.嚴(yán)格履行職責(zé)可保證接入共享資源的系統(tǒng)始終保持高質(zhì)量主數(shù)據(jù)。

.提取分散在各個應(yīng)用系統(tǒng)中的主數(shù)據(jù)集中到主數(shù)據(jù)存儲庫，主數(shù)據(jù)存儲庫一般采納

二維數(shù)據(jù)庫存儲主數(shù)據(jù)。

?依據(jù)企業(yè)業(yè)務(wù)規(guī)則和企業(yè)數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)對收集到的主數(shù)據(jù)進(jìn)行加工清理，從而形成

符合企業(yè)需求的主數(shù)據(jù)。

?制定主數(shù)據(jù)變更的流程審批機(jī)制，從而保證主數(shù)據(jù)修改的一樣性和穩(wěn)定性。

?實現(xiàn)各個數(shù)據(jù)利用系統(tǒng)與主數(shù)據(jù)存儲庫的數(shù)據(jù)同步，從而保證每個系統(tǒng)運用的主數(shù)

據(jù)相同。）

隨著IT系統(tǒng)的建設(shè)，主數(shù)據(jù)的修改動作必定從現(xiàn)有分散的各個系統(tǒng)轉(zhuǎn)移到主數(shù)據(jù)存儲

庫集中進(jìn)行，因此必需保證當(dāng)前主數(shù)據(jù)管理系統(tǒng)的敏捷性，便利修改、監(jiān)控、更新關(guān)聯(lián)

系統(tǒng)主數(shù)據(jù)的變更。

Oracle主數(shù)據(jù)管理在企業(yè)范圍內(nèi)主數(shù)據(jù)協(xié)同方面完善了一套端到端的模式可滿足

客戶不同的實施須要，即''推動模式”和“拉動模式”，前者通過前端獨立應(yīng)用軟件（包

括Oracle應(yīng)用系統(tǒng)、企業(yè)自主開發(fā)以及第三方軟件）的主數(shù)據(jù)改動，經(jīng)過Oracle應(yīng)用

集成架構(gòu)自動且快速地同步到OracleMDM主數(shù)據(jù)平臺，可實現(xiàn)企業(yè)范圍內(nèi)的全面數(shù)據(jù)

整合，而后者則是由主數(shù)據(jù)平臺主動對前端應(yīng)用軟件進(jìn)行實時的訪問，獲得新增、更改

和補(bǔ)充數(shù)據(jù)，并經(jīng)過Oracle應(yīng)用集成架構(gòu)和內(nèi)部數(shù)據(jù)規(guī)則實現(xiàn)標(biāo)準(zhǔn)化，從而最終在主

數(shù)據(jù)平臺實現(xiàn)唯一精確地共享數(shù)據(jù)。

2.1Oracle主數(shù)據(jù)管理設(shè)計

2.1.1Oracle主數(shù)據(jù)管理總體架構(gòu)設(shè)計

Oracle主數(shù)據(jù)管理的主要功能可歸結(jié)為以下六大功能:

主數(shù)據(jù)存儲

主數(shù)據(jù)整合與連接

主數(shù)據(jù)質(zhì)量管理

主數(shù)據(jù)管理監(jiān)控

主數(shù)據(jù)共享

平安牢靠的平臺

主數(shù)據(jù)存儲

?一個具有無限可擴(kuò)展性的內(nèi)置、敏捷（隨時間變更）的開放數(shù)據(jù)模型可維護(hù)南方電網(wǎng)

主數(shù)據(jù)和全部須要的屬性（結(jié)構(gòu)化和非結(jié)構(gòu)化的）、相關(guān)實體、分類和關(guān)系；

?可跟蹤主數(shù)據(jù)屬性、審計跟蹤信息和歷史主數(shù)據(jù)剖析的來源

主要用于存儲整合后主數(shù)據(jù)，將各系統(tǒng)的需求信息概括形成一條完整的記錄并進(jìn)行存儲供應(yīng),

供應(yīng)一個完整的數(shù)據(jù)模型。主數(shù)據(jù)的不同部分分布在不同的業(yè)務(wù)系統(tǒng)中，比如一個callcenter

系統(tǒng)須要保存客戶的全部聯(lián)系信息，但是一個計費系統(tǒng)可能只須要保留客戶的與計費相關(guān)的

信息，如何將客戶信息形成一條完整的記錄并進(jìn)行存儲供應(yīng)，當(dāng)然是須要概括全部這些系統(tǒng)

的需求，供應(yīng)一個完整的數(shù)據(jù)模型。

數(shù)據(jù)整合與連接

■領(lǐng)先的嵌入式數(shù)據(jù)質(zhì)量管理工具及與第三方數(shù)據(jù)源的集成，用于驗證和充溢數(shù)據(jù)

■可保持?jǐn)?shù)據(jù)最新的持續(xù)數(shù)據(jù)清理功能集

-快速平安的參數(shù)化搜尋引擎，能識別和避開重復(fù)數(shù)據(jù)

■智能合并和自動合并功能，消退數(shù)據(jù)重復(fù)，同時確保正確的數(shù)據(jù)屬性解除

■利用與外部內(nèi)容供應(yīng)商的預(yù)建集成來充溢主數(shù)據(jù)內(nèi)容

■包括主數(shù)據(jù)生命周期管理工作流

主數(shù)據(jù)分散在不同的業(yè)務(wù)系統(tǒng)中，要進(jìn)行數(shù)據(jù)整合,第一步是實現(xiàn)這些異構(gòu)系統(tǒng)的互聯(lián)互通，

然后通過肯定的觸發(fā)機(jī)制將各個系統(tǒng)針對主數(shù)據(jù)的修改同步到主數(shù)據(jù)存儲庫。但是在實施數(shù)

據(jù)集成的過程中，由于不同系統(tǒng)供應(yīng)的數(shù)據(jù)內(nèi)容、數(shù)據(jù)格式和數(shù)據(jù)質(zhì)量千差萬別，甚至?xí)?/p>

到數(shù)據(jù)格式不能轉(zhuǎn)換或數(shù)據(jù)轉(zhuǎn)換格式后丟失信息等問題，將會嚴(yán)峻阻礙數(shù)據(jù)在各部門和各應(yīng)

用系統(tǒng)中的流淌與共享。因此，如何對數(shù)據(jù)進(jìn)行有效的集成管理是數(shù)據(jù)共享中心建設(shè)的一個

關(guān)鍵難點。

ETL是實現(xiàn)數(shù)據(jù)集成的主要技術(shù)。ETL中三個字母分別代表的是Extract、Transform、Load,

即抽取、轉(zhuǎn)換、加載。（1）數(shù)據(jù)抽取：從源數(shù)據(jù)源系統(tǒng)抽取目的數(shù)據(jù)源系統(tǒng)須要的數(shù)據(jù)；（2）

數(shù)據(jù)轉(zhuǎn)換：將從源數(shù)據(jù)源獲得的數(shù)據(jù)依據(jù)業(yè)務(wù)需求，轉(zhuǎn)換成目的數(shù)據(jù)源要求的形式，并對錯

誤、不一樣的數(shù)據(jù)進(jìn)行清洗和加工。（3）數(shù)據(jù)加載：將轉(zhuǎn)換后的數(shù)據(jù)裝載到目的數(shù)據(jù)源。ETL

過程中的主要環(huán)節(jié)就是數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換和加工、數(shù)據(jù)裝載。

Oracle的主數(shù)據(jù)整合管理ETL基于ODI來實現(xiàn)，運用ODI設(shè)計和生成典型格式；利用已有

的元數(shù)據(jù)格式設(shè)計MDM應(yīng)用（實體，字段，關(guān)系）；生成和維護(hù)主數(shù)據(jù)結(jié)構(gòu)；生成和部署轉(zhuǎn)

換。

主數(shù)據(jù)質(zhì)量管理

?為每個主數(shù)據(jù)實體創(chuàng)建通用ID并構(gòu)建針對每個所連接記錄/系統(tǒng)對的交叉引用

-一個數(shù)據(jù)導(dǎo)入工作臺和用戶界面，以幫助數(shù)據(jù)管理員管理源系統(tǒng)的映射和數(shù)據(jù)加載

及主數(shù)據(jù)剖析

■運用預(yù)建、符合標(biāo)準(zhǔn)的業(yè)務(wù)服務(wù)和適配器實現(xiàn)集成

'運用可配置的屬性“解除”規(guī)則，依據(jù)多個數(shù)據(jù)源創(chuàng)建單一的記錄

■利用基礎(chǔ)服務(wù)框架的數(shù)據(jù)聯(lián)合功能

主數(shù)據(jù)維護(hù)著企業(yè)里該種類型數(shù)據(jù)的最值得信任的數(shù)據(jù)，所以運用質(zhì)量管理技術(shù)來保證這些

數(shù)據(jù)的精確是主數(shù)據(jù)管理里特別重要的一環(huán)。

數(shù)IK標(biāo)準(zhǔn)化K配則拿?復(fù)處理

?■以和標(biāo)漕化?件?使用定■的引擎送行大

BW??々芹鼻目把R以防止

?在主從0次中選b?分靈在產(chǎn)品卷據(jù)存儡中產(chǎn)

?以劇重復(fù)井用防重復(fù)發(fā)

?使用行上a公生“復(fù)

65

頓TO"

自動產(chǎn)生和■認(rèn)xn?

?JAH條目另林福述，成銀功—?螳步執(zhí)行新條目定義

和審依廢程?去■不必要的肥

91遇行數(shù)祗螳格化豪M少鼓樵0

?在所有數(shù)據(jù)人”聲謫求刑R./7?產(chǎn)R變化拉切

戶自定義?4

1.數(shù)據(jù)清洗：數(shù)據(jù)清洗是對數(shù)據(jù)進(jìn)行校驗和標(biāo)準(zhǔn)化，比如地址郵編是否存在等等。

2.數(shù)據(jù)匹配：數(shù)據(jù)匹配是找出有可能重復(fù)的記錄。比如MDM系統(tǒng)里有兩個閾值是用于限

制數(shù)據(jù)匹配的流程，第一個閾值是高分閾值，對于數(shù)據(jù)匹配分值高于高分閾值的記錄將會

運用數(shù)據(jù)存活規(guī)則進(jìn)行自動合并；其次個閾值是中分閾值，數(shù)據(jù)匹配得分在高分閾值和中分

閾值之間的記錄將會進(jìn)入人工推斷工作流，由管理員或者其他指定的人確定合并還是作為

新記錄。低于中分閾值的記錄都將會被作為新記錄。

數(shù)據(jù)存活規(guī)則(Survivorshiprules)

一般而言，企業(yè)里的主數(shù)據(jù)來源于企業(yè)里的各個系統(tǒng)，當(dāng)不同系統(tǒng)的同一個屬性值有不同的

值的時候，就須要確定哪一個系統(tǒng)的值是精確的。數(shù)據(jù)存活規(guī)則指定各種規(guī)則來確定新的數(shù)

據(jù)進(jìn)入到主數(shù)據(jù)庫或者當(dāng)新數(shù)據(jù)和舊有主數(shù)據(jù)沖突的時候的處理方法。數(shù)據(jù)存活規(guī)則主要有

三種：

?Recent規(guī)則：當(dāng)相同的數(shù)據(jù)進(jìn)入主數(shù)據(jù)系統(tǒng)的時候，以后來的數(shù)據(jù)為準(zhǔn)，后來數(shù)據(jù)

替換原來的數(shù)據(jù)。比如contact(聯(lián)系人)信息，缺省是以后來的更新為主。

?History規(guī)則：當(dāng)相同的數(shù)據(jù)進(jìn)入主數(shù)據(jù)系統(tǒng)的時候，以原來的數(shù)據(jù)為準(zhǔn)，不接受后

來數(shù)據(jù)的更新。

?Source規(guī)則：當(dāng)相同的數(shù)據(jù)進(jìn)入主數(shù)據(jù)系統(tǒng)的時候，以數(shù)據(jù)來源系統(tǒng)的可信度為作

為運用哪個數(shù)據(jù)最終存活的規(guī)則。比如當(dāng)源系統(tǒng)有A,B,C三個系統(tǒng)的時候，我們

須要在主數(shù)據(jù)管理系統(tǒng)里注冊這三個系統(tǒng)的時候，同時給這些源系統(tǒng)評分，則當(dāng)

運用source規(guī)則的時候，則以后的數(shù)據(jù)將以評分高的系統(tǒng)為準(zhǔn)。比如有三個系統(tǒng)，

CRM,財務(wù)，物流，對于客戶信息而言，我們認(rèn)為CRM系統(tǒng)里的客戶信息應(yīng)當(dāng)是最

準(zhǔn)的，我們應(yīng)當(dāng)給于CRM系統(tǒng)較高的分值，則這個時候?qū)τ诳蛻魯?shù)據(jù)我們將運用

Source規(guī)則，則以后全部的CRM系統(tǒng)相應(yīng)客戶的更新會覆蓋原來不是CRM系統(tǒng)的

更新。

3.數(shù)據(jù)質(zhì)量管理流程

數(shù)據(jù)質(zhì)量的大致限制流程，即當(dāng)記錄進(jìn)入主數(shù)據(jù)系統(tǒng)時，先會在主數(shù)據(jù)系統(tǒng)里找尋可能匹配

的記錄，假如結(jié)果認(rèn)為是不匹配，則將進(jìn)入處理不匹配流程來增加一條新記錄；假如是分

值足夠高，則進(jìn)入自動匹配流程把該記錄和原有記錄進(jìn)行數(shù)據(jù)存活規(guī)則處理并合并記錄；假

如是分值不足夠高，則須要人工來確定該記錄是新記錄還是須要和原有記錄合并。

主數(shù)據(jù)管理監(jiān)控

■最佳的工作流功能（例如針對南方電網(wǎng)主數(shù)據(jù)定義和審批路由的可配置工作流）響

應(yīng)整個主數(shù)據(jù)管理生命周期事務(wù);oracleBPEL規(guī)范制定自動化業(yè)務(wù)處理流程，支

持用戶自定義變更類型

■確保堅如磐石的平安性和法規(guī)遵守證明的完整歷史和審計跟蹤

■納稅人數(shù)據(jù)認(rèn)證，支持機(jī)構(gòu)創(chuàng)建數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)，遵守這些標(biāo)準(zhǔn)并提升用戶對數(shù)據(jù)的

信念

商務(wù)智能基礎(chǔ)架構(gòu)，支持剖析、法規(guī)遵守和業(yè)務(wù)績效指標(biāo)

■自動化、人工流程，供應(yīng)良好的用戶界面UI,多種通知方式

■自動化、人工的審核和批準(zhǔn)，逐級審批

-易于多組織的協(xié)同工作

主數(shù)據(jù)發(fā)布和共享

■面對終端用戶和數(shù)據(jù)管理員的直觀GUI,管理主數(shù)據(jù)的整個生命周期一一從創(chuàng)建或?qū)?/p>

入主數(shù)據(jù)信息到清理、匹配、增加和發(fā)布。運用預(yù)建的流程使南方電網(wǎng)更輕松地管

理主數(shù)據(jù)

■對全部集成模式一一實時(緊耦合和松耦合)、近實時(松耦合)和批量一一的嚴(yán)格

的多模型支持

-供應(yīng)作為業(yè)務(wù)服務(wù)和Web服務(wù)的常用功能

■一個內(nèi)部觸發(fā)的機(jī)制，創(chuàng)建變更信息并向全部相連系統(tǒng)部署

■為全部的管理軟件和分析系統(tǒng)供應(yīng)主數(shù)據(jù)記錄和所選屬性

■在面對服務(wù)的架構(gòu)(SOA)和/或消息傳遞總線上的運營管理軟件和數(shù)據(jù)倉庫雙向交互

'通過Oracle應(yīng)用集成架構(gòu)(AIA)流程集成包(PIP)預(yù)建的集成

?與。racle商務(wù)智能企業(yè)版(OBIEE)預(yù)建的集成

為了實現(xiàn)主數(shù)據(jù)共享，首先全網(wǎng)應(yīng)當(dāng)各個分散的業(yè)務(wù)系統(tǒng)連接起來，實現(xiàn)各個業(yè)務(wù)系統(tǒng)與主數(shù)據(jù)

存儲的互聯(lián)互通，目前的南網(wǎng)主數(shù)據(jù)管理解決方案主要采納兩種方式來實現(xiàn)：基于ETL工具的方

式和基于SOA體系架構(gòu)的方式。

1.基于ODI的方式

MDM

Applications

Metadata

Management

DataWarehouse

DataMarts

ChangeData

Capture

Business

Intelligence

基于ODI這樣的ETL工具設(shè)計的架構(gòu)更適合全網(wǎng)業(yè)務(wù)系統(tǒng)中的非實時數(shù)據(jù)量大的主數(shù)據(jù)共享發(fā)布。

如上圖所示，采納基于ODI的ETL工具具有連接各種異構(gòu)數(shù)據(jù)源和變更捕獲的實力，采納它來實

現(xiàn)MDM中異構(gòu)系統(tǒng)的數(shù)據(jù)觸發(fā)、整合和發(fā)布應(yīng)當(dāng)是順理成章的事情，當(dāng)某個主數(shù)據(jù)的源發(fā)生變

更時，ETL的CDC（變更數(shù)據(jù)捕獲）功能就會捕獲到變更，進(jìn)而將變更的數(shù)據(jù)傳輸?shù)街鲾?shù)據(jù)管理系

統(tǒng)的臨時存儲區(qū)，然后ETL工具依據(jù)定義的數(shù)據(jù)轉(zhuǎn)化規(guī)則對數(shù)據(jù)進(jìn)行清洗轉(zhuǎn)化，形成主數(shù)據(jù)，進(jìn)

而ETL調(diào)用審批監(jiān)管流程，一旦獲得審批，ETL即可將主數(shù)據(jù)同步到主數(shù)據(jù)存儲系統(tǒng)，同時分發(fā)

給各個訂閱該主數(shù)據(jù)的業(yè)務(wù)系統(tǒng)。同時ODI可以支撐流程的設(shè)計、運行、監(jiān)控，否則ETL工具必

需可以調(diào)用其它的工作流引擎，ODI可以實現(xiàn)與SOA的無縫集成，既可以將數(shù)據(jù)或者轉(zhuǎn)化封裝為

WebService服務(wù)，也可以調(diào)用外部的WebService服務(wù)。

2.基于SOA架構(gòu)的方式:

在該方案更適合實時的數(shù)據(jù)量小的主數(shù)據(jù)共享發(fā)布，采納OSB（企業(yè)服務(wù)總線）技術(shù)構(gòu)建應(yīng)用集

成平臺，采納webservice方式實現(xiàn)在多個系統(tǒng)間應(yīng)用集成和互聯(lián)互通。應(yīng)用集成平臺是數(shù)據(jù)采

集、數(shù)據(jù)交換及服務(wù)供應(yīng)實力的干脆承載。數(shù)據(jù)的收集和分發(fā)采納各種應(yīng)用和適配器實現(xiàn)，各種

應(yīng)用適配器一般供應(yīng)變更數(shù)據(jù)的的輪詢或者推送功能。監(jiān)控管理可以采納SOA中的工作流引擎

來實現(xiàn)，同時SOA中的流程監(jiān)控系統(tǒng)可以對整個主數(shù)據(jù)的收集、轉(zhuǎn)化、審批分發(fā)供應(yīng)端到端的

監(jiān)控。采納SOA技術(shù)設(shè)計的主數(shù)據(jù)管理架構(gòu)基于J2EE的開放架構(gòu)，會特別敏捷，同時便于和其

它系統(tǒng)集成,系統(tǒng)的擴(kuò)展性比較好，其問題在于假如主數(shù)據(jù)同步的量特別大,效率會有肯定問題。

平安牢靠的平臺

-基于標(biāo)準(zhǔn)的開放平臺

■多語言和多國家支持

■閱歷證的平臺，全球各行業(yè)（包括公共部門）數(shù)千客戶的選擇

■面對混合的重工作負(fù)載一一Oracle擁有巨大數(shù)目的客戶一一下關(guān)鍵數(shù)據(jù)訪問的高度

可用和可伸縮的平臺。

■平安特性包括全而且敏捷的認(rèn)證、全面的審計和監(jiān)控以及全部架構(gòu)級別的加密。

Oracle己經(jīng)獲得了17項獨立平安性評估的擔(dān)保，確立了Oracle在該領(lǐng)域的領(lǐng)導(dǎo)地位。

這些評估包括TCSEC、ITSEC、FIPS和各種通用標(biāo)準(zhǔn)評估。

2.1.2主數(shù)據(jù)方案設(shè)計

主數(shù)據(jù)管理的核心是數(shù)據(jù)整合、數(shù)據(jù)管控和數(shù)據(jù)服務(wù)。在橫跨這三個層次須要進(jìn)行數(shù)據(jù)

平安管理、質(zhì)量管理和元數(shù)據(jù)管理。下面分別進(jìn)行介紹：

數(shù)據(jù)整合：數(shù)據(jù)整合就是將離散于各個業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)進(jìn)行集中化，統(tǒng)一整合集成至

數(shù)據(jù)中心。數(shù)據(jù)整合將通過ETL工具實現(xiàn)數(shù)據(jù)的抽取、轉(zhuǎn)換和加載等功能。

數(shù)據(jù)管控：主要包含數(shù)據(jù)中心物理模型、邏輯模型的設(shè)計，數(shù)據(jù)的維護(hù)管理以及存儲管

理等管控功能。

數(shù)據(jù)服務(wù)管控：數(shù)據(jù)服務(wù)管控主要是對采集至數(shù)據(jù)中心的數(shù)據(jù)進(jìn)行數(shù)據(jù)交換和管控，主

要包括數(shù)據(jù)交換服務(wù)設(shè)計，數(shù)據(jù)總線交換共享，以及數(shù)據(jù)交換管理等功能。

元數(shù)據(jù)管理：元數(shù)據(jù)管理是整個數(shù)據(jù)共享中心中基礎(chǔ)信息的管理，包括ETL元數(shù)據(jù)、接

口元數(shù)據(jù)、模型元數(shù)據(jù)和數(shù)據(jù)服務(wù)元數(shù)據(jù)等的管理功能。

質(zhì)量管理：在數(shù)據(jù)管理的不同階段，數(shù)據(jù)管理對數(shù)據(jù)質(zhì)量管理的側(cè)重點也有所不同。數(shù)

據(jù)質(zhì)量管理的目標(biāo)，逐步從單純地提高數(shù)據(jù)精確性，延長至保障數(shù)據(jù)的完整性、唯一性、合

法性、一樣性、剛好性等屬性；從單純以技術(shù)角度考慮數(shù)據(jù)質(zhì)量問題，發(fā)展至從用戶視角衡

量數(shù)據(jù)質(zhì)量問題，提高用戶對數(shù)據(jù)的滿足度；建立數(shù)據(jù)質(zhì)量監(jiān)控機(jī)制，剛好發(fā)覺、報告、處

理數(shù)據(jù)共享中心中的數(shù)據(jù)質(zhì)量問題。數(shù)據(jù)質(zhì)量管理子系統(tǒng)是數(shù)據(jù)共享中心中數(shù)據(jù)質(zhì)量管理體

系的重要組成部分。

平安管理：主要包括數(shù)據(jù)存儲平安、數(shù)據(jù)管控平安和數(shù)據(jù)交換等平安管理。

主數(shù)據(jù)方案設(shè)計原則

主數(shù)據(jù)方案設(shè)計，遵循以下一般原則：

?每類業(yè)務(wù)數(shù)據(jù)實體的屬性有且僅有一個全部者(Owner),零個或多個消費者

(Consumer)；

?對數(shù)據(jù)的維護(hù)必需通過全部者進(jìn)行，消費者對數(shù)據(jù)只有只讀功能；假如消費者須要

對數(shù)據(jù)進(jìn)行維護(hù)，必需調(diào)用全部者數(shù)據(jù)維護(hù)服務(wù)；

?數(shù)據(jù)有且僅有一個主數(shù)據(jù)源(MasterLocation),主數(shù)據(jù)源可以是數(shù)據(jù)全部者的應(yīng)用

數(shù)據(jù)庫(ADB)或者數(shù)據(jù)中心數(shù)據(jù)庫?；谛阅艿目紤]，消費者可以在ADB保存

數(shù)據(jù)的備份，由主數(shù)據(jù)源實時或定時發(fā)起數(shù)據(jù)同步;

主數(shù)據(jù)源供應(yīng)相應(yīng)的數(shù)據(jù)存儲和數(shù)據(jù)服務(wù)；

主數(shù)據(jù)集成方案設(shè)計

依據(jù)主數(shù)據(jù)源位置(Location),數(shù)據(jù)冗余方式(Redundant)和數(shù)據(jù)維護(hù)的歸屬(Owner),

一般的主數(shù)據(jù)集成方案分析如下表:

方案123456

主數(shù)據(jù)源數(shù)據(jù)中心數(shù)據(jù)中心數(shù)據(jù)中心數(shù)據(jù)中心ADBADB

Owner數(shù)據(jù)中心數(shù)據(jù)中心ADBADBADBADB

Consumer

是否有備

份YNYNYN

干脆讀同1調(diào)用數(shù)據(jù)調(diào)用數(shù)據(jù)干脆讀干脆讀

OwnerADB中心數(shù)據(jù)中心數(shù)據(jù)OwnerADBOwnerADB

中的數(shù)據(jù)訪問服務(wù)訪問服務(wù)

Owner讀備份

Step1>在在一個交Step1、調(diào)用數(shù)據(jù)Step1、寫寫Owner

一個交易易內(nèi)寫調(diào)用數(shù)據(jù)中心數(shù)據(jù)OwnerADB

內(nèi)寫OwnerOwnerADB中心數(shù)據(jù)維護(hù)服務(wù)ADB；

數(shù)ADB和數(shù)據(jù)和數(shù)據(jù)中維護(hù)服Step2^通

據(jù)中心；心務(wù)；過數(shù)據(jù)中

維Step2、通Step2、心或主數(shù)

護(hù)過數(shù)據(jù)中通過數(shù)據(jù)據(jù)源啟動

方心啟動對中心啟動對

式Consumer對Consumer

ADB的數(shù)據(jù)ConsumerADB的數(shù)

同步ADB的數(shù)據(jù)同步

Owner寫據(jù)同步

干脆讀調(diào)用數(shù)據(jù)干脆讀調(diào)用數(shù)據(jù)干脆讀通過數(shù)據(jù)

Consumer中心數(shù)據(jù)Consumer中心數(shù)據(jù)Consumer中心的統(tǒng)

ConsumerADB中的數(shù)訪問服務(wù)ADB中的訪問服務(wù)ADB中的一視圖獲

讀據(jù)備份數(shù)據(jù)備份數(shù)據(jù)備份得數(shù)據(jù)；

Optionl：Optionl：同1同2同1同2

在一個交Consumer

易內(nèi)，調(diào)用Owner

Consumer的數(shù)據(jù)維

調(diào)用Owner護(hù)服務(wù)；

的數(shù)據(jù)維0ption2：

護(hù)服務(wù)，同集成Owner

時寫的數(shù)據(jù)維

Consumer護(hù)界面

ADB；

0ption2：

集成Owner

的數(shù)據(jù)維

護(hù)界面，由

數(shù)據(jù)中心

啟動同步

ConsumerConsumer

寫ADB

下面就各個方案進(jìn)行分析，對于方案1和方案2：

集成方案2集成方案1

特點單點與循多點與儲.蘭虻據(jù)牛心負(fù)責(zé)望囑的堤嚴(yán)1

Owner數(shù)援中心數(shù)超中心

Master蚊狗*心茲哥中心

各W丐系正和豉握中心紀(jì)矢存數(shù)電.但數(shù)據(jù)牛心作為這

豉再生牛到蛉援*心平金寺.其它系交不

簡要搽至蓑嘈的master系筑.對主張贈發(fā)亳更新必須亮運忑張

述里公考,其它茶費對豉售的訪W金主/氧

蚊再中心平臺上第士心上石.再皮坡挎*心發(fā)超習(xí)步充是同步體改結(jié)果

到垮關(guān)系史.各個專業(yè)系罡不輪對數(shù)相發(fā)起更擊.

優(yōu)點透過強(qiáng)勢歧求手轂達(dá)到對蛇樗m控的不恪對數(shù)據(jù)的更新龕*管控,能夠我好的控爸敢再的里至

統(tǒng)一和更量控全

缺點我禹*心平臺玉力跟大.風(fēng)受候哥.其它源系無仿有一定的改3室.卷要再蔽其它系交對這至數(shù)

系充數(shù)運里喂大售的修改：豉再*?>￥￡需營建對這至豉需的3理前能

這兩種方案主要適用于尚無任何系統(tǒng)時，進(jìn)行一體化系統(tǒng)建設(shè)，如應(yīng)用于已有系統(tǒng)則改

造量較大。同時，這兩種方案均以數(shù)據(jù)中心做為主數(shù)據(jù)的維護(hù)中心。

對于方案3、4和方案5、6：

'案3、4,案5、6

特點多點考完.=ADB會堂數(shù)雪的維數(shù)再豐心僅為數(shù)多點存儲,*ADB費夫或得的1交JADB佐為我W

得的主專憧系貌,支點對其三系貌的殺囑習(xí)步的主考愜系疣,發(fā)起對其三系吏的坡雋同步

OwnerADBADB

Master數(shù)福中心ADB

數(shù)零牛心作為數(shù)零的系靠.對主量/關(guān)后更赤三三三三三-Di三二三門髀:丁系三.-二三三三三三

簡要排master

必須先在ADB對豉電牛心遂行更？再生數(shù)理*心發(fā)宏改完在對H的ADB系筑*三行.里主該ADB發(fā)金

述直可步充程習(xí)步貨改經(jīng)果到杓美系統(tǒng)可步充程可步氧數(shù)提中心和其它相關(guān)空號.

對蓑雪的更冢矣*專控.勒笠取好的控芝數(shù)焉的生至

優(yōu)點系茨改造或j、.道合已有系空

逢告營建系正

數(shù)電奧量之主管正巨分?jǐn)?shù)控基

統(tǒng)點對李婆至三二星餐《三形最西AD眨間的咫決生成方

之間案或呈可狀.較為復(fù)雜

式丸果鼓與之方案.改造H作呈皎大ADB

方案5、6較適合已有大量系統(tǒng)的狀況，帶來的系統(tǒng)改造量最小。方案3、4適合在主數(shù)

據(jù)維護(hù)職能不變的狀況下將主數(shù)據(jù)在數(shù)據(jù)中心中進(jìn)行集中，并供應(yīng)應(yīng)新建應(yīng)用。

主數(shù)據(jù)實施方案設(shè)計

1、主數(shù)據(jù)創(chuàng)建抽取設(shè)計

主數(shù)據(jù)創(chuàng)建抽取過程如下：

其一、先對現(xiàn)有業(yè)務(wù)系統(tǒng)進(jìn)行解耦，解決目前各業(yè)務(wù)系統(tǒng)間交叉訪問，耦合度過高的問

題。通過建設(shè)共享數(shù)據(jù)庫，并將目前南方電網(wǎng)各系統(tǒng)交叉訪問的共享數(shù)據(jù)通過數(shù)據(jù)復(fù)制機(jī)制

同步或異步復(fù)制到共享數(shù)據(jù)庫，然后再更改各業(yè)務(wù)系統(tǒng)現(xiàn)有的共享視圖或物化視圖定義，將

共享訪問數(shù)據(jù)源統(tǒng)一指向共享數(shù)據(jù)庫。通過共享數(shù)據(jù)庫的建設(shè)及數(shù)據(jù)復(fù)制機(jī)制的建立，可以

將目前網(wǎng)狀的交叉訪問接口平滑過渡到基于共享數(shù)據(jù)庫的星狀接口，有效解決各系統(tǒng)依靠度

過高的問題，同時也為下一步各系統(tǒng)的升級改造打下基礎(chǔ)。

這里的數(shù)據(jù)復(fù)制產(chǎn)品可以考慮Oracle的GoldenGate實時復(fù)制產(chǎn)品，先將數(shù)據(jù)復(fù)制到共

享數(shù)據(jù)庫，完成“系統(tǒng)解耦”工作。

其二、是進(jìn)行數(shù)據(jù)共享協(xié)同平臺的建設(shè)。在進(jìn)行系統(tǒng)解耦時，我們會構(gòu)建共享數(shù)據(jù)庫，

但該共享庫僅僅是將當(dāng)前分散到各業(yè)務(wù)系統(tǒng)的共享數(shù)據(jù)進(jìn)行了集中，還缺乏統(tǒng)一的規(guī)劃，因

此還須要對共享庫進(jìn)行重新規(guī)劃設(shè)計，同時也須要對共享協(xié)同平臺和外部交換庫進(jìn)行規(guī)劃設(shè)

計?？傮w規(guī)劃設(shè)計完成后，即可起先構(gòu)建數(shù)據(jù)共享中心和業(yè)務(wù)協(xié)同平臺，其中數(shù)據(jù)共享中心

構(gòu)建完成后，就可以逐步將各系統(tǒng)間原來基于視圖和物化視圖的數(shù)據(jù)共享訪問調(diào)整為基于數(shù)

據(jù)共享中心的訪問模式。

共享庫規(guī)劃生成主數(shù)據(jù)管理，可以考慮OracleDataIntegrator產(chǎn)品，實現(xiàn)數(shù)據(jù)ETL的工

作。

我，

的.?

?奇?■?靠一平?■中?r伶■■或?作??一11實?■

.

?UK配浦

?魚??會???管?

*?I

?區(qū)■Mr-，??4irw

V

?殳林?三力■■■

?艮19人/?盅重。

ATM?*再?法亶，???

2、主數(shù)據(jù)共享分發(fā)流程設(shè)計

主數(shù)據(jù)創(chuàng)建生成后，就是對主數(shù)據(jù)進(jìn)行有效管理和利用。同其他系統(tǒng)進(jìn)行可以進(jìn)行實時或半

實時的同步從多個源系統(tǒng)建立統(tǒng)一、完整的記錄，再將主數(shù)據(jù)信息同步到其他系統(tǒng)中。通過

內(nèi)嵌的集成服務(wù)同其他系統(tǒng)進(jìn)行集成，例如豐富的公共API和業(yè)務(wù)事務(wù)。通過不斷的數(shù)據(jù)清

理和轉(zhuǎn)換規(guī)則來確保同步數(shù)據(jù)的質(zhì)量。

主數(shù)據(jù)管理功能設(shè)計

主數(shù)據(jù)的管理功能基本與內(nèi)部交換數(shù)據(jù)、外部交換數(shù)據(jù)相像。

2.1.3交換數(shù)據(jù)方案設(shè)計

內(nèi)部數(shù)據(jù)、外部數(shù)據(jù)在數(shù)據(jù)交換上的業(yè)務(wù)功能和邏輯，以及技術(shù)實現(xiàn)都是相像的，可以

采納相同的數(shù)據(jù)交換方案框架。數(shù)據(jù)交換方案框架涵蓋了數(shù)據(jù)交換，質(zhì)量清洗，數(shù)據(jù)管控和

數(shù)據(jù)運用，解決了如何在核心數(shù)據(jù)上實現(xiàn)統(tǒng)一的存儲，維護(hù)和運用的問題。

>數(shù)據(jù)集成：數(shù)據(jù)集成就是將離散于各個業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)進(jìn)行集中化，統(tǒng)一整合集

成至數(shù)據(jù)共享中心。數(shù)據(jù)集成須要對南方電網(wǎng)內(nèi)部系統(tǒng)以及外部系統(tǒng)進(jìn)行數(shù)據(jù)集成。

對于不同的數(shù)據(jù)集成場景，有不同的數(shù)據(jù)集成實現(xiàn)模式，比如有基于OracleODI

的“拉”數(shù)據(jù)集成模式和基于ESB總線的“推”數(shù)據(jù)集成模式等。

>質(zhì)量管理:在數(shù)據(jù)管理的不同階段，數(shù)據(jù)管理對數(shù)據(jù)質(zhì)量管理的側(cè)重點也有所不同。

數(shù)據(jù)質(zhì)量管理的目標(biāo)，逐步從單純地提高數(shù)據(jù)精確性，延長至保障數(shù)據(jù)的完整性、

唯一性、合法性、一樣性、剛好性等屬性；從單純以技術(shù)角度考慮數(shù)據(jù)質(zhì)量問題,

發(fā)展至從用戶視角衡量數(shù)據(jù)質(zhì)量問題，提高用戶對數(shù)據(jù)的滿足度；建立數(shù)據(jù)質(zhì)量監(jiān)

控機(jī)制，剛好發(fā)覺、報告、處理數(shù)據(jù)共享中心中的數(shù)據(jù)質(zhì)量問題。數(shù)據(jù)質(zhì)量管理子

系統(tǒng)是數(shù)據(jù)共享中心中數(shù)據(jù)質(zhì)量管理體系的重要組成部分。

數(shù)據(jù)標(biāo)準(zhǔn)化孔配杳重引華

?Eesd&?Und?f<WeMOulee?Runexhuutlrv*

?MorgoitemrvconHto

?CUBwfysMemMMerand

pravantdicAcMsn

proOxtdaurepotttory

?2必industry&cofrpanysttte

DataQualityToots

數(shù)據(jù)自動校驗.格式化人工工作流數(shù)據(jù)潔理

?NomMAM08ta?and?Slep-by*?tepnewMm

?Removeorwsnled

(McnpOongenoraoon2ndon?ndapproval

rvcorcHtoraduca

'?Afipiyuwr-doftrwdvwldMcnprocesses

datavoMno

■ruinataldataentrypants?Productcfwtgecontrol

圖：數(shù)據(jù)質(zhì)量管理

>數(shù)據(jù)管控：數(shù)據(jù)管控不是純粹的技術(shù)問題，而是由技術(shù)、人、信息和流程4個方面

共同影響的綜合管理問題。數(shù)據(jù)管控的演進(jìn)思路劃分為4個步驟：提出管理需求、

制定管理流程框架、細(xì)化具體管理流程、與組織機(jī)構(gòu)具體角色進(jìn)行對應(yīng)。

>數(shù)據(jù)運用：存在于數(shù)據(jù)共享中心中的數(shù)據(jù)主要有兩大方面的運用，一是封裝成數(shù)據(jù)

服務(wù)，并集成于業(yè)務(wù)協(xié)同平臺（服務(wù)總線平臺）進(jìn)行數(shù)據(jù)服務(wù)共享，南方電網(wǎng)信息

內(nèi)部系統(tǒng)和其他外部系統(tǒng)統(tǒng)一通過業(yè)務(wù)協(xié)同平臺獲得所需業(yè)務(wù)數(shù)據(jù)；二是基于數(shù)據(jù)

共享中心的集成化數(shù)據(jù)進(jìn)行綜合查詢分析的應(yīng)用，查詢分析統(tǒng)計功能不再基于核心

業(yè)務(wù)數(shù)據(jù)庫，避開造成對核心業(yè)務(wù)系統(tǒng)的性能影響。

模式一看于鹿務(wù)管理平臺配?生成我據(jù)服務(wù)

S3

圖：數(shù)據(jù)服務(wù)共享

2.1.4數(shù)據(jù)交換系統(tǒng)功能設(shè)計

基于內(nèi)部數(shù)據(jù)交換方案框架，并結(jié)合南方電網(wǎng)數(shù)據(jù)共享協(xié)同平臺總體功能需求分析的基

礎(chǔ)上，梳理出南方電網(wǎng)共享中心的總體功能組織結(jié)構(gòu)如下圖所示:

以下將分別對數(shù)據(jù)共享中心數(shù)據(jù)集成域、數(shù)據(jù)管控域、質(zhì)量檢測域和數(shù)據(jù)運用域的功能

規(guī)劃進(jìn)行具體介紹:

數(shù)據(jù)集成

數(shù)據(jù)集成引擎(DataIntegrationEngine)面對應(yīng)用系統(tǒng)，在各個應(yīng)用系統(tǒng)的數(shù)據(jù)源中提

取數(shù)據(jù)，是一個跨平臺的用于整合異構(gòu)系統(tǒng)數(shù)據(jù)的ETL工具，在數(shù)據(jù)共享中心中，數(shù)據(jù)集成

引擎實現(xiàn)了從各業(yè)務(wù)應(yīng)用系統(tǒng)的數(shù)據(jù)源中提取用于整合共享的數(shù)據(jù)，經(jīng)過質(zhì)量檢查后，按新

的數(shù)據(jù)模型對數(shù)據(jù)進(jìn)行轉(zhuǎn)換和清洗，正確無誤后加載到目標(biāo)數(shù)據(jù)共享中心中。

數(shù)據(jù)集成引擎(DataIntegrationEngine)

目標(biāo)數(shù)據(jù)加載

(TargetDataLoading)元

數(shù)據(jù)轉(zhuǎn)換清洗(DataTransforming&Cleaning)數(shù)

據(jù)

數(shù)據(jù)質(zhì)量檢查(DataQualityCheck)

模

批量數(shù)據(jù)提取變化數(shù)據(jù)捕獲型

(BulkDataExtract)(ChangeDataCapture)

dblinkjdbctriggerslogminerjmswebservice

下面對數(shù)據(jù)集成引擎中的各個部分的功能進(jìn)行具體介紹。

元數(shù)據(jù)模型

為了可以自動完數(shù)據(jù)提取、質(zhì)量檢查、數(shù)據(jù)轉(zhuǎn)換清洗和數(shù)據(jù)加載這個數(shù)據(jù)整合過程，數(shù)

據(jù)集成引擎須要知道源數(shù)據(jù)、目標(biāo)數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)，源數(shù)據(jù)到目標(biāo)數(shù)據(jù)的轉(zhuǎn)換及清洗規(guī)則，

還有源數(shù)據(jù)的質(zhì)量檢查規(guī)則等數(shù)據(jù)，這些用于描述數(shù)據(jù)本身的數(shù)據(jù)被稱為數(shù)據(jù)集成的元數(shù)據(jù),

而元數(shù)據(jù)模型是元數(shù)據(jù)的一個實例集合，描述了具體的數(shù)據(jù)結(jié)構(gòu)和規(guī)則,在數(shù)據(jù)進(jìn)行集成前，

必需先定義好元數(shù)據(jù)模型。

具體的元數(shù)據(jù)包括：

1)數(shù)據(jù)源定義

2)目標(biāo)庫定義

3)數(shù)據(jù)物理模型

4)數(shù)據(jù)檢查規(guī)則

5)數(shù)據(jù)轉(zhuǎn)換規(guī)則

6)數(shù)據(jù)清洗規(guī)則

批量數(shù)據(jù)提取

批量數(shù)據(jù)提取(BulkDataExtract)從數(shù)據(jù)源定時批量提取數(shù)據(jù)進(jìn)行整合，是數(shù)據(jù)集成引

擎的前端功能，與元數(shù)據(jù)模型中定義的各個數(shù)據(jù)源進(jìn)行連接，獲得須要整合的數(shù)據(jù)，然后存

儲到中間數(shù)據(jù)庫(StagingDatabase)進(jìn)行后續(xù)的質(zhì)量檢查、清洗和轉(zhuǎn)換處理。

批量數(shù)據(jù)提取因為提取的數(shù)據(jù)量較多，對于性能的影響也較大，一般用于非實時的數(shù)據(jù)

整合，適用于時效性要求不高并且不希望過多影響源系統(tǒng)數(shù)據(jù)處理性能的狀況。

對于關(guān)系型數(shù)據(jù)庫的批量數(shù)據(jù)提取可以運用兩種接口方式來進(jìn)實現(xiàn)：

1)ORACLEDBLINK：

這種方式適用于目標(biāo)數(shù)據(jù)庫和數(shù)據(jù)源數(shù)據(jù)庫都是Oracle的狀況，干脆在目標(biāo)數(shù)據(jù)庫建

立源數(shù)據(jù)庫的DBLINK,通過DBLINK就可以像在一個數(shù)據(jù)庫一樣通過SQL干脆提取數(shù)據(jù)源

的數(shù)據(jù)。

2)JDBCDataSource：

這種方式適合源數(shù)據(jù)庫是非Oracle并且支持JDBC協(xié)議的數(shù)據(jù)庫，目前大部分主流數(shù)據(jù)

庫都支持JDBC協(xié)議，在JDBC協(xié)議上建立DataSource,通過JDBC在源數(shù)據(jù)庫上執(zhí)行SQL進(jìn)

行數(shù)據(jù)提取。

運用批量數(shù)據(jù)提取的方式來提取數(shù)據(jù)可以用于首次初始化加載全量數(shù)據(jù)，也可在首次加

載數(shù)據(jù)后通過兩種方式實現(xiàn)非實時的增量更新，這兩種方式分別是：

1)基于時間戳的增量更新

這種方式提取數(shù)據(jù)速度較快，源數(shù)據(jù)庫通過物理表或者試圖的方式暴露數(shù)據(jù)，但要求數(shù)

據(jù)源的表或者視圖必需有時間戳的字段并且不能對數(shù)據(jù)記錄進(jìn)行物理刪除。

2)基于主鍵比對的增量更新

這種方式須要每次都提取全部數(shù)據(jù)，然后在目標(biāo)數(shù)據(jù)庫上按主鍵標(biāo)識對全部數(shù)據(jù)進(jìn)行全

量比對來識別增量更新的數(shù)據(jù)記錄，效率低，數(shù)據(jù)源的壓力較大，只適合小數(shù)據(jù)量的提取，

基于主鍵比對的更新對源數(shù)據(jù)的表或者視圖無特殊要求.

變更數(shù)據(jù)捕獲

和批量數(shù)據(jù)提取一樣，變更數(shù)據(jù)捕獲(ChangeDataCapture)同樣是數(shù)據(jù)集成引擎的前

端功能，和數(shù)據(jù)源進(jìn)行隊列：但顧名思義，變更數(shù)據(jù)捕獲只供應(yīng)增量數(shù)據(jù)提取的功能，通過

對源數(shù)據(jù)庫上變更數(shù)據(jù)的捕獲，數(shù)據(jù)集成引擎可以實現(xiàn)實時或準(zhǔn)實時數(shù)據(jù)同步，此方式適用

于整合有較高時效性要求的數(shù)據(jù)。

變更數(shù)據(jù)捕獲供應(yīng)多種技術(shù)實現(xiàn)方式，包括數(shù)據(jù)庫觸發(fā)器、數(shù)據(jù)庫日志采集器、基于消

息隊列的變更數(shù)據(jù)訂閱和基于WebService的數(shù)據(jù)變更通知，下面對兒種方式進(jìn)行描述：

集成數(shù)據(jù)引擎主動捕獲數(shù)據(jù)變更的方式：

1)數(shù)據(jù)庫觸發(fā)器(DatabaseTriggers)：

通過在源數(shù)據(jù)表上創(chuàng)建觸發(fā)器來獲得變更的數(shù)據(jù)，此方式實時性高，但須要對源數(shù)據(jù)庫

進(jìn)行改動，對高負(fù)載應(yīng)用的性能有肯定的影響，此方式支持主流的關(guān)系數(shù)據(jù)庫。

2)數(shù)據(jù)庫日志采集器(LogMiner)：

通過對源數(shù)據(jù)庫日志文件進(jìn)行分析,實時捕獲數(shù)據(jù)庫數(shù)據(jù)的變更狀況,此方式速度較快,

對源系統(tǒng)不會造成太大的壓力，但須要數(shù)據(jù)庫本身的功能進(jìn)行實現(xiàn)，目前只支持Oracle和

DB2兩種數(shù)據(jù)庫類型。

上面兩種方式是數(shù)據(jù)集成引擎主動捕獲變更數(shù)據(jù)，而下面的兩種方式則是數(shù)據(jù)集成引擎

被動接收源系統(tǒng)的通知：

1)變更數(shù)據(jù)訂閱(ChangeDataSubscriber)：

通過消息隊列技術(shù)，變更數(shù)據(jù)捕獲功能在數(shù)據(jù)源應(yīng)用供應(yīng)的基于JMS標(biāo)準(zhǔn)的消息

隊列上訂閱數(shù)據(jù)的變更消息，通過監(jiān)聽數(shù)據(jù)變更隊列，實時獲得數(shù)據(jù)源應(yīng)用放到隊列中

的數(shù)據(jù)變更消息，此方式的提取速度快，并且JMS消息隊列供應(yīng)了消息傳輸?shù)母呃慰?/p>

性，但實時性取決于數(shù)據(jù)源應(yīng)用，并且數(shù)據(jù)源應(yīng)用須要開發(fā)相應(yīng)的功能來實現(xiàn)。

2)數(shù)據(jù)變更通知(DataChangeNotification)：

和變更數(shù)據(jù)訂閱相同的原理，數(shù)據(jù)變更通知技術(shù)是通過暴露數(shù)據(jù)變更通知的Web

Service接口給數(shù)據(jù)源應(yīng)用，當(dāng)數(shù)據(jù)的變更被數(shù)據(jù)源應(yīng)用捕獲后，數(shù)據(jù)源應(yīng)用調(diào)用通知接

口把變更的數(shù)據(jù)傳遞給數(shù)據(jù)變更捕獲功能，此方式提取速度快，并且可通過ESB統(tǒng)一

暴露服務(wù)接口，消息傳輸牢靠性也可以通過ESB的獲得支持(須要ESB的