主數(shù)據(jù)管理介紹

主數(shù)據(jù)管理隨著用戶 IT 系統(tǒng)的建設(shè),信息孤島現(xiàn)象越來(lái)越嚴(yán)重,為了實(shí)現(xiàn)信息的共享,軟 件廠商提供了各種解決方案,主數(shù)據(jù)管理即是其中之一,在 2008年的 Oracle Openworld 大會(huì)上, Oracle 就有很多關(guān)于主數(shù)據(jù)管理的討論。那么什么是主數(shù)據(jù)?什么是主數(shù)據(jù)管理?根據(jù) IDC 的定義,主數(shù)據(jù)(Master Data 主要指系統(tǒng)間共享數(shù)據(jù)(例如,客戶、 供應(yīng)商、賬戶和組織部門相關(guān)數(shù)據(jù)。 DMReview 專欄作家 Jane Griffin將主數(shù) 據(jù)定義為“ . 用于為核心業(yè)務(wù)實(shí)體創(chuàng)建和維護(hù)全企業(yè)記錄系統(tǒng),以記錄業(yè) 務(wù)交易并評(píng)定這些實(shí)體的業(yè)績(jī)所需的信息。”由于當(dāng)時(shí) IT 系統(tǒng)的建設(shè)水平限制, 當(dāng)前的主數(shù)據(jù)跨越幾乎所有的組織業(yè)務(wù)部門, 分布在多個(gè)不同的系統(tǒng)中, 如企業(yè)資源計(jì)劃 (ERP、客戶關(guān)系管理 (CRM、商業(yè)智 能 (BI系統(tǒng);遺留系統(tǒng)和大型機(jī)系統(tǒng); 合作伙伴和供應(yīng)商系統(tǒng); 以及單個(gè)電子數(shù) 據(jù)表、文檔、 .pdf 文件和桌面數(shù)據(jù)庫(kù)。主數(shù)據(jù)管理簡(jiǎn)稱 MDM(Master Data Management的官方定義一般采用:A set of disciplines, applications, and technologies for harmonizing and managing the system of record and system of entry for the data and metadata associated with the key business entities of an organization.主數(shù)據(jù)管理是一系列的規(guī)則、 應(yīng)用和技術(shù), 目的是為了協(xié)調(diào)和管理與企業(yè)的核心 業(yè)務(wù)實(shí)體相關(guān)的系統(tǒng)記錄和系統(tǒng)登錄中的數(shù)據(jù)和元數(shù)據(jù)。主數(shù)據(jù)管理一般需要支持以下六大功能:1. 指定每個(gè)特定主數(shù)據(jù)域的業(yè)務(wù)職責(zé),例如,產(chǎn)品、客戶、供應(yīng)商和組織結(jié)構(gòu)。嚴(yán)格履行職責(zé)可保證接入共享資源的系統(tǒng)始終保持高質(zhì)量主數(shù)據(jù)。2. 提取分散在各個(gè)應(yīng)用系統(tǒng)中的主數(shù)據(jù)集中到主數(shù)據(jù)存儲(chǔ)庫(kù) , 主數(shù)據(jù)存儲(chǔ)庫(kù)一般 采用二維數(shù)據(jù)庫(kù)存儲(chǔ)主數(shù)據(jù)。3. 根據(jù)企業(yè)業(yè)務(wù)規(guī)則和企業(yè)數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)對(duì)收集到的主數(shù)據(jù)進(jìn)行加工清理, 從而 形成符合企業(yè)需求的主數(shù)據(jù)。4. 制定主數(shù)據(jù)變更的流程審批機(jī)制,從而保證主數(shù)據(jù)修改的一致性和穩(wěn)定性。5. 實(shí)現(xiàn)各個(gè)數(shù)據(jù)利用系統(tǒng)與主數(shù)據(jù)存儲(chǔ)庫(kù)的數(shù)據(jù)同步, 從而保證每個(gè)系統(tǒng)使用的 主數(shù)據(jù)相同。6. 隨著 IT 系統(tǒng)的建設(shè),主數(shù)據(jù)的修改動(dòng)作必然從現(xiàn)有分散的各個(gè)系統(tǒng)轉(zhuǎn)移到主 數(shù)據(jù)存儲(chǔ)庫(kù)集中進(jìn)行,因此必須保證當(dāng)前主數(shù)據(jù)管理系統(tǒng)的靈活性,方便修改、 監(jiān)控、更新關(guān)聯(lián)系統(tǒng)主數(shù)據(jù)的變化。那么一個(gè) 主數(shù)據(jù)管理 系統(tǒng)如何建設(shè)才能滿足上述業(yè)務(wù)需求呢,前幾天 學(xué)習(xí) openworld2008的資料,發(fā)現(xiàn)一張講 Oracle 主數(shù)據(jù)管理的圖篇,本人覺(jué)得總結(jié) 的比較好:一個(gè)完善的主數(shù)據(jù)管理系統(tǒng)一般至少包好以下五個(gè)部分:主數(shù)據(jù)存儲(chǔ)模型:主要用戶存儲(chǔ)整合后主數(shù)據(jù), 當(dāng)前的實(shí)際情況是在一個(gè)企業(yè)內(nèi) 部,主數(shù)據(jù)的不同部分分布在不同的業(yè)務(wù)系統(tǒng)中,比如一個(gè) call center系統(tǒng)需要 保存客戶的所有聯(lián)系信息, 但是一個(gè)計(jì)費(fèi)系統(tǒng)可能只需要保留客戶的與計(jì)費(fèi)相關(guān) 的信息,如何將客戶信息形成一條完整的記錄并進(jìn)行存儲(chǔ)供應(yīng), 當(dāng)然是需要概括 所有這些系統(tǒng)的需求,提供一個(gè)完整的數(shù)據(jù)模型。數(shù)據(jù)整合系統(tǒng):主數(shù)據(jù)分散在不同的業(yè)務(wù)系統(tǒng)中, 要進(jìn)行數(shù)據(jù)整合, 第一步是實(shí) 現(xiàn)這些異構(gòu)系統(tǒng)的互聯(lián)互通, 然后通過(guò)一定的觸發(fā)機(jī)制將各個(gè)系統(tǒng)針對(duì)主數(shù)據(jù)的 修改同步到主數(shù)據(jù)存儲(chǔ)庫(kù)。數(shù)據(jù)清洗系統(tǒng):從各個(gè)業(yè)務(wù)系統(tǒng)收集到的主數(shù)據(jù)一般都不是完整的, 存在這樣或 者那樣的數(shù)據(jù)質(zhì)量問(wèn)題 ,在對(duì)這些數(shù)據(jù)使用前,需要對(duì)其進(jìn)行更正和清洗。主數(shù)據(jù)管理監(jiān)控系統(tǒng):主要負(fù)責(zé)對(duì)主數(shù)據(jù)的修改變更實(shí)現(xiàn)監(jiān)控、 實(shí)現(xiàn)主數(shù)據(jù)系統(tǒng) 的安全性。主數(shù)據(jù)共享系統(tǒng):將更新后的主數(shù)據(jù)發(fā)布到已經(jīng)訂閱該信息的別的系統(tǒng)里, 它可 以和數(shù)據(jù)整合系統(tǒng)共享底層一套 IT 架構(gòu),如采用 SOA 架構(gòu)或者 ETL 架構(gòu)實(shí)現(xiàn) 的底層數(shù)據(jù)同步、觸發(fā)和訂閱架構(gòu)。當(dāng)前各個(gè) IT 廠商象 Oracle,IBM,Teradata,Informatic 等等都推出了自己的主數(shù)據(jù)管 理系統(tǒng),但如果分析一下這些廠商的解決方案, 不外乎三類:一類是原來(lái)從制造 業(yè)主數(shù)據(jù)管理演變過(guò)來(lái)的傳統(tǒng)產(chǎn)品、客戶資料管理系統(tǒng);二是原來(lái)的 ETL 廠商 基于自己的 ETL 工具建立的主數(shù)據(jù)管理系統(tǒng); 三是基于現(xiàn)有的 SOA 技術(shù)實(shí)現(xiàn)的 主數(shù)據(jù)管理系統(tǒng),從功能架構(gòu)上比較相似。為了實(shí)現(xiàn)主數(shù)據(jù)管理系統(tǒng), 首先我們應(yīng)該各個(gè)分散的業(yè)務(wù)系統(tǒng)連接起來(lái), 實(shí)現(xiàn)各 個(gè)業(yè)務(wù)系統(tǒng)與主數(shù)據(jù)存儲(chǔ)的互聯(lián)互通, 目前的主數(shù)據(jù)管理解決方案主要采用兩種 方式來(lái)實(shí)現(xiàn):基于 ETL 工具的方式和基于 SOA 體系架構(gòu)的方式。1. 基于 ETL 工具的主數(shù)據(jù)應(yīng)用互聯(lián)如上圖所示,一般的 ETL 工具本身就具有連接各種異構(gòu)數(shù)據(jù)源和變化捕捉的能 力,采用它來(lái)實(shí)現(xiàn) MDM 中異構(gòu)系統(tǒng)的數(shù)據(jù)觸發(fā)、 整合和發(fā)布應(yīng)該是順理成章的 事情,當(dāng)前 Oracle,IBM,Informatica 等許多具有自己 ETL 工具的廠商都推出了基 于 ETL 工具的主數(shù)據(jù)管理解決方案,當(dāng)某個(gè)主數(shù)據(jù)的源發(fā)生變化時(shí), ETL 的 CDC(變化數(shù)據(jù)捕捉 功能就會(huì)捕獲到變化,進(jìn)而將變化的數(shù)據(jù)傳輸?shù)街鲾?shù)據(jù)管理 系統(tǒng)的臨時(shí)存儲(chǔ)區(qū),然后 ETL 工具根據(jù)定義的數(shù)據(jù)轉(zhuǎn)化規(guī)則對(duì)數(shù)據(jù)進(jìn)行清洗轉(zhuǎn) 化,形成主數(shù)據(jù),進(jìn)而 ETL 調(diào)用審批監(jiān)管流程,一旦獲得審批, ETL 即可將主 數(shù)據(jù)同步到主數(shù)據(jù)存儲(chǔ)系統(tǒng), 同時(shí)分發(fā)給各個(gè)訂閱該主數(shù)據(jù)的業(yè)務(wù)系統(tǒng)。 這里要 注意的是主數(shù)據(jù)的審批監(jiān)管流程,如果 ETL 本身自帶流程引擎最好,可以支撐 流程的設(shè)計(jì)、運(yùn)行、監(jiān)控,否則 ETL 工具必須可以調(diào)用其它的工作流引擎,當(dāng) 前主流的 ETL 工具一般都可以實(shí)現(xiàn)與 SOA 的無(wú)縫集成, 既可以將數(shù)據(jù)或者轉(zhuǎn)化 封裝為 web 服務(wù),也可以調(diào)用外部的 web 服務(wù)?；?ETL 工具設(shè)計(jì)的架構(gòu)好處是效率高,畢竟 ETL 是以處理數(shù)據(jù)見(jiàn)長(zhǎng),缺點(diǎn)是 該架構(gòu)最好不要跨越廣域網(wǎng), 因?yàn)橐话銇?lái)講, ETL 工具都是在局域網(wǎng)內(nèi)使用, 如 果網(wǎng)絡(luò)不穩(wěn)定,有可能造成數(shù)據(jù)的不一致。2. 基于當(dāng)前流行的 SOA 架構(gòu)搭建主數(shù)據(jù)管理系統(tǒng),如下圖:在該方案中,采用 ESB (企業(yè)服務(wù)總線 技術(shù)構(gòu)建應(yīng)用集成平臺(tái), 采用 web service方式實(shí)現(xiàn)在多個(gè)系統(tǒng)間應(yīng)用集成和互聯(lián)互通。 應(yīng)用集成平臺(tái)是數(shù)據(jù)采集、 數(shù)據(jù)交 換及服務(wù)提供能力的直接承載。數(shù)據(jù)的收集和分發(fā)采用各種應(yīng)用和適配器實(shí)現(xiàn), 各種應(yīng)用適配器一般提供變化數(shù)據(jù)的的輪詢或者推送功能。監(jiān)控管理可以采用 SOA 中的