企業(yè)數(shù)據(jù)模型設(shè)計方法論探討

1、.企業(yè)級數(shù)據(jù)模型設(shè)計方法論探討引言數(shù)據(jù)模型設(shè)計是一個老生常談的話題,在以往的數(shù)據(jù)倉庫BI項目中,數(shù)據(jù)模型的方法論、概念通常大多圍繞如何設(shè)計和建設(shè)數(shù)據(jù)倉庫,而應(yīng)用系統(tǒng)OLTP系統(tǒng)模型設(shè)計卻缺乏方法論的指導(dǎo),加之各應(yīng)用系統(tǒng)通常都是由不同廠商在不同時期自行設(shè)計開發(fā),彼此之間缺乏溝通,導(dǎo)致數(shù)據(jù)分散重復(fù)、口徑不一致和數(shù)據(jù)兼容性差。由于數(shù)據(jù)倉庫在企業(yè)整體信息化規(guī)劃中屬于下游系統(tǒng),只能被動接收由各應(yīng)用系統(tǒng)產(chǎn)生的數(shù)據(jù),數(shù)據(jù)入倉之后,由于口徑不一致、兼容性差,給數(shù)據(jù)整合帶來極大困難。企業(yè)在投入大量的人力、物力和資金推進信息化建設(shè),仍然出現(xiàn)大量的信息孤島現(xiàn)象。本文認為,企業(yè)信息化建設(shè)的成功很大程度上取決于系統(tǒng)模型

2、的合理性和不同系統(tǒng)間概念的一致性,而企業(yè)級數(shù)據(jù)模型是企業(yè)信息化的核心問題,通過企業(yè)級數(shù)據(jù)模型定義整個企業(yè)信息化體系的數(shù)據(jù)標(biāo)準(zhǔn),逐步統(tǒng)一企業(yè)內(nèi)部數(shù)據(jù)標(biāo)準(zhǔn),指導(dǎo)各應(yīng)用系統(tǒng)數(shù)據(jù)模型統(tǒng)一設(shè)計,可以從根本上保證系統(tǒng)之間數(shù)據(jù)的兼容性和一致性,消除由于各應(yīng)用系統(tǒng)自行設(shè)計開發(fā)而導(dǎo)致的數(shù)據(jù)分散重復(fù)、口徑不一致和信息孤島現(xiàn)象,推動企業(yè)內(nèi)各類應(yīng)用系統(tǒng)的整合和數(shù)據(jù)的共享,全面提升經(jīng)營決策、運營管理、業(yè)務(wù)拓展和客戶服務(wù)等方面的支撐能力。本文將首先闡述企業(yè)級數(shù)據(jù)模型的定義和結(jié)構(gòu),分析其業(yè)務(wù)價值。通過描述企業(yè)級數(shù)據(jù)模型與應(yīng)用系統(tǒng)模型間關(guān)系,劃分兩者之間的概念邊界和區(qū)別,從而更好的理解企業(yè)級數(shù)據(jù)模型的真正內(nèi)涵。其次,闡述了企

3、業(yè)級數(shù)據(jù)模型設(shè)計的基本方法和關(guān)鍵要點,使讀者能夠掌握企業(yè)級數(shù)據(jù)模型設(shè)計的整體思路,以便對后續(xù)工作提供借鑒和指導(dǎo)作用。最后,總結(jié)了多個項目的經(jīng)驗教訓(xùn),分享企業(yè)級數(shù)據(jù)模型建模過程中的心得體會,希望對大家能有所幫助。企業(yè)級數(shù)據(jù)模型定義2.1模型基本定義企業(yè)級數(shù)據(jù)模型不能等同于數(shù)據(jù)倉庫模型,企業(yè)級數(shù)據(jù)模型是站在整個企業(yè)業(yè)務(wù)的視角,對企業(yè)全部數(shù)據(jù)包括生產(chǎn)數(shù)據(jù)和消費數(shù)據(jù)全貌性、整體性描述。企業(yè)級數(shù)據(jù)模型是業(yè)務(wù)人員和IT人員進行溝通的媒介、也是企業(yè)內(nèi)部與外部進行交流的紐帶。企業(yè)級數(shù)據(jù)模型是一種建設(shè)藍圖,它識別了企業(yè)內(nèi)部跨功能、跨部門、跨組織的共享或冗余數(shù)據(jù),為系統(tǒng)的規(guī)劃、設(shè)計和實施提供一種可視化方式和支撐框

4、架,是企業(yè)內(nèi)部所有應(yīng)用系統(tǒng)數(shù)據(jù)模型設(shè)計的起點,如ODS、EDW等系統(tǒng)的設(shè)計開發(fā),有助于促進數(shù)據(jù)整合、消除數(shù)據(jù)孤島和遺留系統(tǒng)保持一致。企業(yè)級數(shù)據(jù)模型是一個數(shù)據(jù)集成定義,它不依賴于企業(yè)內(nèi)部某個具體的系統(tǒng)或應(yīng)用,也跟數(shù)據(jù)的物理實現(xiàn)無關(guān)包括數(shù)據(jù)如何獲取、如何存儲、如何處理以及如何訪問。2.2模型結(jié)構(gòu)企業(yè)級數(shù)據(jù)模型可分解為三個層級：主題域模型、概念模型和邏輯模型。三個層次模型逐級擴展。企業(yè)級數(shù)據(jù)模型的創(chuàng)建更是一種藝術(shù)而非一門科學(xué),應(yīng)集中企業(yè)的集體智慧,共同推進企業(yè)級數(shù)據(jù)模型的不斷完善。主題域模型企業(yè)主題域模型在企業(yè)級數(shù)據(jù)模型中處于第一層次,其覆蓋原則是有需求才覆蓋,一個企業(yè)的平均主題域數(shù)量通常在1020

5、之間。 主題域模型內(nèi)涵主題Subject是在較高層次上將企業(yè)的數(shù)據(jù)進行綜合、歸類和分析利用的抽象概念,每一個主題通常對應(yīng)一個宏觀的業(yè)務(wù)分析領(lǐng)域。主題域是對某個主題進行分析后確定的主題邊界。典型的主題域包括參與人、產(chǎn)品、協(xié)議等。主題域模型處于企業(yè)級數(shù)據(jù)模型的頂層,是針對企業(yè)關(guān)鍵業(yè)務(wù)領(lǐng)域、業(yè)務(wù)概念的分類方法和框架。主題域模型特征看似簡單的主題域模型實際上凝聚了企業(yè)內(nèi)部中高層管理者的共識,因而需要耗費較長時間進行充分的溝通和交流；主題域模型的價值在于企業(yè)內(nèi)部對業(yè)務(wù)的理解深度,以及體現(xiàn)企業(yè)內(nèi)部各方達成的協(xié)議。概念模型企業(yè)概念模型在企業(yè)級數(shù)據(jù)模型中處于第二層次,將每個主題域進一步細分為概念,通常每個主題

6、域包括1020個概念。企業(yè)概念模型由概念以及概念之間的關(guān)聯(lián)關(guān)系組成。概念內(nèi)涵概念是對主題域、主題域范圍的進一步定義和細化 ；概念描述了企業(yè)生產(chǎn)和消費的核心業(yè)務(wù)信息,獨立于具體的實現(xiàn)問題和細節(jié) ；概念應(yīng)基于企業(yè)的主要業(yè)務(wù),應(yīng)由企業(yè)主要業(yè)務(wù)驅(qū)動概念定義；概念的要點在于表現(xiàn)企業(yè)重要的業(yè)務(wù)視角,而不是數(shù)據(jù)量的大小； 概念還需考慮行業(yè)的適用性,如包括供應(yīng)商、合作伙伴以及外部引用數(shù)據(jù)的概念。概念模型特征概念模型是一種高階數(shù)據(jù)模型,以實體關(guān)系Entity-RelationShip,簡稱E-R理論為基礎(chǔ),通過主題域形式描述概念化的結(jié)構(gòu)；概念模型是對主題域模型的進一步細化。 概念模型定義了企業(yè)內(nèi)主要業(yè)務(wù)實體及實

7、體間的業(yè)務(wù)關(guān)系。 概念模型不描述業(yè)務(wù)實體的數(shù)據(jù)屬性 實體之間可能存在多對多關(guān)系,不對數(shù)據(jù)進行范式化處理。 邏輯模型企業(yè)邏輯模型在企業(yè)級數(shù)據(jù)模型中處于第三層次,并將每個概念進一步細分為邏輯實體。企業(yè)邏輯模型由邏輯實體、業(yè)務(wù)主鍵、關(guān)聯(lián)關(guān)系和重要屬性組成。 邏輯模型特征邏輯模型是對概念模型的進一步分解和細化 ,通過關(guān)鍵數(shù)據(jù)屬性描述更多業(yè)務(wù)細節(jié) 邏輯模型描述實體、屬性以及實體關(guān)系 邏輯模型只包含關(guān)鍵數(shù)據(jù)屬性,而不是全部實體和全部屬性。關(guān)鍵數(shù)據(jù)屬性是指那些如果缺失而導(dǎo)致企業(yè)無法正常運轉(zhuǎn)的屬性,但這種判斷通常是非常主觀的決定。 設(shè)計時一般遵從第三范式,以求達到最小的數(shù)據(jù)冗余,維護數(shù)據(jù)的完整性和可擴展性 檢

8、查數(shù)據(jù)模型是否符合第三范式要求,有如下三條檢驗標(biāo)準(zhǔn)：主鍵是唯一的,不具有多義性 。每個非主屬性必須完全依賴于整個主鍵,而非主鍵的一部分 。關(guān)系模式中不存在傳遞依賴 。邏輯模型獨立于具體技術(shù),是IT人員和業(yè)務(wù)人員溝通的工具2.3企業(yè)級數(shù)據(jù)模型的業(yè)務(wù)價值企業(yè)信息化建設(shè)的目的是通過運用信息化技術(shù)來提高企業(yè)的生產(chǎn)、運營效率,降低運營風(fēng)險和經(jīng)營成本,從而增加企業(yè)盈利和持續(xù)經(jīng)營的能力。企業(yè)級數(shù)據(jù)模型定義了企業(yè)信息化體系的數(shù)據(jù)標(biāo)準(zhǔn),是企業(yè)內(nèi)部各應(yīng)用系統(tǒng)能夠?qū)崿F(xiàn)相互協(xié)作、共享數(shù)據(jù)的前提,是企業(yè)信息化建設(shè)成功的必要條件,它的業(yè)務(wù)價值體現(xiàn)在以下幾個方面：提升數(shù)據(jù)質(zhì)量。企業(yè)現(xiàn)有系統(tǒng)在與企業(yè)級數(shù)據(jù)模型映射過程中,能夠

9、暴露系統(tǒng)之間數(shù)據(jù)的差異性、內(nèi)在的冗余數(shù)據(jù),可以將許多潛在的數(shù)據(jù)質(zhì)量問題在正式實施之前予以暴露、并解決。 理清數(shù)據(jù)所有權(quán)。通過將跨業(yè)務(wù)、跨組織邊界的企業(yè)數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系、依賴關(guān)系進行識別、并文檔化,企業(yè)級數(shù)據(jù)模型可以作為數(shù)據(jù)所有權(quán)管理工具,支持共享數(shù)據(jù)所有權(quán)的概念。 增強系統(tǒng)的可擴展性。企業(yè)級數(shù)據(jù)模型支持可擴展性的數(shù)據(jù)架構(gòu),基于戰(zhàn)略業(yè)務(wù)視角,獨立于具體的技術(shù)實現(xiàn),支持可擴展性。能以很小的IT變更代價適用不斷變化的環(huán)境。 整合行業(yè)數(shù)據(jù)。企業(yè)級數(shù)據(jù)模型吸收了企業(yè)外部視角,結(jié)合行業(yè)數(shù)據(jù)集成框架,提高了企業(yè)的行業(yè)數(shù)據(jù)適用性,從而提升了企業(yè)共享行業(yè)公用數(shù)據(jù)的能力,如客戶、位置、供應(yīng)商等基礎(chǔ)數(shù)據(jù)。企業(yè)也可

10、以與相關(guān)行業(yè)或合作伙伴共享數(shù)據(jù)。 整合套裝應(yīng)用軟件。通過將套裝應(yīng)用軟件映射到企業(yè)級數(shù)據(jù)模型中,提升了企業(yè)級數(shù)據(jù)模型在企業(yè)內(nèi)部的匹配度,并能識別出套裝應(yīng)用軟件和遺留系統(tǒng)之間的集成點,通過打包產(chǎn)品提供一致性、高質(zhì)量的數(shù)據(jù)流轉(zhuǎn)地圖。 2.4企業(yè)級數(shù)據(jù)模型與應(yīng)用系統(tǒng)數(shù)據(jù)模型間關(guān)系企業(yè)級數(shù)據(jù)模型是企業(yè)內(nèi)部所有應(yīng)用系統(tǒng)數(shù)據(jù)模型設(shè)計的起點。企業(yè)級數(shù)據(jù)模型與應(yīng)用系統(tǒng)數(shù)據(jù)模型之間的關(guān)系表現(xiàn)在以下三個方面：企業(yè)級數(shù)據(jù)模型是企業(yè)內(nèi)所有應(yīng)用系統(tǒng)的基礎(chǔ)數(shù)據(jù)模型。在構(gòu)建企業(yè)數(shù)據(jù)存儲架構(gòu)ODS、DW、數(shù)據(jù)集市和應(yīng)用之前,首先要基于企業(yè)級數(shù)據(jù)模型中的企業(yè)邏輯模型創(chuàng)建一個應(yīng)用級邏輯模型,而該模型是企業(yè)邏輯模型的子集,因此,企業(yè)

11、邏輯模型是所有數(shù)據(jù)存儲架構(gòu)的基礎(chǔ)模型。數(shù)據(jù)架構(gòu)框架。企業(yè)級數(shù)據(jù)模型為企業(yè)數(shù)據(jù)設(shè)計和數(shù)據(jù)存儲提供了一個數(shù)據(jù)架構(gòu)框架,以支撐數(shù)據(jù)質(zhì)量、可擴展性和完整性。業(yè)務(wù)數(shù)據(jù)需求和數(shù)據(jù)源遺留系統(tǒng)為企業(yè)的數(shù)據(jù)設(shè)計提供裝修材料。這些裝修材料以屬性的形式填充到企業(yè)邏輯模型框架中。數(shù)據(jù)粘合劑 。企業(yè)級數(shù)據(jù)模型為企業(yè)提供了一個數(shù)據(jù)集成框架, 所有的應(yīng)用級邏輯模型都可以被映射到企業(yè)邏輯模型中, 企業(yè)級數(shù)據(jù)模型就像膠水,將企業(yè)內(nèi)部所有數(shù)據(jù)連接在一起,包括套裝應(yīng)用軟件。 企業(yè)級數(shù)據(jù)模型設(shè)計3.1模型設(shè)計方法企業(yè)級數(shù)據(jù)模型設(shè)計可采用業(yè)務(wù)需求驅(qū)動自頂向下和基于現(xiàn)狀驅(qū)動自底向上相結(jié)合模式,參照業(yè)界參考模型、行業(yè)最佳實踐,共同形成數(shù)據(jù)

12、模型。從業(yè)務(wù)需求驅(qū)動入手自頂向下,參照業(yè)界參考模型、行業(yè)最佳實踐搭建數(shù)據(jù)模型整體框架 通過現(xiàn)狀調(diào)研獲取企業(yè)內(nèi)部業(yè)務(wù)流程、設(shè)計文檔、系統(tǒng)模型、接口規(guī)范等現(xiàn)狀信息,現(xiàn)狀驅(qū)動自底向上,細化和完善數(shù)據(jù)模型的設(shè)計3.2模型設(shè)計要點本文不討論企業(yè)級數(shù)據(jù)模型設(shè)計的具體細節(jié),只討論建模過程中的關(guān)鍵步驟和要點。企業(yè)級數(shù)據(jù)模型設(shè)計總體可分為四個步驟：前期準(zhǔn)備、主題域模型設(shè)計、概念模型設(shè)計、邏輯模型設(shè)計。前期準(zhǔn)備 在企業(yè)內(nèi)部,涉及多個業(yè)務(wù)部門,對于一個業(yè)務(wù)問題通常會有多個不同的觀點和看法,每個相關(guān)人員需要理解和溝通各自的觀點和看法。為了闡明和溝通我們的觀點,我們需要理順企業(yè)內(nèi)部所有核心術(shù)語定義以及術(shù)語定義的關(guān)系,形

13、成一個精確的和公認的術(shù)語詞典表。因此,在構(gòu)建企業(yè)級數(shù)據(jù)模型之前,需要在企業(yè)范圍內(nèi)統(tǒng)一業(yè)務(wù)術(shù)語,在后續(xù)建模過程中給相關(guān)人員提供一個溝通的基礎(chǔ)。主題域模型設(shè)計 主題域模型設(shè)計凝聚了企業(yè)內(nèi)部中高層管理者的共識,是企業(yè)內(nèi)部各方相互妥協(xié)后達成的協(xié)議。主題域模型設(shè)計過程中注意以下幾個要點：設(shè)計依據(jù) 設(shè)計依據(jù)來源于三個方面：立足需求和現(xiàn)狀、行業(yè)最佳實踐和業(yè)界理論支撐。立足需求和現(xiàn)狀?；谄髽I(yè)業(yè)務(wù)整體發(fā)展的需求以及行業(yè)監(jiān)管要求,在企業(yè)范圍內(nèi)開展業(yè)務(wù)調(diào)研、信息調(diào)研獲取企業(yè)的當(dāng)前現(xiàn)狀信息,作為主題域模型設(shè)計的輸入信息。 行業(yè)最佳實踐。借鑒國際、國內(nèi)本行業(yè)相關(guān)企業(yè)的實踐經(jīng)驗以及相關(guān)工作成果。了解相關(guān)企業(yè)在數(shù)據(jù)建模過

14、程中所取得的成就和經(jīng)驗教訓(xùn),確保企業(yè)在建模過程中少走彎路。業(yè)界理論支撐。參考業(yè)界通用數(shù)據(jù)模型設(shè)計思路,推動業(yè)界參考模型產(chǎn)品的客戶化處理。通常,每個行業(yè)都會有本行業(yè)的參考模型,例如：金融行業(yè)典型的參考模型包括TD FS-LDM和IBM FSDM模型；通信行業(yè)典型參考模型包括NGOSS-SID模型。關(guān)鍵要點設(shè)計過程需要整個企業(yè)內(nèi)部各個部門的廣泛參與 ,有助于形成合力、達成共識。業(yè)務(wù)專家的深度參與和親臨指導(dǎo),有助于識別、理解組織架構(gòu)和業(yè)務(wù)功能；主題域的定義和命名過程很重要,它有助于覆蓋企業(yè)的重要業(yè)務(wù)主題,避免重大遺漏；主題域名稱應(yīng)該清晰、簡潔、易于理解 ；概念模型設(shè)計概念模型設(shè)計是從企業(yè)角度出發(fā),采

15、用自上而下的開發(fā)模式。不局限于某個特定業(yè)務(wù)領(lǐng)域或應(yīng)用。概念模型設(shè)計過程中注意以下幾個要點：兩個關(guān)鍵步驟識別各主題域下的關(guān)鍵實體,對關(guān)鍵實體再進行細分類。識別關(guān)鍵實體及其分類之間的關(guān)聯(lián)關(guān)系。關(guān)鍵要點建立概念模型過程中必須得到業(yè)務(wù)領(lǐng)域?qū)＜液蜆I(yè)務(wù)負責(zé)人的指導(dǎo),并由業(yè)務(wù)用戶提供模型的應(yīng)用需求。 模型設(shè)計師完成初步設(shè)計以后,需通過多輪會議,由業(yè)務(wù)領(lǐng)域?qū)＜?、相關(guān)主題域的專家驗證本主題域概念是否符合要求； 會議過程中,概念模型初稿暴露出的概念重疊、沖突或其它關(guān)注的問題都將應(yīng)記錄下來,由模型設(shè)計師繼續(xù)調(diào)整模型,概念模型的最終成稿通常需經(jīng)歷多輪迭代,迭代次數(shù)取決于概念模型的復(fù)雜程度和發(fā)現(xiàn)問題的數(shù)量。邏輯模型設(shè)計

16、邏輯模型基于概念模型進行擴展,包括擴充邏輯實體、提取關(guān)鍵數(shù)據(jù)屬性、業(yè)務(wù)規(guī)則、值域填充到邏輯模型當(dāng)中,它是業(yè)務(wù)人員、IT人員用來發(fā)現(xiàn)、記錄和溝通業(yè)務(wù)的詳細藍圖。邏輯模型設(shè)計過程中注意以下幾個要點：邏輯模型承載著企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)。通過邏輯模型中的實體、關(guān)鍵屬性等可以有效地承載數(shù)據(jù)標(biāo)準(zhǔn)的內(nèi)容,并傳遞到應(yīng)用系統(tǒng)模型設(shè)計中。 邏輯模型承載著業(yè)務(wù)數(shù)據(jù)規(guī)則?；鶖?shù)規(guī)則。例如：定義與兩個實體間關(guān)系相關(guān)的某個實體的實例數(shù)量。譬如下圖表示一個客戶可以在銀行有多個存款賬號,最多有一張白金理財卡?；鶖?shù)規(guī)則有一對一、一對多、多對多三種類型。 參照性規(guī)則。例如：為確保正確有效的數(shù)值所定義的規(guī)則。譬如下圖表示存款不能沒有存款客戶

17、,必須要有一個存款人。邏輯模型承載著企業(yè)數(shù)據(jù)質(zhì)量規(guī)則,通過邏輯模型,可以了解數(shù)據(jù)質(zhì)量要求,提前數(shù)據(jù)質(zhì)量的管控或檢測,做到提前預(yù)防不合規(guī)的數(shù)據(jù)提交給下游數(shù)據(jù)使用者針對前頁的業(yè)務(wù)數(shù)據(jù)規(guī)則,可以對系統(tǒng)中數(shù)據(jù)進行如下質(zhì)量規(guī)則的檢查。例如：檢查是否存在持有多張大于1張白金理財卡的客戶； 檢查是否存在沒有存款人的存款帳戶存在。結(jié)合邏輯模型中實體屬性的域定義的格式、取值范圍等,在系統(tǒng)模型設(shè)計時繼承該實體屬性的質(zhì)量檢測管控,防止不合乎標(biāo)準(zhǔn)的數(shù)據(jù)進入系統(tǒng)。 關(guān)鍵要點模型設(shè)計師創(chuàng)建邏輯模型的初始版本,通過工作會議的形式,由業(yè)務(wù)領(lǐng)域?qū)＜疫M一步驗證邏輯模型的完整性和準(zhǔn)確性 ； 邏輯模型的設(shè)計過程需要多輪迭代,迭代次數(shù)

18、取決于實體概念的數(shù)量、業(yè)務(wù)的復(fù)雜程度或者發(fā)現(xiàn)問題的數(shù)量。 心得體會與總結(jié)本人先后參與了金融數(shù)據(jù)模型、征信數(shù)據(jù)模型等多個大型企業(yè)的數(shù)據(jù)模型設(shè)計項目,具有扎實的理論基礎(chǔ)和豐富的數(shù)據(jù)模型設(shè)計實踐經(jīng)驗。通過總結(jié)項目期間的經(jīng)驗和教訓(xùn),分享建模過程中的心得體會,希望對大家能有所幫助。企業(yè)級數(shù)據(jù)模型設(shè)計應(yīng)以自頂向下方法為主,應(yīng)通過中高層訪談、規(guī)劃研讀等方式,充分理解公司發(fā)展戰(zhàn)略目標(biāo)、業(yè)務(wù)規(guī)劃和信息化規(guī)劃,以便站在企業(yè)整體業(yè)務(wù)視角上,洞察企業(yè)數(shù)據(jù)的全貌性和整體性；在模型設(shè)計工作開始之前,應(yīng)首先推動在企業(yè)范圍內(nèi)形成統(tǒng)一的業(yè)務(wù)術(shù)語詞典,統(tǒng)一業(yè)務(wù)術(shù)語定義,磨刀不誤砍柴工,各部門業(yè)務(wù)人員有了共同的溝通基礎(chǔ),在后續(xù)的模型設(shè)計工作中