數(shù)據(jù)治理系列3數(shù)據(jù)標(biāo)準(zhǔn)管理

1、數(shù)據(jù)治理系列3:數(shù)據(jù)標(biāo)準(zhǔn)管理導(dǎo)讀：提到“標(biāo)準(zhǔn)”二字，我們第一時(shí)間能夠想到的就是一系列的標(biāo)準(zhǔn)化文檔，例如：產(chǎn)品設(shè)計(jì)標(biāo)準(zhǔn)、生產(chǎn)標(biāo)準(zhǔn)、質(zhì)量檢驗(yàn)標(biāo)準(zhǔn)、庫房管理標(biāo)準(zhǔn)、安全環(huán)保標(biāo)準(zhǔn)、物流配送標(biāo)準(zhǔn)等，這些標(biāo)準(zhǔn)有國際標(biāo)準(zhǔn)、國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)、企業(yè)標(biāo)準(zhǔn)等。而我們所說的數(shù)據(jù)標(biāo)準(zhǔn)卻不單單是指與數(shù)據(jù)相關(guān)的標(biāo)準(zhǔn)文件，數(shù)據(jù)標(biāo)準(zhǔn)是一個從業(yè)務(wù)、技術(shù)、管理三方面達(dá)成一致的規(guī)范化體系。數(shù)據(jù)標(biāo)準(zhǔn)是什么？數(shù)據(jù)標(biāo)準(zhǔn)化是指研究、制定和推廣應(yīng)用統(tǒng)一的數(shù)據(jù)分類分級、記錄格式及轉(zhuǎn)換、編碼等技術(shù)標(biāo)準(zhǔn)的過程。一一維基百科。筆者理解：數(shù)據(jù)標(biāo)準(zhǔn)是一套由管理制度、管控流程、技術(shù)工具共同組成的體系，是通過這套體系的推廣，應(yīng)用統(tǒng)一的數(shù)據(jù)定義、數(shù)據(jù)分類、記錄

2、格式和轉(zhuǎn)換、編碼等實(shí)現(xiàn)數(shù)據(jù)的標(biāo)準(zhǔn)化。企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)管理的內(nèi)容1、數(shù)據(jù)模型標(biāo)準(zhǔn)，即元數(shù)據(jù)的標(biāo)準(zhǔn)化。自己從事IT行業(yè)10多年，一路走來，曾經(jīng)做開發(fā)的時(shí)候一度認(rèn)為數(shù)據(jù)模型沒什么，只不過就是表結(jié)構(gòu)、存儲過程的設(shè)計(jì)，后來接觸了數(shù)據(jù)集成ETL、ESB,雖然也知道ETL腳本本身也是元模型的一部分，但對其重要程度也沒放在心上。后來慢慢發(fā)現(xiàn)之前的想法還過于簡單，如果把企業(yè)信息化比作是人體的話，數(shù)據(jù)模型就是其骨架，數(shù)據(jù)之間的關(guān)系和流向是其血管和脈絡(luò)，數(shù)據(jù)是其血液，數(shù)據(jù)模型的標(biāo)準(zhǔn)化是其數(shù)據(jù)血液能夠正常流動和運(yùn)行的根本。數(shù)據(jù)模型標(biāo)準(zhǔn)是元數(shù)據(jù)管理的主要內(nèi)容，是企業(yè)數(shù)據(jù)治理的基礎(chǔ)。請參考數(shù)據(jù)治理系列2:元數(shù)據(jù)管理一企業(yè)數(shù)據(jù)

3、治理的基礎(chǔ)2、主數(shù)據(jù)和參照數(shù)據(jù)標(biāo)準(zhǔn)。主數(shù)據(jù)是用來描述企業(yè)核心業(yè)務(wù)實(shí)體的數(shù)據(jù)，比如客戶、供應(yīng)商、員工、產(chǎn)品、物料等；它是具有高業(yè)務(wù)價(jià)值的、可以在企業(yè)內(nèi)跨越各個業(yè)務(wù)部門被重復(fù)使用的數(shù)據(jù)，被譽(yù)為企業(yè)的“黃金數(shù)據(jù)”。參考數(shù)據(jù)是用于將其他數(shù)據(jù)進(jìn)行分類或目錄整編的數(shù)據(jù)，是規(guī)定數(shù)據(jù)元的域值范圍。參照數(shù)據(jù)一般是有國標(biāo)可以參照的，固定不變的，或者是用于企業(yè)內(nèi)部數(shù)據(jù)分類的，基本固定不變的數(shù)據(jù)。個人認(rèn)為主數(shù)據(jù)與參照數(shù)據(jù)的標(biāo)準(zhǔn)化是企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)化的核心。請參考主數(shù)據(jù)管理實(shí)施四部曲概論人覆樓皇看EW品片張三男漢族本科l&M-tC-Oi民尊Pvmngtim李四文砧喙悔土l&fi*112ft學(xué)歷Penon_ediKati王五

4、啊漢旗土I暮04-02-18d苣古族主數(shù)據(jù)：人員檔案信息MM：敢握的域值范圍和標(biāo)準(zhǔn)3、指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)。指標(biāo)數(shù)據(jù)是在實(shí)體數(shù)據(jù)基礎(chǔ)之上，增加了統(tǒng)計(jì)維度、計(jì)算方式、分析規(guī)則等信息加工后的數(shù)據(jù)。指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)是對企業(yè)業(yè)務(wù)指標(biāo)所涉及的指標(biāo)項(xiàng)的統(tǒng)一定義和管理。企業(yè)的財(cái)務(wù)、銷售、采購、生產(chǎn)、質(zhì)量、售后等各業(yè)務(wù)域均分布都有其相應(yīng)的業(yè)務(wù)指標(biāo)。這些指標(biāo)不僅需要在業(yè)務(wù)系統(tǒng)中統(tǒng)計(jì)和展現(xiàn)還需要在數(shù)據(jù)分析系統(tǒng)中展現(xiàn)，有的指標(biāo)數(shù)據(jù)需要多個從不同的業(yè)務(wù)系統(tǒng)中進(jìn)行獲取。沒有指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)化，你可以想象在每次數(shù)據(jù)平臺有新分析主題構(gòu)建或舊的分析主題變革，都需要從所涉及的各個系統(tǒng)、庫表中進(jìn)行分析和定義，需要耗費(fèi)的成本巨大。同時(shí)，目前大數(shù)據(jù)

5、分析都提倡業(yè)務(wù)人員的自助化分析，沒有指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)，業(yè)務(wù)人員要從不同系統(tǒng)中拿到自己想要的數(shù)據(jù)進(jìn)行分析幾乎是不可能的。企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)的梳理企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)項(xiàng)目的實(shí)施，要根據(jù)業(yè)界經(jīng)驗(yàn)和企業(yè)實(shí)際情況確定實(shí)施范圍，并根據(jù)優(yōu)先級和難易度制定計(jì)劃。需要從企業(yè)業(yè)務(wù)域、業(yè)務(wù)活動、對象實(shí)體、實(shí)體關(guān)系等方面層層遞進(jìn)，逐步展開。對于數(shù)據(jù)梳理的方法主要用到IRP（企業(yè)信息資源規(guī)劃）和數(shù)據(jù)倉庫的數(shù)據(jù)梳理法。這兩種方式我在主數(shù)據(jù)管理實(shí)施四部曲概論的文章進(jìn)行過分享，有興趣可以關(guān)注。企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)梳理一般需要以下步驟：（B）對象（0,及其底生相互關(guān)系:、R）首先，對企業(yè)業(yè)務(wù)域進(jìn)行定義，并對每個業(yè)務(wù)域中的業(yè)務(wù)活動進(jìn)行梳理，同時(shí)需要收集各

6、類業(yè)務(wù)單據(jù)、用戶視圖，梳理每個單據(jù)和用戶視圖的數(shù)據(jù)對象。其次，針對數(shù)據(jù)對象的進(jìn)行分析，明確每個數(shù)據(jù)實(shí)體所包含的數(shù)據(jù)項(xiàng)，同時(shí)，梳理并確定出該業(yè)務(wù)域中所涉及的數(shù)據(jù)指標(biāo)和指標(biāo)項(xiàng)。分析并定義每個數(shù)據(jù)實(shí)體或指標(biāo)的數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)，包括：數(shù)據(jù)項(xiàng)的名稱、編碼、類型、長度、業(yè)務(wù)含義、數(shù)據(jù)來源、質(zhì)量規(guī)則、安全級別、域值范圍、管理部門等。第三，梳理和明確所有數(shù)據(jù)實(shí)體、數(shù)據(jù)指標(biāo)的關(guān)聯(lián)關(guān)系，并對數(shù)據(jù)之間的關(guān)系進(jìn)行標(biāo)準(zhǔn)化定義。數(shù)據(jù)關(guān)系也是數(shù)據(jù)標(biāo)準(zhǔn)管理的內(nèi)容。第四，通過以上梳理、分析和定義，確定出主數(shù)據(jù)標(biāo)準(zhǔn)管理的范圍。數(shù)據(jù)標(biāo)準(zhǔn)梳理和建設(shè)的方法并不難掌握，關(guān)鍵是建設(shè)過程中需要收集并整理大量的業(yè)務(wù)規(guī)范、制度章程、法律法規(guī)、監(jiān)管規(guī)定

7、、國家標(biāo)準(zhǔn)，并將這些規(guī)定具象到數(shù)據(jù)標(biāo)準(zhǔn)定義的信息項(xiàng)中。對于一個從未做過數(shù)據(jù)標(biāo)準(zhǔn)的實(shí)施團(tuán)隊(duì)而言，這將意味著巨大的工作量。數(shù)據(jù)標(biāo)準(zhǔn)管理組織數(shù)據(jù)標(biāo)準(zhǔn)管理是企業(yè)數(shù)據(jù)治理的一部分，數(shù)據(jù)標(biāo)準(zhǔn)管理是一個涉及范圍廣、業(yè)務(wù)復(fù)雜、數(shù)據(jù)繁雜的工程。數(shù)據(jù)標(biāo)準(zhǔn)管理的實(shí)施絕非是一個部門的事情，不能在企業(yè)的單一部門得到解決。需要從整個組織考慮，建立專業(yè)的數(shù)據(jù)治理組織體系，制定企業(yè)數(shù)據(jù)戰(zhàn)略和實(shí)施路線圖，明確各階段數(shù)據(jù)標(biāo)準(zhǔn)工作的目標(biāo)和內(nèi)容，并監(jiān)督及考核數(shù)據(jù)標(biāo)準(zhǔn)的貫徹與執(zhí)行。數(shù)據(jù)標(biāo)準(zhǔn)管理組織或數(shù)據(jù)治理組織從職能劃分上可以分為三層，如下圖所示：決策層數(shù)據(jù)標(biāo)準(zhǔn)管理委員會仃管理組業(yè)務(wù)管理組執(zhí)行層數(shù)據(jù)閱數(shù)推I蚊據(jù)安全|主數(shù)據(jù)|強(qiáng)務(wù)專宗淵

8、命富1、數(shù)據(jù)標(biāo)準(zhǔn)管理委員會，即數(shù)據(jù)治理的決策層，主要負(fù)責(zé)制定企業(yè)數(shù)據(jù)戰(zhàn)略、把控?cái)?shù)據(jù)治理的總體策略，審查數(shù)據(jù)標(biāo)準(zhǔn)的貫徹執(zhí)行情況。2、數(shù)據(jù)標(biāo)準(zhǔn)管理辦公室，是數(shù)據(jù)治理的經(jīng)營管理層，主要負(fù)責(zé)企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)的制定、審查數(shù)據(jù)質(zhì)量，貫徹?cái)?shù)據(jù)標(biāo)準(zhǔn)落地。3、數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行層或業(yè)務(wù)操作層，主要負(fù)責(zé)數(shù)據(jù)標(biāo)準(zhǔn)的貫徹執(zhí)行，并為數(shù)據(jù)標(biāo)準(zhǔn)的編制和優(yōu)化提供數(shù)據(jù)和意見。數(shù)據(jù)標(biāo)準(zhǔn)設(shè)計(jì)流程數(shù)據(jù)標(biāo)準(zhǔn)的設(shè)計(jì)從需求發(fā)起到落地執(zhí)行，一般需要經(jīng)過標(biāo)準(zhǔn)編制、標(biāo)準(zhǔn)審查、標(biāo)準(zhǔn)發(fā)布、標(biāo)準(zhǔn)貫徹四個階段：數(shù)據(jù)標(biāo)卷畝橫提I娥堀居性信息標(biāo)港執(zhí)行找果1 .數(shù)據(jù)標(biāo)準(zhǔn)編制：數(shù)據(jù)標(biāo)準(zhǔn)管理辦公室根據(jù)數(shù)據(jù)需求開展數(shù)據(jù)標(biāo)準(zhǔn)的編制工作，確定數(shù)據(jù)數(shù)據(jù)項(xiàng)，數(shù)據(jù)標(biāo)準(zhǔn)管理執(zhí)行組根據(jù)所

9、需數(shù)據(jù)項(xiàng)提供數(shù)據(jù)屬性信息，例如:數(shù)據(jù)項(xiàng)的名稱、編碼、類型、長度、業(yè)務(wù)含義、數(shù)據(jù)來源、質(zhì)量規(guī)則、安全級別、域值范圍等。數(shù)據(jù)標(biāo)準(zhǔn)管理辦公室參照國際、國家或行業(yè)標(biāo)準(zhǔn)對這些數(shù)據(jù)項(xiàng)進(jìn)行標(biāo)準(zhǔn)化定義并提交審核。注：如沒有參考標(biāo)準(zhǔn)，則數(shù)據(jù)標(biāo)準(zhǔn)管理辦公室可根據(jù)企業(yè)情況制定相應(yīng)的企業(yè)級數(shù)據(jù)標(biāo)準(zhǔn)。2 .數(shù)據(jù)標(biāo)準(zhǔn)審查：數(shù)據(jù)標(biāo)準(zhǔn)管理委員會對數(shù)據(jù)標(biāo)準(zhǔn)初稿進(jìn)行審查，判斷數(shù)據(jù)標(biāo)準(zhǔn)是否符合企業(yè)的應(yīng)用和管理需求，是否符合企業(yè)數(shù)據(jù)戰(zhàn)略要求。如數(shù)據(jù)標(biāo)準(zhǔn)審查不通過，則有數(shù)據(jù)標(biāo)準(zhǔn)管理辦公室進(jìn)行修訂，直到滿足企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)的發(fā)布要求。3 .數(shù)據(jù)標(biāo)準(zhǔn)發(fā)布：數(shù)據(jù)標(biāo)準(zhǔn)審查通過后，由數(shù)據(jù)標(biāo)準(zhǔn)管理辦公室面向全公司進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)的發(fā)布。該過程數(shù)據(jù)標(biāo)準(zhǔn)管理

10、執(zhí)行組需要配合進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)發(fā)布對現(xiàn)有應(yīng)用系統(tǒng)、數(shù)據(jù)模型的影響評估，并做好相應(yīng)的應(yīng)對策略。4 .數(shù)據(jù)標(biāo)準(zhǔn)貫徹：把已定義的數(shù)據(jù)標(biāo)準(zhǔn)與業(yè)務(wù)系統(tǒng)、應(yīng)用和服務(wù)進(jìn)行映射，標(biāo)明標(biāo)準(zhǔn)和現(xiàn)狀的關(guān)系以及可能影響到的應(yīng)用。該過程中，對于企業(yè)新建的系統(tǒng)應(yīng)當(dāng)直接應(yīng)用定義好的數(shù)據(jù)標(biāo)準(zhǔn)，對于舊系統(tǒng)應(yīng)對一般建議建了相應(yīng)的數(shù)據(jù)映射關(guān)系，進(jìn)行數(shù)據(jù)轉(zhuǎn)換，逐步進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)的落地。企業(yè)進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化時(shí)，除了對數(shù)據(jù)本身標(biāo)準(zhǔn)化規(guī)則構(gòu)建外，相當(dāng)大一部分需要考慮標(biāo)準(zhǔn)化流程的管理。而在管理過程中必然會涉及到新舊系統(tǒng)、不同部門、不同業(yè)務(wù)的沖突，這些沖突如果解決不好將會直接導(dǎo)致標(biāo)準(zhǔn)化的失敗。所以，數(shù)據(jù)標(biāo)準(zhǔn)落地過程要充分做好影響評估和各干系方的溝通。

11、數(shù)據(jù)標(biāo)準(zhǔn)管理價(jià)值總結(jié)：一個數(shù)據(jù)一般有業(yè)務(wù)屬性、技術(shù)屬性和管理屬性組成，例如：數(shù)據(jù)項(xiàng)的業(yè)務(wù)定義、業(yè)務(wù)規(guī)則、質(zhì)量規(guī)則為該數(shù)據(jù)的業(yè)務(wù)屬性；數(shù)據(jù)項(xiàng)的名稱、編碼、類型、長度等為該數(shù)據(jù)的技術(shù)屬性；數(shù)據(jù)的存儲位置、管理部門、管理人員為該數(shù)據(jù)的管理屬性。而數(shù)據(jù)標(biāo)準(zhǔn)管理的過程就是對數(shù)據(jù)以及數(shù)據(jù)的屬性信息的標(biāo)準(zhǔn)化定義和應(yīng)用的過程。數(shù)據(jù)標(biāo)準(zhǔn)目標(biāo)是為業(yè)務(wù)、技術(shù)和管理提供服務(wù)和支持。業(yè)務(wù)方面：通過對實(shí)體數(shù)據(jù)的標(biāo)準(zhǔn)化定義，解決數(shù)據(jù)不一致、不完整、不準(zhǔn)確等問題，消除數(shù)據(jù)的二義性，使得數(shù)據(jù)在企業(yè)有一個全局的定義，減少了各部門、各系統(tǒng)的溝通成本，提升企業(yè)業(yè)務(wù)處理的效率；標(biāo)準(zhǔn)統(tǒng)一的數(shù)據(jù)指標(biāo)體系，讓業(yè)務(wù)人員也能夠輕松獲取數(shù)據(jù)，并能

12、夠自助式的進(jìn)行數(shù)據(jù)分析，為基于數(shù)據(jù)的業(yè)務(wù)創(chuàng)新提供可能。技術(shù)方面：統(tǒng)一、標(biāo)準(zhǔn)的數(shù)據(jù)及數(shù)據(jù)結(jié)構(gòu)是企業(yè)信息共享的基礎(chǔ)；標(biāo)準(zhǔn)的數(shù)據(jù)模型和標(biāo)準(zhǔn)數(shù)據(jù)元為新建系統(tǒng)提供支撐，提升應(yīng)用系統(tǒng)的開發(fā)實(shí)施效率；數(shù)據(jù)標(biāo)準(zhǔn)化清晰定義數(shù)據(jù)質(zhì)量規(guī)則、數(shù)據(jù)的來源和去向、校驗(yàn)規(guī)則，提升數(shù)據(jù)質(zhì)量。管理方面：通過數(shù)據(jù)的標(biāo)準(zhǔn)化定義，明確數(shù)據(jù)的責(zé)任主體，為數(shù)據(jù)安全、數(shù)據(jù)質(zhì)量提供保障；統(tǒng)一、標(biāo)準(zhǔn)的數(shù)據(jù)指標(biāo)體系為各主題的數(shù)據(jù)分析提供支持，提升數(shù)據(jù)處理和分析效率，提供業(yè)務(wù)指標(biāo)的事前提示、事中預(yù)警、事后提醒，實(shí)現(xiàn)數(shù)據(jù)驅(qū)動管理，讓領(lǐng)導(dǎo)能夠第一時(shí)間獲取決策信息。數(shù)據(jù)標(biāo)準(zhǔn)與主數(shù)據(jù)、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量的關(guān)系數(shù)據(jù)治理項(xiàng)目的根本訴求在于提升數(shù)據(jù)質(zhì)量數(shù)據(jù)標(biāo)準(zhǔn)與

13、主數(shù)據(jù)的關(guān)系從范圍上看，數(shù)據(jù)標(biāo)準(zhǔn)包括數(shù)據(jù)模型標(biāo)準(zhǔn)、主數(shù)據(jù)標(biāo)準(zhǔn)、參照數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)指標(biāo)標(biāo)準(zhǔn)和其他數(shù)據(jù)元標(biāo)準(zhǔn)，主數(shù)據(jù)是數(shù)據(jù)標(biāo)準(zhǔn)的一個子集；從數(shù)據(jù)梳理和識別、能力成熟度評估、數(shù)據(jù)標(biāo)準(zhǔn)編制、數(shù)據(jù)管理和應(yīng)用、管理體系建設(shè)、實(shí)施涉及的業(yè)務(wù)面等方面，數(shù)據(jù)標(biāo)準(zhǔn)和主數(shù)據(jù)都是基本相同的。企業(yè)在數(shù)據(jù)治理項(xiàng)目中，有整體建設(shè)的，包含了：元數(shù)據(jù)、主數(shù)據(jù)、數(shù)據(jù)標(biāo)準(zhǔn)等領(lǐng)域；也有分開建設(shè)的，例如：主數(shù)據(jù)項(xiàng)目單獨(dú)立項(xiàng)，數(shù)據(jù)標(biāo)準(zhǔn)管理和數(shù)據(jù)倉庫放在一起實(shí)施；企業(yè)應(yīng)根據(jù)自身的實(shí)際情況和需求，明確實(shí)施范圍和內(nèi)容，制定適合企業(yè)發(fā)展需要的數(shù)據(jù)治理路線圖。數(shù)據(jù)標(biāo)準(zhǔn)與元數(shù)據(jù)的關(guān)系元數(shù)據(jù)是數(shù)據(jù)標(biāo)準(zhǔn)的基礎(chǔ)，企業(yè)在制定數(shù)據(jù)標(biāo)準(zhǔn)的時(shí)候最先需要明確的就是數(shù)據(jù)業(yè)務(wù)屬性、技術(shù)屬性和管理屬性，而這三類屬性就是我們所說的業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)和管理元數(shù)據(jù)。基于元數(shù)據(jù)的數(shù)據(jù)標(biāo)準(zhǔn)管理，為業(yè)務(wù)實(shí)體的定義、關(guān)系和業(yè)務(wù)規(guī)則到IT實(shí)現(xiàn)之間提供清晰、標(biāo)準(zhǔn)的語義轉(zhuǎn)換，提高業(yè)務(wù)和IT之間的一致性，保障IT系統(tǒng)能夠真實(shí)反映業(yè)務(wù)事實(shí)。并為數(shù)據(jù)標(biāo)準(zhǔn)系統(tǒng)與其他業(yè)