淺談數(shù)據(jù)治理

淺談數(shù)據(jù)治理大家好

，近年來，數(shù)據(jù)治理成為挖掘數(shù)據(jù)價(jià)值的重要手段和工具。隨著大數(shù)據(jù)平臺(tái)和工業(yè)互聯(lián)網(wǎng)興起，數(shù)據(jù)治理平臺(tái)主要采用數(shù)據(jù)中臺(tái)技術(shù)和微服務(wù)架構(gòu)初步替代傳統(tǒng)架構(gòu)，面向大數(shù)據(jù)架構(gòu)下，為數(shù)據(jù)資源中心與外部數(shù)據(jù)系統(tǒng)提供數(shù)據(jù)服務(wù)。那么，數(shù)據(jù)治理到底治什么？數(shù)據(jù)治理與數(shù)據(jù)管理 數(shù)據(jù)治理數(shù)據(jù)治理是對(duì)數(shù)據(jù)資產(chǎn)管理行使權(quán)力和控制的活動(dòng)集合（規(guī)劃、監(jiān)控和執(zhí)行）。 數(shù)據(jù)管理數(shù)據(jù)管理為實(shí)現(xiàn)數(shù)據(jù)和信息資產(chǎn)價(jià)值的獲取、控制、保護(hù)、交付以及提升，對(duì)政策、實(shí)踐和項(xiàng)目所做的計(jì)劃、執(zhí)行和監(jiān)督。數(shù)據(jù)治理是回答企業(yè)決策的相關(guān)問題并制定數(shù)據(jù)規(guī)范，數(shù)據(jù)管理是實(shí)現(xiàn)數(shù)據(jù)治理提出的決策并給予反饋，因此數(shù)據(jù)治理和數(shù)據(jù)管理的責(zé)任主體也是不同的，前者是董事會(huì)，后者是管理層。國(guó)際標(biāo)準(zhǔn)化組織ISO指出，數(shù)據(jù)治理履行數(shù)據(jù)管理的主要職能，即數(shù)據(jù)治理規(guī)定在管理的過程中哪些決策應(yīng)被制定，以及決策者為誰，而數(shù)據(jù)管理確保這些決策的制定與執(zhí)行。概念和定義數(shù)據(jù)治理的可以分為廣義數(shù)據(jù)治理和狹義數(shù)據(jù)治理 狹義數(shù)據(jù)治理狹義的數(shù)據(jù)治理指的是數(shù)據(jù)資源及其應(yīng)用過程中相關(guān)管控活動(dòng)、績(jī)效和風(fēng)險(xiǎn)管理的集合，保證數(shù)據(jù)資產(chǎn)的高質(zhì)量、安全及持續(xù)改進(jìn)。狹義的數(shù)據(jù)治理的驅(qū)動(dòng)力最早源自兩個(gè)方面：內(nèi)部風(fēng)險(xiǎn)管理的需要，風(fēng)險(xiǎn)包括數(shù)據(jù)質(zhì)量差影響關(guān)鍵決策等為了滿足外部監(jiān)管和合規(guī)的需要。但隨著全球越來越多的企業(yè)認(rèn)識(shí)到信息資產(chǎn)的重要性和價(jià)值，在過去幾年中，數(shù)據(jù)治理的目標(biāo)也在發(fā)生一些轉(zhuǎn)變。除滿足監(jiān)管和風(fēng)險(xiǎn)管理外，如何通過數(shù)據(jù)治理來創(chuàng)建業(yè)務(wù)價(jià)值備受關(guān)注。 廣義數(shù)據(jù)治理廣義的數(shù)據(jù)治理看的含義大一狹義數(shù)據(jù)治理，包括數(shù)據(jù)管理和數(shù)據(jù)價(jià)值“變現(xiàn)”，具體包括數(shù)據(jù)架構(gòu)、主數(shù)據(jù)、數(shù)據(jù)指標(biāo)、時(shí)序數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全等一系列數(shù)據(jù)管理活動(dòng)的集合。數(shù)據(jù)資產(chǎn) 數(shù)據(jù)資產(chǎn)定義數(shù)據(jù)資產(chǎn)是指由企業(yè)擁有或者控制的，能夠?yàn)槠髽I(yè)未來帶來經(jīng)濟(jì)利益的，以物理或電子的方式記錄的數(shù)據(jù)資源，如文件資料、電子數(shù)據(jù)等。在企業(yè)中，并非說有的數(shù)據(jù)都構(gòu)成數(shù)據(jù)資產(chǎn)，數(shù)據(jù)資產(chǎn)是能夠?yàn)槠髽I(yè)產(chǎn)生價(jià)值的數(shù)據(jù)資源。在這個(gè)定義中包含3個(gè)要素。擁有或者控制：除企業(yè)內(nèi)部的數(shù)據(jù)外，通過各種渠道合法獲取的外部數(shù)據(jù)也屬于企業(yè)數(shù)據(jù)資產(chǎn)。帶來經(jīng)濟(jì)價(jià)值：體現(xiàn)了資產(chǎn)的經(jīng)濟(jì)屬性，本來能給企業(yè)帶來的經(jīng)濟(jì)利益。數(shù)據(jù)資源：數(shù)據(jù)資產(chǎn)包括以物理或者電子方式記錄的數(shù)據(jù)、軟件、服務(wù)等。 數(shù)據(jù)資產(chǎn)的管理數(shù)據(jù)資產(chǎn)管理是指規(guī)劃、控制和提供數(shù)據(jù)及信息資產(chǎn)的一組業(yè)務(wù)職能，包括開發(fā)、執(zhí)行和監(jiān)督有關(guān)數(shù)據(jù)的計(jì)劃、政策、方案、項(xiàng)目、流程、方法和程序，從而控制、保護(hù)、交互和提高數(shù)據(jù)資產(chǎn)的價(jià)值。數(shù)據(jù)資產(chǎn)管理需要充分融合業(yè)務(wù)、技術(shù)和管理，以確保數(shù)據(jù)資產(chǎn)的保值、增值。核心內(nèi)容完整的數(shù)據(jù)治理包括戰(zhàn)略、組織、制度、流程、績(jī)效、標(biāo)準(zhǔn)、工具、數(shù)據(jù)價(jià)值、數(shù)據(jù)共享、數(shù)據(jù)變現(xiàn)。工業(yè)數(shù)據(jù)治理體系，包括數(shù)據(jù)戰(zhàn)略、數(shù)據(jù)治理管控體系（數(shù)據(jù)治理組織、制度、流程、管控機(jī)制、績(jī)效體系及標(biāo)準(zhǔn)體系）、數(shù)據(jù)架構(gòu)、主數(shù)據(jù)、元數(shù)據(jù)、指標(biāo)數(shù)據(jù)、時(shí)序數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)集成與交換、數(shù)據(jù)開放和共享、數(shù)據(jù)資產(chǎn)管理能力成熟度評(píng)估以及數(shù)據(jù)價(jià)值、數(shù)據(jù)共享、數(shù)據(jù)變現(xiàn)等許多方面。 數(shù)據(jù)戰(zhàn)略數(shù)據(jù)戰(zhàn)略是整個(gè)數(shù)據(jù)治理體系的首要任務(wù)，是企業(yè)開展數(shù)據(jù)治理工作首先應(yīng)該考慮的事。數(shù)據(jù)戰(zhàn)略應(yīng)由數(shù)據(jù)治理組織中的決策層制定，需要指明數(shù)據(jù)治理的方向，包括數(shù)據(jù)治理的方針、政策等。數(shù)據(jù)戰(zhàn)略能力域關(guān)注整個(gè)組織數(shù)據(jù)戰(zhàn)略的規(guī)劃，愿景和落地實(shí)施，為組織數(shù)據(jù)管理、應(yīng)用工作的開展提供戰(zhàn)略保障，組織的數(shù)據(jù)戰(zhàn)略需要和業(yè)務(wù)戰(zhàn)略保持一致，并且要在利益相關(guān)者之間達(dá)成一致。數(shù)據(jù)戰(zhàn)略已成為企業(yè)精細(xì)化數(shù)據(jù)管理不可或缺的基礎(chǔ)，只有切實(shí)落實(shí)好數(shù)據(jù)戰(zhàn)略工作，才能提升企業(yè)數(shù)據(jù)質(zhì)量、實(shí)現(xiàn)企業(yè)數(shù)據(jù)價(jià)值升華，為企業(yè)數(shù)字化轉(zhuǎn)型奠定基礎(chǔ)。數(shù)據(jù)資產(chǎn)頂層設(shè)計(jì)不僅僅是一個(gè)報(bào)告、一份文件，更是企業(yè)系統(tǒng)性設(shè)計(jì)未來的大膽假設(shè)、小心求證、集體溝通、達(dá)成共識(shí)、形成機(jī)制、頒發(fā)軍令狀的過程。數(shù)據(jù)資產(chǎn)頂層規(guī)劃設(shè)計(jì)方法論正確的頂層設(shè)計(jì)是企業(yè)家對(duì)未來形勢(shì)的正確判斷，對(duì)機(jī)會(huì)和戰(zhàn)略，治理與架構(gòu)，資本和模式，供應(yīng)鏈和數(shù)字化，品牌和營(yíng)銷，產(chǎn)品和客戶等整體一盤棋的布局。如果說商戰(zhàn)就是沒有硝煙的戰(zhàn)爭(zhēng)，那么頂層設(shè)計(jì)則是整體戰(zhàn)的部署 組織管理建立合適的數(shù)據(jù)治理組織是企業(yè)數(shù)據(jù)治理的關(guān)鍵。數(shù)據(jù)治理的組織建設(shè)一般包括組織架構(gòu)設(shè)計(jì)、部門職責(zé)、人員編制、崗位職責(zé)及能力要求、績(jī)效管理等內(nèi)容。數(shù)據(jù)治理是一項(xiàng)需要企業(yè)通力協(xié)作的工作，而有效的組織架構(gòu)是企業(yè)數(shù)據(jù)治理能夠成功的有力保障。為達(dá)到數(shù)據(jù)戰(zhàn)略目標(biāo)，非常有必要建立體系化的組織架構(gòu)，明確職責(zé)分工。 制度體系企業(yè)的數(shù)據(jù)治理必須要有相關(guān)制度，否則無法可依，再好的技術(shù)工具也沒有用。因此，建立完善的數(shù)據(jù)治理制度很重要。保障組織架構(gòu)正常運(yùn)轉(zhuǎn)和數(shù)據(jù)治理各項(xiàng)工作的有序?qū)嵤枰⒁惶缀w不同管理粒度、不同適用對(duì)象，異覆蓋數(shù)據(jù)治理過程的管理制度體系，從“法理”層面保障數(shù)據(jù)治理工作有據(jù)、可行、可控。數(shù)據(jù)治理制度框架分為政策、制度、細(xì)則、手冊(cè)4個(gè)梯次。數(shù)據(jù)治理制度框架企業(yè)的數(shù)據(jù)治理制度通常根據(jù)企業(yè)的IT制度的總體框架和指導(dǎo)原則制定，往往包含數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)安全管理、數(shù)據(jù)績(jī)效管理等制度，以及元數(shù)據(jù)管理、主數(shù)據(jù)管理、交易數(shù)據(jù)管理、數(shù)據(jù)指標(biāo)管理等辦法及若干指導(dǎo)手冊(cè)。數(shù)據(jù)治理制度框架體系數(shù)據(jù)資產(chǎn)管理規(guī)定目錄 流程管理制定數(shù)據(jù)治理的流程框架也是數(shù)據(jù)治理的重要工作。數(shù)據(jù)治理流程主要包括從數(shù)據(jù)的生產(chǎn)、存儲(chǔ)、處理、使用、共享、銷毀全生命周期過程中所遵循的活動(dòng)步驟，以及元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)指標(biāo)管理等流程。數(shù)據(jù)治理流程框架體系 績(jī)效管理數(shù)據(jù)治理考核是保障數(shù)據(jù)治理制度落實(shí)的根本，是一種正式的員工評(píng)估制度，通過系統(tǒng)的方法、原理來評(píng)定和測(cè)量企業(yè)員工在一段時(shí)間內(nèi)數(shù)據(jù)治理相關(guān)的工作行為和工作效果，進(jìn)一步激發(fā)員工的積極性和創(chuàng)造性，提供員工的數(shù)據(jù)治理責(zé)任心和基本素質(zhì)。數(shù)據(jù)治理績(jī)效體系要使數(shù)據(jù)治理的體系運(yùn)轉(zhuǎn)好，必須要有好的激勵(lì)體系。數(shù)據(jù)績(jī)效管理包括數(shù)據(jù)管理指標(biāo)、數(shù)據(jù)認(rèn)責(zé)機(jī)制、數(shù)據(jù)考核標(biāo)準(zhǔn)、數(shù)據(jù)管理的獎(jiǎng)懲機(jī)制，以及績(jī)效管理過程的一系列活動(dòng)集合。 標(biāo)準(zhǔn)體系數(shù)據(jù)標(biāo)準(zhǔn)是實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化、規(guī)范化的前提，是保證數(shù)據(jù)質(zhì)量的必要條件。數(shù)據(jù)標(biāo)準(zhǔn)一般分為元數(shù)據(jù)標(biāo)準(zhǔn)、主數(shù)據(jù)標(biāo)準(zhǔn)、交易數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)指標(biāo)標(biāo)準(zhǔn)、數(shù)據(jù)分類標(biāo)準(zhǔn)、數(shù)據(jù)編碼標(biāo)準(zhǔn)、數(shù)據(jù)集成標(biāo)準(zhǔn)等內(nèi)容。數(shù)據(jù)標(biāo)準(zhǔn)管理是規(guī)范數(shù)據(jù)標(biāo)準(zhǔn)的內(nèi)容、程序和方法的活動(dòng)，分為標(biāo)準(zhǔn)制定、標(biāo)準(zhǔn)實(shí)施和控制、標(biāo)準(zhǔn)修訂等。數(shù)據(jù)標(biāo)準(zhǔn)化體系 質(zhì)量體系數(shù)據(jù)質(zhì)量是指數(shù)據(jù)的適用性，描述數(shù)據(jù)對(duì)業(yè)務(wù)和管理的滿意度。數(shù)據(jù)質(zhì)量主要指數(shù)據(jù)的準(zhǔn)確性、及時(shí)性、完整性、唯一性、一致性，有效性六個(gè)方面。數(shù)據(jù)質(zhì)量管理是對(duì)數(shù)據(jù)的分析、監(jiān)控、評(píng)估和改進(jìn)的過程。包括規(guī)劃和實(shí)施質(zhì)量管理技術(shù)，以測(cè)量、評(píng)估和提高數(shù)據(jù)在組織內(nèi)的適用性，提高數(shù)據(jù)對(duì)業(yè)務(wù)和管理的滿足度。重點(diǎn)關(guān)注數(shù)據(jù)質(zhì)量需求、數(shù)據(jù)質(zhì)量檢查、數(shù)據(jù)質(zhì)量分析和數(shù)據(jù)質(zhì)量提升的實(shí)現(xiàn)能力。數(shù)據(jù)質(zhì)量框架體系數(shù)據(jù)質(zhì)量管理貫穿數(shù)據(jù)生命周期的全過程，除了明確數(shù)據(jù)質(zhì)量管理的策略，還要善于使用數(shù)據(jù)質(zhì)量管理的手段及工具，覆蓋數(shù)據(jù)質(zhì)量需求、數(shù)據(jù)探查、數(shù)據(jù)診斷、質(zhì)量評(píng)估、數(shù)據(jù)監(jiān)控、數(shù)據(jù)清洗、質(zhì)量提升等方面。 安全體系數(shù)據(jù)安全管理是為了確保數(shù)據(jù)隱私和機(jī)密性得到維護(hù)，數(shù)據(jù)不被破壞，數(shù)據(jù)被適當(dāng)訪問。通過采用各種技術(shù)和管理措施，保證數(shù)據(jù)的機(jī)密性、完整性和可用性。數(shù)據(jù)安全體系框架通過3個(gè)維度構(gòu)建而成，包括政策法規(guī)、技術(shù)層面和安全組織人員。數(shù)據(jù)安全治理體系框架在符合政策法規(guī)及標(biāo)準(zhǔn)規(guī)范的同時(shí)，需要在技術(shù)上實(shí)現(xiàn)對(duì)數(shù)據(jù)的實(shí)時(shí)監(jiān)管，并配合經(jīng)過規(guī)范培訓(xùn)的安全組織人員，構(gòu)成了數(shù)據(jù)安全治理整體架構(gòu)的建設(shè)。數(shù)據(jù)安全治理體系數(shù)據(jù)安全治理能力建設(shè)并非單一產(chǎn)品或平臺(tái)的構(gòu)建，而是建設(shè)一個(gè)覆蓋數(shù)據(jù)全部生命周期和使用場(chǎng)景的數(shù)據(jù)安全體系，需要從決策到技術(shù)，從制度到工具，從組織架構(gòu)到安全技術(shù)通盤考慮。數(shù)據(jù)數(shù)據(jù)全部生命周期 平臺(tái)工具搭建云數(shù)智一體化數(shù)據(jù)平臺(tái)，滿足前臺(tái)應(yīng)用準(zhǔn)確性、快速性和多樣性的數(shù)據(jù)需求，縮短研發(fā)周期、降低技術(shù)成本，將數(shù)據(jù)中心逐步由成本中心向資產(chǎn)中心轉(zhuǎn)變，提升數(shù)據(jù)價(jià)值，實(shí)現(xiàn)五個(gè)打通：（1）橫向打通：破除部門壁壘，打通專業(yè)。橫向跨專業(yè)間的分析挖掘融通；（2）縱向打通：內(nèi)部多層級(jí)數(shù)據(jù)打通，形成統(tǒng)一資源目錄。上下級(jí)數(shù)據(jù)共享交換；（3）內(nèi)外打通：消除內(nèi)外數(shù)據(jù)的鴻溝，實(shí)現(xiàn)內(nèi)外部數(shù)據(jù)的關(guān)聯(lián)分析；（4）管理打通：建立企業(yè)標(biāo)準(zhǔn)，實(shí)現(xiàn)統(tǒng)一管理統(tǒng)計(jì)口徑；（5）服務(wù)打通：數(shù)據(jù)中臺(tái)統(tǒng)一對(duì)外提供數(shù)據(jù)服務(wù)和應(yīng)用構(gòu)建，與業(yè)務(wù)系統(tǒng)和數(shù)據(jù)應(yīng)用充分協(xié)同。頂層架構(gòu)五域管理視圖：管控域在數(shù)據(jù)治理戰(zhàn)略指導(dǎo)下制訂企業(yè)數(shù)據(jù)治理組織，明確組織的責(zé)、權(quán)、利，崗位編制及技能要求。治理域：是數(shù)據(jù)治理的主體，明確數(shù)據(jù)治理的對(duì)象和目標(biāo)。技術(shù)域