大數(shù)據(jù)時(shí)代的數(shù)據(jù)治理方案

1、大數(shù)據(jù)時(shí)代的數(shù)據(jù)治理方案技術(shù)創(chuàng)新 變革未來(lái)01大數(shù)據(jù)時(shí)代數(shù)據(jù)的特點(diǎn)02大數(shù)據(jù)時(shí)代的數(shù)據(jù)治理03典型案例目錄CO N T E N T S企業(yè)信息系統(tǒng)演進(jìn)的時(shí)代OLTP時(shí)代OLAP時(shí)代BigData時(shí)代企業(yè)主要的IT系統(tǒng)ERP進(jìn)銷存 MRPIISCMOA系統(tǒng)HR系統(tǒng).主要特點(diǎn)業(yè)務(wù)的電子化 數(shù)據(jù)的電子化企業(yè)主要的IT系統(tǒng)DW/BI系統(tǒng)統(tǒng)一客戶管理系統(tǒng) 報(bào)表系統(tǒng)CRM系統(tǒng)主要特點(diǎn)內(nèi)部數(shù)據(jù)統(tǒng)一 單向數(shù)據(jù)應(yīng)用 強(qiáng)調(diào)數(shù)據(jù)的技術(shù)企業(yè)主要的IT系統(tǒng)大數(shù)據(jù)平臺(tái) 數(shù)據(jù)湖數(shù)據(jù)中臺(tái).主要特點(diǎn)內(nèi)外部數(shù)據(jù)統(tǒng)一雙向數(shù)據(jù)應(yīng)用數(shù)據(jù)既是技術(shù)也是資源多源內(nèi)部系統(tǒng)、外部系統(tǒng)文件系統(tǒng)、RDBMS、Hadoop、實(shí)時(shí)流式異構(gòu)結(jié)構(gòu)化、半結(jié)構(gòu)

2、化、非結(jié)構(gòu)化數(shù)字、圖象、聲音、視頻海量TB、PB、ZB角色變換由附屬的信息變?yōu)橘Y源，本身可以盈利大數(shù)據(jù)時(shí)代的數(shù)據(jù)特點(diǎn)大數(shù)據(jù)時(shí)代企業(yè)面臨的數(shù)據(jù)困境技術(shù)人員的困境數(shù)據(jù)變化更難以跟蹤；上游系 統(tǒng)發(fā)生變更，下游系統(tǒng)不知道；多業(yè)務(wù)系統(tǒng)之間數(shù)據(jù)定義不統(tǒng) 一、格式不統(tǒng)一、統(tǒng)計(jì)口徑不 統(tǒng)一，形成多個(gè)信息孤島；數(shù)據(jù)質(zhì)量達(dá)不到要求，影響數(shù) 據(jù)集成和整合；數(shù)據(jù)來(lái)源混亂，版本流失，數(shù) 據(jù)權(quán)責(zé)不清。業(yè)務(wù)人員的困境理解困難：含義相同的數(shù) 值在不同的統(tǒng)計(jì)報(bào)表中， 差異巨大，而且由轉(zhuǎn)換軌 跡模糊，無(wú)法排查數(shù)值偏 離原因；數(shù)據(jù)使用效果有限：多個(gè) 來(lái)源數(shù)據(jù)的質(zhì)量不高，在低質(zhì)量數(shù)據(jù)基礎(chǔ)上進(jìn)行數(shù) 據(jù)挖掘不分析，結(jié)論的有 效性和可用性

3、打折扣。企業(yè)管理的困境很難摸清數(shù)據(jù)資產(chǎn)的家底：系 統(tǒng)過(guò)多、數(shù)據(jù)過(guò)雜、無(wú)法有效 的統(tǒng)計(jì)和獲知數(shù)據(jù)資產(chǎn)的真實(shí) 情況。知識(shí)傳承不業(yè)務(wù)銜接低效、開 發(fā)、運(yùn)維人員的流勱，造成系 統(tǒng)運(yùn)轉(zhuǎn)不暢、知識(shí)的丟失數(shù)據(jù)作為資產(chǎn)難以管控？數(shù)據(jù) 資產(chǎn)不能有效的保值增值大數(shù)據(jù)時(shí)代更需要數(shù)據(jù)治理數(shù)據(jù)治理1234形成跨系統(tǒng)的數(shù)據(jù)地圖高質(zhì)量的數(shù)據(jù)才能產(chǎn)生高質(zhì)量的結(jié)果升級(jí)數(shù)據(jù)安全、生命周期的管理將數(shù)據(jù)作為資產(chǎn)進(jìn)行管控企業(yè)為了更好管理自身多源異構(gòu)的龐大數(shù)據(jù)，需要通過(guò)元數(shù)據(jù) 建立大數(shù)據(jù)目錄，形成跨系統(tǒng)的全面數(shù)據(jù)地圖。企業(yè)通過(guò)對(duì)數(shù)據(jù)的分析挖掘發(fā) 現(xiàn)新的問(wèn)題和機(jī)遇，只有高質(zhì) 量的數(shù)據(jù)才能保證結(jié)果的正確 性。多源數(shù)據(jù)質(zhì)量駁雜，更需 要通過(guò)治

4、理提高數(shù)據(jù)質(zhì)量。大數(shù)據(jù)時(shí)代，數(shù)據(jù)的流勱性和時(shí)效性迚一步增強(qiáng)，由此對(duì) 數(shù)據(jù)安全、數(shù)據(jù)生命周期的管控要求也迚一步增強(qiáng)。越來(lái)越多的企業(yè)將數(shù)據(jù)視作 一種資產(chǎn)，對(duì)這類特殊的資 產(chǎn)如何進(jìn)行管理，如何進(jìn)行 價(jià)值評(píng)估也是數(shù)據(jù)治理重要 的組成部分。01大數(shù)據(jù)時(shí)代數(shù)據(jù)的特點(diǎn)02大數(shù)據(jù)時(shí)代的數(shù)據(jù)治理03典型案例目錄CO N T E N T S數(shù)據(jù)治理咨詢 數(shù)據(jù)治理產(chǎn)品 數(shù)據(jù)治理實(shí)施數(shù)據(jù)治理是自上而下的系統(tǒng)工程數(shù)據(jù)治理是全企業(yè)的、長(zhǎng)期的系統(tǒng)工程，企業(yè)需要將數(shù)據(jù)治理作為企業(yè)戰(zhàn)略的一部分，而不是某個(gè)部門某一時(shí)期的工作。數(shù)據(jù)治理之初，需要對(duì)企業(yè)內(nèi)外部進(jìn)行調(diào)研，制定相應(yīng)的目標(biāo)、組織和規(guī)范、要?jiǎng)澐蛛A段并明確各 階段重點(diǎn)工作。在

5、企業(yè)中建立專門的數(shù)據(jù)治理機(jī)構(gòu)數(shù)據(jù)治理機(jī)構(gòu)的建立是企業(yè)數(shù)據(jù)治理必不可少的一個(gè)環(huán)節(jié)，通過(guò)數(shù)據(jù)治理機(jī)構(gòu)保障數(shù)據(jù)治理工作落 實(shí)到各個(gè)部門和系統(tǒng)。數(shù)據(jù)治理機(jī)構(gòu)還肩負(fù)著制定數(shù)據(jù)治理相關(guān)規(guī)章制度、流程、考核方式等工作。分析明確企業(yè)數(shù)據(jù)治理實(shí)施專題數(shù)據(jù)治理包含多方面的工作，數(shù)據(jù)治理機(jī)構(gòu)需要根據(jù)整體目標(biāo)和實(shí)際情況，確定自身數(shù)據(jù)治理主要 進(jìn)行哪些方面的提升。01大數(shù)據(jù)時(shí)代數(shù)據(jù)的特點(diǎn)02大數(shù)據(jù)時(shí)代的數(shù)據(jù)治理03典型案例目錄CO N T E N T S數(shù)據(jù)治理咨詢 數(shù)據(jù)治理產(chǎn)品 數(shù)據(jù)治理實(shí)施數(shù)據(jù)治理的主要技術(shù)與產(chǎn)品元數(shù)據(jù)數(shù)據(jù)質(zhì)量數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)建模管理數(shù)據(jù)安全管理主數(shù)據(jù)管理數(shù)據(jù)生命周期管理.開發(fā)過(guò)程管理元數(shù)據(jù)：企業(yè)數(shù)據(jù)治

6、理的基礎(chǔ)建立企業(yè)全局性的數(shù)據(jù)字典 和數(shù)據(jù)地圖功能，對(duì)整個(gè)系 統(tǒng)數(shù)據(jù)定義和數(shù)據(jù)流向一目 了然元數(shù)據(jù)：形成全面的數(shù)據(jù)地圖Hadoop平臺(tái)數(shù)據(jù)鏈路關(guān)系型數(shù)據(jù)庫(kù)鏈路元數(shù)據(jù)系統(tǒng)可以支持關(guān)系型、MPP、分布式等多種類型數(shù)據(jù)庫(kù)和相關(guān)ETL作業(yè)、BI工具，形成跨 系統(tǒng)的完整地圖。元數(shù)據(jù)：對(duì)企業(yè)的數(shù)據(jù)資產(chǎn)情況一目了然數(shù)據(jù)質(zhì)量：對(duì)企業(yè)各環(huán)節(jié)數(shù)據(jù)進(jìn)行檢核企業(yè)數(shù)據(jù)產(chǎn)生加工分析的各個(gè)環(huán)節(jié)都可能產(chǎn)生數(shù)據(jù)質(zhì)量問(wèn)題，通過(guò)創(chuàng)建數(shù)據(jù)質(zhì)量檢核規(guī)則，對(duì) 企業(yè)數(shù)據(jù)的準(zhǔn)確性、一致性等進(jìn)行檢核。數(shù)據(jù)質(zhì)量：對(duì)檢核結(jié)果進(jìn)行匯總分析根據(jù)數(shù)據(jù)質(zhì)量檢核結(jié)果，從多個(gè)維度進(jìn)行統(tǒng)計(jì)分析，發(fā)現(xiàn)企業(yè)系統(tǒng)、部門、加工鏈路中的薄弱環(huán)節(jié)。數(shù)據(jù)標(biāo)準(zhǔn)：對(duì)企業(yè)各類標(biāo)準(zhǔn)進(jìn)

7、行統(tǒng)一展示和應(yīng)用企業(yè)基礎(chǔ)標(biāo)準(zhǔn)、指標(biāo)標(biāo)準(zhǔn)、公共代碼等各類標(biāo)準(zhǔn)，需要通過(guò)統(tǒng)一的平臺(tái)進(jìn)行發(fā)布，以保證全企業(yè)都可以查詢和使用。數(shù)據(jù)標(biāo)準(zhǔn)：實(shí)現(xiàn)對(duì)數(shù)據(jù)標(biāo)準(zhǔn)的規(guī)范管理企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)相關(guān)的管理規(guī)范，如標(biāo)準(zhǔn)變更的流程等，通過(guò)系統(tǒng)功能保障其實(shí)現(xiàn)。01大數(shù)據(jù)時(shí)代數(shù)據(jù)的特點(diǎn)02大數(shù)據(jù)時(shí)代的數(shù)據(jù)治理03典型案例目錄CO N T E N T S數(shù)據(jù)治理咨詢 數(shù)據(jù)治理產(chǎn)品 數(shù)據(jù)治理實(shí)施覆蓋全企業(yè)的數(shù)據(jù)治理實(shí)施工作數(shù)據(jù)治理是一項(xiàng)“規(guī)劃+產(chǎn)品功能+實(shí)施”缺一 不可長(zhǎng)期系統(tǒng)性工作，數(shù)據(jù)治理要取得成效，最 終還是要落地到實(shí)施層面。數(shù)據(jù)治理的落地實(shí)施往往不是一個(gè)系統(tǒng)、一個(gè)部門的事，需要企業(yè)多個(gè)或者全部部門共同參不。數(shù)據(jù)治理的實(shí)施不僅包

8、括功能層面的，還包括內(nèi) 容層面的，比如數(shù)據(jù)標(biāo)準(zhǔn)的持續(xù)更新，數(shù)據(jù)質(zhì)量 檢核規(guī)則的整理和實(shí)施等。數(shù)據(jù)治理實(shí)施數(shù)據(jù)標(biāo)準(zhǔn)梳理及落地?cái)?shù)據(jù)標(biāo)準(zhǔn)是全企業(yè)需要共同遵循的規(guī)范，其建立過(guò)程中需要相關(guān)部門共同進(jìn)行討論和審批；而標(biāo)準(zhǔn) 一旦發(fā)布，也需要相關(guān)部門嚴(yán)格遵守，以此規(guī)范新建系統(tǒng)以及有條件的改造舊系統(tǒng)。數(shù)據(jù)治理實(shí)施質(zhì)量問(wèn)題發(fā)現(xiàn)及解決數(shù)據(jù)質(zhì)量不企業(yè)眾多部門和系統(tǒng)密切相關(guān)，數(shù)據(jù)質(zhì)量的檢核規(guī)則也需要各部門/系統(tǒng)集思廣益，對(duì)經(jīng) 常出現(xiàn)問(wèn)題或者重要的環(huán)節(jié)進(jìn)行質(zhì)量監(jiān)控；對(duì)于發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問(wèn)題，各部門/系統(tǒng)需要積極進(jìn)行整 改，才能保證數(shù)據(jù)質(zhì)量不斷提升。01大數(shù)據(jù)時(shí)代數(shù)據(jù)的特點(diǎn)02大數(shù)據(jù)時(shí)代的數(shù)據(jù)治理03典型案例目錄CO N T

9、 E N T SXX行數(shù)據(jù)申請(qǐng)服務(wù)管理是將原來(lái)各分行通過(guò)郵件進(jìn)行數(shù)據(jù)申請(qǐng)的過(guò)程在數(shù)據(jù)標(biāo)準(zhǔn)平臺(tái)上規(guī)范化；數(shù)據(jù)標(biāo)準(zhǔn)平臺(tái)對(duì)全部系統(tǒng)數(shù)據(jù)字典進(jìn)行定期、及時(shí)的更新，保證其反映各系統(tǒng)現(xiàn)狀；分行和總行其 他部門用戶可以通過(guò)數(shù)據(jù)字典選擇需要的數(shù)據(jù)并提出數(shù)據(jù)申請(qǐng)。案例1：某大型國(guó)有銀行數(shù)據(jù)申請(qǐng)服務(wù)數(shù)據(jù)申請(qǐng)需要經(jīng)過(guò)分行技術(shù)/業(yè)務(wù)部門、分行數(shù)據(jù)主管部門、總行主管部門等多個(gè)層級(jí)的審批，規(guī)范了企業(yè)內(nèi)部數(shù)據(jù)分發(fā)的過(guò)程；定期對(duì)經(jīng)常被申請(qǐng)的數(shù)據(jù)、分行申請(qǐng)數(shù)據(jù)量、分行申請(qǐng)數(shù)據(jù)是否重復(fù)等進(jìn)行分析，以便更好的提供 相關(guān)服務(wù)。案例1：某大型國(guó)有銀行數(shù)據(jù)申請(qǐng)服務(wù)案例2：某電信運(yùn)營(yíng)商數(shù)據(jù)質(zhì)量?jī)杉?jí)聯(lián)動(dòng)某運(yùn)營(yíng)商集團(tuán)要求各省各公司定期上報(bào)關(guān)鍵KPI指標(biāo)數(shù)據(jù)并進(jìn)行檢核，發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問(wèn)題也會(huì)責(zé)成各省分析原因并進(jìn)行解決。在各省數(shù)據(jù)質(zhì)量系統(tǒng)上可以設(shè)置和查詢上報(bào)集團(tuán)的時(shí)間、上報(bào)內(nèi)容、是否成功上報(bào)等信息。案例2：某電信運(yùn)營(yíng)商數(shù)據(jù)質(zhì)量?jī)杉?jí)聯(lián)動(dòng)案例3：某保險(xiǎn)公司數(shù)據(jù)模型標(biāo)準(zhǔn)化將數(shù)據(jù)標(biāo)準(zhǔn)應(yīng)用于企業(yè)現(xiàn)有建模工具，要求新建模型時(shí)必須應(yīng)用已有數(shù)據(jù)標(biāo)準(zhǔn)，并對(duì)其進(jìn)行檢查， 檢查通過(guò)后，才在系統(tǒng)中創(chuàng)建相關(guān)表。XX保險(xiǎn)在系統(tǒng)中不僅對(duì)模型變更進(jìn)行審批，還可以查看所有已有模型以及變更記錄。XX保險(xiǎn)案例3：某保險(xiǎn)公司數(shù)據(jù)模型標(biāo)準(zhǔn)化石竹公司簡(jiǎn)介石竹軟件：數(shù)據(jù)治理領(lǐng)域的專業(yè)軟件開發(fā)商及服務(wù)提供商。