大數(shù)據(jù)治理平臺(tái)建設(shè)與應(yīng)用解決方案

大數(shù)據(jù)時(shí)代到來(lái)，我們已被海量數(shù)據(jù)信息包圍大數(shù)據(jù)時(shí)代到來(lái)，我們已被海量數(shù)據(jù)信息包圍研發(fā)數(shù)據(jù)輿情數(shù)據(jù)研發(fā)數(shù)據(jù)輿情數(shù)據(jù)管理數(shù)據(jù)刑偵信息風(fēng)險(xiǎn)信息數(shù)據(jù)第三方行業(yè)的新增長(zhǎng)點(diǎn)。廣告數(shù)據(jù)廣告數(shù)據(jù)監(jiān)測(cè)數(shù)據(jù)用戶信息監(jiān)測(cè)數(shù)據(jù)用戶信息制造政府搜索數(shù)據(jù)搜索數(shù)據(jù)社交數(shù)據(jù)社交數(shù)據(jù)模型算法SparkHBase列存儲(chǔ)Storm流處理BI分析數(shù)據(jù)挖掘大數(shù)據(jù)存儲(chǔ)應(yīng)用廣泛，具備大數(shù)據(jù)必備因素大數(shù)據(jù)存儲(chǔ)數(shù)據(jù)的傳輸問(wèn)題也有大數(shù)據(jù)組件解決，如通過(guò)數(shù)據(jù)BI軟件、數(shù)據(jù)分析挖掘通過(guò)大數(shù)據(jù)平臺(tái)的相供商產(chǎn)品提供商商供商數(shù)據(jù)分法提供商設(shè)廠商?■數(shù)據(jù)產(chǎn)品廠商，缺乏場(chǎng)景使用經(jīng)驗(yàn)數(shù)據(jù)平臺(tái)廠商與數(shù)據(jù)應(yīng)用廠商往往不是一家，平臺(tái)廠商缺乏數(shù)據(jù)應(yīng)用建設(shè)經(jīng)驗(yàn)。數(shù)據(jù)應(yīng)用廠商不能理解平臺(tái)內(nèi)數(shù)據(jù)業(yè)務(wù)含義具有涉密數(shù)據(jù)開(kāi)發(fā)資質(zhì)的廠商有限，但并不了解大數(shù)據(jù)平臺(tái)內(nèi)部數(shù)據(jù)的含義。各廠商之間交換的數(shù)據(jù)質(zhì)量得不到保證大數(shù)據(jù)建設(shè)項(xiàng)目被分為數(shù)據(jù)平臺(tái)、應(yīng)用、業(yè)務(wù)等多個(gè)獨(dú)立項(xiàng)目和廠商，之間的銜接部分沒(méi)有人管理，造成數(shù)據(jù)質(zhì)量差。業(yè)務(wù)需求·拿到的使用數(shù)據(jù)根本沒(méi)法用業(yè)務(wù)需求集中響應(yīng)技術(shù)需求技術(shù)需求·大文件數(shù)據(jù)傳輸慢·大數(shù)據(jù)量實(shí)時(shí)傳輸沒(méi)有解決方案·沒(méi)有統(tǒng)一的技術(shù)管理平臺(tái)·跨平臺(tái)數(shù)據(jù)問(wèn)題無(wú)法追述管理需求管理需求·眾多大數(shù)據(jù)廠商難以協(xié)調(diào)·廠商管理之間的空隙沒(méi)填補(bǔ)·數(shù)據(jù)質(zhì)量問(wèn)題來(lái)回推諉0大數(shù)據(jù)治理平臺(tái)背景大數(shù)據(jù)平臺(tái)化的發(fā)展趨勢(shì)與現(xiàn)狀大數(shù)據(jù)平臺(tái)化的發(fā)展趨勢(shì)與現(xiàn)狀應(yīng)用百花齊放應(yīng)用：我有數(shù)據(jù)分析經(jīng)驗(yàn)，但是我拿不到百花齊放訪問(wèn)層存儲(chǔ)層數(shù)據(jù)源廠商Z廠商Z:我只是提供數(shù)據(jù)共享平臺(tái)，廠商訪問(wèn)層存儲(chǔ)層數(shù)據(jù)源廠商Z廠商Y:廠商X:大數(shù)據(jù)項(xiàng)目實(shí)施中遇到的哪些問(wèn)題?大數(shù)據(jù)項(xiàng)目實(shí)施中遇到的哪些問(wèn)題?數(shù)據(jù)應(yīng)用廠商意理大數(shù)據(jù)平臺(tái)內(nèi)數(shù)據(jù)的技術(shù)、業(yè)務(wù)屬性不清晰，意理批量導(dǎo)入實(shí)時(shí)同步使用3使用不明確：由于數(shù)據(jù)業(yè)務(wù)特性與使用方法不統(tǒng)一，難以對(duì)結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的快速集成和共使用3質(zhì)量監(jiān)控大數(shù)據(jù)平臺(tái)大數(shù)據(jù)平臺(tái)建設(shè)廠商監(jiān)控不到位：在實(shí)際數(shù)據(jù)運(yùn)行中，會(huì)出現(xiàn)數(shù)據(jù)信息發(fā)生中斷異常或數(shù)據(jù)量發(fā)生突然變化等數(shù)據(jù)大數(shù)據(jù)平臺(tái)建設(shè)廠商數(shù)據(jù)源場(chǎng)景一：建好數(shù)據(jù)管理體系，快速識(shí)別數(shù)據(jù)場(chǎng)景一：建好數(shù)據(jù)管理體系，快速識(shí)別數(shù)據(jù)元數(shù)據(jù)建議元數(shù)據(jù)建議：?1.自動(dòng)化獲取元數(shù)據(jù)信息通過(guò)自動(dòng)化采集與解析手段，建立技術(shù)、業(yè)務(wù)、過(guò)程元數(shù)據(jù)的注冊(cè)輸入，數(shù)據(jù)的業(yè)務(wù)特點(diǎn)是?通過(guò)自動(dòng)化采集與解析手段，建立技術(shù)、業(yè)務(wù)、過(guò)程元數(shù)據(jù)的注冊(cè)輸入，標(biāo)明數(shù)據(jù)方位。2.標(biāo)明數(shù)據(jù)方位，整理業(yè)務(wù)屬性2.標(biāo)明數(shù)據(jù)方位，整理業(yè)務(wù)屬性將數(shù)據(jù)資產(chǎn)按業(yè)務(wù)屬性編目，梳理數(shù)如何快速識(shí)別數(shù)據(jù)?據(jù)的屬性、共享方式、特性、映射。3:建立業(yè)務(wù)數(shù)據(jù)服務(wù)目錄數(shù)據(jù)資產(chǎn)模型以數(shù)據(jù)資產(chǎn)為驅(qū)動(dòng)方式，實(shí)現(xiàn)數(shù)據(jù)集數(shù)據(jù)資產(chǎn)模型成和共享。建立數(shù)據(jù)服務(wù)目錄。如何自動(dòng)化管理?如何快速找到樣例數(shù)據(jù)?批量數(shù)據(jù)交換?我需要秒級(jí)更新數(shù)據(jù)?數(shù)據(jù)太大無(wú)法傳建議：梳理數(shù)據(jù)集成、交換需求。按技術(shù)特征劃分為基于數(shù)據(jù)資產(chǎn)的數(shù)據(jù)開(kāi)發(fā)，實(shí)現(xiàn)資產(chǎn)與數(shù)據(jù)服務(wù)的對(duì)接。通過(guò)服務(wù)目數(shù)據(jù)庫(kù)服務(wù)元數(shù)據(jù)庫(kù)資源實(shí)例資源服務(wù)數(shù)據(jù)資產(chǎn)服務(wù)內(nèi)存數(shù)據(jù)服務(wù)數(shù)據(jù)資產(chǎn)服務(wù)內(nèi)存數(shù)據(jù)服務(wù)實(shí)時(shí)資源同步內(nèi)存數(shù)據(jù)模型批量資源獲取數(shù)據(jù)模型數(shù)據(jù)資源模型數(shù)據(jù)模型場(chǎng)景三：提供專(zhuān)業(yè)的數(shù)據(jù)監(jiān)控體系，快速發(fā)現(xiàn)問(wèn)題。場(chǎng)景三：提供專(zhuān)業(yè)的數(shù)據(jù)監(jiān)控體系，快速發(fā)現(xiàn)問(wèn)題。數(shù)據(jù)不一致怎么辦?針對(duì)調(diào)度監(jiān)控和數(shù)據(jù)源相關(guān)監(jiān)控過(guò)程中的數(shù)據(jù)進(jìn)行整合形成數(shù)據(jù)源頭調(diào)度監(jiān)控的分析報(bào)表。數(shù)據(jù)抖動(dòng)監(jiān)控是指通過(guò)對(duì)數(shù)據(jù)記錄數(shù)的監(jiān)控，在一段時(shí)間周期內(nèi)，通過(guò)折線圖的方式可以查詢(xún)一段時(shí)間內(nèi)數(shù)據(jù)的峰值和低谷。數(shù)據(jù)一致性監(jiān)控是數(shù)據(jù)抖動(dòng)監(jiān)控是指通過(guò)對(duì)數(shù)據(jù)記錄數(shù)的監(jiān)控，在一段時(shí)間周期內(nèi)，通過(guò)折線圖的方式可以查詢(xún)一段時(shí)間內(nèi)數(shù)據(jù)的峰值和低谷。數(shù)據(jù)一致性監(jiān)控是對(duì)采集時(shí)的數(shù)據(jù)記錄條數(shù)和入庫(kù)的數(shù)據(jù)條數(shù)進(jìn)行一致性比對(duì)，對(duì)不一致的數(shù)據(jù)采集作業(yè)進(jìn)行標(biāo)記的一種監(jiān)控。數(shù)據(jù)量異常波動(dòng)?數(shù)據(jù)源變更怎么辦?建議：日使用流量50日使用流量50梳理數(shù)據(jù)平臺(tái)、MPP、Hadoop平臺(tái)的重要數(shù)據(jù)監(jiān)控指標(biāo)與監(jiān)控需求。6月6月7月對(duì)接數(shù)據(jù)監(jiān)控平臺(tái)，以以郵件、短信等通知方式告上基于模型的數(shù)據(jù)獲取數(shù)據(jù)，基于數(shù)據(jù)模型管理，可以讓技術(shù)與業(yè)務(wù)人員支持現(xiàn)有主流的大數(shù)據(jù)技術(shù)平臺(tái)的對(duì)接可對(duì)接現(xiàn)有的大數(shù)據(jù)Hive,Spark,Strom流數(shù)據(jù)等主流的數(shù)據(jù)結(jié)構(gòu)，分?jǐn)?shù)據(jù)獲取方式靈活多樣，可支持配置化數(shù)據(jù)訂閱管理支持靈活的數(shù)據(jù)訂閱方式，以支推，拉的數(shù)據(jù)訂閱數(shù)據(jù)與服務(wù)接口對(duì)接。可支持多種數(shù)據(jù)預(yù)警機(jī)制，隨時(shí)發(fā)現(xiàn)數(shù)據(jù)任務(wù)執(zhí)行過(guò)程中所遇到的問(wèn)題支持執(zhí)行任務(wù)的全過(guò)程監(jiān)控，執(zhí)行數(shù)量監(jiān)控，數(shù)據(jù)波動(dòng)、數(shù)據(jù)到達(dá)預(yù)警監(jiān)控等，并支持多種信息通知方式，如短信、郵件0大數(shù)據(jù)治理平臺(tái)背景通過(guò)大數(shù)據(jù)治理，提供數(shù)據(jù)服務(wù)，從管理中心轉(zhuǎn)變?yōu)榉?wù)通過(guò)大數(shù)據(jù)治理，變現(xiàn)數(shù)據(jù)價(jià)值，從成本中心轉(zhuǎn)變?yōu)槔麧?rùn)中心管理職責(zé)管理思路管理組織數(shù)據(jù)管理數(shù)據(jù)開(kāi)發(fā)數(shù)據(jù)應(yīng)用數(shù)據(jù)管理數(shù)據(jù)開(kāi)發(fā)數(shù)據(jù)應(yīng)用自己應(yīng)用自己應(yīng)用提供數(shù)據(jù)服務(wù)提供數(shù)據(jù)服務(wù)方便別人方便別人用大數(shù)據(jù)治理連接大數(shù)據(jù)與業(yè)務(wù)創(chuàng)新三方數(shù)據(jù)交易交易交易交易數(shù)據(jù)數(shù)據(jù)理平臺(tái)理平臺(tái)運(yùn)營(yíng)數(shù)據(jù)實(shí)時(shí)流數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)開(kāi)發(fā)數(shù)據(jù)發(fā)布治理生產(chǎn)數(shù)據(jù)開(kāi)發(fā)數(shù)據(jù)發(fā)布治理生產(chǎn)頜人力非結(jié)構(gòu)化數(shù)據(jù)頜人力非結(jié)構(gòu)化數(shù)據(jù)大數(shù)據(jù)治理平臺(tái)的架構(gòu)特征大數(shù)據(jù)治理平臺(tái)的架構(gòu)特征以數(shù)據(jù)存儲(chǔ)、處理為核心的傳統(tǒng)數(shù)據(jù)管理平臺(tái)過(guò)度到大數(shù)據(jù)治理平臺(tái)大數(shù)據(jù)平臺(tái)大數(shù)據(jù)治理平臺(tái)1平臺(tái)大數(shù)據(jù)治理平臺(tái)傳統(tǒng)大數(shù)據(jù)平臺(tái)規(guī)范企業(yè)中哪些角色會(huì)直接使用到大數(shù)據(jù)治理平臺(tái)企業(yè)中哪些角色會(huì)直接使用到大數(shù)據(jù)治理平臺(tái)業(yè)務(wù)運(yùn)營(yíng)人員據(jù)情況。業(yè)務(wù)系統(tǒng)開(kāi)發(fā)人員務(wù)創(chuàng)新的IT實(shí)現(xiàn)。據(jù)中心數(shù)據(jù)的特性。中心實(shí)現(xiàn)。大數(shù)據(jù)中心管理者中心的運(yùn)營(yíng)與管理。的數(shù)據(jù)業(yè)務(wù)需求。據(jù)支撐。大數(shù)據(jù)中心開(kāi)發(fā)者特點(diǎn)。大數(shù)據(jù)中心大數(shù)據(jù)中心2.查找數(shù)據(jù)2.查找數(shù)據(jù)大數(shù)據(jù)治理平臺(tái)5.5.確認(rèn)數(shù)據(jù)需求3.返回?cái)?shù)據(jù)3.返回?cái)?shù)據(jù)運(yùn)營(yíng)交易6.返回?cái)?shù)據(jù)數(shù)據(jù)消費(fèi)方數(shù)據(jù)消費(fèi)方→80%數(shù)據(jù)使用需求------20%需開(kāi)發(fā)數(shù)據(jù)需求接口應(yīng)用分析應(yīng)用數(shù)據(jù)使用接口應(yīng)用分析應(yīng)用數(shù)據(jù)使用程應(yīng)用治理規(guī)范資產(chǎn)采集應(yīng)用治理規(guī)范資產(chǎn)采集數(shù)據(jù)地圖數(shù)據(jù)服務(wù)總線數(shù)據(jù)管理流程數(shù)據(jù)監(jiān)控?cái)?shù)據(jù)監(jiān)控服務(wù)共享規(guī)范管理服務(wù)共享規(guī)范數(shù)據(jù)資產(chǎn)數(shù)據(jù)資產(chǎn)數(shù)據(jù)開(kāi)發(fā)平臺(tái)數(shù)據(jù)申服務(wù)數(shù)據(jù)申流程數(shù)據(jù)數(shù)據(jù)加應(yīng)用數(shù)據(jù)數(shù)據(jù)加應(yīng)用斯夢(mèng)服勞轄斯夢(mèng)服發(fā)監(jiān)數(shù)據(jù)共享/服發(fā)監(jiān)數(shù)據(jù)共享/氧度監(jiān)學(xué)氧度監(jiān)學(xué)B用)B用)數(shù)據(jù)開(kāi)發(fā)資源層業(yè)務(wù)數(shù)據(jù)大數(shù)據(jù)治理平臺(tái)架構(gòu)-數(shù)據(jù)資產(chǎn)平臺(tái)功能架構(gòu)圖大數(shù)據(jù)治理平臺(tái)架構(gòu)-數(shù)據(jù)資產(chǎn)平臺(tái)功能架構(gòu)圖數(shù)據(jù)資產(chǎn)使用數(shù)據(jù)資產(chǎn)分析數(shù)據(jù)資產(chǎn)管理/編目數(shù)據(jù)資產(chǎn)管理/編目數(shù)據(jù)資產(chǎn)采集采集適配器管理集采集適配器管理集Hive采集DB采集大數(shù)據(jù)治理平臺(tái)架構(gòu)-數(shù)據(jù)資產(chǎn)平臺(tái)邏輯架構(gòu)圖大數(shù)據(jù)治理平臺(tái)架構(gòu)-數(shù)據(jù)資產(chǎn)平臺(tái)邏輯架構(gòu)圖數(shù)據(jù)開(kāi)發(fā)數(shù)據(jù)應(yīng)用7接口文件DB數(shù)據(jù)監(jiān)控…大數(shù)據(jù)治理平臺(tái)架構(gòu)-數(shù)據(jù)資產(chǎn)平臺(tái)關(guān)鍵技術(shù)與特性大數(shù)據(jù)治理平臺(tái)架構(gòu)-數(shù)據(jù)資產(chǎn)平臺(tái)關(guān)鍵技術(shù)與特性1、解析、組裝、入庫(kù)過(guò)程分離，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)采集和存儲(chǔ)解耦資產(chǎn)元模儲(chǔ)采集解析采集解析模型組裝多類(lèi)業(yè)數(shù)多類(lèi)業(yè)數(shù)據(jù)源數(shù)據(jù)入庫(kù)3、采用MOF模型規(guī)范實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)擴(kuò)展存儲(chǔ)權(quán)威建立統(tǒng)一的第三方數(shù)據(jù)審核機(jī)制，不依附于某個(gè)業(yè)務(wù)單元的數(shù)據(jù)特性，對(duì)數(shù)據(jù)資產(chǎn)重新定位；數(shù)據(jù)落地基于系統(tǒng)運(yùn)行態(tài)環(huán)境的元數(shù)據(jù)采集，真正做到以系統(tǒng)落地環(huán)境為數(shù)據(jù)統(tǒng)一建立統(tǒng)一的數(shù)據(jù)模型視圖，為業(yè)務(wù)管理人員方便的獲取到數(shù)據(jù)提供先決條件；擴(kuò)展基于MOF可擴(kuò)展模型，對(duì)業(yè)務(wù)模型擴(kuò)展無(wú)需改動(dòng)代碼，節(jié)省團(tuán)隊(duì)管理成本；分析快速輔助定位問(wèn)題，出現(xiàn)數(shù)據(jù)問(wèn)題可輔助定位與分析問(wèn)題的根源，迅速響應(yīng)業(yè)務(wù)需求；大數(shù)據(jù)治理平臺(tái)架構(gòu)-數(shù)據(jù)開(kāi)發(fā)平臺(tái)功能架構(gòu)圖大數(shù)據(jù)治理平臺(tái)架構(gòu)-數(shù)據(jù)開(kāi)發(fā)平臺(tái)功能架構(gòu)圖系統(tǒng)管理人員管理權(quán)限管理系統(tǒng)管理人員管理權(quán)限管理編目管理資源目錄管理批量資源導(dǎo)入資源展示配置編目管理資源目錄管理批量資源導(dǎo)入資源展示配置基本信息維護(hù)資源關(guān)系管理模型檢索資源檢索基礎(chǔ)查詢(xún)維度查詢(xún)條件查詢(xún)存儲(chǔ)模型開(kāi)發(fā)模型設(shè)計(jì)模型管理關(guān)系維護(hù)配置管理文件交換開(kāi)發(fā)模型設(shè)計(jì)模型管理關(guān)系維護(hù)存儲(chǔ)開(kāi)發(fā)數(shù)據(jù)開(kāi)發(fā)數(shù)據(jù)交換開(kāi)發(fā)交換模型開(kāi)發(fā)交換作業(yè)開(kāi)發(fā)交換作業(yè)開(kāi)發(fā)交換組件管理服務(wù)接口開(kāi)發(fā)服務(wù)接口開(kāi)發(fā)服務(wù)接口配置應(yīng)用組件配置組件管理策略管理加密策略交換策略脫敏策略監(jiān)控策略策略開(kāi)發(fā)策略定義策略開(kāi)發(fā)策略管理自定義開(kāi)發(fā)大數(shù)據(jù)治理平臺(tái)架構(gòu)-數(shù)據(jù)開(kāi)發(fā)平臺(tái)邏輯架構(gòu)圖大數(shù)據(jù)治理平臺(tái)架構(gòu)-數(shù)據(jù)開(kāi)發(fā)平臺(tái)邏輯架構(gòu)圖數(shù)據(jù)共享層開(kāi)發(fā)者運(yùn)營(yíng)者門(mén)戶數(shù)據(jù)共享層開(kāi)發(fā)者運(yùn)營(yíng)者門(mén)戶數(shù)據(jù)開(kāi)發(fā)層數(shù)據(jù)開(kāi)發(fā)層數(shù)據(jù)庫(kù)文件數(shù)據(jù)接口數(shù)據(jù)資產(chǎn)數(shù)據(jù)資產(chǎn)=批量數(shù)據(jù)大數(shù)據(jù)治理平臺(tái)架構(gòu)-數(shù)據(jù)開(kāi)發(fā)平臺(tái)技術(shù)與特性大數(shù)據(jù)治理平臺(tái)架構(gòu)-數(shù)據(jù)開(kāi)發(fā)平臺(tái)技術(shù)與特性接口應(yīng)用接口應(yīng)用服務(wù)服務(wù)服務(wù)服務(wù)服務(wù)服務(wù)接服務(wù)服務(wù)服務(wù)服務(wù)服務(wù)服務(wù)接描述與數(shù)據(jù)發(fā)布共享剝描述描述約束提升提供圖形化的開(kāi)發(fā)界面，顛覆以往的數(shù)據(jù)只能寫(xiě)SQL代碼的情況。直觀并可提升開(kāi)發(fā)效率；數(shù)據(jù)開(kāi)發(fā)平臺(tái)復(fù)用復(fù)用結(jié)構(gòu)化的組件，利于知識(shí)積累與復(fù)用。避免人員變動(dòng)帶來(lái)的無(wú)形中的學(xué)習(xí)成本；針對(duì)業(yè)務(wù)特性對(duì)現(xiàn)有的數(shù)據(jù)資產(chǎn)進(jìn)行編目開(kāi)發(fā)，讓數(shù)據(jù)使用者直觀理解數(shù)據(jù)的含義；以數(shù)據(jù)資產(chǎn)模型為驅(qū)動(dòng)力，實(shí)現(xiàn)數(shù)據(jù)集成與共享的服務(wù)創(chuàng)新開(kāi)發(fā)模式；統(tǒng)一讓項(xiàng)目中的各數(shù)據(jù)實(shí)施廠商都使用統(tǒng)一的數(shù)據(jù)開(kāi)發(fā)方式，避免技術(shù)實(shí)現(xiàn)不同所帶來(lái)的壁壘；大數(shù)據(jù)治理平臺(tái)架構(gòu)-數(shù)據(jù)服務(wù)總線功能架構(gòu)圖大數(shù)據(jù)治理平臺(tái)架構(gòu)-數(shù)據(jù)服務(wù)總線功能架構(gòu)圖節(jié)點(diǎn)注冊(cè)系統(tǒng)安全系統(tǒng)安全調(diào)度管理資源擴(kuò)展總線監(jiān)控中心節(jié)點(diǎn)監(jiān)控標(biāo)準(zhǔn)規(guī)范標(biāo)準(zhǔn)規(guī)范消息交換文件交換流交換斷點(diǎn)續(xù)傳異常管理服務(wù)檢索大數(shù)據(jù)治理平臺(tái)架構(gòu)-數(shù)據(jù)服務(wù)總線邏輯架構(gòu)圖大數(shù)據(jù)治理平臺(tái)架構(gòu)-數(shù)據(jù)服務(wù)總線邏輯架構(gòu)圖數(shù)據(jù)消費(fèi)者數(shù)據(jù)消費(fèi)者數(shù)據(jù)共享層控引擎數(shù)據(jù)共享層控引擎數(shù)據(jù)/文件個(gè)個(gè)數(shù)據(jù)開(kāi)發(fā)層數(shù)據(jù)資產(chǎn)接口服務(wù)開(kāi)發(fā)數(shù)據(jù)開(kāi)發(fā)層數(shù)據(jù)資產(chǎn)接口服務(wù)開(kāi)發(fā)大數(shù)據(jù)治理平臺(tái)架構(gòu)-數(shù)據(jù)服務(wù)總線關(guān)鍵技大數(shù)據(jù)治理平臺(tái)架構(gòu)-數(shù)據(jù)服務(wù)總線關(guān)鍵技術(shù)與特性單實(shí)例處理能力單實(shí)例處理能力分布式擴(kuò)展能力分布式擴(kuò)展能力ESB實(shí)例3ESB實(shí)例4ESB實(shí)例5ESB管理服務(wù)器ESB實(shí)例1硬件硬件硬件件硬C·段之間基于隊(duì)列通信…渠道多渠道的數(shù)據(jù)共享方式，包括數(shù)據(jù)接口，文件，數(shù)據(jù)庫(kù)等，保證業(yè)務(wù)實(shí)現(xiàn)的可行性；數(shù)據(jù)服務(wù)總線快速海量提示實(shí)時(shí)的數(shù)據(jù)解決方案，支持流數(shù)據(jù)傳傳輸方式，保證業(yè)務(wù)數(shù)據(jù)的及時(shí)性；對(duì)于海量數(shù)據(jù)與音視頻文件，提供快速的大文件傳輸機(jī)制，快速獲得大數(shù)據(jù)；全方位的數(shù)據(jù)流量統(tǒng)計(jì)方式，讓數(shù)據(jù)的獲取與使用更加的透明化；安全數(shù)據(jù)的集成與共享，提供數(shù)據(jù)加密、數(shù)據(jù)脫敏等配置策略，保證數(shù)據(jù)的安全性；大數(shù)據(jù)治理平臺(tái)架構(gòu)-數(shù)據(jù)監(jiān)控平臺(tái)功能架構(gòu)圖大數(shù)據(jù)治理平臺(tái)架構(gòu)-數(shù)據(jù)監(jiān)控平臺(tái)功能架構(gòu)圖表表分析表表數(shù)據(jù)數(shù)據(jù)調(diào)度監(jiān)控服務(wù)訪問(wèn)情況監(jiān)控監(jiān)控執(zhí)行元數(shù)據(jù)告警系統(tǒng)大數(shù)據(jù)平臺(tái)治理七條監(jiān)控線大數(shù)據(jù)治理平臺(tái)架構(gòu)-數(shù)據(jù)監(jiān)平臺(tái)邏輯架構(gòu)圖大數(shù)據(jù)平臺(tái)治理七條監(jiān)控線大數(shù)據(jù)治理平臺(tái)架構(gòu)-數(shù)據(jù)監(jiān)平臺(tái)邏輯架構(gòu)圖業(yè)務(wù)應(yīng)用數(shù)據(jù)開(kāi)發(fā)數(shù)據(jù)資產(chǎn)E(抽取)L(加載)L(加載)個(gè)實(shí)時(shí)數(shù)據(jù)采集數(shù)據(jù)內(nèi)部數(shù)數(shù)據(jù)內(nèi)部數(shù)C專(zhuān)題庫(kù)BC專(zhuān)題庫(kù)大數(shù)據(jù)治理平臺(tái)架構(gòu)-數(shù)據(jù)監(jiān)控平臺(tái)關(guān)鍵技術(shù)與特性大數(shù)據(jù)治理平臺(tái)架構(gòu)-數(shù)據(jù)監(jiān)控平臺(tái)關(guān)鍵技術(shù)與特性1數(shù)據(jù)采集監(jiān)控是指對(duì)外部和內(nèi)部的離線數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)進(jìn)行采集記錄數(shù)據(jù)層面的監(jiān)控，如：數(shù)據(jù)文件大小，數(shù)據(jù)文件記錄數(shù)，數(shù)據(jù)文件增全量采集，采集頻率等的監(jiān)控及預(yù)警2實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)中離線數(shù)據(jù)計(jì)算處理ETL執(zhí)行的監(jiān)控，如作業(yè)的啟動(dòng)情況，作業(yè)的執(zhí)行情況，作業(yè)的依賴(lài)情況，作業(yè)的執(zhí)行時(shí)效，作業(yè)狀態(tài)，作業(yè)執(zhí)行日志。3對(duì)數(shù)據(jù)質(zhì)量進(jìn)行統(tǒng)一閉環(huán)管理，覆蓋數(shù)據(jù)質(zhì)量的定義、監(jiān)控、問(wèn)題分析、整改和評(píng)估，推動(dòng)質(zhì)量問(wèn)題的解決。圍繞數(shù)據(jù)質(zhì)量管理，建立監(jiān)控機(jī)制，如，及時(shí)性、完整性、準(zhǔn)確性、有效性等監(jiān)控及預(yù)警。4實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)數(shù)據(jù)到達(dá)情況監(jiān)控和數(shù)據(jù)分發(fā)成功與否監(jiān)控，數(shù)據(jù)到達(dá)是指采集的數(shù)據(jù)文件或DB數(shù)據(jù)是否按約定的時(shí)間節(jié)點(diǎn)準(zhǔn)備就緒，對(duì)問(wèn)題實(shí)現(xiàn)預(yù)警；數(shù)據(jù)分發(fā)是指大數(shù)據(jù)平臺(tái)中的數(shù)據(jù)及時(shí)傳遞到目標(biāo)端的監(jiān)控。5數(shù)據(jù)服務(wù)總線服務(wù)監(jiān)控管理，服務(wù)監(jiān)控包括，服務(wù)運(yùn)行情況，消費(fèi)者訪問(wèn)情況，提供者提供情況，SLA滿足程度，提供者與消費(fèi)者之間的依賴(lài)關(guān)系，依賴(lài)分析，從而能確定哪個(gè)客戶端在使用服務(wù)6大數(shù)據(jù)平臺(tái)中數(shù)據(jù)模型，與大數(shù)據(jù)交互數(shù)據(jù)源數(shù)據(jù)模型變更的監(jiān)控，包括數(shù)據(jù)庫(kù)表結(jié)構(gòu)，數(shù)據(jù)文件結(jié)構(gòu)，指標(biāo)定義，數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范的技術(shù)，業(yè)務(wù)，管理屬性監(jiān)控，數(shù)據(jù)字典的監(jiān)控及預(yù)警。7實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)的變更監(jiān)控，數(shù)據(jù)標(biāo)準(zhǔn)的落地映射監(jiān)控，在數(shù)據(jù)標(biāo)準(zhǔn)發(fā)生現(xiàn)在后調(diào)整的時(shí)候，能快速的定位變更的影響，也能知道哪些系統(tǒng)，哪些部門(mén)的哪個(gè)數(shù)據(jù)庫(kù)表落地了數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范。便捷監(jiān)控用戶的使用安全，通過(guò)郵件、短信等方式無(wú)需登錄系統(tǒng)可發(fā)現(xiàn)數(shù)據(jù)問(wèn)題；數(shù)據(jù)監(jiān)控平臺(tái)及時(shí)準(zhǔn)確標(biāo)準(zhǔn)及時(shí)發(fā)現(xiàn)數(shù)據(jù)的波動(dòng)、缺失等變化，在影響業(yè)務(wù)開(kāi)展之前及時(shí)發(fā)現(xiàn)問(wèn)題原因；以提高數(shù)據(jù)質(zhì)量為目標(biāo)，定期數(shù)據(jù)做質(zhì)量檢查，建立閉環(huán)質(zhì)量管理機(jī)制；通過(guò)數(shù)據(jù)質(zhì)量監(jiān)控手段，自動(dòng)化發(fā)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)問(wèn)題，提供數(shù)據(jù)標(biāo)準(zhǔn)落地檢查機(jī)制；集中提供集中的數(shù)據(jù)監(jiān)控平臺(tái)，統(tǒng)一監(jiān)控環(huán)境，無(wú)需在不同環(huán)境配置多套監(jiān)控產(chǎn)品；共享協(xié)作開(kāi)發(fā)利用共享協(xié)作數(shù)據(jù)保障使用使用治理運(yùn)營(yíng)分析資產(chǎn)管理運(yùn)營(yíng)分析管理跨行業(yè)、期國(guó)內(nèi)最權(quán)威的大數(shù)據(jù)治理廠商頂層規(guī)劃，平臺(tái)建設(shè)，/全體系全面提升三階段：治理數(shù)據(jù)·建立治理數(shù)據(jù)的一體化數(shù)據(jù)治理體系，實(shí)現(xiàn)全方位全面提升三階段：治理數(shù)據(jù)項(xiàng)目實(shí)施·根據(jù)數(shù)據(jù)治理平臺(tái)的建立，以大數(shù)據(jù)平臺(tái)為依托，項(xiàng)目實(shí)施二階段：項(xiàng)目實(shí)施·逐步推進(jìn)項(xiàng)目實(shí)施數(shù)據(jù)管理，建議先實(shí)施元數(shù)據(jù)二階段：項(xiàng)目實(shí)施·建立大數(shù)據(jù)運(yùn)營(yíng)平臺(tái)平臺(tái)驗(yàn)證一階段：建立平臺(tái)·建立大數(shù)據(jù)治理平臺(tái)(數(shù)據(jù)基礎(chǔ)監(jiān)控，數(shù)據(jù)傳輸監(jiān)控，數(shù)據(jù)管理監(jiān)控，數(shù)據(jù)服務(wù)監(jiān)控)平臺(tái)驗(yàn)證一階段：建立平臺(tái)0大數(shù)據(jù)治理平臺(tái)背景大數(shù)據(jù)治理平臺(tái)在各行業(yè)的應(yīng)用案例大數(shù)據(jù)治理平臺(tái)在各行業(yè)的應(yīng)用案例保監(jiān)會(huì))要求，重點(diǎn)整合元數(shù)據(jù)、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量和數(shù)據(jù)消費(fèi)層…互聯(lián)網(wǎng)AEQ\*jc3\*hps22\o\al(\s\up5(PP),用)應(yīng)消費(fèi)層…電信行業(yè)大數(shù)據(jù)治理架構(gòu)電信行業(yè)大數(shù)據(jù)治理架構(gòu)大數(shù)據(jù)基線版元數(shù)據(jù)CRM大數(shù)據(jù)基線版元數(shù)據(jù)系統(tǒng)互聯(lián)網(wǎng)能力開(kāi)放數(shù)據(jù)超市數(shù)據(jù)資產(chǎn)管理平臺(tái)核心經(jīng)分庫(kù)數(shù)據(jù)資產(chǎn)管理平臺(tái)核心經(jīng)分庫(kù)大數(shù)據(jù)平臺(tái)大數(shù)據(jù)平臺(tái)經(jīng)分輔庫(kù)流處理流處理資源池?fù)Q與集成換與集成(對(duì)外吸務(wù))準(zhǔn)數(shù)據(jù)源掃描件外部數(shù)據(jù)B域數(shù)據(jù)M域數(shù)據(jù)O域數(shù)據(jù)案例案例·某銀行建立企業(yè)級(jí)的數(shù)據(jù)治理體系金融業(yè)大數(shù)據(jù)治理體系架構(gòu)數(shù)據(jù)使用者(領(lǐng)導(dǎo)決策層)數(shù)據(jù)管理者(IT管理層)金融業(yè)大數(shù)據(jù)治理體系架構(gòu)數(shù)據(jù)生產(chǎn)者(業(yè)務(wù)層)標(biāo)準(zhǔn)規(guī)范質(zhì)量檢查流程管理標(biāo)準(zhǔn)規(guī)范制定數(shù)據(jù)管理辦法(管理流程、權(quán)責(zé)關(guān)系)制定考核規(guī)則(績(jī)效評(píng)分卡)大數(shù)據(jù)制定考核規(guī)則(績(jī)效評(píng)分卡)元數(shù)據(jù)質(zhì)量提