企業(yè)級(jí)數(shù)據(jù)平臺(tái)-為數(shù)據(jù)資產(chǎn)增值保駕護(hù)航

騰訊云基于騰訊云|智慧能源企業(yè)級(jí)數(shù)據(jù)平臺(tái)-為數(shù)據(jù)資產(chǎn)增值保駕護(hù)航-課程的目標(biāo)課程目標(biāo)：了解數(shù)據(jù)管理工具挑戰(zhàn)和發(fā)展趨勢(shì)課程目標(biāo)：了解數(shù)據(jù)管理工具挑戰(zhàn)和發(fā)展趨勢(shì)；了解集團(tuán)企業(yè)級(jí)數(shù)據(jù)管理平臺(tái)包含常見工具，了解數(shù)據(jù)管理平臺(tái)實(shí)施路徑。數(shù)據(jù)治理系列培訓(xùn)課程的收獲治理組織治理組織●更好的支撐企業(yè)數(shù)據(jù)平臺(tái)項(xiàng)目的建設(shè)；●馬上成為數(shù)據(jù)資產(chǎn)管理專家●能夠成功實(shí)踐數(shù)據(jù)資產(chǎn)管理，并有效控制數(shù)據(jù)管理項(xiàng)目的落地1、數(shù)據(jù)管理工具現(xiàn)狀及發(fā)展趨勢(shì)目錄目錄2、企業(yè)級(jí)數(shù)據(jù)管理平臺(tái)架構(gòu)3、數(shù)據(jù)平臺(tái)實(shí)施路徑及建議第3頁(yè)1.1數(shù)據(jù)管理面臨的挑戰(zhàn)和轉(zhuǎn)變-三個(gè)挑戰(zhàn)1)數(shù)據(jù)倉(cāng)庫(kù)模式導(dǎo)致的煙囪式建設(shè)與數(shù)據(jù)需跨業(yè)務(wù)線廣泛連接之間的挑戰(zhàn)；2)傳統(tǒng)數(shù)據(jù)庫(kù)不能應(yīng)對(duì)數(shù)據(jù)的增長(zhǎng)，數(shù)據(jù)ETL、數(shù)據(jù)建模工作的響應(yīng)速度與數(shù)據(jù)反哺業(yè)務(wù)迭代創(chuàng)新之間的挑戰(zhàn)；例如：移動(dòng)互聯(lián)網(wǎng)和物聯(lián)網(wǎng)時(shí)代，產(chǎn)生了大量的網(wǎng)站數(shù)據(jù)，社交媒體數(shù)據(jù)，物聯(lián)網(wǎng)設(shè)備數(shù)據(jù)等非結(jié)構(gòu)化數(shù)據(jù)。導(dǎo)致數(shù)據(jù)倉(cāng)庫(kù)無(wú)法滿足這些多元化的數(shù)據(jù)結(jié)構(gòu)的存儲(chǔ)和查詢，以及非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)的交叉分析。3)數(shù)據(jù)賦能與業(yè)務(wù)場(chǎng)景探索脫節(jié)的挑戰(zhàn)。1、數(shù)據(jù)管理工具現(xiàn)狀及發(fā)展趨勢(shì)目錄目錄2、企業(yè)級(jí)數(shù)據(jù)管理平臺(tái)架構(gòu)3、數(shù)據(jù)平臺(tái)實(shí)施路徑及建議大數(shù)據(jù)平臺(tái)借助微服務(wù)架構(gòu)，專注于單一責(zé)任的小型功能模塊為基礎(chǔ)、通過(guò)API相互通信的方式完成實(shí)現(xiàn)快維護(hù)成本高原子、自治隔離單體架構(gòu)垂直架構(gòu)SOA架構(gòu)微服務(wù)架構(gòu)1.2可擴(kuò)展性系統(tǒng)架構(gòu)演進(jìn)趨勢(shì)業(yè)務(wù)邏輯前置服務(wù)數(shù)據(jù)存儲(chǔ)1.2可擴(kuò)展性系統(tǒng)架構(gòu)演進(jìn)趨勢(shì)前置服務(wù)組件H組件1數(shù)據(jù)存儲(chǔ)數(shù)據(jù)存儲(chǔ)數(shù)據(jù)存儲(chǔ)數(shù)據(jù)存儲(chǔ)1.集成多個(gè)較大組件(一般是應(yīng)用)的一種機(jī)1.2微服務(wù)業(yè)務(wù)特性服務(wù)持續(xù)演進(jìn)，快速、低成本地被拆服務(wù)持續(xù)演進(jìn)，快速、低成本地被拆分和合并，以快速響應(yīng)業(yè)務(wù)的變化每個(gè)微服務(wù)獨(dú)立的部署，不再需要協(xié)調(diào)其它服務(wù)部署對(duì)本服務(wù)的影響快速響應(yīng)市場(chǎng)變化，調(diào)整業(yè)務(wù)邏輯，適配客戶需求，試錯(cuò)成本低高伸縮性運(yùn)行時(shí)可獨(dú)立地?cái)U(kuò)展微服務(wù)組件，實(shí)現(xiàn)資源的高效使用和對(duì)工作負(fù)載變化的快速反應(yīng)1、數(shù)據(jù)管理工具現(xiàn)狀及發(fā)展趨勢(shì)目錄目錄2、企業(yè)級(jí)數(shù)據(jù)管理平臺(tái)架構(gòu)3、數(shù)據(jù)平臺(tái)實(shí)施路徑及建議數(shù)據(jù)倉(cāng)庫(kù)通常是一個(gè)面向主題的、集成的、隨時(shí)間變化的、但信息本身相對(duì)穩(wěn)定的數(shù)據(jù)集合。它用于對(duì)管理決策過(guò)程的支持。數(shù)系統(tǒng)定位：■是主要用于歷史性、綜合性和深層次數(shù)據(jù)分析；■不是日常交易操作系統(tǒng)，不能直接產(chǎn)生交易數(shù)據(jù)；第18頁(yè)源系統(tǒng)系統(tǒng)系統(tǒng)系統(tǒng)系統(tǒng)數(shù)據(jù)緩沖區(qū)清洗財(cái)務(wù)主題—產(chǎn)品主題客戶主題—協(xié)議主題資產(chǎn)主題—交易主題營(yíng)銷主題—渠道主題內(nèi)部組織主題公共匯總層客戶關(guān)系管理機(jī)構(gòu)績(jī)效考核數(shù)據(jù)集市風(fēng)險(xiǎn)數(shù)據(jù)集市財(cái)務(wù)主題應(yīng)用收入分析成本分析費(fèi)用分析利潤(rùn)分析應(yīng)用展現(xiàn)門戶數(shù)據(jù)分析產(chǎn)品應(yīng)用展現(xiàn)門戶數(shù)據(jù)分析產(chǎn)品成項(xiàng)目數(shù)據(jù)層數(shù)據(jù)層CRM系統(tǒng)CRM系統(tǒng)Excel數(shù)據(jù)在線錄入第20頁(yè)數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目是一個(gè)對(duì)企數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目是一個(gè)對(duì)企業(yè)內(nèi)外數(shù)據(jù)進(jìn)行采集、存儲(chǔ)、展現(xiàn)和交付的綜合集成項(xiàng)目除了包含分析產(chǎn)品本身之外，還包含數(shù)據(jù)集成、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算、門戶展現(xiàn)、平臺(tái)管理等其它一系列的產(chǎn)品。統(tǒng)統(tǒng)33RRDataDistillationAnalytics■數(shù)據(jù)湖逐漸發(fā)展成為一個(gè)可以存第22頁(yè)特性數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)湖存儲(chǔ)的數(shù)據(jù)類型主要處理歷史的、結(jié)構(gòu)化的數(shù)據(jù)，而且這些數(shù)據(jù)必須與數(shù)數(shù)據(jù)處理模式是高度結(jié)構(gòu)化的架構(gòu)，數(shù)據(jù)在清洗轉(zhuǎn)換之后才會(huì)加載到數(shù)轉(zhuǎn)化為多維數(shù)據(jù)，或者轉(zhuǎn)換為報(bào)表，以滿足后續(xù)的高級(jí)報(bào)分析所有類型的數(shù)據(jù)，分析后的數(shù)據(jù)會(huì)被存儲(chǔ)起來(lái)訪問(wèn)方式數(shù)據(jù)倉(cāng)庫(kù)通常用于存儲(chǔ)和維護(hù)長(zhǎng)期數(shù)據(jù)，因此數(shù)據(jù)可以按性價(jià)比更快的查詢結(jié)構(gòu)，存儲(chǔ)成本高更快的查詢結(jié)構(gòu)，存儲(chǔ)成本低工作合作方式和服務(wù)對(duì)象服務(wù)對(duì)象：業(yè)務(wù)分析師境供各業(yè)務(wù)團(tuán)隊(duì)使用(不過(guò)集中式的維度表建設(shè)還是需要的),業(yè)務(wù)團(tuán)隊(duì)數(shù)據(jù)質(zhì)量可以作為重要事實(shí)依據(jù)的高度監(jiān)管數(shù)據(jù)任何可以或者無(wú)法監(jiān)管的數(shù)據(jù)(例如原始數(shù)據(jù))分析批處理報(bào)告、BI和可視化機(jī)器學(xué)習(xí)，預(yù)測(cè)分析，數(shù)據(jù)發(fā)現(xiàn)和分析統(tǒng)一訪問(wèn)門戶管理駕駛艙商品管理理供應(yīng)鏈管理財(cái)務(wù)管理數(shù)據(jù)服務(wù)服務(wù)管理服務(wù)管理數(shù)據(jù)分析數(shù)據(jù)分析存儲(chǔ)計(jì)算源中心存儲(chǔ)計(jì)大數(shù)據(jù)平臺(tái)數(shù)據(jù)計(jì)算與存儲(chǔ)基礎(chǔ)數(shù)據(jù)區(qū)通用指基礎(chǔ)數(shù)據(jù)區(qū)通用指標(biāo)指標(biāo)管理數(shù)據(jù)數(shù)據(jù)落落地關(guān)聯(lián)探查清洗關(guān)聯(lián)探查清洗化安全保安全保運(yùn)維管標(biāo)準(zhǔn)規(guī)交換務(wù)系統(tǒng)數(shù)據(jù)數(shù)據(jù)采集與交換供應(yīng)鏈EAM實(shí)時(shí)采集物流互聯(lián)網(wǎng)其他其他數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)平臺(tái)/數(shù)據(jù)湖數(shù)據(jù)中臺(tái)在某個(gè)維度上他們?yōu)闃I(yè)務(wù)產(chǎn)生價(jià)值的形式有不同的側(cè)重?cái)?shù)據(jù)中臺(tái)距離業(yè)務(wù)更近，能更快速的響應(yīng)業(yè)務(wù)和開發(fā)應(yīng)用的需求，可追溯，更精準(zhǔn)1、數(shù)據(jù)管理工具現(xiàn)狀及發(fā)展趨勢(shì)1.1數(shù)據(jù)資產(chǎn)管理挑戰(zhàn)及發(fā)展1.2數(shù)據(jù)架構(gòu)演變及發(fā)展趨勢(shì)1.1數(shù)據(jù)資產(chǎn)管理挑戰(zhàn)及發(fā)展1.2數(shù)據(jù)架構(gòu)演變及發(fā)展趨勢(shì)1.3數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖、數(shù)據(jù)中臺(tái)關(guān)系及差異2、企業(yè)級(jí)數(shù)據(jù)管理平臺(tái)架構(gòu)2.1技術(shù)架構(gòu)體系2.2數(shù)據(jù)資產(chǎn)平臺(tái)工具(主數(shù)據(jù)、數(shù)據(jù)指標(biāo)、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量等)2.3數(shù)據(jù)湖平臺(tái)工具3、數(shù)據(jù)平臺(tái)實(shí)施路徑及建議四、標(biāo)桿企業(yè)數(shù)據(jù)指標(biāo)管理項(xiàng)目案例分享第30頁(yè)演進(jìn)能力構(gòu)建能力演進(jìn)能力構(gòu)建能力技術(shù)能力數(shù)據(jù)消費(fèi)數(shù)據(jù)存儲(chǔ)數(shù)據(jù)平臺(tái)(資源中心數(shù)據(jù)消費(fèi)數(shù)據(jù)存儲(chǔ)數(shù)據(jù)平臺(tái)(資源中心應(yīng)用層服務(wù)層資產(chǎn)層數(shù)據(jù)平臺(tái)層安板2.1業(yè)務(wù)數(shù)據(jù)平臺(tái)務(wù)創(chuàng)新效能?！盤C端應(yīng)用移動(dòng)端應(yīng)用第三方應(yīng)用業(yè)務(wù)數(shù)據(jù)平臺(tái)(共享服務(wù))用戶中心商品中心交易中心評(píng)價(jià)中心店鋪中心搜索中心資產(chǎn)中心其他分布式計(jì)算數(shù)據(jù)平云平臺(tái)第35頁(yè)數(shù)據(jù)獲取層市場(chǎng)數(shù)據(jù)設(shè)備數(shù)據(jù)行為日志收集實(shí)時(shí)數(shù)據(jù)采集實(shí)時(shí)消息隊(duì)列運(yùn)維數(shù)據(jù)安全數(shù)據(jù)運(yùn)維數(shù)據(jù)安全數(shù)據(jù)數(shù)據(jù)采集財(cái)務(wù)數(shù)據(jù)數(shù)據(jù)處理數(shù)據(jù)服務(wù)層數(shù)據(jù)服務(wù)層實(shí)時(shí)處理平臺(tái)數(shù)據(jù)分析層緩沖區(qū)緩沖區(qū)匯總數(shù)據(jù)集市匯總數(shù)據(jù)集市批量處理平臺(tái)數(shù)據(jù)分發(fā)數(shù)據(jù)交換平臺(tái)批量處理平臺(tái)數(shù)據(jù)分發(fā)數(shù)據(jù)交換平臺(tái)數(shù)據(jù)治理■技術(shù)平臺(tái)是業(yè)務(wù)平臺(tái)建設(shè)的關(guān)鍵技術(shù)基礎(chǔ)。在數(shù)據(jù)平臺(tái)建設(shè)過(guò)程中，可以根據(jù)業(yè)務(wù)需要不斷更新和吸納新的技術(shù)組件，也可以考慮將一些不具有明顯業(yè)務(wù)含義的通用組件(如認(rèn)證等),通過(guò)抽象和標(biāo)準(zhǔn)化設(shè)計(jì)后納入技術(shù)數(shù)據(jù)平臺(tái)統(tǒng)一管理。API網(wǎng)關(guān)開發(fā)框架前端開發(fā)框架分布式緩存搜索引擎分布式數(shù)據(jù)庫(kù)前臺(tái)應(yīng)用負(fù)載均衡服務(wù)注冊(cè)流量控制服務(wù)鑒權(quán)注冊(cè)發(fā)現(xiàn)配置管理負(fù)載均衡微服務(wù)治理注冊(cè)發(fā)現(xiàn)配置管理負(fù)載均衡鏈路追蹤消息中間件數(shù)據(jù)復(fù)制應(yīng)用日志分布式事務(wù)內(nèi)存數(shù)據(jù)庫(kù)OLTP數(shù)據(jù)庫(kù)OLAP數(shù)據(jù)庫(kù)HTAP數(shù)據(jù)庫(kù)云平臺(tái)4.分布式數(shù)據(jù)庫(kù)：1、數(shù)據(jù)管理工具現(xiàn)狀及發(fā)展趨勢(shì)1、數(shù)據(jù)管理工具現(xiàn)狀及發(fā)展趨勢(shì)目錄目錄1.2數(shù)據(jù)架構(gòu)演變及發(fā)展趨勢(shì)1.3數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖、數(shù)據(jù)中臺(tái)關(guān)系及差異2、2、企業(yè)級(jí)數(shù)據(jù)管理平臺(tái)架構(gòu)2.1技術(shù)架構(gòu)體系2.2數(shù)據(jù)資產(chǎn)平臺(tái)工具(主數(shù)據(jù)、數(shù)據(jù)指標(biāo)、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量等)2.3數(shù)據(jù)湖平臺(tái)工具3、3、數(shù)據(jù)平臺(tái)實(shí)施路徑及建議3.1實(shí)施方法、步驟及難點(diǎn)分析3.2相關(guān)啟示和建議第42頁(yè)2.2國(guó)內(nèi)數(shù)據(jù)治理平臺(tái)發(fā)展歷程數(shù)據(jù)治理平臺(tái)演變歷程及特點(diǎn)編碼時(shí)代(起步期)名稱：編碼系統(tǒng)、編碼網(wǎng)站主要采用發(fā)布主數(shù)據(jù)代碼為主，采用接口開發(fā)形式分發(fā)1995年-2004年主數(shù)據(jù)時(shí)代(發(fā)展期)2005-2012年數(shù)據(jù)標(biāo)準(zhǔn)時(shí)代(成熟期)享2013-2017年數(shù)據(jù)治理時(shí)代(展望期)2018年-第43頁(yè)數(shù)據(jù)清洗建模工具主數(shù)據(jù)主數(shù)據(jù)通用基礎(chǔ)域統(tǒng)業(yè)務(wù)管理系統(tǒng)人員數(shù)據(jù)交換與服務(wù)目標(biāo)系統(tǒng)項(xiàng)目管理系統(tǒng)第47頁(yè)資產(chǎn)共享流程||知識(shí)廣場(chǎng)算法庫(kù)站內(nèi)信基礎(chǔ)序號(hào)工具1數(shù)據(jù)資產(chǎn)涵蓋數(shù)據(jù)探查、數(shù)據(jù)地圖、熱點(diǎn)分析、血緣分析、服務(wù)，有效提升用戶對(duì)企業(yè)級(jí)海量數(shù)據(jù)的管控協(xié)作能力；數(shù)據(jù)資產(chǎn)應(yīng)用、數(shù)據(jù)資產(chǎn)分析、數(shù)據(jù)資產(chǎn)服務(wù)、數(shù)據(jù)2數(shù)據(jù)指標(biāo)3元數(shù)據(jù)管理對(duì)元數(shù)據(jù)進(jìn)行新增、修改、刪除、導(dǎo)出、導(dǎo)入等工作，監(jiān)管元數(shù)據(jù)管理執(zhí)行過(guò)程4數(shù)據(jù)質(zhì)量管理通過(guò)可視化的任務(wù)管理、多維度的質(zhì)量評(píng)估、靈活的規(guī)合、加工到消費(fèi)的全生命周期各階段提供數(shù)據(jù)質(zhì)量稽核能力5數(shù)據(jù)模型6數(shù)據(jù)安全數(shù)據(jù)安全工具其中包括數(shù)據(jù)采集管理、數(shù)據(jù)傳輸管理、數(shù)據(jù)存儲(chǔ)管理、數(shù)據(jù)處理管理數(shù)據(jù)交換和共享管理、數(shù)據(jù)銷毀管理等7類工具，這6類工具有的是單獨(dú)呈現(xiàn)2.2數(shù)據(jù)治理(資產(chǎn))管理平臺(tái)-指標(biāo)管理與數(shù)據(jù)處理用戶層用戶層訪問(wèn)層展示平臺(tái)件企業(yè)數(shù)倉(cāng)指標(biāo)數(shù)據(jù)加工計(jì)算平臺(tái)數(shù)據(jù)接入數(shù)據(jù)加工數(shù)據(jù)接入數(shù)據(jù)加工與認(rèn)證平臺(tái)互聯(lián)網(wǎng)數(shù)據(jù)指標(biāo)匯指標(biāo)匯聚庫(kù)接口接口大數(shù)據(jù)基礎(chǔ)平臺(tái)第51頁(yè)2.2數(shù)據(jù)指標(biāo)管理子系統(tǒng)-打通指標(biāo)、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)標(biāo)準(zhǔn)各產(chǎn)品關(guān)系特點(diǎn)：上層產(chǎn)品服務(wù)、底層數(shù)據(jù)流打通，使產(chǎn)品形成特點(diǎn)：上層產(chǎn)品服務(wù)、底層數(shù)據(jù)流打通，使產(chǎn)品形成閉環(huán)；促進(jìn)指標(biāo)數(shù)據(jù)使用和質(zhì)量改進(jìn)。4、數(shù)據(jù)地圖指標(biāo)元數(shù)據(jù)指標(biāo)管理指標(biāo)管理指標(biāo)數(shù)據(jù)質(zhì)量：1、指標(biāo)數(shù)據(jù)質(zhì)量：1、數(shù)據(jù)質(zhì)量檢查規(guī)則2、質(zhì)量檢查任務(wù)配置3、問(wèn)題工單處理數(shù)據(jù)打通流程閉環(huán)數(shù)據(jù)打通流程閉環(huán)規(guī)范規(guī)范指標(biāo)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量指標(biāo)標(biāo)準(zhǔn)41、標(biāo)準(zhǔn)制定2、標(biāo)準(zhǔn)規(guī)則配置3、標(biāo)準(zhǔn)信息瀏覽2.2數(shù)據(jù)治理(資產(chǎn))管理平臺(tái)-數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)工具-數(shù)據(jù)資產(chǎn)目錄管理數(shù)據(jù)治理成果數(shù)據(jù)治理成果s資產(chǎn)資產(chǎn)資產(chǎn)資產(chǎn)數(shù)據(jù)資產(chǎn)目錄數(shù)據(jù)資產(chǎn)地圖數(shù)據(jù)資產(chǎn)目錄數(shù)據(jù)資產(chǎn)地圖指標(biāo)數(shù)據(jù)交易數(shù)據(jù)主數(shù)據(jù)通用基礎(chǔ)數(shù)據(jù)數(shù)據(jù)資產(chǎn)應(yīng)用數(shù)據(jù)資產(chǎn)應(yīng)用數(shù)據(jù)資產(chǎn)統(tǒng)計(jì)分析數(shù)據(jù)聯(lián)動(dòng)資產(chǎn)訂閱資產(chǎn)檢索熱度分析熱度分析盤點(diǎn)工作統(tǒng)計(jì)盤點(diǎn)工作統(tǒng)計(jì)數(shù)據(jù)資產(chǎn)目錄第56頁(yè)2.2數(shù)據(jù)治理(資產(chǎn))管理平臺(tái)-數(shù)據(jù)模型管理工具2標(biāo)準(zhǔn)管控企業(yè)級(jí)邏輯模型目錄/標(biāo)簽企業(yè)級(jí)邏輯模型目錄/標(biāo)簽制定標(biāo)準(zhǔn)落實(shí)標(biāo)準(zhǔn)規(guī)范3事前模型3系統(tǒng)級(jí)生產(chǎn)元數(shù)據(jù)4管控系統(tǒng)級(jí)生產(chǎn)元數(shù)據(jù)4事后元開發(fā)模型事后元自動(dòng)獲取管控OLTP模型數(shù)據(jù)倉(cāng)庫(kù)模型大數(shù)據(jù)平臺(tái)OLTP數(shù)據(jù)庫(kù)大數(shù)據(jù)平臺(tái)2.2數(shù)據(jù)治理(資產(chǎn))管理平臺(tái)-數(shù)據(jù)交換與服務(wù)-數(shù)據(jù)服務(wù)支撐系統(tǒng)-技術(shù)架構(gòu)數(shù)據(jù)源物聯(lián)網(wǎng)半結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)配置管理服務(wù)配置配置管理任務(wù)管理任務(wù)管理數(shù)據(jù)服務(wù)流采集加工采集數(shù)據(jù)結(jié)構(gòu)同步件撐數(shù)據(jù)數(shù)據(jù)邏輯發(fā)布共享管理共享服務(wù)經(jīng)營(yíng)管理客戶服務(wù)安全管理監(jiān)控管理身份鑒定授權(quán)管理訪問(wèn)控制安全管理監(jiān)控管理2.2數(shù)據(jù)治理(資產(chǎn))管理平臺(tái)-數(shù)據(jù)交換與服務(wù)-數(shù)據(jù)服務(wù)■引入數(shù)據(jù)服務(wù)總線和微服務(wù)網(wǎng)關(guān)，通過(guò)服務(wù)中心、API中心提供微服務(wù)及API接口的注冊(cè)、發(fā)布、編排、權(quán)監(jiān)、問(wèn)題診斷、度量、在線評(píng)價(jià)機(jī)制，明確各方的權(quán)利和責(zé)任，保證各方有效協(xié)同，優(yōu)勝劣汰。運(yùn)營(yíng)以微服務(wù)為核心的數(shù)據(jù)供應(yīng)和消費(fèi)生態(tài)?？蛻糁鲾?shù)據(jù)供應(yīng)商物料主數(shù)據(jù)員工組織機(jī)構(gòu)客戶主數(shù)據(jù)供應(yīng)商APIAPI管理API市場(chǎng)(開發(fā)者服務(wù))API市場(chǎng)(開發(fā)者服務(wù))服務(wù)市場(chǎng)API目錄目錄審批APIAPI監(jiān)控供應(yīng)商畫像價(jià)格監(jiān)控預(yù)測(cè)分析KPI指標(biāo)分析采購(gòu)行為分析供應(yīng)商畫像價(jià)格監(jiān)控預(yù)測(cè)分析2.2數(shù)據(jù)治理(資產(chǎn))管理平臺(tái)-數(shù)據(jù)服務(wù)API網(wǎng)關(guān)架構(gòu)API發(fā)布者應(yīng)用API商店應(yīng)用應(yīng)用系統(tǒng)大屏應(yīng)用系統(tǒng)大屏一一安全/節(jié)流/服務(wù)水平第62頁(yè)2.2數(shù)據(jù)治理(資產(chǎn))管理平臺(tái)-數(shù)據(jù)交換與服務(wù)-管理維度-數(shù)據(jù)資產(chǎn)共享交換授權(quán)交換授權(quán)交換提供給外部使用直接交換直接交換提供給外部使用滿足不同需求滿足不同需求第64頁(yè)2.2數(shù)據(jù)治理(資產(chǎn))管理平臺(tái)-數(shù)據(jù)安全工具■數(shù)據(jù)安全工具其中包括數(shù)據(jù)采集管理、數(shù)據(jù)傳輸管理、數(shù)據(jù)存儲(chǔ)管理、數(shù)據(jù)處理管理、數(shù)據(jù)交換和共享管理、數(shù)據(jù)銷毀管理等7類工具，這6類工具有的是單獨(dú)呈現(xiàn)，有的是相互組合在一起形成包括多種功能的軟件平臺(tái)。安全采集分類分級(jí)質(zhì)量管理身份鑒別數(shù)據(jù)加密介質(zhì)凈化安全掃描日志審計(jì)備份與恢復(fù)數(shù)據(jù)靜態(tài)脫敏數(shù)據(jù)動(dòng)態(tài)脫敏聯(lián)動(dòng)脫敏日志安全交換審計(jì)平臺(tái)流量監(jiān)測(cè)加密交換安全銷毀覆寫工具消磁工具實(shí)體搗碎焚毀工具強(qiáng)密碼策略應(yīng)用準(zhǔn)入強(qiáng)認(rèn)證管理第66頁(yè)企業(yè)級(jí)數(shù)據(jù)平臺(tái)-為數(shù)據(jù)資產(chǎn)增值保駕護(hù)航1、數(shù)據(jù)管理工具現(xiàn)狀及發(fā)展趨勢(shì)1、數(shù)據(jù)管理工具現(xiàn)狀及發(fā)展趨勢(shì)目錄目錄1.2數(shù)據(jù)架構(gòu)演變及發(fā)展趨勢(shì)1.3數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖、數(shù)據(jù)中臺(tái)關(guān)系及差異2、2、企業(yè)級(jí)數(shù)據(jù)管理平臺(tái)架構(gòu)2.1技術(shù)架構(gòu)體系2.2數(shù)據(jù)資產(chǎn)平臺(tái)工具(主數(shù)據(jù)、數(shù)據(jù)指標(biāo)、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量等)2.3數(shù)據(jù)湖平臺(tái)工具2.3數(shù)據(jù)湖平臺(tái)工具3、3、數(shù)據(jù)平臺(tái)實(shí)施路徑及建議3.1實(shí)施方法、步驟及難點(diǎn)分析3.2相關(guān)啟示和建議第67頁(yè)第68頁(yè)部門管理人員部門管理人員業(yè)務(wù)人員業(yè)務(wù)人員服務(wù)管理大大應(yīng)用大計(jì)算大數(shù)據(jù)算子模式數(shù)據(jù)數(shù)據(jù)存儲(chǔ)SPARK并行計(jì)算框架可視化圖形專家經(jīng)驗(yàn)實(shí)時(shí)計(jì)算全文搜索引擎安全管理權(quán)限管理安全審計(jì)網(wǎng)絡(luò)基礎(chǔ)設(shè)施不同生產(chǎn)系統(tǒng)中的數(shù)據(jù)不僅數(shù)據(jù)類型不同、數(shù)據(jù)量增幅與更新頻率也不同，其存儲(chǔ)方式更是不盡相同，需要有一種工具可以統(tǒng)一的兼容這些不同之處，并且能夠分擔(dān)ETL過(guò)程中對(duì)于源系統(tǒng)造成的壓力。互聯(lián)網(wǎng)數(shù)據(jù)多是非結(jié)構(gòu)化數(shù)據(jù)，需要按照一定的規(guī)則，并利用動(dòng)態(tài)代理目標(biāo)頁(yè)面內(nèi)容，并將其轉(zhuǎn)為結(jié)構(gòu)化數(shù)據(jù)。為了均衡扒取過(guò)程中的壓力，需要前置負(fù)載均衡模塊。負(fù)載互聯(lián)網(wǎng)數(shù)據(jù)數(shù)據(jù)存儲(chǔ)代理均衡爬蟲工具負(fù)載互聯(lián)網(wǎng)數(shù)據(jù)數(shù)據(jù)存儲(chǔ)第三方數(shù)據(jù)通常會(huì)以接口的方式提供，可以分為推式獲取和拉式獲取如果由第三方向己方推送數(shù)據(jù)，則需要前置消息隊(duì)列進(jìn)行緩存；如果是己方從第三方數(shù)據(jù)源拉取數(shù)據(jù)，則可靈活控制第三方接口的使用方式。第三方數(shù)據(jù)第三方數(shù)據(jù)第72頁(yè)Cosistency應(yīng)用場(chǎng)景應(yīng)用選型關(guān)系型數(shù)據(jù)庫(kù)內(nèi)存數(shù)據(jù)庫(kù)一個(gè)數(shù)據(jù)存儲(chǔ)系統(tǒng)不可能同時(shí)滿足上述三個(gè)特性，只能同時(shí)滿足其兩個(gè)特性，也就是：CA,CP,AP?？梢晕臋n數(shù)據(jù)庫(kù)Mongo這么說(shuō)，當(dāng)前所有的數(shù)據(jù)存儲(chǔ)解決方案，都可以歸類的上述三種類型。CA滿足數(shù)據(jù)的一致性和高可用性，但沒(méi)有可擴(kuò)展性，如傳統(tǒng)的關(guān)系型數(shù)據(jù)，基本上滿足是這個(gè)解決方案圖數(shù)據(jù)庫(kù)Neo4j、Titan,如ORACLE,MYSQL的單節(jié)點(diǎn)，滿足數(shù)據(jù)的一致性和高可用性。CP滿是數(shù)據(jù)的一致性和分區(qū)性，如OradleRAC,Sybase集群。雖然OradleRAAP高可用數(shù)據(jù)庫(kù)Cassandra但當(dāng)節(jié)點(diǎn)達(dá)到一定數(shù)目時(shí)，性能(也即可用性)就會(huì)下降很快，并且節(jié)點(diǎn)之間的網(wǎng)實(shí)時(shí)同步各節(jié)點(diǎn)之間的數(shù)據(jù)。AP在性能和可擴(kuò)展性方面表現(xiàn)不錯(cuò)，但在數(shù)據(jù)一致性方面會(huì)用犧牲，各節(jié)CP高一致數(shù)據(jù)庫(kù)Hbase、Mongo點(diǎn)的之間數(shù)據(jù)同步?jīng)]有哪么快，但能保存數(shù)據(jù)的最終一致性。當(dāng)前熱炒的NOSQL大多類是典型的AP類CA事務(wù)性數(shù)據(jù)庫(kù)Mysql、Neo4j支撐分析場(chǎng)景HIVE、Titan數(shù)據(jù)協(xié)同消息隊(duì)列第74頁(yè)因素挖掘分析因素挖掘分析通過(guò)相關(guān)分析和挖掘算法，可快速幫助我們找到驅(qū)動(dòng)用戶參與或者感興趣的主要因素，為決策提供支持。用戶聚類分析用戶聚類分析事件關(guān)聯(lián)分析事件關(guān)聯(lián)分析通過(guò)關(guān)聯(lián)規(guī)則算法，幫助建立不同事件間的相關(guān)關(guān)系，為事件的交叉關(guān)系提供數(shù)據(jù)支持。評(píng)論文本挖掘評(píng)論文本挖掘通過(guò)特征聚類的方法，可以幫助定位真實(shí)用戶的畫像，為營(yíng)銷提供支持。通過(guò)對(duì)真實(shí)用戶的評(píng)論關(guān)鍵詞挖掘，好評(píng)通過(guò)特征聚類的方法，可以幫助定位真實(shí)用戶的畫像，為營(yíng)銷提供支持。/差評(píng)的主要關(guān)鍵詞可以幫助我們改善產(chǎn)品，也可以幫助我們抓住應(yīng)對(duì)話術(shù)重點(diǎn)。機(jī)器學(xué)習(xí)模型第78頁(yè)互聯(lián)網(wǎng)輿情數(shù)據(jù)運(yùn)營(yíng)商DPI數(shù)據(jù)歸線性轉(zhuǎn)換模型線性轉(zhuǎn)換模型向量化向量化操作主導(dǎo)優(yōu)勢(shì)時(shí)間序列分析多元橫截面數(shù)據(jù)數(shù)據(jù)管理及挖掘面板數(shù)據(jù)處理數(shù)值分析，復(fù)雜模型算法及繪圖經(jīng)濟(jì)通信，政府，金融，制造，醫(yī)藥，教育等市場(chǎng)調(diào)研，醫(yī)藥研金融管理等經(jīng)濟(jì)建筑工程學(xué)術(shù)研究，醫(yī)藥研發(fā)，IT推斷統(tǒng)計(jì)推斷及多元統(tǒng)計(jì)批量數(shù)據(jù)集統(tǒng)計(jì)預(yù)測(cè)，優(yōu)化建模統(tǒng)計(jì)分析，數(shù)據(jù)挖掘直觀，可視化簡(jiǎn)易，可視化語(yǔ)言機(jī)械規(guī)范化可視，代碼靈活偏向底層語(yǔ)言豐富靈活軟件穩(wěn)定大數(shù)據(jù)易丟失軟件穩(wěn)定軟件穩(wěn)定軟件穩(wěn)定軟件穩(wěn)定高，穩(wěn)定低，不適宜大數(shù)據(jù)高，穩(wěn)定高，穩(wěn)定高，穩(wěn)定極適合大量數(shù)據(jù)第81頁(yè)2.3常見技術(shù)架構(gòu)-數(shù)據(jù)資源中心(平臺(tái))-技術(shù)架構(gòu)(8個(gè)區(qū))數(shù)據(jù)管控層數(shù)據(jù)管控層數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量主數(shù)據(jù)元數(shù)據(jù)數(shù)據(jù)安全數(shù)據(jù)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量主數(shù)據(jù)元數(shù)據(jù)數(shù)據(jù)安全平臺(tái)管控體系(流程調(diào)度層)安全審計(jì)與可視化開發(fā)規(guī)范建模規(guī)范壓力測(cè)試監(jiān)控應(yīng)急據(jù)查詢實(shí)時(shí)數(shù)據(jù)查詢歷史歸檔數(shù)據(jù)區(qū)實(shí)時(shí)數(shù)據(jù)區(qū)處理后大數(shù)據(jù)數(shù)據(jù)增值產(chǎn)品增值產(chǎn)合生產(chǎn)制造市場(chǎng)物流問(wèn)層算層換層數(shù)據(jù)邊+端管云應(yīng)用現(xiàn)在(內(nèi)網(wǎng))生產(chǎn)設(shè)備Al平臺(tái)Al平臺(tái)基礎(chǔ)架構(gòu)設(shè)備接入規(guī)則引擎..1、數(shù)據(jù)管理工具現(xiàn)狀及發(fā)展趨勢(shì)目錄目錄1.2數(shù)據(jù)架構(gòu)演變及發(fā)展趨勢(shì)1.3數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖、數(shù)據(jù)中臺(tái)關(guān)系及差異2、企業(yè)級(jí)數(shù)據(jù)管理平臺(tái)架構(gòu)2.1技術(shù)架構(gòu)體系2.2數(shù)據(jù)資產(chǎn)平臺(tái)工具(主數(shù)據(jù)、數(shù)據(jù)指標(biāo)、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量等)2.3數(shù)據(jù)湖平臺(tái)工具3、數(shù)據(jù)平臺(tái)實(shí)施路徑及建議33.1實(shí)施方法、步驟及難點(diǎn)分析3.2相關(guān)啟示和建議第89頁(yè)建立數(shù)據(jù)資源共享與開發(fā)利用管理機(jī)制建立數(shù)據(jù)資源共享與開發(fā)利用管理機(jī)制關(guān)鍵要素關(guān)鍵要素總體規(guī)劃思路及方法論數(shù)據(jù)治理大數(shù)據(jù)平臺(tái)大數(shù)據(jù)應(yīng)用數(shù)據(jù)治理數(shù)據(jù)流程平臺(tái)數(shù)據(jù)流程平臺(tái)藍(lán)圖規(guī)劃度實(shí)施方法論試點(diǎn)先行、總結(jié)完善、逐步推廣質(zhì)量管理實(shí)施方法論試點(diǎn)先行、總結(jié)完善、逐步推廣質(zhì)量管理資源管理實(shí)施計(jì)劃項(xiàng)目管理項(xiàng)目群管理頂層設(shè)計(jì)、分步實(shí)施計(jì)劃與進(jìn)度管理成本管理第90頁(yè)開發(fā)組開發(fā)組測(cè)試組運(yùn)維組需求分析組軟件廠商