數(shù)據(jù)湖建設項目解決方案

數(shù)據(jù)湖建設項目解決方案構建安全、可信、高可用、高性能的大數(shù)據(jù)管理與應用底座02總體規(guī)劃03建設方案04實施方案01總體概述建設背景集團數(shù)據(jù)智能化集團數(shù)據(jù)智能化行業(yè)運營智能化經營管理行業(yè)運營智能化經營管理智能化“4智”應用基礎支撐應用基礎支撐業(yè)務作業(yè)業(yè)務作業(yè)智能化解決數(shù)據(jù)“匯”、“存”、“管解決數(shù)據(jù)“匯”、“存”、“管”、“用”、“數(shù)據(jù)湖及應用平臺開發(fā)管理、數(shù)據(jù)服務管理、數(shù)據(jù)安全管理和監(jiān)控集團信息化現(xiàn)狀分析11223344業(yè)務運營和管理遇到的問題分析集團高管層（決策層）n信息化投入較大，卻不能及時有效了解集團整體業(yè)務運營情況n海量業(yè)務報表，卻無法對決策管理提供有效支撐n無法通過企業(yè)關鍵績效指導決策業(yè)務運營管理層n大量時間精力投入到數(shù)據(jù)收集、報表制作中n缺乏統(tǒng)一的業(yè)務運營口徑和指標標準n業(yè)務的管理口徑和財務口徑不一致，各部門運營管理信息存在交叉重復n對上級部門運營管理匯報要求不夠靈活，響應效率低下；對下級單位數(shù)據(jù)收集不及時、不準確n運營管理缺乏綜合性系統(tǒng)和完整的數(shù)據(jù)支撐能力IT服務支撐層n缺少統(tǒng)一的平臺滿足決策層、管理層和運營層等對數(shù)據(jù)應用的各種需求n運營管理需求反復變更、“多對多”的情況，IT服務部門疲于應付n運營管理應用需求類型多、數(shù)量多、口徑不一和數(shù)據(jù)質量差等原因，導致開發(fā)周期較長，時效性差等問題n業(yè)務數(shù)據(jù)來源分散，缺乏整合統(tǒng)一的基礎數(shù)據(jù)，無法有效支撐決策和管理總體建設目標借助5G、云計算、大數(shù)據(jù)、物聯(lián)網和人工智能等技術，重點解決戰(zhàn)略閉環(huán)、業(yè)務運營、管理支撐等業(yè)務系統(tǒng)間數(shù)據(jù)不通和數(shù)據(jù)孤島等問題，15346721534672數(shù)據(jù)匯聚能力數(shù)據(jù)存儲能力數(shù)據(jù)治理能力數(shù)據(jù)分析能力數(shù)據(jù)服務能力數(shù)據(jù)應用能力數(shù)據(jù)匯聚能力數(shù)據(jù)存儲能力數(shù)據(jù)治理能力數(shù)據(jù)分析能力數(shù)據(jù)服務能力數(shù)據(jù)應用能力?統(tǒng)計分析?靈活查詢?多維分析?數(shù)據(jù)挖掘?人工智能?標簽管理?指標管理?知識圖譜?數(shù)據(jù)可視化離線數(shù)據(jù)采集?統(tǒng)計分析?靈活查詢?多維分析?數(shù)據(jù)挖掘?人工智能?標簽管理?指標管理?知識圖譜?數(shù)據(jù)可視化離線數(shù)據(jù)采集實時數(shù)據(jù)采集結構化數(shù)據(jù)采集非結構化數(shù)據(jù)采集視頻數(shù)據(jù)采集物聯(lián)網數(shù)據(jù)采集互聯(lián)網數(shù)據(jù)采集手工數(shù)據(jù)補錄采集?數(shù)據(jù)庫數(shù)據(jù)存儲?文件數(shù)據(jù)存儲?圖片數(shù)據(jù)存儲?聲音數(shù)據(jù)存儲?視頻數(shù)據(jù)存儲?關系圖譜數(shù)據(jù)存儲?時序數(shù)據(jù)存儲?數(shù)據(jù)需求管理?資源目錄管理?數(shù)據(jù)服務接口管理?數(shù)據(jù)共享交換管理?數(shù)據(jù)報送管理?數(shù)據(jù)開放管理?數(shù)據(jù)服務評價人員管理用戶管理營銷管理渠道管理財務管理風控管理工程管理生產管理監(jiān)管報送…?數(shù)據(jù)運維管理?數(shù)據(jù)產品管理?數(shù)據(jù)資產價值評估?數(shù)據(jù)資產營銷推廣?數(shù)據(jù)資產合作?數(shù)據(jù)資產價值變現(xiàn)?數(shù)據(jù)運營考核評價???????????????數(shù)據(jù)標準管理?數(shù)據(jù)建模管理?數(shù)據(jù)開發(fā)管理?數(shù)據(jù)調度管理?數(shù)據(jù)質量管理?元數(shù)據(jù)管理?????……?數(shù)據(jù)生命周期管理……???………建設目標本期目標業(yè)務+（私域流量業(yè)務）綜合分析和智能化應用，總結經驗教訓，為集團數(shù)據(jù)湖及應用平臺的整體建設奠定基礎。55共享服務需求分析資源目錄梳理共享服務發(fā)布共享服務申請共享服務授權共享服務調用114n總體架構規(guī)劃n數(shù)據(jù)架構規(guī)劃n技術架構規(guī)劃n應用體系規(guī)劃n數(shù)據(jù)治理規(guī)劃n數(shù)據(jù)共享規(guī)劃n平臺工具規(guī)劃n平臺建設藍圖規(guī)劃應用設計用戶需求分析數(shù)據(jù)及應用開發(fā)數(shù)據(jù)共享與服務對接3用戶信息調研用戶數(shù)據(jù)采集數(shù)據(jù)標準管理用戶數(shù)據(jù)建模用戶數(shù)據(jù)開發(fā)元數(shù)據(jù)3用戶信息調研用戶數(shù)據(jù)采集數(shù)據(jù)標準管理用戶數(shù)據(jù)建模用戶數(shù)據(jù)開發(fā)元數(shù)據(jù)管理數(shù)據(jù)質量檢查2數(shù)據(jù)共享交換產品安裝部署2數(shù)據(jù)共享交換產品安裝部署數(shù)據(jù)治理產品安裝部署大數(shù)據(jù)平臺TBDS安裝部署預期成效：”七步走”解決企業(yè)面臨的數(shù)字化轉型發(fā)展痛點 信息煙囪03利益割據(jù)數(shù)據(jù)分散 信息煙囪03利益割據(jù)數(shù)據(jù)分散3數(shù)據(jù)標準不統(tǒng)一安全保障不健全數(shù)據(jù)保密不全面管理機制3數(shù)據(jù)標準不統(tǒng)一安全保障不健全數(shù)據(jù)保密不全面管理機制不成體系0405060702總體規(guī)劃數(shù)據(jù)治理體系咨詢規(guī)劃技術平臺能力增強數(shù)據(jù)治理體系咨詢規(guī)劃技術平臺能力增強???第四階段?集團與四大事業(yè)部數(shù)據(jù)入湖全域數(shù)據(jù)采集、存儲、治理、?第四階段???AI平臺搭建與應用探索??AI平臺搭建與應用探索?基礎分析能力建設（指標、標簽、知識圖譜）?綜合分析應用建設??基礎分析能力建設（指標、標簽、知識圖譜）?綜合分析應用建設?實時分析與應用場景探索?重點應用建設支持?數(shù)據(jù)資產運營規(guī)劃?數(shù)據(jù)產品體系建設?數(shù)據(jù)產品價值評估體系建設?數(shù)據(jù)價值變現(xiàn)體系建設?數(shù)據(jù)運營安全體系建設?數(shù)據(jù)采集能力迭代升級?數(shù)據(jù)治理能力迭代升級?數(shù)據(jù)分析能力迭代升級?數(shù)據(jù)應用能力迭代升級?數(shù)據(jù)共享服務能力迭代升級?算法模型中心健全第三階段?數(shù)據(jù)采集技術平臺搭建第三階段??數(shù)據(jù)處理技術平臺搭建??數(shù)據(jù)調度技術平臺搭建?…?集團與事業(yè)部應用建設全面支撐（人員管理、用戶管理?…?集團與事業(yè)部應用建設全面支撐（人員管理、用戶管理?營銷管理、渠道管理、財務管理、工程管理、合同管理、生產管理、風控管理、應急指揮、監(jiān)管報送…）?數(shù)據(jù)共享技術平臺搭建第二階段?試點數(shù)據(jù)域（用戶）采集、存儲、治理、分析第二階段??AI服務能力迭代升級?場景應用持續(xù)推進?數(shù)據(jù)運營考核體系建設第一階段?基礎分析能力完善（指標、標簽、知識圖譜）第一階段???…?態(tài)勢感知能力建設…?實時分析應用場景體系建設?算法模型體系建設?AI服務體系化建設?區(qū)塊鏈技術場景應用數(shù)據(jù)湖及應用平臺總體架構（構建六個平臺、四個中心、三個保障體系，一個統(tǒng)一門戶）業(yè)務賦能業(yè)務賦能資金管理管理駕駛艙用戶分析客戶營銷財務分析產能預測風險審計監(jiān)管報送績效考核管理駕駛艙用戶分析客戶營銷財務分析產能預測風險審計監(jiān)管報送績效考核…保障體系保障體系標運安準維全規(guī)保保范障障體體體系系系數(shù)據(jù)統(tǒng)一門戶應用集成運營可視化統(tǒng)一用戶/權限平臺管理數(shù)據(jù)需求管理數(shù)據(jù)統(tǒng)一門戶應用集成運營可視化統(tǒng)一用戶/權限平臺管理數(shù)據(jù)需求管理數(shù)據(jù)資源目錄管理租戶管理9數(shù)據(jù)產品管理數(shù)據(jù)運營中心數(shù)據(jù)資產價值評估數(shù)據(jù)資產營銷推廣數(shù)據(jù)資產價值變現(xiàn)數(shù)據(jù)運營維護運營考核評價共享服務管理共享服務引擎78AI中心文本識別語音識別圖像識別語義解析影像識別…654數(shù)據(jù)治理平臺數(shù)據(jù)標準管理數(shù)據(jù)模型管理數(shù)據(jù)質量管理元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)安全管理數(shù)據(jù)生命周期管理數(shù)據(jù)分析平臺統(tǒng)計分析即席查詢多維分析數(shù)據(jù)挖掘機器學習…9數(shù)據(jù)產品管理數(shù)據(jù)運營中心數(shù)據(jù)資產價值評估數(shù)據(jù)資產營銷推廣數(shù)據(jù)資產價值變現(xiàn)數(shù)據(jù)運營維護運營考核評價共享服務管理共享服務引擎78AI中心文本識別語音識別圖像識別語義解析影像識別…654數(shù)據(jù)治理平臺數(shù)據(jù)標準管理數(shù)據(jù)模型管理數(shù)據(jù)質量管理元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)安全管理數(shù)據(jù)生命周期管理數(shù)據(jù)分析平臺統(tǒng)計分析即席查詢多維分析數(shù)據(jù)挖掘機器學習…數(shù)據(jù)共享開放平臺注冊注冊發(fā)布發(fā)布訂閱訂閱認證認證權鑒共享監(jiān)測共享服務保障權鑒共享監(jiān)測共享服務保障共享審計共享審計文件共享服務文件共享服務庫表共享服務庫表共享服務接口共享服務接口共享服務數(shù)據(jù)服務中心指標服務知識圖譜服務數(shù)據(jù)檢索服務數(shù)據(jù)沙箱服務數(shù)據(jù)沙箱服務標簽服務數(shù)據(jù)產品服務可信計算服務多方安全計算服務標簽服務數(shù)據(jù)產品服務可信計算服務多方安全計算服務…數(shù)據(jù)資源中心實時數(shù)據(jù)區(qū)實時數(shù)據(jù)存儲實時數(shù)據(jù)區(qū)實時數(shù)據(jù)存儲實時分析處理實時指標計算匯聚區(qū)臨時庫ODS庫基礎區(qū)主題區(qū)分析區(qū)應用集市區(qū)財務營銷管理標簽庫…實時分析21實時分析213數(shù)據(jù)處理平臺離線數(shù)據(jù)處理實時數(shù)據(jù)處理非結構化數(shù)據(jù)轉化數(shù)據(jù)統(tǒng)一調度3存儲計算平臺Hadoop關系數(shù)據(jù)庫MPP內存數(shù)據(jù)庫圖數(shù)據(jù)庫時序數(shù)據(jù)庫對象數(shù)據(jù)庫數(shù)據(jù)匯聚平臺數(shù)據(jù)共享交換離線數(shù)據(jù)同步實時數(shù)據(jù)同步爬蟲數(shù)據(jù)補錄互聯(lián)網數(shù)據(jù)互聯(lián)網數(shù)據(jù)物聯(lián)網數(shù)據(jù)外部數(shù)據(jù)……數(shù)據(jù)源…數(shù)據(jù)源業(yè)務系統(tǒng)四階段：運營二階段四階段：運營二階段：夯實一階段：打基礎三階段：完善業(yè)務賦能業(yè)務賦能資金管理管理駕駛艙用戶分析客戶營銷財務分析產能預測風險審計監(jiān)管報送績效考核管理駕駛艙用戶分析客戶營銷財務分析產能預測風險審計監(jiān)管報送績效考核…保障體系保障體系標運安準維全規(guī)保保范障障體體體系系系數(shù)據(jù)統(tǒng)一門戶應用集成統(tǒng)一用戶/權限平臺管理數(shù)據(jù)資源目錄管理租戶管理數(shù)據(jù)需求管理運營可視化數(shù)據(jù)統(tǒng)一門戶應用集成統(tǒng)一用戶/權限平臺管理數(shù)據(jù)資源目錄管理租戶管理數(shù)據(jù)需求管理運營可視化9數(shù)據(jù)產品管理數(shù)據(jù)運營中心數(shù)據(jù)資產價值評估數(shù)據(jù)資產營銷推廣數(shù)據(jù)資產價值變現(xiàn)數(shù)據(jù)運營維護運營考核評價共享服務管理共享服務引擎78AI中心文本識別語音識別圖像識別語義解析影像識別…654數(shù)據(jù)治理平臺數(shù)據(jù)標準管理數(shù)據(jù)模型管理數(shù)據(jù)質量管理元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)安全管理數(shù)據(jù)生命周期管理數(shù)據(jù)分析平臺統(tǒng)計分析即席查詢多維分析數(shù)據(jù)挖掘機器學習…9數(shù)據(jù)產品管理數(shù)據(jù)運營中心數(shù)據(jù)資產價值評估數(shù)據(jù)資產營銷推廣數(shù)據(jù)資產價值變現(xiàn)數(shù)據(jù)運營維護運營考核評價共享服務管理共享服務引擎78AI中心文本識別語音識別圖像識別語義解析影像識別…654數(shù)據(jù)治理平臺數(shù)據(jù)標準管理數(shù)據(jù)模型管理數(shù)據(jù)質量管理元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)安全管理數(shù)據(jù)生命周期管理數(shù)據(jù)分析平臺統(tǒng)計分析即席查詢多維分析數(shù)據(jù)挖掘機器學習…數(shù)據(jù)共享開放平臺注冊注冊發(fā)布發(fā)布訂閱訂閱認證認證權鑒共享監(jiān)測共享服務保障權鑒共享監(jiān)測共享服務保障共享審計共享審計文件共享服務文件共享服務庫表共享服務庫表共享服務接口共享服務接口共享服務數(shù)據(jù)服務中心指標服務知識圖譜服務數(shù)據(jù)檢索服務數(shù)據(jù)沙箱服務數(shù)據(jù)沙箱服務標簽服務數(shù)據(jù)產品服務可信計算服務多方安全計算服務標簽服務數(shù)據(jù)產品服務可信計算服務多方安全計算服務…數(shù)據(jù)資源中心實時數(shù)據(jù)區(qū)實時數(shù)據(jù)存儲實時數(shù)據(jù)區(qū)實時數(shù)據(jù)存儲實時分析處理實時指標計算匯聚區(qū)臨時庫ODS庫基礎區(qū)主題區(qū)分析區(qū)應用集市區(qū)財務營銷管理標簽庫…實時分析21實時分析213數(shù)據(jù)處理平臺離線數(shù)據(jù)處理實時數(shù)據(jù)處理非結構化數(shù)據(jù)轉化數(shù)據(jù)統(tǒng)一調度3存儲計算平臺Hadoop內存數(shù)據(jù)庫關系數(shù)據(jù)庫MPP圖數(shù)據(jù)庫時序數(shù)據(jù)庫對象數(shù)據(jù)庫數(shù)據(jù)匯聚平臺數(shù)據(jù)共享交換離線數(shù)據(jù)同步實時數(shù)據(jù)同步爬蟲數(shù)據(jù)補錄互聯(lián)網數(shù)據(jù)互聯(lián)網數(shù)據(jù)物聯(lián)網數(shù)據(jù)外部數(shù)據(jù)……數(shù)據(jù)源…數(shù)據(jù)源業(yè)務系統(tǒng)數(shù)據(jù)湖及應用平臺數(shù)據(jù)架構（統(tǒng)一標準，構建集團和四大事業(yè)部數(shù)據(jù)湖的六大數(shù)據(jù)區(qū)）離線采集實時服務API管理駕駛艙指標服務API用戶分析標簽服務API客戶營銷關系圖譜服務API資金管理數(shù)據(jù)檢索服務API財務分析文件共享風險審計數(shù)據(jù)庫共享指揮調度API共享績效考核產能預測實時數(shù)據(jù)源物聯(lián)感知數(shù)據(jù)實時營銷數(shù)據(jù)物流數(shù)據(jù)…外部數(shù)據(jù)離線數(shù)據(jù)源業(yè)務系統(tǒng)實時采集消息CDCAPI...文件數(shù)據(jù)庫接口離線采集實時服務API管理駕駛艙指標服務API用戶分析標簽服務API客戶營銷關系圖譜服務API資金管理數(shù)據(jù)檢索服務API財務分析文件共享風險審計數(shù)據(jù)庫共享指揮調度API共享績效考核產能預測實時數(shù)據(jù)源物聯(lián)感知數(shù)據(jù)實時營銷數(shù)據(jù)物流數(shù)據(jù)…外部數(shù)據(jù)離線數(shù)據(jù)源業(yè)務系統(tǒng)實時采集消息CDCAPI...文件數(shù)據(jù)庫接口16324主題區(qū)用戶管理營銷管理財務管理運營管理風險管理集市區(qū)經營分析用戶畫像財務分析風險審計產能預警監(jiān)管報送事業(yè)部應用…5分析區(qū)指標庫標簽庫關系圖譜…匯聚區(qū)ODS庫集團數(shù)據(jù)健康數(shù)據(jù)藥品數(shù)據(jù)中藥數(shù)據(jù)合約省醫(yī)藥數(shù)據(jù)……臨時庫基礎區(qū)采購16324主題區(qū)用戶管理營銷管理財務管理運營管理風險管理集市區(qū)經營分析用戶畫像財務分析風險審計產能預警監(jiān)管報送事業(yè)部應用…5分析區(qū)指標庫標簽庫關系圖譜…匯聚區(qū)ODS庫集團數(shù)據(jù)健康數(shù)據(jù)藥品數(shù)據(jù)中藥數(shù)據(jù)合約省醫(yī)藥數(shù)據(jù)……臨時庫基礎區(qū)采購當事人生產內部機構銷售地理區(qū)域庫存產品營銷運輸事件財務計劃項目實時區(qū)實時區(qū)實時數(shù)據(jù)存儲實時分析處理實時指標計算數(shù)據(jù)安全服務API監(jiān)管報送……互聯(lián)網數(shù)據(jù)補錄填報6...數(shù)據(jù)安全服務API監(jiān)管報送……互聯(lián)網數(shù)據(jù)補錄填報6...2543事業(yè)部匯聚區(qū)事業(yè)部事業(yè)部事業(yè)部2543事業(yè)部匯聚區(qū)事業(yè)部事業(yè)部事業(yè)部事業(yè)部臨時庫ODS庫基礎區(qū)主題區(qū)分析區(qū)應用集市區(qū)1 事業(yè)部實時區(qū)1、分析和數(shù)據(jù)共享服務；集團數(shù)據(jù)湖根據(jù)事業(yè)部數(shù)據(jù)需求分采用集團統(tǒng)一標準、統(tǒng)一建設、統(tǒng)一管理和統(tǒng)一16324用戶管理營銷管理財務管理運營管理風險管理…經營分析用戶畫像財務分析風險審計產能預警監(jiān)管報送事業(yè)部應用…指標庫標簽庫關系圖譜主題區(qū)16324用戶管理營銷管理財務管理運營管理風險管理…經營分析用戶畫像財務分析風險審計產能預警監(jiān)管報送事業(yè)部應用…指標庫標簽庫關系圖譜主題區(qū)集市區(qū)分析區(qū)5實時區(qū)實時區(qū)實時數(shù)據(jù)存儲實時分析處理實時指標計算匯聚區(qū)匯聚區(qū)ODS庫集團數(shù)據(jù)健康數(shù)據(jù)產品藥品數(shù)據(jù)營銷中藥數(shù)據(jù)合約省醫(yī)藥數(shù)據(jù)項目地理區(qū)域內部機構臨時庫基礎區(qū)當事人庫存財務銷售生產采購運輸事件計劃……26543事業(yè)部匯聚區(qū)事業(yè)部事業(yè)部事業(yè)部26543事業(yè)部匯聚區(qū)事業(yè)部事業(yè)部事業(yè)部事業(yè)部 臨時庫ODS庫基礎區(qū)主題區(qū)分析區(qū)+應用集市區(qū)1 事業(yè)部實時區(qū)103建設方案項目建設范圍用n總體架構規(guī)劃n數(shù)據(jù)架構規(guī)劃n技術架構規(guī)劃n應用體系規(guī)劃n數(shù)據(jù)治理規(guī)劃n數(shù)據(jù)共享規(guī)劃n平臺工具規(guī)劃n平臺建設藍圖規(guī)劃nTBDS基礎平臺搭n數(shù)據(jù)治理平臺搭建n數(shù)據(jù)共享服務平臺搭建3.數(shù)據(jù)匯聚4.數(shù)據(jù)資源中心建設nn健康事業(yè)部用戶數(shù)據(jù)匯聚n省醫(yī)藥公司用戶數(shù)據(jù)匯聚n藥品事業(yè)部用戶數(shù)據(jù)匯聚n云健康事業(yè)部用戶數(shù)據(jù)匯聚n信息調研n基礎區(qū)數(shù)據(jù)模型設計n主題區(qū)數(shù)據(jù)模型設計n應用數(shù)據(jù)集市模型設計n數(shù)據(jù)清洗、轉換和匯總n數(shù)據(jù)標準管理n元數(shù)據(jù)管理n數(shù)據(jù)質量管理nC端用戶分析需求調研nC端用戶數(shù)據(jù)分析設計nC源用戶數(shù)據(jù)分析開發(fā)nC端用戶數(shù)據(jù)資源目錄梳理nC端用戶數(shù)據(jù)共享發(fā)布項目建設總體思路FineReportFineBIFineReportFineBI本期范圍項目邏輯架構：搭建基礎平臺，以集團C端用戶需求為試點打通數(shù)據(jù)湖鏈路本期范圍業(yè)務賦能業(yè)務賦能資金管理管理駕駛艙用戶分析客戶營銷財務分析產能預測風險審計監(jiān)管報送績效考核管理駕駛艙用戶分析客戶營銷財務分析產能預測風險審計監(jiān)管報送績效考核…保障體系保障體系標運安準維全規(guī)保保范障障體體體系系系數(shù)據(jù)統(tǒng)一門戶應用集成統(tǒng)一用戶/權限平臺管理數(shù)據(jù)資源目錄管理租戶管理數(shù)據(jù)需求管理運營可視化數(shù)據(jù)統(tǒng)一門戶應用集成統(tǒng)一用戶/權限平臺管理數(shù)據(jù)資源目錄管理租戶管理數(shù)據(jù)需求管理運營可視化9數(shù)據(jù)產品管理數(shù)據(jù)運營中心數(shù)據(jù)資產價值評估數(shù)據(jù)資產營銷推廣數(shù)據(jù)資產價值變現(xiàn)數(shù)據(jù)運營維護運營考核評價共享服務管理共享服務引擎78AI中心文本識別語音識別圖像識別語義解析影像識別…69數(shù)據(jù)產品管理數(shù)據(jù)運營中心數(shù)據(jù)資產價值評估數(shù)據(jù)資產營銷推廣數(shù)據(jù)資產價值變現(xiàn)數(shù)據(jù)運營維護運營考核評價共享服務管理共享服務引擎78AI中心文本識別語音識別圖像識別語義解析影像識別…6數(shù)據(jù)共享開放平臺注冊注冊發(fā)布發(fā)布訂閱訂閱認證認證權鑒共享監(jiān)測共享服務保障權鑒共享監(jiān)測共享服務保障共享審計共享審計文件共享服務文件共享服務庫表共享服務庫表共享服務接口共享服務接口共享服務數(shù)據(jù)服務中心指標服務知識圖譜服務數(shù)據(jù)檢索服務數(shù)據(jù)沙箱服務數(shù)據(jù)沙箱服務標簽服務數(shù)據(jù)產品服務可信計算服務多方安全計算服務標簽服務數(shù)據(jù)產品服務可信計算服務多方安全計算服務…54數(shù)據(jù)治理平臺數(shù)據(jù)標準管理數(shù)據(jù)模型管理數(shù)據(jù)質量管理元數(shù)據(jù)管理數(shù)據(jù)分析平臺統(tǒng)計分析即席查詢多維分析數(shù)據(jù)挖掘機器學習…54數(shù)據(jù)治理平臺數(shù)據(jù)標準管理數(shù)據(jù)模型管理數(shù)據(jù)質量管理元數(shù)據(jù)管理數(shù)據(jù)分析平臺統(tǒng)計分析即席查詢多維分析數(shù)據(jù)挖掘機器學習…數(shù)據(jù)資源中心實時數(shù)據(jù)區(qū)實時數(shù)據(jù)存儲實時數(shù)據(jù)區(qū)實時數(shù)據(jù)存儲實時分析處理實時指標計算匯聚區(qū)臨時庫ODS庫基礎區(qū)主題區(qū)分析區(qū)應用集市區(qū)財務營銷管理標簽庫…主數(shù)據(jù)管理數(shù)據(jù)安全管理數(shù)據(jù)生命周期管理實時分析21主數(shù)據(jù)管理數(shù)據(jù)安全管理數(shù)據(jù)生命周期管理實時分析213數(shù)據(jù)處理平臺離線數(shù)據(jù)處理實時數(shù)據(jù)處理非結構化數(shù)據(jù)轉化數(shù)據(jù)統(tǒng)一調度3存儲計算平臺Hadoop內存數(shù)據(jù)庫關系數(shù)據(jù)庫MPP圖數(shù)據(jù)庫時序數(shù)據(jù)庫對象數(shù)據(jù)庫數(shù)據(jù)匯聚平臺數(shù)據(jù)共享交換離線數(shù)據(jù)同步實時數(shù)據(jù)同步爬蟲數(shù)據(jù)補錄互聯(lián)網數(shù)據(jù)互聯(lián)網數(shù)據(jù)物聯(lián)網數(shù)據(jù)外部數(shù)據(jù)……數(shù)據(jù)源…數(shù)據(jù)源業(yè)務系統(tǒng)項目數(shù)據(jù)架構（4）治理（5）分析本期范圍本期范圍離線采集實時服務API管理駕駛艙指標服務API用戶分析標簽服務API客戶營銷關系圖譜服務API資金管理數(shù)據(jù)檢索服務API財務分析文件共享風險審計數(shù)據(jù)庫共享指揮調度API共享績效考核產能預測實時數(shù)據(jù)源物聯(lián)感知數(shù)據(jù)實時營銷數(shù)據(jù)物流數(shù)據(jù)…離線數(shù)據(jù)源健康事業(yè)部用戶數(shù)據(jù)省醫(yī)藥公司用戶數(shù)據(jù)藥品事業(yè)部用戶數(shù)據(jù)實時采集消息CDCAPI...文件數(shù)據(jù)庫接口離線采集實時服務API管理駕駛艙指標服務API用戶分析標簽服務API客戶營銷關系圖譜服務API資金管理數(shù)據(jù)檢索服務API財務分析文件共享風險審計數(shù)據(jù)庫共享指揮調度API共享績效考核產能預測實時數(shù)據(jù)源物聯(lián)感知數(shù)據(jù)實時營銷數(shù)據(jù)物流數(shù)據(jù)…離線數(shù)據(jù)源健康事業(yè)部用戶數(shù)據(jù)省醫(yī)藥公司用戶數(shù)據(jù)藥品事業(yè)部用戶數(shù)據(jù)實時采集消息CDCAPI...文件數(shù)據(jù)庫接口16324主題區(qū)用戶管理營銷管理財務管理運營管理風險管理集市區(qū)經營分析用戶畫像財務分析風險審計產能預警監(jiān)管報送事業(yè)部應用…5分析區(qū)指標庫標簽庫關系圖譜…匯聚區(qū)ODS庫集團數(shù)據(jù)健康數(shù)據(jù)藥品數(shù)據(jù)中藥數(shù)據(jù)合約省醫(yī)藥數(shù)據(jù)……臨時庫基礎區(qū)采購當事人16324主題區(qū)用戶管理營銷管理財務管理運營管理風險管理集市區(qū)經營分析用戶畫像財務分析風險審計產能預警監(jiān)管報送事業(yè)部應用…5分析區(qū)指標庫標簽庫關系圖譜…匯聚區(qū)ODS庫集團數(shù)據(jù)健康數(shù)據(jù)藥品數(shù)據(jù)中藥數(shù)據(jù)合約省醫(yī)藥數(shù)據(jù)……臨時庫基礎區(qū)采購當事人生產內部機構銷售地理區(qū)域庫存產品營銷運輸事件財務計劃項目實時區(qū)實時區(qū)實時數(shù)據(jù)存儲實時分析處理實時指標計算數(shù)據(jù)安全服務API監(jiān)管報送……云健康事業(yè)部用戶數(shù)據(jù)補錄填報6...數(shù)據(jù)安全服務API監(jiān)管報送……云健康事業(yè)部用戶數(shù)據(jù)補錄填報6...12543事業(yè)部主題區(qū)事業(yè)部分析區(qū)事業(yè)部應用集市區(qū)事業(yè)部12543事業(yè)部主題區(qū)事業(yè)部分析區(qū)事業(yè)部應用集市區(qū)事業(yè)部基礎區(qū)事業(yè)部實時區(qū)事業(yè)部實時區(qū)臨時庫臨時庫ODS庫1.數(shù)據(jù)湖平臺框架體系規(guī)劃服務提供商輸入與分析業(yè)務與IT部門輸入現(xiàn)狀調研現(xiàn)狀調研行業(yè)最佳實踐評估建議評估建議現(xiàn)狀期望問題! !分項規(guī)劃分項規(guī)劃藍圖規(guī)劃與演進平臺搭建流程預期成效2、基礎技術平臺搭建平臺搭建流程預期成效22 通??????…????????…?…3、數(shù)據(jù)采集匯聚臨時區(qū)智慧零售達人管理erp電商平臺用戶電商平臺用戶S臨時區(qū)智慧零售達人管理erp電商平臺用戶電商平臺用戶S電商系統(tǒng)數(shù)據(jù)電商平臺門店用戶數(shù)據(jù)生意參謀微信公眾號后臺醫(yī)療器械孩子王電商系統(tǒng)數(shù)據(jù)電商平臺門店用戶數(shù)據(jù)生意參謀微信公眾號后臺醫(yī)療器械孩子王數(shù)據(jù)庫數(shù)據(jù)庫文件文件CDCCDC日志消息消息接口接口數(shù)據(jù)源管理數(shù)據(jù)采集開發(fā)管理數(shù)據(jù)采集調度管理數(shù)據(jù)采集監(jiān)控預警22 ?匯聚業(yè)務范圍確定?匯聚系統(tǒng)范圍確定?匯聚表范圍確定?匯聚手工數(shù)據(jù)范圍確定?系統(tǒng)信息整理?用戶信息配置?匯聚調度任務整理?數(shù)據(jù)字典整理?數(shù)據(jù)源配置?匯聚調度任務基礎信?接口信息整理?匯聚區(qū)建表配置息配置?網絡信息整理?數(shù)據(jù)匯聚任務配置與?匯聚調度任務依賴觸開發(fā)?數(shù)據(jù)匯聚任務測試?數(shù)據(jù)匯聚查看和問題處理發(fā)配置?任務調度測試驗證?調度任務監(jiān)控配置?匯聚任務監(jiān)控預警?匯聚監(jiān)控任務故障處理?日常運維巡檢理和監(jiān)控運維。?4、數(shù)據(jù)體系建設—總體流程需求分析系統(tǒng)設計系統(tǒng)開發(fā)上線與維護系統(tǒng)軟硬件資源安裝系統(tǒng)測試與驗收系統(tǒng)管理與維護業(yè)務調研(BD）計談系統(tǒng)軟硬件資源安裝系統(tǒng)測試與驗收系統(tǒng)管理與維護業(yè)務調研(BD）計談①②③④4、數(shù)據(jù)資源中心建設—步驟一：信息調研?了解企業(yè)的整體IT架構和發(fā)展規(guī)劃?了解企業(yè)的當前業(yè)務系統(tǒng)的現(xiàn)狀?了解3-5年內業(yè)務系統(tǒng)建設的規(guī)化?了解企業(yè)針對信息系統(tǒng)建設標準化的規(guī)劃?掌握業(yè)務系統(tǒng)之間的業(yè)務功能劃分?掌握業(yè)務系統(tǒng)之間的數(shù)據(jù)交換、流向、以及數(shù)據(jù)衍生關系?掌握現(xiàn)有分析系統(tǒng)從業(yè)務系統(tǒng)之間進行數(shù)據(jù)抽取的內容和方式?掌握現(xiàn)有分析系統(tǒng)和業(yè)務系統(tǒng)以及應用系統(tǒng)的數(shù)據(jù)回送情況?詳細查看每個實體業(yè)務含義和數(shù)據(jù)特征、并且進行分類和取舍定義?詳細查看每個字段業(yè)務含義和數(shù)據(jù)物理特征、進行分類和取舍定義?掌握針對人員、組織機構、客戶、營銷、產品、渠道、合同、財務、生產、ERP等定義重要業(yè)務編碼規(guī)則?仔細整理業(yè)務系統(tǒng)的代碼編碼、主外鍵關聯(lián)關系??檢查客戶提供的重要業(yè)務編碼規(guī)則是否在系統(tǒng)中完整執(zhí)行?檢查業(yè)務系統(tǒng)的代碼的一致性和完整性，并且做出代碼映射關系?基于實體和字段的物理特征，給出初步的數(shù)據(jù)質量審核報告?基于現(xiàn)有ID情況，結合業(yè)務需求調研，進行簡要的缺口分析6調研報告評審準備訪談分析評審6調研報告評審55調研報告編寫調研報告編寫各個源系統(tǒng)分別進行各個源系統(tǒng)分別進行4樣本數(shù)據(jù)分析2.評審信息調研報告3字段級調研1.通過分析樣本數(shù)據(jù)驗證前期調研21.根據(jù)調研結果及入模型策略篩選入倉范圍2.3字段級調研1.通過分析樣本數(shù)據(jù)驗證前期調研2的結果、分析表間關系的結果、分析表間關系2.在復原源系統(tǒng)ER圖的過程中了解表之間關系、表與字段的業(yè)務含義系統(tǒng)與表級調研11.了解源系統(tǒng)的字段的業(yè)務含義1資料收集2.只調研初步篩選資料收集1.了解系統(tǒng)系統(tǒng)架構、1.了解系統(tǒng)系統(tǒng)架構、功能、業(yè)務處理及其它系統(tǒng)間的關系持續(xù)迭代完善持續(xù)迭代完善1.收集源系統(tǒng)源：系統(tǒng)需求文檔、操作手冊、表結1.收集源系統(tǒng)源：系統(tǒng)需求文檔、操作手冊、表結構說明書、代碼值、樣本數(shù)據(jù)、建庫腳本3.了解數(shù)據(jù)表的業(yè)務含義，并初步篩選出關注的表4.篩選出需求相關的表4、數(shù)據(jù)資源中心建設—步驟二：①數(shù)據(jù)模型設計方法↓務問據(jù)型視↓務問據(jù)型視4、數(shù)據(jù)資源中心建設—步驟二：②數(shù)據(jù)區(qū)定位與數(shù)據(jù)模型設計流程①從業(yè)務的角度出發(fā)全部原始數(shù)據(jù)全部原始數(shù)據(jù)核心數(shù)據(jù)、清洗融合后匯總與分析數(shù)據(jù)特定需求數(shù)據(jù)備 /驗 /驗證型型計項目管理：文檔、溝通、問題跟蹤、回顧、驗證、測試、項目管理：文檔、溝通、問題跟蹤、回顧、驗證、測試、4、數(shù)據(jù)資源中心建設—步驟二：③基礎區(qū)數(shù)據(jù)模型設計線上媒體數(shù)據(jù)電商訂單數(shù)據(jù)數(shù)據(jù)采集、數(shù)據(jù)清洗數(shù)據(jù)采集、數(shù)據(jù)清洗線上媒體數(shù)據(jù)電商訂單數(shù)據(jù)數(shù)據(jù)采集、數(shù)據(jù)清洗數(shù)據(jù)采集、數(shù)據(jù)清洗基礎區(qū)建模數(shù)據(jù)采集、數(shù)據(jù)清洗線下活動數(shù)據(jù)數(shù)據(jù)采集、數(shù)據(jù)清洗微信行為數(shù)據(jù)數(shù)據(jù)標準化ID識別微信openid手機號碼EmailQQ男性30歲華東地區(qū)會員等級會員積分會員權益CookieMAC微信unionid的行為“像素”。4、數(shù)據(jù)資源中心建設—步驟二：⑤用戶標簽設計源數(shù)據(jù)標簽體系標簽構建源數(shù)據(jù)標簽體系【訂單】女裝無縫羽絨長大衣409125金額：【訂單】女裝無縫羽絨長大衣409125金額：1299元收貨地址：上海市X區(qū)XX大街手機號：138****8271購買時間：2018/01/1109:21:212017/10/2119:40:22關注公眾號微信昵稱：skyfly001微信OPENID：nsisuykksikqy閱讀“U系列2019春夏款Lookbook”點擊菜單“會員福利-50元心意券”閱讀“2018年代表作”文章點擊菜單“年貨買買買”點擊商城-男裝-HEATTECH，訪問某倍舒暖商品詳情頁收藏男裝HEATTECH螺紋圓領T恤413314瀏覽新春新品活動頁消費者維度認知信息人口信息活動偏好情感信息產品偏好場景偏好產品維度視覺系統(tǒng)功能賣點基本認知信息人口信息活動偏好情感信息產品偏好場景偏好產品維度視覺系統(tǒng)功能賣點基本信息情感賣點價格體系促銷活動銷售終端相對穩(wěn)定的信息、人口學屬性、身份屬性性別有孩教育水平年齡地域婚否職業(yè)內容場景社交屬性地點類型文化氛圍關鍵社交屬性地點類型文化氛圍關鍵詞衍生品根據(jù)行為與軌跡、自定義規(guī)則，自動添加參與X活動領取權益瀏覽X頁面線上消費線下消費報名訪問時長00:21:34跳出依據(jù)屬性行為、計算得出的客戶標簽依據(jù)屬性行為、計算得出的客戶標簽溝通時間：2018/01/0412:18:00溝通時間：2018/01/0412:18:00所在渠道：小程序商城手機號：138****8271咨詢問題：倍舒暖與HEATTECH區(qū)別【訂單】童裝UltraStretch起居套裝414607下單時間：2018/01/3120:22:00下單門店：上海淮海中路旗艦店訂單金額：129元付款方式：支付寶品類偏好-童裝重要價值客戶重要價值客戶購買力-購買力-高30天活躍度-120分利用算法訓練模型得到的預測標簽預測流失風險-利用算法訓練模型得到的預測標簽預測流失風險-低需求推薦-限時特優(yōu)-女裝復購可能預測-高匯總提煉提煉實時數(shù)據(jù)處理追加清洗、轉換和標準化加載追加清洗、轉換和標準化消息、接口定時抽取觸發(fā)提煉數(shù)據(jù)庫主動采集文件監(jiān)聽文件加載任務文件檢查任務數(shù)據(jù)抽取加載任務數(shù)據(jù)匯聚加工任務數(shù)據(jù)質量檢查任務匯總提煉提煉實時數(shù)據(jù)處理追加清洗、轉換和標準化加載追加清洗、轉換和標準化消息、接口定時抽取觸發(fā)提煉數(shù)據(jù)庫主動采集文件監(jiān)聽文件加載任務文件檢查任務數(shù)據(jù)抽取加載任務數(shù)據(jù)匯聚加工任務數(shù)據(jù)質量檢查任務數(shù)據(jù)清洗轉換任務業(yè)務檢核任務匯總提煉加工任務應用數(shù)據(jù)加工任務元數(shù)據(jù)加載任務ETL調度管理ETL任務管理負載管理ETL監(jiān)控日志管理實時數(shù)據(jù)采集數(shù)據(jù)文件采集4、數(shù)據(jù)資源中心建設—步驟三：數(shù)據(jù)開發(fā)流程與支撐工具75267526 ??????建庫建表環(huán)境準備開發(fā)系統(tǒng)準備配置文件準備信息調研結果數(shù)據(jù)模型成果..?創(chuàng)建數(shù)據(jù)庫?創(chuàng)建數(shù)據(jù)庫用戶?創(chuàng)建數(shù)據(jù)表?數(shù)據(jù)庫表賦權?…?表映射?字段映射?代碼映射?關聯(lián)過濾條件映射??????數(shù)據(jù)開發(fā)參數(shù)配置數(shù)據(jù)映射導入數(shù)據(jù)開發(fā)配置公共代碼配置腳本編寫調試…?單元測試模板準備?單元測試執(zhí)行?單元測試報告?…?調度任務整理?調度任務基礎信息配置?調度任務依賴觸發(fā)配置?調度任務測試驗證?…?集成測試模板準備?集成測試執(zhí)行?集成測試報告?…4、數(shù)據(jù)資源中心建設—步驟四：數(shù)據(jù)統(tǒng)一調度管理ETL調度平臺口消息接口功能接口ETL調度平臺口消息接口功能接口Agent模塊定時任務文件監(jiān)控數(shù)據(jù)卸載數(shù)據(jù)挖掘數(shù)據(jù)同步分析匯總質量檢查機器學習Agent模塊定時任務文件監(jiān)控數(shù)據(jù)卸載數(shù)據(jù)挖掘數(shù)據(jù)同步分析匯總質量檢查機器學習數(shù)據(jù)加載清洗融合5、數(shù)據(jù)治理建設：數(shù)據(jù)標準管理標準范圍含哪些？目前的狀況如何？標準應該什么樣？這些內容都在哪兒？標準應該如何執(zhí)行？如何維護理標準？ ?基礎標準管理：為實體及屬性設置標準?統(tǒng)計標準管理：為統(tǒng)計指標設置標準?機構清單管理：為層級化實體設置標準?公共代碼管理：引入國家、行業(yè)或企業(yè)自定義的代碼標準?業(yè)務術語管理：為元數(shù)據(jù)業(yè)務口徑配置業(yè)務術語?命名規(guī)范管理：為系統(tǒng)各類標識符設立統(tǒng)一標準22?標準審核瀏覽：查看目前已發(fā)布的各類標準詳情?標準審核審批：審核新創(chuàng)建的標準并發(fā)布33?評分體系庫管理：設置元數(shù)據(jù)標準評分計算要素權重?標準評分管理：管理各級元數(shù)據(jù)的標準評分5、數(shù)據(jù)治理建設：元數(shù)據(jù)管理11223344數(shù)據(jù)源配置元數(shù)據(jù)采集任務配置數(shù)據(jù)庫元數(shù)據(jù)采集文件元數(shù)據(jù)采集接口元數(shù)據(jù)采集腳本元數(shù)據(jù)采集ETL調度元數(shù)據(jù)采集…?元數(shù)據(jù)檢索?系統(tǒng)、表與字段血緣關系分析?系統(tǒng)、表與字段影響分析關系分析?業(yè)務元數(shù)據(jù)分析????????數(shù)據(jù)資產展示數(shù)據(jù)字典管理數(shù)據(jù)對標業(yè)務指標管理數(shù)據(jù)質量檢查系統(tǒng)故障排查變更影響評估…?元數(shù)據(jù)采集監(jiān)控預警?元數(shù)據(jù)采集問題處理?系統(tǒng)日常運維監(jiān)控?… 22 55包括技術元數(shù)據(jù)和業(yè)務元數(shù)據(jù)使用支持文檔上傳、下載、在