數(shù)據(jù)中臺(tái)服務(wù)化平臺(tái)建設(shè)方案

1、數(shù)據(jù)中臺(tái)數(shù)據(jù)服務(wù)平臺(tái)建設(shè)方案背景和挑戰(zhàn)平臺(tái)的演進(jìn)應(yīng)用場(chǎng)景總結(jié)和思考背景和挑戰(zhàn)人群洞察案例北京高消費(fèi)人群北京地區(qū)Surface關(guān)聯(lián)人群北京地區(qū)MacBook人群北京地區(qū)普通人群采 集應(yīng) 用 & 展 示數(shù)據(jù)接入數(shù)據(jù)規(guī)范化入庫(kù)數(shù)據(jù)監(jiān)控?cái)?shù)據(jù)集成數(shù)據(jù)ETL統(tǒng)計(jì)分析模型訓(xùn)練離線預(yù)測(cè)數(shù)據(jù)加工數(shù)據(jù)API化加工能力API化模型預(yù)測(cè)API化數(shù)據(jù)服務(wù)整體流程服務(wù)治理數(shù)據(jù)權(quán)限高性能服務(wù)元數(shù)據(jù)多數(shù)據(jù)源超大數(shù)據(jù)量安全審計(jì)實(shí)時(shí)數(shù)據(jù)核心挑戰(zhàn)平臺(tái)演進(jìn)高性能、高吞吐Codis、Protobuf、Thrift高額存儲(chǔ)成本Hbase、Aerospike高延遲Quota、限流超大數(shù)據(jù)量RPC協(xié)議序列化 協(xié)議編碼 網(wǎng)絡(luò)傳輸客戶端注冊(cè)中心

2、（ZK）網(wǎng)關(guān)服務(wù)端RPC協(xié)議序列化 協(xié)議編碼 網(wǎng)絡(luò)傳輸RPC協(xié)議序列化 協(xié)議編碼 網(wǎng)絡(luò)傳輸服務(wù)發(fā)現(xiàn)負(fù)載均衡 監(jiān)控統(tǒng)計(jì)服務(wù)暴露處理程序 線程池高性能RPC框架數(shù)據(jù)安全？限流熔斷？用戶權(quán)限？用戶體系？數(shù)據(jù)服務(wù)平臺(tái)化RPC協(xié)議序列化協(xié)議編碼網(wǎng)絡(luò)傳輸客戶端注冊(cè)中心（Consul）網(wǎng)關(guān)RPC協(xié)議序列化協(xié)議編碼網(wǎng)絡(luò)傳輸RPC協(xié)議序列化協(xié)議編碼網(wǎng)絡(luò)傳輸服務(wù)發(fā)現(xiàn)服務(wù)暴露負(fù)載均衡監(jiān)控統(tǒng)計(jì)處理程序線程池鑒權(quán)/審計(jì)API管理平臺(tái)安全I(xiàn)AM用戶平臺(tái)日志平臺(tái)管理運(yùn)營(yíng)平臺(tái)后臺(tái)系統(tǒng)數(shù)據(jù)治理平臺(tái)數(shù)據(jù)開發(fā)平臺(tái) 報(bào)表平臺(tái)AI平臺(tái)服務(wù)端數(shù)據(jù)種類越來(lái)越多異構(gòu)數(shù)據(jù)源、不同數(shù)據(jù)類型、加工數(shù)據(jù)、模型特征數(shù)據(jù)開發(fā)流程冗長(zhǎng)開發(fā)門檻、聯(lián)調(diào)測(cè)試、

3、文檔、跨多團(tuán)隊(duì)準(zhǔn)備好 開發(fā)數(shù)據(jù)庫(kù) 數(shù)據(jù)庫(kù)連接代碼 開發(fā)API邏輯開發(fā)API監(jiān)控 生成Docker 等非業(yè)務(wù)邏輯鏡像部署 服務(wù)鏡像 開發(fā)數(shù)據(jù) 入庫(kù)代碼數(shù)據(jù)入庫(kù)日常運(yùn)維新的問(wèn)題NIFI模板配置數(shù)據(jù)入庫(kù)Web配置API數(shù)據(jù)服務(wù)自助配置化數(shù)據(jù)服務(wù)中心準(zhǔn)備好 開發(fā)數(shù)據(jù)庫(kù) 數(shù)據(jù)庫(kù)連接代碼 開發(fā)API邏輯開發(fā)API監(jiān)控 生成Docker 等非業(yè)務(wù)邏輯鏡像部署 服務(wù)鏡像 開發(fā)數(shù)據(jù) 入庫(kù)代碼數(shù)據(jù)入庫(kù)日常運(yùn)維業(yè)務(wù)開發(fā)有哪些API可以用如何快速接入使用如何快速調(diào)試運(yùn)維表要遷移了，找誰(shuí)配置要更新回滾了故障了，如何降級(jí)數(shù)據(jù)研發(fā)如何快速上線API如何快速集成如何聚焦數(shù)據(jù)開發(fā)財(cái)務(wù)這個(gè)季度數(shù)據(jù)服務(wù) 的報(bào)表情況？新的訴求132

4、4高性能RPC 框架數(shù)據(jù)服務(wù)平 臺(tái)化數(shù)據(jù)服務(wù)生 態(tài)系統(tǒng)數(shù)據(jù)服務(wù) 高效開發(fā)演進(jìn)總結(jié)應(yīng)用場(chǎng)景個(gè)像用戶畫像對(duì)用戶線上和線下行為進(jìn)行大數(shù)據(jù)分析，構(gòu)建全面、精準(zhǔn)、多 維的用戶畫像體系，為APP開發(fā)者提供豐富的用戶畫像數(shù)據(jù)以 及實(shí)時(shí)的場(chǎng)景識(shí)別能力，幫助APP開發(fā)者全方位了解用戶。識(shí)別換機(jī)用戶分析新注冊(cè)用戶 的興趣偏好推薦個(gè)性化內(nèi)容篩選精準(zhǔn)的 目標(biāo)用戶穩(wěn)定性監(jiān)控報(bào)警、自動(dòng)降級(jí)延遲毫秒級(jí)數(shù)據(jù)源多數(shù)據(jù)源日訪問(wèn)量數(shù)十億+數(shù)據(jù)量數(shù)十億+用戶畫像服務(wù)商業(yè)選址智慧旅游門店零售人口空間規(guī)劃服務(wù)洞察人、時(shí)間與空間三者的內(nèi)在聯(lián)系，全方位勾勒 人群畫像，動(dòng)態(tài)展示人群分布與變化，為科學(xué)規(guī)劃 與商業(yè)決策提供全面客觀的數(shù)據(jù)支持。城市

5、規(guī)劃VS傳統(tǒng)開發(fā)方式開發(fā)成本（門檻高、技術(shù)棧廣）上線周期（開發(fā)自測(cè)1-2周）部署運(yùn)維（獨(dú)立部署運(yùn)維&監(jiān)控）管理運(yùn)營(yíng)（文檔多&舊、人+統(tǒng)計(jì)）數(shù)據(jù)服務(wù)平臺(tái)開發(fā)成本（頁(yè)面配置，培訓(xùn)后自助） 上線周期（0.5 pd）部署運(yùn)維（無(wú)）管理運(yùn)營(yíng)（管理平臺(tái)+元數(shù)據(jù)中心）效能對(duì)比總結(jié)思考個(gè)推數(shù)據(jù)中臺(tái)模型平臺(tái)數(shù)據(jù)集成 平臺(tái)（數(shù)據(jù)接入）數(shù)據(jù)資產(chǎn)治理（數(shù)據(jù)地圖、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全）數(shù)據(jù)開發(fā)平臺(tái)（數(shù)據(jù)作業(yè)開發(fā)和管理）數(shù)據(jù)能力共享數(shù)據(jù)服務(wù)化平臺(tái)數(shù)據(jù)倉(cāng)庫(kù)Hadoop+Spark +TFK8SGPHBase.群體洞察平臺(tái)數(shù)據(jù)運(yùn)營(yíng)平臺(tái)可視化報(bào)表平臺(tái)數(shù)據(jù)網(wǎng)關(guān)平臺(tái)高質(zhì)量 數(shù)據(jù)解決 方案平臺(tái) 工具高效 組織方法論個(gè)推數(shù)據(jù)中臺(tái)平臺(tái)的演進(jìn)貼合業(yè)務(wù)并賦能業(yè)務(wù)平臺(tái)的演進(jìn)需要兼顧線上系統(tǒng)和線下管理平臺(tái)的演進(jìn)最終是生態(tài)，需要協(xié)同共享DATA INTELLIGENCE個(gè)推融合多重技術(shù)和產(chǎn)業(yè)身份的新經(jīng)濟(jì)綜合體數(shù)據(jù)應(yīng)用提供多種大數(shù)據(jù)服務(wù) 增能諸多垂直領(lǐng)域數(shù)