大數(shù)據(jù)平臺建設(shè)方案技術(shù)交流相關(guān)兩份資料

中國智網(wǎng)創(chuàng)新中心

大數(shù)據(jù)平臺建設(shè)方案技術(shù)交流1.本期建設(shè)目標(biāo)2.平臺的建設(shè)規(guī)劃3.平臺建設(shè)技術(shù)方案：建設(shè)背景、探索歷程、平臺實(shí)踐、總結(jié)與展望規(guī)劃思路成功案例現(xiàn)狀分析產(chǎn)品設(shè)計(jì)干貨附錄1.平臺現(xiàn)狀建設(shè)、問題總結(jié)分析、客戶痛點(diǎn)分析1.某省超大規(guī)模集群建設(shè)項(xiàng)目2.某省電信全域數(shù)據(jù)融合建設(shè)項(xiàng)目1.某省電信數(shù)據(jù)湖實(shí)施案例2.數(shù)據(jù)資產(chǎn)管理，數(shù)據(jù)資產(chǎn)運(yùn)營2.建模分發(fā)

5.統(tǒng)一調(diào)度3.數(shù)說工廠目

錄02040503011.資產(chǎn)注冊

4.數(shù)據(jù)同步1

現(xiàn)狀分析集團(tuán)大數(shù)據(jù)平臺建設(shè)現(xiàn)狀集團(tuán)現(xiàn)狀：

目前接入全國的O域話單數(shù)據(jù)、

B域用戶數(shù)據(jù)、

M域工參數(shù)據(jù)等基礎(chǔ)數(shù)據(jù)，包括全量信令面、用戶面2G/3G/4G/5G數(shù)據(jù)，數(shù)據(jù)量預(yù)估1.2P/天。平臺現(xiàn)有規(guī)模700臺+服務(wù)器，預(yù)計(jì)未來規(guī)模將達(dá)到數(shù)千臺服務(wù)器。在數(shù)據(jù)層面，數(shù)據(jù)資產(chǎn)管理首先解決的是企業(yè)內(nèi)系統(tǒng)間數(shù)據(jù)孤島的問題，將不同系統(tǒng)中的數(shù)據(jù)進(jìn)行全面匯集和管理，通過數(shù)據(jù)提煉分析、集中化管理，形成企業(yè)數(shù)據(jù)資產(chǎn)和洞察，服務(wù)于業(yè)務(wù)，解決了數(shù)據(jù)“匯管用”的問題。在業(yè)務(wù)層面，通過對各業(yè)務(wù)線的模塊去重和沉淀，共享通用模塊，讓前臺業(yè)務(wù)更加敏捷地面向市場，

實(shí)現(xiàn)企業(yè)新業(yè)務(wù)的快速上線與迭代試錯(cuò)，服務(wù)更多場景，提升業(yè)務(wù)響應(yīng)力。在技術(shù)層面，避免重復(fù)開發(fā)，技術(shù)迭代升級更高效，可按需擴(kuò)展服務(wù)，讓整個(gè)技術(shù)架構(gòu)更開放。數(shù)字中臺最終的應(yīng)用價(jià)值是在充分市場競爭下，保持并提升企業(yè)的運(yùn)營效率和創(chuàng)新能力。痛點(diǎn)分析1.數(shù)據(jù)割裂，跨區(qū)域，冒煙式建設(shè)，集群很難統(tǒng)一管理。2.數(shù)據(jù)分散、共享困難，數(shù)據(jù)價(jià)值釋放有限，無法變現(xiàn)。3.數(shù)據(jù)冗余多、集群數(shù)據(jù)處理效率不高、占用物理資源高，重復(fù)建設(shè)，成本高。

4.數(shù)據(jù)質(zhì)量有待提升、缺乏端到端的血緣管控，缺乏數(shù)據(jù)治理體系。5.數(shù)據(jù)服務(wù)便捷性有待提升，缺一站式數(shù)據(jù)安全取數(shù)體系。6.數(shù)據(jù)挖掘模型不夠豐富，行業(yè)垂直數(shù)據(jù)建模能力相對較弱。建設(shè)現(xiàn)狀：集團(tuán)大數(shù)據(jù)平臺建設(shè)現(xiàn)狀各省大數(shù)據(jù)平臺內(nèi)蒙、鄭州大數(shù)據(jù)平臺廊坊

大數(shù)據(jù)

平臺現(xiàn)狀分析數(shù)據(jù)價(jià)值挖掘不到位，

專題數(shù)據(jù)模型不夠豐富。多集群異廠家、異部門

建設(shè)，跨區(qū)域管控困難。重復(fù)建設(shè)、重復(fù)投資、

運(yùn)維成本高。數(shù)據(jù)服務(wù)便捷性有待提升。數(shù)據(jù)加工不透明，相同指標(biāo)加工口徑不統(tǒng)一。缺少端到端的血緣數(shù)據(jù)質(zhì)量工具。數(shù)據(jù)割裂、共享困難，

數(shù)據(jù)價(jià)值釋放有限。散分亂理治無建設(shè)背景：集團(tuán)痛點(diǎn)l全域數(shù)據(jù)匯聚和管理中心

，沉淀了海量的計(jì)算能力、存儲能力、數(shù)據(jù)能力。l面臨著如何實(shí)現(xiàn)資源智能調(diào)度、最大化利用、能力共享

，進(jìn)一步賦能各類合作伙伴應(yīng)用創(chuàng)新、促進(jìn)數(shù)據(jù)價(jià)值變現(xiàn)的發(fā)展瓶頸。數(shù)據(jù)中臺數(shù)據(jù)能力AI能力空間數(shù)

據(jù)能力資源能力基于容器云的數(shù)據(jù)中心操作系統(tǒng)創(chuàng)新驅(qū)動1

構(gòu)建能力共享生態(tài)2急需支持租戶自助使

用云化大數(shù)據(jù)相關(guān)資

源，賦能創(chuàng)新3保障數(shù)據(jù)安全開放自身優(yōu)化計(jì)算/存儲資源使用不均衡資源彈性調(diào)度不足技術(shù)組件支撐不全手工運(yùn)維效率低通過持續(xù)研究和探索

，構(gòu)建中國容器化大數(shù)據(jù)云平臺，解決痛點(diǎn)問題應(yīng)用基礎(chǔ)設(shè)施主機(jī)資源網(wǎng)絡(luò)資源數(shù)據(jù)服務(wù)能力封裝/開放數(shù)據(jù)治理大數(shù)據(jù)對內(nèi)應(yīng)用大數(shù)據(jù)對外應(yīng)用存儲資源PaaSIaaSSaaS平臺架構(gòu)1、需要建立跨區(qū)域、多集群數(shù)據(jù)管理2、可視化管理、跨集群數(shù)據(jù)交換能力不足3、統(tǒng)一運(yùn)維、自動化運(yùn)維能力不足4、多租戶，統(tǒng)一任務(wù)調(diào)度管理5、建底層存儲、計(jì)算集群搭建、容器化部署數(shù)據(jù)匯聚1、數(shù)據(jù)采集匯聚效率不足2、數(shù)據(jù)采集范圍尚未覆蓋企業(yè)級整體數(shù)據(jù)3、不同種類的數(shù)據(jù)存放仍需規(guī)范化4、源系統(tǒng)接口不規(guī)范，數(shù)據(jù)采集不穩(wěn)定數(shù)據(jù)處理1、實(shí)時(shí)、準(zhǔn)實(shí)時(shí)數(shù)據(jù)處理支撐能力不足2、數(shù)據(jù)處理的效率有待提升數(shù)據(jù)治理1、數(shù)據(jù)資產(chǎn)可視化程度偏低2、缺少數(shù)據(jù)資產(chǎn)面向企業(yè)的服務(wù)能力3、數(shù)據(jù)質(zhì)量管理仍有很大的提升空間數(shù)據(jù)開發(fā)1、開發(fā)流程管控能力有待提升2、數(shù)據(jù)開發(fā)支撐工具還需補(bǔ)充3、開發(fā)工具的易用性有待提高數(shù)據(jù)應(yīng)用1、基于數(shù)據(jù)中心的前端應(yīng)用缺乏深度2、缺少數(shù)據(jù)驅(qū)動型產(chǎn)品的支撐3、資產(chǎn)服務(wù)（血緣、運(yùn)維等）很少引用到前端應(yīng)用中系統(tǒng)運(yùn)維1、系統(tǒng)運(yùn)維智慧化程度不足2、缺乏基礎(chǔ)平臺運(yùn)維監(jiān)控能力數(shù)據(jù)安全1、數(shù)據(jù)安全體系持續(xù)完善中問題總結(jié)：集團(tuán)平臺待改進(jìn)需求總結(jié)2

規(guī)劃思路1、建立集團(tuán)數(shù)據(jù)中心：打通網(wǎng)絡(luò)側(cè)、終端側(cè)、內(nèi)外業(yè)務(wù)側(cè)，建設(shè)跨區(qū)域、跨機(jī)房、集約化集群管控。2、構(gòu)建基礎(chǔ)集群能力：

數(shù)據(jù)治理、降本增效。貫通生態(tài)，強(qiáng)化網(wǎng)絡(luò)能力輸出。3、提供數(shù)據(jù)變現(xiàn)能力：包括行業(yè)精準(zhǔn)畫像、應(yīng)用產(chǎn)業(yè)影響和發(fā)展支撐。4、打通行業(yè)垂直數(shù)據(jù)：以O(shè)域?yàn)橹?，融合B域以及全國平臺側(cè)數(shù)據(jù)、網(wǎng)絡(luò)側(cè)、終端側(cè)、內(nèi)外業(yè)務(wù)側(cè)，實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)變現(xiàn)能力，包括行業(yè)精準(zhǔn)畫像、應(yīng)用產(chǎn)業(yè)營銷和發(fā)展支撐。建設(shè)目標(biāo)：BDH數(shù)據(jù)

基礎(chǔ)產(chǎn)品BDM數(shù)據(jù)

應(yīng)用類產(chǎn)品BDP大數(shù)據(jù)

資產(chǎn)產(chǎn)品整體目標(biāo)：本次規(guī)劃實(shí)現(xiàn)的整體目標(biāo)管理應(yīng)用平臺挖治采總體架構(gòu)：集團(tuán)云化集群技術(shù)架構(gòu)物理資源HDFSAlluxio流式預(yù)統(tǒng)計(jì)算Service

Broker租戶C租戶DService

BrokerService

Broker租戶A租戶BService

Broker租戶N

…

…HBase獨(dú)立組件

定制版本號

K8s+dockerHiveSparkHbaseSparkHive公用組件

版本號固定KAFKARedisESFlume服務(wù)模塊存儲模塊計(jì)算模塊其他配置數(shù)據(jù)用戶數(shù)據(jù)日志數(shù)據(jù)生態(tài)圈數(shù)據(jù)庫租戶NYARN總體架構(gòu)：技術(shù)特點(diǎn)-多集群和混合云管理集群–總部?

首創(chuàng)多集群容器云平臺?

支持平臺內(nèi)集群級擴(kuò)容?

支持集群內(nèi)節(jié)點(diǎn)級擴(kuò)容?

集群資源管理與監(jiān)控?

集群節(jié)點(diǎn)管理與監(jiān)控?

支持節(jié)點(diǎn)上容器管理?

支持配額超配管理?

應(yīng)用分區(qū)及應(yīng)用管理?

Grafana&Kibana用戶集群–

內(nèi)蒙

用戶集群–河南、山東

用戶集群–

深圳用戶集群–

AWS1用戶集群–

AWS2【數(shù)據(jù)資產(chǎn)管理平臺】添加用戶集群–

成都節(jié)點(diǎn)擴(kuò)容總體架構(gòu)：技術(shù)特點(diǎn)-集群類型開發(fā)測試區(qū)應(yīng)用性能要求不高，虛擬機(jī)基本滿足需求生產(chǎn)區(qū)DMZ

區(qū)應(yīng)用對安全性、穩(wěn)定性、響應(yīng)速

度等要求高，建議物理機(jī)開發(fā)測試DMZ

區(qū)!

↓

↓ 應(yīng)用運(yùn)行環(huán)境一致性管理集群實(shí)現(xiàn)容器云核心功能虛擬機(jī)

物理機(jī)

物理機(jī)用戶集群提供應(yīng)用運(yùn)行環(huán)境生產(chǎn)區(qū)存儲管理應(yīng)用管理應(yīng)用編排負(fù)載均衡服務(wù)發(fā)現(xiàn)集群管理權(quán)限控制灰度發(fā)布任務(wù)調(diào)度鏡像管理擴(kuò)容縮容租戶管理資源管理監(jiān)控告警網(wǎng)絡(luò)分配日志管理生產(chǎn)環(huán)境生產(chǎn)集群主數(shù)據(jù)中心總體架構(gòu)：技術(shù)特點(diǎn)-鏡像倉庫、鏡像同步預(yù)發(fā)布集群共有云區(qū)異地災(zāi)備數(shù)據(jù)中心集群鏡像環(huán)境開發(fā)測試集群托管環(huán)境同城數(shù)據(jù)中心策略復(fù)制策略復(fù)制01.管理●

節(jié)點(diǎn)

CPU

卡識別●

容器內(nèi)掛載

CPU02.分配●

大粒度：按租戶●

小粒度：用戶集群●

硬件型號03.監(jiān)控●

CPU狀態(tài)監(jiān)控●

CPU用量監(jiān)控（使用率、顯存、溫度等）用戶業(yè)務(wù)

Pod和系統(tǒng)

Pod分離特殊的網(wǎng)絡(luò)需求（IP固定、對外可見等），對

K8s

系統(tǒng)平臺無影響當(dāng)用戶需要

IP對外可見時(shí)，他們給業(yè)務(wù)規(guī)劃的IP資

源往往是有限的、精確的，系統(tǒng)

Pod

可以不占用這

些

IP

地址用戶不同租戶可以使用不同的網(wǎng)絡(luò)支持固定

IP、

PodIP

外部可見總體架構(gòu)：技術(shù)特點(diǎn)-資源管理、多網(wǎng)絡(luò)方案監(jiān)控K8sMultusCNIcanalcalicobridge-vlan分配管理集群管理

資產(chǎn)管理

數(shù)說工廠運(yùn)維中心任務(wù)管理語義加工處理總體架構(gòu)：集團(tuán)與各省份關(guān)系圖內(nèi)蒙古、鄭州大數(shù)據(jù)平臺詳單各省沉淀，計(jì)算指標(biāo)數(shù)據(jù)同步服務(wù)適配服務(wù)中間件查詢

引擎同步

引擎服務(wù)

云化組件

云化數(shù)據(jù)資產(chǎn)

管理平臺各省大數(shù)據(jù)平臺

…廊坊大數(shù)據(jù)平臺詳單各省沉

淀，計(jì)算指

標(biāo)數(shù)據(jù)同步詳單各省沉

淀，計(jì)算指

標(biāo)數(shù)據(jù)同步集團(tuán)云化集群JDBC抽取通用命令調(diào)度管理對象注冊數(shù)據(jù)建模注冊任務(wù)監(jiān)控模型血緣任務(wù)血緣數(shù)據(jù)遷移資產(chǎn)目錄注冊系統(tǒng)權(quán)限注冊主題隊(duì)列映射數(shù)據(jù)項(xiàng)注冊租戶信息注冊集群信息注冊…

….….?大數(shù)據(jù)的目標(biāo)是充分挖掘海量數(shù)據(jù)中的信息

，

以發(fā)現(xiàn)數(shù)據(jù)中的價(jià)值?

云計(jì)算的目標(biāo)是通過資

源共享的方式更好地調(diào)

用、擴(kuò)展和管理計(jì)算和

存儲等方面的資源和能

力，以提高資源利用率，降低企業(yè)的IT成本?

云計(jì)算可以為大數(shù)據(jù)平

臺的計(jì)算和存儲提供資

源層的靈活性?大數(shù)據(jù)組件部署到云平臺上，作為通用PaaS能

力，為用戶帶來使用上

的便利和高效1999SaaS出現(xiàn)2006IaaS/PaaS出現(xiàn)2013CaaS出現(xiàn)2014FaaS出現(xiàn)/2016:OpenWhisk(FaaS),

Fission(FaaS)2014:

Kubernetes

(CaaS),AWS

Lambda(FaaS)2013:

Docker(CaaS),

Marathon(CaaS)2012:OracleCloud(Iaas/PaaS/SaaS)2011:CloudFoundry

(PaaS)2015:

Kudu2014:Spark,

Flink2012:YARN,

Impala,Storm2011:

MapR,

Hcatalog,

HDP,Kafka2010-11:Crunch,Sqoop,

Flume,

Oozie2010:OpenStack(IaaS)2009:vSphere(IaaS)2006:AWS(SaaS),Amazon

EC2(IaaS),

Zimki

(PaaS)1999:Salesforce

(SaaS)2009:CDH,

Avro,Chukwa2008:

Hive,

Pig,ZooKeeper2007:

HBase2006:

Hadoop(HDFS+MapReduce),

Solr

萌芽階段

突破階段

成熟階段

應(yīng)用階段

爆發(fā)階段

-建設(shè)背景：大數(shù)據(jù)與云計(jì)算的發(fā)展歷程1980-20022003-20062006-20092009-20162017-20222013:

中國

大數(shù)據(jù)元年AdminSpecialization

SimplicityBigData

3.0BigData

2.0BigData

1.0SpecializationSimplicityDevelopmentBigdata

1.0

:v

以海量數(shù)據(jù)存儲、處理為主v平臺難以維護(hù)，數(shù)據(jù)開發(fā)困難Bigdata2.0

:v

Hadoop商業(yè)版出現(xiàn)v

SQL

on

Hadoop逐漸成熟

v

以批處理、流處理為主Bigdata3.0

:v客戶需求多元化v技術(shù)棧復(fù)雜化v

ABC走向融合技術(shù)發(fā)展趨勢：走向AI+Bigdata+Cloud融合美國知名分析機(jī)構(gòu)Wikibon把大數(shù)據(jù)技術(shù)發(fā)展大致分為3個(gè)階段：SinglevendorplatformAzure,AWS,Google,DatabricksTechvendors’internaldevelopmentMapReduce,BigTable,GFS,CassandraHadoopecosystemHortonworks,Cloudera,MapRQ建設(shè)背景：中國構(gòu)建了業(yè)界領(lǐng)先的大數(shù)據(jù)平臺l中國聯(lián)通

擁

有

集中的，企

業(yè)

級

全

域

數(shù)

據(jù)的

存

儲中

心、

計(jì)算

中

心

、

能

力

中

心

和

孵

化

中

心向上服務(wù)對內(nèi)生產(chǎn)

，同時(shí)支撐價(jià)值開放運(yùn)營

數(shù)據(jù)中心

IT系統(tǒng)通信網(wǎng)絡(luò)業(yè)務(wù)平臺外部合作伙伴互聯(lián)網(wǎng)存儲

計(jì)算

能力孵化?

資料數(shù)據(jù)?

日志解析?

流量查詢

?數(shù)據(jù)應(yīng)用統(tǒng)一數(shù)據(jù)模型全域貫穿

資產(chǎn)化管理頂層架構(gòu)設(shè)計(jì)

技術(shù)引領(lǐng)

向下完成5大類、全域數(shù)據(jù)匯聚價(jià)值化運(yùn)營

對外變現(xiàn)（大數(shù)據(jù)公司）能力化輸出數(shù)據(jù)服務(wù)對內(nèi)應(yīng)用能力開放數(shù)據(jù)中臺數(shù)據(jù)能力AI能力

(

)空間數(shù)

據(jù)能力

(資源能力

)開發(fā)測試基于容器云的數(shù)據(jù)中心操作系統(tǒng)1海量的計(jì)算能力、存儲能力2

PB級數(shù)據(jù)吞吐能力、統(tǒng)一數(shù)據(jù)服務(wù)能力3企業(yè)核心數(shù)據(jù)資產(chǎn)管理能力4助力數(shù)字化轉(zhuǎn)型的服務(wù)型數(shù)據(jù)應(yīng)用5可價(jià)值變現(xiàn)的產(chǎn)品型數(shù)據(jù)應(yīng)用數(shù)據(jù)規(guī)模（PB）98.6

108.0662.32017年

2018年

2019年X86服務(wù)器（臺）609742892017年2018年

2019年建設(shè)背景：中國構(gòu)建了業(yè)界領(lǐng)先的大數(shù)據(jù)平臺應(yīng)用基礎(chǔ)設(shè)施主機(jī)資源數(shù)據(jù)治理數(shù)據(jù)服務(wù)能力封裝/開放國內(nèi)領(lǐng)先的大數(shù)據(jù)平臺存儲資源大數(shù)據(jù)對內(nèi)應(yīng)用大數(shù)據(jù)對外應(yīng)用網(wǎng)絡(luò)資源PaaS6551IaaSSaaS歷程回顧：中國大數(shù)據(jù)平臺建設(shè)l2016年至今，中國持續(xù)在大數(shù)據(jù)云平臺建設(shè)方面投入力量l完成了資

源

管

理

從

無

到

有，資源調(diào)

度

及

運(yùn)

維

從“

體

力”

到“

腦

力”的

演

變，逐步

實(shí)

現(xiàn)

智

能

化

管

理

和

運(yùn)

營，為企

業(yè)

數(shù)

據(jù)

生

產(chǎn)

與

服

務(wù)

起

到了降

本

提

效

的

作

用

。HiveSparkStormmysqlKafkatensorflowHadoopHbaseMPPRedis時(shí)序數(shù)據(jù)庫CaffeHiveStormSpark……HadoopHbaseMPP……HiveStormSpark……HadoopHbaseMPP……?

半自動化部署?

半人工劃配?

系統(tǒng)運(yùn)維，簡單

監(jiān)控?

一鍵部署?

按需自動分配、彈縮?

組件逐步豐富?

統(tǒng)一監(jiān)控、智能運(yùn)維server

server

serverserver飛躍階段優(yōu)化提升serverserverserverserverserverserverserver

serverKubernetes+DockerYarnYarn?

物理部署?

人工劃配?

系統(tǒng)運(yùn)維MesosRedisMysqlMysql最初階段RedisKubernetesMesos技術(shù)出現(xiàn)時(shí)間2014年2014年調(diào)度級別二級調(diào)度（基于predicates和priorities兩階段算法）二級調(diào)度（

FIFO，capacityscheduler，fairscheduler）生態(tài)活躍活躍且社區(qū)關(guān)注逐步上升活躍，社區(qū)關(guān)注逐步下降適用場景web應(yīng)用，中間件及數(shù)據(jù)庫，有狀態(tài)服務(wù)，其他支持類型飛速發(fā)展通用性高，混合場景成熟度高高應(yīng)用案例分析Google、AWS、

Redhat、Oracle、

Intel、

IBM、HW、阿里

百度等、

Twitter、Apple、Airbnb、Yelp等技術(shù)生態(tài)支持CNCF組織，由Google公司牽頭組織主要由Mesosphere公司貢獻(xiàn)技術(shù)實(shí)現(xiàn)開源產(chǎn)品種類繁多，實(shí)現(xiàn)難度低，成熟度較高原生框架實(shí)現(xiàn)難度高編排Docker需要Marathon實(shí)現(xiàn)調(diào)度功能歷程回顧：

Kubernetes

vs.

Mesos通過研究、探索和實(shí)踐，我們發(fā)現(xiàn)Kubernetes+Docker的技術(shù)路線更契合的實(shí)際需求。它幾乎支持了所有的容器業(yè)務(wù)類型，包含長期伺服型（long-running）、批處理型（batch）、節(jié)點(diǎn)后臺

支撐型（node-daemon

）和有狀態(tài)應(yīng)用型（stateful

application），也正是因?yàn)檫@個(gè)特點(diǎn)，k8s能夠支持當(dāng)前

大多數(shù)常見的大數(shù)據(jù)處理場景，如分布式數(shù)據(jù)存儲（HDFS、

Hbase）、離線分析（hive/Spark）、實(shí)時(shí)處理

（Sparkstreaming）、數(shù)據(jù)挖掘（SparkMLlib），及深度學(xué)習(xí)框架（Tensorflow）等。中國的微服務(wù)開發(fā)運(yùn)維管理平臺

使用了RancherServer

，通過圖形化和

RKE兩種方式對多個(gè)租戶的kubernetes

集群進(jìn)行部署和管理：?

圖形化部署和擴(kuò)展集群?

圖形化節(jié)點(diǎn)、資源和容器監(jiān)控?備份和容災(zāi)，提高集群可靠性Rancher具有豐富的容器化實(shí)施案例

經(jīng)驗(yàn)，是在支撐客戶需求以及集

群故障恢復(fù)方面的堅(jiān)強(qiáng)后盾。Kubernetes作為開源產(chǎn)品，經(jīng)常會有

重大安全漏洞，Rancher都是率先發(fā)

現(xiàn)并及時(shí)給出解決方案，為云平

臺的安全保駕護(hù)航。歷程回顧：與Rancher的合作中國在搭建Kubernetes

+

Docker的容器化平臺過程中，引入了Rancher的產(chǎn)品部署和管理多個(gè)

Kubernetes集群?！璌ubernetes

集群RancherServerKubernetes

集群Kubernetes

集群Kubernetes

集群圖形化RKE部署/管理平臺實(shí)踐：整體介紹2018年，基于Kubernetes+Docker，構(gòu)建了中國容器化大數(shù)據(jù)云平臺。基于統(tǒng)一服務(wù)集成框架Kubernetes

Service

Catalog，集中管理、部署多類PaaS能力，包括大數(shù)據(jù)基礎(chǔ)服

務(wù)能力、

中間件及數(shù)據(jù)庫能力、數(shù)據(jù)集成工具能力、容器云能力、深度學(xué)習(xí)框架能力等，并支持靈活擴(kuò)展。面向省分公司、子公司及內(nèi)外部合作伙伴，實(shí)現(xiàn)大數(shù)據(jù)云化資源能力的自助開放，支持租戶進(jìn)行大數(shù)據(jù)平臺

建設(shè)、大數(shù)據(jù)加工處理、模型訓(xùn)練及應(yīng)用的開發(fā)部署。安全管控某省經(jīng)營分析系統(tǒng)（數(shù)據(jù)加工）+租戶+l

自助申請l

租戶隔離l

應(yīng)用持續(xù)集成/部署+平臺+l

集約管理

l

智能調(diào)度

l

動態(tài)彈縮大數(shù)據(jù)即服務(wù)統(tǒng)一服務(wù)集成框架（Kubernetes

Service

Catalog）中間件/數(shù)據(jù)庫即服務(wù)Kafka數(shù)據(jù)集成工

具即服務(wù)留云化ETL深度學(xué)習(xí)即

服務(wù)容器云服務(wù)應(yīng)用/微服務(wù)

開發(fā)部署Kubernetes+Docker某省大數(shù)據(jù)生產(chǎn)平臺創(chuàng)新孵化

模型訓(xùn)練負(fù)載均衡資源調(diào)度資源管理資源隔離彈性伸縮租戶Redis平臺實(shí)踐：主要PaaS能力01大數(shù)據(jù)基礎(chǔ)服務(wù)組件（原子組件+場景化組合）

數(shù)據(jù)集市適用于面向部門級的數(shù)據(jù)分析業(yè)務(wù)，

提供包括交互式分析

引擎

、

OLAPCube引擎，支持自動化的報(bào)表應(yīng)用構(gòu)

建。

包括

HDFS、Hive、Spark、

Rubik等組件。

實(shí)時(shí)計(jì)算云上的流處理分析服務(wù)，對流數(shù)據(jù)進(jìn)

行實(shí)時(shí)采集和處理，構(gòu)建實(shí)時(shí)數(shù)據(jù)倉

庫和實(shí)時(shí)應(yīng)用，挖掘流式數(shù)據(jù)價(jià)值。包括HDFS、SparkStreaming、

Hbase等組件。

信息檢索PB級別高速全文檢索服務(wù)，提供高并

發(fā)支持，冷熱數(shù)據(jù)隔離，以及字段精確、模糊檢索和快速統(tǒng)計(jì)功能。包括

ElasticSearch等組件。數(shù)據(jù)倉庫構(gòu)建一站式數(shù)據(jù)倉庫服務(wù)，提供數(shù)據(jù)

整合、加工、分析等全套數(shù)倉構(gòu)建服

務(wù)，幫助打造數(shù)據(jù)核心。包括HDFS、

Hive、Spark等組件。

數(shù)據(jù)挖掘數(shù)據(jù)挖掘開發(fā)平臺，可進(jìn)行機(jī)器學(xué)習(xí)

和AI應(yīng)用的開發(fā)和訓(xùn)練，支持對各類

數(shù)據(jù)實(shí)現(xiàn)高度智能化的處理。包括Tensorflow、

MxNet等組件。

ZooKeeperApache分布式應(yīng)用程序協(xié)調(diào)服務(wù)組

件，主要用于大數(shù)據(jù)分布式組件的配

置、狀態(tài)、元數(shù)據(jù)等信息的存儲。HadoopHadoop基礎(chǔ)服務(wù)，包括HDFS分布式

文件系統(tǒng)、統(tǒng)一資源管理框架YARN

等組件。

HBaseNosql數(shù)據(jù)庫，支持結(jié)構(gòu)化、半結(jié)構(gòu)

化以及非結(jié)構(gòu)化數(shù)據(jù)存儲。

Hbase表

動態(tài)可擴(kuò)展，支持高并發(fā)的檢索查詢。

Hive開源SQL引擎組件，能夠?qū)⑵胀⊿QL

語法轉(zhuǎn)化成MapReduce作業(yè)，執(zhí)行

批處理任務(wù)。

Spark基于內(nèi)存的分布式計(jì)算引擎，大大提

高了海量數(shù)據(jù)加工處理的性能。高性能SQL查詢引擎，將MPP與Hadoop架構(gòu)進(jìn)行融合；數(shù)據(jù)查詢性

能遠(yuǎn)高于Hive?；谑录?qū)動模式的實(shí)時(shí)處理框架，

實(shí)時(shí)數(shù)據(jù)處理延時(shí)能夠低至10ms級別。StormIMPALA

Kafka高吞吐的分布式消息隊(duì)列。03

數(shù)據(jù)集成工具04容器云應(yīng)用/服務(wù)開發(fā)部署環(huán)境平臺實(shí)踐：主要PaaS能力02中間件及數(shù)據(jù)庫服務(wù)組件

云化ETL采用圖形化的數(shù)據(jù)流和工作流設(shè)計(jì)

，

將分散的、異構(gòu)數(shù)據(jù)源抽取，進(jìn)行清

洗、轉(zhuǎn)換、集成,最后加載到數(shù)據(jù)倉庫

或數(shù)據(jù)集市中。

數(shù)據(jù)稽核管理全圖形化規(guī)則配置界面，支持稽

核規(guī)則自動調(diào)度執(zhí)行，針對稽核

出的數(shù)據(jù)質(zhì)量問題，系統(tǒng)會自動

進(jìn)行分類并形成數(shù)據(jù)處理工單。

元數(shù)據(jù)管理支持對租戶中的元數(shù)據(jù)進(jìn)行管理，

包括元數(shù)據(jù)檢索、數(shù)據(jù)血緣管理分析等。

MySql傳統(tǒng)關(guān)系型數(shù)據(jù)庫,支持single、一

主多從等多種部署模式。

Nginx高性能HTTP服務(wù)器和反向代理

服務(wù)器?；贙-V的內(nèi)存數(shù)據(jù)庫，具有極高的

數(shù)據(jù)查詢效率，常用于作為WEB系統(tǒng)的數(shù)據(jù)緩存層。支持單機(jī)、哨兵、集群等部署模式。支持對租戶應(yīng)用/服務(wù)開發(fā)、部署、編排、動態(tài)彈縮、灰度升級、并提供完整的可視化運(yùn)維監(jiān)控為模型訓(xùn)練提供分布式計(jì)算框架及

開發(fā)工具深度學(xué)習(xí)

框架05caff

eRedis基礎(chǔ)設(shè)施（主機(jī)

+存儲

+

網(wǎng)絡(luò)）資源管理資源調(diào)度資源隔離服務(wù)編排彈性伸縮安全管控負(fù)載均衡能力列表能力訂購能力變更能力退訂能力上架能力下架大數(shù)據(jù)基礎(chǔ)服務(wù)ESImpalaHiveHadoop數(shù)據(jù)集成工具云化ETL數(shù)據(jù)稽核管理元數(shù)據(jù)管理開發(fā)/構(gòu)建測試/發(fā)布CI/CD鏡像倉庫管

理服務(wù)注冊服務(wù)發(fā)現(xiàn)調(diào)用鏈跟蹤限流/降級/

熔斷KubernetesServiceCatalogOSBAPIOSB

API三方服務(wù)擴(kuò)展JupyterNotebooksService

BrokerService

BrokerService

BrokerMxNetMPIPyTorc

hCaffe2平臺實(shí)踐：技術(shù)架構(gòu)RocketMQRedisService

Broker容器管理（Kubernetes

+

Docker）Service

BrokerService

BrokerService

BrokerMongo

DBKafkaStormHBaseService

BrokerOSB

API

OSB

APIOSB

API

OSB

API微服務(wù)開發(fā)部署中間件及數(shù)據(jù)庫深度學(xué)習(xí)框架能力開放TensorFlow租戶N租戶D租戶A租戶C租戶BMySQL云存儲……平臺實(shí)踐：技術(shù)架構(gòu)l運(yùn)用統(tǒng)一集成框架Kubernetes

Service

Catalog，實(shí)現(xiàn)異構(gòu)服務(wù)組件的統(tǒng)一納管、

自助拉起和在

線開放。使用業(yè)界標(biāo)準(zhǔn)的OpenService

BrokerAPI，支持第三方組件的接入和擴(kuò)展。Open

Service

BrokerAPIService

BrokerB數(shù)據(jù)庫與中間件KafkaOthersService

BrokerC深度學(xué)習(xí)框架caff

eOthersService

Broker……Service

BrokerA容器化大數(shù)據(jù)平臺數(shù)據(jù)集市數(shù)據(jù)挖掘信息檢索Servicecatalog

API

ServerServicecatalog

ControllerKubernetes

APIServerEtcdService

Broker……Kubernetes數(shù)據(jù)倉庫實(shí)時(shí)計(jì)算Redisl租戶自助構(gòu)建大數(shù)據(jù)平臺，進(jìn)行數(shù)據(jù)生產(chǎn)l提供大數(shù)據(jù)相關(guān)服務(wù)組件，供租戶進(jìn)行數(shù)據(jù)加工處理l租戶應(yīng)用/微服務(wù)的開發(fā)和容器化部署l

提

供

建

模

環(huán)

境

及

樣

本

數(shù)

據(jù)

，

供

租

戶

進(jìn)

行

模

型

訓(xùn)

練

，

賦

能

業(yè)

務(wù)

創(chuàng)

新租戶整體應(yīng)用場景概覽u省分大數(shù)據(jù)平臺構(gòu)建u大數(shù)據(jù)加工處理u模型訓(xùn)練u容器化應(yīng)用/服務(wù)開發(fā)部署智匯中國容器化大數(shù)據(jù)

云平臺大數(shù)據(jù)分析處理結(jié)果數(shù)據(jù)與自有應(yīng)用場景結(jié)合平臺實(shí)踐：支持場景模型訓(xùn)練建模環(huán)境+批量樣本數(shù)據(jù)資源自助開放彈性伸縮動態(tài)調(diào)度生產(chǎn)作業(yè)專屬大數(shù)據(jù)平臺分鐘級容器化部署可視化選取數(shù)據(jù)獲取27%22%34%17%平臺實(shí)踐：安全隔離容器化大數(shù)據(jù)云平臺保障租戶資源隔離、空間獨(dú)立、數(shù)據(jù)加工過程私密、互不干擾，為租戶提資源隔離01

租戶有獨(dú)立的網(wǎng)絡(luò)、系統(tǒng)命名

空間和存儲服務(wù)隔離03

不同租戶使用的服務(wù)屬于不同

的實(shí)例，彼此之間完全透明數(shù)據(jù)隔離每個(gè)租戶可使用獨(dú)立的HDFS用于

數(shù)據(jù)存儲，租戶間不做直接共享業(yè)務(wù)隔離通過Docker實(shí)現(xiàn)運(yùn)行環(huán)境隔離，進(jìn)程之間無法感知租戶隔離和控制供安全可靠的生產(chǎn)環(huán)境。0402?

親和算法調(diào)度?

Yarn/Spark調(diào)度邏輯調(diào)整?

共享Domainsocket定制Flannel網(wǎng)絡(luò)插件，多集群共

用Flannel網(wǎng)絡(luò)?

最小單位拆分?

親和算法調(diào)度?Headless

service?OpenService

Broker?KubernetesService

Catalog平臺實(shí)踐：技術(shù)挑戰(zhàn)多Kubernetes集群互通多種PaaS能力集成大數(shù)據(jù)服務(wù)容器化計(jì)算資源本地化平臺實(shí)踐：技術(shù)挑戰(zhàn)–多樣化PaaS服務(wù)集成l

遇到問題：容器化大數(shù)據(jù)云平臺需要快速集成大數(shù)據(jù)類、數(shù)據(jù)庫及中間件類、數(shù)據(jù)集成工具類等多種PaaS能力。沒有統(tǒng)一的集成接口。l

解決方案：1.基

于業(yè)

界

先

進(jìn)

的

Open

ServiceBroker規(guī)范，通過

標(biāo)準(zhǔn)化接口快速對接各種PaaS組件平臺，匯聚各種

PaaS能力，形成技術(shù)生態(tài)，

為租戶賦能。2.基

于

KubernetesServiceCatalog，采用k8s擴(kuò)展API

和自定義資源原生技術(shù)實(shí)

現(xiàn)對服務(wù)從開通到退訂的

全生命周期管理。OpenService

BrokerAPICatalogProvisionUpdateBindUnbindDeprovisionad實(shí)現(xiàn)Service

BrokerPaaS組件平臺n服務(wù)ad實(shí)現(xiàn)Service

BrokerPaaS組件平臺1服務(wù)ad實(shí)現(xiàn)Service

BrokerPaaS組件平臺3服務(wù)ad實(shí)現(xiàn)Service

BrokerPaaS組件平臺2服務(wù)ClusterServiceBrokerServiceInstanceClusterServiceClassServiceBindingClusterServicePlanCredentialsKubernetesService

Catalog服務(wù)服務(wù)服務(wù)服務(wù)服務(wù)服務(wù)服務(wù)服務(wù)服務(wù)服務(wù)服務(wù)服務(wù)Kubeletflanneld集群一

ETCD

APIServer

flanneld

flanneld集群二l

遇到問題

：需在多個(gè)Kubernetes集群部署各類PaaS能力。大

數(shù)據(jù)組件在容器化部署之后，服務(wù)相關(guān)的所有POD

都是容器網(wǎng)絡(luò)，自身暴露的通信端口在集群外都無

法訪問，導(dǎo)致應(yīng)用通過大數(shù)據(jù)組件原生的API調(diào)用

時(shí)遇到問題。l

解決方案

：通過定制flanneld網(wǎng)絡(luò)插件，兩個(gè)K8S集群共用一

套Flannel網(wǎng)絡(luò)，實(shí)現(xiàn)跨集群podIP直接連接，解

決K8s集群間的網(wǎng)絡(luò)互通問題。Kubernetes集群2app2Kubernetes集群1HDFS平臺實(shí)踐：技術(shù)挑戰(zhàn)–

Kubernetes集群間網(wǎng)絡(luò)互通app1datanodepoddatanodepodnamenodepodnamenodepodAPIServerKubeletKubeletflanneldKubeletETCDl

解決方案

：1.將Hadoop按組件拆分成最小單位，確保能夠獨(dú)立部署；

2.通過配置親和/反親和調(diào)度算法保證同一個(gè)集群的各個(gè)服

務(wù)能夠合理部署，比如：同一集群的兩個(gè)Namenode不

會調(diào)度在同一個(gè)物理機(jī)上；3.拆分完之后解決，服務(wù)之間的依賴和服務(wù)發(fā)現(xiàn)問題

?

集群內(nèi)使用Headless

service?服務(wù)之間通過DNS和配置注入進(jìn)行服務(wù)發(fā)現(xiàn)

?

集群外的訪問通過--NodePort--Rest服務(wù)+LoadBalancerl

遇到問題

：采用多租戶的方式對外提供大數(shù)據(jù)服務(wù)，每個(gè)租戶都是隔離的。

這就要求需要在一個(gè)物理集群上能夠部署多套Hadoop集群。如何將Hadoop服務(wù)進(jìn)行拆分？如何自動完成角色規(guī)劃？服務(wù)拆分之后，如何解決服務(wù)依賴以及服務(wù)發(fā)現(xiàn)問題？平臺實(shí)踐：技術(shù)挑戰(zhàn)–

Hadoop容器化服務(wù)拆分Kubernetes挑戰(zhàn)1.

挑戰(zhàn)2.

挑戰(zhàn)3.監(jiān)控存儲網(wǎng)絡(luò)拆分Domain

Socketl遇到問題：挑戰(zhàn)1：Executor與Datanode數(shù)據(jù)不同pod,如何保證同一個(gè)集群的Executor和Datanode分布在相同的物理主機(jī)上

？挑戰(zhàn)2：每個(gè)容器有一個(gè)獨(dú)立IP，如何保證本地讀寫？挑戰(zhàn)3：每個(gè)容器獨(dú)立的文件系統(tǒng)，如何保證Domain

Socket優(yōu)化？?在安裝集群前提前進(jìn)行角色規(guī)劃，確保YARN

的Nodemanger和Spark的Worker節(jié)點(diǎn)與Datanode都在相同的物理機(jī)上。?通過判斷IP是否一致決定是否進(jìn)行本地讀寫?Domainsocket優(yōu)化，免去本地io走tcp協(xié)議棧Data

rcdeDomain

SocketExecutorDatanode平臺實(shí)踐：技術(shù)挑戰(zhàn)–

Hadoop容器化計(jì)算本地化ExecutorDatanode物理機(jī)部署容器化部署平臺實(shí)踐：技術(shù)挑戰(zhàn)–

Hadoop容器化計(jì)算本地化l解決方案：第一步：采用K8S親和性調(diào)度策略，確保統(tǒng)一集群的計(jì)算服務(wù)于Datanode調(diào)度到相同的物理機(jī)列表里。

第二步：更改Yarn/Spark調(diào)度邏輯，判斷對應(yīng)的計(jì)算切片是否在同一臺host上。第三步：多個(gè)pod共享Domainsocket，而且每個(gè)租戶的hdfs的domainsocket互相獨(dú)立。Node2Node1Host2Host1Assign

tasksNamenodeScheduler_____JDatanodeNodemanagerNodeManagerNodeManagerNodemanager____JExecutorDatanodeExecutorDatanodeDatanodeBlockReportGetBlockInfoDatanodeDatanode集群2集群1l

2018，TMF

Forum開放數(shù)字生態(tài)大獎(jiǎng)提名l

2018，大數(shù)據(jù)最佳產(chǎn)品獎(jiǎng)，數(shù)據(jù)中心聯(lián)盟大數(shù)據(jù)

發(fā)展委員會l

2018，中國集團(tuán)科技進(jìn)步獎(jiǎng)

月均執(zhí)行MR/Spark任務(wù)162,455個(gè)，執(zhí)行數(shù)據(jù)調(diào)度任務(wù)

15,261個(gè)集群節(jié)點(diǎn)數(shù)437個(gè)，CPU6028核，內(nèi)存37.52TB，存儲13.09PB2

部署4000余個(gè)容器服務(wù)實(shí)例，對100,000個(gè)事件跟蹤分析平臺實(shí)踐：建設(shè)成效

開放標(biāo)準(zhǔn)化數(shù)據(jù)產(chǎn)品7大類，600余個(gè)開放PaaS能力組件6大類，30余種集團(tuán)業(yè)務(wù)

部門24個(gè)102個(gè)租戶入駐省分租戶44個(gè)子公司34個(gè)平臺實(shí)踐：后續(xù)探索方向-FaaS與云平臺“Serveless”的初衷是幫助開發(fā)者擺脫運(yùn)行后端應(yīng)用程序所需的服務(wù)器設(shè)備的設(shè)置和管理工作

，“FaaS”將

“Serveless”這一框架提高到一個(gè)全新的層面

，為云中運(yùn)行的應(yīng)用程序提供了一種全新的系統(tǒng)體系結(jié)構(gòu)，不需

要在服務(wù)器上持續(xù)運(yùn)行進(jìn)程以等待

HTTP請求或API調(diào)用，而是可以通過某種事件機(jī)制觸發(fā)代碼的執(zhí)行?？蛻舳撕瘮?shù)

函數(shù)數(shù)據(jù)庫優(yōu)勢?降低成本：開發(fā)者不需要為云中運(yùn)行的整個(gè)服務(wù)器付費(fèi)，只需要為執(zhí)行

代碼過程中消耗的資源付費(fèi)?縮放能力：可以通過事件觸發(fā)的方式輕松地對不同服務(wù)進(jìn)行縮放，而無

須考慮基礎(chǔ)結(jié)構(gòu)的運(yùn)維和維護(hù)應(yīng)用平臺(PaaS/aPaaS)上層

快速底層

靈活基礎(chǔ)設(shè)施平臺(IaaS)容器平臺(CaaS)軟件平臺(SaaS)函數(shù)數(shù)據(jù)庫認(rèn)證服務(wù)函數(shù)平臺(FaaS)函數(shù)函數(shù)函數(shù)API網(wǎng)關(guān)SaaS平臺實(shí)踐：后續(xù)探索方向-物聯(lián)網(wǎng)與云平臺物聯(lián)網(wǎng)通過信息傳感設(shè)備，按約定的協(xié)議，將任何物體與網(wǎng)絡(luò)相連接

，物體通過信息傳播媒介進(jìn)行信息交換

和通信，以實(shí)現(xiàn)智能化識別、定位、跟蹤、監(jiān)管等功能。物聯(lián)網(wǎng)是互聯(lián)網(wǎng)基礎(chǔ)上的延伸和擴(kuò)展的網(wǎng)絡(luò)，將各

種信息傳感設(shè)備與互聯(lián)網(wǎng)結(jié)合起來而形成的一個(gè)巨大網(wǎng)絡(luò)，實(shí)現(xiàn)在任何時(shí)間、任何地點(diǎn)，人、機(jī)、物的互聯(lián)互通。數(shù)據(jù)管理設(shè)備管理函數(shù)平臺消息服務(wù)數(shù)據(jù)庫緩存ETL工具Big

DataFaaSPaaS物聯(lián)網(wǎng)和云計(jì)算以及大數(shù)

據(jù)是密不可分的：?

云平臺為大數(shù)據(jù)提供計(jì)

算資源和海量數(shù)據(jù)的存

儲能力?

云平臺為物聯(lián)網(wǎng)應(yīng)用提

供快速構(gòu)建和集成的能

力?物聯(lián)網(wǎng)設(shè)備產(chǎn)生的海量

數(shù)據(jù)需要大數(shù)據(jù)平臺進(jìn)

行處理和分析持久化存儲數(shù)據(jù)分析

TIo平臺實(shí)踐：總結(jié)與展望l建設(shè)面向大數(shù)據(jù)處理的統(tǒng)一云化資源池，提供豐富的PaaS組件，為大數(shù)據(jù)平臺構(gòu)建和應(yīng)用開發(fā)部署

提供快捷、高效的環(huán)境l依托容器化大數(shù)據(jù)云平臺，沉淀一系列技術(shù)能力及組件集合，推進(jìn)企業(yè)核心數(shù)據(jù)上云，構(gòu)建共性能力及通用服務(wù)，打造企業(yè)級數(shù)據(jù)中臺，賦能前端應(yīng)用及BU團(tuán)隊(duì)快速創(chuàng)新，支撐業(yè)務(wù)發(fā)展打造企業(yè)級數(shù)據(jù)中臺多樣化能力建設(shè)與開放互聯(lián)網(wǎng)化協(xié)同運(yùn)營流處理框架批處理框架深度學(xué)習(xí)框架消息隊(duì)列賦能前臺、創(chuàng)新發(fā)展能力匯聚、協(xié)同運(yùn)營智能管理、提升效能容器化大數(shù)據(jù)云平臺（Kubernetes+Docker）異構(gòu)資源納管資源隔離資源調(diào)度彈性伸縮安全管控分布式文件系統(tǒng)分布式數(shù)據(jù)倉庫NoSQL數(shù)據(jù)庫關(guān)系型數(shù)據(jù)庫前端應(yīng)用與BU團(tuán)隊(duì)創(chuàng)新3

產(chǎn)品設(shè)計(jì)產(chǎn)品介紹：產(chǎn)品架構(gòu)舉措：構(gòu)建平臺數(shù)據(jù)資產(chǎn)管控能力，打造數(shù)據(jù)驅(qū)動能力，促進(jìn)集團(tuán)數(shù)字化轉(zhuǎn)型，引導(dǎo)數(shù)據(jù)集中運(yùn)營，實(shí)現(xiàn)數(shù)據(jù)變現(xiàn)功能層Enginefor

hadoopHadoopEngineforGBASEMPP數(shù)據(jù)處理類|數(shù)據(jù)交換類|文件操作類

|數(shù)據(jù)查詢類

|數(shù)據(jù)安全類|數(shù)據(jù)檢查類(函數(shù)適配器)Enginefordb2db2Enginefororacle___J

Oracle運(yùn)營層數(shù)據(jù)資產(chǎn)應(yīng)用數(shù)據(jù)資產(chǎn)評估數(shù)據(jù)資產(chǎn)運(yùn)營統(tǒng)一API層數(shù)據(jù)資產(chǎn)加工 數(shù)據(jù)關(guān)系分析

字段關(guān)系分析元數(shù)據(jù)管理數(shù)據(jù)資產(chǎn)規(guī)劃數(shù)據(jù)運(yùn)維數(shù)據(jù)資產(chǎn)質(zhì)量數(shù)據(jù)資產(chǎn)安全數(shù)據(jù)處理開發(fā)數(shù)據(jù)評估元數(shù)據(jù)稽核安全審計(jì)權(quán)限申請分配質(zhì)量問題管理安全策略管理數(shù)據(jù)流程設(shè)計(jì)元數(shù)據(jù)采集運(yùn)行監(jiān)控安全漏洞檢查告警管理數(shù)據(jù)模型設(shè)計(jì)元數(shù)據(jù)分類多租戶接入管理資產(chǎn)構(gòu)成分析資產(chǎn)分布評估資產(chǎn)使用評估數(shù)據(jù)開放平臺資產(chǎn)活性分析BI應(yīng)用商店數(shù)據(jù)分發(fā)中心質(zhì)量規(guī)則管理質(zhì)量規(guī)則檢查下線管理上線元數(shù)據(jù)服務(wù)維度表標(biāo)準(zhǔn)化多維報(bào)表指標(biāo)墻運(yùn)營診斷自助分析數(shù)據(jù)架構(gòu)管理數(shù)據(jù)標(biāo)準(zhǔn)化指標(biāo)標(biāo)準(zhǔn)化數(shù)據(jù)地圖生產(chǎn)

平臺數(shù)據(jù)應(yīng)用開發(fā)數(shù)據(jù)測試數(shù)據(jù)優(yōu)化存儲優(yōu)化…功能分類一級功能二級功能資產(chǎn)注冊數(shù)據(jù)項(xiàng)設(shè)計(jì)a.支撐：數(shù)據(jù)項(xiàng)新建、導(dǎo)入、導(dǎo)出、修改功能b.支撐：數(shù)據(jù)項(xiàng)的搜索查詢功能c.支撐：數(shù)據(jù)項(xiàng)命名規(guī)則判斷、數(shù)據(jù)項(xiàng)保存判斷功能模型設(shè)計(jì)a.支撐：模型的右鍵新增功能、導(dǎo)入、導(dǎo)出、保存模型、另存為圖片、單個(gè)分發(fā)、批量分發(fā)、平鋪調(diào)整排序功能b.支撐：實(shí)體模型搜索功能c.支撐：實(shí)體模型編輯修改功能d.支撐：實(shí)體引用功能e.支撐：實(shí)體模型名字約束判斷、實(shí)體保存判斷功能資產(chǎn)目錄a.支撐：資產(chǎn)目錄的管理功能：新增、刪除、修改功能b.支撐：目錄管理：先系統(tǒng)、系統(tǒng)到層、層到主題c.支撐：資產(chǎn)目錄注冊保存異常判斷功能d.支撐：資產(chǎn)目錄導(dǎo)出功能資產(chǎn)管理數(shù)據(jù)庫a.支撐：數(shù)據(jù)庫注冊：新建、刪除、修改、搜索功能b.支撐：版本修改功能c.支撐：數(shù)據(jù)庫注冊信息導(dǎo)出功能租戶(產(chǎn)品租戶)a.支撐：租戶注冊：新建、刪除、修改、搜索功能b.支撐：租戶租戶信息導(dǎo)出功能規(guī)則管理a.支撐：對主題、層的約束規(guī)則管理b.支撐：對主題下面的模型名稱約束規(guī)則管理全局變量a.支撐：實(shí)現(xiàn)對企業(yè)的job開發(fā)流程定義變量：按秒、按分、按天、按月、按定義參數(shù)的配置和管理文件接口支撐：接口采集，接口協(xié)議注冊管理功能FTP管理a.支撐注冊的FTP服務(wù)器IP端口注冊和對應(yīng)的主機(jī)賬號管理FTP賬戶管理a.支撐注冊對應(yīng)的主機(jī)賬號管理Zookeeper支撐：集群zk信息注冊Hbase支撐：Hbase注冊功能Redis支撐：集群Redis信息注冊主題隊(duì)列映射支撐：對應(yīng)資產(chǎn)目錄綁定的租戶和隊(duì)列的映射配置業(yè)務(wù)系統(tǒng)支撐：接口采集源系統(tǒng)注冊功能Hadoop集群管理集群支撐：集群名稱注冊和系統(tǒng)目錄管理功能：新增、修改、刪除、查詢功能用戶組支撐：集群名稱、用戶組、系統(tǒng)目錄管理功能：新增、修改、刪除、查詢功能用戶支撐：集群名稱、用戶組、產(chǎn)品租戶的管理功能：新增、修改、刪除、查詢功能目錄支撐：接口采集的hdfs目錄注冊yarn資源支撐：系統(tǒng)全局隊(duì)列的配置管理功能：新增、修改、刪除、查詢功能租戶管理租戶注冊支撐：集群的產(chǎn)品租戶、個(gè)人租戶和個(gè)人租戶組注冊、導(dǎo)入、修改、刪除、查詢功能租戶映射a.支撐：個(gè)人租戶對應(yīng)登錄賬號的掛載關(guān)系配置。b.支撐：新增、導(dǎo)入、修改、搜索功能。產(chǎn)品介紹：資產(chǎn)注冊管理模塊說明：(3)角色層次：分省、市州、區(qū)縣、分支局、網(wǎng)格。(4)角色分配：角色可以單個(gè)、或者批量分配用戶。(5)權(quán)限分配：角色掛菜單、JOB掛角色、JDBC租戶掛角色、物理模型掛角色、邏輯模型掛角色、應(yīng)用指標(biāo)掛角色。(3)租戶組：指集群分配的個(gè)人租戶組權(quán)限。(4)產(chǎn)品租戶：指專門提供產(chǎn)品來調(diào)度和訪問的租戶權(quán)限。(5)租戶映射：把注冊的個(gè)人租戶映射到登錄賬號和角色下面，以方

便后續(xù)的一站式開發(fā)工作臺產(chǎn)品調(diào)度模塊使用。(1)集群注冊：可配置注冊管理的集群名稱，信息。(2)集群用戶和用戶組注冊：可配置掛載集群和產(chǎn)品租戶的關(guān)系、和產(chǎn)品租戶和租戶組關(guān)系。(3)集群隊(duì)列注冊：可注冊集群對應(yīng)的資源隊(duì)列信息。(1)數(shù)據(jù)庫注冊：數(shù)據(jù)庫注冊實(shí)現(xiàn)管理對象：如mysql、oracle

、

postgresql、

hive、

Hbase的庫進(jìn)行注冊。(2)JDBC注冊：JDBC租戶注冊，實(shí)現(xiàn)對注冊的數(shù)據(jù)庫的，用戶和密碼管理，以及對keytab認(rèn)證進(jìn)行管理。(1)系統(tǒng)權(quán)限管理：主要是實(shí)現(xiàn)用戶管理、角色管理、菜單管理、權(quán)限管理功能。(2)角色類型：分?jǐn)?shù)據(jù)開發(fā)者、運(yùn)維者、使用者、管理者領(lǐng)導(dǎo)、管理者技術(shù)，角色分組員和組長。組長可以分配下級組員的角色。產(chǎn)品介紹：

資產(chǎn)注冊管理-產(chǎn)品效果圖(1)租戶注冊分：個(gè)人租戶注冊、租戶組注冊、產(chǎn)品租戶注冊。(2)個(gè)人租戶：指集群分配的權(quán)限、資源調(diào)度訪問個(gè)人租戶。功能分類一級功能二級功能資產(chǎn)注冊數(shù)據(jù)項(xiàng)設(shè)計(jì)模型設(shè)計(jì)資產(chǎn)目錄資產(chǎn)管理數(shù)據(jù)庫租戶(產(chǎn)品租戶)規(guī)則管理全局變量文件接口a.實(shí)現(xiàn)采集的源端系統(tǒng)接口注冊管理功能：新建、刪除、導(dǎo)入、導(dǎo)出、查詢功能FTP管理FTP賬戶管理ZookeeperHbaseRedis主題隊(duì)列映射業(yè)務(wù)系統(tǒng)a.注冊管理采集的源端數(shù)據(jù)業(yè)務(wù)系統(tǒng)的信息：新建、刪除、導(dǎo)入、導(dǎo)出、查詢功能Hadoop集群管理集群用戶組用戶目錄a.支撐：集群用戶、用戶目錄、讀寫權(quán)限控制管理功能：新增、修改、刪除、查詢功能b.支撐目錄的：增、刪、改、查。yarn資源租戶管理租戶注冊租戶映射數(shù)據(jù)開發(fā)開發(fā)目錄管理a.支撐模型分發(fā)目錄和開發(fā)目錄為同一套目錄。b.支撐job在開發(fā)目錄下面的新增、刪除、修改、移動、重置。語義處理a.支撐語義的ETL配置b.實(shí)現(xiàn)過程表、臨時(shí)表加工邏輯配置c.實(shí)現(xiàn)調(diào)度參數(shù)全局變量配置d.實(shí)現(xiàn)job的新增、保存、修改、測試、提交e.實(shí)現(xiàn)job的自動修改加鎖，和保存job解鎖功能Oracle抽取a.實(shí)現(xiàn)源端數(shù)據(jù)源是oracle的數(shù)據(jù)進(jìn)行抽取、裝載、落地、加載到hive表功能mysql抽取a.實(shí)現(xiàn)源端數(shù)據(jù)源是mysql的數(shù)據(jù)進(jìn)行抽取、裝載、落地、加載到hive表功能通用命令a.支撐本地服務(wù)器調(diào)度和遠(yuǎn)程服務(wù)器調(diào)度功能JDBC實(shí)用工具a.實(shí)現(xiàn)對源端多關(guān)系型數(shù)據(jù)庫的表進(jìn)行sql處理功能數(shù)據(jù)質(zhì)量a.實(shí)現(xiàn)數(shù)據(jù)質(zhì)量組件的拖拽開發(fā)，在組件里面可以選稽核指標(biāo)組件和稽核規(guī)則組件b.實(shí)現(xiàn)組件的依賴連線，并實(shí)現(xiàn)開發(fā)面板里面組件的連線調(diào)度功能數(shù)據(jù)遷移實(shí)現(xiàn)數(shù)據(jù)出hdfs平臺數(shù)據(jù)遷移到對應(yīng)端數(shù)據(jù)庫組件格式化集團(tuán)上傳格式化文件功能上傳取回執(zhí)集團(tuán)上傳回執(zhí)日志功能集團(tuán)上傳集團(tuán)上傳-組件功能運(yùn)維中心任務(wù)管理實(shí)現(xiàn)，超級管理權(quán)限，對job任務(wù)實(shí)現(xiàn)強(qiáng)制鎖定，解鎖。任務(wù)監(jiān)控實(shí)現(xiàn)手工重調(diào)任務(wù)功能，實(shí)現(xiàn)未運(yùn)行、運(yùn)行中、運(yùn)行失敗、運(yùn)行成功，等待運(yùn)行，幾種狀態(tài)的掛起功能，喚醒功能實(shí)現(xiàn)：掛起的job在掛起后，最新一次

調(diào)度賬期從新調(diào)度功能。產(chǎn)品介紹：建模開發(fā)、數(shù)說工廠、統(tǒng)一調(diào)度模塊說明：(1)數(shù)據(jù)項(xiàng)注冊：數(shù)據(jù)項(xiàng)分屬性、實(shí)例、維度、標(biāo)簽、指標(biāo)原子化注冊。(2)模型注冊分發(fā)：模型注冊在資產(chǎn)目錄后，實(shí)現(xiàn)建模策略分發(fā)。(1)數(shù)據(jù)開發(fā)：分語義處理、oracle抽取、

mysql抽取、通用命令調(diào)度、JDBC實(shí)用工具、數(shù)據(jù)質(zhì)量、數(shù)據(jù)遷移、格式化組件、集團(tuán)上傳、集團(tuán)下發(fā)、回執(zhí)組件(2)語義處理：支撐語義的ETL配置，實(shí)現(xiàn)過程表、臨時(shí)表加工邏輯配置和全局參數(shù)調(diào)度。(3)oracle抽?。簩?shí)現(xiàn)源端為oracle的采集入平臺。(4)mysql抽?。簩?shí)現(xiàn)源端為mysql的采集入平臺。(5)JDBC實(shí)用工具：實(shí)現(xiàn)各種JDBC驅(qū)動的ETL配置。(6)數(shù)據(jù)質(zhì)量：實(shí)現(xiàn)對數(shù)據(jù)表五者五性質(zhì)量稽核。(7)數(shù)據(jù)遷移：實(shí)現(xiàn)hdfs數(shù)據(jù)出平臺遷移到對應(yīng)端的數(shù)據(jù)庫里。(8)格式化：集團(tuán)上傳和下發(fā)數(shù)據(jù)格式化組件。(9)集團(tuán)上傳下發(fā)：實(shí)現(xiàn)省數(shù)據(jù)上傳集團(tuán)和集團(tuán)數(shù)據(jù)下發(fā)到各省。(10)回執(zhí)組件：實(shí)現(xiàn)集團(tuán)上傳對應(yīng)的集團(tuán)日志回執(zhí)。(1)統(tǒng)一調(diào)度：分任務(wù)管理和任務(wù)監(jiān)控。(2)任務(wù)管理：實(shí)現(xiàn)對job任務(wù)強(qiáng)制鎖定，解鎖，上線，下線功能。(3)任務(wù)監(jiān)控：實(shí)現(xiàn)任務(wù)重調(diào)、任務(wù)運(yùn)行管理、任務(wù)掛起、喚醒功能。產(chǎn)品介紹：

建模開發(fā)、數(shù)說工廠、統(tǒng)一調(diào)度-產(chǎn)品效果圖(1)資產(chǎn)目錄注冊：對管理對象的數(shù)據(jù)資產(chǎn)按系統(tǒng)、層、主題資源進(jìn)行目錄注冊。(2)主題對應(yīng)映射：對資產(chǎn)目錄綁定映射到集群、隊(duì)列。租戶

：?

租戶

A：150c/2TB?租戶

C：100c/700GB?租戶

B：20c/200GB?租戶

D：40c/500GB產(chǎn)品特點(diǎn)：跨集群用戶管理中心租戶

CCPU60c

Mem

200GB租戶

ACPU

50c

Mem1TB租戶

DCPU40c

Mem

500GB租戶

ACPU

100c

Mem1TB租戶

BCPU20c

Mem

200GB集群-

AWS2租戶

CCPU40c

Mem

500GB集群-

ALIYUN租戶管理集群-青島2集群-AWS1集群-青島1集群-

北京3集群-

北京1集群-

北京2Node產(chǎn)品特點(diǎn)：統(tǒng)一調(diào)度，監(jiān)控下沉LocalStorage?宿主機(jī)監(jiān)控：CPU/內(nèi)存/磁盤

io/網(wǎng)絡(luò)?容器監(jiān)控：CPU/內(nèi)存/磁盤

io/網(wǎng)絡(luò)?

應(yīng)用監(jiān)控：應(yīng)用可暴露的監(jiān)控指標(biāo)?統(tǒng)一后端分布式存儲RetrievalStoragePromQLEndpointsAPIWeb

UI（Pod）Push

GatewayPrometheusServerJobs/

ExportersGrafana（Pod）Short-livedjobs?告警策略?告警壓制hosthostpodpodTargetsDataPrometheusServer（Pod）e愿kiba

na?

宿主機(jī)可被攻擊面大?

容器共享

kernel風(fēng)險(xiǎn)?

宿主機(jī)操作系統(tǒng)漏洞?

宿主機(jī)用戶訪問權(quán)限?

宿主機(jī)文件系統(tǒng)篡改?

無界的管理員權(quán)限?

授權(quán)訪問不夠嚴(yán)格?

敏感度差異容器負(fù)載混合?

節(jié)點(diǎn)間互信關(guān)系?

操作日志審計(jì)?

容器運(yùn)行時(shí)漏洞管理?

容器網(wǎng)絡(luò)訪問無隔離?

容器運(yùn)行時(shí)配置缺陷?

容器承載的應(yīng)用漏洞?

平臺中存有流氓容器?

鏡像安全漏洞掃描?

鏡像配置缺陷管理?

鏡像中有惡意軟件?

鏡像中有明文密鑰?

使用了非信任鏡像?

業(yè)務(wù)間訪問通斷控制?

非同類網(wǎng)絡(luò)流量分離?

負(fù)載均衡的加密訪問?

基于SSL

傳輸加密?

宿主機(jī)日志采集?容器日志采集：標(biāo)準(zhǔn)輸出&文件日志?支持海量日志文件跟蹤收取和傳送?

倉庫中有陳舊鏡像?

訪問敏感數(shù)據(jù)鑒權(quán)?

不安全連接和訪問GlusterFS?elastic

search?

支持海量日志分析?支持單應(yīng)用日志聚合及檢索?支持基于日期、關(guān)鍵字檢索產(chǎn)品特點(diǎn)：安全管理?

操作日志記錄?

用戶行為分析?

操作規(guī)范審計(jì)

倉庫安全

宿主機(jī)安全品

網(wǎng)絡(luò)安全

管理安全

鏡像安全

容器安全PodPodPodPod4

成功案例博瑞得優(yōu)勢:o解決了跨區(qū)域，跨機(jī)房集群部署和管理問題。o解決了集群之前數(shù)據(jù)通信、和統(tǒng)一調(diào)度分配問題。o解決了數(shù)據(jù)層、分域存儲和計(jì)算隔離問題。o解決了HDFS的NN節(jié)點(diǎn)擴(kuò)展性不足問題。o解決了小文件過多，影響集群性能問題。o解決了入庫性能問題。o解決了實(shí)時(shí)計(jì)算和采集問題。o解決了數(shù)據(jù)統(tǒng)一查詢訪問、安全管控使用數(shù)據(jù)問題。建設(shè)現(xiàn)狀：oXX省AI網(wǎng)絡(luò)中心三個(gè)機(jī)房物理位置處于不同地市。o三個(gè)機(jī)房通過40G帶寬，直連DCN網(wǎng)實(shí)現(xiàn)網(wǎng)絡(luò)互通。o各機(jī)房的設(shè)備，存儲和計(jì)算性能存在明顯差異。技術(shù)特點(diǎn)：o存儲組件，三個(gè)機(jī)房服務(wù)器都部署，目的是為了利用存儲資源。o計(jì)算組件，根據(jù)業(yè)務(wù)特點(diǎn)分機(jī)房部署，為了實(shí)現(xiàn)計(jì)算時(shí)效性。案例一：某省超大規(guī)模集群建設(shè)HBase數(shù)據(jù)

存儲YannHDFS機(jī)房1

機(jī)房2

機(jī)房3機(jī)房1

機(jī)房2

機(jī)房3SparkStreaming/Flink

SparkPrestoHiveImpala數(shù)據(jù)

計(jì)算DCN網(wǎng)機(jī)房3機(jī)房1機(jī)房240G40G40G案例二：

某省電信全域數(shù)據(jù)融合建設(shè)客戶現(xiàn)狀：1、

BI系統(tǒng)經(jīng)過12年以上建設(shè)，超過10萬張數(shù)據(jù)表、

1600個(gè)以上應(yīng)用，容量超過100T2、存在多廠家合作開發(fā)，數(shù)據(jù)質(zhì)量管理主要依靠管理制度和事后稽核類別末端原因人員缺少對現(xiàn)有系統(tǒng)學(xué)習(xí)手段離職或變動數(shù)據(jù)源數(shù)據(jù)自相矛盾復(fù)雜規(guī)則設(shè)有被充分理解變更帶來質(zhì)量問題開發(fā)過程時(shí)間太緊張業(yè)務(wù)規(guī)則理解錯(cuò)誤需求理解不準(zhǔn)確缺少測試標(biāo)準(zhǔn)和方法質(zhì)量管理質(zhì)量監(jiān)控規(guī)則不好把握系統(tǒng)構(gòu)架設(shè)計(jì)中缺少質(zhì)量考慮質(zhì)量監(jiān)控帶來過多性能開銷1全過程開發(fā)管理2全過程質(zhì)量管理3元數(shù)據(jù)管理4優(yōu)化構(gòu)架質(zhì)量控制質(zhì)量管理引入

BDP平臺問題查證率

提高50%元數(shù)據(jù)覆蓋

度從30%上升至98%人員質(zhì)量持續(xù)改進(jìn)人員培訓(xùn)周

期由3個(gè)月

縮短至5天節(jié)約人力資源

成本30%開發(fā)

過程數(shù)據(jù)源B域O域M域話務(wù)指標(biāo)增值及新業(yè)務(wù)l國內(nèi)長途業(yè)務(wù)l國際長途l互聯(lián)網(wǎng)業(yè)務(wù) 基礎(chǔ)數(shù)據(jù)業(yè)務(wù)網(wǎng)絡(luò)運(yùn)行指標(biāo)l掉話率lEVDO成功率l短消息成功率

基站斷站率lCDMA接通率EPC網(wǎng)絡(luò)指標(biāo)l

網(wǎng)絡(luò)指標(biāo)

網(wǎng)元運(yùn)行基礎(chǔ)指標(biāo)用戶感知指標(biāo)KPI指標(biāo)l收入lARPU值l市場占有率

l凈收入l成本管理類指標(biāo)l財(cái)務(wù)/效益（公司經(jīng)營收入、凈利率、投資回報(bào)

率）l服務(wù)/運(yùn)營（市場占有率、ARPU、廣告成本）l管理類指標(biāo)（人才培養(yǎng)、費(fèi)用控）管線指標(biāo)l管線l管道

基站l軟交換llllllll案例二：

某省電信全域數(shù)據(jù)融合建設(shè)通過企業(yè)級數(shù)據(jù)中心對BOM域數(shù)據(jù)匯聚，建立三域融合的一站式指標(biāo)管理體系，為各級管理者、分析

人員、一線人員提供全面、快速應(yīng)用服務(wù)支持企業(yè)級指標(biāo)庫（BOM融合）指標(biāo)生命周期管理指標(biāo)數(shù)據(jù)管理目錄管理在線分析預(yù)警監(jiān)控業(yè)務(wù)量終端網(wǎng)間結(jié)算用戶類經(jīng)營收入銷售品多維分析自助取數(shù)客戶服務(wù)服務(wù)開通KPI財(cái)務(wù)/效益服務(wù)/運(yùn)營指標(biāo)發(fā)布裝維指標(biāo)審核網(wǎng)絡(luò)運(yùn)行指標(biāo)查詢報(bào)表中心基礎(chǔ)平臺用戶感知成本管控…員工管理指標(biāo)應(yīng)用指標(biāo)管理………… 本地電話業(yè)務(wù)lll

業(yè)務(wù)指標(biāo)DT/CQT測評互聯(lián)互通接入網(wǎng)案例二：

某省電信全域數(shù)據(jù)融合建設(shè)整體規(guī)劃思路：融入數(shù)據(jù)資產(chǎn)理念的一張皮、兩條線和全覆蓋的數(shù)據(jù)中心數(shù)據(jù)規(guī)范標(biāo)準(zhǔn)線數(shù)據(jù)加工流水線

……目標(biāo)數(shù)據(jù)源數(shù)據(jù)數(shù)據(jù)庫數(shù)據(jù)庫關(guān)鍵因素標(biāo)準(zhǔn)化

組件化

可視化建模兩條線：在數(shù)據(jù)處理上，建設(shè)數(shù)據(jù)規(guī)范標(biāo)準(zhǔn)線和數(shù)據(jù)處理流水線，標(biāo)準(zhǔn)化數(shù)據(jù)、組件生產(chǎn)規(guī)格，并對數(shù)據(jù)處理環(huán)節(jié)進(jìn)行組件化，通過可視化建模進(jìn)行數(shù)據(jù)管道的規(guī)劃，形成數(shù)據(jù)流水線。數(shù)據(jù)工廠“管理”和“執(zhí)行”一體化以標(biāo)準(zhǔn)化為核心，構(gòu)建一個(gè)大數(shù)據(jù)的“操作系統(tǒng)”一張皮：以標(biāo)準(zhǔn)化為核心，數(shù)據(jù)“管理”和“執(zhí)行”一體化，構(gòu)建一個(gè)大數(shù)據(jù)的“操作系統(tǒng)”，對數(shù)據(jù)的匯聚、

處理、開放、應(yīng)用進(jìn)行一站式集成開發(fā)和管控。全覆蓋：在數(shù)據(jù)管控上，形成全景式（用戶角

色、工作過程）、全流程（開發(fā)、運(yùn)營、運(yùn)維）、全生命周期（業(yè)務(wù)角度、系統(tǒng)視角）的

多維度全覆蓋數(shù)據(jù)治理。應(yīng)用使用?

業(yè)務(wù)使用者進(jìn)行應(yīng)

用使用?

通過自助式界面進(jìn)

行自助分析?

通過自己的工具進(jìn)

行數(shù)據(jù)訪問平臺設(shè)計(jì)、開發(fā)?

統(tǒng)一業(yè)務(wù)組件?統(tǒng)一數(shù)據(jù)模型?創(chuàng)建共享組件?創(chuàng)建自助式門戶構(gòu)建應(yīng)用程序?

使用共享組件裝配應(yīng)用程序形成容器?

通過自助服務(wù)進(jìn)行

部署生態(tài)規(guī)則制訂?

規(guī)則與標(biāo)準(zhǔn)制訂?

支撐平臺掌控?

開放能力掌控?cái)?shù)據(jù)崗位CTO

|管理員

|開發(fā)人員

|

質(zhì)量管理員開發(fā)

企業(yè)級數(shù)據(jù)整合運(yùn)營管理者數(shù)據(jù)生產(chǎn)

線規(guī)格數(shù)據(jù)質(zhì)量管理生命周期管理標(biāo)準(zhǔn)化管理元數(shù)據(jù)管理數(shù)據(jù)

應(yīng)用提取數(shù)據(jù)應(yīng)用開發(fā)者各業(yè)務(wù)部門平臺使用者采集

加工命名標(biāo)準(zhǔn)組件標(biāo)準(zhǔn)質(zhì)檢…………1

數(shù)據(jù)湖實(shí)施案例數(shù)據(jù)湖-傳統(tǒng)架構(gòu)的變遷新一代大數(shù)據(jù)中心DatawarehouseTransacti

onsLo傳統(tǒng)數(shù)據(jù)倉庫StreamsLog

sEventHadoo

pStream

sDatawareho

useETLETLDatabase

sgsEve

nts FilesDataba

ses??DataLakeTransactioFilesnss01集團(tuán)“1+N”戰(zhàn)略，要求四川電信作

為先進(jìn)省分保持?jǐn)?shù)據(jù)中心架構(gòu)穩(wěn)定性

和前瞻性數(shù)據(jù)湖，以低成本收集并存儲任何規(guī)模、所有類型的數(shù)據(jù)并安

全提供使用，符合中國電信對”N”省分?jǐn)?shù)據(jù)中心建設(shè)高安全、

耐久、可用、可擴(kuò)展性的要求02光網(wǎng)、無線數(shù)據(jù)及企業(yè)外部數(shù)據(jù)亟待

收集，對非（半）結(jié)構(gòu)化數(shù)據(jù)、流式

數(shù)據(jù)的處理缺乏經(jīng)驗(yàn)數(shù)據(jù)湖，支持對非結(jié)構(gòu)化、流式數(shù)據(jù)進(jìn)行對象存儲和持久化，

并支持?jǐn)?shù)據(jù)對象的快速檢索、實(shí)時(shí)訪問03數(shù)據(jù)匯聚的復(fù)雜度增加，面臨數(shù)據(jù)接

口類型超過10種，前端業(yè)務(wù)要求數(shù)據(jù)

中心具備實(shí)時(shí)數(shù)據(jù)處理能力數(shù)據(jù)湖，可快速輕松地執(zhí)行新類型的數(shù)據(jù)統(tǒng)一匯聚和分析，支

持新接口類型包括如corba、

socket、

snmp、

tmf、

SFTP、SSH等，支持秒級、毫秒級數(shù)據(jù)處理能力04數(shù)據(jù)資產(chǎn)管理的難度增加，面臨全生

態(tài)數(shù)據(jù)（

B\O\M域，網(wǎng)絡(luò)、外部等）

進(jìn)行的統(tǒng)一、有效管理，無成例可循數(shù)據(jù)湖，基于“注冊”機(jī)制，任何入湖的數(shù)據(jù)都將注冊到資產(chǎn)

目錄進(jìn)行統(tǒng)一管理，同時(shí)具備自行更新和管理數(shù)據(jù)對象索引、

元數(shù)據(jù)的能力，方便進(jìn)行開放使用05生態(tài)圈融合業(yè)務(wù)發(fā)展，驅(qū)動數(shù)據(jù)資產(chǎn)

價(jià)值的發(fā)掘，對數(shù)據(jù)中心具備對復(fù)雜

事件的處理和分析能力數(shù)據(jù)湖，適合lambda架構(gòu)設(shè)計(jì)，支持使用一系列分析引擎，

用于高級數(shù)據(jù)分析、實(shí)時(shí)流式+批量數(shù)據(jù)復(fù)合分析、預(yù)測性分

析、人工智能

(AI)和機(jī)器學(xué)習(xí)等場景為什么要引入數(shù)據(jù)湖？引入數(shù)據(jù)湖現(xiàn)狀亞馬遜：什么是真正的數(shù)據(jù)湖？

API

&

UI

AnAPIanduserinterfacethatexposethesefeaturestointernalandexternalgovernancethroughtechnology,notpolicy

A