華為大數(shù)據(jù)介紹

1、本文格式為Word版，下載可任意編輯 華為大數(shù)據(jù)介紹 可信、靈巧、聰慧的大數(shù)據(jù)云服務(wù)華為Cloud BU 目錄 華為大數(shù)據(jù)云服務(wù)介紹華為大數(shù)據(jù)整體介紹12案例3 大數(shù)據(jù)是華為ICT 戰(zhàn)略的重要支柱 Source: Huawei corporate presentation 華為公司戰(zhàn)略地圖華為大數(shù)據(jù)研發(fā)全球配置?全球8個(gè)研究所，保持千人+的規(guī)模投入?擁有PMC/Committer 、IEEE Fellow 等世界級(jí)數(shù)據(jù)挖掘和人工智能專家 ?大數(shù)據(jù)專利190+Professional Service Big Data Analytics Platform Data Center Infrastr

2、ucture Core Network IP+Optical FBB Enterprise Network MBB Things (M2M Module)People (Smart Device)Enterprise Apps SDP BSS/OSS 3rd Partners Content & App 3rd ISVs 西安/北京研究所：Hadoop 產(chǎn)品化大數(shù)據(jù)算法Elk/MPP DB 深圳研發(fā)基地/香港：大數(shù)據(jù)洞察平臺(tái)數(shù)據(jù)挖掘算法印度研究所：Hadoop 數(shù)據(jù)可視化MOLAP 美研所：Spark MPP DB/Elk 大數(shù)據(jù)系統(tǒng)加速歐研所：分布式技術(shù)杭州究所：Hadoop&Spark 流

3、計(jì)算大數(shù)據(jù)算法加研所：Yarn/大規(guī)模調(diào)度硬件加速金融大數(shù)據(jù)分析俄研所：算法 ?靈巧行業(yè)最優(yōu)化 -強(qiáng)大的SQL 能力，業(yè)務(wù)移植便捷-豐富的工具支持，開發(fā)運(yùn)維高效-完善的云服務(wù)，無(wú)縫遷移 ?聰慧場(chǎng)景最優(yōu)化 -全量建模，深刻洞察-自研算法，高效精準(zhǔn)-集聚最優(yōu)AI 云服務(wù) ?可信企業(yè)級(jí)的質(zhì)量和體驗(yàn) -全組件HA 、異地容災(zāi)、金融等保-開放共贏，可信賴的合作伙伴-企業(yè)級(jí)的大數(shù)據(jù)云服務(wù) 大數(shù)據(jù)平臺(tái)&云服務(wù)架構(gòu)：分層解耦開放 數(shù)據(jù)集成Porter Sqoop 批量采集HDFS 分布式文件系統(tǒng) Hbase NoSQL 數(shù)據(jù)庫(kù) Spark 一站式分析框架 Elk 標(biāo)準(zhǔn)SQL 引擎 Storm/Flink 流處

4、理框架 YARN 資源管理 Weaver 圖分析引擎數(shù)據(jù)洞察 Miner Miner Studio 挖掘平臺(tái) RTD 實(shí)時(shí)決策引擎 數(shù)據(jù)聰慧Farmer Farmer Base 推理框架 LibrA MPPDB ZooKeeper 協(xié)作服務(wù) CarbonData 新型文件格式 Flume 實(shí)時(shí)采集 Oozie 作業(yè)調(diào)度 Kafka 消息隊(duì)列 FtpOnHDFS 文件傳輸 管理平臺(tái) Manager 數(shù)據(jù)處理HD 大數(shù)據(jù)云服務(wù) 電信行業(yè)金融行業(yè)電力行業(yè)平安城市 租戶管理配置管理 故障管理 性能管理 安全管理 華為云大數(shù)據(jù)&AI 云服務(wù) DIS 服務(wù)數(shù)據(jù)集成服務(wù) CDM 服務(wù),. MRS 服務(wù)數(shù)據(jù)處

5、理服務(wù) CloudTable 服務(wù),. Stream 服務(wù)實(shí)時(shí)計(jì)算服務(wù) RTD 服務(wù),. DWS 服務(wù)數(shù)據(jù)分析服務(wù) UQuery 服務(wù),. MLS 服務(wù)機(jī)器學(xué)習(xí)服務(wù) 探尋服務(wù),. 圖像標(biāo)簽服務(wù)人工智能服務(wù) NLP 服務(wù),. 車聯(lián)網(wǎng) FusionInsight 套件 會(huì)使用Hadoop 會(huì)定位周 邊問(wèn)題 會(huì)定位內(nèi)核級(jí)問(wèn)題 （拔尖的個(gè)人） 定位內(nèi)核級(jí)問(wèn)題的 團(tuán)隊(duì)（依靠團(tuán)隊(duì)而 不是精英個(gè)人） 能夠獨(dú)立完成支 撐關(guān)鍵業(yè)務(wù)特性 的內(nèi)核級(jí)開發(fā) 能夠帶領(lǐng)社區(qū)，引領(lǐng) 社區(qū)完成面向未來(lái)的 內(nèi)核級(jí)特性開發(fā) 能夠創(chuàng)立新的社區(qū) 頂級(jí)工程，并且得 到生態(tài)系統(tǒng)認(rèn)可 Apache開源社區(qū)生態(tài)系統(tǒng) 組件多，代碼量大 組件更新

6、塊 特性無(wú)有效整合強(qiáng)大的Hadoop內(nèi)核團(tuán)隊(duì)支持的開發(fā)與產(chǎn)品交付能力，電信級(jí)運(yùn)營(yíng)支撐能力 Apache CarbonData 回饋社區(qū):業(yè)界第一陣營(yíng) 擁有核心工程PMC和committer Hadoop Core/HBase: 7 PMC+Committer Spark+Carbondata: 8 PMC+Committer 華為大數(shù)據(jù)市場(chǎng)地位中國(guó)區(qū)第一 華為大數(shù)據(jù)成功實(shí)踐行業(yè)標(biāo)桿企業(yè)的共同選擇 60% 中國(guó)TOP 10+金融企業(yè) 25% 全球TOP 50+電信運(yùn)營(yíng)商 30% 中國(guó)平安城市建設(shè) Database&Data Warehouse Data Integration BI&Analyt

7、ics 華為大數(shù)據(jù)成功實(shí)踐生態(tài)集成 華為大數(shù)據(jù)成功實(shí)踐ISV 公共安全交通 政務(wù) 電信 電力/石油金融綜合 星火電子 華為云上大數(shù)據(jù)全球部署規(guī)劃 華為大數(shù)據(jù)技術(shù)棧:開放（100%兼容社區(qū)API ）、企業(yè)級(jí) Infrastructure Huawei and industry standard x86 servers Open source (slight Huawei enhancements) HDFS / HBase Open source (Deep Huawei enhancements) Huawei developed / proprietary Distributed Stora

8、ge Yarn / Zookeeper Distributed Computing Framework DSL MapReduce Spark Storm Superior Scheduler Sqoop Kafka FTP Data Integration Batch Processing Elk Interactive Query MPP DB Hive Solr Search HiGraph Machine Learning MLlib Streaming Spark Streaming Event Stream Processing CQL On-line Query CTBase P

9、hoenix Huawei O&M Tools,IDE, Integrated Console Authorization Authentication Kerberos OS Auth ORC File RC File Parquet CarbonData SQL on Hadoop 多租戶 異構(gòu)環(huán)境 企業(yè)級(jí)能力Huawei Confidential Spark SQL Cloud (Private, Hybrid and Public) 簡(jiǎn)化開發(fā) Flume Oozie Redis Flink SparkSQL：兼容、穩(wěn)定、高性能 SQL兼容性 SQL語(yǔ)句0修改通過(guò)所有99 個(gè)TPC-DS

10、 用例! 同時(shí)支持?jǐn)?shù)據(jù)更新 ?SQL兼容性SQL 2022 標(biāo)準(zhǔn), 0修改通過(guò)所有99 個(gè)TPC-DS 用例 ?數(shù)據(jù)更新和刪除使用CarbonData文件格式的時(shí)候, SparkSQL支持?jǐn)?shù)據(jù)插入、更新和刪除.穩(wěn)定和高性能的大規(guī)模Spark 進(jìn)行100TB 規(guī)模的99 TPC-DS 長(zhǎng)穩(wěn)測(cè)試 ?內(nèi)存優(yōu)化解決內(nèi)存泄漏, 去中心化廣播, Spark 堆內(nèi)存優(yōu)化 ?通訊優(yōu)化RPC 加強(qiáng), shuffle fetch 優(yōu)化, shuffle網(wǎng)絡(luò)配置 ?調(diào)度優(yōu)化GetSplits(), AddPendingTask() acceleration(), DAG序列化重用 ?極限壓力測(cè)試7x24 壓力測(cè)試,

11、 HA 測(cè)試 ?運(yùn)維加強(qiáng)日志安全審核，DAG UI優(yōu)化 某合作伙伴測(cè)試，F(xiàn)I SparkStream 比CDH快3倍 OLAP 類型(多維分析)CarbonData: 單一文件格式滿足不同類型訪問(wèn)隨機(jī)訪問(wèn)(小范圍掃描) 順序訪問(wèn) (大范圍掃描) 隨機(jī)訪問(wèn)(小范圍掃描): 7.9 to 688倍 OLAP /交互查詢:20 to 33倍順序訪問(wèn)(大范圍掃描):1.4 to 6倍Apache CarbonData-融合數(shù)倉(cāng)的數(shù)據(jù)格式 可視化的多級(jí)租戶管理，與企業(yè)組織結(jié)構(gòu)相匹配，簡(jiǎn)化系統(tǒng)資源分派與管理與企業(yè)組織結(jié)構(gòu)相匹配的多級(jí)的租戶模型，不同部門對(duì)應(yīng)不同的租戶，按需動(dòng)態(tài)增刪租戶 一站式管理租戶資源管

12、理：計(jì)算資源（CPU/內(nèi)存/IO ）、存儲(chǔ)資源（HDFS ）、服務(wù)資源（HBase) 基于linux cgroup 容器機(jī)制的租戶資源隔離，為租戶SLA 保駕護(hù)航租戶資源使用狀況實(shí)時(shí)監(jiān)控一站式租戶管理 多層級(jí)租戶管理 公司租戶公司部門A Yarn Queue(CPU/內(nèi)存/IO)計(jì)算資源 HDFS (存儲(chǔ)空間/文件綜述)存儲(chǔ)資源 HBase 服務(wù)資源部門B 子部門B_1子部門B_2部門B 租戶 子部門B_2租戶 子部門B_1租戶部門A 租戶與企業(yè)組織結(jié)構(gòu)相匹配的多級(jí)租戶管理 關(guān)鍵價(jià)值點(diǎn)：利用3點(diǎn)融合能力豐富在線應(yīng)用查詢能力?數(shù)據(jù)融合：(半)結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)融合存儲(chǔ)?表融合：多個(gè)關(guān)聯(lián)業(yè)務(wù)

13、表融合成聚簇表結(jié)構(gòu)?索引融合：HBase 二級(jí)索引、全文索引、位圖索引 提升在線應(yīng)用接入大數(shù)據(jù)平臺(tái)的易用性? 友好的融合數(shù)據(jù)訪問(wèn)API ?降低90應(yīng)用層二次開發(fā)代碼量提升在線應(yīng)用系統(tǒng)可用性典型應(yīng)用場(chǎng)景：?實(shí)時(shí)征信? 歷史數(shù)據(jù)在線查詢?技偵人員檔案實(shí)時(shí)查詢?票據(jù)/影像文件存儲(chǔ)/查詢?實(shí)時(shí)過(guò)車信息查詢? 用戶畫像標(biāo)簽存儲(chǔ)/查詢?JDBC DSL Data Manipulation API HBase Coprocessor Solr Filter Plungins Secondary Index Bitmap Index Schema Manager Table Def Column Def In

14、dex Def Fulltext Index Luna API HDFS HFS Blob HFile(Normal) HFile(mob)Bitmap Checkpoint CTBase: 在線主題應(yīng)用SDK ，減少90%應(yīng)用開發(fā)代碼 CTBase: Tagram 標(biāo)簽位圖表 Tagram 出現(xiàn)的背景：1.用戶畫像領(lǐng)域的標(biāo)簽數(shù)據(jù)，尋常可枚舉值較少(Low Cardinality)，關(guān)于這類數(shù)據(jù)的存儲(chǔ)與查詢?nèi)狈σ粋€(gè)專業(yè)的系統(tǒng)。2. 基于Solr/ElasticSearch 來(lái)存儲(chǔ)標(biāo)簽數(shù)據(jù)的方案，讀寫性能得不到保障，即使基于Cache 技術(shù)來(lái)提升讀取的性能，當(dāng)有實(shí)時(shí)數(shù)據(jù)寫入時(shí)，Cache 簡(jiǎn)單失效從而導(dǎo)致讀取性能急劇惡化。Tagram 方案介紹：基于位圖索引及數(shù)據(jù)分片技術(shù)，實(shí)現(xiàn)了標(biāo)簽數(shù)據(jù)的分布式存儲(chǔ)與查詢，任意標(biāo)簽組合條件查詢可在ms 級(jí)別響應(yīng)，并且能夠很好的支持標(biāo)簽數(shù)據(jù)的實(shí)時(shí)與批量更新。Condition GENDER:Male AND MARRIAGE:Married AND AGE:25-30 AND BLOOD_TYPE:A AND CAROWNER Tagram Client 查詢執(zhí)行標(biāo)簽組合條件查詢語(yǔ)法樹查詢優(yōu)化器查詢計(jì)劃TagZone 101111010010.01100101