H3C大數(shù)據(jù)解決方案

H3C大數(shù)據(jù)解決方案H3C大數(shù)據(jù)解決方案目錄大數(shù)據(jù)建設(shè)思路H3C大數(shù)據(jù)解決方案H3C大數(shù)據(jù)產(chǎn)品特點成功案例展示目錄大數(shù)據(jù)建設(shè)思路為什么需要大數(shù)據(jù)技術(shù)？3大表查詢慢數(shù)據(jù)間關(guān)系模糊計算節(jié)點擴(kuò)展瓶頸數(shù)據(jù)結(jié)構(gòu)多樣數(shù)據(jù)來源廣泛計算性能瓶頸存儲容量瓶頸服務(wù)級別要求越來越高OldSQL瓶頸半、非結(jié)構(gòu)化數(shù)據(jù)難以處理數(shù)據(jù)采集困難數(shù)據(jù)幾何增長存儲節(jié)點擴(kuò)展瓶頸數(shù)據(jù)清洗復(fù)雜系統(tǒng)響應(yīng)慢數(shù)據(jù)吞吐能力低單表數(shù)據(jù)量激增分析方式單一分析結(jié)果展現(xiàn)不友好無即席查詢?yōu)槭裁葱枰髷?shù)據(jù)技術(shù)？3大表查詢慢數(shù)據(jù)間關(guān)系模糊計算節(jié)點擴(kuò)展大數(shù)據(jù)建設(shè)思路4數(shù)據(jù)運(yùn)營數(shù)據(jù)整合技術(shù)升級第一階段第二階段第三階段大數(shù)據(jù)建設(shè)思路4數(shù)據(jù)運(yùn)營數(shù)據(jù)整合技術(shù)升級第一階段第二階段第三第一階段技術(shù)升級大數(shù)據(jù)建設(shè)步驟第一階段技術(shù)升級大數(shù)據(jù)建設(shè)步驟技術(shù)升級6決策支持和流程自動化數(shù)據(jù)分析、展現(xiàn)和挖掘數(shù)據(jù)組織和管理計算、存儲、網(wǎng)絡(luò)基礎(chǔ)設(shè)施分布式存儲分布式文件系統(tǒng)分布式卷管理器分布式數(shù)據(jù)庫分布式計算集群技術(shù)升級解決傳統(tǒng)計算、存儲、數(shù)據(jù)庫在處理海量大數(shù)據(jù)的瓶頸技術(shù)升級6決策支持和流程自動化數(shù)據(jù)分析、展現(xiàn)和挖掘數(shù)據(jù)組織和分布式架構(gòu)的優(yōu)勢7分布式架構(gòu)的優(yōu)勢7第二階段數(shù)據(jù)整合大數(shù)據(jù)建設(shè)步驟第二階段數(shù)據(jù)整合大數(shù)據(jù)建設(shè)步驟數(shù)據(jù)整合9數(shù)據(jù)倉庫全文庫關(guān)聯(lián)庫專題庫……數(shù)據(jù)管理基礎(chǔ)數(shù)據(jù)應(yīng)用數(shù)據(jù)配置數(shù)據(jù)數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)質(zhì)量檢測數(shù)據(jù)資源監(jiān)控數(shù)據(jù)資源目錄數(shù)據(jù)價值評價政務(wù)內(nèi)網(wǎng)政務(wù)外網(wǎng)數(shù)據(jù)源互聯(lián)網(wǎng)數(shù)據(jù)結(jié)構(gòu)化庫全文庫音視頻庫……元數(shù)據(jù)庫數(shù)據(jù)字典…………制定標(biāo)準(zhǔn)化、規(guī)范化的數(shù)據(jù)處理流程；采集內(nèi)部和外部數(shù)據(jù)、結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)；清洗臟數(shù)據(jù)和無效數(shù)據(jù)；打通不同來源的數(shù)據(jù)；對非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行結(jié)構(gòu)化加工數(shù)據(jù)整合9數(shù)據(jù)倉庫全文庫關(guān)聯(lián)庫專題庫……數(shù)據(jù)管理基礎(chǔ)數(shù)據(jù)應(yīng)用第三階段數(shù)據(jù)運(yùn)營大數(shù)據(jù)建設(shè)步驟建議第三階段數(shù)據(jù)運(yùn)營大數(shù)據(jù)建設(shè)步驟建議數(shù)據(jù)運(yùn)營11數(shù)據(jù)即服務(wù)平臺即服務(wù)軟件即服務(wù)數(shù)據(jù)運(yùn)營第一種：DaaS，數(shù)據(jù)即服務(wù)，舉例來說，某個單位它需要數(shù)據(jù)，作為數(shù)據(jù)管理員，按用戶的需求把不同數(shù)據(jù)整合成寬表給用戶，這就是DaaS的服務(wù)；第二種：PaaS，對外部單位數(shù)據(jù)服務(wù)的時候，有些數(shù)據(jù)沒有辦法離開數(shù)據(jù)平臺，通過提供各種各樣數(shù)據(jù)分析挖掘的工具，讓用戶在平臺上挖掘出需要的結(jié)果；第三種：SaaS，各個專業(yè)的平臺應(yīng)用。數(shù)據(jù)運(yùn)營11數(shù)據(jù)即服務(wù)平臺即服務(wù)軟件即服務(wù)數(shù)據(jù)運(yùn)營目錄大數(shù)據(jù)建設(shè)思路H3C大數(shù)據(jù)解決方案H3C大數(shù)據(jù)產(chǎn)品特點成功案例展示目錄大數(shù)據(jù)建設(shè)思路H3C大數(shù)據(jù)平臺系統(tǒng)架構(gòu)H3C大數(shù)據(jù)平臺系統(tǒng)架構(gòu)平臺物理拓?fù)?4……Hadoop集群MPP集群其他組件（BI、ETL等）…InterconnectionNetwork基于X86的分布式架構(gòu)，可從3臺橫向擴(kuò)展至數(shù)千節(jié)點平臺物理拓?fù)?4……Hadoop集群MPP集群其他組件（BIH3CDataEngine平臺組件Linux操作系統(tǒng)X86服務(wù)器集群資源管理YARN任務(wù)調(diào)度安全管理文件系統(tǒng)HDFS集群安裝布署消息隊列BI可視化可編程接口離線計算MapReduceMPP分布式數(shù)據(jù)庫HBase數(shù)據(jù)庫全文檢索SQL即席查詢數(shù)據(jù)倉庫同步系統(tǒng)ZooKeeper內(nèi)存計算Spark流計算Storm數(shù)據(jù)采集數(shù)據(jù)交換數(shù)據(jù)挖掘集群監(jiān)控管理大數(shù)據(jù)應(yīng)用H3CDataEngine兼容性好：基于開源Hadoop分布式計算框架，提供開放、兼容的大數(shù)據(jù)計算能力；硬件無關(guān)：支持物理機(jī)布署、虛擬機(jī)布署；支持獨(dú)立布署、云平臺布署；安裝便捷：支持一鍵式快速布署，幾分鐘即可完成集群創(chuàng)建；擴(kuò)展性強(qiáng)：集群數(shù)量從幾臺到上千臺，并支持在線橫向擴(kuò)展；方便運(yùn)維：支持圖形化管理工具，運(yùn)維管理簡單易用；兼容SQL：

兼容標(biāo)準(zhǔn)SQL，包括Hadoop和MPPH3CDataEngine平臺組件Linux操作系統(tǒng)X86大數(shù)據(jù)平臺整體建設(shè)步驟建立數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范建立數(shù)據(jù)填報系統(tǒng)業(yè)務(wù)系統(tǒng)數(shù)據(jù)抽取連接共享交換系統(tǒng)數(shù)據(jù)比對垃圾過濾數(shù)據(jù)去重數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)采集數(shù)據(jù)倉庫建設(shè)根據(jù)分析型應(yīng)用需求確定專題數(shù)據(jù)特征分析根據(jù)對需求和數(shù)據(jù)的分析，按照不同的主題建立數(shù)據(jù)倉庫模型各業(yè)務(wù)部門根據(jù)各自的數(shù)據(jù)分析需求，建立數(shù)據(jù)集市模型通過ETL工具實現(xiàn)數(shù)據(jù)加載和同步數(shù)據(jù)分析應(yīng)用專題圖表設(shè)計領(lǐng)導(dǎo)輔助決策職能部門數(shù)據(jù)共享公眾數(shù)據(jù)查詢其他大數(shù)據(jù)應(yīng)用系統(tǒng)123大數(shù)據(jù)平臺整體建設(shè)步驟建立數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范數(shù)據(jù)采集數(shù)據(jù)倉庫建設(shè)根1.數(shù)據(jù)采集--數(shù)據(jù)共享交換平臺在每個被采集的數(shù)據(jù)單位，部署數(shù)據(jù)采集網(wǎng)關(guān)，實現(xiàn)對結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的采集和相互交換支持對Oracle、SQLSever、MYSQL、達(dá)夢、金倉等數(shù)據(jù)的抽取支持對xml、html、pdf、txt等文件的抽取房產(chǎn)部門稅務(wù)部門財政部門相關(guān)資源提供機(jī)構(gòu)其他職能部門RESTservices異構(gòu)橋數(shù)據(jù)交換總控云服務(wù)網(wǎng)關(guān)數(shù)據(jù)交換網(wǎng)關(guān)Rest數(shù)據(jù)集市數(shù)據(jù)交換總控數(shù)據(jù)交換網(wǎng)關(guān)多維立方體數(shù)據(jù)倉庫工商部門1.數(shù)據(jù)采集--數(shù)據(jù)共享交換平臺在每個被采集的數(shù)據(jù)單位，部署1.數(shù)據(jù)采集——數(shù)據(jù)ETL清洗臟數(shù)據(jù)、重復(fù)數(shù)據(jù)、無效數(shù)據(jù)，打通不同來源的數(shù)據(jù)；對非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行結(jié)構(gòu)化加工A系統(tǒng)源數(shù)據(jù)B系統(tǒng)C系統(tǒng)數(shù)據(jù)抽取數(shù)據(jù)清洗數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)加載配置庫按規(guī)則抽取讀取配置臨時文件數(shù)據(jù)倉庫（Hadoop+MPP）目標(biāo)數(shù)據(jù)…1.數(shù)據(jù)采集——數(shù)據(jù)ETL清洗臟數(shù)據(jù)、重復(fù)數(shù)據(jù)、無效數(shù)據(jù)，打采用全可視化ETL系統(tǒng)，動態(tài)監(jiān)控整個任務(wù)的執(zhí)行情況拖拽式規(guī)則編輯，支持多種數(shù)據(jù)轉(zhuǎn)換、清洗方式。1.數(shù)據(jù)采集——配套ETL工具界面采用全可視化ETL系統(tǒng)，動態(tài)監(jiān)控整個任務(wù)的執(zhí)行情況拖拽式規(guī)則支撐數(shù)據(jù)庫元數(shù)據(jù)GIS信息LDAP庫DW數(shù)據(jù)倉庫分析主題數(shù)據(jù)集市……中心基礎(chǔ)庫人員企業(yè)環(huán)境工商統(tǒng)計……ODS操作數(shù)據(jù)庫粗粒度數(shù)據(jù)細(xì)粒度數(shù)據(jù)……2.數(shù)據(jù)倉庫建設(shè)——平臺數(shù)據(jù)倉庫架構(gòu)

數(shù)據(jù)平臺倉庫是大數(shù)據(jù)平臺的“大腦”，它存儲的是“經(jīng)過梳理的”各種業(yè)務(wù)系統(tǒng)數(shù)據(jù)。使原來分散在各業(yè)務(wù)系統(tǒng)中，無法關(guān)聯(lián)的數(shù)據(jù)，真正成為全面的，有分析加值的綜合性大數(shù)據(jù)。支撐數(shù)據(jù)庫元數(shù)據(jù)GIS信息LDAP庫DW數(shù)據(jù)倉庫分析主題數(shù)據(jù)2.數(shù)據(jù)倉庫建設(shè)——并行加載、并行查詢212.數(shù)據(jù)倉庫建設(shè)——并行加載、并行查詢21disksdisksmemoryCPUCPUdisksmemoryCPUCPUdisksmemoryCPUCPUInterconnectionNetwork…數(shù)據(jù)MPP架構(gòu)橫向擴(kuò)展數(shù)百節(jié)點2.數(shù)據(jù)倉庫建設(shè)——MPP數(shù)據(jù)庫disksdisksmemoryCPUCPUdisksmem3.數(shù)據(jù)分析應(yīng)用——數(shù)據(jù)建模分析分布式存儲、計算平臺DistributedExecutionEngine分布式執(zhí)行引擎RRuntimeLibraryR語言動態(tài)運(yùn)行庫大數(shù)據(jù)平臺算法RLanguageInterfaceR語言接口JavaLanguageInterfaceJava語言接口RStudioWebIDE開發(fā)環(huán)境公安大數(shù)據(jù)應(yīng)用SQLonHadoop、MPP交通大數(shù)據(jù)應(yīng)用醫(yī)療大數(shù)據(jù)氣象大數(shù)據(jù)電力大數(shù)據(jù)…3.數(shù)據(jù)分析應(yīng)用——數(shù)據(jù)建模分析分布式存儲、計算平臺Dist3.數(shù)據(jù)分析應(yīng)用——數(shù)據(jù)可視化設(shè)計3.數(shù)據(jù)分析應(yīng)用——數(shù)據(jù)可視化設(shè)計基礎(chǔ)組件擴(kuò)展組件KPI組件180°儀表盤45°儀表盤360°儀表盤齒輪圖溫度計KPI子彈圖擴(kuò)展……柱圖條形圖線圖面積圖散點圖氣泡圖漏斗圖熱區(qū)圖表格MAP擴(kuò)展……餅圖GIS視頻人口金字塔關(guān)系圖擴(kuò)展……雷達(dá)圖K線圖圖片標(biāo)簽文本音頻7647266232組件：633.數(shù)據(jù)分析應(yīng)用——可視化組件支持范圍基礎(chǔ)組件擴(kuò)展組件KPI組件180°儀表盤45°儀表盤360°

選擇數(shù)據(jù)模型

選擇維度

選擇度量

設(shè)置函數(shù)為“總和”

設(shè)置篩選條件

設(shè)置排序

新建自定義度量

設(shè)置預(yù)警

執(zhí)行，查看結(jié)果123456783.數(shù)據(jù)分析應(yīng)用——即席查詢模塊選擇數(shù)據(jù)模型選擇維度設(shè)置3.數(shù)據(jù)分析應(yīng)用——交通大數(shù)據(jù)3.數(shù)據(jù)分析應(yīng)用——交通大數(shù)據(jù)目錄大數(shù)據(jù)建設(shè)思路H3C大數(shù)據(jù)解決方案H3C產(chǎn)品特點案例展示目錄大數(shù)據(jù)建設(shè)思路安裝部署主節(jié)點一鍵下發(fā)指令，自動安裝部署……Hadoop集群MPP集群其他組件…集群部署：多樣化部署方式，定制部署、ZERO部署；集群擴(kuò)容：橫向擴(kuò)展、縱向擴(kuò)展；集群規(guī)模：無限制，支持三臺至上千臺節(jié)點；集群交付：上千臺節(jié)點集群分鐘級交付；安裝部署主節(jié)點一鍵下發(fā)指令，自動安裝部署……Hadoop集群運(yùn)維管理平臺安裝部署集群管理主機(jī)管理服務(wù)管理用戶管理告警監(jiān)控運(yùn)維管理平臺安裝部署機(jī)架展示節(jié)點服務(wù)CPU內(nèi)存硬盤機(jī)架展示節(jié)點DataEngineMPPCluster

可處理PB級別以上的結(jié)構(gòu)化數(shù)據(jù)實際擴(kuò)展能力達(dá)到64個Safegroup（最多64x3=192）個節(jié)點數(shù)據(jù)加載速度大于2TB/小時數(shù)據(jù)通過2個副本提供冗余保護(hù)每個節(jié)點并發(fā)能力大于300個用戶數(shù)據(jù)支持hash分布，range分布，random分布支持標(biāo)準(zhǔn)SQL提供標(biāo)準(zhǔn)的APIs:

C

API,JDBC,ODBC,ADO.NetDataEngineMPPDataEngineMPPCluster可處理PB級別大數(shù)據(jù)的安全建設(shè)外圍：華三具有全系列安全產(chǎn)品線產(chǎn)品用于支撐大數(shù)據(jù)集群和云計算周邊安全。租戶：針對不同的租戶分配不同的大數(shù)據(jù)集群資源區(qū)從而實現(xiàn)租戶間數(shù)據(jù)隔離。用戶：用戶訪問集群首先要通過安全認(rèn)證；使用集群中計算資源和存儲資源需要對用戶進(jìn)行授權(quán)；用戶對集群的操作通過審計功能進(jìn)行記錄。數(shù)據(jù)：數(shù)據(jù)加密，數(shù)據(jù)脫敏。交換機(jī)防火墻VLANNetwork交換機(jī)租戶1租戶2租戶3大數(shù)據(jù)集群大數(shù)據(jù)集群大數(shù)據(jù)集群大數(shù)據(jù)的安全建設(shè)外圍：華三具有全系列安全產(chǎn)品線產(chǎn)品用于支撐大大數(shù)據(jù)物理機(jī)集群VMVMVMVM大數(shù)據(jù)虛機(jī)集群華三云平臺VMVMVMVMVMVM云資源池云與大數(shù)據(jù)平臺融合華三大數(shù)據(jù)平臺既可單獨(dú)部署，也可與云計算平臺融合。融合架構(gòu)適用于大數(shù)據(jù)計算資源按需分配場景，以及多租戶隔離場景。大數(shù)據(jù)物理機(jī)集群VMVMVMVM大數(shù)據(jù)虛機(jī)集群華三云平臺VM目錄大數(shù)據(jù)建設(shè)思路H3C大數(shù)據(jù)解決方案H3C產(chǎn)品特點案例展示目錄大數(shù)據(jù)建設(shè)思路太陽能板光電互補(bǔ)綠色環(huán)保滾動廣告牌播放廣告或活動信息應(yīng)急電源裝置給手機(jī)等電子設(shè)備充電或加裝充電樁給電動車輛充電無線網(wǎng)