大數(shù)據(jù)應(yīng)用融合解決方案72

1、云計(jì)算及大數(shù)據(jù)應(yīng)用融合解決方案 目 錄大數(shù)據(jù)分析應(yīng)用之關(guān)鍵技術(shù)能源行業(yè)之大數(shù)據(jù)分析應(yīng)用場景企業(yè)面臨的挑戰(zhàn)和分析需求云計(jì)算、移動(dòng)計(jì)算、社交媒體和大數(shù)據(jù)分析云計(jì)算、移動(dòng)計(jì)算、社交媒體和大數(shù)據(jù)分析推動(dòng)產(chǎn)生新的計(jì)算推動(dòng)產(chǎn)生新的計(jì)算模式。模式。該模式該模式進(jìn)而引發(fā)業(yè)務(wù)轉(zhuǎn)型進(jìn)而引發(fā)業(yè)務(wù)轉(zhuǎn)型以提升效率以提升效率, 促進(jìn)法規(guī)遵從促進(jìn)法規(guī)遵從,提升提升整體業(yè)務(wù)可持續(xù)性整體業(yè)務(wù)可持續(xù)性以及以客戶為中心以及以客戶為中心?；ヂ?lián)網(wǎng)商業(yè)模式對(duì)傳統(tǒng)行業(yè)的沖擊數(shù)據(jù)處理的難題及大數(shù)據(jù)革命 收集、存儲(chǔ)和分析數(shù)據(jù)的能力在信息技術(shù)帶來的影響中始終占有重要一席。在這個(gè)數(shù)字化程度日益提高的時(shí)代，您所做的每件事都會(huì)有一個(gè)電子記錄。 隨著企

2、業(yè)積聚的數(shù)據(jù)越來越多并達(dá)到數(shù)百TB，他們紛紛尋求更加尖端的軟件工具對(duì)數(shù)據(jù)進(jìn)行挖掘和分析，從而幫助企業(yè)更好地了解市場和客戶，甚至是幫助企業(yè)對(duì)未來作出預(yù)測。您如何收集和存儲(chǔ)數(shù)據(jù)？您如何收集和存儲(chǔ)數(shù)據(jù)？ 您如何傳輸數(shù)據(jù)？您如何傳輸數(shù)據(jù)？您如何分析數(shù)據(jù)？您如何分析數(shù)據(jù)？您如何從數(shù)據(jù)獲益？您如何從數(shù)據(jù)獲益？ 大數(shù)據(jù)時(shí)代帶來的思考 新時(shí)代需要一個(gè)全新的計(jì)算平臺(tái)互聯(lián)網(wǎng)平臺(tái)時(shí)代，第三代 IT體系的代表互聯(lián)網(wǎng)公司采用的是PaaS,DevOps來實(shí)現(xiàn)創(chuàng)新虛虛擬擬化化運(yùn)運(yùn)維維自自動(dòng)動(dòng)化化PaaSStartups時(shí)間時(shí)間期望期望值值Innovation GapCloudClient-ServerDevOps, CD/

3、CI, Agile, MicroService大數(shù)據(jù)時(shí)代行業(yè)商機(jī)無處不在！大數(shù)據(jù)行業(yè)應(yīng)用 社交媒體大數(shù)據(jù)行業(yè)應(yīng)用 電商平臺(tái)大數(shù)據(jù)行業(yè)應(yīng)用 互聯(lián)網(wǎng)平臺(tái)大數(shù)據(jù)行業(yè)應(yīng)用 風(fēng)力渦輪發(fā)電系統(tǒng)管理監(jiān)控以毫秒級(jí)捕獲傳感器數(shù)據(jù)（如：主軸傳感器、齒輪箱傳感器和定子傳感器等），監(jiān)控單臺(tái)風(fēng)力發(fā)電機(jī)運(yùn)行狀態(tài)以秒級(jí)捕獲傳感器數(shù)據(jù)，監(jiān)控風(fēng)機(jī)位置、彼此協(xié)作情況，保證發(fā)電場以最優(yōu)狀態(tài)工作以分鐘級(jí)捕獲傳感器數(shù)據(jù)，監(jiān)控輸電狀態(tài)、效率大數(shù)據(jù)行業(yè)應(yīng)用 工業(yè)互聯(lián)網(wǎng) 零部件庫存管理零部件庫存管理 資產(chǎn)管理資產(chǎn)管理 供應(yīng)鏈自動(dòng)化供應(yīng)鏈自動(dòng)化 工作范圍的自動(dòng)化工作范圍的自動(dòng)化 場力優(yōu)化場力優(yōu)化 監(jiān)控和診斷監(jiān)控和診斷 狀態(tài)檢修狀態(tài)檢修 停電管

4、理停電管理 資產(chǎn)生命周期管理資產(chǎn)生命周期管理 物流管理物流管理 控制和工廠自動(dòng)化控制和工廠自動(dòng)化 燃料消耗的優(yōu)化燃料消耗的優(yōu)化 排放管理排放管理 法規(guī)遵從法規(guī)遵從 健康健康&安全保證安全保證 運(yùn)營管理與監(jiān)測系統(tǒng)運(yùn)營管理與監(jiān)測系統(tǒng) 網(wǎng)絡(luò)吞吐量的優(yōu)化網(wǎng)絡(luò)吞吐量的優(yōu)化 終端客戶信息服務(wù)終端客戶信息服務(wù)云計(jì)算改變IT，大數(shù)據(jù)應(yīng)用重在創(chuàng)新工業(yè)互聯(lián)網(wǎng)和工業(yè)大數(shù)據(jù)特點(diǎn)基于分布式內(nèi)存計(jì)算技術(shù)的IOT邏輯架構(gòu)云計(jì)算改變IT，大數(shù)據(jù)應(yīng)用重在創(chuàng)新 云計(jì)算側(cè)重 資源管理，而大數(shù)據(jù)側(cè)重 業(yè)務(wù)應(yīng)用。 云計(jì)算資源池化的管理模式是大數(shù)據(jù)應(yīng)用的前提。 云計(jì)算提供的存儲(chǔ)和計(jì)算資源池可動(dòng)態(tài)支撐大數(shù)據(jù)分析業(yè)務(wù)不斷變化的需求。

5、 目 錄大數(shù)據(jù)分析應(yīng)用之關(guān)鍵技術(shù)能源行業(yè)之大數(shù)據(jù)分析應(yīng)用場景大數(shù)據(jù)時(shí)代的來臨大數(shù)據(jù)分析應(yīng)用的數(shù)據(jù)內(nèi)容及實(shí)現(xiàn)技術(shù) 應(yīng)用平臺(tái)提交請(qǐng)求訪問的數(shù)據(jù)，包括結(jié)構(gòu)化和非結(jié)構(gòu)化兩類 在線存儲(chǔ)周期超過數(shù)據(jù)生命周期規(guī)劃的數(shù)據(jù) 適合Hadoop分布式架構(gòu)管理 無法用二維表結(jié)構(gòu)來邏輯表達(dá)的無結(jié)構(gòu)性的數(shù)據(jù)。例如文本、音頻數(shù)據(jù)等。 適合Hadoop架構(gòu) 方便用數(shù)據(jù)庫的二維表結(jié)構(gòu)來邏輯表達(dá)實(shí)現(xiàn)的數(shù)據(jù)，數(shù)據(jù)結(jié)構(gòu)字段含義確定，清晰。例如：客戶信息、用電記錄等。是挖掘數(shù)據(jù)價(jià)值的主要對(duì)象。 支持分析型應(yīng)用，時(shí)效性較低 支持前臺(tái)交易系統(tǒng)查詢需求，具有可靠性高、并發(fā)度大、采集頻率短的特點(diǎn) 適合分布式內(nèi)存數(shù)據(jù)處理技術(shù)數(shù)據(jù)類別數(shù)據(jù)格式數(shù)據(jù)

6、采集頻度 大數(shù)據(jù)分析應(yīng)用的數(shù)據(jù)內(nèi)容及實(shí)現(xiàn)技術(shù)在線數(shù)據(jù)歸檔數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)準(zhǔn)實(shí)時(shí)數(shù)據(jù)非實(shí)時(shí)數(shù)據(jù) 面向貼源數(shù)據(jù)查詢和主題數(shù)據(jù)整合。 數(shù)據(jù)區(qū)，適合X86MPP數(shù)據(jù)庫集群范式化模型數(shù)據(jù) 面向分析類應(yīng)用。 對(duì)應(yīng)ADW，適合MPP數(shù)據(jù)庫集群維度模型數(shù)據(jù)數(shù)據(jù)模型大數(shù)據(jù)分析應(yīng)用的關(guān)鍵核心技術(shù)大數(shù)據(jù)分析套件組合：（完善生態(tài)鏈） 關(guān)系型數(shù)據(jù)庫, NoSQL, 流計(jì)算，SQL on Hadoop, OLAP on Hadoop, OLTP on Hadoop，Cache 緩存，In-Memory DB, In-Memory Data Grid，非關(guān)系型數(shù)據(jù)庫，等等 。大數(shù)據(jù)分析應(yīng)用的關(guān)鍵技術(shù)之一分布式內(nèi)存

7、數(shù)據(jù)庫MPP 分布式數(shù)據(jù)庫流式處理 Hadoop 分析框架體系大數(shù)據(jù)分析應(yīng)用的關(guān)鍵技術(shù)之一PaaS 平臺(tái)彈性運(yùn)行時(shí)環(huán)境監(jiān)控管理層物理資源層PaaS 服務(wù)層業(yè)務(wù)應(yīng)用層IAAS InterfacePaaS 運(yùn)行時(shí)環(huán)境運(yùn)行時(shí)環(huán)境Services Interface PaaS Service應(yīng)用中間件Hadoop消息中間件 SQL 數(shù)據(jù)庫NoSQL 數(shù)據(jù)庫安全管理資源管理配置管理服務(wù)目錄服務(wù)管理性能監(jiān)控資源監(jiān)控存儲(chǔ)設(shè)備計(jì)算資源池存儲(chǔ)資源池網(wǎng)絡(luò)資源池計(jì)算機(jī)網(wǎng)絡(luò)設(shè)備分析研判類應(yīng)用預(yù)測預(yù)警類應(yīng)用動(dòng)態(tài)監(jiān)控類應(yīng)用信息處理類應(yīng)用 IaaS服務(wù)層大數(shù)據(jù)時(shí)代平臺(tái)產(chǎn)品的關(guān)鍵能力真正無共享的海量并行處理架構(gòu)工業(yè)標(biāo)準(zhǔn)的X8

8、6平臺(tái)服務(wù)器資源按需分配，按需搭建集群，按需縮放集群規(guī)模增加節(jié)點(diǎn)可線性增加存儲(chǔ)、查詢和加載性能支持在線擴(kuò)容，擴(kuò)容期間保證系統(tǒng)繼續(xù)對(duì)外提供服務(wù)保證用戶不被專有平臺(tái)鎖定企業(yè)初期投入和后續(xù)擴(kuò)容的成本可控支持PB級(jí)的數(shù)據(jù)處理、存儲(chǔ)和訪問在數(shù)據(jù)加載、處理、訪問等各個(gè)環(huán)節(jié)最大化并行處理能力按需分配資源（CPU、內(nèi)存、IO）動(dòng)態(tài)調(diào)整資源數(shù)據(jù)鏡像、硬件冗余等多種容錯(cuò)技術(shù)保證系統(tǒng)高可用故障切換和恢復(fù)，對(duì)用戶透明擴(kuò)容期間可持續(xù)對(duì)外服務(wù)直觀的圖形化界面，實(shí)時(shí)的狀態(tài)監(jiān)控最大限度降低管理員的日常管理和維護(hù)工作大數(shù)據(jù)時(shí)代催生 PaaS 平臺(tái)的變革IaaS: 硬件的自動(dòng)化管理，人與機(jī)器的解耦合 獲得效率/犧牲性能 PaaS

9、：應(yīng)用的自動(dòng)化管理，應(yīng)用與OS的解耦合 獲得彈性/犧牲控制業(yè)務(wù)創(chuàng)新需要重新定義企業(yè)級(jí) PaaS支持開放標(biāo)準(zhǔn)并與開源有效互動(dòng)強(qiáng)調(diào)以數(shù)據(jù)為中心 兼顧各種數(shù)據(jù)類型處理充分關(guān)注新一代開發(fā)人員和新一代企業(yè)級(jí)應(yīng)用的需求為有效進(jìn)行實(shí)時(shí)大容量信息處理而設(shè)計(jì)同時(shí)兼顧與傳統(tǒng)應(yīng)用的互操作性與傳統(tǒng)技術(shù)的有效結(jié)合 云支撐平臺(tái)數(shù)據(jù)支撐架構(gòu)應(yīng)用支撐架構(gòu)創(chuàng)新：以數(shù)據(jù)支撐為中心創(chuàng)新：以數(shù)據(jù)支撐為中心未來大數(shù)據(jù)分析應(yīng)用的 PaaS 平臺(tái)發(fā)展方向New Data-fabricsInternet-of-thingsPervasive telemetryBig DataFast DataRapid Application Dev &a

10、mp; Integration GemfirevFabric Cloud Abstraction & App Automation面向數(shù)據(jù)的企業(yè)級(jí) PaaS平臺(tái)快速應(yīng)用開發(fā)在收集數(shù)量龐大的事件數(shù)據(jù)的同時(shí)對(duì)特定事件進(jìn)行實(shí)時(shí)反應(yīng)與傳統(tǒng)應(yīng)用和基礎(chǔ)架構(gòu)有機(jī)配合配合不同云計(jì)算平臺(tái)實(shí)現(xiàn)高效運(yùn)維和水平擴(kuò)展存儲(chǔ)并且在非常大量的數(shù)據(jù)上進(jìn)行分析行業(yè)大數(shù)據(jù)分析應(yīng)用的數(shù)據(jù)架構(gòu)設(shè)計(jì)大數(shù)據(jù)時(shí)代云計(jì)算及大數(shù)據(jù)融合架構(gòu)全景圖計(jì)算存儲(chǔ)網(wǎng)絡(luò)應(yīng)用運(yùn)行環(huán)境云平臺(tái)管理云平臺(tái)安全數(shù)據(jù)批處理（Hadoop）近實(shí)時(shí)分析（MPP DB）實(shí)時(shí)數(shù)據(jù)處理應(yīng)用和數(shù)據(jù)集成應(yīng)用開發(fā)接口資源和服務(wù)交付統(tǒng)一訪問門戶應(yīng)用容器虛擬機(jī)服務(wù)器虛擬化存儲(chǔ)虛擬化

11、網(wǎng)絡(luò)虛擬化公有云接口iVirtualvSphereNovaXenServerPowerVM分布式文件系統(tǒng)分布式塊存儲(chǔ)分布式對(duì)象存儲(chǔ)SAN存儲(chǔ)網(wǎng)關(guān)Open FlowvxLanvSwitchAWSACEAzureGAE流處理內(nèi)存數(shù)據(jù)庫HbaseYarnMapReduceHive, Pig, MahoutSQLData DistributeQuery PlannerMPP ExecLoad Balancer分布式緩存消息中間件RDBMS云資源管理運(yùn)維管理桌面管理業(yè)務(wù)流程管理資源計(jì)費(fèi)網(wǎng)絡(luò)安全容災(zāi)備份數(shù)據(jù)和應(yīng)用訪問權(quán)限管理安全審計(jì)vRoute大數(shù)據(jù)分析應(yīng)用的 PaaS 平臺(tái)產(chǎn)品組合實(shí)時(shí)的數(shù)據(jù)處理實(shí)時(shí)的數(shù)

12、據(jù)處理Run-TimeApplications企業(yè)級(jí)數(shù)據(jù)倉庫企業(yè)級(jí)數(shù)據(jù)倉庫大規(guī)模數(shù)據(jù)存儲(chǔ)大規(guī)模數(shù)據(jù)存儲(chǔ)實(shí)時(shí)的數(shù)據(jù)實(shí)時(shí)的數(shù)據(jù)捕獲和共享捕獲和共享分析型數(shù)據(jù)集市分析型數(shù)據(jù)集市大數(shù)據(jù)分析應(yīng)用的資源池拓?fù)鋱D存儲(chǔ)系統(tǒng)備份系統(tǒng)存儲(chǔ)系統(tǒng)備份系統(tǒng)K-HAK-HAK-HAK1 -1K1- 2K1 -3K1- 4K1 -5K1- 6TS860TS860TS860TS860核心交換機(jī) 虛擬化（非關(guān)鍵應(yīng)用）資源池 物理（核心業(yè)務(wù)系統(tǒng)）資源池 物理（大數(shù)據(jù)分析應(yīng)用）資源池大數(shù)據(jù)分析應(yīng)用系統(tǒng)架構(gòu)系統(tǒng)管理體系 ( 日志審計(jì)、用戶管理、運(yùn)維監(jiān)控 )計(jì)算資源池存儲(chǔ)資源池網(wǎng)絡(luò)資源池平臺(tái)層 (PaaS)數(shù)據(jù)存儲(chǔ)層數(shù)據(jù)準(zhǔn)備層數(shù)據(jù)處理

13、層數(shù)據(jù)服務(wù)層分布式文件系統(tǒng)MPP 數(shù)據(jù)庫分析模型算法引擎挖掘工具應(yīng)用層(SaaS)基礎(chǔ)設(shè)施(IaaS)應(yīng)用層(SaaS)分析研判類服務(wù)預(yù)測預(yù)警類服務(wù)動(dòng)態(tài)監(jiān)控類服務(wù)信息處理類服務(wù)大數(shù)據(jù)分析研判系統(tǒng)門戶運(yùn)營狀態(tài)監(jiān)控決策分析預(yù)警安全保障體系 ( 訪問權(quán)限控制，防病毒、防入侵 )內(nèi)存計(jì)算RDBMS數(shù)據(jù)塊ODS數(shù)據(jù)立方體數(shù)據(jù)立方體數(shù)據(jù)倉庫數(shù)據(jù)倉庫數(shù)據(jù)集市數(shù)據(jù)集市基礎(chǔ)設(shè)施(IaaS)流式處理客戶精準(zhǔn)營銷數(shù)據(jù)交換平臺(tái)數(shù)據(jù)交換平臺(tái)系統(tǒng)管理體系 ( 日志審計(jì)、用戶管理、運(yùn)維監(jiān)控 )安全保障體系 ( 訪問權(quán)限控制，防病毒、防入侵 )服務(wù)總線風(fēng)險(xiǎn)模式識(shí)別PaaS平臺(tái)彈性運(yùn)行時(shí)環(huán)境平臺(tái)彈性運(yùn)行時(shí)環(huán)境云數(shù)據(jù)中心管理平臺(tái)

14、云數(shù)據(jù)中心管理平臺(tái) 目 錄大數(shù)據(jù)分析應(yīng)用之關(guān)鍵技術(shù)能源行業(yè)之大數(shù)據(jù)分析應(yīng)用場景大數(shù)據(jù)時(shí)代的來臨大數(shù)據(jù)產(chǎn)品線規(guī)劃和產(chǎn)業(yè)定位數(shù)據(jù)源數(shù)據(jù)收集數(shù)據(jù)存儲(chǔ)數(shù)據(jù)處理分析及可視化應(yīng)用數(shù)據(jù)擁有者數(shù)據(jù)分析技術(shù)提供商服務(wù)技術(shù)提供商最終用戶數(shù)據(jù)采集技術(shù)提供商 數(shù)據(jù)采集者 數(shù)據(jù)分析者數(shù)據(jù)服務(wù)提供商基礎(chǔ)硬件（服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)交換）廠商大數(shù)據(jù)分析軟件平臺(tái)（數(shù)據(jù)庫、數(shù)據(jù)倉庫、分布式處理技術(shù)等）提供商大數(shù)據(jù)分析一體化產(chǎn)品提供商大數(shù)據(jù)產(chǎn)品線的保障體系l 縮短開發(fā)周期l 實(shí)現(xiàn)數(shù)據(jù)共享l 降低管理風(fēng)險(xiǎn)l 提高安全和質(zhì)量l 資深工程師提供在線指導(dǎo)服務(wù)l 專家提供現(xiàn)場指導(dǎo)運(yùn)維服務(wù)l 評(píng)估業(yè)務(wù)需求l 分析已有基礎(chǔ)設(shè)施l 風(fēng)險(xiǎn)評(píng)估l 推薦

15、合理方案大數(shù)據(jù)一體機(jī)產(chǎn)品定位及軟硬一體化設(shè)計(jì)方案計(jì)算單元： 采用Intel最新 Xeon E5 v3系列處理器，性能相比上一代產(chǎn)品提升 2倍 FPGA 加速卡+CPU對(duì)比純CPU性能那個(gè)提升 10+倍 系統(tǒng)進(jìn)行內(nèi)存調(diào)度算法優(yōu)化，增強(qiáng) 內(nèi)存訪問速度 采用全文檢索、動(dòng)態(tài)頁面生成等技術(shù)提供 ms級(jí)查詢響應(yīng)存儲(chǔ)單元： 優(yōu)化文件系統(tǒng)熱點(diǎn)數(shù)據(jù)讀取算法，整機(jī)磁盤I/O高達(dá) 500+MB/s 小文件聚合技術(shù)，解決小文件快速寫入問題 SSD 加速緩存與傳統(tǒng)磁盤比較讀性能提升 20倍通信單元： 節(jié)點(diǎn)間通信網(wǎng)絡(luò)采用遠(yuǎn)程直接數(shù)據(jù)存取技術(shù)，能夠支持 1000+節(jié)點(diǎn) 之間同時(shí)的大數(shù)據(jù)量傳輸 節(jié)點(diǎn)間網(wǎng)絡(luò)采用 40Gb/s

16、高速網(wǎng)絡(luò)，網(wǎng)絡(luò)延遲低至 us級(jí)MPP 數(shù)據(jù)庫：DaaS 的計(jì)算引擎企業(yè)級(jí)數(shù)據(jù)倉庫企業(yè)級(jí)數(shù)據(jù)倉庫分析型數(shù)據(jù)集市分析型數(shù)據(jù)集市 Greenplum DB: Greenplum DB: DataData asas a a ServiceService的計(jì)算引擎的計(jì)算引擎Gartner 公司每年發(fā)布關(guān)于數(shù)據(jù)倉庫管理系統(tǒng)業(yè)界地位的魔法象限研究報(bào)告公司每年發(fā)布關(guān)于數(shù)據(jù)倉庫管理系統(tǒng)業(yè)界地位的魔法象限研究報(bào)告 報(bào)告主要從數(shù)據(jù)倉庫廠商的執(zhí)行力和遠(yuǎn)景兩個(gè)方面評(píng)估報(bào)告主要從數(shù)據(jù)倉庫廠商的執(zhí)行力和遠(yuǎn)景兩個(gè)方面評(píng)估 評(píng)估對(duì)象包括傳統(tǒng)的企業(yè)級(jí)數(shù)據(jù)倉庫和新一代的評(píng)估對(duì)象包括傳統(tǒng)的企業(yè)級(jí)數(shù)據(jù)倉庫和新一代的 MPP 并行數(shù)據(jù)庫

17、廠商并行數(shù)據(jù)庫廠商 支持各種規(guī)模、有大量并發(fā)用戶、能管理混合工作負(fù)載的數(shù)據(jù)倉庫 具備較高的客戶滿意度和強(qiáng)有力的服務(wù)支持 在數(shù)據(jù)倉庫市場有長久的生命力 風(fēng)險(xiǎn)最低、產(chǎn)品成熟度最高Gartner Gartner 對(duì)領(lǐng)導(dǎo)者象限的評(píng)價(jià)對(duì)領(lǐng)導(dǎo)者象限的評(píng)價(jià) 采用前瞻性思維設(shè)計(jì)的數(shù)據(jù)倉庫 較小的市場領(lǐng)導(dǎo)者，缺乏全球性發(fā)展 缺少較大的本地客戶，因此不易證明其產(chǎn)品的功能和價(jià)值 在產(chǎn)品技術(shù)領(lǐng)域，某些特性具備前瞻性，但綜合能力需要完善Gartner Gartner 對(duì)遠(yuǎn)見者象限的評(píng)價(jià)對(duì)遠(yuǎn)見者象限的評(píng)價(jià) MPP 數(shù)據(jù)庫：極速分析平臺(tái) 并行處理架構(gòu)并行處理架構(gòu)MPP shared-nothing 架構(gòu)，基于通用X86平臺(tái)

18、PB級(jí)以上海量存儲(chǔ)，最大支持10000節(jié)點(diǎn)以上所有節(jié)點(diǎn)并發(fā)IO，實(shí)現(xiàn)超大IO吞吐，并行運(yùn)行SQL 自動(dòng)化并行自動(dòng)化并行自動(dòng)化并行計(jì)算,實(shí)現(xiàn)超大計(jì)算能力使用同傳統(tǒng)DB一樣，加載和運(yùn)行SQL數(shù)據(jù)多節(jié)點(diǎn)分布及高可用性都由DB自身實(shí)現(xiàn) 極佳的橫向擴(kuò)展性極佳的橫向擴(kuò)展性在線橫向擴(kuò)展容量、加載和SQL查詢性能隨節(jié)點(diǎn)線性增加專為專為BI及數(shù)據(jù)分析優(yōu)化及數(shù)據(jù)分析優(yōu)化深度整合統(tǒng)計(jì)數(shù)學(xué)模塊（SAS, SOLR, MADLIB, R）高性能并行SQL執(zhí)行器 MPP shared - nothing 架構(gòu)架構(gòu)構(gòu)建在構(gòu)建在X86開放平臺(tái)上的并行處理架構(gòu)開放平臺(tái)上的并行處理架構(gòu) MPP 數(shù)據(jù)庫：行業(yè)最快的數(shù)據(jù)加載技術(shù) 每

19、個(gè)每個(gè)Rack（16節(jié)點(diǎn)）節(jié)點(diǎn)）,每小時(shí)每小時(shí)16TB加載性能加載性能 Scatter-Gather Streaming提供性能線性擴(kuò)張?zhí)峁┬阅芫€性擴(kuò)張 支持大批量數(shù)據(jù)加載和持續(xù)化的數(shù)據(jù)加載支持大批量數(shù)據(jù)加載和持續(xù)化的數(shù)據(jù)加載 Enable complex data transformations “in-flight” 對(duì)對(duì)GBK/UTF8/ISO8859字符集的原生支持字符集的原生支持GreenplumOracleExadataNetezzaTeradataSINGLE RACK COMPARISONGreenplum load rates scale linearly with the

20、number of racks, others do not. For example, two racks = 32 TB/HLoadMPP 數(shù)據(jù)庫：高可用性ClientRedundantInterconnectMPSegment ServersPrimaryMaster1 Sync &FailoverProcesses Standby MasterPrimaryDataRAID 5 ProtectionA1B1C1A2B2C2A1B1C1A2B2C2MirrorData2345 提供了全量備份和增量備份功能，保證系統(tǒng)級(jí)故障后的數(shù)據(jù)恢復(fù)提供了全量備份和增量備份功能，保證系統(tǒng)級(jí)故障后的

21、數(shù)據(jù)恢復(fù) 對(duì)于任一設(shè)備的故障，系統(tǒng)數(shù)據(jù)不丟失、提供持續(xù)服務(wù)對(duì)于任一設(shè)備的故障，系統(tǒng)數(shù)據(jù)不丟失、提供持續(xù)服務(wù) 多個(gè)節(jié)點(diǎn)宕機(jī)后，系統(tǒng)性能只降低多個(gè)節(jié)點(diǎn)宕機(jī)后，系統(tǒng)性能只降低1/6MPP 數(shù)據(jù)庫： 負(fù)載管理技術(shù)查詢層對(duì)運(yùn)行的查詢提供基本的優(yōu)先級(jí)管理對(duì)CPU內(nèi)存IO利用率進(jìn)行定額分配控制單個(gè)查詢并發(fā)度會(huì)話層每個(gè)用戶能夠分配一個(gè)資源隊(duì)列管理工作允許控制查詢和查詢代價(jià)數(shù)據(jù)庫連接層控制多少用戶可以連接。提供的池(允許大量)和(限制數(shù)量)MPP 數(shù)據(jù)庫：Polymorphic Data Storage( 多態(tài)存儲(chǔ) - 同時(shí)支持行存儲(chǔ)及列存儲(chǔ) )Table CustomerTable CustomerJan 0

22、9Feb 09Mar 09Apr 09May 09Jun 09Jul 09Aug 09Sept 09Oct 09Nov 09Column-OrientedColumn-OrientedArchival CompressionArchival CompressionColumn-OrientedColumn-OrientedFast CompressionFast CompressionRow-OrientedRow-Oriented 提供靈活存儲(chǔ)技術(shù) 四種表類型: 普通行表, AO表, 列存儲(chǔ)表, 外部表 兩種壓縮技術(shù): Gzip (levels 1-9), QuickLZ 同一庫內(nèi)甚至同一個(gè)

23、表中多種存儲(chǔ)技術(shù)混合使用 靈活定義不同表分區(qū)存儲(chǔ)結(jié)構(gòu) 只需定義關(guān)鍵字orientation=row|column 允許用戶根據(jù)不同應(yīng)用場景，達(dá)到最優(yōu)性能效果 MPP DB 與 HD 通過gNet無縫集成通過標(biāo)準(zhǔn)接口或編程語言，透明訪問數(shù)據(jù)庫和Hadoop內(nèi)部存儲(chǔ)的數(shù)據(jù) 。大數(shù)據(jù)一體機(jī) SDA 50000SDA 50000 單柜滿配備注數(shù)據(jù)分發(fā)節(jié)點(diǎn)2固定計(jì)算交換機(jī)2固定管理交換機(jī)2固定KVM1固定數(shù)據(jù)庫節(jié)點(diǎn)12配、半配、滿配總內(nèi)存1.5T總核數(shù)192C硬盤總數(shù)量96 可用裸容量56 TB建議使用容量（3副本）18.75TB大數(shù)據(jù)分析系統(tǒng)軟件：MPP 數(shù)據(jù)庫 應(yīng)用場景 ： 數(shù)據(jù)倉庫應(yīng)用 / OLA

24、P 多維分析 大數(shù)據(jù)分析應(yīng)用的關(guān)鍵技術(shù)之一 大數(shù)據(jù)分析套件組合：（完善生態(tài)鏈） 關(guān)系型數(shù)據(jù)庫, NoSQL, 流計(jì)算，SQL on Hadoop, OLAP on Hadoop, OLTP on Hadoop，Cache 緩存，In-Memory DB, In-Memory Data Grid，非關(guān)系型數(shù)據(jù)庫，等等 。大數(shù)據(jù)分析應(yīng)用的關(guān)鍵技術(shù)之一SQL on Hadoop 最初的設(shè)計(jì)定位： 專為分析完整事務(wù)支持而優(yōu)化的大規(guī)模并行SQL處理引擎 。大數(shù)據(jù)分析應(yīng)用的關(guān)鍵技術(shù)之一SQL on Hadoop 技術(shù)的重要特性和優(yōu)點(diǎn)：l 高度擴(kuò)展和存儲(chǔ)系統(tǒng)l 業(yè)界領(lǐng)先的性能與動(dòng)態(tài)流水線l 彈性故障容錯(cuò)和事

25、務(wù)支持l 數(shù)據(jù)管理和分析工具包l 真實(shí)的SQL功能 基于成本的世界一流查詢優(yōu)化、領(lǐng)先的邊緣網(wǎng)絡(luò)互連 、功能豐富的SQL和分析界面 、并配有事務(wù)性存儲(chǔ)子系統(tǒng)的高性能執(zhí)行運(yùn)行時(shí)間 ，是唯一 能夠提供此技術(shù)的 Hadoop 查詢引擎 。大數(shù)據(jù)分析應(yīng)用的關(guān)鍵技術(shù)之一 Hadoop 分析框架體系HDFSHBasePig, Hive, MahoutMap ReduceSqoopFlumeResource Management & WorkflowYarnZookeeperCommand CenterConfigure, Deploy, Monitor, ManageData LoaderHadoo

26、pEnterpriseSpringUnified Storage Service XtensionFrameworkCatalogServicesQueryOptimizerDynamic PipeliningANSI SQL + AnalyticsHadoop Virtualization ExtensionDistrubuted In-memory StoreQuery TransactionsIngestion ProcessingHadoop Driver Parallel with CompactionANSI SQL + In-MemoryGemFire XD Real-Time

27、Database ServicesMADlib AlgorithmsHAWQ Advanced Database Services大數(shù)據(jù)產(chǎn)品線 大數(shù)據(jù)一體機(jī) SDA 60000SDA 60000 單柜滿配備注管理節(jié)點(diǎn)2固定，HA計(jì)算交換機(jī)2固定管理交換機(jī)2固定KVM1固定數(shù)據(jù)節(jié)點(diǎn)16配、半配、滿配總內(nèi)存2T總核數(shù)192C硬盤總數(shù)量192可用裸容量768TB建議使用容量（3副本）256TB大數(shù)據(jù)分析系統(tǒng)軟件：Hadoop 系統(tǒng) 應(yīng)用場景： 海量數(shù)據(jù)離線批處理 / 查詢分析大數(shù)據(jù)分析應(yīng)用的關(guān)鍵技術(shù)之一 分布式內(nèi)存數(shù)據(jù)庫DatabasesOther Data Systems文件系統(tǒng)常用的數(shù)據(jù)存儲(chǔ)高吞

28、吐量低延時(shí)高伸縮性持續(xù)可用性可靠的事件通知連續(xù)查詢并行執(zhí)行廣域網(wǎng)分布數(shù)據(jù)調(diào)用方數(shù)據(jù)持久性分布式內(nèi)存數(shù)據(jù)庫大數(shù)據(jù)一體機(jī) SDA 80000大數(shù)據(jù)分析系統(tǒng)軟件（分布式內(nèi)存數(shù)據(jù)庫）： 應(yīng)用場景：海量數(shù)據(jù)高并發(fā)查詢 / 實(shí)時(shí)事務(wù)處理 分布式內(nèi)存數(shù)據(jù)庫SDA 80000 單柜滿配備注數(shù)據(jù)分發(fā)節(jié)點(diǎn)2固定，HA計(jì)算交換機(jī)1固定管理交換機(jī)1固定KVM1固定數(shù)據(jù)節(jié)點(diǎn)16配、半配、滿配總內(nèi)存4 T總核數(shù)192 C硬盤總數(shù)量384 塊 PaaS 平臺(tái)的核心組件 Cloud Foundry 企業(yè)版Cloud Foundry 企業(yè)版的主要功能 跨云部署機(jī)制 PaaS 平臺(tái)彈性運(yùn)行時(shí)環(huán)境 Cloud Foundry 大數(shù)據(jù)一體機(jī) SDA 90000計(jì)算單元分布式數(shù)據(jù)處理模塊大數(shù)據(jù)存儲(chǔ)模塊加速器高速交換網(wǎng)絡(luò)可視化管理 大數(shù)據(jù)分析處理 PaaS 平臺(tái) 大數(shù)據(jù)分析 SaaS 應(yīng)用預(yù)測預(yù)警類服務(wù)動(dòng)態(tài)監(jiān)控類服務(wù)信息處理類服務(wù)存儲(chǔ)單元網(wǎng)絡(luò)單元大數(shù)據(jù)分析 PaaS 平臺(tái)（一體化集群部