Hadoop與大數(shù)據(jù)的商業(yè)化概述

1、Hadoop與大數(shù)據(jù)的商業(yè)化概述技術創(chuàng)新，變革未來2Hadoop及其生態(tài)系統(tǒng)將重構數(shù)據(jù)處理市場10bn $29bn $2bn$Data Warehouse PlatformDatabase SoftwareExtractionToolsDWGenerationDWManagementETL ToolsOLAP DBMSData AnalyticsBI / Visualizatio n ToolsForecast 2014 (IDC)12bn $“Big Data” Predictive Real-time Vertical Soln“Big Data”HadoopHadoop OLTP DBM

2、S/NoSQLNoSQLNewSQLHadoopwww.transwarp.io3Big Data Software StackHadoop DistributionSQL on HadoopNewSQL DatabaseNoSQL DatabaseData Mining & Intelligent SystemGraph Database & Graph AnalysisStreaming & Real time computingData cleansing, transformationDeployment Choices:On-premiseHadoop as a ServiceAna

3、lytics as a Service大數(shù)據(jù)技術推動各行業(yè)技術革新4Hadoop應用統(tǒng)計Data Warehouse 60%Interactive BI 25%Light weight OLTP6%NoSQL/Document 4%Streaming 5%US 2015Data Warehouse56%5Interactive BI 8%Light weight OLTP 24%NoSQL/Document 2%Streaming 10%CHINA 2015Source: WikibonSource: TranswarpDiscover大數(shù)據(jù)的4個V以及星環(huán)產(chǎn)品方向RDBMSTBPBEBbat

4、chinteractivereal-time新技術在四個維度上快速增加處理能力數(shù)據(jù)量Volume可處理的數(shù)據(jù)量從TB、PB增加到EB類型Variety記錄、文本、圖片、音頻、視頻速度Velocity從離線處理進步到實時數(shù)據(jù)處理價值Value從基于歷史的統(tǒng)計，發(fā)展到數(shù)據(jù)挖掘和預測性分析集中式計算 - 分布式計算InceptorTranswarp ProprietaryApache ProjectsStream流處理引擎NoSQL數(shù)據(jù)庫搜索、圖計算InceptorPL/SQL批處理交互式分析Data AliveTranswarp ManagerDiscoverHyperbase數(shù)據(jù)挖掘機器學習資源

5、管理 YARN(內(nèi)置Transwarp Extension)批處理Pig批處理框架MapReduce2工作流Oozie交互分析Zeppelin交互工具HUE實 時 數(shù) 據(jù) 同 步優(yōu)化存儲 HDFS(內(nèi)置Transwarp Erasure Code)全文搜索Elastic Search協(xié)作服務Zookeeper數(shù)據(jù)集成Sqoop日志采集Flume消息隊列KafkaGuardian安全管控StreamHyperbase6成為世界領先的大數(shù)據(jù)平臺軟件供應商近日，國際知名咨詢機構Gartner針對當前數(shù)據(jù)倉庫及數(shù)據(jù)管理解決方案市場， 在其魔力象限1.中對全球21家廠商進行了對比分析，其中，Oracle、Teradata、 Oracle和Microsoft三家公司包攬了前三甲，而全球最具發(fā)展前景的公司卻是來自 中國的公司星環(huán)科技（Transwarp），這也是該領域的魔力象限中第一次出現(xiàn) 中國公司。優(yōu)勢l 星環(huán)科技雖然年輕，但是已經(jīng)在中國市場中頗具影響力星環(huán)科技在18個月內(nèi)贏取了200個客戶。l 星環(huán)科技的產(chǎn)品有其獨特的功能，例如它的SQL引擎Inceptor，基于Apache Spark， 兼容Oracle SQL和PL/SQL，支持事務處理的CRUD(CREATE, READ, UPDATE, DELETE)并能保證ACID。Inceptor在被調(diào)查的用戶中受到了非常高的評價。l