大數(shù)據(jù)物流可視化解決方案課件

物流大數(shù)據(jù)處理物流大數(shù)據(jù)處理采集導(dǎo)入/預(yù)處理

統(tǒng)計(jì)/分析

挖掘

1234567

潘果物流大數(shù)據(jù)處理物流大數(shù)據(jù)處理采集導(dǎo)入/預(yù)處理

統(tǒng)淘寶數(shù)據(jù)分析挖掘?qū)嵺`及變革百度大數(shù)據(jù)分析系統(tǒng)架構(gòu)京東大數(shù)據(jù)實(shí)時(shí)處理技術(shù)物流大數(shù)據(jù)處理簡(jiǎn)介1234目錄淘寶數(shù)據(jù)分析挖掘?qū)嵺`及變革百度大數(shù)據(jù)分析系統(tǒng)架構(gòu)京東大數(shù)據(jù)實(shí)【推薦】用大數(shù)據(jù)能力找到商品之間的關(guān)系【推薦】用大數(shù)據(jù)能力找到商品之間的關(guān)系【推薦】用大數(shù)據(jù)能力找到商品之間的關(guān)系【推薦】用大數(shù)據(jù)能力找到商品之間的關(guān)系你知曉大數(shù)據(jù)在哪些方面有應(yīng)用？你知曉大數(shù)據(jù)在哪些方面有應(yīng)用？3132

架構(gòu)化1950-1970數(shù)字化1970-1990

網(wǎng)絡(luò)化1990-2010+

物聯(lián)網(wǎng)

大數(shù)據(jù)Something

Big

is

Happening

NOW移動(dòng)互聯(lián)網(wǎng)

云計(jì)算4信息技術(shù)革命的小周期

智慧化3132 架構(gòu)化數(shù)字化1970-1990 網(wǎng)絡(luò)化 物聯(lián)網(wǎng)移51:1

MarketingNanotargeting和Retargeting51:1MarketingNanotargeting和Re662?IBM

IBM

2013

多渠道

交通控制交易分析智慧的醫(yī)療

國(guó)土安全

制造

金融

電信欺詐和風(fēng)險(xiǎn)

日志分析

搜索質(zhì)量

零售：流失、促銷?

Copyright

2011

Corporation大數(shù)據(jù)在各行各業(yè)都可以獲得應(yīng)用22?IBMIBM20134?

Copyright

2011

Corporation?IBM

IBM

2013獲得突破性回報(bào)

了解關(guān)于客戶的

一切作快速大量地創(chuàng)新產(chǎn)品和風(fēng)險(xiǎn)利用工具化的資產(chǎn)利用大數(shù)據(jù)能力可以幫助企業(yè)獲得突破性回報(bào)利用大數(shù)據(jù)獨(dú)有的

技術(shù)能力

可視化和發(fā)現(xiàn)Hadoop

執(zhí)行零延遲的操數(shù)據(jù)倉(cāng)庫(kù)流計(jì)算文本分析整合和治理多媒體內(nèi)容通過(guò)分析仸意

大數(shù)據(jù)類型

交易

/

應(yīng)用數(shù)

據(jù)機(jī)器數(shù)據(jù)社交媒體數(shù)據(jù)

實(shí)時(shí)偵測(cè)欺詐44?Copyright2011Co11快雜大大數(shù)據(jù)的新思維11快雜大大數(shù)據(jù)的新思維13多數(shù)據(jù)源的集成浮動(dòng)車GPS:20M/day手機(jī)位置信息:18M/day居民調(diào)查:80000戶視頻/圖像數(shù)據(jù)和元數(shù)據(jù):100s

of

TB/day

GIS數(shù)據(jù)供水系統(tǒng)智能電網(wǎng)睡眠質(zhì)量出租車運(yùn)營(yíng)數(shù)據(jù):1M/day

交通卡:19M/day

高速路收費(fèi)數(shù)據(jù):

0.5M/day

社交網(wǎng)絡(luò)

情感分析部分?jǐn)?shù)據(jù)來(lái)源:BeijingTOCC13多數(shù)據(jù)源的集成浮動(dòng)車GPS:20M/day手機(jī)位置信息:12

大數(shù)據(jù)的新方法學(xué)數(shù)據(jù)極大豐富前提下的新分析思維和技術(shù)采樣數(shù)據(jù)全集數(shù)據(jù)

多數(shù)據(jù)源的整合

基于主觀因果假設(shè)

相關(guān)關(guān)系

大數(shù)據(jù)+小算法

+上下文+知識(shí)積累

描述性分析預(yù)測(cè)性

和處方性分析實(shí)時(shí)性

>

絕對(duì)的精確性12 大數(shù)據(jù)的新方法學(xué)采樣數(shù)據(jù)全集數(shù)據(jù) 大數(shù)據(jù)+小數(shù)據(jù)數(shù)據(jù)中介

服務(wù)生態(tài)系統(tǒng)

數(shù)據(jù)擁有者大數(shù)據(jù)的數(shù)據(jù)中介

數(shù)據(jù)技術(shù)公司

數(shù)據(jù)產(chǎn)品

和服務(wù)16數(shù)據(jù)數(shù)據(jù)中介生態(tài)系統(tǒng) 數(shù)據(jù)擁有者數(shù)據(jù)中介 數(shù)據(jù)技術(shù)公司大數(shù)據(jù)系統(tǒng)的設(shè)計(jì)權(quán)衡大體量基于采樣的查詢

實(shí)時(shí)性

流計(jì)算

批量計(jì)算精確性惰性數(shù)據(jù)的即席查詢

Little

data

(個(gè)人計(jì)算)19城市計(jì)算增量計(jì)算內(nèi)存計(jì)算大數(shù)據(jù)系統(tǒng)的設(shè)計(jì)權(quán)衡大體量基于采樣的查詢 批量計(jì)算惰性數(shù)據(jù)的案例一：大數(shù)據(jù)分析系統(tǒng)架構(gòu)的搭建案例一：百度的數(shù)據(jù)規(guī)模?

100~1000PB?

10~100PB/天?

千億~萬(wàn)億?

百億~千億?

十億~百億/天?

十億~百億/天?

100TB~1PB/天

數(shù)據(jù)總量數(shù)據(jù)處理量

網(wǎng)頁(yè)

索引

更新量

請(qǐng)求

日志百度的數(shù)據(jù)規(guī)模?100~1000PB 數(shù)據(jù)總量離線在線離線分析與在線實(shí)驗(yàn)相結(jié)合快速迭代是互聯(lián)網(wǎng)產(chǎn)品的

主要?jiǎng)?chuàng)新手段

算法A

算法B

算法B

通過(guò)反饋來(lái)驗(yàn)證算法優(yōu)劣離線在線離線分析與在線實(shí)驗(yàn)相結(jié)合快速迭代是互聯(lián)網(wǎng)產(chǎn)品的搜索引擎的迭代5%5%Online

LearningA/B

test

策略

機(jī)器學(xué)習(xí)

平臺(tái)FeatureTraining

數(shù)據(jù)網(wǎng)頁(yè)

網(wǎng)頁(yè)庫(kù)

倒排表

Data

Mining搜索引擎的迭代5%5%OnlineLearning 機(jī)器學(xué)想法原型系統(tǒng)快速開(kāi)發(fā)測(cè)試產(chǎn)品部署運(yùn)維開(kāi)發(fā)框架互聯(lián)網(wǎng)產(chǎn)品的迭代

A/B測(cè)試，持續(xù)優(yōu)化

數(shù)據(jù)智能驗(yàn)證數(shù)據(jù)分析應(yīng)用引擎

云測(cè)試應(yīng)用引擎想法原型系統(tǒng)快速開(kāi)發(fā)測(cè)試產(chǎn)品部署運(yùn)維開(kāi)發(fā)框架互聯(lián)網(wǎng)產(chǎn)品的迭代數(shù)據(jù)架構(gòu)技術(shù)互聯(lián)網(wǎng)服務(wù)

enable

數(shù)據(jù)智能數(shù)據(jù)架構(gòu)互聯(lián)網(wǎng)服務(wù)IT產(chǎn)業(yè)生產(chǎn)力的變化‘60‘70‘80‘90‘00‘10

硬件Mainframe軟件

PCInternet

Inf+人+數(shù)據(jù)

Cloud迭代的本質(zhì)是讓人參與系統(tǒng)進(jìn)化，而B(niǎo)ig

Data為迭代指導(dǎo)方向，Infrastructure則加速迭代。

軟件

+人IT產(chǎn)業(yè)生產(chǎn)力的變化‘60‘70‘80‘90‘00‘10 硬互聯(lián)網(wǎng)服務(wù)的典型技術(shù)特點(diǎn)超大規(guī)模快速迭代互聯(lián)網(wǎng)服務(wù)的典型技術(shù)特點(diǎn)超大規(guī)模快速迭代數(shù)據(jù)智能軟件基礎(chǔ)架構(gòu)大數(shù)據(jù)數(shù)據(jù)中心、網(wǎng)絡(luò)、服務(wù)器數(shù)據(jù)中心計(jì)算云計(jì)算技術(shù)體系數(shù)據(jù)智能軟件基礎(chǔ)架構(gòu)大數(shù)據(jù)數(shù)據(jù)中心、網(wǎng)絡(luò)、服務(wù)器數(shù)據(jù)中心計(jì)算DiskFlashPipeK/VFileTable統(tǒng)一存儲(chǔ)體系

–

平衡大容量、高并發(fā)、低延遲

–

不同訪問(wèn)模式通過(guò)組合滿足統(tǒng)一訪問(wèn)與傳輸數(shù)據(jù)訪問(wèn)層P2PCDN分布式存儲(chǔ)DiskFlashPipeK/VFileTable統(tǒng)一存儲(chǔ)描述能力數(shù)據(jù)流優(yōu)化控制流管理資源分配優(yōu)先級(jí)、并發(fā)控制隔離、安全執(zhí)行層模型層MapReduce表示層SQL-like

翻譯JoinSelectTop分布式計(jì)算BCDA描述能力數(shù)據(jù)流優(yōu)化控制流管理優(yōu)先級(jí)、并發(fā)控制執(zhí)行層模型層Ma實(shí)時(shí)存儲(chǔ)與計(jì)算kNN查詢

平臺(tái)向量計(jì)算引擎流式數(shù)據(jù)處理引擎PubSub

引擎機(jī)器學(xué)習(xí)算法平臺(tái)OLAP引擎

復(fù)雜事件處理引擎

分布式數(shù)據(jù)結(jié)構(gòu)超大規(guī)模數(shù)據(jù)倉(cāng)庫(kù)圖查詢

平臺(tái)實(shí)時(shí)檢索

平臺(tái)實(shí)時(shí)存儲(chǔ)與計(jì)算kNN查詢向量計(jì)算引擎流式數(shù)據(jù)處理引擎PubS向量計(jì)算引擎VectorLayoutMap-ShuffleOperators/

CheckpointSIMDProgram向量計(jì)算引擎VectorLayoutMap-ShuffleO復(fù)雜事件處理average(price)trigger(?,b,c)filter(b)pattern(a->b->c)condition(func(a,b,c))復(fù)雜事件處理average(price)pattern(a-流式計(jì)算模型

windowstepboundtimeM=Stream<window,step,bound>流式計(jì)算模型stepboundtimeM=Stream<wi目標(biāo)?

1000PB?

10億維特征訓(xùn)練?

100維條件查詢?

流式?

觸發(fā)式

海量高維、多維

實(shí)時(shí)更大、更復(fù)雜、更快!目標(biāo)?1000PB 海量更大、更復(fù)雜、更快!數(shù)據(jù)智能

分布式存儲(chǔ)與計(jì)算

大規(guī)模人工輔劣標(biāo)注系統(tǒng)人計(jì)算向量引擎MachineLearning

算法Web

Contents流式處理LogsPubSub推薦系統(tǒng)智能交通Apps

自勱評(píng)估商業(yè)智能決策輔劣數(shù)據(jù)智能 分布式 大規(guī)模人工人計(jì)算向量引擎MachineWe關(guān)于京東關(guān)于京東營(yíng)銷管理供應(yīng)商

管理倉(cāng)儲(chǔ)管理財(cái)務(wù)系統(tǒng)客戶數(shù)據(jù)網(wǎng)站前臺(tái)關(guān)于京東

京東擁有覆蓋企業(yè)全部?jī)r(jià)值鏈的穩(wěn)定系統(tǒng)，通過(guò)持續(xù)優(yōu)化打造開(kāi)放平

臺(tái)，全面提升用戶體驗(yàn)。配送管理營(yíng)銷供應(yīng)商倉(cāng)儲(chǔ)財(cái)務(wù)客戶網(wǎng)站關(guān)于京東配送大規(guī)模數(shù)據(jù)處理更加容易ETL/企業(yè)數(shù)據(jù)倉(cāng)庫(kù)（Hive/Pig/MR）數(shù)據(jù)挖掘/建模（R、Mahout）搜索和推薦日志存儲(chǔ)…大規(guī)模數(shù)據(jù)處理更加容易ETL/企業(yè)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)挖掘/建模（R?????“Next

Click”運(yùn)營(yíng)智能風(fēng)險(xiǎn)控制互動(dòng)分析?一些場(chǎng)景需要進(jìn)一步的考量

MapReduce批量處理

=

延遲較長(zhǎng)無(wú)法滿足用戶的實(shí)時(shí)需求

調(diào)度開(kāi)銷較大?“NextClick”一些場(chǎng)景需要進(jìn)一步的考量 Map批處理與分析近實(shí)時(shí)分析實(shí)時(shí)流處理實(shí)時(shí)性離線準(zhǔn)實(shí)時(shí)/實(shí)時(shí)實(shí)時(shí)處理時(shí)間分鐘到小時(shí)毫秒到秒持續(xù)不斷數(shù)據(jù)量TB-PBGB-TB持續(xù)編程模型MapReduceQueriesDAG用戶分析師/開(kāi)發(fā)者分析師/開(kāi)發(fā)者開(kāi)發(fā)者成本中高高應(yīng)用ETL/數(shù)據(jù)挖掘/預(yù)處理?數(shù)據(jù)決策分析/??大數(shù)據(jù)包括三部分批處理與分析近實(shí)時(shí)分析實(shí)時(shí)流處理實(shí)時(shí)性離線準(zhǔn)實(shí)時(shí)/實(shí)時(shí)實(shí)時(shí)處服務(wù)模型

性能大數(shù)據(jù)實(shí)時(shí)處理的思考服務(wù)模型性能大數(shù)據(jù)實(shí)時(shí)處理的思考?

模型–

海量數(shù)據(jù)?

數(shù)據(jù)量大?

并發(fā)數(shù)高–

多個(gè)數(shù)據(jù)源整合–

預(yù)定義好的數(shù)據(jù)模型?

去規(guī)格化–

數(shù)據(jù)任務(wù)依賴關(guān)系簡(jiǎn)單–

推和拉的問(wèn)題?

拉比推好大數(shù)據(jù)實(shí)時(shí)處理的思考?模型–海量數(shù)據(jù)?數(shù)據(jù)量大–多個(gè)數(shù)據(jù)源?

性能–

高并發(fā)需求–

大容量需求?

GB–TB

級(jí)后臺(tái)數(shù)據(jù)處理吞吐–

高速度需求?

從數(shù)據(jù)產(chǎn)生到處理完成結(jié)果延遲要求到秒級(jí)?

計(jì)算需要在短時(shí)間內(nèi)完成–

批處理預(yù)算–

硬件支持?

內(nèi)存、CPU、網(wǎng)絡(luò)–

容錯(cuò)–

水平擴(kuò)展大數(shù)據(jù)實(shí)時(shí)處理的思考?性能–高并發(fā)需求?GB–TB級(jí)后––––關(guān)聯(lián)獲取價(jià)值，維度按需定制互動(dòng)分析、報(bào)表等完成價(jià)值交付與其他在線生產(chǎn)系統(tǒng)進(jìn)行數(shù)據(jù)對(duì)接（數(shù)據(jù)反哺）計(jì)算即服務(wù)大數(shù)據(jù)實(shí)時(shí)處理的思考?

服務(wù)–關(guān)聯(lián)獲取價(jià)值，維度按需定制大數(shù)據(jù)實(shí)時(shí)處理的思考生產(chǎn)數(shù)據(jù)庫(kù)企業(yè)數(shù)據(jù)倉(cāng)庫(kù)大數(shù)據(jù)實(shí)時(shí)處理架構(gòu)

財(cái)務(wù)數(shù)據(jù)集市采銷數(shù)據(jù)集市羅盤數(shù)據(jù)集市分析挖掘

數(shù)據(jù)集

數(shù)據(jù)緩沖區(qū)企業(yè)消息總線流式計(jì)算集群實(shí)時(shí)數(shù)據(jù)

同步模型日志系統(tǒng)高速存取集群

在線實(shí)時(shí)計(jì)算集群持久化PUSHPULL/PUSH訂閱ELTELT高速存取集群ETL報(bào)表應(yīng)用分析應(yīng)用推薦應(yīng)用...數(shù)據(jù)推送中心近實(shí)時(shí)分析集群近實(shí)時(shí)計(jì)算

實(shí)時(shí)計(jì)算在線服務(wù)離線計(jì)算應(yīng)用

分布式消息系統(tǒng)緩存集群生產(chǎn)數(shù)據(jù)庫(kù)企業(yè)數(shù)據(jù)倉(cāng)庫(kù)大數(shù)據(jù)實(shí)時(shí)處理架構(gòu)采銷數(shù)據(jù)集市羅盤數(shù)據(jù)––––日志（用戶行為、?）批量同步消息隊(duì)列??

開(kāi)源技術(shù)––––FlumeScribeKafka?大數(shù)據(jù)實(shí)時(shí)處理技術(shù)?

數(shù)據(jù)傳輸–日志（用戶行為、?）?開(kāi)源技術(shù)–Flume大數(shù)據(jù)實(shí)?

Apache項(xiàng)目：/?

一個(gè)分布式的發(fā)布/訂閱消息系統(tǒng)?

術(shù)語(yǔ)–

Topics?

消息分組–

Brokers?

消息存儲(chǔ)–

Producers?

消息生產(chǎn)者–

Consumers?

消息消費(fèi)者Kafka?Apache項(xiàng)目：http://kafka.apa–––––大數(shù)據(jù)實(shí)時(shí)處理技術(shù)?

幾個(gè)點(diǎn)SinkAgentAgentStorm等Broker(Topic1)

Broker(Topic2)HDFSZookeeper解耦緩沖容錯(cuò)透明跨數(shù)據(jù)中心數(shù)據(jù)分發(fā)

FlumeKafka–大數(shù)據(jù)實(shí)時(shí)處理技術(shù)SinkAgentAgentStorm等––––––HadoopHBaseCassandraMongoDBRedis??

數(shù)據(jù)庫(kù)Sharding?

合適的就是最好的大數(shù)據(jù)實(shí)時(shí)處理技術(shù)?

存儲(chǔ)

–

大容量低速存儲(chǔ)

–

高速存儲(chǔ)

–

KV存儲(chǔ)?

開(kāi)源NoSQL數(shù)據(jù)存儲(chǔ)–Hadoop?數(shù)據(jù)庫(kù)Sharding大數(shù)據(jù)實(shí)時(shí)處理––––可加計(jì)算、不可加計(jì)算實(shí)時(shí)數(shù)據(jù)的實(shí)時(shí)計(jì)算實(shí)時(shí)數(shù)據(jù)的計(jì)算數(shù)據(jù)的實(shí)時(shí)計(jì)算?

開(kāi)源計(jì)算框架

–

Storm

–

Impala

–

?大數(shù)據(jù)實(shí)時(shí)處理技術(shù)?

計(jì)算–可加計(jì)算、不可加計(jì)算?開(kāi)源計(jì)算框架大數(shù)據(jù)實(shí)時(shí)處理技大數(shù)據(jù)實(shí)時(shí)分析明細(xì)事實(shí)表聚合表1聚合表2聚合表3大數(shù)據(jù)實(shí)時(shí)分析明細(xì)事實(shí)表聚合表1聚合表2聚合表3?

基本概念

–

Streams（流）

?

元組序列

–

Spouts

?

流的源頭

–

Bolts

?

Functions,

Filters,

Joins,

Aggregations

–

Topologies?

優(yōu)點(diǎn)

–

可擴(kuò)展、容錯(cuò)、易用?–

在內(nèi)存中執(zhí)行流式計(jì)算Storm?

Twitter開(kāi)源的分布式處理框架SpoutsBoltTopologies?基本概念 ?元組序列–在內(nèi)存中執(zhí)行流?

Nimbus–

主控節(jié)點(diǎn)，用于任務(wù)分配，集群任務(wù)監(jiān)控等?

Zookeeper–

集群中協(xié)調(diào)，共有數(shù)據(jù)的存放(如心跳信息)?

Supervisor–

對(duì)應(yīng)一臺(tái)物理機(jī)，用于啟動(dòng)worker?

Worker–

工作進(jìn)程，負(fù)責(zé)啟動(dòng)task，以及通過(guò)zeromq進(jìn)行tuple的分發(fā)，與接收。?

Task–

工作線程,任務(wù)的處理Storm的部署?Nimbus–主控節(jié)點(diǎn)，用于任務(wù)分配，集群任Storm的應(yīng)用模式用戶查詢大數(shù)據(jù)存儲(chǔ)數(shù)據(jù)視圖集（批處理）數(shù)據(jù)流HadoopStorm

數(shù)據(jù)視圖集（實(shí)時(shí)處理）

數(shù)據(jù)流

數(shù)據(jù)視圖集（實(shí)時(shí)處理）

數(shù)據(jù)視圖集（實(shí)時(shí)處理）Storm的應(yīng)用模式用戶查詢大數(shù)據(jù)存儲(chǔ)數(shù)據(jù)視圖集數(shù)據(jù)流Had流式計(jì)算流式計(jì)算流式計(jì)算應(yīng)用事件收集器Storm前段展現(xiàn)?

事件驅(qū)動(dòng)實(shí)現(xiàn)流式計(jì)算應(yīng)用事件收集器Storm前段展現(xiàn)?事件驅(qū)動(dòng)實(shí)現(xiàn)?

注意–

內(nèi)存泄露–

消息堆積–

算法模塊拆分流式計(jì)算?注意–內(nèi)存泄露–算法模塊拆分流式計(jì)算––––分析可視化數(shù)據(jù)可視化數(shù)據(jù)反哺計(jì)算即服務(wù)?

仔細(xì)思考其價(jià)值–––––實(shí)時(shí)的統(tǒng)計(jì)：最流行廣告CTR預(yù)測(cè)ETL：格式轉(zhuǎn)換、重復(fù)值過(guò)濾、?運(yùn)營(yíng)需求：資源調(diào)派?大數(shù)據(jù)實(shí)時(shí)處理技術(shù)?

服務(wù)和應(yīng)用?

價(jià)值展現(xiàn)–分析可視化?仔細(xì)思考其價(jià)值–實(shí)時(shí)的統(tǒng)計(jì)：最流行大數(shù)?

對(duì)系統(tǒng)的壓力–

數(shù)據(jù)量–

數(shù)據(jù)展現(xiàn)–

數(shù)據(jù)讀寫和傳輸?

解決方法–

前端和后端解耦?

緩存的應(yīng)用?

JS發(fā)揮前端的能力–

壓縮–

排隊(duì)?

異步、非阻塞IO模型?

線程池?

事件驅(qū)動(dòng)–

后端更強(qiáng)勁?

數(shù)據(jù)庫(kù)集群：分庫(kù)、分表、分區(qū)?

NoSQL數(shù)據(jù)庫(kù)：Hbase、MongoDB等數(shù)據(jù)應(yīng)用的問(wèn)題?對(duì)系統(tǒng)的壓力–數(shù)據(jù)量–數(shù)據(jù)展現(xiàn)–淘寶數(shù)據(jù)分析挖掘?qū)嵺`及變革淘寶數(shù)據(jù)分析挖掘?qū)嵺`及變革淘寶數(shù)據(jù)四階段?

被動(dòng)響應(yīng)–2007年前?

主動(dòng)變革

–2008-2010?

優(yōu)化完善

–2011-2012?

引領(lǐng)驅(qū)動(dòng)–2013-淘寶數(shù)據(jù)四階段?被動(dòng)響應(yīng)–2007年前?主動(dòng)變革–201數(shù)據(jù)系統(tǒng)變遷2007年前數(shù)據(jù)庫(kù)(集群)腳本簡(jiǎn)單調(diào)度數(shù)據(jù)報(bào)表2008-2010Hadoop集群調(diào)度監(jiān)控實(shí)時(shí)日志傳輸數(shù)據(jù)門戶多維分析2011-2012Hadoop集群DXP公有云實(shí)時(shí)Storm調(diào)度監(jiān)控實(shí)時(shí)日志傳輸實(shí)時(shí)數(shù)據(jù)庫(kù)同步數(shù)據(jù)門戶自助查詢工具元數(shù)據(jù)管理2013-數(shù)據(jù)驅(qū)動(dòng)新模式探索數(shù)據(jù)系統(tǒng)變遷2007年前2008-2010實(shí)時(shí)日志傳輸201調(diào)度監(jiān)控業(yè)務(wù)庫(kù)（Mysql）Log

Server外部數(shù)據(jù)數(shù)據(jù)源數(shù)據(jù)計(jì)算平臺(tái)數(shù)據(jù)門戶多維自助查詢平臺(tái)OpenAPI數(shù)據(jù)平臺(tái)架構(gòu)

數(shù)據(jù)應(yīng)用數(shù)據(jù)收集DBSyncTTDataX……HiveHDFSHbase實(shí)時(shí)計(jì)算Storm…Ocean

Base分布式集群量子恒道在云端接入數(shù)據(jù)魔方

DXP數(shù)據(jù)交換平臺(tái)冷數(shù)據(jù)

集群調(diào)監(jiān)控業(yè)務(wù)庫(kù)（Mysql）LogServer外部數(shù)據(jù)數(shù)數(shù)計(jì)數(shù)據(jù)應(yīng)用格局?jǐn)?shù)據(jù)應(yīng)用格局對(duì)外數(shù)據(jù)產(chǎn)品?

數(shù)據(jù)魔方/淘寶指數(shù)–行業(yè)趨勢(shì)–人群特征–成交排行–市場(chǎng)細(xì)分?

量子恒道–銷售分析–營(yíng)銷效果–來(lái)源分析?

搜索排行榜對(duì)外數(shù)據(jù)產(chǎn)品?數(shù)據(jù)魔方/淘寶指數(shù)–行業(yè)趨勢(shì)?量子恒道–銷對(duì)外數(shù)據(jù)產(chǎn)品?

淘寶時(shí)光機(jī)–/–回憶的感動(dòng)?

排行榜對(duì)外數(shù)據(jù)產(chǎn)品?淘寶時(shí)光機(jī)–http://me.taobao對(duì)外數(shù)據(jù)產(chǎn)品-淘寶指數(shù)對(duì)外數(shù)據(jù)產(chǎn)品-淘寶指數(shù)對(duì)外數(shù)據(jù)產(chǎn)品-量子恒道對(duì)外數(shù)據(jù)產(chǎn)品-量子恒道數(shù)據(jù)嵌入產(chǎn)品中?

搜索匹配、排序?

廣告匹配、排序?

推薦?

商家后臺(tái)數(shù)據(jù)?

營(yíng)銷效果–直通車、展示廣告、淘寶客數(shù)據(jù)嵌入產(chǎn)品中?搜索匹配、排序?商家后臺(tái)數(shù)據(jù)–直通車、展內(nèi)部數(shù)據(jù)服務(wù)?

淘數(shù)據(jù)門戶–用戶分析–商家云圖–活動(dòng)效果分析–例行數(shù)據(jù)報(bào)表?

在云端–低門檻接入分布式集群–周活躍用戶1000+內(nèi)部數(shù)據(jù)服務(wù)?淘數(shù)據(jù)門戶–用戶分析–活動(dòng)效果分析?在云端內(nèi)部數(shù)據(jù)服務(wù)?

多維數(shù)據(jù)自助查詢平臺(tái)–數(shù)據(jù)倉(cāng)庫(kù)和索引技術(shù)結(jié)合–隨意組合維度–秒級(jí)返回?

日常數(shù)據(jù)需求管理–數(shù)據(jù)接口人內(nèi)部數(shù)據(jù)服務(wù)?多維數(shù)據(jù)自助查詢平臺(tái)–數(shù)據(jù)倉(cāng)庫(kù)和索引技術(shù)結(jié)合數(shù)據(jù)工具?

天網(wǎng)調(diào)度?

元數(shù)據(jù)管理?

數(shù)據(jù)地圖-定位、血緣分析?

DataX異源數(shù)據(jù)傳輸?

TimeTunnel實(shí)時(shí)日志傳輸?

監(jiān)控報(bào)警?

生命周期管理數(shù)據(jù)工具?天網(wǎng)調(diào)度?元數(shù)據(jù)管理?數(shù)據(jù)地圖-定位、血緣分新的探索?

金融服務(wù)–小微企業(yè)貸款–個(gè)人消費(fèi)貸款?

全網(wǎng)精準(zhǔn)營(yíng)銷–DMP、DSP、AD

Exchange、RTB?

無(wú)線與PC數(shù)據(jù)打通?

數(shù)據(jù)交換新的探索?金融服務(wù)–小微企業(yè)貸款?全網(wǎng)精準(zhǔn)營(yíng)銷–DMP、一些觀點(diǎn)?

數(shù)據(jù)處理是手段，數(shù)據(jù)應(yīng)用是根本?

云系統(tǒng)運(yùn)維能力是核心競(jìng)爭(zhēng)力?

整合關(guān)聯(lián)讓數(shù)據(jù)價(jià)值指數(shù)級(jí)增長(zhǎng)?

數(shù)據(jù)可視化很重要?

想大做小，迭代優(yōu)化?

關(guān)于隱私–隱私和服務(wù)的權(quán)衡–控制使用比控制收集更有效–不針對(duì)具體個(gè)體一些觀點(diǎn)?數(shù)據(jù)處理是手段，數(shù)據(jù)應(yīng)用是根本?想大做小，迭代初識(shí)物流物流信息技術(shù)物流信息平臺(tái)概念發(fā)展歷程初識(shí)物流物流信息技術(shù)物流信息平臺(tái)概念發(fā)展歷程物流的概念（Logistics）來(lái)源于二戰(zhàn)軍事（運(yùn)輸管理、倉(cāng)儲(chǔ)管理和庫(kù)存管理）物流管理：除運(yùn)輸外的需求預(yù)測(cè)、采購(gòu)、生產(chǎn)計(jì)劃、存貨管理、配送與客戶服務(wù)等物流的概念（Logistics）來(lái)源于二戰(zhàn)軍事（運(yùn)輸管理、倉(cāng)大數(shù)據(jù)物流可視化解決方案課件物流信息技術(shù)條碼技術(shù)射頻技術(shù)物流信息技術(shù)條碼技術(shù)射頻技術(shù)物流信息技術(shù)EDI技術(shù)GPS技術(shù)物流信息技術(shù)EDI技術(shù)GPS技術(shù)物流信息技術(shù)GIS技術(shù)物流信息技術(shù)GIS技術(shù)物流大數(shù)據(jù)來(lái)源被動(dòng)主動(dòng)自動(dòng)海量并行爆發(fā)式增長(zhǎng)物流大數(shù)據(jù)來(lái)源被動(dòng)主動(dòng)自動(dòng)海量物流大數(shù)據(jù)處理過(guò)程處理過(guò)程挖掘統(tǒng)計(jì)/分析導(dǎo)入/預(yù)處理收集識(shí)別、定位和感知

物流大數(shù)據(jù)處理過(guò)程處理過(guò)程挖掘統(tǒng)計(jì)/分析導(dǎo)入/預(yù)處理收集識(shí)別大數(shù)據(jù)物流可視化解決方案課件研究點(diǎn)：物流信息平臺(tái)的壓力測(cè)試物流信息平臺(tái)大數(shù)據(jù)在亞馬遜平臺(tái)的性能分析……研究點(diǎn)：物流信息平臺(tái)的壓力測(cè)試整合：用服務(wù)去換取管理科學(xué)拆分?jǐn)?shù)據(jù)的數(shù)量?jī)?yōu)于質(zhì)量數(shù)據(jù)相關(guān)性優(yōu)于數(shù)據(jù)邏輯性或因果性公共平臺(tái)解決網(wǎng)絡(luò)（資源）與流程（服務(wù)）電商物流企業(yè)（物流倉(cāng)儲(chǔ)平臺(tái)建設(shè)、物流信息平臺(tái)建設(shè)）啟示整合：用服務(wù)去換取管理啟示發(fā)展趨勢(shì)大數(shù)據(jù)能否預(yù)言足球盛況？拭目以待發(fā)展趨勢(shì)大數(shù)據(jù)能否預(yù)言足球盛況？拭目以待ThankYou!ThankYou!物流大數(shù)據(jù)處理物流大數(shù)據(jù)處理采集導(dǎo)入/預(yù)處理

統(tǒng)計(jì)/分析

挖掘

1234567

潘果物流大數(shù)據(jù)處理物流大數(shù)據(jù)處理采集導(dǎo)入/預(yù)處理

統(tǒng)淘寶數(shù)據(jù)分析挖掘?qū)嵺`及變革百度大數(shù)據(jù)分析系統(tǒng)架構(gòu)京東大數(shù)據(jù)實(shí)時(shí)處理技術(shù)物流大數(shù)據(jù)處理簡(jiǎn)介1234目錄淘寶數(shù)據(jù)分析挖掘?qū)嵺`及變革百度大數(shù)據(jù)分析系統(tǒng)架構(gòu)京東大數(shù)據(jù)實(shí)【推薦】用大數(shù)據(jù)能力找到商品之間的關(guān)系【推薦】用大數(shù)據(jù)能力找到商品之間的關(guān)系【推薦】用大數(shù)據(jù)能力找到商品之間的關(guān)系【推薦】用大數(shù)據(jù)能力找到商品之間的關(guān)系你知曉大數(shù)據(jù)在哪些方面有應(yīng)用？你知曉大數(shù)據(jù)在哪些方面有應(yīng)用？3132

架構(gòu)化1950-1970數(shù)字化1970-1990

網(wǎng)絡(luò)化1990-2010+

物聯(lián)網(wǎng)

大數(shù)據(jù)Something

Big

is

Happening

NOW移動(dòng)互聯(lián)網(wǎng)

云計(jì)算4信息技術(shù)革命的小周期

智慧化3132 架構(gòu)化數(shù)字化1970-1990 網(wǎng)絡(luò)化 物聯(lián)網(wǎng)移51:1

MarketingNanotargeting和Retargeting51:1MarketingNanotargeting和Re662?IBM

IBM

2013

多渠道

交通控制交易分析智慧的醫(yī)療

國(guó)土安全

制造

金融

電信欺詐和風(fēng)險(xiǎn)

日志分析

搜索質(zhì)量

零售：流失、促銷?

Copyright

2011

Corporation大數(shù)據(jù)在各行各業(yè)都可以獲得應(yīng)用22?IBMIBM20134?

Copyright

2011

Corporation?IBM

IBM

2013獲得突破性回報(bào)

了解關(guān)于客戶的

一切作快速大量地創(chuàng)新產(chǎn)品和風(fēng)險(xiǎn)利用工具化的資產(chǎn)利用大數(shù)據(jù)能力可以幫助企業(yè)獲得突破性回報(bào)利用大數(shù)據(jù)獨(dú)有的

技術(shù)能力

可視化和發(fā)現(xiàn)Hadoop

執(zhí)行零延遲的操數(shù)據(jù)倉(cāng)庫(kù)流計(jì)算文本分析整合和治理多媒體內(nèi)容通過(guò)分析仸意

大數(shù)據(jù)類型

交易

/

應(yīng)用數(shù)

據(jù)機(jī)器數(shù)據(jù)社交媒體數(shù)據(jù)

實(shí)時(shí)偵測(cè)欺詐44?Copyright2011Co11快雜大大數(shù)據(jù)的新思維11快雜大大數(shù)據(jù)的新思維13多數(shù)據(jù)源的集成浮動(dòng)車GPS:20M/day手機(jī)位置信息:18M/day居民調(diào)查:80000戶視頻/圖像數(shù)據(jù)和元數(shù)據(jù):100s

of

TB/day

GIS數(shù)據(jù)供水系統(tǒng)智能電網(wǎng)睡眠質(zhì)量出租車運(yùn)營(yíng)數(shù)據(jù):1M/day

交通卡:19M/day

高速路收費(fèi)數(shù)據(jù):

0.5M/day

社交網(wǎng)絡(luò)

情感分析部分?jǐn)?shù)據(jù)來(lái)源:BeijingTOCC13多數(shù)據(jù)源的集成浮動(dòng)車GPS:20M/day手機(jī)位置信息:12

大數(shù)據(jù)的新方法學(xué)數(shù)據(jù)極大豐富前提下的新分析思維和技術(shù)采樣數(shù)據(jù)全集數(shù)據(jù)

多數(shù)據(jù)源的整合

基于主觀因果假設(shè)

相關(guān)關(guān)系

大數(shù)據(jù)+小算法

+上下文+知識(shí)積累

描述性分析預(yù)測(cè)性

和處方性分析實(shí)時(shí)性

>

絕對(duì)的精確性12 大數(shù)據(jù)的新方法學(xué)采樣數(shù)據(jù)全集數(shù)據(jù) 大數(shù)據(jù)+小數(shù)據(jù)數(shù)據(jù)中介

服務(wù)生態(tài)系統(tǒng)

數(shù)據(jù)擁有者大數(shù)據(jù)的數(shù)據(jù)中介

數(shù)據(jù)技術(shù)公司

數(shù)據(jù)產(chǎn)品

和服務(wù)16數(shù)據(jù)數(shù)據(jù)中介生態(tài)系統(tǒng) 數(shù)據(jù)擁有者數(shù)據(jù)中介 數(shù)據(jù)技術(shù)公司大數(shù)據(jù)系統(tǒng)的設(shè)計(jì)權(quán)衡大體量基于采樣的查詢

實(shí)時(shí)性

流計(jì)算

批量計(jì)算精確性惰性數(shù)據(jù)的即席查詢

Little

data

(個(gè)人計(jì)算)19城市計(jì)算增量計(jì)算內(nèi)存計(jì)算大數(shù)據(jù)系統(tǒng)的設(shè)計(jì)權(quán)衡大體量基于采樣的查詢 批量計(jì)算惰性數(shù)據(jù)的案例一：大數(shù)據(jù)分析系統(tǒng)架構(gòu)的搭建案例一：百度的數(shù)據(jù)規(guī)模?

100~1000PB?

10~100PB/天?

千億~萬(wàn)億?

百億~千億?

十億~百億/天?

十億~百億/天?

100TB~1PB/天

數(shù)據(jù)總量數(shù)據(jù)處理量

網(wǎng)頁(yè)

索引

更新量

請(qǐng)求

日志百度的數(shù)據(jù)規(guī)模?100~1000PB 數(shù)據(jù)總量離線在線離線分析與在線實(shí)驗(yàn)相結(jié)合快速迭代是互聯(lián)網(wǎng)產(chǎn)品的

主要?jiǎng)?chuàng)新手段

算法A

算法B

算法B

通過(guò)反饋來(lái)驗(yàn)證算法優(yōu)劣離線在線離線分析與在線實(shí)驗(yàn)相結(jié)合快速迭代是互聯(lián)網(wǎng)產(chǎn)品的搜索引擎的迭代5%5%Online

LearningA/B

test

策略

機(jī)器學(xué)習(xí)

平臺(tái)FeatureTraining

數(shù)據(jù)網(wǎng)頁(yè)

網(wǎng)頁(yè)庫(kù)

倒排表

Data

Mining搜索引擎的迭代5%5%OnlineLearning 機(jī)器學(xué)想法原型系統(tǒng)快速開(kāi)發(fā)測(cè)試產(chǎn)品部署運(yùn)維開(kāi)發(fā)框架互聯(lián)網(wǎng)產(chǎn)品的迭代

A/B測(cè)試，持續(xù)優(yōu)化

數(shù)據(jù)智能驗(yàn)證數(shù)據(jù)分析應(yīng)用引擎

云測(cè)試應(yīng)用引擎想法原型系統(tǒng)快速開(kāi)發(fā)測(cè)試產(chǎn)品部署運(yùn)維開(kāi)發(fā)框架互聯(lián)網(wǎng)產(chǎn)品的迭代數(shù)據(jù)架構(gòu)技術(shù)互聯(lián)網(wǎng)服務(wù)

enable

數(shù)據(jù)智能數(shù)據(jù)架構(gòu)互聯(lián)網(wǎng)服務(wù)IT產(chǎn)業(yè)生產(chǎn)力的變化‘60‘70‘80‘90‘00‘10

硬件Mainframe軟件

PCInternet

Inf+人+數(shù)據(jù)

Cloud迭代的本質(zhì)是讓人參與系統(tǒng)進(jìn)化，而B(niǎo)ig

Data為迭代指導(dǎo)方向，Infrastructure則加速迭代。

軟件

+人IT產(chǎn)業(yè)生產(chǎn)力的變化‘60‘70‘80‘90‘00‘10 硬互聯(lián)網(wǎng)服務(wù)的典型技術(shù)特點(diǎn)超大規(guī)?？焖俚ヂ?lián)網(wǎng)服務(wù)的典型技術(shù)特點(diǎn)超大規(guī)模快速迭代數(shù)據(jù)智能軟件基礎(chǔ)架構(gòu)大數(shù)據(jù)數(shù)據(jù)中心、網(wǎng)絡(luò)、服務(wù)器數(shù)據(jù)中心計(jì)算云計(jì)算技術(shù)體系數(shù)據(jù)智能軟件基礎(chǔ)架構(gòu)大數(shù)據(jù)數(shù)據(jù)中心、網(wǎng)絡(luò)、服務(wù)器數(shù)據(jù)中心計(jì)算DiskFlashPipeK/VFileTable統(tǒng)一存儲(chǔ)體系

–

平衡大容量、高并發(fā)、低延遲

–

不同訪問(wèn)模式通過(guò)組合滿足統(tǒng)一訪問(wèn)與傳輸數(shù)據(jù)訪問(wèn)層P2PCDN分布式存儲(chǔ)DiskFlashPipeK/VFileTable統(tǒng)一存儲(chǔ)描述能力數(shù)據(jù)流優(yōu)化控制流管理資源分配優(yōu)先級(jí)、并發(fā)控制隔離、安全執(zhí)行層模型層MapReduce表示層SQL-like

翻譯JoinSelectTop分布式計(jì)算BCDA描述能力數(shù)據(jù)流優(yōu)化控制流管理優(yōu)先級(jí)、并發(fā)控制執(zhí)行層模型層Ma實(shí)時(shí)存儲(chǔ)與計(jì)算kNN查詢

平臺(tái)向量計(jì)算引擎流式數(shù)據(jù)處理引擎PubSub

引擎機(jī)器學(xué)習(xí)算法平臺(tái)OLAP引擎

復(fù)雜事件處理引擎

分布式數(shù)據(jù)結(jié)構(gòu)超大規(guī)模數(shù)據(jù)倉(cāng)庫(kù)圖查詢

平臺(tái)實(shí)時(shí)檢索

平臺(tái)實(shí)時(shí)存儲(chǔ)與計(jì)算kNN查詢向量計(jì)算引擎流式數(shù)據(jù)處理引擎PubS向量計(jì)算引擎VectorLayoutMap-ShuffleOperators/

CheckpointSIMDProgram向量計(jì)算引擎VectorLayoutMap-ShuffleO復(fù)雜事件處理average(price)trigger(?,b,c)filter(b)pattern(a->b->c)condition(func(a,b,c))復(fù)雜事件處理average(price)pattern(a-流式計(jì)算模型

windowstepboundtimeM=Stream<window,step,bound>流式計(jì)算模型stepboundtimeM=Stream<wi目標(biāo)?

1000PB?

10億維特征訓(xùn)練?

100維條件查詢?

流式?

觸發(fā)式

海量高維、多維

實(shí)時(shí)更大、更復(fù)雜、更快!目標(biāo)?1000PB 海量更大、更復(fù)雜、更快!數(shù)據(jù)智能

分布式存儲(chǔ)與計(jì)算

大規(guī)模人工輔劣標(biāo)注系統(tǒng)人計(jì)算向量引擎MachineLearning

算法Web

Contents流式處理LogsPubSub推薦系統(tǒng)智能交通Apps

自勱評(píng)估商業(yè)智能決策輔劣數(shù)據(jù)智能 分布式 大規(guī)模人工人計(jì)算向量引擎MachineWe關(guān)于京東關(guān)于京東營(yíng)銷管理供應(yīng)商

管理倉(cāng)儲(chǔ)管理財(cái)務(wù)系統(tǒng)客戶數(shù)據(jù)網(wǎng)站前臺(tái)關(guān)于京東

京東擁有覆蓋企業(yè)全部?jī)r(jià)值鏈的穩(wěn)定系統(tǒng)，通過(guò)持續(xù)優(yōu)化打造開(kāi)放平

臺(tái)，全面提升用戶體驗(yàn)。配送管理營(yíng)銷供應(yīng)商倉(cāng)儲(chǔ)財(cái)務(wù)客戶網(wǎng)站關(guān)于京東配送大規(guī)模數(shù)據(jù)處理更加容易ETL/企業(yè)數(shù)據(jù)倉(cāng)庫(kù)（Hive/Pig/MR）數(shù)據(jù)挖掘/建模（R、Mahout）搜索和推薦日志存儲(chǔ)…大規(guī)模數(shù)據(jù)處理更加容易ETL/企業(yè)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)挖掘/建模（R?????“Next

Click”運(yùn)營(yíng)智能風(fēng)險(xiǎn)控制互動(dòng)分析?一些場(chǎng)景需要進(jìn)一步的考量

MapReduce批量處理

=

延遲較長(zhǎng)無(wú)法滿足用戶的實(shí)時(shí)需求

調(diào)度開(kāi)銷較大?“NextClick”一些場(chǎng)景需要進(jìn)一步的考量 Map批處理與分析近實(shí)時(shí)分析實(shí)時(shí)流處理實(shí)時(shí)性離線準(zhǔn)實(shí)時(shí)/實(shí)時(shí)實(shí)時(shí)處理時(shí)間分鐘到小時(shí)毫秒到秒持續(xù)不斷數(shù)據(jù)量TB-PBGB-TB持續(xù)編程模型MapReduceQueriesDAG用戶分析師/開(kāi)發(fā)者分析師/開(kāi)發(fā)者開(kāi)發(fā)者成本中高高應(yīng)用ETL/數(shù)據(jù)挖掘/預(yù)處理?數(shù)據(jù)決策分析/??大數(shù)據(jù)包括三部分批處理與分析近實(shí)時(shí)分析實(shí)時(shí)流處理實(shí)時(shí)性離線準(zhǔn)實(shí)時(shí)/實(shí)時(shí)實(shí)時(shí)處服務(wù)模型

性能大數(shù)據(jù)實(shí)時(shí)處理的思考服務(wù)模型性能大數(shù)據(jù)實(shí)時(shí)處理的思考?

模型–

海量數(shù)據(jù)?

數(shù)據(jù)量大?

并發(fā)數(shù)高–

多個(gè)數(shù)據(jù)源整合–

預(yù)定義好的數(shù)據(jù)模型?

去規(guī)格化–

數(shù)據(jù)任務(wù)依賴關(guān)系簡(jiǎn)單–

推和拉的問(wèn)題?

拉比推好大數(shù)據(jù)實(shí)時(shí)處理的思考?模型–海量數(shù)據(jù)?數(shù)據(jù)量大–多個(gè)數(shù)據(jù)源?

性能–

高并發(fā)需求–

大容量需求?

GB–TB

級(jí)后臺(tái)數(shù)據(jù)處理吞吐–

高速度需求?

從數(shù)據(jù)產(chǎn)生到處理完成結(jié)果延遲要求到秒級(jí)?

計(jì)算需要在短時(shí)間內(nèi)完成–

批處理預(yù)算–

硬件支持?

內(nèi)存、CPU、網(wǎng)絡(luò)–

容錯(cuò)–

水平擴(kuò)展大數(shù)據(jù)實(shí)時(shí)處理的思考?性能–高并發(fā)需求?GB–TB級(jí)后––––關(guān)聯(lián)獲取價(jià)值，維度按需定制互動(dòng)分析、報(bào)表等完成價(jià)值交付與其他在線生產(chǎn)系統(tǒng)進(jìn)行數(shù)據(jù)對(duì)接（數(shù)據(jù)反哺）計(jì)算即服務(wù)大數(shù)據(jù)實(shí)時(shí)處理的思考?

服務(wù)–關(guān)聯(lián)獲取價(jià)值，維度按需定制大數(shù)據(jù)實(shí)時(shí)處理的思考生產(chǎn)數(shù)據(jù)庫(kù)企業(yè)數(shù)據(jù)倉(cāng)庫(kù)大數(shù)據(jù)實(shí)時(shí)處理架構(gòu)

財(cái)務(wù)數(shù)據(jù)集市采銷數(shù)據(jù)集市羅盤數(shù)據(jù)集市分析挖掘

數(shù)據(jù)集

數(shù)據(jù)緩沖區(qū)企業(yè)消息總線流式計(jì)算集群實(shí)時(shí)數(shù)據(jù)

同步模型日志系統(tǒng)高速存取集群

在線實(shí)時(shí)計(jì)算集群持久化PUSHPULL/PUSH訂閱ELTELT高速存取集群ETL報(bào)表應(yīng)用分析應(yīng)用推薦應(yīng)用...數(shù)據(jù)推送中心近實(shí)時(shí)分析集群近實(shí)時(shí)計(jì)算

實(shí)時(shí)計(jì)算在線服務(wù)離線計(jì)算應(yīng)用

分布式消息系統(tǒng)緩存集群生產(chǎn)數(shù)據(jù)庫(kù)企業(yè)數(shù)據(jù)倉(cāng)庫(kù)大數(shù)據(jù)實(shí)時(shí)處理架構(gòu)采銷數(shù)據(jù)集市羅盤數(shù)據(jù)––––日志（用戶行為、?）批量同步消息隊(duì)列??

開(kāi)源技術(shù)––––FlumeScribeKafka?大數(shù)據(jù)實(shí)時(shí)處理技術(shù)?

數(shù)據(jù)傳輸–日志（用戶行為、?）?開(kāi)源技術(shù)–Flume大數(shù)據(jù)實(shí)?

Apache項(xiàng)目：/?

一個(gè)分布式的發(fā)布/訂閱消息系統(tǒng)?

術(shù)語(yǔ)–

Topics?

消息分組–

Brokers?

消息存儲(chǔ)–

Producers?

消息生產(chǎn)者–

Consumers?

消息消費(fèi)者Kafka?Apache項(xiàng)目：http://kafka.apa–––––大數(shù)據(jù)實(shí)時(shí)處理技術(shù)?

幾個(gè)點(diǎn)SinkAgentAgentStorm等Broker(Topic1)

Broker(Topic2)HDFSZookeeper解耦緩沖容錯(cuò)透明跨數(shù)據(jù)中心數(shù)據(jù)分發(fā)

FlumeKafka–大數(shù)據(jù)實(shí)時(shí)處理技術(shù)SinkAgentAgentStorm等––––––HadoopHBaseCassandraMongoDBRedis??

數(shù)據(jù)庫(kù)Sharding?

合適的就是最好的大數(shù)據(jù)實(shí)時(shí)處理技術(shù)?

存儲(chǔ)

–

大容量低速存儲(chǔ)

–

高速存儲(chǔ)

–

KV存儲(chǔ)?

開(kāi)源NoSQL數(shù)據(jù)存儲(chǔ)–Hadoop?數(shù)據(jù)庫(kù)Sharding大數(shù)據(jù)實(shí)時(shí)處理––––可加計(jì)算、不可加計(jì)算實(shí)時(shí)數(shù)據(jù)的實(shí)時(shí)計(jì)算實(shí)時(shí)數(shù)據(jù)的計(jì)算數(shù)據(jù)的實(shí)時(shí)計(jì)算?

開(kāi)源計(jì)算框架

–

Storm

–

Impala

–

?大數(shù)據(jù)實(shí)時(shí)處理技術(shù)?

計(jì)算–可加計(jì)算、不可加計(jì)算?開(kāi)源計(jì)算框架大數(shù)據(jù)實(shí)時(shí)處理技大數(shù)據(jù)實(shí)時(shí)分析明細(xì)事實(shí)表聚合表1聚合表2聚合表3大數(shù)據(jù)實(shí)時(shí)分析明細(xì)事實(shí)表聚合表1聚合表2聚合表3?

基本概念

–

Streams（流）

?

元組序列

–

Spouts

?

流的源頭

–

Bolts

?

Functions,

Filters,

Joins,

Aggregations

–

Topologies?

優(yōu)點(diǎn)

–

可擴(kuò)展、容錯(cuò)、易用?–

在內(nèi)存中執(zhí)行流式計(jì)算Storm?

Twitter開(kāi)源的分布式處理框架SpoutsBoltTopologies?基本概念 ?元組序列–在內(nèi)存中執(zhí)行流?

Nimbus–

主控節(jié)點(diǎn)，用于任務(wù)分配，集群任務(wù)監(jiān)控等?

Zookeeper–

集群中協(xié)調(diào)，共有數(shù)據(jù)的存放(如心跳信息)?

Supervisor–

對(duì)應(yīng)一臺(tái)物理機(jī)，用于啟動(dòng)worker?

Worker–

工作進(jìn)程，負(fù)責(zé)啟動(dòng)task，以及通過(guò)zeromq進(jìn)行tuple的分發(fā)，與接收。?

Task–

工作線程,任務(wù)的處理Storm的部署?Nimbus–主控節(jié)點(diǎn)，用于任務(wù)分配，集群任Storm的應(yīng)用模式用戶查詢大數(shù)據(jù)存儲(chǔ)數(shù)據(jù)視圖集（批處理）數(shù)據(jù)流HadoopStorm

數(shù)據(jù)視圖集（實(shí)時(shí)處理）

數(shù)據(jù)流

數(shù)據(jù)視圖集（實(shí)時(shí)處理）

數(shù)據(jù)視圖集（實(shí)時(shí)處理）Storm的應(yīng)用模式用戶查詢大數(shù)據(jù)存儲(chǔ)數(shù)據(jù)視圖集數(shù)據(jù)流Had流式計(jì)算流式計(jì)算流式計(jì)算應(yīng)用事件收集器Storm前段展現(xiàn)?

事件驅(qū)動(dòng)實(shí)現(xiàn)流式計(jì)算應(yīng)用事件收集器Storm前段展現(xiàn)?事件驅(qū)動(dòng)實(shí)現(xiàn)?

注意–

內(nèi)存泄露–

消息堆積–

算法模塊拆分流式計(jì)算?注意–內(nèi)存泄露–算法模塊拆分流式計(jì)算––––分析可視化數(shù)據(jù)可視化數(shù)據(jù)反哺計(jì)算即服務(wù)?

仔細(xì)思考其價(jià)值–––––實(shí)時(shí)的統(tǒng)計(jì)：最流行廣告CTR預(yù)測(cè)ETL：格式轉(zhuǎn)換、重復(fù)值過(guò)濾、?運(yùn)營(yíng)需求：資源調(diào)派?大數(shù)據(jù)實(shí)時(shí)處理技術(shù)?

服務(wù)和應(yīng)用?

價(jià)值展現(xiàn)–分析可視化?仔細(xì)思考其價(jià)值–實(shí)時(shí)的統(tǒng)計(jì)：最流行大數(shù)?

對(duì)系統(tǒng)的壓力–

數(shù)據(jù)量–

數(shù)據(jù)展現(xiàn)–

數(shù)據(jù)讀寫和傳輸?

解決方法–

前端和后端解耦?

緩存的應(yīng)用?

JS發(fā)揮前端的能力–

壓縮–

排隊(duì)?

異步、非阻塞IO模型?

線程池?

事件驅(qū)動(dòng)–

后端更強(qiáng)勁?

數(shù)據(jù)庫(kù)集群：分庫(kù)、分表、分區(qū)?

NoSQL數(shù)據(jù)庫(kù)：Hbase、MongoDB等數(shù)據(jù)應(yīng)用的問(wèn)題?對(duì)系統(tǒng)的壓力–數(shù)據(jù)量–數(shù)據(jù)展現(xiàn)–淘寶數(shù)據(jù)分析挖掘?qū)嵺`及變革淘寶數(shù)據(jù)分析挖掘?qū)嵺`及變革淘寶數(shù)據(jù)四階段?

被動(dòng)響應(yīng)–2007年前?

主動(dòng)變革

–2008-2010?

優(yōu)化完善

–2011-2012?

引領(lǐng)驅(qū)動(dòng)–2013-淘寶數(shù)據(jù)四階段?被動(dòng)響應(yīng)–2007年前?主動(dòng)變革–201數(shù)據(jù)系統(tǒng)變遷2007年前數(shù)據(jù)庫(kù)(集群)腳本簡(jiǎn)單調(diào)度數(shù)據(jù)報(bào)表2008-2010Hadoop集群調(diào)度監(jiān)控實(shí)時(shí)日志傳輸數(shù)據(jù)門戶多維分析2011-2012Hadoop集群DXP公有云實(shí)時(shí)Storm調(diào)度監(jiān)控實(shí)時(shí)日志傳輸實(shí)時(shí)數(shù)據(jù)庫(kù)同步數(shù)據(jù)門戶自助查詢工具元數(shù)據(jù)管理2013-數(shù)據(jù)驅(qū)動(dòng)新模式探索數(shù)據(jù)系統(tǒng)變遷20