TalkingData營銷云實時計算框架

1、天下營銷，唯快不破TalkingData營銷云實時計算框架智能數(shù)據(jù)時代的來臨VolumeVelocityValueVeracityVariety數(shù)據(jù)數(shù)據(jù)體量數(shù)據(jù)多樣性數(shù)據(jù)時效性數(shù)據(jù)準(zhǔn)確性數(shù)據(jù)價值不“快”不“行”處理服務(wù)收集為什么要“快”？什 么 叫 “ 快 ”？ “快”的代價是什么？智能數(shù)據(jù)在廣告行業(yè)的實踐-營銷云客群構(gòu)建上傳構(gòu)建人群POI構(gòu)建人群標(biāo)簽構(gòu)建人群Lookalike畫像洞察人口屬性終端屬性地理位置屬性行業(yè)指數(shù)客群營銷廣告投放平臺EDMSMSCall Center效果評估觸達(dá)分析效果監(jiān)測營銷云-挑戰(zhàn)數(shù)據(jù)的組織和規(guī)劃CollectbatchstreamIngest- magpiePre

2、pare- labelingserviceAnalyze- sampling servicePublishseagullsnipeAct- injecting serviceTalkingData 標(biāo)簽體系人口屬性：包含性別、年齡等人的基本特征 資產(chǎn)情況：車輛、房產(chǎn)、收入等資產(chǎn)特征 興趣特征：閱讀資訊、運(yùn)勱健康等興趣偏好 消費特征：網(wǎng)上/線下消費類別品牌等特征 位置特征：常駐城市、職住距離等設(shè)備屬性：所使用終端的特性等共有6大類，超過800個受眾定向標(biāo)簽，這些標(biāo)簽關(guān)聯(lián)的設(shè)備累加起來超過700億。如何利用這些標(biāo)簽為用戶提供快速的標(biāo)簽人群構(gòu)建，對人群進(jìn)行多維度的快速畫像是一個挑戰(zhàn)數(shù)據(jù)的BitMap

3、化Atom OLAP Cube:OLAP-Cube: multi-dimensional array of data數(shù)據(jù)的BitMap化計算：標(biāo)簽的BitMap運(yùn)算cityBitmap北京bitmap1天津bitmap2deviceBitmap蘋果bitmap3華為bitmap4計算：SELECT Device Where city=北京 and device=蘋果 運(yùn)算轉(zhuǎn)變成：Bitmap1 and bitmap3優(yōu)勢：存儲減少計算快支持join使用Spark做人群構(gòu)建，畫像TalkingData是把設(shè)備標(biāo)簽數(shù)據(jù)進(jìn)行了BitMap化處理，利用BitMap的快速And, Or運(yùn)算能力來做標(biāo)簽人

4、群構(gòu) 建和人群畫像。雖然Bitmap對數(shù)據(jù)有很好的壓縮能力，但是因為TalkingData積累的移勱設(shè)備數(shù)量龐大，生成的Bitmap很多都是幾百兆， 用來構(gòu)建、畫像的的Bitmap數(shù)據(jù)依然很大。最開始的實現(xiàn)方案是把生成的Bitmap存在HDFS上，使用Spark集群來做這些運(yùn)算，但是運(yùn)算速遞，特別是 畫像速遞幵丌理想。 一個一千萬人群構(gòu)建大概需要5分鐘， 畫像常常需要1個小時才完成。RocksDB是一個高性能的KV存儲系統(tǒng)，讀寫性能很優(yōu)越，使用磁盤做存儲。比較適合我們這種Bitmap數(shù)量比 較多，總數(shù)據(jù)量大，又需要快速讀寫的場景。 于是我們開始調(diào)研RocksDB, 嘗試使用RocksDB來解決

5、人群構(gòu)建 和畫像的性能問題。RocksDB計算引擎 架構(gòu)Bitmap Proxy（app layer proxy）Round-Robin機(jī)制發(fā)送請求；Rest Service（computing layer proxy） 提供基于表達(dá)式的bitmap的and，or，xor， count等REST服務(wù)接口；Bitmap Server（computing engine） 提供分布式bitmap計算能力，計算完成時同時 將操作結(jié)果進(jìn)行存儲；RocksDB（persistence layer）Key-Value存儲系統(tǒng)Rest ServiceBitmap ServerRocksDBRest Servi

6、ceBitmap ServerBitmap ProxyRocksDBRocksDBRocksDBRocksDBRocksDBRocksDBRocksDBRocksDB計算引擎 bitmap數(shù)據(jù)分片offset10001.10001.00011.11100.00010.2000000004000000006000000008000000001000000000 1200000000 1400000000 1600000000 1800000000000011.01010.10001.01000.11100.01010.10001.00110.00010.11100. 20000000000100

7、0.00110.01010.01010.11100.Horizontal ShardingRocksDB計算引擎 bitmap抽樣能力10億15億25億30億35億40億offset數(shù)量5億20億數(shù)據(jù)體量龐大，單一維度精度要求相對不高服務(wù)場景（例如數(shù)據(jù)交叉比對）某維度原始數(shù)據(jù)分布曲線抽樣后的數(shù)據(jù)分布曲線地理圍欄人群預(yù)估能力geo-fencegeohash-1bitmap-1geohash-2bitmap-2geohash-nbitmap-n實時廣告投放查詢構(gòu)建的人群BitMapVertica設(shè)備匘配服務(wù)BloomFilter媒體設(shè)備歸屬人群查詢歸屬人群列表營銷云技術(shù)指標(biāo)功能模塊功能描述數(shù)據(jù)量處理時間人群構(gòu)建服務(wù)標(biāo)簽構(gòu)建1 億設(shè)備 5 secs上傳構(gòu)建1 億設(shè)備100萬2000萬 15 mins人群預(yù)估方圓5公里(1百萬設(shè)備量) 1 sec人群畫像服務(wù)15個維度（1億設(shè)備量） 2 mins數(shù)據(jù)投放服務(wù)5種ID類型（1 億設(shè)備量） 10 mins前置機(jī)服務(wù)RTB查詢5億設(shè)備 5 ms（6000