支付寶背后大數(shù)據(jù)技術(shù)——DataLabHigo

1、注：本PPT來(lái)源于2013年11月第三屆Oracle技術(shù)嘉年華，由支付寶DW/BI高級(jí)架構(gòu)師周衛(wèi)林 貢獻(xiàn)。我們預(yù)計(jì)目前支付寶的大數(shù)據(jù)技術(shù)已經(jīng)上升到了一個(gè)新的臺(tái)階，但是我們?nèi)匀幌氚堰@個(gè)PPT分享出來(lái)，讓大家了解一下，一個(gè)風(fēng)靡全球的支付系統(tǒng)背后到底使用了什么樣的大數(shù)據(jù)技術(shù)，以及支付寶大數(shù)據(jù)技術(shù)的實(shí)踐，給新入場(chǎng)的朋友們作為參考。正文如下：支付寶之所以備受大家的喜愛(ài)，更重要的是支付寶的安全機(jī)制和使用便捷性。但是，業(yè)界并不僅僅有支付寶一家支付產(chǎn)品，如今微信也已經(jīng)推出了微支付。周衛(wèi)林表示，支付寶的安全性機(jī)制要比微信高，比如大家在一個(gè)會(huì)場(chǎng)開(kāi)會(huì)，通過(guò)后臺(tái)的數(shù)據(jù)分析，基于這個(gè)位置的交易被認(rèn)為是熟人之間的交易，不

2、需要特別的驗(yàn)證，背后有強(qiáng)大的技術(shù)支撐。比如，在小區(qū)中，基于小區(qū)的地理位置信息，人與人之間的交易認(rèn)為是家人之間的交易。目前，支付寶平臺(tái)每年的數(shù)據(jù)的增長(zhǎng)量超過(guò)以往所有年份數(shù)據(jù)累加之和還要多。不同的業(yè)務(wù)階段，導(dǎo)致不同的數(shù)據(jù)訴求，業(yè)務(wù)模式在最開(kāi)始的時(shí)候負(fù)責(zé)度比較高，隨著業(yè)務(wù)的增長(zhǎng)對(duì)于創(chuàng)新的要求比較高。數(shù)據(jù)訴求分析當(dāng)前業(yè)務(wù)階段的特點(diǎn)：1、“能一眼看得見(jiàn)的山頭不多了”，面臨創(chuàng)新壓力；2、“生孩子容易，養(yǎng)孩子難”，如何做好精細(xì)化運(yùn)營(yíng)。 當(dāng)前數(shù)據(jù)訴求的特點(diǎn)：1、主要用戶不再是管理層(需求固定)，而是一線同學(xué)(需求不固定)；2、實(shí)現(xiàn)手段，不能僅是報(bào)表(T+1天)，數(shù)據(jù)需要對(duì)接生產(chǎn)系統(tǒng)(T+1秒)。 當(dāng)前的主要矛

3、盾：無(wú)法快速響應(yīng)日常需求1、數(shù)據(jù)分析師/ETL工程師滿足不了日益旺盛的數(shù)據(jù)需求，成為資源瓶頸；2、精細(xì)化運(yùn)營(yíng)帶來(lái)數(shù)據(jù)粒度下降，業(yè)務(wù)發(fā)展帶來(lái)數(shù)據(jù)指數(shù)增長(zhǎng)，傳統(tǒng)方案無(wú)法應(yīng)對(duì)；3、缺乏數(shù)據(jù)化運(yùn)營(yíng)的業(yè)務(wù)支撐平臺(tái)。傳統(tǒng)BI產(chǎn)品存在的幾個(gè)問(wèn)題：1、對(duì)大數(shù)據(jù)支持不夠：億級(jí)數(shù)據(jù)的Ad-hoc，玩不了;2、有學(xué)習(xí)成本：比較專業(yè)，分析師也需要培訓(xùn)才能較好使用;3、License貴：依據(jù)賬號(hào)數(shù)收費(fèi)，無(wú)法大面積開(kāi)放;4、需要二次開(kāi)發(fā)：無(wú)法直接給一線人員使用，一般要二次封裝，而且基本無(wú)技術(shù)支持。思路：人人都會(huì)用的大數(shù)據(jù)分析工具工具讓數(shù)據(jù)的使用更簡(jiǎn)單，人人會(huì)使用數(shù)據(jù)，才是數(shù)據(jù)化運(yùn)營(yíng)的基礎(chǔ)。數(shù)據(jù)邏輯如果不通過(guò)可視化的效果很

4、難展現(xiàn)出來(lái)支付寶結(jié)合用戶的使用習(xí)慣，自己開(kāi)發(fā)一套工具，通過(guò)工具解決瓶頸的問(wèn)題。如何讓工具讓數(shù)據(jù)使用更簡(jiǎn)單。站在內(nèi)部角度看到工具的迫切需求，主要是因?yàn)閿?shù)據(jù)越來(lái)越多，傳統(tǒng)的工具支撐需求有很大的難度。HiGo特性介紹演示環(huán)境說(shuō)明：數(shù)據(jù)量：18億條記錄，60個(gè)字段，占用空間1.4T機(jī)器量：3臺(tái)，96G內(nèi)存，2T SATA磁盤，6核*2 CPU分40個(gè)shard，每個(gè)shard4600萬(wàn)條記錄 任意條件的統(tǒng)計(jì)匯總：求浙江和廣東省 4鉆店鋪和5鉆店鋪的店鋪數(shù)，申請(qǐng)貸款金額總和和申請(qǐng)貸款的筆數(shù)總和” 任意條件的多維度分組統(tǒng)計(jì)：從一年的貸款數(shù)據(jù)中，看淘寶和天貓每一天申請(qǐng)貸款總金額、申請(qǐng)貸款的筆數(shù) 任意條件的多維度分組統(tǒng)計(jì)，含count distinct：從一年的貸款數(shù)據(jù)中，看淘寶和天貓每一天申請(qǐng)貸款的用戶數(shù) Case when：從一年的貸款數(shù)據(jù)中，看淘寶和天貓每一天申請(qǐng)金額在100