淘寶海量數(shù)據(jù)處理產(chǎn)品技術(shù)架構(gòu)(精品)

1、張軒丞（朋春） 淘寶網(wǎng)-數(shù)據(jù)平臺與產(chǎn)品部 張軒丞（朋春） 淘寶數(shù)據(jù)平臺與產(chǎn)品部（杭州） vi黨，腳本語言愛好者 關(guān)注nodejs，cnode社區(qū)組織者之一 ：我是aleafs 數(shù)據(jù) 產(chǎn)品用戶 淘寶網(wǎng) 淘寶賣家 供應(yīng)商 消費(fèi)者 搜索、瀏覽、收藏、交易、評價. 淘寶主站： 30億店鋪、寶貝瀏覽 10億計的在線寶貝數(shù) 千萬量級交易筆數(shù) 數(shù)據(jù)產(chǎn)品： 50g統(tǒng)計匯總結(jié)果 千萬量級數(shù)據(jù)查詢請求 平均20.8ms的響應(yīng)時間（6月1日） 計算 計算的速度 處理吞吐量 存儲 存儲是為了更方便地查詢 硬盤、內(nèi)存的成本 查詢 “大海撈針” 全“表”掃描 主站備庫rac主站日志 數(shù) 據(jù) 源 myfoxprom 存 儲

2、 層 數(shù)據(jù)中間層 / glider 查 詢 層 數(shù)據(jù)魔方淘寶指數(shù)開放api 產(chǎn) 品 hadoop集群 / 云梯 計 算 層 實(shí)時流數(shù)據(jù) datax / dbsync / timetunnel 1500節(jié)點(diǎn)，每日40000 job，處理數(shù)據(jù)1.5pb，凌晨2點(diǎn)結(jié)束，結(jié)果20t 關(guān)系型數(shù)據(jù)庫仍然是王道 nosql是sql的有益補(bǔ)充 用中間層隔離前后端 緩存是系統(tǒng)化的工程 關(guān)系型數(shù)據(jù)庫仍然是王道 有成熟穩(wěn)定的開源產(chǎn)品 sql有較強(qiáng)的表達(dá)能力 只存儲中間狀態(tài)的數(shù)據(jù) 查詢時過濾、計算、排序 數(shù)據(jù)產(chǎn)品的本質(zhì) 拉關(guān)系 做計算 select if(instr(f.keyword, ) 0, upper(tri

3、m(f.keyword), concat(b.brand_name, ,upper(trim(f.keyword) as f0, sum(f.search_num) as f1, round(sum(f.search_num) / sum(f.uv), 2) as f3, round(avg(f.uv),2) as f4 from dm_fact_keyword_brand_d f inner join dim_brand b on f.keyword_brand_id = b.brand_id where f.keyword_type_id = 1 and f.keyword != and

4、keyword_cat_id in (50002535) and thedate = 2011-07-07 group by f0 order by sum(f.search_num) desc limit 0, 100 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 2010/8/102010/9/292010/11/182011/1/72011/2/262011/4/172011/6/62011/7/26 十億十億 字段+條目數(shù)分片 myisam引擎 離線批量裝載 跨機(jī)房互備 云梯 app mysql 集群 數(shù)據(jù)裝載 數(shù)據(jù)查詢 myfox 透明查詢 基于nodejs，1200q

5、ps 數(shù)據(jù)裝載 路由計算 數(shù)據(jù)裝入 一致性校驗(yàn) 集群管理 配置信息維護(hù) 監(jiān)控報警 取分片數(shù)據(jù)（異步并發(fā)） 取 分 片 結(jié)果合并（表達(dá)式求值） 合 并 計 算 緩存 路 由 sql解析 語義理解 查詢路由字段改寫 分片sql計算規(guī)則 apc 緩存 x myfox 熱節(jié)點(diǎn)（mysql） 15k sas盤，300g * 12，raid10 內(nèi)存:24g 成本:4.5w / t 冷節(jié)點(diǎn)（mysql） 7.2k sata盤，1t * 12，raid10 內(nèi)存:24g 成本:1.6w / t 路由表 30天無訪問的冷數(shù)據(jù) 新增熱數(shù)據(jù) 根據(jù)業(yè)務(wù)特點(diǎn)分庫分表 冷熱數(shù)據(jù)分離 降低成本，好鋼用在刀刃上 更有效地使

6、用內(nèi)存 如果繼續(xù)用mysql來存儲數(shù)據(jù)，你怎么建索引？ nosql是sql的有益補(bǔ)充 不同類目的商品有不同的屬性 同一商品的屬性對有很多 用戶查詢所選擇的屬性對不確定 prometheus 定制化的存儲 實(shí)時計算 prom hbasehbasehbase 索引：交易id列表 屬 性 對 交易1（二進(jìn)制，定長） 交易2 求sum(alipay) 屬性屬性值 筆記本尺寸13寸 筆記本定位商務(wù)定位 節(jié)點(diǎn)11, 2, 3, 4, 5, 6, 7, 8, 9 節(jié)點(diǎn)21, 2, 3, 4, 5, 6, 7 查索引 求交集 節(jié)點(diǎn)21, 2, 4, 6, 7 本地sum運(yùn)算（hbase擴(kuò)展） 匯總計算 寫入緩

7、存 明細(xì)數(shù)據(jù)大量冗余 犧牲磁盤容量，以得到： 避免明細(xì)數(shù)據(jù)網(wǎng)絡(luò)傳輸 變大量隨機(jī)讀為順序讀 nosql是sql的有益補(bǔ)充 “預(yù)算”與“現(xiàn)算”的權(quán)衡 “本地”與“集中”的協(xié)同 prom的其他應(yīng)用（淘詞、指數(shù)等） 從isearch獲取實(shí)時的店鋪、商品描述 從主站搜索獲取實(shí)時的商品數(shù) 異構(gòu)數(shù)據(jù)源如何整合統(tǒng)一？ 用中間層隔離前后端 pengchun$ tail /logs/glider-rt2.log 14/jun/2011:14:54:29 +0800 get /glider/db/brand/brandinfo_d/get_hot_brand_top/where http/1.1

8、 200 17 0.065 多數(shù)據(jù)源整合 union join 輸出格式化 percent / rank over json輸出 dispatcher controller配置解析請求解析 一級緩存 action myfoxprom 二級緩存 datasource joinunion filter 緩存是系統(tǒng)化的工程 glider 前端產(chǎn)品 一級緩存 data 二級緩存 url請求，nocache? nocache? nocache? min (ttl) ttl, http header etag, http header 用中間層隔離前后端 底層架構(gòu)對前端透明 水平可擴(kuò)展性 緩存是把雙刃劍 降低后端存儲壓力 數(shù)據(jù)一致性問題 緩存穿透與失效 關(guān)系型數(shù)據(jù)庫仍然是王道 分庫分表、冷熱分離 nosql是sql的有益補(bǔ)充 用冗余避免網(wǎng)絡(luò)傳輸和隨機(jī)讀 用中間層隔離前后端 異構(gòu)數(shù)據(jù)源的整合 緩存是系統(tǒng)化的工程 數(shù)據(jù)一致性、穿透與雪崩 sqlnosql 計算時機(jī) “預(yù)算”hadoop / 實(shí)時