淘寶-張軒丞淘寶海量數(shù)據(jù)產(chǎn)品技術(shù)架構(gòu).ppt

淘寶海量數(shù)據(jù)產(chǎn)品技術(shù)架構(gòu),張軒丞（朋春） 淘寶網(wǎng)-數(shù)據(jù)平臺與產(chǎn)品部,關(guān)于,張軒丞（朋春） 淘寶數(shù)據(jù)平臺與產(chǎn)品部（杭州） vi黨，腳本語言愛好者 關(guān)注NodeJS，cnode社區(qū)組織者之一 ：我是aleafs,數(shù)據(jù)平臺與產(chǎn)品,淘寶網(wǎng) 淘寶賣家 供應(yīng)商 消費者,搜索、瀏覽、收藏、交易、評價.,一些數(shù)字,淘寶主站： 30億店鋪、寶貝瀏覽 10億計的在線寶貝數(shù) 千萬量級交易筆數(shù),數(shù)據(jù)產(chǎn)品： 50G統(tǒng)計匯總結(jié)果 千萬量級數(shù)據(jù)查詢請求 平均20.8ms的響應(yīng)時間（6月1日）,海量數(shù)據(jù)帶來的挑戰(zhàn),計算 計算的速度 處理吞吐量 存儲 存儲是為了更方便地查詢 硬盤、內(nèi)存的成本 查詢 “大海撈針” 全“表”掃描,架構(gòu)總覽,今天的話題,關(guān)系型數(shù)據(jù)庫仍然是王道 NoSQL是SQL的有益補充 用中間層隔離前后端 緩存是系統(tǒng)化的工程,關(guān)系型數(shù)據(jù)庫仍然是王道,關(guān)系型數(shù)據(jù)庫,有成熟穩(wěn)定的開源產(chǎn)品 SQL有較強的表達(dá)能力 只存儲中間狀態(tài)的數(shù)據(jù) 查詢時過濾、計算、排序 數(shù)據(jù)產(chǎn)品的本質(zhì) 拉關(guān)系 做計算,SELECT IF(INSTR(f.keyword, ) 0, UPPER(TRIM(f.keyword), CONCAT(b.brand_name, ,UPPER(TRIM(f.keyword) AS f0, SUM(f.search_num) AS f1, ROUND(SUM(f.search_num) / AVG(f.uv), 2) AS f3 FROM dm_fact_keyword_brand_d f INNER JOIN dim_brand b ON f.keyword_brand_id = b.brand_id WHERE keyword_cat_id IN (50002535) AND thedate = 2011-07-07 GROUP BY f0 ORDER BY SUM(f.search_num) DESC LIMIT 0, 100,存儲在DB中的數(shù)據(jù),分布式MySQL集群,字段+條目數(shù)分片 MyISAM引擎 離線批量裝載 跨機房互備,MyFOX,透明的集群中間層MyFOX,透明查詢 基于NodeJS，1200QPS 數(shù)據(jù)裝載 路由計算 數(shù)據(jù)裝入 一致性校驗 集群管理 配置信息維護(hù) 監(jiān)控報警,MyFOX-數(shù)據(jù)查詢,緩存,MyFOX-節(jié)點結(jié)構(gòu),MyFOX,熱節(jié)點（MySQL）,15k SAS盤，300G * 12，raid10 內(nèi)存:24G 成本:4.5W / T,新增熱數(shù)據(jù),小結(jié),根據(jù)業(yè)務(wù)特點分庫分表 冷熱數(shù)據(jù)分離 降低成本，好鋼用在刀刃上 更有效地使用內(nèi)存,SQL雖牛，但是,NoSQL是SQL的有益補充,全屬性交叉運算,不同類目的商品有不同的屬性 同一商品的屬性對有很多 用戶查詢所選擇的屬性對不確定,Prometheus 定制化的存儲 實時計算,Prom數(shù)據(jù)裝載,Prom,Prom數(shù)據(jù)查詢,Prom數(shù)據(jù)冗余,明細(xì)數(shù)據(jù)大量冗余 犧牲磁盤容量，以得到： 避免明細(xì)數(shù)據(jù)網(wǎng)絡(luò)傳輸 變大量隨機讀為順序讀,小結(jié),NoSQL是SQL的有益補充 “預(yù)算”與“現(xiàn)算”的權(quán)衡 “本地”與“集中”的協(xié)同,其他的數(shù)據(jù)來源,Prom的其他應(yīng)用（淘詞、指數(shù)等） 從isearch獲取實時的店鋪、商品描述 從主站搜索獲取實時的商品數(shù) ,異構(gòu)數(shù)據(jù)源如何整合統(tǒng)一？,用中間層隔離前后端,pengchun$ tail /logs/glider-rt2.log 14/Jun/2011:14:54:29 +0800 “GET /glider/db/brand/brandinfo_d/get_hot_brand_top/where HTTP/1.1“ 200 17 0.065,數(shù)據(jù)中間層Glider,多數(shù)據(jù)源整合 UNION JOIN 輸出格式化 PERCENT / RANK OVER JSON輸出,Glider架構(gòu),Dispatcher,Controller,配置解析,請求解析,一級緩存 action,緩存是系統(tǒng)化的工程,緩存系統(tǒng),前端產(chǎn)品,一級緩存,小結(jié),用中間層隔離前后端 底層架構(gòu)對前端透明 水平可擴展性 緩存是把雙刃劍 降低后端存儲壓力 數(shù)據(jù)一致性問題 緩存穿透與失效,回顧,關(guān)系型數(shù)據(jù)庫仍