淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)2

淘寶大數(shù)據(jù)量產(chǎn)品技術(shù)架構(gòu)張軒丞（朋春）淘寶網(wǎng)-數(shù)據(jù)平臺(tái)與產(chǎn)品部關(guān)于張軒丞（朋春）淘寶數(shù)據(jù)平臺(tái)與產(chǎn)品部（杭州）vi黨，腳本語(yǔ)言愛好者關(guān)注NodeJS，cnode社區(qū)組織者之一：我是aleafs數(shù)據(jù)平臺(tái)與產(chǎn)品數(shù)據(jù)產(chǎn)品用戶淘寶網(wǎng)淘寶賣家供應(yīng)商消費(fèi)者搜索、瀏覽、收藏、交易、評(píng)價(jià)...一些數(shù)字淘寶主站：30億店鋪、寶貝瀏覽10億計(jì)的在線寶貝數(shù)千萬(wàn)量級(jí)交易筆數(shù)數(shù)據(jù)產(chǎn)品：50G統(tǒng)計(jì)匯總結(jié)果千萬(wàn)量級(jí)數(shù)據(jù)查詢請(qǐng)求平均20.8ms的響應(yīng)時(shí)間（6月1日）海量數(shù)據(jù)帶來的挑戰(zhàn)計(jì)算計(jì)算的速度處理吞吐量存儲(chǔ)存儲(chǔ)是為了更方便地查詢硬盤、內(nèi)存的成本查詢“大海撈針”全“表”掃描架構(gòu)總覽主站備庫(kù)RAC主站日志數(shù)據(jù)源MyFOXProm存儲(chǔ)層數(shù)據(jù)中間層/glider查詢層數(shù)據(jù)魔方淘寶指數(shù)開放API產(chǎn)品Hadoop集群/云梯計(jì)算層實(shí)時(shí)流數(shù)據(jù)DataX/DbSync/TimeTunnel1500節(jié)點(diǎn)，每日40000JOB，處理數(shù)據(jù)1.5PB，凌晨2點(diǎn)結(jié)束，結(jié)果20T今天的話題關(guān)系型數(shù)據(jù)庫(kù)仍然是王道NoSQL是SQL的有益補(bǔ)充用中間層隔離前后端緩存是系統(tǒng)化的工程關(guān)系型數(shù)據(jù)庫(kù)仍然是王道關(guān)系型數(shù)據(jù)庫(kù)有成熟穩(wěn)定的開源產(chǎn)品SQL有較強(qiáng)的表達(dá)能力只存儲(chǔ)中間狀態(tài)的數(shù)據(jù)查詢時(shí)過濾、計(jì)算、排序數(shù)據(jù)產(chǎn)品的本質(zhì)拉關(guān)系做計(jì)算SELECTIF(INSTR(f.keyword,'')>0,UPPER(TRIM(f.keyword)),CONCAT(b.brand_name,'',UPPER(TRIM(f.keyword))))ASf0,

SUM(f.search_num)ASf1,

ROUND(SUM(f.search_num)/SUM(f.uv),2)ASf3, ROUND(AVG(f.uv),2)ASf4FROMdm_fact_keyword_brand_df

INNERJOINdim_brandbONf.keyword_brand_id=b.brand_idWHEREf.keyword_type_id=1ANDf.keyword!='' ANDkeyword_cat_idIN('50002535') ANDthedate<='2011-07-09' ANDthedate>='2011-07-07'GROUPBYf0

ORDERBYSUM(f.search_num)DESCLIMIT0,100存儲(chǔ)在DB中的數(shù)據(jù)分布布式式MySQL集群群字段段+條目目數(shù)數(shù)分分片片MyISAM引擎擎離線線批批量量裝裝載載跨機(jī)機(jī)房房互互備備云梯APPMySQL集群數(shù)據(jù)裝載數(shù)據(jù)查詢MyFOX透明明的的集集群群中中間間層層—MyFOX透明明查查詢?cè)兓谟贜odeJS，1200QPS數(shù)據(jù)據(jù)裝裝載載路由由計(jì)計(jì)算算數(shù)據(jù)據(jù)裝裝入入一致致性性校校驗(yàn)驗(yàn)集群群管管理理配置置信信息息維維護(hù)護(hù)監(jiān)控控報(bào)報(bào)警警MyFOX-數(shù)據(jù)據(jù)查查詢?cè)內(nèi)》制瑪?shù)據(jù)（異步并發(fā)）取分片結(jié)果合并（表達(dá)式求值）合并計(jì)算緩存路由SQL解析語(yǔ)義理解查詢路由字段改寫分片SQL計(jì)算規(guī)則APC緩存XMyFOX-節(jié)點(diǎn)點(diǎn)結(jié)結(jié)構(gòu)構(gòu)MyFOX熱節(jié)節(jié)點(diǎn)點(diǎn)（（MySQL）15kSAS盤，，300G*12，raid10內(nèi)存存:24G成本本:4.5W/T冷節(jié)點(diǎn)（MySQL）7.2kSATA盤，1T*12，raid10內(nèi)存:24G成本:1.6W/T路由表30天無訪問的冷數(shù)據(jù)新增增熱熱數(shù)數(shù)據(jù)據(jù)小結(jié)結(jié)根據(jù)據(jù)業(yè)業(yè)務(wù)務(wù)特特點(diǎn)點(diǎn)分分庫(kù)庫(kù)分分表表冷熱熱數(shù)數(shù)據(jù)據(jù)分分離離降低低成成本本，，好好鋼鋼用用在在刀刀刃刃上上更有有效效地地使使用用內(nèi)內(nèi)存存SQL雖牛牛，，但但是是…如果繼續(xù)用MySQL來存儲(chǔ)數(shù)據(jù)，你怎么建索引？NoSQL是SQL的有有益益補(bǔ)補(bǔ)充充全屬屬性性交交叉叉運(yùn)運(yùn)算算不同同類類目目的的商商品品有有不不同同的的屬屬性性同一一商商品品的的屬屬性性對(duì)對(duì)有有很很多多用戶戶查查詢?cè)兯x選擇擇的的屬屬性性對(duì)對(duì)不不確確定定Prometheus定制制化化的的存存儲(chǔ)儲(chǔ)實(shí)時(shí)時(shí)計(jì)計(jì)算算Prom—數(shù)據(jù)據(jù)裝裝載載PromHbaseHbaseHbase……索引：交易id列表屬性對(duì)交易1（二進(jìn)制，定長(zhǎng)）交易2Prom—數(shù)據(jù)據(jù)查查詢?cè)兦骃UM(alipay)屬性屬性值筆記本尺寸13寸筆記本定位商務(wù)定位節(jié)點(diǎn)11,2,3,4,5,6,

7,8,9節(jié)點(diǎn)21,2,3,4,5,6,7查索引求交集節(jié)點(diǎn)21,2,

4,6,7本地SUM運(yùn)算（Hbase擴(kuò)展）匯總計(jì)算寫入緩存Prom——數(shù)據(jù)據(jù)冗冗余余明細(xì)細(xì)數(shù)數(shù)據(jù)據(jù)大大量量冗冗余余犧牲牲磁磁盤盤容容量量，，以以得得到到：：避免免明明細(xì)細(xì)數(shù)數(shù)據(jù)據(jù)網(wǎng)網(wǎng)絡(luò)絡(luò)傳傳輸輸變大大量量隨隨機(jī)機(jī)讀讀為為順順序序讀讀小結(jié)結(jié)NoSQL是SQL的有有益益補(bǔ)補(bǔ)充充“預(yù)預(yù)算算””與與““現(xiàn)現(xiàn)算算””的的權(quán)權(quán)衡衡“本本地地””與與““集集中中””的的協(xié)協(xié)同同其他他的的數(shù)數(shù)據(jù)據(jù)來來源源Prom的其其他他應(yīng)應(yīng)用用（（淘淘詞詞、、指指數(shù)數(shù)等等））從isearch獲取取實(shí)實(shí)時(shí)時(shí)的的店店鋪鋪、、商商品品描描述述從主主站站搜搜索索獲獲取取實(shí)實(shí)時(shí)時(shí)的的商商品品數(shù)數(shù)…異構(gòu)構(gòu)數(shù)數(shù)據(jù)據(jù)源源如如何何整整合合統(tǒng)統(tǒng)一一？？用中中間間層層隔隔離離前前后后端端[pengchun]$tail~/logs/glider-rt2.log[14/Jun/2011:14:54:29+0800]"GET/glider/db/brand/brandinfo_d/get_hot_brand_top/where……HTTP/1.1"200170.065數(shù)據(jù)據(jù)中中間間層層—Glider多數(shù)數(shù)據(jù)據(jù)源源整整合合UNIONJOIN輸出出格格式式化化PERCENT/RANKOVER……JSON輸出出Glider架構(gòu)構(gòu)DispatcherController配置置解解析析請(qǐng)求求解解析析一級(jí)級(jí)緩緩存存actionMyFOXProm二級(jí)緩存datasourceJOINUNIONfilter緩存存是是系系統(tǒng)統(tǒng)化化的的工工程程glider緩存存系系統(tǒng)統(tǒng)前端端產(chǎn)產(chǎn)品品一級(jí)級(jí)緩緩存存data二級(jí)緩存URL請(qǐng)求，nocache?nocache?nocache?Min(ttl)ttl,httpheaderetag,httpheader小結(jié)結(jié)用中中間間層層隔隔離離前前后后端端底層層架架構(gòu)構(gòu)對(duì)對(duì)前前端端透透明明水平平可可擴(kuò)擴(kuò)展展性性緩存存是是把把雙雙刃刃劍劍降低低后后端端存存儲(chǔ)儲(chǔ)壓壓力力數(shù)據(jù)據(jù)一一致致性性問問題題緩存存穿穿透透與與失失效效回顧顧關(guān)系系型型數(shù)數(shù)據(jù)據(jù)庫(kù)庫(kù)仍仍然然是是王王道道分庫(kù)庫(kù)分分表表、、冷冷熱熱分分離離NoSQL是SQL的有有益益補(bǔ)補(bǔ)充充用冗冗余余避避免免網(wǎng)網(wǎng)絡(luò)絡(luò)傳傳輸輸和和隨隨機(jī)機(jī)讀讀用中中間間層層隔隔離離前前后后端端異構(gòu)構(gòu)數(shù)數(shù)據(jù)據(jù)源源的的整整合合緩存存是是系系統(tǒng)統(tǒng)化化的的工工程程數(shù)據(jù)據(jù)一一致致性性、、穿穿透透與與雪雪崩崩矛盾盾之之美美SQLNoSQ