淘寶在線交易數(shù)據(jù)演變.ppt

淘寶在線交易數(shù)據(jù)演變,胡嘉川（牧勞） 2012-04-21,一次淘寶購物之旅 交易業(yè)務(wù)和系統(tǒng)結(jié)構(gòu)介紹 20032008從Mysql到小型機Oracle 2009年交易庫拆分為買家?guī)旌唾u家?guī)?2010年交易賣家?guī)斓膬?yōu)化和買家?guī)煲徊鸲?2011年交易賣家?guī)鞆腛racle到Mysql,磁盤SSD 2011年交易買家?guī)烊バ⌒蜋C和Oracle,磁盤 FusionIO,主要內(nèi)容,一次淘寶購物之旅,一次淘寶購物之旅,第一步：找到想買的寶貝,一次淘寶購物之旅,第二步：查看寶貝詳情,一次淘寶購物之旅,第三步：把想買的寶貝加入購物車,一次淘寶購物之旅,第四步：結(jié)算訂單,一次淘寶購物之旅,第五步：付款,一次淘寶購物之旅,第六步：查看購買的寶貝,交易業(yè)務(wù)和系統(tǒng)結(jié)構(gòu)介紹,淘寶交易數(shù)據(jù)庫的組成結(jié)構(gòu),買家?guī)?,買家?guī)?,買家?guī)?,買家?guī)?2,Mysql + FusionIO,賣家?guī)?,賣家?guī)?,賣家?guī)?,賣家?guī)?6,Mysql + SSD,Hbase集群,交易數(shù)據(jù)庫,歷史庫,買家?guī)斓臉I(yè)務(wù)結(jié)構(gòu),買家數(shù)據(jù)庫,賣家?guī)斓臉I(yè)務(wù)結(jié)構(gòu),賣家數(shù)據(jù)庫,淘寶交易流程介紹,COD交易,卡易售,自動發(fā)貨,分銷交易,酒店交易,機票交易,普通寶貝,直沖交易,商超交易,商城家裝,淘寶交易角色介紹,買家,賣家,下單,付款,確認收貨,交易查詢,發(fā)貨,修改價格,交易查詢,淘寶交易數(shù)據(jù)庫的系統(tǒng)結(jié)構(gòu),消息中間件,交易復(fù)制系統(tǒng),交易服務(wù)系統(tǒng),買家?guī)?賣家?guī)?寫,讀,20032008從MYSQL到Oracle,2003年的數(shù)據(jù)庫體系,2003年到2008年數(shù)據(jù)庫的演變,Oracle，小型機,Mysql,商品,用戶,交易,業(yè)務(wù)發(fā)展,垂直拆分,2008年交易日均達到200萬訂單,2009年交易庫拆分為買家?guī)旌唾u家?guī)?2009年交易庫概況,交易主庫,TOP導(dǎo)訂單,2009年日均交易達到600萬訂單,把賣家查詢分離出去,已賣出,Detail頁,如何拆分賣家?guī)欤?009年7月）,買家,賣家,買家?guī)?賣家?guī)?寫交易，已買到,買家單條查詢交易,賣家單條查詢交易和寫交易,按賣家查詢交易,16個Oracle節(jié)點,如何遷移和實時復(fù)制訂單數(shù)據(jù),交易系統(tǒng),訂單更改發(fā)Notify消息,賣家?guī)?交易復(fù)制系統(tǒng),訂閱交易消息,實時更新賣家?guī)鞌?shù)據(jù),賣家?guī)觳鸱趾笏袚臉I(yè)務(wù)結(jié)構(gòu),賣家?guī)熘鲙?賣家?guī)靷?,賣家?guī)靷?,已賣出查詢,Detail頁交易查詢,TOP及其它賣家查詢,賣家?guī)觳鸱趾蟮囊恍┕收?HSF服務(wù),前端請求,防止此問題采取的措施-流控,防止此問題采取的措施-監(jiān)控,2010年交易賣家?guī)斓膬?yōu)化和買家?guī)煲徊鸲?賣家?guī)斓膲毫υ絹碓酱?賣家數(shù)據(jù)庫,賣家?guī)斓膬?yōu)化-查詢Tair化,累計售出Tair化,銷售列表Tair化,賣家提醒Tair化,賣家查詢Tair化原理,Notify,交易系統(tǒng),Detail,Tair,交易復(fù)制系統(tǒng),獲取累計售出數(shù)和銷售列表,Tair里沒數(shù)據(jù)，到TP取,業(yè)務(wù)變更，實時更新Tair,買家?guī)觳鸱址桨笢蕚?選型,一拆二,一拆多,Oracle,Oracle,小型機+EMC,PC+EMC,Oracle,Oracle,買家拆分方案準備-業(yè)務(wù)模型,已買到查詢,交易流程,買家,單條查詢,買家拆分確定最終方案,一拆二,Comm(交易老主庫),Comm(交易老備庫),Comm備(原IC主),Comm2備(原IC備),交易數(shù)據(jù)是冗余兩份，不需要遷移數(shù)據(jù) 不使用TDDL，對DAO層暴露路由,買家拆分準備工作，訂單ID路由,（1） 定位具體庫 （2） 為保持簡單老訂單ID，直接查兩次 （3） 不依賴路由表,2011年賣家?guī)烊和買家?guī)烊OE,賣家?guī)炖^續(xù)只有一倍余量,賣家查詢的IO瓶頸越來越大,Oracle的授權(quán)費用問題,賣家?guī)斓娜選型,KSearch,OceanBase,賣家?guī)?Mysql + SSD,目標：解決磁盤IO瓶頸,賣家?guī)烊的詳細步驟,1. 設(shè)定4倍容量，4倍性能余量目標,2. 收集接口訪問數(shù)據(jù)，準備性能測試方案,3. 準備交易增量復(fù)制和全量導(dǎo)入,4. Beta賣家查詢，觀察日志,5. 全部切換到Mysql，添加監(jiān)控,買家?guī)烊OE前的準備-已買到的Tair化,交易買家?guī)鞌U展目標（2011年）,交易買家?guī)霴racle集群只有一倍余量,目標：4倍數(shù)據(jù)量下，支撐6倍現(xiàn)有系統(tǒng)壓力,交易買家?guī)烊OE硬件選型-Fusion IO,IOPS性能很高,壽命較長,較SSD成本高,穩(wěn)定性比SSD好,交易買家?guī)烊OE硬件選型-SSD,交易買家?guī)烊OE硬件選型-EMC+PC,Oracle結(jié)合很好，不丟數(shù)據(jù),有4倍余量,成本過高，擴展性不好,交易買家?guī)烊OE硬件選型-成本對比,當前買家Oracle主庫成本：2200萬RMB,RAID:504萬RMB,不做RAID：364萬RMB,RAID:294萬RMB,1060萬RMB,交易買家?guī)烊OE最終硬件選定-FusionIO,穩(wěn)定性好,性能最好，性價比高,硬件在發(fā)展，成本在降低,性能測試結(jié)果：MYSQL成為了性能瓶頸，F(xiàn)IO的極限遠未達到 單臺QPS:3.5W * 16 = 56萬 單臺TPS:1.2W * 16 = 19.2萬,交易買家?guī)烊OE-如何分庫分表,分庫分表目標,保持簡單,考慮 4 倍 數(shù)據(jù)量,考慮 4 倍 性能,考慮 未來節(jié)點擴展,分32邏輯庫， 16臺服務(wù)器 1024張表，盡量只對核心表作分庫分表 減少各表事務(wù)依賴，把其它業(yè)務(wù)放到雜表庫,交易買家?guī)烊OE-新訂單ID路由準備,（1） 定位具體庫 （2） 添加路由Tair，通過Tair拿到具體的買家ID （3） 新訂單ID直接通過ID里的路由信息定位庫和表 （4）老訂單ID會隨著歷史庫遷移，訪問慢慢變少,交易買家?guī)烊OE-更新丟失如何補償,交易系統(tǒng),支付寶,買家?guī)?對賬系統(tǒng),通過支付寶恢復(fù)淘寶交易,交易買家?guī)烊OE-增量復(fù)制和全量導(dǎo)入,交易系統(tǒng),Notify,買家?guī)?Oracle）,Tradelogs,訂閱交易消息復(fù)制,買家?guī)欤∕ysql）,交易數(shù)據(jù)寫入,對賬系統(tǒng),交易買家?guī)烊OE-如何Beta,交易系統(tǒng),買家?guī)?Oracle）,寫交易,買家?guī)?Mysql）,已買到和訂單詳情查詢Mysql,交易買家?guī)烊OE-容災(zāi)方案,單庫容災(zāi)切換,Mysql主庫,Mysql備庫,TDDL動態(tài)數(shù)據(jù)源切換（可批量切換）,Mysql回切Oracle,Oracle買家?guī)?Mysql買家?guī)?程序開關(guān)切換,交易買家?guī)烊OE-停機發(fā)布,數(shù)據(jù)一致性保證,全量對賬,每天增量對賬,停機前一天開啟實時對賬,發(fā)布階段,實時對賬保證停前數(shù)據(jù)一致,停Oracle寫,發(fā)新代碼,經(jīng)驗教訓(xùn)總結(jié),一些經(jīng)驗教訓(xùn),盡量短事務(wù)，利用消息中間件實現(xiàn)最終一致性 更新數(shù)據(jù)按照固定的順序更新