




已閱讀5頁,還剩52頁未讀, 繼續(xù)免費閱讀
版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
淘寶在線交易數(shù)據(jù)演變,胡嘉川(牧勞) 2012-04-21,一次淘寶購物之旅 交易業(yè)務(wù)和系統(tǒng)結(jié)構(gòu)介紹 20032008從Mysql到小型機Oracle 2009年交易庫拆分為買家?guī)旌唾u家?guī)?2010年交易賣家?guī)斓膬?yōu)化和買家?guī)煲徊鸲?2011年交易賣家?guī)鞆腛racle到Mysql,磁盤SSD 2011年交易買家?guī)烊バ⌒蜋C和Oracle,磁盤 FusionIO,主要內(nèi)容,一次淘寶購物之旅,一次淘寶購物之旅,第一步:找到想買的寶貝,一次淘寶購物之旅,第二步:查看寶貝詳情,一次淘寶購物之旅,第三步:把想買的寶貝加入購物車,一次淘寶購物之旅,第四步:結(jié)算訂單,一次淘寶購物之旅,第五步:付款,一次淘寶購物之旅,第六步:查看購買的寶貝,交易業(yè)務(wù)和系統(tǒng)結(jié)構(gòu)介紹,淘寶交易數(shù)據(jù)庫的組成結(jié)構(gòu),買家?guī)?,買家?guī)?,買家?guī)?,買家?guī)?2,Mysql + FusionIO,賣家?guī)?,賣家?guī)?,賣家?guī)?,賣家?guī)?6,Mysql + SSD,Hbase集群,交易數(shù)據(jù)庫,歷史庫,買家?guī)斓臉I(yè)務(wù)結(jié)構(gòu),買家數(shù)據(jù)庫,賣家?guī)斓臉I(yè)務(wù)結(jié)構(gòu),賣家數(shù)據(jù)庫,淘寶交易流程介紹,COD交易,卡易售,自動發(fā)貨,分銷交易,酒店交易,機票交易,普通寶貝,直沖交易,商超交易,商城家裝,淘寶交易角色介紹,買家,賣家,下單,付款,確認收貨,交易查詢,發(fā)貨,修改價格,交易查詢,淘寶交易數(shù)據(jù)庫的系統(tǒng)結(jié)構(gòu),消息中間件,交易復(fù)制系統(tǒng),交易服務(wù)系統(tǒng),買家?guī)?賣家?guī)?寫,讀,20032008從MYSQL到Oracle,2003年的數(shù)據(jù)庫體系,2003年到2008年數(shù)據(jù)庫的演變,Oracle,小型機,Mysql,商品,用戶,交易,業(yè)務(wù)發(fā)展,垂直拆分,2008年交易日均達到200萬訂單,2009年交易庫拆分為買家?guī)旌唾u家?guī)?2009年交易庫概況,交易主庫,TOP導(dǎo)訂單,2009年日均交易達到600萬訂單,把賣家查詢分離出去,已賣出,Detail頁,如何拆分賣家?guī)欤?009年7月),買家,賣家,買家?guī)?賣家?guī)?寫交易,已買到,買家單條查詢交易,賣家單條查詢交易和寫交易,按賣家查詢交易,16個Oracle節(jié)點,如何遷移和實時復(fù)制訂單數(shù)據(jù),交易系統(tǒng),訂單更改發(fā)Notify消息,賣家?guī)?交易復(fù)制系統(tǒng),訂閱交易消息,實時更新賣家?guī)鞌?shù)據(jù),賣家?guī)觳鸱趾笏袚臉I(yè)務(wù)結(jié)構(gòu),賣家?guī)熘鲙?賣家?guī)靷?,賣家?guī)靷?,已賣出查詢,Detail頁交易查詢,TOP及其它賣家查詢,賣家?guī)觳鸱趾蟮囊恍┕收?HSF服務(wù),前端請求,防止此問題采取的措施-流控,防止此問題采取的措施-監(jiān)控,2010年交易賣家?guī)斓膬?yōu)化和買家?guī)煲徊鸲?賣家?guī)斓膲毫υ絹碓酱?賣家數(shù)據(jù)庫,賣家?guī)斓膬?yōu)化-查詢Tair化,累計售出Tair化,銷售列表Tair化,賣家提醒Tair化,賣家查詢Tair化原理,Notify,交易系統(tǒng),Detail,Tair,交易復(fù)制系統(tǒng),獲取累計售出數(shù)和銷售列表,Tair里沒數(shù)據(jù),到TP取,業(yè)務(wù)變更,實時更新Tair,買家?guī)觳鸱址桨笢蕚?選型,一拆二,一拆多,Oracle,Oracle,小型機+EMC,PC+EMC,Oracle,Oracle,買家拆分方案準備-業(yè)務(wù)模型,已買到查詢,交易流程,買家,單條查詢,買家拆分確定最終方案,一拆二,Comm(交易老主庫),Comm(交易老備庫),Comm備(原IC主),Comm2備(原IC備),交易數(shù)據(jù)是冗余兩份,不需要遷移數(shù)據(jù) 不使用TDDL,對DAO層暴露路由,買家拆分準備工作,訂單ID路由,(1) 定位具體庫 (2) 為保持簡單老訂單ID,直接查兩次 (3) 不依賴路由表,2011年賣家?guī)烊和買家?guī)烊OE,賣家?guī)炖^續(xù)只有一倍余量,賣家查詢的IO瓶頸越來越大,Oracle的授權(quán)費用問題,賣家?guī)斓娜選型,KSearch,OceanBase,賣家?guī)?Mysql + SSD,目標:解決磁盤IO瓶頸,賣家?guī)烊的詳細步驟,1. 設(shè)定4倍容量,4倍性能余量目標,2. 收集接口訪問數(shù)據(jù),準備性能測試方案,3. 準備交易增量復(fù)制和全量導(dǎo)入,4. Beta賣家查詢,觀察日志,5. 全部切換到Mysql,添加監(jiān)控,買家?guī)烊OE前的準備-已買到的Tair化,交易買家?guī)鞌U展目標(2011年),交易買家?guī)霴racle集群只有一倍余量,目標:4倍數(shù)據(jù)量下,支撐6倍現(xiàn)有系統(tǒng)壓力,交易買家?guī)烊OE硬件選型-Fusion IO,IOPS性能很高,壽命較長,較SSD成本高,穩(wěn)定性比SSD好,交易買家?guī)烊OE硬件選型-SSD,交易買家?guī)烊OE硬件選型-EMC+PC,Oracle結(jié)合很好,不丟數(shù)據(jù),有4倍余量,成本過高,擴展性不好,交易買家?guī)烊OE硬件選型-成本對比,當前買家Oracle主庫成本:2200萬RMB,RAID:504萬RMB,不做RAID:364萬RMB,RAID:294萬RMB,1060萬RMB,交易買家?guī)烊OE最終硬件選定-FusionIO,穩(wěn)定性好,性能最好,性價比高,硬件在發(fā)展,成本在降低,性能測試結(jié)果:MYSQL成為了性能瓶頸,F(xiàn)IO的極限遠未達到 單臺QPS:3.5W * 16 = 56萬 單臺TPS:1.2W * 16 = 19.2萬,交易買家?guī)烊OE-如何分庫分表,分庫分表目標,保持簡單,考慮 4 倍 數(shù)據(jù)量,考慮 4 倍 性能,考慮 未來節(jié)點擴展,分32邏輯庫, 16臺服務(wù)器 1024張表,盡量只對核心表作分庫分表 減少各表事務(wù)依賴,把其它業(yè)務(wù)放到雜表庫,交易買家?guī)烊OE-新訂單ID路由準備,(1) 定位具體庫 (2) 添加路由Tair,通過Tair拿到具體的買家ID (3) 新訂單ID直接通過ID里的路由信息定位庫和表 (4)老訂單ID會隨著歷史庫遷移,訪問慢慢變少,交易買家?guī)烊OE-更新丟失如何補償,交易系統(tǒng),支付寶,買家?guī)?對賬系統(tǒng),通過支付寶恢復(fù)淘寶交易,交易買家?guī)烊OE-增量復(fù)制和全量導(dǎo)入,交易系統(tǒng),Notify,買家?guī)?Oracle),Tradelogs,訂閱交易消息復(fù)制,買家?guī)欤∕ysql),交易數(shù)據(jù)寫入,對賬系統(tǒng),交易買家?guī)烊OE-如何Beta,交易系統(tǒng),買家?guī)?Oracle),寫交易,買家?guī)?Mysql),已買到和訂單詳情查詢Mysql,交易買家?guī)烊OE-容災(zāi)方案,單庫容災(zāi)切換,Mysql主庫,Mysql備庫,TDDL動態(tài)數(shù)據(jù)源切換(可批量切換),Mysql回切Oracle,Oracle買家?guī)?Mysql買家?guī)?程序開關(guān)切換,交易買家?guī)烊OE-停機發(fā)布,數(shù)據(jù)一致性保證,全量對賬,每天增量對賬,停機前一天開啟實時對賬,發(fā)布階段,實時對賬保證停前數(shù)據(jù)一致,停Oracle寫,發(fā)新代碼,經(jīng)驗教訓(xùn)總結(jié),一些經(jīng)驗教訓(xùn),盡量短事務(wù),利用消息中間件實現(xiàn)最終一致性 更新數(shù)據(jù)按照固定的順序更新
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 望舌苔試題及答案
- 網(wǎng)絡(luò)員考試試題及答案
- 土木識圖試題及答案
- 2025年機械設(shè)備維護與保養(yǎng)協(xié)議書
- 規(guī)避環(huán)保問題對企業(yè)運營的影響
- 2025年合作方分手協(xié)議書范文
- 事業(yè)單位房屋管理的現(xiàn)狀及總體形勢
- 推進綠色發(fā)展助力經(jīng)開區(qū)可持續(xù)發(fā)展
- 土壤改良對油菜產(chǎn)量的影響
- 贛州市章貢區(qū)三年級2024-2025學(xué)年上學(xué)期英語期末試卷:詞匯拼寫與語法綜合能力挑戰(zhàn)2025
- 《冠狀動脈造影》課件
- 腰椎間盤突出癥護理查房
- 林業(yè)工程整改方案
- 國開電大??啤度宋挠⒄Z1》一平臺機考總題庫(珍藏版)
- 腦洞大開背后的創(chuàng)新思維學(xué)習(xí)通超星期末考試答案章節(jié)答案2024年
- 產(chǎn)品設(shè)計和開發(fā)控制程序文件
- 醫(yī)學(xué)影像診斷學(xué)智慧樹知到答案2024年溫州醫(yī)科大學(xué)
- 吸痰法《經(jīng)口鼻腔氣管插管吸痰法》
- 圍術(shù)期下肢深靜脈血栓預(yù)防的術(shù)中護理
- 2025年安徽省合肥市蜀山區(qū)重點中學(xué)中考模擬調(diào)研卷生物試題(一)含解析
- 金融糾紛和解協(xié)議書范本
評論
0/150
提交評論