風(fēng)勝-alisql在零售云平臺(tái)實(shí)踐-18頁

1、AliSQL在零售云平臺(tái)實(shí)踐阿里巴巴高級(jí)技術(shù)專家顧風(fēng)勝每日免費(fèi)獲取報(bào)告1、每日微信群內(nèi)分享5+最新重磅報(bào)告；2、每日分享當(dāng)日華爾街日?qǐng)?bào)、；3、每周分享經(jīng)濟(jì)學(xué)人4、每月匯總500+份當(dāng)月重磅報(bào)告（增值服務(wù)）掃一掃二維碼關(guān)注公號(hào)回復(fù)：研究報(bào)告加入“起點(diǎn)財(cái)經(jīng)”微信群。123零售云介紹數(shù)據(jù)同步服務(wù)全鏈路壓測(cè)服務(wù)零售云產(chǎn)品架構(gòu)SaaS電商 SaaS 產(chǎn)品零售 SaaS 產(chǎn)品（官方應(yīng)用&服務(wù)市場(chǎng)）ERPWMSCRM績(jī)效營(yíng)銷云中臺(tái)云POS云導(dǎo)購云客流云互動(dòng)云客服S-PaaS電商級(jí)別門店數(shù)字顆粒度手淘開放硬件框架千牛框架品牌營(yíng)銷定制品牌號(hào)定制智能導(dǎo)購智能客流智能互動(dòng)云POS組件導(dǎo)購員組件PaaS（中臺(tái)構(gòu)建&業(yè)

2、務(wù)組件）C-PaaS零售服務(wù)能力開放物流中心發(fā)票中心訂單中心賬務(wù)中心營(yíng)銷中心會(huì)員中心D-PaaS電商級(jí)別數(shù)據(jù)能力數(shù)據(jù)中心策略中心數(shù)據(jù)銀行T-PaaS電商級(jí)別業(yè)務(wù)穩(wěn)定性業(yè)務(wù)全鏈路壓測(cè)業(yè)務(wù)運(yùn)維工作臺(tái)業(yè)務(wù)全鏈路監(jiān)控業(yè)務(wù)安全和防護(hù)B-PaaS電商級(jí)別業(yè)務(wù)靈活性Aliware奇門淘寶開放平臺(tái)IaaS（基礎(chǔ)設(shè)施&云產(chǎn)品）云服務(wù)器云數(shù)據(jù)庫對(duì)象存儲(chǔ)分布緩存消息服務(wù)負(fù)載均衡零售云數(shù)據(jù)同步訴求阿里中臺(tái)定制 安全 訂單物流聚合可靠 服務(wù)商商家會(huì)員商品交易商品實(shí)時(shí) 優(yōu)惠會(huì)員倉儲(chǔ)財(cái)務(wù)為什么不用API同步APP會(huì)員CRM訂單OMS智能POS倉儲(chǔ)分頁處理不當(dāng)引起數(shù)據(jù)不一致 WMS熱點(diǎn)數(shù)據(jù)查詢DB超時(shí) 交易異地多活，DB同步

3、延遲 開放平臺(tái)API 網(wǎng)關(guān)消息通道大促交易接口限流 業(yè)務(wù)API全量API增量API詳情API消息系統(tǒng)技術(shù)成本高，重復(fù)建設(shè) 訂單延遲，丟單 商品中心業(yè)務(wù)中臺(tái)會(huì)員中心交易中心數(shù)據(jù)層會(huì)員商品交易零售云數(shù)據(jù)同步解決方案業(yè)務(wù)中臺(tái)開放平臺(tái)服務(wù)商系統(tǒng)業(yè)務(wù)數(shù)據(jù)業(yè)務(wù)系統(tǒng)開放平臺(tái)同步服務(wù)中間表ISV應(yīng)用業(yè)務(wù)表阿里內(nèi)網(wǎng)零售云零售云數(shù)據(jù)同步整體架構(gòu)控制臺(tái)推送服務(wù)端業(yè)務(wù)表ISV服務(wù)端推送消息服務(wù)云通道RDS推送業(yè)務(wù) 中臺(tái)全量詳情API網(wǎng)關(guān)對(duì)賬任務(wù)數(shù)據(jù)分發(fā)RDS推送推送消息服務(wù)端 接收訂單變更消息 獲取交易全量詳情 數(shù)據(jù)推送路由云通道 內(nèi)外雙向的RPC通訊數(shù)據(jù)分發(fā) 訂單數(shù)據(jù)分發(fā)RDS推送 負(fù)責(zé)RDS數(shù)據(jù)寫入API網(wǎng)關(guān) 對(duì)

4、賬任務(wù)穩(wěn)定、易用、低成本RDS ProxyRDS 中間表RDS 中間表RDS推送庫與中間表設(shè)計(jì)RDS關(guān)鍵字段業(yè)務(wù)核心字段，用于查詢過濾系統(tǒng)字段jdp_modified避免分頁查詢漏單jdp_hashcode樂觀鎖，減少DB操作關(guān)鍵字段業(yè)務(wù)連接池業(yè)務(wù)庫推送連接池推送庫系統(tǒng)字段名稱類型是否索引說明tidNUMBERY交易IDstatusVARCHARY交易狀態(tài)typeVARCHARY交易類型seller_nickVARCHARY賣家昵稱buyer_nickVARCHAR買家昵稱createdDATETIMEY交易創(chuàng)建時(shí)間modifiedDATETIMEY交易修改時(shí)間jdp_createdDATET

5、IMEY數(shù)據(jù)入庫時(shí)間jdp_modifiedDATETIMEY數(shù)據(jù)最后修改時(shí)間jdp_hashcodeVARCHAR用來做數(shù)據(jù)校驗(yàn)的字段jdp_responseMEDIUMTEXTAPI返回的整個(gè)JSON BODY大字段大字段詳情API返回?cái)?shù)據(jù)(JSON) 配置需要返回的字段只需要一份SqlMap避免DDL鎖表影響業(yè)務(wù)如何降低RDS寫入開銷必要性 RDS規(guī)格普遍比較低，給到平臺(tái)的連接數(shù)有限（只有120） 分片刪除以縮小區(qū)域鎖 凌晨刪除避免影響業(yè)務(wù)刪除 只查詢需要用到的數(shù)據(jù) 批量查詢DB進(jìn)行對(duì)賬查詢 平臺(tái)與客戶共用RDS，需要盡量少占用RDS的資源new.modified sql.modifie

6、d2嘗試更新數(shù)據(jù)開始否是否新增消息是1否嘗試插入數(shù)據(jù)寫入成功否查詢?cè)撚涗浽贒B中的modified & hashcode寫入1 區(qū)分創(chuàng)建和更新new.modified old.modified | new.hashcode = 是記錄是否存在嘗試插入數(shù)據(jù)2 不查詢老數(shù)據(jù)直接更新3 數(shù)據(jù)內(nèi)容相同不更新4 樂觀鎖避免臟數(shù)據(jù)寫入嘗試更新數(shù)據(jù)new.hashcode = old.hashcode是 old.hashcode 否否3 是，沒有沖突 寫入成功否，則重試3次 是是是優(yōu)化后減少了90%的DB消耗結(jié)束否，并發(fā)更新沖突InnoDB memcached pluginMySQL ServerMemca

7、che PluginSQL APIMemcache APISQL Parse & Optimize Buffer PoolInnoDB StorageWritePage Page非主鍵查詢主鍵查詢主鍵查詢QPSRead提升4倍PagePagePagePage主鍵查詢RT 下降30%Log FileData FileData FileData FileISV全鏈路壓測(cè)服務(wù)創(chuàng)建訂單已付款訂單已推送倉庫已接單倉儲(chǔ)流程已揀貨已打包已稱重已出庫ERP流程已發(fā)貨分單流程已客審已財(cái)審已配貨ERP系統(tǒng)拉單服務(wù)分單處理奇門WMS系統(tǒng)倉內(nèi)作業(yè)天貓交易ALIBABA壓測(cè)系統(tǒng)訂單推送RDS庫菜鳥發(fā)貨ISV自主壓測(cè)的痛

8、點(diǎn)壓測(cè)環(huán)境不真實(shí)數(shù)據(jù)構(gòu)造不真實(shí)壓測(cè)人力成本高壓測(cè)資源成本高ISV全鏈路壓測(cè)對(duì)接方案壓測(cè)環(huán)境搭建 復(fù)用線上環(huán)境 克隆線上環(huán)境壓測(cè)數(shù)據(jù)構(gòu)造 推送集團(tuán)全鏈路壓測(cè)數(shù)據(jù)到RDS壓測(cè)人力成本 流程化對(duì)接 可視化報(bào)表數(shù)據(jù)隔離方案 推送到獨(dú)立的RDS庫 根據(jù)訂單ID前綴隔離寸ISV全鏈路壓測(cè)報(bào)告:i: 2017杭州云棲大會(huì) THECOMPUTIN GCONFERE NCEt：天 智 能 A P S A R A I N T E L L I G EN C ERDS實(shí) 例信息 CPU使用率 時(shí)間： 2 0 1 7 - 0 5-2510:23:32. II 玄時(shí)間： 30分 下發(fā)訂單旮： 1 2.3 4 56.;值Q

9、1PS:30 01 單分 S:.2001分 2.402.101.80求 1.501.200.900.6011:1511:20ll:2511:3011:3511:4011:4511:5011:5512:0012:0512:1012:l S12:2012:25CPUI 網(wǎng)絡(luò)流量 1連接數(shù) 1存儲(chǔ)空間 I QPS/TPS IIOPSECS實(shí)例 I -1壓測(cè)1Q1PS未達(dá)到預(yù)斗門 2420CPU佞拜 率 2r.審單節(jié)點(diǎn) 163.E:1CSJ XXXX 機(jī)器CPU凸 m過 后 求 124RDS存在漫SQ匕 具體慢SOL診斷報(bào)牛84ox 11: 1 111:1811:2511:3211:3911:4611

10、:5312:0012:0712:1412:2112:27CPULoad內(nèi)存磁盤設(shè)備IO網(wǎng)絡(luò) FE寸ISV全鏈路壓測(cè)報(bào)告:i: 2017 杭州云棲大會(huì) THECOMPUTIN GCONFERENCEt：天 智 能 A P S A R A I N T E L L I G EN C E業(yè)務(wù)性能信患 0 )冷令c 0 0令 七0 ( b ) c) 0 4 冷0 0 Q0 令丁戶 蘭量 : 建：推污蘭| l l , I 蘭l 發(fā)貨 訂單量 IQP.S云悟社區(qū) C O DI N C.L I F E:寸i: 2017杭州云棲大會(huì) THECOMPUTIN GCONFERENCEISV全鏈路壓測(cè)報(bào)告t：天 智 能 A P S A R A I N T E L L I G EN C E業(yè) J 性 摩 息 o o 1j 勹。妒憤 創(chuàng)建