精武門_支付寶整體架構(gòu)_20100610

1、支付寶架構(gòu)魯肅2010年6月精武門課程業(yè)務(wù)平臺(tái)系統(tǒng)架構(gòu)技術(shù)平臺(tái)業(yè)務(wù)架構(gòu)課程目標(biāo)快低穩(wěn)大課程大綱1. 業(yè)務(wù)架構(gòu)與業(yè)務(wù)平臺(tái)2. 系統(tǒng)架構(gòu)與技術(shù)平臺(tái)3. 架構(gòu)過程與資源1業(yè)務(wù)與應(yīng)用架構(gòu)支付業(yè)務(wù)模式資金流支付業(yè)務(wù)配套模式業(yè)務(wù)流整體業(yè)務(wù)與應(yīng)用架構(gòu)支付業(yè)務(wù)模式支付寶行業(yè)業(yè)務(wù)流資金流外內(nèi)虛實(shí)資金流虛實(shí)資金在支付寶虛擬賬戶體系中的流轉(zhuǎn)，體現(xiàn)為支付寶賬戶中的余額變動(dòng)。資金在現(xiàn)實(shí)世界中的流轉(zhuǎn)，體現(xiàn)為客戶與支付寶銀行賬戶中余額變動(dòng)，或者現(xiàn)金的轉(zhuǎn)移。虛實(shí)資金流之間存在聯(lián)動(dòng)關(guān)系。支付寶銀行簡(jiǎn)單資金流舉例 網(wǎng)銀充值客戶賬戶支付寶客戶銀行賬戶銀行支付寶銀存賬戶充值簡(jiǎn)單資金流舉例 賬戶內(nèi)轉(zhuǎn)賬AB支付寶轉(zhuǎn)賬/支付簡(jiǎn)單資金流舉例

2、 提現(xiàn)(同行，T+1)客戶賬戶支付寶支付寶銀存賬戶銀行客戶銀行賬戶3. 提現(xiàn)1. 凍結(jié)2. 解凍 (T+1)簡(jiǎn)單資金流舉例 提現(xiàn)(跨行)客戶賬戶支付寶支付寶銀存賬戶打款銀行客戶銀行賬戶提現(xiàn)清算中心銀行復(fù)雜資金流舉例 公共事業(yè)繳費(fèi)繳費(fèi)資金歸集賬戶支付寶付款銀行繳費(fèi)賬戶1. 充值繳費(fèi)合作銀行客戶銀行賬戶支付寶銀存賬戶公共事業(yè)單位賬戶公共事業(yè)單位賬戶公共事業(yè)單位賬戶3. 提現(xiàn)繳費(fèi)單位銀行2. 墊資復(fù)雜資金流舉例 COD物流公司收款過渡戶支付寶買家賬戶賣家賬戶交易分潤(rùn)中間賬戶物流公司收入賬戶支付寶收入賬戶買家物流公司銀行賬戶現(xiàn)金1. 充值2. 轉(zhuǎn)賬3. 轉(zhuǎn)賬4. 轉(zhuǎn)賬5. 轉(zhuǎn)賬7. 轉(zhuǎn)賬支付寶銀存賬戶

3、簽收員淘寶收入賬戶6. 轉(zhuǎn)賬資金流處理的系統(tǒng)模式收銀臺(tái)清 算賬 務(wù)會(huì) 計(jì)核算銀行接入平臺(tái)業(yè)務(wù)系統(tǒng)支 付銀行系統(tǒng)虛資金流處理實(shí)資金流處理虛實(shí)資金流聯(lián)動(dòng)業(yè)務(wù)流資金流聯(lián)動(dòng)資金處理平臺(tái)賬務(wù)會(huì)計(jì)賬務(wù)系統(tǒng)賬務(wù)交易流水記賬憑證分戶賬戶 (外)會(huì)計(jì)系統(tǒng)會(huì)計(jì)分錄流水分戶賬戶(內(nèi))內(nèi)部分戶歷史日余額外部分戶歷史日余額科目匯總消息系統(tǒng)分戶日余額日切日結(jié)實(shí)時(shí)記賬異步準(zhǔn)實(shí)時(shí)登記會(huì)計(jì)分錄日終子系統(tǒng)賬務(wù)查詢報(bào)表分錄子系統(tǒng)記賬子系統(tǒng)業(yè)務(wù)系統(tǒng)支付清算支付系統(tǒng)充值協(xié)議提現(xiàn)協(xié)議內(nèi)轉(zhuǎn)協(xié)議充退協(xié)議支付指令清算系統(tǒng)消息系統(tǒng)清算指令網(wǎng)銀接入卡通接入銀企直聯(lián)其它銀行接入方式實(shí)時(shí)處理文件處理渠道管理異步清算處理同步清算處理賬務(wù)系統(tǒng)支付請(qǐng)求結(jié)果

4、回調(diào)文件實(shí)時(shí)記賬銀行往來任務(wù)調(diào)度業(yè)務(wù)系統(tǒng)收銀臺(tái)核算中心核算系統(tǒng)銀行流水登記流水歸檔處理流水核算處理消息系統(tǒng)入賬流水登記異步準(zhǔn)實(shí)時(shí)登記入賬流水核算處理子系統(tǒng)核算報(bào)表流水登記子系統(tǒng)會(huì)計(jì)系統(tǒng)銀行流水登記系統(tǒng)銀存待結(jié)轉(zhuǎn)統(tǒng)計(jì)業(yè)務(wù)流支付寶外部企業(yè)內(nèi)外支付寶內(nèi)部的業(yè)務(wù)流程，體現(xiàn)為一連串內(nèi)部系統(tǒng)或人工任務(wù)的執(zhí)行。支付寶外部的業(yè)務(wù)流程，體現(xiàn)為一連串外部系統(tǒng)或人工任務(wù)的執(zhí)行。內(nèi)外業(yè)務(wù)流之間存在聯(lián)動(dòng)關(guān)系。簡(jiǎn)單業(yè)務(wù)流舉例 即時(shí)到賬交易支付寶下單創(chuàng)建交易交易付款 B2C商戶支付發(fā)貨收貨復(fù)雜業(yè)務(wù)流舉例 COD下單攬收付款簽收送貨請(qǐng)求發(fā)貨付款給支付寶買家賣家物流提供資金對(duì)賬文件創(chuàng)建物流訂單創(chuàng)建交易交易簽收物流訂單清算交易付

5、款與分潤(rùn)物流訂單收費(fèi)分潤(rùn)支付寶外部業(yè)務(wù)流與資金流聯(lián)動(dòng) - COD創(chuàng)建物流訂單創(chuàng)建交易交易簽收物流訂單清算交易付款與分潤(rùn)物流訂單收費(fèi)分潤(rùn)支付寶業(yè)務(wù)流物流公司收款過渡戶支付寶資金流買家賬戶賣家賬戶交易分潤(rùn)中間賬戶物流公司收入賬戶支付寶收入賬戶1. 充值2. 轉(zhuǎn)賬3. 轉(zhuǎn)賬4. 轉(zhuǎn)賬5. 轉(zhuǎn)賬7. 收費(fèi)淘寶收入賬戶6. 轉(zhuǎn)賬業(yè)務(wù)流處理的模式 數(shù)據(jù)申請(qǐng)單產(chǎn)品業(yè)務(wù)單通知單資金單操作日志內(nèi)部業(yè)務(wù)流處理業(yè)務(wù)資金流聯(lián)動(dòng)內(nèi)外業(yè)務(wù)流聯(lián)動(dòng)外部?jī)?nèi)部平臺(tái)業(yè)務(wù)流處理的模式 數(shù)據(jù)舉例 交易 交易外部單據(jù)產(chǎn)品交易單交易通知交易資金單據(jù)交易操作日志內(nèi)部業(yè)務(wù)流處理業(yè)務(wù)資金流聯(lián)動(dòng)內(nèi)外業(yè)務(wù)流聯(lián)動(dòng)外部?jī)?nèi)部平臺(tái)產(chǎn)品賬業(yè)務(wù)流處理的模式 數(shù)

6、據(jù)舉例 通用代扣 產(chǎn)品代扣記錄代扣資金單據(jù)內(nèi)部業(yè)務(wù)流處理業(yè)務(wù)資金流聯(lián)動(dòng)內(nèi)外業(yè)務(wù)流聯(lián)動(dòng)外部?jī)?nèi)部平臺(tái)業(yè)務(wù)流處理的應(yīng)用系統(tǒng)模式申請(qǐng)單業(yè)務(wù)單通知單資金單操作日志外部?jī)?nèi)部平臺(tái)內(nèi)部平臺(tái)外部業(yè)務(wù)單領(lǐng)域與服務(wù)層應(yīng)用層API個(gè)人版企業(yè)版通知平臺(tái)資金處理持久工具支付業(yè)務(wù)配套模式業(yè)務(wù)流查詢支付前支付中支付后資金流簽約/解約對(duì)賬風(fēng)控通知營(yíng)銷數(shù)據(jù)分析收費(fèi)產(chǎn)品賬額度權(quán)限服務(wù)消費(fèi)記錄個(gè)性化差錯(cuò)處理資損控制支付業(yè)務(wù)配套實(shí)現(xiàn)模式 交易交易系統(tǒng)交易引擎流程引擎規(guī)則引擎資金處理產(chǎn)品賬接入商戶通知數(shù)據(jù)持久收費(fèi)接入統(tǒng)一事件紅包系統(tǒng)產(chǎn)品賬系統(tǒng)收費(fèi)系統(tǒng)商戶通知消費(fèi)記錄溝通(郵件、短信等）商戶查詢積分支付系統(tǒng)風(fēng)險(xiǎn)核查消息系統(tǒng)超時(shí)處理業(yè)務(wù)系統(tǒng)

7、業(yè)務(wù)系統(tǒng)擔(dān)保交易 即時(shí)到賬交易 貨到付款交易異步交易事件處理資損核查思考: 平衡穩(wěn)與快安全、穩(wěn)定、可伸縮業(yè) 務(wù) 增 長(zhǎng) 與 創(chuàng) 新快穩(wěn)大平臺(tái)航旅傳統(tǒng)虛擬B2C網(wǎng)站會(huì)員生活助手金融合作安全內(nèi)部系統(tǒng)業(yè)務(wù)線解放平臺(tái)支撐兄弟支付寶業(yè)務(wù)與系統(tǒng)架構(gòu)發(fā)展史2005年1月業(yè)務(wù)系統(tǒng)2007年1月2005年1月2007年1月淘寶外部B2C網(wǎng)銀卡通標(biāo)準(zhǔn)卡通航旅個(gè)人版代發(fā)代扣收費(fèi)企業(yè)版網(wǎng)點(diǎn)生活助手信用卡消費(fèi)卡銀企直聯(lián)2008年6月2010年10月二代支付寶業(yè)務(wù)二代支付寶系統(tǒng)架構(gòu)建設(shè)一代支付寶系統(tǒng)架構(gòu)建設(shè)一代支付寶業(yè)務(wù)交易服務(wù)化賬務(wù)服務(wù)化會(huì)員服務(wù)化雙峰一期雙峰二期統(tǒng)一收銀臺(tái)網(wǎng)站拆分系統(tǒng)架構(gòu)發(fā)展落后于業(yè)務(wù)發(fā)展2010年4

8、月核心一代支付寶架構(gòu)圖行業(yè)金融合作內(nèi)部系統(tǒng)（CRM,結(jié)算,風(fēng)控）商業(yè)智能賬務(wù)淘寶交易網(wǎng)銀卡通外部B2C個(gè)人網(wǎng)站會(huì)員2007年起至2008年中，交易、賬務(wù)、會(huì)員三大服務(wù)化項(xiàng)目完成，代表一代支付寶架構(gòu)封頂。業(yè)務(wù)與應(yīng)用架構(gòu)概況產(chǎn)品線基礎(chǔ)核心資金處理平臺(tái)客戶信息平臺(tái)核心管控行業(yè)個(gè)人內(nèi)部系統(tǒng)（CRM,結(jié)算,風(fēng)控）金融合作網(wǎng)銀卡通銀企直聯(lián)網(wǎng)點(diǎn)傳統(tǒng)行業(yè)虛擬行業(yè)航旅B2C收單生活助手會(huì)員安全收銀臺(tái)支付清算核算中心收費(fèi)登錄服務(wù)賬務(wù)會(huì)計(jì)會(huì)員信息商戶信息會(huì)員信用兄弟業(yè)務(wù)平臺(tái)行業(yè)個(gè)人擔(dān)保交易代發(fā)代扣消費(fèi)信貸信用支付微支付企業(yè)賬戶管理個(gè)人賬戶管理積分紅包轉(zhuǎn)賬MOTO儲(chǔ)值卡無線支付商業(yè)智能線下支付海外支付即時(shí)到賬交易MP

9、OS安全服務(wù)會(huì)員等級(jí)企業(yè)網(wǎng)站個(gè)人網(wǎng)站開放平臺(tái)二代系統(tǒng)建設(shè)局部效果示意淘寶外部B2C網(wǎng)銀卡通航旅代發(fā)代扣網(wǎng)點(diǎn)生活助手信用卡消費(fèi)卡銀企直聯(lián)網(wǎng)游淘寶外部B2C網(wǎng)銀卡通航旅代發(fā)代扣網(wǎng)點(diǎn)生活助手信用卡消費(fèi)卡銀企直聯(lián)網(wǎng)游支付清算平臺(tái)（支付、清算、收銀臺(tái)）一代系統(tǒng)二代系統(tǒng)支付業(yè)務(wù)處理的系統(tǒng)模式API平臺(tái)業(yè)務(wù)單處理支付處理清算處理通信前置賬務(wù)會(huì)計(jì)收費(fèi)營(yíng)銷客戶信息銀行支付清算網(wǎng)互聯(lián)網(wǎng)商戶風(fēng)控基礎(chǔ)業(yè)務(wù)訪問渠道銀行接入產(chǎn)品公共服務(wù)收銀臺(tái)交易業(yè)務(wù)架構(gòu)應(yīng)用架構(gòu)2應(yīng)對(duì)技術(shù)挑戰(zhàn)高可用可伸縮技術(shù)架構(gòu)原則低成本基礎(chǔ)技術(shù)平臺(tái)高可用 目標(biāo)99.99%高可用 策略避免發(fā)生降低概率控制影響快速恢復(fù)高可用的架構(gòu)原則1. 無單點(diǎn)設(shè)計(jì)2.

10、可監(jiān)控3. 可測(cè)試4. 可回滾5. 可禁用6. 短事務(wù)與柔性事務(wù)7. 異步設(shè)計(jì)8. 無狀態(tài)9. 使用成熟技術(shù)10.業(yè)務(wù)分等級(jí)11.業(yè)務(wù)可降級(jí)12.多數(shù)據(jù)中心部署高可用的設(shè)計(jì)手段 故障識(shí)別服務(wù)使用者服務(wù)接入流程、任務(wù)、決策領(lǐng)域倉(cāng)儲(chǔ)外部服務(wù)資源外部服務(wù)領(lǐng)域?qū)ο蠓?wù)代理并發(fā)請(qǐng)求重復(fù)請(qǐng)求超量請(qǐng)求資源不可用資源響應(yīng)超時(shí)通信中斷外部服務(wù)響應(yīng)超時(shí)外部服務(wù)違背功能契約BUG處理超時(shí)服務(wù)不可用請(qǐng)求積壓處理中斷高可用的設(shè)計(jì)手段 故障應(yīng)對(duì)故障條件應(yīng)對(duì)方式超量請(qǐng)求配額控制重復(fù)請(qǐng)求冪等控制并發(fā)請(qǐng)求并發(fā)控制請(qǐng)求積壓請(qǐng)求丟棄服務(wù)/資源響應(yīng)超時(shí)時(shí)間控制可恢復(fù)通信故障合理重試處理中斷事務(wù)/分布事務(wù)BUG自檢可伸縮 目標(biāo)無限伸縮

11、可伸縮 策略數(shù)據(jù)復(fù)制/讀寫分離垂直拆分(按業(yè)務(wù)類型拆分)水平拆分(按客戶/請(qǐng)求拆分)xzy可伸縮的架構(gòu)原則1. 無系統(tǒng)單點(diǎn)設(shè)計(jì)2. 無數(shù)據(jù)單點(diǎn)設(shè)計(jì)3. 容量與資源使用可監(jiān)控4. 異步設(shè)計(jì)5. 無狀態(tài)設(shè)計(jì)6. 并發(fā)控制設(shè)計(jì)7. 并行運(yùn)算設(shè)計(jì)8. 應(yīng)用與數(shù)據(jù)的獨(dú)立性9. 可復(fù)制10.可緩存11.可水平拆分12.多數(shù)據(jù)中心部署可伸縮設(shè)計(jì)案例: 交易數(shù)據(jù)拆分12n1核心交易數(shù)據(jù)(分表并分庫)交易系統(tǒng)交易處理服務(wù)(寫場(chǎng)景)消費(fèi)記錄系統(tǒng)消費(fèi)記錄查詢服務(wù)(讀場(chǎng)景1)12n2商戶查詢系統(tǒng)消費(fèi)記錄數(shù)據(jù)(分表并分庫)商戶查詢與對(duì)賬(讀場(chǎng)景2)12n3商戶/平臺(tái)商交易數(shù)據(jù)(分表并分庫)消息系統(tǒng)發(fā)布數(shù)據(jù)變更訂閱數(shù)據(jù)變

12、更數(shù)據(jù)緩存會(huì)員信息系統(tǒng)會(huì)員數(shù)據(jù)庫12n會(huì)員對(duì)象緩存業(yè)務(wù)系統(tǒng)內(nèi)部二級(jí)緩存會(huì)員服務(wù)客戶端業(yè)務(wù)應(yīng)用查詢/更新查詢時(shí)，先讀緩存更新時(shí)，同步使緩存對(duì)象失效可伸縮 - 反例: 不可伸縮的業(yè)務(wù)設(shè)計(jì)創(chuàng)建物流訂單創(chuàng)建交易交易簽收物流訂單清算交易付款與分潤(rùn)物流訂單收費(fèi)分潤(rùn)支付寶業(yè)務(wù)流物流公司收款過渡戶支付寶資金流買家賬戶賣家賬戶交易分潤(rùn)中間賬戶物流公司收入賬戶支付寶收入賬戶1. 充值2. 轉(zhuǎn)賬3. 轉(zhuǎn)賬4. 轉(zhuǎn)賬5. 轉(zhuǎn)賬7. 轉(zhuǎn)賬淘寶收入賬戶6. 轉(zhuǎn)賬可伸縮: 關(guān)注容量、性能與資源使用服務(wù)使用者服務(wù)提供者服務(wù)服務(wù)吞吐量伸縮公式伸縮上限單資源吞吐量上限響應(yīng)時(shí)間數(shù)據(jù)庫消息其它服務(wù)其它服務(wù)內(nèi)部服務(wù)數(shù)據(jù)庫訪問量消息量關(guān)

13、鍵服務(wù)訪問量伸縮公式外部服務(wù)外部服務(wù)外部服務(wù)可伸縮 資源使用舉例 (交易收銀臺(tái))paycifacctranstradepaycoreyzt8x2x系統(tǒng)次數(shù)總處理時(shí)間(ms)cif8173msacctrans245mstrade1140mspaycore1140msyzt1140ms合計(jì): 13638ms (占比: 85%)低成本 目標(biāo)更低低成本 策略提高利用率三去業(yè)務(wù)分級(jí)低成本的架構(gòu)原則1. 廠商中立設(shè)計(jì)2. 業(yè)務(wù)分等級(jí)3. 異步設(shè)計(jì)4. 無狀態(tài)設(shè)計(jì)5. 應(yīng)用與數(shù)據(jù)的獨(dú)立性6. 可復(fù)制7. 可緩存8. 可水平拆分9. N+1設(shè)計(jì)10.多數(shù)據(jù)中心部署低成本 數(shù)據(jù)中心面臨的挑戰(zhàn)城市(杭州)IDC-

14、AIDC-BIDC-C (新建)IDC-T (新建)應(yīng)用50%應(yīng)用50%應(yīng)用50%非關(guān)鍵應(yīng)用數(shù)據(jù)庫100%數(shù)據(jù)庫100%外部負(fù)載均衡數(shù)據(jù)與應(yīng)用分布不足，一次業(yè)務(wù)處理中，應(yīng)用需要跨IDC訪問很多次集中的數(shù)據(jù)庫，對(duì)時(shí)延有極高要求。低成本 多數(shù)據(jù)中心方向訪問渠道業(yè)務(wù)處理資金處理松散耦合銀行客戶業(yè)務(wù)處理業(yè)務(wù)處理IDC-A1IDC-AiIDC-B1IDC-BjIDC-C1IDC-Ck銀行客戶跨層IDC間松耦合同層IDC間無耦合架構(gòu)原則匯總技術(shù)架構(gòu)原則高可用可伸縮成本無單點(diǎn)，N+1設(shè)計(jì)可監(jiān)控?zé)o狀態(tài)短事務(wù)與柔性事務(wù)并發(fā)控制異步處理可復(fù)制可緩存可回滾、禁用可測(cè)試應(yīng)用與數(shù)據(jù)獨(dú)立可水平拆分計(jì)算可并行分級(jí)與降級(jí)支持多數(shù)據(jù)中心部署工具產(chǎn)品線展現(xiàn)與前端產(chǎn)品線分布服務(wù)產(chǎn)品線數(shù)據(jù)產(chǎn)品線調(diào)度產(chǎn)品線通訊產(chǎn)品線基礎(chǔ)設(shè)施產(chǎn)品線管控產(chǎn)品線基礎(chǔ)技術(shù)產(chǎn)品線技術(shù)平臺(tái)架構(gòu)全局觀業(yè)務(wù)流查詢資金流簽約/解約對(duì)賬差錯(cuò)處理無單點(diǎn)N+1設(shè)計(jì)可監(jiān)控?zé)o狀態(tài)并發(fā)控制異步處理可復(fù)制可緩存可回滾可禁用應(yīng)用與數(shù)據(jù)獨(dú)立可水平拆分計(jì)