金融級(jí)混沌測(cè)試平臺(tái)建設(shè)能力研究

金融級(jí)混沌測(cè)試平臺(tái)建設(shè)能力研究報(bào)告202310編制委員會(huì)主任聶麗琴編委會(huì)成員王 璐 張海燕編寫(xiě)組成員崔 杰 杜昆鵬 李博文 李 振 欒 琪 肖 王耀強(qiáng) 毋文濤 張 翔 葉強(qiáng)林編審黃本濤 張 蕾參編單位：北京金融科技產(chǎn)業(yè)聯(lián)盟中國(guó)建設(shè)銀行股份有限公司平凱星辰（北京）科技有限公司北京同創(chuàng)永益科技發(fā)展有限公司摘 要混沌工程是通過(guò)主動(dòng)向系統(tǒng)中引入軟件或者硬件的異常狀態(tài)（擾動(dòng)沌工程可以對(duì)系統(tǒng)抵抗擾動(dòng)并保持正常運(yùn)作的能力（穩(wěn)定性本報(bào)告以混沌測(cè)試工具集為基礎(chǔ)，采用開(kāi)源云原生模式構(gòu)建自動(dòng)化混沌工程平臺(tái)，針對(duì)分布式系統(tǒng)的復(fù)雜性特點(diǎn)，設(shè)計(jì)不同層次的故障進(jìn)行模擬。平臺(tái)除提供應(yīng)用層以及實(shí)際物理環(huán)境故障模擬外，還提供較為完善的故障編排功能，以便監(jiān)控分布式系統(tǒng)狀態(tài)，找出項(xiàng)目潛在的風(fēng)險(xiǎn)。本報(bào)告所述的混沌工程平臺(tái)相對(duì)完整，可為國(guó)內(nèi)金融行業(yè)構(gòu)建混沌測(cè)試驗(yàn)證平臺(tái)，提供實(shí)踐經(jīng)驗(yàn)和可行的參考方案。目 錄一、混沌測(cè)試平臺(tái)建設(shè)背景與目標(biāo) 1（）建背景 1（二建目標(biāo) 2二混測(cè)試臺(tái)建要求 3（一功要求 3（二適性要求 7（三集要求 7三混測(cè)試臺(tái)建情況 8（一系構(gòu)成 8（二技架構(gòu) 9（三功模塊 10（四故種類(lèi) 12四混沌臺(tái)測(cè)方案測(cè)試踐 13（一測(cè)目標(biāo) 13（二測(cè)內(nèi)容 14（三測(cè)過(guò)程 15五混沌試平建設(shè)踐 27一、混沌測(cè)試平臺(tái)背景與目標(biāo)（一）建設(shè)背景隨著數(shù)字化轉(zhuǎn)型，金融行業(yè)加快了新一代架構(gòu)轉(zhuǎn)型的步伐，由傳統(tǒng)的SOA架構(gòu)向分布式架構(gòu)、去中心化發(fā)展，當(dāng)前還進(jìn)階到注重云化支持和異構(gòu)化微服務(wù)支持的服務(wù)網(wǎng)格模式。（擾動(dòng)82012ChaosMonkey在SimainArmySimianArmy2019混沌工程通過(guò)主動(dòng)向系統(tǒng)中引入軟件或者硬件的異常狀態(tài)（擾動(dòng)制造故障場(chǎng)景并根據(jù)系統(tǒng)在各種壓力下的行為表現(xiàn)確AZ（二）建設(shè)目標(biāo)業(yè)務(wù)目標(biāo)技術(shù)目標(biāo)二、混沌測(cè)試平臺(tái)建設(shè)要求（一）功能要求5混沌實(shí)驗(yàn)?zāi)KCRDYAML故障注入組件。組件提供不同類(lèi)型原子故障的注入和恢復(fù)功DaemonSet的Podtciptables、ipseteBPF提供了內(nèi)核故障注入的能力。（虛擬機(jī)KubernetesCRDGolangCRDWatchcontroller插件系統(tǒng)。不同應(yīng)用由于環(huán)境不同會(huì)產(chǎn)生完全不同的故障場(chǎng)RabbitMQChaosTiDBChaos故障模擬發(fā)壓模塊故障模擬發(fā)壓模塊以命令行工具方式提供服務(wù)，用戶(hù)可以Golang可觀測(cè)性模塊可觀測(cè)性模塊進(jìn)一步降低簡(jiǎn)化混沌實(shí)驗(yàn)的步驟和提供對(duì)混可觀測(cè)性模塊同時(shí)還提供服務(wù)監(jiān)控和健康檢查服務(wù)。在進(jìn)行HTTP權(quán)限管理模塊專(zhuān)家?guī)炷K（二）適配性要求混沌測(cè)試平臺(tái)運(yùn)行環(huán)境應(yīng)該運(yùn)行在開(kāi)放的軟硬件平臺(tái)之上，X86C86ARMWindows（三）集成要求Kubernetes三、混沌測(cè)試平臺(tái)建設(shè)情況（一）系統(tǒng)構(gòu)成混沌測(cè)試平臺(tái)各個(gè)模塊之間通過(guò)一定的調(diào)用關(guān)系來(lái)完成每通過(guò)打造混沌測(cè)試平臺(tái)，可以實(shí)現(xiàn)混沌實(shí)驗(yàn)與壓測(cè)、監(jiān)控的整體系統(tǒng)構(gòu)成情況如下圖1所示：圖1：混沌測(cè)試平臺(tái)系統(tǒng)構(gòu)成圖（二）技術(shù)架構(gòu)Kubernetesk8s平臺(tái)技術(shù)架構(gòu)如下圖2所示：圖2：混沌測(cè)試平臺(tái)技術(shù)架構(gòu)圖（三）功能模塊權(quán)限管理發(fā)壓監(jiān)控發(fā)壓提供了整個(gè)故障演練過(guò)程的背景壓力用以模擬真實(shí)生混沌實(shí)驗(yàn)支持各種常見(jiàn)類(lèi)型的故障，覆蓋物理機(jī)/虛擬機(jī)、容器不同/串行/workflow實(shí)驗(yàn)報(bào)告為整個(gè)故障演練過(guò)程提供了可視化的聚合報(bào)告，包含了壓測(cè)的數(shù)據(jù)（TPS、響應(yīng)時(shí)間、失敗數(shù)等），監(jiān)控?cái)?shù)據(jù)（CPU、內(nèi)存、IO、網(wǎng)絡(luò)等），混沌實(shí)驗(yàn)數(shù)據(jù)（實(shí)驗(yàn)事件、執(zhí)行事件、執(zhí)行狀態(tài)等）。專(zhuān)家?guī)?（四）故障種類(lèi)

圖3：混沌測(cè)試平臺(tái)功能模塊圖混沌工具支持虛擬機(jī)/K8sJVMIODNS、內(nèi)核、HTTP、生命周期等多種故障類(lèi)型。具體到每種故障類(lèi)型，CPU4圖4：混沌測(cè)試平臺(tái)故障種類(lèi)圖四、混沌平臺(tái)測(cè)試方案與測(cè)試實(shí)踐（一）測(cè)試目標(biāo)的高可用測(cè)試，很難對(duì)各種情況進(jìn)行同時(shí)或不同排列組合的模模擬分布式數(shù)據(jù)庫(kù)計(jì)算和存儲(chǔ)節(jié)點(diǎn)進(jìn)程故障。模擬分布式數(shù)據(jù)庫(kù)數(shù)據(jù)盤(pán)讀寫(xiě)負(fù)載故障。模擬分布式數(shù)據(jù)庫(kù)節(jié)點(diǎn)CPU模擬分布式數(shù)據(jù)庫(kù)系統(tǒng)負(fù)載高故障場(chǎng)景。模擬分布式數(shù)據(jù)庫(kù)混合故障場(chǎng)景。（二）測(cè)試內(nèi)容測(cè)試內(nèi)容如表1所示。表1：混沌測(cè)試平臺(tái)測(cè)試內(nèi)容表序號(hào)測(cè)試分類(lèi)用例1進(jìn)程故障注入進(jìn)程被殺故障注入2進(jìn)程掛起故障注入3磁盤(pán)故障注入讀寫(xiě)負(fù)載過(guò)高故障注入4多進(jìn)程讀負(fù)載故障注入5寫(xiě)負(fù)載過(guò)高故障注入6指定目錄寫(xiě)負(fù)載過(guò)高故障注入7指定文件填充過(guò)多故障注入8IO壓力高故障注入9網(wǎng)絡(luò)故障注入網(wǎng)絡(luò)延遲故障注入10網(wǎng)絡(luò)包損壞故障注入11網(wǎng)絡(luò)丟包故障注入12網(wǎng)絡(luò)抖動(dòng)故障注入13壓力故障注入CPU耗盡故障注入14內(nèi)存耗盡故障注入15系統(tǒng)load高故障注入16混合場(chǎng)景故障注入混合容量測(cè)試17穩(wěn)定性測(cè)試混合編排workload長(zhǎng)穩(wěn)測(cè)試（三）測(cè)試過(guò)程進(jìn)程故障注入檢測(cè)內(nèi)容：分布式數(shù)據(jù)庫(kù)在進(jìn)行賬戶(hù)查詢(xún)、更新、插入、轉(zhuǎn)賬等聯(lián)機(jī)交易業(yè)務(wù)過(guò)程中，數(shù)據(jù)庫(kù)計(jì)算進(jìn)程被殺異常故障的自愈性以及對(duì)業(yè)務(wù)的QPS\TPS影響范圍和時(shí)長(zhǎng)。檢測(cè)流程：?jiǎn)?dòng)銀行模擬交易場(chǎng)景程序，模擬賬戶(hù)查詢(xún)、更新、插入操作；將編排好的進(jìn)程被殺故障模板加載到故障測(cè)試平臺(tái)，執(zhí)行測(cè)試；測(cè)試結(jié)束后，統(tǒng)計(jì)故障演練期間交易成功率，QPS，平均延遲等指標(biāo)；生成測(cè)試報(bào)告。通過(guò)標(biāo)準(zhǔn)：各步驟執(zhí)行成功，分布式數(shù)據(jù)庫(kù)能夠完成自動(dòng)故障轉(zhuǎn)移，在故障解除后能夠恢復(fù)完整的服務(wù)能力，執(zhí)行結(jié)果符合廠商聲明。進(jìn)程被殺時(shí)QPS會(huì)有下降，延遲有所上升，但不會(huì)造成嚴(yán)重影響。在進(jìn)程恢復(fù)后各項(xiàng)指標(biāo)恢復(fù)正常。檢測(cè)內(nèi)容：分布式數(shù)據(jù)庫(kù)在進(jìn)行賬戶(hù)查詢(xún)、更新、插入、轉(zhuǎn)賬等聯(lián)機(jī)交易業(yè)務(wù)過(guò)程中，數(shù)據(jù)庫(kù)存儲(chǔ)進(jìn)程掛起異常故障的自愈性以及對(duì)業(yè)務(wù)的QPS\TPS得的影響范圍和時(shí)長(zhǎng)。檢測(cè)流程：?jiǎn)?dòng)銀行模擬交易程序，模擬賬戶(hù)查詢(xún)、更新、插入操作；將編排好的進(jìn)程掛起故障模板加載到故障測(cè)試平臺(tái)，執(zhí)行測(cè)試；測(cè)試結(jié)束后，統(tǒng)計(jì)故障演練期間交易成功率，QPS，平均延遲等指標(biāo)；生成測(cè)試報(bào)告。通過(guò)標(biāo)準(zhǔn)：執(zhí)行成功，分布式數(shù)據(jù)庫(kù)在所描述的故障注入下，能夠完成自動(dòng)故障轉(zhuǎn)移，在故障解除后能夠恢復(fù)完整的服務(wù)能力，執(zhí)行結(jié)果符合廠商聲明。進(jìn)程被殺時(shí)QPS會(huì)有下降，延遲有所上升，但不會(huì)造成嚴(yán)重影響。在進(jìn)程恢復(fù)后各項(xiàng)指標(biāo)恢復(fù)正常。磁盤(pán)故障注入檢測(cè)內(nèi)容：分布式數(shù)據(jù)庫(kù)在進(jìn)行賬戶(hù)查詢(xún)、更新、插入、轉(zhuǎn)賬等聯(lián)機(jī)交易業(yè)務(wù)過(guò)程中，讀寫(xiě)負(fù)載故障的自愈性以及對(duì)業(yè)務(wù)的QPS\TPS的影響范圍和時(shí)長(zhǎng)。檢測(cè)流程：?jiǎn)?dòng)銀行交易程序，模擬賬戶(hù)轉(zhuǎn)賬操作；將編排好的主機(jī)故障模板加載到故障測(cè)試平臺(tái)，執(zhí)行測(cè)試；QPS指標(biāo)；生成測(cè)試報(bào)告。通過(guò)標(biāo)準(zhǔn)：執(zhí)行成功，分布式數(shù)據(jù)庫(kù)在所描述的故障注入下，能夠完成自動(dòng)故障轉(zhuǎn)移，在故障解除后能夠恢復(fù)完整的服務(wù)能力，執(zhí)行結(jié)果符合廠商聲明，未出現(xiàn)非預(yù)期結(jié)果。檢測(cè)內(nèi)容：分布式數(shù)據(jù)庫(kù)在進(jìn)行賬戶(hù)查詢(xún)、更新、插入、轉(zhuǎn)賬等聯(lián)機(jī)交易業(yè)務(wù)過(guò)程中，多進(jìn)程讀負(fù)載故障的自愈性以及對(duì)業(yè)務(wù)的QPS\TPS的影響范圍和時(shí)長(zhǎng)。檢測(cè)流程：?jiǎn)?dòng)銀行模擬交易場(chǎng)景程序，模擬賬戶(hù)查詢(xún)、更新、插入語(yǔ)操作；將編排好的主機(jī)故障模板加載到故障測(cè)試平臺(tái)，執(zhí)行測(cè)試；QPS指標(biāo)；生成測(cè)試報(bào)告。通過(guò)標(biāo)準(zhǔn)：執(zhí)行成功，分布式數(shù)據(jù)庫(kù)在所描述的故障注入下，能夠完成自動(dòng)故障轉(zhuǎn)移，在故障解除后能夠恢復(fù)完整的服務(wù)能力，執(zhí)行結(jié)果符合廠商聲明，未出現(xiàn)非預(yù)期結(jié)果。檢測(cè)內(nèi)容：分布式數(shù)據(jù)庫(kù)在進(jìn)行賬戶(hù)查詢(xún)、更新、插入、轉(zhuǎn)賬等聯(lián)機(jī)交易業(yè)務(wù)過(guò)程中，寫(xiě)負(fù)載故障的自愈性以及對(duì)業(yè)務(wù)的QPS\TPS的影響范圍和時(shí)長(zhǎng)。檢測(cè)流程：?jiǎn)?dòng)銀行模擬交易場(chǎng)景程序，模擬賬戶(hù)查詢(xún)、更新、插入語(yǔ)操作；將編排好的主機(jī)故障模板加載到故障測(cè)試平臺(tái)，執(zhí)行測(cè)試；QPS指標(biāo)；生成測(cè)試報(bào)告。通過(guò)標(biāo)準(zhǔn)：執(zhí)行成功，分布式數(shù)據(jù)庫(kù)在所描述的故障注入下，能夠完成自動(dòng)故障轉(zhuǎn)移，在故障解除后能夠恢復(fù)完整的服務(wù)能力，執(zhí)行結(jié)果符合廠商聲明，未出現(xiàn)非預(yù)期結(jié)果。檢測(cè)內(nèi)容：分布式數(shù)據(jù)庫(kù)在進(jìn)行賬戶(hù)查詢(xún)、更新、插入、轉(zhuǎn)賬等聯(lián)機(jī)交易業(yè)務(wù)過(guò)程中，指定目錄寫(xiě)負(fù)載故障的自愈性以及對(duì)業(yè)務(wù)的QPS\TPS的影響范圍和時(shí)長(zhǎng)。檢測(cè)流程：?jiǎn)?dòng)銀行模擬交易場(chǎng)景程序，模擬賬戶(hù)查詢(xún)、更新、插入語(yǔ)操作；將編排好的主機(jī)故障模板加載到故障測(cè)試平臺(tái)，執(zhí)行測(cè)試；QPS指標(biāo)；生成測(cè)試報(bào)告。通過(guò)標(biāo)準(zhǔn)：執(zhí)行成功，分布式數(shù)據(jù)庫(kù)在所描述的故障注入下，能夠完成自動(dòng)故障轉(zhuǎn)移，在故障解除后能夠恢復(fù)完整的服務(wù)能力，執(zhí)行結(jié)果符合廠商聲明，未出現(xiàn)非預(yù)期結(jié)果。檢測(cè)內(nèi)容：分布式數(shù)據(jù)庫(kù)在進(jìn)行賬戶(hù)查詢(xún)、更新、插入、轉(zhuǎn)賬等聯(lián)機(jī)交易業(yè)務(wù)過(guò)程中，指定目錄文件填充過(guò)多導(dǎo)致寫(xiě)負(fù)載故障的自愈性以及對(duì)業(yè)務(wù)的QPS\TPS的影響范圍和時(shí)長(zhǎng)。檢測(cè)流程：?jiǎn)?dòng)銀行交易程序，模擬賬戶(hù)轉(zhuǎn)賬操作；將編排好的主機(jī)故障模板加載到故障測(cè)試平臺(tái)，執(zhí)行測(cè)試；QPS指標(biāo)；生成測(cè)試報(bào)告。通過(guò)標(biāo)準(zhǔn)：執(zhí)行成功，分布式數(shù)據(jù)庫(kù)在所描述的故障注入下，能夠完成自動(dòng)故障轉(zhuǎn)移，在故障解除后能夠恢復(fù)完整的服務(wù)能力，執(zhí)行結(jié)果符合廠商聲明，未出現(xiàn)非預(yù)期結(jié)果。IO檢測(cè)內(nèi)容：分布式數(shù)據(jù)庫(kù)在進(jìn)行賬戶(hù)查詢(xún)、更新、插入、轉(zhuǎn)賬等聯(lián)機(jī)交易業(yè)務(wù)過(guò)程中，數(shù)據(jù)庫(kù)存儲(chǔ)節(jié)點(diǎn)IO壓力高故障的自愈性以及對(duì)業(yè)務(wù)的QPS\TPS的影響范圍和時(shí)長(zhǎng)。檢測(cè)流程：?jiǎn)?dòng)銀行交易程序，模擬賬戶(hù)轉(zhuǎn)賬操作；將編排好的主機(jī)故障模板加載到故障測(cè)試平臺(tái)，執(zhí)行測(cè)試；QPS指標(biāo)；生成測(cè)試報(bào)告。通過(guò)標(biāo)準(zhǔn)：執(zhí)行成功，分布式數(shù)據(jù)庫(kù)在所描述的故障注入下，能夠完成自動(dòng)故障轉(zhuǎn)移，在故障解除后能夠恢復(fù)完整的服務(wù)能力，執(zhí)行結(jié)果符合廠商聲明，未出現(xiàn)非預(yù)期結(jié)果。網(wǎng)絡(luò)故障注入檢測(cè)內(nèi)容：分布式數(shù)據(jù)庫(kù)在進(jìn)行賬戶(hù)查詢(xún)、更新、插入、轉(zhuǎn)賬等聯(lián)機(jī)交易業(yè)務(wù)過(guò)程中，數(shù)據(jù)庫(kù)集群存儲(chǔ)、計(jì)算、控制節(jié)點(diǎn)網(wǎng)絡(luò)延遲故障的自愈性以及對(duì)業(yè)務(wù)的QPS\TPS的影響范圍和時(shí)長(zhǎng)。檢測(cè)流程：?jiǎn)?dòng)銀行業(yè)務(wù)交易程序，模擬賬戶(hù)查詢(xún)、更新、插入操作；將編排好的主機(jī)故障模板加載到故障測(cè)試平臺(tái)，執(zhí)行測(cè)試；QPS指標(biāo)；生成測(cè)試報(bào)告。通過(guò)標(biāo)準(zhǔn)：執(zhí)行成功，分布式數(shù)據(jù)庫(kù)在所描述的故障注入下，能夠完成自動(dòng)故障轉(zhuǎn)移，在故障解除后能夠恢復(fù)完整的服務(wù)能力，執(zhí)行結(jié)果符合廠商聲明，未出現(xiàn)非預(yù)期結(jié)果。網(wǎng)絡(luò)丟包故障注入檢測(cè)內(nèi)容：分布式數(shù)據(jù)庫(kù)在進(jìn)行賬戶(hù)查詢(xún)、更新、插入、轉(zhuǎn)賬等聯(lián)機(jī)交易業(yè)務(wù)過(guò)程中，數(shù)據(jù)庫(kù)集群存儲(chǔ)、計(jì)算、控制節(jié)點(diǎn)網(wǎng)絡(luò)包丟失故障的自愈性以及業(yè)務(wù)的對(duì)QPS\TPS的影響范圍和時(shí)長(zhǎng)。檢測(cè)流程：?jiǎn)?dòng)銀行業(yè)務(wù)交易程序，模擬賬戶(hù)查詢(xún)、更新、插入操作；將編排好網(wǎng)絡(luò)丟包故障注入異常模板加載到故障測(cè)試平臺(tái)；持續(xù)測(cè)試10分鐘；測(cè)試結(jié)束后，統(tǒng)計(jì)故障演練期間交易成功率，QPS，平均延遲等指標(biāo)；生成測(cè)試報(bào)告。通過(guò)標(biāo)準(zhǔn)：執(zhí)行成功，分布式數(shù)據(jù)庫(kù)在所描述的故障注入下，能夠完成自動(dòng)故障轉(zhuǎn)移，在故障解除后能夠恢復(fù)完整的服務(wù)能力，執(zhí)行結(jié)果符合廠商聲明，未出現(xiàn)非預(yù)期結(jié)果。檢測(cè)內(nèi)容：分布式數(shù)據(jù)庫(kù)在進(jìn)行賬戶(hù)查詢(xún)、更新、插入、轉(zhuǎn)賬等聯(lián)機(jī)交易業(yè)務(wù)過(guò)程中，集群計(jì)算、存儲(chǔ)、控制節(jié)點(diǎn)網(wǎng)絡(luò)包損失對(duì)故障的自愈性以及業(yè)務(wù)的QPS\TPS的影響范圍和時(shí)長(zhǎng)。檢測(cè)流程：?jiǎn)?dòng)銀行業(yè)務(wù)交易程序，模擬賬戶(hù)查詢(xún)、更新、插入操作；將編排好的主機(jī)故障模板加載到故障測(cè)試平臺(tái)，執(zhí)行測(cè)試；QPS指標(biāo)；生成測(cè)試報(bào)告。通過(guò)標(biāo)準(zhǔn)：執(zhí)行成功，分布式數(shù)據(jù)庫(kù)在所描述的故障注入下，能夠完成自動(dòng)故障轉(zhuǎn)移，在故障解除后能夠恢復(fù)完整的服務(wù)能力，執(zhí)行結(jié)果符合廠商聲明，未出現(xiàn)非預(yù)期結(jié)果。檢測(cè)內(nèi)容：自愈性以及對(duì)業(yè)務(wù)的QPS\TPS的影響范圍和時(shí)長(zhǎng)。檢測(cè)流程：?jiǎn)?dòng)銀行業(yè)務(wù)交易程序，模擬賬戶(hù)查詢(xún)、更新、插入操作；將編排好網(wǎng)絡(luò)抖動(dòng)故障異常模板加載到故障測(cè)試平臺(tái)；測(cè)試結(jié)束后，統(tǒng)計(jì)故障演練期間交易成功率，QPS，平均延遲等指標(biāo)；生成測(cè)試報(bào)告；通過(guò)標(biāo)準(zhǔn)：執(zhí)行成功，分布式數(shù)據(jù)庫(kù)在所描述的故障注入下，能夠完成自動(dòng)故障轉(zhuǎn)移，在故障解除后能夠恢復(fù)完整的服務(wù)能力，執(zhí)行結(jié)果符合廠商聲明，未出現(xiàn)非預(yù)期結(jié)果。壓力故障注入CPU檢測(cè)內(nèi)容：業(yè)務(wù)過(guò)程中，集群計(jì)算、存儲(chǔ)節(jié)點(diǎn)出現(xiàn)CPU以及對(duì)業(yè)務(wù)的QPS\TPS的影響范圍和時(shí)長(zhǎng)。檢測(cè)流程：?jiǎn)?dòng)銀行模擬交易程序，模擬賬戶(hù)查詢(xún)更新操作；將編排好的主機(jī)故障模板加載到故障測(cè)試平臺(tái)，執(zhí)行測(cè)試；QPS指標(biāo)；生成測(cè)試報(bào)告。通過(guò)標(biāo)準(zhǔn)：執(zhí)行成功，分布式數(shù)據(jù)庫(kù)在所描述的故障注入下，能夠完成自動(dòng)故障轉(zhuǎn)移，在故障解除后能夠恢復(fù)完整的服務(wù)能力，執(zhí)行結(jié)果符合廠商聲明，未出現(xiàn)非預(yù)期結(jié)果。檢測(cè)內(nèi)容：以及對(duì)業(yè)務(wù)的QPS\TPS的影響范圍和時(shí)長(zhǎng)。檢測(cè)流程：?jiǎn)?dòng)銀行模擬交易程序，模擬賬戶(hù)查詢(xún)、更新操作；將編排好的主機(jī)故障模板加載到故障測(cè)試平臺(tái)，執(zhí)行測(cè)試；QPS指標(biāo)；生成測(cè)試報(bào)告。通過(guò)標(biāo)準(zhǔn)：執(zhí)行成功，分布式數(shù)據(jù)庫(kù)在所描述的故障注入下，能夠完成自動(dòng)故障轉(zhuǎn)移，在故障解除后能夠恢復(fù)完整的服務(wù)能力，執(zhí)行結(jié)果符合廠商聲明，未出現(xiàn)非預(yù)期結(jié)果。系統(tǒng)load檢測(cè)內(nèi)容：分布式數(shù)據(jù)庫(kù)在進(jìn)行賬戶(hù)查詢(xún)、更新、插入、轉(zhuǎn)賬等聯(lián)機(jī)交易業(yè)務(wù)過(guò)程中，集群計(jì)算、存儲(chǔ)節(jié)點(diǎn)出現(xiàn)系統(tǒng)load愈性以及對(duì)業(yè)務(wù)的QPS\TPS的影響范圍和時(shí)長(zhǎng)。檢測(cè)流程：?jiǎn)?dòng)銀行交易程序，模擬賬戶(hù)轉(zhuǎn)賬操作將編排好的主機(jī)故障模板加載到故障測(cè)試平臺(tái)，執(zhí)行測(cè)試測(cè)試結(jié)束后，統(tǒng)計(jì)故障演練期間交易成功率，QPS，平均延遲等指標(biāo)生成測(cè)試報(bào)告通過(guò)標(biāo)準(zhǔn)：合廠商聲明，未出現(xiàn)非預(yù)期結(jié)果?；旌蠄?chǎng)景故障注入檢測(cè)內(nèi)容：分布式數(shù)據(jù)庫(kù)在進(jìn)行賬戶(hù)查詢(xún)、更新、插入、轉(zhuǎn)賬等聯(lián)機(jī)交易的影響范圍和時(shí)長(zhǎng)。檢測(cè)流程：?jiǎn)?dòng)銀行交易程序，模擬賬戶(hù)轉(zhuǎn)賬操作；將編排好的主機(jī)故障模板加載到故障測(cè)試平臺(tái)，執(zhí)行測(cè)試；QPS指標(biāo)；生成測(cè)試報(bào)告。通過(guò)標(biāo)準(zhǔn)：執(zhí)行成功，分布式數(shù)據(jù)庫(kù)在所描述的故障注入下，能夠完成自動(dòng)故障轉(zhuǎn)移，且需保證在故障注入后各有效數(shù)據(jù)節(jié)點(diǎn)的數(shù)據(jù)分布是均勻的；在故障解除后能夠恢復(fù)完整的服務(wù)能力，執(zhí)行結(jié)果符合廠商聲明，未出現(xiàn)非預(yù)期結(jié)果。穩(wěn)定性測(cè)試檢測(cè)內(nèi)容：分布式數(shù)據(jù)庫(kù)在進(jìn)行賬戶(hù)查詢(xún)、更新、插入、轉(zhuǎn)賬等聯(lián)機(jī)交易業(yè)務(wù)的QPS\TPS的影響范圍和時(shí)長(zhǎng)。檢測(cè)流程：?jiǎn)?dòng)銀行交易程序，模擬賬戶(hù)轉(zhuǎn)賬操作；將編排好的主機(jī)故障模板加載到故障測(cè)試平臺(tái)，執(zhí)行測(cè)試；QPS指標(biāo)；生成測(cè)試報(bào)告。通過(guò)標(biāo)準(zhǔn)：執(zhí)行成功，分布式數(shù)據(jù)庫(kù)在所描述的故障注入下，能夠完成自動(dòng)故障轉(zhuǎn)移，且需保證在故障注入后各有效數(shù)據(jù)節(jié)點(diǎn)的數(shù)據(jù)分布是均勻的；在故障解除后能夠恢復(fù)完整的服務(wù)能力，執(zhí)行結(jié)果符合廠商聲明，未出現(xiàn)非預(yù)期結(jié)果。五、混沌測(cè)試平臺(tái)建設(shè)實(shí)踐總結(jié)銀行機(jī)構(gòu)在IT對(duì)業(yè)務(wù)