平安銀行的混沌工程實(shí)踐

平安銀行的混沌工程實(shí)踐目錄ContentsASTA前世今生擁抱混沌工程ASTA解決方案與成果典型案例場景分享01 ASTA前世今生ASTA的緣起平安銀行A+新核心專項(xiàng)測試

02測試、開發(fā)、運(yùn)維共同完成性能測試、破壞性測試、混沌工程同時(shí)運(yùn)用在測試環(huán)境和投產(chǎn)演練環(huán)境進(jìn)行充分測試和驗(yàn)證PaaS平臺&Starlink平臺立項(xiàng)

01平安銀行Starlink開發(fā)運(yùn)維一體化平臺為我行分布式微服務(wù)PaaS平臺開發(fā)與運(yùn)行提供保障。在測試領(lǐng)域，Starlink對PaaS平臺進(jìn)行了大量破壞性測試——覆蓋高可靠、高可用、可運(yùn)維的大部分測試場景。04

Starlink混沌工程實(shí)驗(yàn)室ASTA產(chǎn)品化、平臺化發(fā)展，為平安銀行端到端交付流程提供混沌工程模塊的服務(wù)能力。03

Starlink整合測試域工具單純的、孤立的混沌工具已經(jīng)不能滿足Starlink支持銀行各類測試場景的需求。ASTAStarlink-Asta

產(chǎn)研活動(dòng)透明 透明IT活動(dòng)、透明IT成本，過程可見，可追溯；關(guān)注項(xiàng)目、需求價(jià)值流動(dòng)。效率需求交付周期提升18%-48%；交付產(chǎn)能提升30%，流水線構(gòu)建時(shí)長縮短46%,自動(dòng)化構(gòu)建提升56.4%平均發(fā)版時(shí)長降低，標(biāo)準(zhǔn)化操作，節(jié)省人力

質(zhì)量 通過質(zhì)量門禁進(jìn)行安全與質(zhì)量風(fēng)險(xiǎn)攔截，首移有效率提升6%，自動(dòng)化測試覆蓋率提升33.1%

安全合規(guī) 平臺引入DecSecOps實(shí)踐，

2020年9月和12月，分別通過信通院《DevOps能力成熟度模型》系統(tǒng)和工具、和DevSecOps的首批評級，實(shí)現(xiàn)敏捷與安全協(xié)同，創(chuàng)造更大價(jià)值JIRA 代碼倉庫 Git 自動(dòng)化 Seiya 發(fā)布 發(fā)布Admin 效能 Jira、需 測試 管理 全景 Starlink求 DLM CICD流水線 ACE性能測 Seiya代碼掃描 SonarQube 試 部署 Lotus、UCD 用戶 Starlink單元測試 Unit

Sprint 管理 K8S、Pafa

評價(jià)項(xiàng) Starlink 功能測 TMS目 包管理 Artifactory 試 運(yùn)維 運(yùn)維工作臺缺陷管 管理 ITSM包庫掃描 Xary 理 TMS安全漏洞掃 Fortify描SQL掃描 SQMCMS 4A Jenkins 數(shù)據(jù)管理 confluence統(tǒng)一視圖展現(xiàn)質(zhì)量/安全管

理Starlink功能全景?

Starlink，實(shí)現(xiàn)平安銀行數(shù)字化研發(fā)管理，融入銀行EPG研發(fā)管理基線、內(nèi)建質(zhì)量、安全SDLC流程，實(shí)現(xiàn)端到端自動(dòng)化，提供精細(xì)化效能度量。?

Starlink作為全行組織級研發(fā)運(yùn)維一體化平臺。研發(fā)領(lǐng)域承擔(dān)全行100%代碼、制品管控，發(fā)布領(lǐng)域全行99%應(yīng)用工具發(fā)版接入?；煦绻こ藺STA項(xiàng)目及需求管理研發(fā)管理測試管理發(fā)布管理效能管理02 擁抱混沌工程銀行需要混沌工程嗎？對韌性的需求對可靠性的要求復(fù)雜系統(tǒng)子系統(tǒng)與應(yīng)用處于不斷的變化中系統(tǒng)日益龐大與復(fù)雜生產(chǎn)應(yīng)急預(yù)案，內(nèi)部風(fēng)險(xiǎn)檢視，研發(fā)流程檢視運(yùn)維、開發(fā)、測試和QA共同應(yīng)對風(fēng)險(xiǎn)，提供系統(tǒng)韌性生產(chǎn)環(huán)境與測試環(huán)境都需要及時(shí)發(fā)現(xiàn)漏洞，提高韌性高可靠的硬件設(shè)施也可能發(fā)生故障應(yīng)用的高可靠設(shè)計(jì)可能引起系統(tǒng)故障如何實(shí)踐混沌工程價(jià)值和意義暴露系統(tǒng)未知的、脆弱的環(huán)節(jié)及時(shí)修復(fù)、加固，防患于未然提高服務(wù)的可用性和持久性降低維護(hù)成本，改進(jìn)事故處理流程增強(qiáng)故障應(yīng)對能力，提供故障抗性假設(shè)實(shí)驗(yàn)定義定義并測試系統(tǒng)的“穩(wěn)定狀態(tài)” 創(chuàng)建假設(shè)論證模擬現(xiàn)實(shí)世界中可能發(fā)生的事情 證明or反駁你的假設(shè)基本原則建立一個(gè)穩(wěn)定狀態(tài)的假說用多樣的真實(shí)世界事件作驗(yàn)證在生產(chǎn)環(huán)境中運(yùn)行實(shí)驗(yàn)持續(xù)自動(dòng)化運(yùn)行實(shí)驗(yàn)最小化爆炸半徑混沌工程工具的選型決策Chaos

MonkeyChaos

bladeChaos

Mesh開發(fā)者NetflixAlibabaPingCAP當(dāng)前版本2.0.2@2016-11-221.2.0@2021-5-311.2.2@2021-6-29開源是是是開發(fā)語言Go

99.5%Go

93.1%Go

等社區(qū)活躍度*10.9k3.9k3.7k采用公司數(shù)量*33容器化是是優(yōu)點(diǎn)平臺化有應(yīng)用實(shí)踐平臺化不足未平臺化僅開源一小部分只支持容器，側(cè)重?cái)?shù)據(jù)庫故障注入03 ASTA解決方案與成果ASTA

混沌工程系統(tǒng)模型場景實(shí)驗(yàn)案例執(zhí)行業(yè)務(wù)場景提供流量注入，用戶自由定制故障注入場景涵蓋大多數(shù)實(shí)驗(yàn)將場景組合形成實(shí)驗(yàn)便于用戶選擇豐富的基礎(chǔ)實(shí)驗(yàn)，拓展方便確定實(shí)驗(yàn)的范圍和目標(biāo)確定實(shí)驗(yàn)執(zhí)行的規(guī)則收集獨(dú)立的日志便于分析鏈接監(jiān)控系統(tǒng)便于觀察系統(tǒng)狀態(tài)變遷多樣化的故障場景故障注入能力涵蓋大部分實(shí)驗(yàn)→參數(shù)設(shè)置滿足不同的實(shí)驗(yàn)要求網(wǎng)絡(luò)流控丟包延時(shí)分區(qū)硬件資源CPU占用CPU故障內(nèi)存占用?

IO占用文件系統(tǒng)空間耗盡NFS故障文件權(quán)限進(jìn)程異常退出進(jìn)程掛住IPC異常服務(wù)器?

系統(tǒng)重啟?

硬重啟NTP?

網(wǎng)絡(luò)時(shí)移ASTA

的實(shí)驗(yàn)支持IaaS、PaaS、SaaS和數(shù)據(jù)庫四類實(shí)驗(yàn)實(shí)驗(yàn)內(nèi)容可以根據(jù)參數(shù)進(jìn)行定制用戶可以組合場景定制自己的實(shí)驗(yàn)IaaS實(shí)驗(yàn)網(wǎng)絡(luò)故障FS故障資源占用網(wǎng)絡(luò)時(shí)移進(jìn)程故障服務(wù)器故障PaaS實(shí)驗(yàn)消息隊(duì)列數(shù)據(jù)網(wǎng)關(guān)注冊中心配置中心監(jiān)控中心SaaS實(shí)驗(yàn)單點(diǎn)故障多點(diǎn)故障集群故障IDC故障腦裂DB實(shí)驗(yàn)主庫故障從庫故障分庫故障Proxy故障自定義實(shí)驗(yàn)……平臺特性/原則：與Starlink融合持續(xù)集成通過Starlink向ASTA發(fā)起混沌實(shí)驗(yàn)測試結(jié)果向制品打標(biāo)實(shí)驗(yàn)過程融合實(shí)驗(yàn)已知事件+預(yù)期結(jié)果已知事件+意外結(jié)果未知事件+意外結(jié)果監(jiān)控狀態(tài)恢復(fù)系統(tǒng)測試右移和開發(fā)人員確認(rèn)系統(tǒng)相關(guān)故障模擬和重現(xiàn)生產(chǎn)故障平臺特性/原則：安全合規(guī)物理安全網(wǎng)絡(luò)安全生產(chǎn)與測試環(huán)境隔離服務(wù)器安全測試負(fù)責(zé)人專職管理授權(quán)登錄統(tǒng)一運(yùn)維與監(jiān)控權(quán)限控制服務(wù)器登錄權(quán)限應(yīng)用部署權(quán)限測試權(quán)限資源安全用戶單點(diǎn)登錄權(quán)限管理：案例、服務(wù)器應(yīng)用應(yīng)用的相關(guān)用戶從CMS系統(tǒng)同步恢復(fù)系統(tǒng)訪問權(quán)限控制數(shù)據(jù)安全生產(chǎn)數(shù)據(jù)脫敏DB服務(wù)器獨(dú)立管理，不可登錄04 實(shí)踐案例分布式事務(wù)的數(shù)據(jù)庫網(wǎng)絡(luò)實(shí)驗(yàn)StorageRMDBAccountRMDBTMOrderRMDBTCDB案例場景已有的網(wǎng)絡(luò)混沌實(shí)驗(yàn)沒有發(fā)現(xiàn)問題——網(wǎng)絡(luò)實(shí)驗(yàn)（丟包、延時(shí)、限流）未發(fā)現(xiàn)問題故障演練發(fā)現(xiàn)問題——DB

Proxy故障演練發(fā)現(xiàn)連接池鏈接超時(shí)問題分析及改進(jìn)方案根因分析Proxy故障導(dǎo)致MySQL登錄請求丟失，應(yīng)用一直等待響應(yīng)直到連接超時(shí)改進(jìn)的實(shí)驗(yàn)方案約束：根據(jù)安全合規(guī)要求，即使測試環(huán)境也不能登錄DB服務(wù)器進(jìn)行故障注入操作SQL請求分析：分析分布式事務(wù)中所有SQL請求，對SQL請求進(jìn)行分類模擬方案：利用iptables+tc針對某類SQL請求進(jìn)行隨機(jī)丟包或限流實(shí)驗(yàn)來模擬網(wǎng)絡(luò)故障實(shí)驗(yàn)設(shè)計(jì)和驗(yàn)證實(shí)驗(yàn)場景針對數(shù)據(jù)庫分類SQL請求模擬網(wǎng)絡(luò)丟包或限流，驗(yàn)證不同丟包概率和流量下的實(shí)驗(yàn)結(jié)果。Try階段創(chuàng)建全局事務(wù)SQLTry階段創(chuàng)建分支事務(wù)SQLTry階段業(yè)務(wù)SQLCommit階段異步事務(wù)