持續(xù)性能提升的最佳實踐

QCon全球軟件開發(fā)大會離枝鹽升大綱-持續(xù)性能提升的難點-生產(chǎn)全鏈路壓測背景和概念-生產(chǎn)全鏈路壓測落地難點-生產(chǎn)全鏈路云遷移業(yè)務(wù)連續(xù)性案例Info

Info傳統(tǒng)性能測試的缺陷硬件配置網(wǎng)絡(luò)環(huán)境數(shù)據(jù)庫配置中間件規(guī)模數(shù)據(jù)規(guī)模應(yīng)用規(guī)模流量模型硬件配置網(wǎng)絡(luò)環(huán)境數(shù)據(jù)庫配置中間件規(guī)模數(shù)據(jù)規(guī)模應(yīng)用規(guī)模流量模型缺乏真實性不能形成有效反饋不能進(jìn)入正反饋模型ConInfoQ什么是生產(chǎn)全鏈路壓測什么是生產(chǎn)全鏈路壓測InfoInfo什么是生產(chǎn)全鏈路壓測什么是生產(chǎn)全鏈路壓測InfoInfo壓測壓測?壓力引擎

?性能分析生產(chǎn)環(huán)境-數(shù)據(jù)隔離?流量識別-安全保護(hù)?實時監(jiān)控

全鏈路?鏈路治理?多場景混合?流量模型我需要做生產(chǎn)全鏈路壓測嗎我需要做生產(chǎn)全鏈路壓測嗎InfoInfo我需要做生產(chǎn)全鏈路壓測嗎我需要做生產(chǎn)全鏈路壓測嗎InfoInfo生產(chǎn)全鏈路壓測歷史生產(chǎn)全鏈路壓測歷史InfoInfo-2013年誕生：阿里巴巴第一次生產(chǎn)全鏈路壓測實踐-2015-2017年：極客公司開始嘗試-2018年：第一款企業(yè)級生產(chǎn)全鏈路壓測產(chǎn)品誕生-2020年：生產(chǎn)全鏈路壓測開始進(jìn)入大眾市場-分布式系統(tǒng)-研發(fā)人數(shù)超過50人-系統(tǒng)規(guī)模超過100臺-有專門性能測試同學(xué)-業(yè)務(wù)快速增長生產(chǎn)全鏈路壓測落地QCon全球軟件開發(fā)大會InfoQ生產(chǎn)全鏈路壓測架構(gòu)場景層平臺層全鏈路壓測全鏈路監(jiān)控故障演練容量評估ETE巡檢系統(tǒng)限流&降級系統(tǒng)瓶頸鏈路監(jiān)控壓測方案管理壓測報告壓發(fā)力起壓控測制隔管離控il壓測腳本壓測總覽壓測執(zhí)行應(yīng)用管理鏈路概覽調(diào)用鏈查詢QCon全球軟件開發(fā)大會域名分析入口分析調(diào)度引擎壓測試跑靜態(tài)信息驗證影子庫表配置架構(gòu)治理限降流級應(yīng)用

分析接入資物理機(jī)docker層源虛擬機(jī)云主機(jī)訂單轉(zhuǎn)運簽收攬收派送售后業(yè)務(wù)流程配置入口頗限流規(guī)則命令配置業(yè)務(wù)活動配置

服務(wù)岀口分析流量控制場景配置系統(tǒng)流程識su

系統(tǒng)流程比對降級策略演練控制中間件識別強(qiáng)弱做標(biāo)注熔斷配置演練報告應(yīng)用一覽應(yīng)用調(diào)用來源應(yīng)用調(diào)用去向應(yīng)用服務(wù)分析消息隊列分析數(shù)據(jù)庫分析緩存分析關(guān)鍵路徑分析遠(yuǎn)程調(diào)用消息系統(tǒng)緩存數(shù)據(jù)庫數(shù)據(jù)存儲緩存數(shù)據(jù)庫消息系統(tǒng)InfoQ數(shù)據(jù)隔離數(shù)據(jù)隔離數(shù)據(jù)隔離數(shù)據(jù)隔離正常流量壓測流量4Web服務(wù)器1遠(yuǎn)程調(diào)用中間件應(yīng)用1 壓測可識別2 壓測流量識別之后的傳遞3 緩存和儲存將壓測數(shù)據(jù)存儲到影子區(qū)域?消息過濾器?正常Topic?影子Topic?緩存過濾器?正常區(qū)域?影子區(qū)域?搜索過濾器?正常索引?影子索引?存儲過濾器?正常庫?影子庫QCon全球軟件開發(fā)大會InfoG數(shù)據(jù)隔離設(shè)計與現(xiàn)實QCon全球軟件開發(fā)大會InfoQRocketMQ隔離設(shè)tQCon全球軟件開發(fā)大會QCon全球軟件開發(fā)大會InfoGInfoInfoInfoInfo RocketMQ隔離現(xiàn)實 消息發(fā)送-同步發(fā)送 -異步發(fā)送 ?Oneway發(fā)送 -單條發(fā)送?批量發(fā)送?事務(wù)消息

消息接收?推模式?拉模式 ?無序消費?順序消費?自動提交 ?手動提交?默認(rèn)線程池?自定義線程池

異常情況?消費失敗?重試隊列?死信隊列?版本兼容隔離設(shè)計的其他現(xiàn)實壓測中T項目啟動.氾圍確疋鏈路梳理]鏈路調(diào)試壓測數(shù)據(jù)準(zhǔn)備壓測場景配置鏈路試跑壓測執(zhí)行鏈路調(diào)試提前規(guī)避風(fēng)險數(shù)據(jù)偏移,脫敏白名單測試環(huán)境試跑

壓測啟動檢查

漏數(shù)檢查

數(shù)據(jù)隔離擋板生產(chǎn)環(huán)境試跑壓測終止緊急預(yù)案兜底檢查QCon全球軟件開發(fā)大會推廣問題降低接入

成本AllIn One的使用體驗培養(yǎng)種子

用戶爭取高層支持 JconInfoQ 常態(tài)化問題 成立性能運營小組性能瓶頸優(yōu)

化check性能瓶頸優(yōu)

化check性能小組生產(chǎn)準(zhǔn)入check生產(chǎn)風(fēng)

險監(jiān)控延期風(fēng)險產(chǎn)品線開發(fā)復(fù)核問題

瓶頸是否

修復(fù)QCon全球軟件開發(fā)大會常態(tài)化壓測啟壓測準(zhǔn)備存在風(fēng)

險產(chǎn)品線開發(fā)生產(chǎn)

壓測瓶頸優(yōu)

化任務(wù)

列表處理 任務(wù)協(xié)助解決處理記錄任務(wù)升級復(fù)核瓶頸

修復(fù)是否

延期任務(wù) 升級架構(gòu)師/其他

團(tuán)隊協(xié)助InfoQ常態(tài)化問題?挖掘鏈路和請求數(shù)據(jù)-自動的鏈路梳理發(fā)現(xiàn)環(huán)境問題?自動發(fā)現(xiàn)新增服務(wù)、參數(shù)變化?自動發(fā)現(xiàn)數(shù)據(jù)庫變化QCon全球軟件開發(fā)大會InfoQInfoInfo配置名稱0000002＜返回配置名甲＜退回業(yè)務(wù)活動名稱-調(diào)試業(yè)多請求信息清求信息Http://qu2j222j3.281919923m:h333nmemoryj>ool_byte_mejvm_me...jvm^memory_pooLbyte_mejvm_me…jvm.memoryj>ooLbyte_mejvm^me...當(dāng)Jvm.memorY_pooLbytc_meJvm.me...調(diào)試ID:GFERKIS1 響成狀態(tài)碼：200用總時長：168msAccept:*/*、Cache-Control:no-cache.Content-Type:appli...(??userid**:“tommy”，-productldM:w84j33,23,\Mtimew:12332{...調(diào)用棧5應(yīng)用/Agent日志張三輸入?yún)?shù)0102052020-01-0812:00:00數(shù)據(jù)上證ojvm_memory_po_memoryj)q...DmsMallDmsMall配置名稱0000002＜返回配置名甲＜退回業(yè)務(wù)活動名稱-調(diào)試業(yè)多請求信息清求信息Http://qu2j222j3.281919923m:h333nmemoryj>ool_byte_mejvm_me...jvm^memory_pooLbyte_mejvm_me…jvm.memoryj>ooLbyte_mejvm^me...當(dāng)Jvm.memorY_pooLbytc_meJvm.me...調(diào)試ID:GFERKIS1 響成狀態(tài)碼：200用總時長：168msAccept:*/*、Cache-Control:no-cache.Content-Type:appli...(??userid**:“tommy”，-productldM:w84j33,23,\Mtimew:12332{...調(diào)用棧5應(yīng)用/Agent日志張三輸入?yún)?shù)0102052020-01-0812:00:00數(shù)據(jù)上證ojvm_memory_po_memoryj)q...DmsMallDmsMallDmsMallDmsMallrtemcenterRedis響應(yīng)信息插件調(diào)試日志Rabbit6ac0622f16067307742374922d0001Accept:*/*、Cache-Control:no-cacheContent-(*useridM:"tommy”.*producttd*:w84j33t23wtimeio.shulie.center.base.api.service.Channelserviceio.shulie.center.base.api.service.Channelserviceio.shulie.center.base.api.service.Channelserviceio.shulie.center.base.api.service.Channelserviceio.shulie.center.base.api.service.Channelserviceredis10293?成】I問題分析配置異常：(EA0001)白名單方法沒配置、(EA0002)影子庫表用戶名密碼不匹配輸入?yún)?shù)MQ2341Mysql10293Mysql10293請求Header Accept:*/*、Cache-Control:no-cacheKContent-Type:appli...▼請求Header Accept:*/*、Cache-Control:no-cachevContent-Type:appli...▼[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bfl0|true|l|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1|true|1|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1.2|true|1|dubbopuglindebugsenderdoorIsclose![2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bfl0|true|l|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1|true|1|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1.2|true|1|dubbopuglindebugsenderdoorIsclose![2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bfl0|true|l|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1|true|1|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1.2|true|1|dubbopuglindebugsenderdoorisclose![2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bfl0|true|l|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1|true|l|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1.2|true|1|dubbopuglindebugsenderdoorisclose![2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bfl0|true|1|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271(X)4d88bf|0.1|true|l|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1.2|true|1|dubbopuglindebugsenderdoorisclose![2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bfl0|true|1|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1|true|l|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271CX)4d88bfl0.1.2|true|1|dubbopuglindebugsenderdoorisclose![2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bfl0|true|1|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1|true|l|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bfl0.1.2|true|1|dubbopuglindebugsenderdoorisclose![2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0|true|1|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1.2|true|1|dubbopuglindebugsenderdoorisclose![2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0|true|l|httppuglindebuginfo;I機(jī)器性能?成】類型Before(進(jìn))Before(出)Exception(進(jìn))Exception(出)CPU利用率16%16%16%16%?失9CPU負(fù)載6.546.546.546.54常態(tài)化問題 賦能研發(fā)??QConQCon全球軟件開發(fā)大會InfoQ成為新基礎(chǔ)設(shè)施系統(tǒng)發(fā)布后，與流水線集成，驗證生產(chǎn)環(huán)境性能基線月度性能驗收，3*24小時生產(chǎn)環(huán)境壓測大促保障中生產(chǎn)環(huán)境單接口、單鏈路壓測有性能潔癖的工程師文化大促保障中生產(chǎn)環(huán)境全鏈路、全場景壓測大項目重構(gòu)后，進(jìn)行生產(chǎn)環(huán)境相關(guān)鏈路的壓測上云或者云遷移后，進(jìn)行生產(chǎn)環(huán)境全鏈路壓測通過生產(chǎn)環(huán)境全鏈路壓測進(jìn)行多機(jī)房的定期容量驗證有性能潔癖的工程師文化QCon全球軟件開發(fā)大會QCon全球軟件開發(fā)大會云遷移案例2020年底，A公司做出了一項重大決策，要將公司業(yè)務(wù)從阿里云平臺遷移至華為云平臺。公司現(xiàn)有業(yè)務(wù)包含上百個應(yīng)用以及數(shù)十PT的數(shù)據(jù)都要進(jìn)行遷移，如何安全高效地完成遷移成了大家最關(guān)心的問題InfoQ云遷移案例云遷移案例云遷移案例云遷移案例\ 在生產(chǎn)環(huán)境直接利用現(xiàn)有數(shù)據(jù)進(jìn)行性能壓測，完成后 /' 只對