01銀行自動化測試過程分析實踐

1、5月28-29日主辦方：銀試過程提升實踐曾慶熙/銀試開發(fā)工程師曾慶熙/銀試開發(fā)工程師負責功能測試、性能測試、精準測試相關(guān)平臺的設(shè)計和開發(fā)Contents目錄01020304銀試痛點整體方案和目標自動化測試過程提升實踐精準測試在測試過程中的應用06總結(jié)和展望05 效果與01銀試痛點痛點1: 測試分析難度高結(jié)果數(shù)據(jù)好多，好復雜子系統(tǒng)1子系統(tǒng)2非應用結(jié)果分析數(shù)據(jù)復雜人工成本高類型多樣子系統(tǒng)n官網(wǎng)：代碼掃描安全掃描編譯構(gòu)建日志SQL掃描代碼覆蓋率覆蓋率數(shù)據(jù)增量覆蓋率單元測試接口測試自動化測試日志性能測試UI測試DevOps流水線編譯構(gòu)建部署環(huán)境巡檢開發(fā)驗證SIT驗證預發(fā)驗證發(fā)布痛點2: 測試環(huán)境復雜,

2、問題定位難怎么定位哪里出現(xiàn)問題？A環(huán)境1需求1接口1APP1子系統(tǒng)1B環(huán)境2需求2接口2APP2子系統(tǒng)2APP3Z環(huán)境n需求n接口n子系統(tǒng)n官網(wǎng)：痛點3: 前置時間久,失敗成本高T+0重新埋數(shù)跑批T+1T+2埋數(shù)跑批校驗失敗T+N埋數(shù)跑批校驗結(jié)果官網(wǎng)：埋數(shù)跑批校驗埋數(shù)跑批校驗痛點4: 測試過程數(shù)據(jù)難評估測試評估靠經(jīng)驗？風險太高了版本上線后測試執(zhí)行中發(fā)現(xiàn)生產(chǎn)缺陷，如何確定用例和代碼范圍？維護成本高，怎么識別有效用例？ 遇到系統(tǒng)重構(gòu)，怎么有效圈定回歸用例范圍？n?需求開發(fā)前n RD自測怎么圈定用例范圍？n 代碼影響范圍涉及用例是哪些？n 用例是否有效覆蓋改動代碼？n 測試結(jié)果是否可信？n nnn

3、需求影響范圍涉及的系統(tǒng)有哪些？n 需求影響范圍涉及的代碼有哪些？n n官網(wǎng)：02 整體方案和目標測試過程提升目標精準測試精準評估范圍，測試分析自動化利用數(shù)據(jù)分析技術(shù)，實現(xiàn)智能化測試體驗，減少人工干預，提升QA團隊測試效率測試過程數(shù)據(jù)，提升RD團隊和QA團隊的數(shù)據(jù)化交流，消滅盲區(qū)測試效能提升提升效率和質(zhì)量自動化測試過程分析整體建設(shè)應用層數(shù)據(jù)分析層數(shù)據(jù)倉庫數(shù)據(jù)源應用系統(tǒng)單元測試大數(shù)據(jù)測試UI測試性能測試接口測試系統(tǒng)日志系統(tǒng)過程數(shù)據(jù)自動化測試日志自動化過程數(shù)據(jù)自動化測試數(shù)據(jù)精準測試模塊代碼覆蓋分析表覆蓋分析系統(tǒng)鏈路分析用例回溯接口鏈路分析用例推薦SQL運行分析異常日志報文預處理關(guān)鍵字段提取案例智能編

4、排案例倒排索引案例拓撲圖數(shù)值統(tǒng)計斷言生成參數(shù)生成報文環(huán)境巡檢錯誤聚類流量回放測試分析自動化模塊范圍覆蓋用例用例生成環(huán)境巡檢歸因分析03 自動化測試過程提升實踐實踐1：自動化測試日志分析n 總體設(shè)計自動化分析調(diào)度模板預處理規(guī)則干預報文 敗訓練識別 歸 知識庫歸因類別生成異常類別日志異常檢檢測識別日志測規(guī)則配置關(guān)鍵字輸入關(guān)聯(lián)檢索日志聚合智 能 檢 索因失接口流量日志數(shù)據(jù)操作日志自定義腳本日志子用例執(zhí)行日志系統(tǒng)日志覆蓋率鏈路數(shù)據(jù)SQL數(shù)據(jù)明細數(shù)據(jù)聚合數(shù)據(jù)MySQLRedisESMySQLES應用系統(tǒng)測試平臺實踐1：自動化測試日志分析n 失敗歸因流程分析預處理聚合異步數(shù)據(jù)異步字段分解接口流量分析引擎相

5、似度計算基準規(guī)則同步消息分數(shù)擇優(yōu)DBESZK子用例分析引擎標注字段集知識庫關(guān)聯(lián)數(shù)據(jù)歸因類別腳本日志分析引擎功能特點：1. 實時展示自動化測試狀況2. 自定義調(diào)整失敗歸因精度3. 多種類型自動化日志失敗歸因分析引擎訓 練 引 擎數(shù)據(jù)日志分析引擎實告測試報告同步客戶端數(shù)值統(tǒng)計分析任務接口數(shù)據(jù)歸因匯總失敗識別kafkakafka歸因類別關(guān)聯(lián)數(shù)據(jù)1n消息精準測試自動化測試接口文檔平臺實踐1：自動化測試日志分析n 失敗歸因失敗歸因原始自動化日志優(yōu)勢：1. 失敗日志自動歸因2. 快速定位測試問題實踐2：環(huán)境巡檢n 環(huán)境巡檢系統(tǒng)類n 系統(tǒng)情況n 系統(tǒng)實例業(yè)務邏輯n 案例執(zhí)行擋板類n 接口擋板n 函數(shù)擋板資源

6、依配置類n 文件配置n 數(shù)據(jù)庫配置n CPU占用n 內(nèi)存占用n 磁盤占用n 依健康度n 消息總線系統(tǒng)實踐2：環(huán)境巡檢n 環(huán)境修復擋板類n 接口擋板操作n 函數(shù)擋板操作配置類n 文件配置修改n 數(shù)據(jù)庫配置修改智能修復n 機器學習模型依n 部署或重啟實踐2：環(huán)境巡檢n 效果示例實踐3：用例回放n 建設(shè)思路報文回放步驟回放基于接口流量錄制回放支持版本回歸兼容性測試和生命周期測試測試數(shù)據(jù)反復回歸驗證，節(jié)省跑批時間和減少用例編寫基于用例步驟錄制回放支持自動化用例步驟測試數(shù)據(jù)反復回歸驗證，節(jié)省前置自動化步驟執(zhí)行時間實踐3：用例回放n 步驟回放-流程與原理步驟錄制回放原理步驟回放測試流程AOP植入模塊生命周

7、期流水線用例回放動態(tài)植入動態(tài)植入自動化步驟execute()afterbefore錄制埋數(shù)數(shù)據(jù)第一階段: 批前埋數(shù)數(shù)據(jù)DB獲取埋數(shù)數(shù)據(jù)數(shù)據(jù)獲取第二階段: 批后校驗回放工具回放批后校驗自動化步驟beforeexecute()用例回放驗證結(jié)果業(yè)務跑批批量計劃實踐3：用例回放n 報文回放-大數(shù)據(jù)測試場景實踐原有測試流程： Case 1 埋數(shù) 日切+跑批+推數(shù) Case 2 埋數(shù) Case N 埋數(shù)流量回放方案:人工抽查，隱患大T0和T1結(jié)果比對流量自動回放，自動比對，無需編寫自動化腳本對比T0和T1的返回報文保存T0的請求、返回報文1、使用T0的請求報文請求T1 2、保存T1的返回報文T1數(shù)據(jù) T1

8、數(shù)據(jù) T1數(shù)據(jù)T0數(shù)據(jù) T0數(shù)據(jù) T0數(shù)據(jù)實踐3：用例回放n 報文回放-效果示例實踐4：案例智能編排n 算法思路n 效果示例編排后: 10min用例列表A B C D編排前: 15min線程1:線程1:線程2:線程2:CABCABDD計劃運行影響因子編排生成系統(tǒng)需求優(yōu)先級用例調(diào)度評估用例調(diào)試日志運行時間并發(fā)數(shù)評估失敗頻率重試次數(shù)評估并發(fā)超時計劃運行日志執(zhí)行時間評估用例執(zhí)行優(yōu)先級實踐5：案例跟蹤分析n 設(shè)計思路測試數(shù)據(jù)管理平臺條線數(shù)據(jù)形態(tài)倒排索引優(yōu)勢：1.自動化測試過程2. 測試資產(chǎn)自動沉淀用例拓撲圖凍結(jié)銷戶轉(zhuǎn)賬智能測試案例生成測試地圖案例推薦數(shù)據(jù)表-用例子用例-用例接口-用例數(shù)據(jù)血緣自動化執(zhí)行

9、計劃運行用例執(zhí)行執(zhí)行植入測試數(shù)據(jù)采集用例鏈路采集接口鏈路采集參數(shù)鏈路采集實踐5：案例執(zhí)行跟蹤分析n 效果示例04 精準測試在測試過程中的應用問題思考變更影響如何評估？案例如何最小化？如何快速回歸？如何快速定位問題？測試內(nèi)容可視化？精準測試的作用sql語法分析耗時分析索引命中影響行數(shù)案例運行關(guān)鍵字匹配異常實時日志 案例代碼覆蓋案例推薦函數(shù)跟蹤案例縮減用例調(diào)試鏈路跟蹤接口調(diào)用鏈接口內(nèi)容通過工具，將用例，系統(tǒng)，代碼，SQL，接口，日志自動建立關(guān)聯(lián)被測系統(tǒng)SQL日志代碼調(diào)用鏈接口調(diào)用鏈產(chǎn)生的價值開發(fā)團隊測試團隊ü 用例推薦，提升自測效率ü 了解用例的執(zhí)行邏輯，提升用例質(zhì)量ü

10、; 進行用例調(diào)試ü SQL分析，識別慢ü 缺陷修復，精準定位到相關(guān)用例，進行自測ü 高頻分析ü 了解變更范圍，提升測試效率ü 熟悉代碼/接口邏輯，加深業(yè)務了解，提高用例質(zhì)量ü 熟悉用例影響的類，表，接口ü 缺陷分析ü 用例分析，用例最小化ü 結(jié)果分析提升效率和質(zhì)量代碼案例數(shù)據(jù)化交流，消滅盲區(qū)ü 用例運行的相關(guān)數(shù)據(jù)ü 代碼運行堆棧ü 代碼函數(shù)入?yún)⒊鰠?#252; SQL執(zhí)行詳細語句精準平臺架構(gòu)業(yè)務系統(tǒng)agent構(gòu)建平臺測試平臺測試流水線UI層業(yè)務層數(shù)據(jù)層日志庫精準知識庫git代

11、碼差異分析SQL分析日志分析接口分析案例關(guān)聯(lián)案例推薦案例聚類分析接口鏈路跟蹤函數(shù)調(diào)用鏈分析案例調(diào)試系統(tǒng)版本管理智能缺陷定位雙向回溯展示用例覆蓋率展示系統(tǒng)視圖展示案例代碼覆蓋率通過案例和代碼的關(guān)聯(lián)，根據(jù)代碼繪制案例的覆蓋率報告案例關(guān)聯(lián)類案例關(guān)聯(lián)覆蓋率識別調(diào)用鏈案例關(guān)聯(lián)報告生成代碼關(guān)聯(lián)案例關(guān)聯(lián)行數(shù)案例代碼覆蓋率效果案例推薦流程通過案例和代碼的關(guān)聯(lián)，根據(jù)代碼變更進行案例自動推薦案類調(diào)用鏈案案例關(guān)聯(lián)變更分析代碼變更案行數(shù)案例推薦例關(guān)聯(lián)類變動例關(guān)聯(lián)方變更法例關(guān)聯(lián)行變更數(shù)案例推薦效果圖案例執(zhí)行SQL動態(tài)分析主要規(guī)則如下：12執(zhí)行耗時超過500msSQL語句執(zhí)行掃描34語句沒有走索引關(guān)聯(lián)表超過3張表56語句

12、是否使用外排影響行數(shù)超過5000根據(jù)分析結(jié)果給出建議根據(jù)既定規(guī)則explain分析基于SQL explain 模擬SQL優(yōu)化器分析SQL語句SQL動態(tài)分析結(jié)果展示在案例結(jié)果中了解被測系統(tǒng)的SQL情況以及sql分析結(jié)果案例運行鏈路實時展示在案例結(jié)果中了解案例步驟的真實鏈路應用日志分析測試如何清晰了解日志的異常？日志分析關(guān)鍵字匹配日志文件案例編號/案例日志輸出案例編號知識庫日志分析結(jié)果日志攔截業(yè)務運行關(guān)鍵字類別說明Table '*' doesn't existTABLE_ERROR表不column '*' does not existTABLE_ERROR列不Lock wait timeoutTABLE_ERROR數(shù)據(jù)庫表鎖超時