移動(dòng)端APP自動(dòng)化兼容性測(cè)試的提效之路

1、移動(dòng)端APP自動(dòng)化兼容性測(cè)試的提效之路CONTENTS0102兼容性測(cè)試的需求和問(wèn)題自動(dòng)化兼容性測(cè)試的設(shè)計(jì)和實(shí)現(xiàn)自動(dòng)化兼容性測(cè)試的提效之路0301兼容性測(cè)試的需求和問(wèn)題移動(dòng)App兼容性測(cè)試目標(biāo)移動(dòng)App兼容 性測(cè)試硬件兼容操作系統(tǒng)兼容軟件兼容分辨率其它硬件瀏覽器其它軟件iOSAndroid其它運(yùn)行正常顯示正常測(cè)試方式 - 手工測(cè)試優(yōu)點(diǎn)簡(jiǎn)單、可控容易發(fā)現(xiàn)和確定問(wèn)題不足測(cè)試時(shí)長(zhǎng)隨機(jī)型數(shù)量線性增長(zhǎng)無(wú)法重用測(cè)試方式 自動(dòng)化測(cè)試優(yōu)點(diǎn)部分場(chǎng)景可高并發(fā)執(zhí)行測(cè)試可重用不足并非所有場(chǎng)景可實(shí)現(xiàn)可能遺漏測(cè)試中的問(wèn)題兼容性測(cè)試實(shí)施效率設(shè)備任務(wù)人效率：在12天內(nèi)完成Top100的測(cè)試任務(wù)工具兼容性測(cè)試提效目標(biāo)設(shè)備效率：

2、在12天內(nèi)完成Top100的測(cè)試任務(wù)任務(wù)效率：1天內(nèi)完成Top100300的測(cè)試任務(wù)人工具兼容性測(cè)試提效方式效率：1天內(nèi)完成Top100300的測(cè)試任務(wù)工具顯著提效簡(jiǎn)單易用測(cè)試 工具測(cè)試平臺(tái)02自動(dòng)化兼容性測(cè)試的實(shí)現(xiàn)自動(dòng)化兼容性測(cè)試流程需求分析App試玩測(cè)試準(zhǔn)備測(cè)試執(zhí)行異常檢查報(bào)告匯總測(cè)試后測(cè)試中測(cè)試前自動(dòng)化兼容性測(cè)試 工具本地調(diào)試錄制腳本測(cè)試執(zhí)行線上調(diào)試線上執(zhí)行 工具：腳本錄制和調(diào)試自動(dòng)化兼容性測(cè)試工具的設(shè)計(jì)目標(biāo)減低腳本編寫(xiě)和維護(hù)門(mén)檻在較短時(shí)間內(nèi)實(shí)現(xiàn)滿足測(cè)試需求的自動(dòng)化腳本產(chǎn)生的自動(dòng)化腳本應(yīng)能在各種機(jī)型上正常運(yùn)行降低用戶使用工具的成本允許用戶無(wú)需具有編程經(jīng)驗(yàn)用戶容易理解和修改腳本自動(dòng)化兼容性

3、測(cè)試工具 - lyra以錄制方式產(chǎn)生腳本在工具窗口，邊操作邊生成腳本在工具窗口，右鍵插入預(yù)置的通用函數(shù)在手機(jī)設(shè)備，錄制多點(diǎn)觸屏操作，并生成腳本lyra工具 腳本展示 & 編輯雙模式展示腳本視圖模式：圖形化展現(xiàn)用戶當(dāng)時(shí)的操作腳本模式：允許手動(dòng)編輯生成的腳本lyra工具 錄制 & 編輯lyra工具 回放查看工具執(zhí)行效果的視頻自動(dòng)化兼容性測(cè)試流程異常檢查報(bào)告匯總測(cè)試后線上執(zhí)行截屏&錄屏執(zhí)行腳本上報(bào)數(shù)據(jù) 平臺(tái)：干預(yù)執(zhí)行 & 異常檢查自動(dòng)化兼容性測(cè)試平臺(tái)的設(shè)計(jì)目標(biāo)允許在執(zhí)行過(guò)程中允許人工干預(yù)以解決問(wèn)題處理兼容性測(cè)試過(guò)程中的出現(xiàn)的意外過(guò)程處理一些復(fù)雜場(chǎng)景，如精確移動(dòng)到某個(gè)位置等自動(dòng)化兼容性測(cè)試平臺(tái)的設(shè)計(jì)目

4、標(biāo)提供一個(gè)平臺(tái)檢查執(zhí)行過(guò)程中的UI異常或其它問(wèn)題用戶可以方便查看自動(dòng)化執(zhí)行過(guò)程中的截屏或錄屏自動(dòng)化兼容性測(cè)試平臺(tái) - ITA“手自一體”的兼容性測(cè)試方案手自一體測(cè)試注冊(cè)任務(wù)手自一體測(cè)試查看異常設(shè)備列表手自一體測(cè)試干預(yù)異常設(shè)備自動(dòng)化兼容性測(cè)試平臺(tái) - ITA以設(shè)備為單位的操作圖片展示自動(dòng)化兼容性測(cè)試平臺(tái) - ITA優(yōu)點(diǎn)：支持干預(yù)，減少腳本修改成本，允許腳本不那么健壯簡(jiǎn)單&靈活，滿足快速完成兼容性測(cè)試任務(wù)的需求03自動(dòng)化兼容性測(cè)試的提效之路自動(dòng)化兼容性測(cè)試階段耗時(shí)需求分析App試玩測(cè)試準(zhǔn)備測(cè)試執(zhí)行異常檢查報(bào)告匯總測(cè)試后測(cè)試中測(cè)試前耗時(shí)：70%90%提效一：提高干預(yù)效率自動(dòng)化兼容性測(cè)試階段耗時(shí)線上調(diào)

5、試錄制腳本本地調(diào)試測(cè)試執(zhí)行線上執(zhí)行截屏&錄屏執(zhí)行腳本上報(bào)數(shù)據(jù)耗時(shí)：2040%批量干預(yù)選中具有相同異常畫(huà)面的設(shè)備，同時(shí)進(jìn)行干預(yù)效率提升 30%50%提效二：更改腳本執(zhí)行方式現(xiàn)有腳本執(zhí)行方式的問(wèn)題自動(dòng)化腳本邏輯復(fù)雜非確定行為路徑循環(huán)路徑基于智能探索的腳本執(zhí)行方式自動(dòng)化執(zhí)行三步驟定義和標(biāo)記場(chǎng)景執(zhí)行測(cè)試報(bào)告匯總場(chǎng)景標(biāo)記場(chǎng)景操作基于智能探索的腳本執(zhí)行方式定義和標(biāo)記場(chǎng)景基于智能探索的腳本執(zhí)行方式測(cè)試執(zhí)行三步驟識(shí)別場(chǎng)景選擇操作進(jìn)行操作基于智能探索的腳本執(zhí)行方式測(cè)試執(zhí)行三步驟識(shí)別場(chǎng)景選擇操作進(jìn)行操作基于智能探索的腳本執(zhí)行方式測(cè)試執(zhí)行三步驟識(shí)別場(chǎng)景選擇操作進(jìn)行操作基于智能探索的腳本執(zhí)行方式未知場(chǎng)景處理三步驟特征

6、識(shí)別圖片監(jiān)控高亮識(shí)別基于智能探索的腳本執(zhí)行方式未知場(chǎng)景處理三步驟特征識(shí)別圖片監(jiān)控高亮識(shí)別基于智能探索的腳本執(zhí)行方式未知場(chǎng)景處理三步驟特征識(shí)別圖片監(jiān)控高亮識(shí)別智能探索工具優(yōu)點(diǎn)：無(wú)需用戶干預(yù)解決了有向路徑圖的邏輯復(fù)雜問(wèn)題干預(yù) 耗時(shí)：0提效三：提升圖片識(shí)別準(zhǔn)確性和識(shí)別效率現(xiàn)有的圖片識(shí)別方案舊有方案基于模版匹配(12s/pic)基于特征匹配(0.30.6s/pic)問(wèn)題識(shí)別準(zhǔn)確性識(shí)別時(shí)間提升圖片識(shí)別準(zhǔn)確性和識(shí)別效率識(shí)別準(zhǔn)確性準(zhǔn)確率：80% - 95%支持特定對(duì)象識(shí)別基礎(chǔ)識(shí)別模塊特殊識(shí)別模塊特征匹配固定位置快速處理特征點(diǎn)快速過(guò)濾模板匹配多尺度對(duì)象直接定位法特殊對(duì)象特殊場(chǎng)景文字動(dòng)畫(huà)透明高亮過(guò)場(chǎng)動(dòng)畫(huà)合理校準(zhǔn)檢查模尺度 塊比例相似度識(shí)別效率提效四：減少UI異常圖片檢查耗時(shí)自動(dòng)化兼容性測(cè)試平臺(tái)的實(shí)現(xiàn)以設(shè)備為單位的操作圖片展示 & 圖片比較的差異化顯示三萬(wàn)張圖 片，圖片檢 查時(shí)間從23小時(shí)縮 小到1小時(shí)減小UI異常圖片的檢查時(shí)間成效：支持更多圖片檢查，減少圖