手機客戶端多級發(fā)布體系及云分析測試系統(tǒng)

1、移動客戶端多級發(fā)布體系及云分析測試系統(tǒng)目錄? 移動應(yīng)用現(xiàn)狀? 移動應(yīng)用質(zhì)量保障的挑戰(zhàn)? 趕集網(wǎng)移動應(yīng)用質(zhì)量保障體系? 整體架構(gòu)及應(yīng)用流程? 關(guān)鍵系統(tǒng)介紹移動設(shè)備碎片化操作系統(tǒng)多重長尾來自于趕集的數(shù)據(jù)3401廠商20370型號416分辨率燒錢的時代用戶獲取成本高昂質(zhì)量關(guān)鍵指標62%遭遇過crash47%遇到過加載慢26%因質(zhì)量問題差評79%首次使用卸載O2O產(chǎn)品特性地理位置支付快速發(fā)布流程場景開發(fā)代碼提交手工打包測試發(fā)布?代碼及工程缺陷?前后端聯(lián)調(diào)困局傳統(tǒng)的質(zhì)量保障流程?開發(fā)成為流程關(guān)鍵路徑?開發(fā)資源占用?人為缺陷?流程效率瓶頸?測試方法低效單一?非功能質(zhì)量缺陷?人工發(fā)布?線上監(jiān)控缺失?用戶反饋

2、收集成本較高移動應(yīng)用質(zhì)量保障的挑戰(zhàn)節(jié)奏變快，壓力變大需求及市場運營層面對研發(fā)體系提出了更高的要求 難度及成本增加劇增的終端設(shè)備、系統(tǒng)類型，使得非功能測試的成本及難度都成倍增加 復(fù)雜度增加相對于傳統(tǒng)的移動應(yīng)用，O2O 的應(yīng)用場景使得功能測試的復(fù)雜度增加項目功能非功能無線質(zhì)量保障分層體系測試流程自動化線上質(zhì)量服務(wù)接口自動化API AUTOMATION核心功能自動化UI AUTOMATION灰度數(shù)據(jù)分析GRAY RELEASED穩(wěn)定性測試STABILITY性能測試PERFORMANCE兼容性測試COMPATIBILITY第三方服務(wù)CLOUD3rdPartyService Provider非功能性自動

3、化線上質(zhì)量分析QUALITY ANALYSIS BigDataService線上缺陷監(jiān)控ONLINE MONITORCloudMonitor Service功能性自動化構(gòu)建中心持續(xù)集成測試打包缺陷檢測渠道打包流程控制渠道包校驗敏捷支持自動發(fā)布缺陷管理架構(gòu)拓撲圖Svn/gitcheck indaily buildbuild靜態(tài)掃描負載均衡&任務(wù)隊列Android集群ios集群渠道&證書維護測試包處理渠道包校驗Device masterApi提交集群dbhadoop集群實時統(tǒng)計離線統(tǒng)計反解混淆分析平臺任務(wù)調(diào)度Case中心測試回歸線上監(jiān)控Open api訂閱服務(wù)策略服務(wù)分析服務(wù)報警服務(wù)接口維護&訂閱

4、接口測試框架在線調(diào)試Case維護線上監(jiān)控線上監(jiān)控測試回歸jira度量分析接口自動化平臺編譯配置sdk植入編譯打包信息存儲構(gòu)建中心持續(xù)集成質(zhì)量跟蹤離線聚合線上監(jiān)控平臺SDK平臺功能&非功能自動化平臺缺陷報告設(shè)備中心穩(wěn)定性報告性能報告功能報告包驗證報告質(zhì)量&效率報告平臺間數(shù)據(jù)流平臺內(nèi)數(shù)據(jù)流線下bug數(shù)據(jù)流線上問題數(shù)據(jù)流質(zhì)量報告數(shù)據(jù)流 30% 1 /5 600% 90 21%功能性bug分層體系下的流程實踐 開發(fā) Story測試 集成測試 內(nèi)測/灰度 發(fā)布 一鍵內(nèi)測/灰度 灰度質(zhì)量報告 自動發(fā)布 接口 自動化 接口測試前置 服務(wù)端bug 缺陷掃描 bug 次構(gòu)建 準入測試(70%自動化)45%提測質(zhì)

5、量提升 測試包推送效率提升 STORY功能驗證73%功能性bug專項自動化測試89%非功能性bugUI 自動化 核心功能自動化回歸 min1次提測 集成功能驗證 4%功能性bug11%非功能性bug線上監(jiān)控95%質(zhì)量報告線上問題構(gòu)建中心?測試包推送?灰度、渠道包自動驗證流程支持編譯?混淆文件關(guān)聯(lián)?代碼版本信息關(guān)聯(lián)?SDK套件植入及狀態(tài)配置?測試包推送自動化測試平臺SDK測試套件2.13人天/版本?工程缺陷檢測?釋放打包人力?一鍵內(nèi)測/灰度?iOS內(nèi)測解決方案500%效率提升?渠道維護?自動發(fā)布存儲400%效果提升40+小時/版本非功能自動化方案 穩(wěn)定性提升82%兼容問題減少30%性能提升75%SDKStory測試集成測試灰度發(fā)布線上tag開關(guān)功能功能 monkey用戶用戶非功能自動化之crash分析服務(wù)(1)混淆文件代碼信息構(gòu)建中心分析平臺Story測試報告集成測試報告灰度監(jiān)控、標準判斷、報告線上監(jiān)控、報告Bug系統(tǒng)監(jiān)控系統(tǒng)? 線上監(jiān)控實時? 線上概覽實時實時計算非線上數(shù)據(jù)指標統(tǒng)計數(shù)據(jù)列表數(shù)據(jù)? 問題宏觀統(tǒng)計? 問題定位效率? 問題發(fā)展趨勢離線計算混淆堆棧反解堆棧特征聚合指標數(shù)據(jù)趨勢場景統(tǒng)計聚合? 性能&數(shù)據(jù)均衡分析平臺控制系統(tǒng)數(shù)據(jù)項開關(guān)用戶精準控制非功能自動化之crash分析服務(wù)(2)