自動化測試平臺解決方案設(shè)計V03

實用文檔SmartRobot自動化測試解決方案文案大全實用文檔目錄1.迫切需要解決的問題.......................................................31.1.智能移動設(shè)備的軟件系統(tǒng)和硬件方案的復(fù)雜組合，導(dǎo)致APP實現(xiàn)多機(jī)型兼容難度大，投入大。...........................................................31.2.敏捷開發(fā)、迭代開發(fā)，產(chǎn)品追求快速上線，導(dǎo)致回歸測試可靠性測試等任務(wù)重，形成測試工作量波峰。.....................................................31.3.開發(fā)框架多、開發(fā)人員能力不足導(dǎo)致安全漏洞突出.......................31.4.市場競爭，產(chǎn)品同質(zhì)化嚴(yán)重，追求客戶體驗差異化重要性凸現(xiàn)。...........32.自動化測試平臺整體解決方案...............................................33.自動化測試平臺實現(xiàn)功能...................................................43.1.兼容性測試系統(tǒng).....................................................43.1.1.SMART平臺...................................................43.1.2.智能源碼掃描.................................................63.2.安全監(jiān)控系統(tǒng).......................................................93.2.1.高精度電流監(jiān)控...............................................93.2.2.監(jiān)控應(yīng)用及整機(jī)文件系統(tǒng)......................................103.2.3.監(jiān)控應(yīng)用及整機(jī)數(shù)據(jù)流量監(jiān)控，記錄非法數(shù)據(jù)傳輸?shù)惹闆r..........113.2.4.用戶行為跟蹤，監(jiān)控電話、短信、拍照、攝像、錄音等典型動作....113.3.性能測試系統(tǒng)......................................................123.3.1.響應(yīng)時間測試系統(tǒng)............................................123.3.2.流暢度測試系統(tǒng)..............................................14文案大全實用文檔面臨的問題1.1. 智能移動設(shè)備的軟件系統(tǒng)和硬件方案的復(fù)雜組合，導(dǎo)致APP實現(xiàn)多機(jī)型兼容難度大，投入大。1.2. 敏捷開發(fā)、迭代開發(fā)，產(chǎn)品追求快速上線，導(dǎo)致回歸測試、可靠性測試等任務(wù)重，無法有效應(yīng)對測試工作量波峰。1.3. APP開發(fā)框架多、開發(fā)人員能力不足導(dǎo)致安全漏洞突出1.4. 軟件硬件設(shè)計交叉影響，性能優(yōu)化難度加大。自動化測試平臺整體解決方案為解決移動應(yīng)用開發(fā)商面臨的以問題， 結(jié)局方案設(shè)計如下。可全面解決移動應(yīng)用開發(fā)面臨的兼容性問題、安全性問題、測試工作量波峰、用戶體驗問題，并全程為移動應(yīng)用的開發(fā)保駕護(hù)航。自動化測試平臺兼容性測試系統(tǒng) 安全監(jiān)控系統(tǒng) 性能測試系統(tǒng)SMART平臺 智能源碼掃描 行為監(jiān)控 數(shù)據(jù)流量監(jiān)控 流暢度測試 響應(yīng)時間測試整體解決方案兼容性測試系統(tǒng)：智能源碼掃描，即通過解析APK文件，將源碼與問題特征庫自動比對，查找兼容性問題，并自動生成測試報告。SMART平臺，實現(xiàn)被測設(shè)備管理 +測試用例制作、管理、自動化執(zhí)行、并生成測試報告?？蓪崿F(xiàn) APP的定制用例的多機(jī)自動化運(yùn)行、適配性測試、功能及UI測試；安全監(jiān)控系統(tǒng)：監(jiān)測系統(tǒng)文件變化、監(jiān)測數(shù)據(jù)流量、耗電情況、監(jiān)控非法用文案大全實用文檔戶行為等。性能測試系統(tǒng)：通過專業(yè)的自動化測試設(shè)備（硬件工具） ，測量流暢度卡頓數(shù)據(jù)、量化響應(yīng)時間指標(biāo)，為研發(fā)人員提供毫秒級數(shù)據(jù)，助力改善用戶體驗。解決方案的實現(xiàn)3.1. 兼容性測試系統(tǒng) SMART平臺SMART兼容性測試平臺，提供自動化測試的解決方案，提供用例制作、管理、自動化運(yùn)行、測試結(jié)果自動校驗。無需人員干預(yù)即可實現(xiàn)各類APP自動化用例的運(yùn)行，并自動生成測試報告。測試步驟測試步驟自動化測試腳本開發(fā)真機(jī)運(yùn)行腳本輸出測試報告測試框架文案大全Lua腳本

實用文檔注入測試模塊自動化讀取Lua測試框架獲取畫面顯示信息模擬用戶操作事件模擬

被測APK測試模塊測試框架通過手機(jī)usb接口實現(xiàn)對手機(jī)的控制，完成測試工具及 app的下發(fā)，運(yùn)行及測試結(jié)果的拉取和展示。測試工具采用 lua腳本編寫測試 case，通過進(jìn)程注入技術(shù)獲取屏幕顯示信息，結(jié)合Touch事件模擬，可以實現(xiàn)基于控件級別的復(fù)雜測試case，測試結(jié)果以Log、屏幕截圖等形式輸出。平臺可實現(xiàn)的功能適配性測試：進(jìn)行被測應(yīng)用的安裝、啟動、運(yùn)行、卸載測試，驗證在不同終端類型上是否存在安裝失敗、啟動閃退、運(yùn)行崩潰等不兼容現(xiàn)象。功能及UI測試：支持遍歷測試以及業(yè)務(wù)主流程腳本測試，驗證應(yīng)用功能，同時檢測是否存在黑邊、白屏、拉伸、混淆、變色等 UI問題。系統(tǒng)性能檢測：測試過程中需要獲取移動終端設(shè)備CPU、內(nèi)存、流量耗用、電池性能等數(shù)據(jù)，判斷應(yīng)用運(yùn)行的情況，同時包括安裝時間、啟動時間、CPU均值占用、CPU峰值占用、內(nèi)存均值占用、內(nèi)存峰值占用、流量耗用、電池溫度、卸載時間等。測試報告：所提供的測試結(jié)果報告，直觀全面，包括原始數(shù)據(jù)、匯總后的圖表展示以及故障點截圖，對應(yīng)的問題log信息，并支持離線閱讀。文案大全實用文檔兼容性測試報告 智能源碼掃描使用該系統(tǒng)在研發(fā)階段即可發(fā)現(xiàn)代碼中的兼容性缺陷，直接給出問題的定位，根源及解決方案。針對源代碼構(gòu)建靜態(tài)語法樹，輔以程序控制流和數(shù)據(jù)流分析，結(jié)合龐大的兼容性問題特征庫和解決方案庫，準(zhǔn)確定位問題代碼，并直接提供已驗證的解決方案。智能源碼掃描適配可覆蓋Android系統(tǒng)所有功能點，涵蓋1300多種兼容性問題特征及解決方案，掃描支持機(jī)型超過500款；10w行級源碼45s內(nèi)完成掃描，30w行源碼2分鐘內(nèi)完成掃描，60w行源碼5分鐘內(nèi)完成掃描；包括SDK差異，缺陷分析的特征庫達(dá)到 10000條以上。系統(tǒng)架構(gòu)文案大全實用文檔問題特征庫 解決方案庫服務(wù)端客戶端

提供問題來源 提供解決方案源代碼掃描引擎定位問題，代碼 提供解決方案用戶端系統(tǒng)架構(gòu)系統(tǒng)包含客戶端和服務(wù)端兩個模塊：服務(wù)端：存儲適配問題特征庫和解決方案庫，包含特征庫、解決方案庫、掃描引擎三大模塊?？蛻舳耍和ㄟ^在瀏覽器端上傳源代碼或apk，進(jìn)行智能源碼掃描，掃描結(jié)果定位問題并給出對應(yīng)的解決方案。智能源碼掃描特征庫文案大全實用文檔用于檢測在不同真機(jī)上的表現(xiàn)。

問題檢測工具真機(jī)運(yùn)行生成機(jī)型問題特征問題發(fā)生的必要條件 問題特征存入特征數(shù)據(jù)庫問題特征庫智能源碼掃描特征庫智能源碼掃描解決方案庫智能源碼掃描解決方案庫智能源碼掃描引擎文案大全實用文檔源代碼問題特征庫靜態(tài)語法樹將樹節(jié)點與問題特征匹配 提供問題特征問題搜索引擎問題分析引擎智能源碼掃描引擎3.2. 安全監(jiān)控系統(tǒng)安全監(jiān)控系統(tǒng)通過實時監(jiān)控終端的系統(tǒng)內(nèi)部的行為、 狀態(tài)等，檢測并發(fā)現(xiàn)并定位安全問題點，為用戶報告查找潛在的軟硬件設(shè)計中的安全漏洞。 規(guī)避造成信息泄露、耗用系統(tǒng)流量、文件系統(tǒng)篡改等安全隱患。 高精度電流監(jiān)控終端功耗自動化測試模塊是一款通過自動化操作手機(jī)終端，同時檢測、記錄、分析電流變化，該模塊可以自動測試終端、應(yīng)用電流消耗情況，通過精準(zhǔn)的監(jiān)控手機(jī)電流的變化，進(jìn)而輔助分析手機(jī)電流變化的內(nèi)在原因。 該模塊由終端自動化測試模塊及電流監(jiān)控模塊組成。 系統(tǒng)可檢測安捷倫等電源設(shè)備輸出的電流信息，并結(jié)合測試動作分析，對系統(tǒng)進(jìn)行復(fù)測，提供測試報告等文案大全實用文檔智能監(jiān)控安全電流閾值系統(tǒng)可設(shè)定終端設(shè)備工作時電流的閾值，在測試過程中全程監(jiān)控電流值，自動分析并記錄超出閾值范圍的電流時刻及所運(yùn)行用例場景， 進(jìn)而確定導(dǎo)致電流異常的App及其行為。系統(tǒng)具有自動調(diào)整測試策略功能，即根據(jù)電流信息反向控制用例執(zhí)行場景。在發(fā)現(xiàn)電流異常時自動進(jìn)行異常處理及缺陷判定，系統(tǒng)集成的復(fù)測機(jī)制可對所運(yùn)行場景跟蹤測試，進(jìn)而判斷所執(zhí)行用例場景的功耗問題。系統(tǒng)集成測試管理相關(guān)功能，可對測試用例、測試腳本、測試任務(wù)、測試報告等進(jìn)行有效管理?？煽焖偕蓽y試用例并投入使用，測試任務(wù)結(jié)束后即時生成測試報告，直觀顯示功耗測試結(jié)果。 監(jiān)控應(yīng)用及整機(jī)文件系統(tǒng)系統(tǒng)對整機(jī)文件系統(tǒng)，包括系統(tǒng)文件及存儲卡文件全面進(jìn)行監(jiān)控，對于系統(tǒng)中植入的惡意進(jìn)程，或惡意APP程序進(jìn)行監(jiān)測，當(dāng)系統(tǒng)文件發(fā)生篡改時進(jìn)行詳細(xì)記錄，最終匯總文件系統(tǒng)變更情況等。文案大全實用文檔 監(jiān)控應(yīng)用及整機(jī)數(shù)據(jù)流量監(jiān)控，記錄非法數(shù)據(jù)傳輸?shù)惹闆r系統(tǒng)能夠監(jiān)控整機(jī)及某個指定應(yīng)用的數(shù)據(jù)流量，通過監(jiān)控數(shù)據(jù)流量的方式，能夠監(jiān)測某些不應(yīng)使用數(shù)據(jù)流量的應(yīng)用或時機(jī)，通過分析這些異常的流量指標(biāo)，進(jìn)而發(fā)現(xiàn)系統(tǒng)中對應(yīng)存在的使用流量的相關(guān)非法操作。 用戶行為跟蹤，監(jiān)控電話、短信、拍照、攝像、錄音等典型動作開啟用戶行為跟蹤后，系統(tǒng)將監(jiān)控用戶電話、短信、拍照、攝像、錄音等功能，一旦系統(tǒng)發(fā)生了上述行為，系統(tǒng)將一一記錄，如典型的竊密流程：通過后臺進(jìn)程以靜默方式開啟錄音，并通過數(shù)據(jù)通道傳至某個遠(yuǎn)端位置，而文案大全實用文檔后刪除當(dāng)前錄音。以上三個動作，用戶行為檢測（錄音）、數(shù)據(jù)流量檢測（上傳至遠(yuǎn)端位置）、文件檢測（刪除錄音）系統(tǒng)都能夠一一截取。3.3. 性能測試系統(tǒng)（FTS系統(tǒng)）性能測試系統(tǒng)采用點擊、滑動、長按、拖拽、按鍵等操作方法。通過外置電子眼工業(yè)相機(jī)，對操作過程中的終端進(jìn)行高速跟蹤、 測試，進(jìn)而準(zhǔn)確度量終端性能指標(biāo)，有效改善用戶體驗。 響應(yīng)時間測試系統(tǒng)（RTS系統(tǒng)）相應(yīng)時間是指移動應(yīng)用對其操作（點擊、拖拽、滑動等）的響應(yīng)時間，響應(yīng)時間測試系統(tǒng)采用人工操作加高幀相機(jī)的方式計算移動應(yīng)用的相應(yīng)時間， 精確的測試了相應(yīng)的起始時間，量化移動應(yīng)用的響應(yīng)時間。文案大全實用文檔集成電子眼、觸控傳感器等高端設(shè)備準(zhǔn)確計算設(shè)備響應(yīng)性能響應(yīng)時間測試系統(tǒng)系統(tǒng)采用電子眼相機(jī)并配合觸控傳感器，捕獲用戶的操作過程。如用戶需檢測滑屏?xí)r間，只需將設(shè)備置于測試工作臺之上，電子眼自動及時跟蹤設(shè)備界面的變化，當(dāng)用戶完成滑屏動作后，智能分析軟件分析幀圖變化并自動查找動作起始點及結(jié)束點，計算兩者之間的時間差，最終量化響應(yīng)時間。智能視覺圖像處理技術(shù)，快速、準(zhǔn)確識別和分析圖像電子眼對置于工作平臺上的設(shè)備進(jìn)行監(jiān)控，并逐幀進(jìn)行圖像抓取，圖像分析模塊對大量的圖像數(shù)據(jù)進(jìn)行比對， 智能分析圖像變化，檢索最有價值的圖像信息。智能捕獲用戶觸屏過程通過高頻手勢感應(yīng)技術(shù)快速捕獲用戶操作過程系統(tǒng)采用智能觸控傳感器，監(jiān)控用戶對設(shè)備的觸控過程，短時間內(nèi)可獲取大量觸控數(shù)據(jù)，并捕獲每一幀數(shù)據(jù)變化。輔以手勢智能分析模塊，對壓力數(shù)據(jù)進(jìn)行分析，確定觸控數(shù)據(jù)中的按下、滑動、抬起等一系列動作，從而確定一組最文案大全實用文檔有效的觸控操作過程。高頻手勢感應(yīng)數(shù)據(jù)（手勢為按下后抬起）高速數(shù)據(jù)處理芯片可即時運(yùn)算電子眼、智能傳感器產(chǎn)生的海量數(shù)據(jù)系統(tǒng)采用超高速圖像分析技術(shù)及智能觸控數(shù)據(jù)分析技術(shù)，高速計算圖像及觸控數(shù)據(jù)。高速數(shù)據(jù)處理模塊在保證及時處理數(shù)據(jù)的同時，將有效的圖像及觸控數(shù)據(jù)進(jìn)行智能拼接，并以最小的內(nèi)存及CPU開銷，最優(yōu)的處理方式合理的分配資源，并實現(xiàn)數(shù)據(jù)存儲。圖像差異識別、智能比對等圖形算法有效保證準(zhǔn)確計算設(shè)備響應(yīng)時間通過差異化比對方式處理設(shè)備界面變化圖像，以60幀/秒的攝像頭為例，每秒鐘捕獲到60張圖片。若無有效的差異存儲技術(shù)，則每秒鐘需要處理60張圖片，所有圖片均需存儲到磁盤用以配合傳感器分析用戶動作及界面響應(yīng)情況，因而磁盤I/O及CPU計算速度會大大影響計算效能。同時，若采用差異化處理方式，只存儲變化圖片，會大大減少需要處理的圖片數(shù)量，以最少的磁盤開銷、I/O寫入頻率及CPU運(yùn)算速度處理圖片，從而將更多的資源留給電子眼及觸控傳感器使用。以保證響應(yīng)時間計算的準(zhǔn)確性。 流暢度測試系統(tǒng)流暢度測試系統(tǒng)完全滿足移動應(yīng)用開發(fā)商對流暢度測試的要求，結(jié)合多年圖像處理、軟件算法等眾多領(lǐng)域的經(jīng)驗，可以精準(zhǔn)量化手機(jī)卡頓過程相關(guān)數(shù)據(jù)，進(jìn)而準(zhǔn)確測量終端的流暢度指標(biāo)。文案大全實用文檔圖像輪廓識別技術(shù)，測量手機(jī)流暢度相關(guān)指標(biāo)，分析手機(jī)流暢度瓶頸系統(tǒng)對流暢度測試結(jié)果進(jìn)行全方位、立體化的分析，量化用戶對手機(jī)流暢度感知最明顯的指標(biāo)項，如列表滑動時最大連續(xù)卡頓幀數(shù)，滑動過程的卡頓總幀數(shù)，以及平均卡頓幀數(shù)等數(shù)據(jù)?？D幀數(shù)指標(biāo)匯總系統(tǒng)提供對同一測試場景的不同測試結(jié)果進(jìn)行對比分析的功能，可逐幀播放，從而查看并對比兩款手機(jī)或同一款手機(jī)的兩次測試結(jié)果的流暢度情況，以及卡頓點出現(xiàn)的位置等。同步逐幀播放測試結(jié)果，對比測試過程同時可對多機(jī)型測試結(jié)果進(jìn)行對比分析， 得出相同用例在多個不同機(jī)型手機(jī)上的流暢度表現(xiàn)，進(jìn)而對提高手機(jī)流暢度提供數(shù)據(jù)支持。多款機(jī)型流暢度指標(biāo)對比 集成電子眼工業(yè)級相機(jī)，采集手機(jī)界面元素，捕獲運(yùn)動