軟件測(cè)試PPT 第09章 軟件測(cè)試自動(dòng)化

陳翔博士xchencs@南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院軟件測(cè)試技術(shù)

工欲善其事，必先利其器9.1軟件測(cè)試自動(dòng)化的內(nèi)涵9.2測(cè)試自動(dòng)化實(shí)現(xiàn)原理9.3測(cè)試自動(dòng)化的實(shí)施9.4功能測(cè)試工具9.5性能測(cè)試工具9.6缺陷跟蹤系統(tǒng)軟件測(cè)試自動(dòng)化92/7/2023南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院9.1軟件測(cè)試自動(dòng)化的內(nèi)涵2/7/2023南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院4據(jù)統(tǒng)計(jì)：軟件測(cè)試占整個(gè)軟件開發(fā)時(shí)間的40%。一些可靠性要求高的軟件，軟件測(cè)試甚至占整個(gè)軟件開發(fā)時(shí)間的60%軟件測(cè)試工作具有一定重復(fù)性，例如回歸測(cè)試等上述因素驅(qū)動(dòng)了軟件測(cè)試自動(dòng)化技術(shù)的產(chǎn)生和發(fā)展手工測(cè)試的不足2/7/2023南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院5無法做到覆蓋所有可行代碼路徑，難以測(cè)定測(cè)試用例的覆蓋率難以捕捉與時(shí)序、死鎖、資源沖突和多線程等有關(guān)的錯(cuò)誤在系統(tǒng)負(fù)載、性能測(cè)試時(shí)，需要模擬大量數(shù)據(jù)或大量并發(fā)用戶等大負(fù)載的應(yīng)用場(chǎng)合在系統(tǒng)做可靠性測(cè)試時(shí)，需要模擬系統(tǒng)運(yùn)行很長(zhǎng)時(shí)間，以驗(yàn)證系統(tǒng)能否穩(wěn)定運(yùn)行回歸測(cè)試中，希望能短時(shí)間內(nèi)執(zhí)行所有的測(cè)試用例測(cè)試僅能檢測(cè)出被測(cè)軟件存在缺陷，在一些關(guān)鍵性軟件中，需要考慮采用形式化驗(yàn)證方法測(cè)試自動(dòng)化定義2/7/2023南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院6把人為驅(qū)動(dòng)的測(cè)試轉(zhuǎn)化為機(jī)器執(zhí)行的一種過程，既模擬手工測(cè)試步驟，通過執(zhí)行由程序語言編制的測(cè)試腳本，自動(dòng)的完成軟件的單元測(cè)試、功能測(cè)試、負(fù)載測(cè)試或性能測(cè)試等工作由手工執(zhí)行測(cè)試用例轉(zhuǎn)為由測(cè)試工具自動(dòng)執(zhí)行測(cè)試用例僅借助測(cè)試工具還不夠，還需要借助網(wǎng)絡(luò)通信環(huán)境、腳本語言、改進(jìn)的開發(fā)流程等測(cè)試自動(dòng)化2/7/2023南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院7軟件測(cè)試過程完全實(shí)現(xiàn)自動(dòng)化，不需要任何的人工參與或干涉，這是不現(xiàn)實(shí)的但“全過程的自動(dòng)化測(cè)試”思想是非常重要的自動(dòng)化測(cè)試的含義可以理解為“一切可以由計(jì)算機(jī)系統(tǒng)自動(dòng)完成的測(cè)試任務(wù)都已經(jīng)由計(jì)算機(jī)系統(tǒng)或軟件工具、程序來承擔(dān)并自動(dòng)執(zhí)行”，它包括三層含義：“一切”不僅指測(cè)試執(zhí)行工作，還包括其他工作，如缺陷管理、測(cè)試用例管理、環(huán)境安裝、設(shè)置和維護(hù)等“可以”指某些創(chuàng)新性工作可能仍需手工處理，如腳本開發(fā)、測(cè)試用例設(shè)計(jì)等即使由系統(tǒng)進(jìn)行自動(dòng)化測(cè)試，還少不了人工干預(yù)，包括實(shí)現(xiàn)安排自動(dòng)化測(cè)試任務(wù)、測(cè)試結(jié)果分析、調(diào)試測(cè)試腳本等測(cè)試自動(dòng)化的優(yōu)點(diǎn)2/7/2023南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院8自動(dòng)運(yùn)行的速度快、執(zhí)行效率高永不疲勞，每周可以工作7天，每天可以工作24小時(shí)測(cè)試結(jié)果精確可靠性高，不會(huì)數(shù)據(jù)造假可復(fù)用性高，例如測(cè)試用例復(fù)用有些手工測(cè)試無法完成的任務(wù)，自動(dòng)化測(cè)試可以完成，例如負(fù)載測(cè)試上述優(yōu)點(diǎn)給軟件測(cè)試帶來的益處2/7/2023南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院9縮短軟件開發(fā)測(cè)試周期提供更高質(zhì)量的產(chǎn)品軟件過程更為規(guī)范測(cè)試效率更高、充分利用硬件資源節(jié)省人力資源、降低測(cè)試成本增強(qiáng)測(cè)試的穩(wěn)定性和可靠性提高軟件測(cè)試的準(zhǔn)確度和精確度手工不能完成的事情，軟件測(cè)試工具可以完成高昂的團(tuán)隊(duì)士氣手工測(cè)試

發(fā)現(xiàn)缺陷率高容易實(shí)施創(chuàng)造性、靈活性

覆蓋率量化困難

重復(fù)測(cè)試效率低不一致性、可靠性低依賴人力資源

高效率（速度）高復(fù)用性覆蓋率容易度量準(zhǔn)確、可靠不知疲勞激勵(lì)團(tuán)隊(duì)士氣

機(jī)械、難以發(fā)現(xiàn)缺陷一次性投入大自動(dòng)測(cè)試手工測(cè)試vs.自動(dòng)測(cè)試正確認(rèn)識(shí)測(cè)試自動(dòng)化不現(xiàn)實(shí)的期望注定測(cè)試自動(dòng)化的失敗測(cè)試自動(dòng)化能：顯著降低重復(fù)手工測(cè)試的時(shí)間建立可靠、重復(fù)的測(cè)試，減少認(rèn)為錯(cuò)誤增強(qiáng)測(cè)試質(zhì)量和覆蓋率測(cè)試自動(dòng)化不能：完全替代手工測(cè)試和手工測(cè)試工程師保證100%的測(cè)試覆蓋率彌補(bǔ)測(cè)試實(shí)踐的不足9.2測(cè)試自動(dòng)化實(shí)現(xiàn)原理2/7/2023南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院12測(cè)試自動(dòng)化實(shí)現(xiàn)基礎(chǔ)是可以通過特定程序（包括腳本、指令）模擬測(cè)試人員對(duì)計(jì)算機(jī)的操作過程及其行為，將操作過程轉(zhuǎn)化為測(cè)試工具可執(zhí)行的腳本；然后對(duì)腳本進(jìn)行修改和優(yōu)化，加入測(cè)試的驗(yàn)證點(diǎn)；最后通過測(cè)試工具運(yùn)行腳本，將實(shí)際輸出與預(yù)期輸出進(jìn)行比對(duì)，確定測(cè)試是否通過。包括：代碼分析對(duì)象識(shí)別腳本技術(shù)自動(dòng)比較技術(shù)測(cè)試自動(dòng)化系統(tǒng)的構(gòu)成自動(dòng)化測(cè)試的流程舉例保存腳本記錄執(zhí)行Log驗(yàn)證測(cè)試結(jié)果啟動(dòng)應(yīng)用、執(zhí)行腳本調(diào)用腳本創(chuàng)建腳本錄制對(duì)象及其操作插入驗(yàn)證點(diǎn)調(diào)試腳本啟動(dòng)應(yīng)用測(cè)試報(bào)告代碼分析（1）2/7/2023南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院14最早進(jìn)行代碼分析的工具是編譯器，但僅檢查被測(cè)代碼中是否語法錯(cuò)誤。隨后一些工具可用于檢測(cè)出一些可疑代碼結(jié)構(gòu)，例如貝爾實(shí)驗(yàn)室的SteveJohnson開發(fā)出的代碼分析工具Lint例如將“==”寫成“=”，函數(shù)接口參數(shù)不一致問題等代碼分析（2）2/7/2023南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院15目前代碼分析工具通過插件的形式內(nèi)嵌到集成開發(fā)環(huán)境（IDE），例如針對(duì)Eclipse工具代碼規(guī)則或代碼風(fēng)格的檢查工具，例如Checkstyle、FindBugs、Jlint和PMD等檢查和移除冗余代碼的分析器，例如DuplicationManagementFramework對(duì)象識(shí)別2/7/2023南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院16目前存在兩種方式按照屏幕的實(shí)際像素坐標(biāo)來定位。方法簡(jiǎn)單，但生成的腳本可讀性差、維護(hù)性差、在不同分辨率下腳本可能不能運(yùn)行通過尋找UI的對(duì)象（如窗口、按鈕、滾動(dòng)條等）來確定操作的目標(biāo)目前的主流方法。例如微軟的VisualStudio中就包含了spy++，可以用來識(shí)別各種windows的GUI對(duì)象可以通過WindowsAPI函數(shù)或者采用反射機(jī)制（Reflection）2/7/2023南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院17腳本技術(shù)2/7/2023南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院18腳本是一組測(cè)試工具執(zhí)行的指令集合腳本可以分為線性腳本結(jié)構(gòu)化腳本數(shù)據(jù)驅(qū)動(dòng)腳本關(guān)鍵字驅(qū)動(dòng)腳本線性腳本2/7/2023南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院19最簡(jiǎn)單的腳本，以流水賬方式描述測(cè)試過程通過錄制手工執(zhí)行的測(cè)試用例得到的腳本包含所有的擊鍵、移動(dòng)和輸入數(shù)據(jù)等也可加入一些簡(jiǎn)單指令，如時(shí)間等待、比較指令等適合Web頁面測(cè)試、圖形用戶界面測(cè)試簡(jiǎn)單示例2/7/2023南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院20結(jié)構(gòu)化腳本2/7/2023南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院21對(duì)線性腳本的加工，類似于結(jié)構(gòu)化設(shè)計(jì)的程序，是腳本優(yōu)化的必然途徑之一包含選擇結(jié)構(gòu)、分支結(jié)構(gòu)、循環(huán)結(jié)構(gòu)等簡(jiǎn)單示例2/7/2023南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院22數(shù)據(jù)驅(qū)動(dòng)腳本2/7/2023南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院23將測(cè)試腳本和數(shù)據(jù)分隔開來提高腳本的使用效率和可維護(hù)性簡(jiǎn)單示例2/7/2023南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院24另外一個(gè)例子2/7/2023南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院25關(guān)鍵字驅(qū)動(dòng)腳本2/7/2023南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院26腳本用一個(gè)簡(jiǎn)單的表格來表示是數(shù)據(jù)驅(qū)動(dòng)腳本的邏輯拓展可以提高腳本編寫的效率，提高腳本的維護(hù)效率每個(gè)測(cè)試人員都可以寫這類腳本命令對(duì)象值注釋自動(dòng)比較技術(shù)2/7/2023南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院27自動(dòng)執(zhí)行測(cè)試腳本時(shí)，將捕獲的結(jié)果和預(yù)先準(zhǔn)備的輸出進(jìn)行比較，判斷測(cè)試用例是否通過精確比較設(shè)定閾值，允許存在微小的差異測(cè)試自動(dòng)化系統(tǒng)的構(gòu)成（1）2/7/2023南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院28簡(jiǎn)單的情況在單臺(tái)測(cè)試機(jī)器上運(yùn)行測(cè)試工具，由這臺(tái)機(jī)器執(zhí)行測(cè)試用例、顯示測(cè)試過程和記錄測(cè)試結(jié)果但在大規(guī)模的自動(dòng)化測(cè)試過程中需要多臺(tái)機(jī)器協(xié)助工作，還需要調(diào)度、控制這些測(cè)試機(jī)器、需要特定的服務(wù)器用于存儲(chǔ)和管理測(cè)試任務(wù)、測(cè)試腳本和測(cè)試結(jié)果測(cè)試自動(dòng)化系統(tǒng)的構(gòu)成（2）2/7/2023南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院29測(cè)試自動(dòng)化的組成部分構(gòu)建、存放程序軟件包和測(cè)試軟件包的文件服務(wù)器存儲(chǔ)測(cè)試用例和測(cè)試結(jié)果的數(shù)據(jù)庫(kù)服務(wù)器執(zhí)行測(cè)試的運(yùn)行環(huán)境——測(cè)試實(shí)驗(yàn)室或一組測(cè)試服務(wù)器控制服務(wù)器Web服務(wù)器客戶端程序測(cè)試自動(dòng)化的基本結(jié)構(gòu)機(jī)房客戶端文件服務(wù)器數(shù)據(jù)庫(kù)服務(wù)器Web服務(wù)器控制程序拷貝測(cè)試文件拷貝測(cè)試結(jié)果分派工作分派工作查詢結(jié)果Build系統(tǒng)編譯獲取測(cè)試任務(wù)、數(shù)據(jù)更新顯示軟件包發(fā)布指令9.3測(cè)試自動(dòng)化的實(shí)施2/7/2023南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院311、測(cè)試工具的分類2、測(cè)試工具的選擇3、測(cè)試自動(dòng)化普遍存在的問題測(cè)試工具的分類2/7/2023南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院32白盒測(cè)試工具靜態(tài)測(cè)試工具：直接對(duì)代碼進(jìn)行分析包括Compuware公司的CodeReview、Telelogic公司的Logiscope軟件、PR公司的PRQA軟件動(dòng)態(tài)測(cè)試工具：需要運(yùn)行被測(cè)軟件如Compuware公司的DevPartner軟件、IBM公司的RationalPurify系列黑盒測(cè)試工具通過記錄/回放方式HP公司的QuickTestProfessional、IBM的RationalFunctionaltester、Parasoft公司的WebKing、Segue公司的SilkTest等測(cè)試工具的選擇2/7/2023南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院33根據(jù)項(xiàng)目測(cè)試需要，確定需要哪一類軟件白盒測(cè)試工具Vs黑盒測(cè)試工具功能性測(cè)試工具Vs負(fù)載測(cè)試工具一旦確定軟件類型如果是開源工具，下載并試用一段時(shí)間如果是商業(yè)工具，邀請(qǐng)商家過來做演示，然后根據(jù)演示效果、價(jià)格、功能和售后服務(wù)進(jìn)行綜合評(píng)估測(cè)試自動(dòng)化普遍存在的問題2/7/2023南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院34不正確的觀念或不現(xiàn)實(shí)的期望缺乏具有良好素質(zhì)、經(jīng)驗(yàn)的測(cè)試人才測(cè)試工具本身的問題影響測(cè)試質(zhì)量沒有進(jìn)行有效的、充分的培訓(xùn)沒有考慮到公司的實(shí)際情況，盲目引入測(cè)試工具沒有形成一個(gè)良好的使用測(cè)試工具的環(huán)境其他技術(shù)問題和組織問題9.4功能測(cè)試工具2/7/2023南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院35Selenium及其應(yīng)用Selenium及其應(yīng)用適合Web應(yīng)用的測(cè)試，可直接運(yùn)行在瀏覽器之上，所見即所得跨平臺(tái)，支持多操作系統(tǒng)和多種瀏覽器支持分布式應(yīng)用的測(cè)試，構(gòu)造一個(gè)完整的解決方案支持兩種開發(fā)腳本的模式testrunner（HTML文件）和driven（腳本語言編寫支持多種腳本語言，包括Java、C#、PHP、Perl、Python和Ruby等IDE界面操作演示

錄制測(cè)試腳本執(zhí)行測(cè)試腳本測(cè)試結(jié)果Testrunnervs.驅(qū)動(dòng)模式腳本HTML表格方式關(guān)鍵字驅(qū)動(dòng)腳本Java/C#/…強(qiáng)大、靈活與xUnit集成Selenium測(cè)試用例開發(fā)

主文件：TestRunner.html/TestRunner.htaTestsuite/case文件引擎庫(kù)js文件

user-extensions.jsSelenium執(zhí)行模式9.5性能測(cè)試工具JMeter及其應(yīng)用2023/2/742JMeter-2JMeter-3性能測(cè)試工具的主要特性能模擬實(shí)際用戶的操作行為，記錄和回放多用戶測(cè)試中的事務(wù)處理過程，自動(dòng)生成相應(yīng)的測(cè)試腳本能針對(duì)腳本進(jìn)行修改，增加邏輯控制、完成參數(shù)化和數(shù)據(jù)關(guān)聯(lián)可以設(shè)置不同的應(yīng)用環(huán)境和場(chǎng)景，通過虛擬用戶執(zhí)行相應(yīng)的測(cè)試腳本通過系統(tǒng)監(jiān)控工具獲得系統(tǒng)性能的相關(guān)指標(biāo)的值開源工具Siege（/JoeDog/Siege）是一個(gè)開源的Web壓力測(cè)試和評(píng)測(cè)工具。OpenSTA，可以模擬大量的虛擬用戶來完成性能測(cè)試，并通過scrīpt來完成豐富的自定義設(shè)置。詳見/index.php。DBMonster是一個(gè)生成隨機(jī)數(shù)據(jù)、用來測(cè)試SQL數(shù)據(jù)庫(kù)的壓力測(cè)試工具，詳見http://dbmonster.kernelpanic.pl/。LoadSim——網(wǎng)絡(luò)應(yīng)用程序的負(fù)載模擬器。更多的性能測(cè)試工具，可訪問/performance.php

商業(yè)工具

HPLoadRunnerIBMRationalPerformanceTesterRadviewWebLoad

CompuwareQA

Load

QuestBenchmarkFactory

微軟WAS（WebAccessStresstest）

PaesslerWebserverStressTool

MINQPureLoad

9.6缺陷跟蹤系統(tǒng)2/7/2023南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院48缺陷報(bào)告、跟蹤和處理一般通過基于Web和數(shù)據(jù)庫(kù)的缺陷管理系統(tǒng)來支持，而不能簡(jiǎn)單通過Word或Excel進(jìn)行處理缺陷跟蹤系統(tǒng)的優(yōu)點(diǎn)2/7/2023南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院49基于缺陷數(shù)