Ch11-軟件測(cè)試自動(dòng)化

軟件測(cè)試方法和技術(shù)

-Ch.11軟件測(cè)試自動(dòng)化主講教師：郭曉燕第十一章軟件測(cè)試自動(dòng)化11.1測(cè)試自動(dòng)化的內(nèi)涵11.2測(cè)試工具的分類和選擇11.3測(cè)試工具的主流產(chǎn)品介紹11.4IBM-Rational產(chǎn)品的整體解決方案11.5MercuryInteractive產(chǎn)品的整體解決方案11.6Compuware產(chǎn)品的整體解決方案11.1測(cè)試自動(dòng)化的內(nèi)涵11.1.1為什么要軟件測(cè)試自動(dòng)化11.1.2自動(dòng)化測(cè)試的引入和應(yīng)用11.1.3測(cè)試自動(dòng)化的基本結(jié)構(gòu)11.1.4測(cè)試自動(dòng)化的原理和方法11.1.5測(cè)試自動(dòng)化普遍存在的問題手工測(cè)試的局限性通過手工測(cè)試無法做到覆蓋所有代碼路徑;許多與時(shí)序、死鎖、資源沖突、多線程等有關(guān)的錯(cuò)誤通過手工測(cè)試很難捕捉到在系統(tǒng)負(fù)載、性能測(cè)試時(shí)，需要模擬大量數(shù)據(jù)、或大量并發(fā)用戶等各種應(yīng)用場(chǎng)合時(shí)，也很難通過手工測(cè)試來進(jìn)行在進(jìn)行系統(tǒng)可靠性時(shí)，需要模擬系統(tǒng)運(yùn)行十年、幾十年，以驗(yàn)證系統(tǒng)能否穩(wěn)定運(yùn)行，也是手工測(cè)試無法模擬的。如果有大量（幾千）的測(cè)試用例，需要在短時(shí)間內(nèi)完成，手工測(cè)試又怎么辦呢？測(cè)試可以發(fā)現(xiàn)錯(cuò)誤，并不能表明程序的正確性。

自動(dòng)化測(cè)試帶來的好處1.縮短周期Testingcycle-RegressionTesting2.AttributesofTA,Speed速度Efficiency效率AccuracyandPrecise準(zhǔn)確、精確

Relentlessness無情3.容易實(shí)施、結(jié)果可靠4.做手工不能做手工測(cè)試耗費(fèi)時(shí)間低可靠性人力資源不一致性僅對(duì)于一次性的測(cè)試有益速度可重復(fù)覆蓋率可靠可以再度使用重復(fù)測(cè)試節(jié)省時(shí)間自動(dòng)測(cè)試手工測(cè)試vs.自動(dòng)測(cè)試正確認(rèn)識(shí)測(cè)試自動(dòng)化不現(xiàn)實(shí)的期望注定測(cè)試自動(dòng)化的失敗測(cè)試自動(dòng)化能：顯著降低重復(fù)手工測(cè)試的時(shí)間建立可靠、重復(fù)的測(cè)試，減少認(rèn)為錯(cuò)誤增強(qiáng)測(cè)試質(zhì)量和覆蓋率測(cè)試自動(dòng)化不能：完全替代手工測(cè)試和手工測(cè)試工程師保證100%的測(cè)試覆蓋率彌補(bǔ)測(cè)試實(shí)踐的不足測(cè)試自動(dòng)化成本/收益分析結(jié)構(gòu)成本收益凈收益NoAutomation000RecordingandPlayback8.3112.7Data-drivenstructureusingdatapools8.4189.6Frameworkstructure9.8155.2Framework/data-driven(hybrid)structurefocusingonviewsoftheapplicationandusingdatapools11.6197.4自動(dòng)化測(cè)試的引入和應(yīng)用找準(zhǔn)測(cè)試自動(dòng)化的切入點(diǎn)把測(cè)試開發(fā)納入整個(gè)軟件開發(fā)體系測(cè)試自動(dòng)化依賴測(cè)試流程和測(cè)試用例軟件測(cè)試自動(dòng)化的投入較大進(jìn)行資源的合理調(diào)度自動(dòng)化測(cè)試工作流程收集測(cè)試信息測(cè)試需求是什么？那里能得到用到的數(shù)據(jù)？建立基本測(cè)試紀(jì)錄用戶的操作核實(shí)成功回放提高基本測(cè)試插入測(cè)試點(diǎn)驅(qū)動(dòng)測(cè)試數(shù)據(jù)整體測(cè)試關(guān)聯(lián)數(shù)據(jù)建立綜合的測(cè)試場(chǎng)景計(jì)劃1創(chuàng)建2核實(shí)和提高3整合4計(jì)劃自動(dòng)化測(cè)試紀(jì)錄用戶操作形成基本測(cè)試對(duì)回放和測(cè)試提高自動(dòng)化測(cè)試運(yùn)行多種測(cè)試檢查數(shù)據(jù)流測(cè)試自動(dòng)化的基本結(jié)構(gòu)機(jī)房辦公室文件服務(wù)器SQLServerWeb服務(wù)器控制程序拷貝測(cè)試文件拷貝測(cè)試結(jié)果分派工作分派工作查詢結(jié)果Build系統(tǒng)編譯尋找工作項(xiàng)目更新顯示DevBuild,TestBuild測(cè)試自動(dòng)化的原理和方法代碼分析:類似于高級(jí)編譯系統(tǒng)，在工具中定義類/對(duì)象/函數(shù)/變量等定義規(guī)則、語法規(guī)則等，在分析時(shí)對(duì)代碼進(jìn)行語法掃描，找出不符合編碼規(guī)范的地方。捕獲和回放:代碼分析是一種白盒測(cè)試的自動(dòng)化方法，捕獲和回放則是一種黑盒測(cè)試的自動(dòng)化方法。對(duì)象識(shí)別腳本技術(shù)自動(dòng)化比較對(duì)象識(shí)別編輯框下拉框按鈕QuickTest

在支持應(yīng)用中識(shí)別、確定每一個(gè)對(duì)象是什么類型復(fù)選框選擇框?qū)ο笞R(shí)別－2邏輯名稱是對(duì)象屬性之一的值數(shù)值

用于識(shí)別對(duì)象名稱Nativeclass: EditAttachedText:AgentName:Enabled: TrueFocused: TrueHeight: 20Text: HaroldWidth: 119對(duì)象識(shí)別－3對(duì)象庫是本地在測(cè)試結(jié)構(gòu)范圍內(nèi)

存儲(chǔ)對(duì)像信息.對(duì)象庫例如對(duì)象(屬性)包含登陸窗口在記錄過程中捕獲的:-AgentNamefield-Passwordfield-OKbutton-Cancelbutton-Helpbutton腳本技術(shù)

線性腳本，是錄制手工執(zhí)行的測(cè)試用例得到的腳本，這種腳本包含所有的擊鍵、移動(dòng)、輸入數(shù)據(jù)等，所有錄制的測(cè)試用例都可以得到完整的回放。

結(jié)構(gòu)化腳本，類似于結(jié)構(gòu)化程序設(shè)計(jì)，具有各種邏輯結(jié)構(gòu)、函數(shù)調(diào)用功能。

共享腳本，是指某個(gè)腳本可以被多個(gè)測(cè)試用例使用。

數(shù)據(jù)驅(qū)動(dòng)腳本，將測(cè)試輸入存儲(chǔ)在獨(dú)立的（數(shù)據(jù)）文件中，而不是存儲(chǔ)在腳本中。

關(guān)鍵字驅(qū)動(dòng)腳本，是數(shù)據(jù)驅(qū)動(dòng)腳本的邏輯擴(kuò)張

ScriptexampleSamplescript'====SectionTwo-headerfile,publicvariablesandconstantsdeclarationarea================'$include"rtpCMCSanity0225_BB_X.sbh"'$Include"rtpCMC5_BB.sbh"'$include"rtpReportLog.sbh"'====SectionThree-UnittestscriptingareaforthissubroutineorfunctionSubMain

CallScript"rtpCMCSanity0225_init"

DimResultAsInteger

Dim

meetingTopicAsString

'Iftherealreadyameetingmeeting,didn'tstartagain

SQASuspendLogOutput Result=WindowVP(Exists,"Caption={*"+MEETING_CLIENT_CAPTION+"*}","VP=WindowExistence;Wait=1,3")

SQAResumeLogOutput

IfResult=0Then Result=func_MiscScheduleStartMeetingSimple(PAGE_CAPTION,

meetingTopic,MEETING_PASSWD)

Else …

EndIfCheckBox

CheckBoxClick,"Name=Overdraft"ComboBox,ComboListBox

EditBoxHTMLDocument,HTMLImage,HTMLLink

InputKeys

InputKeys"ThisisRobot.{Enter}"UserActioncommands

測(cè)試自動(dòng)化普遍存在的問題

不正確的觀念或不現(xiàn)實(shí)的期望缺乏具有良好素質(zhì)、經(jīng)驗(yàn)的測(cè)試人才

測(cè)試工具本身的問題影響測(cè)試的質(zhì)量

沒有進(jìn)行有效的、充分的培訓(xùn)

沒有考慮到公司的實(shí)際情況，盲目引入測(cè)試工具沒有形成一個(gè)良好的使用測(cè)試工具的環(huán)境

其它技術(shù)問題和組織問題11.2測(cè)試工具的分類和選擇11.2.1測(cè)試工具的分類11.2.2測(cè)試工具的選擇測(cè)試工具是測(cè)試自動(dòng)化的表現(xiàn)測(cè)試工具的例子測(cè)試工具的分類CodeanalysisTools -Staticanalysis -DynamicanalysisTestExecutionTool -CaptureandReplay(Record&Playback) -MonitorTool -StubsandDrivers -AutomatedTestingEnvironmentTestcasegenerators測(cè)試工具的選擇測(cè)試工具介紹功能測(cè)試工具：QTP、Selenium性能測(cè)試工具：JMeter安全性測(cè)試工具：AcunetixwebVulnerablityscanner缺陷跟蹤系統(tǒng)：Mantis、Bugzilla管理工具：Testlink、TestDirector11.3測(cè)試工具的主流產(chǎn)品介紹

11.3.1面向開發(fā)的單元測(cè)試工具11.3.2負(fù)載和性能測(cè)試工具11.3.3GUI功能測(cè)試工具11.3.4基于Web應(yīng)用的測(cè)試工具11.3.5軟件測(cè)試管理和其他工具面向開發(fā)的單元測(cè)試工具根據(jù)不同的語言進(jìn)行分類:C/C++單元級(jí)測(cè)試工具PanoramaC++，C++Test，Numega

JUnit是一個(gè)開發(fā)源代碼的Java測(cè)試框架根據(jù)工具的功能特點(diǎn)進(jìn)行分類：內(nèi)存資源泄漏檢查工具：Numega中的BounceChecker,Rational的Purify等代碼覆蓋率檢查工具：Numega的TrueCoverage,Rational的PureCoverage，TeleLogic公司的Logiscope代碼性能檢查工具：Logiscope和Macabe等。軟件糾錯(cuò)工具RationalPurl等。負(fù)載和性能測(cè)試工具屬性LoadRunner/MIQALoad/CompuwareWebLoad/Radview價(jià)格昂貴較貴一般安裝配置簡(jiǎn)單簡(jiǎn)單一般操作性較復(fù)雜簡(jiǎn)單簡(jiǎn)單支持測(cè)試對(duì)象各種中間件/數(shù)據(jù)庫/應(yīng)用服務(wù)器的性能監(jiān)控/企業(yè)架構(gòu)(j2ee和.net)的測(cè)試客戶/服務(wù)器系統(tǒng)、企業(yè)資源配置(ERP)和電子商務(wù)應(yīng)用WebApplication支持平臺(tái)windows,unix或linuxHP-UX,IBMAIX,SunSolaris,Linux,NT/2kUnixWindows支持?jǐn)?shù)據(jù)庫DB2,SQLserver,Orcale,SybaseADO,DB2,Oracle,Sybase,SQLserver,OdbcADO,DB2,Oracle,Sybase,SQLserver,Odbc支持協(xié)議web,http(s),soap,streaming,wap,winsock,xmlhttp,ssl,oap,xml,streaming,mediaxml,java,ejb,activex,wap,http,snmp,real/m$streaming腳本語言類似C++C/C++和VC++Javascript自動(dòng)數(shù)據(jù)生成YYY腳本調(diào)試YYY報(bào)表定制功能YYYGUI功能測(cè)試工具將操作應(yīng)用程序的各種動(dòng)作和輸入記錄下來，包括鍵盤操作、鼠標(biāo)點(diǎn)擊等捕捉(Record)下來，生成一個(gè)腳本文件，這個(gè)腳本以后可以被“回放（playback）”。在實(shí)際測(cè)試過程中，要根據(jù)測(cè)試需求對(duì)錄制的腳本進(jìn)行一些必要的修改或加入一些參數(shù)，如選擇不同的測(cè)試數(shù)據(jù)、腳本中插入檢查點(diǎn)（CheckPoint）進(jìn)行跟蹤調(diào)試等?；贕UI功能測(cè)試工具主要適合回歸測(cè)試階段。當(dāng)一個(gè)應(yīng)用開發(fā)基本完成后，程序界面基本定型，雖然業(yè)務(wù)的需求會(huì)很頻繁變化，但測(cè)試腳本結(jié)構(gòu)基本不需要改動(dòng)，只需要做些小調(diào)整，就可以自動(dòng)運(yùn)行，則可大大提高了測(cè)試的效率和測(cè)試的準(zhǔn)確性。目前主要產(chǎn)品有MI公司的WinRunner，Compuware的QARun，Rational的SQARobot，MSVisualTestSuite等GUI自動(dòng)化測(cè)試設(shè)計(jì)測(cè)試用例，并手工進(jìn)行測(cè)試。如果測(cè)試未通過，則先改正缺陷，再次執(zhí)行測(cè)試。如果測(cè)試通過，利用測(cè)試工具運(yùn)行該測(cè)試過程，捕獲運(yùn)行過程需要檢測(cè)的屏幕對(duì)象，并保存。在進(jìn)行回歸測(cè)試測(cè)試，自動(dòng)利用測(cè)試工具運(yùn)行測(cè)試，并比較運(yùn)行過程的屏幕對(duì)象與保存的屏幕對(duì)象比較，從而判斷測(cè)試用例是否通過。基于Web應(yīng)用的測(cè)試工具基于Web應(yīng)用的測(cè)試工具主要進(jìn)行鏈接檢查、HTML檢查、Web功能和Web站點(diǎn)安全性等各個(gè)方面的測(cè)試。主要Web測(cè)試工具有MI公司的Astra

系列（如Astra

QuickTest

）、RSW公司的E-TestSuite等；Web系統(tǒng)測(cè)試工具:WorkBench、WebApplicationStressTool（WAS）、頁面鏈接測(cè)試LinkSleuth等。

Website性能測(cè)試測(cè)什么？各種操作的響應(yīng)速度最大并發(fā)用戶數(shù)最大數(shù)據(jù)容量ACT(ApplicationCenterTest)ACT測(cè)試的步驟創(chuàng)建測(cè)試腳本手工編寫VBScript錄音并修改運(yùn)行測(cè)試腳本設(shè)定并發(fā)用戶數(shù)設(shè)定用戶身份運(yùn)行、觀察、獲取主觀體驗(yàn)理解結(jié)果報(bào)告圖表各項(xiàng)性能統(tǒng)計(jì)數(shù)字日志文件解讀ACT測(cè)試結(jié)果TTFB,TTLBHTTP錯(cuò)誤的含義401403404500常見的ACT結(jié)果圖線11.4Rational產(chǎn)品的整體解決方案11.4.1Rational測(cè)試產(chǎn)品結(jié)構(gòu)11.4.2Rational全套測(cè)試解決方案的特點(diǎn)

TestManager：集中、可伸縮的測(cè)試管理平臺(tái)Robot：傳統(tǒng)應(yīng)用自動(dòng)化測(cè)試工具RobotJ：Web/Java自動(dòng)測(cè)試工具C