軟件測(cè)試之常用自動(dòng)化測(cè)試工具簡(jiǎn)介.ppt

常用自動(dòng)化測(cè)試工具簡(jiǎn)介,隨著人們對(duì)測(cè)試工作的重視以及測(cè)試工作的不斷深入，越來(lái)越多的公司開(kāi)始使用自動(dòng)化測(cè)試工具。如果能夠正確地選擇和使用自動(dòng)化測(cè)試工具，就會(huì)提高測(cè)試的效率和測(cè)試質(zhì)量，降低測(cè)試成本。由于一些商用的自動(dòng)化測(cè)試工具十分昂貴，因此在選擇自動(dòng)化測(cè)試工具時(shí)，要把各種因素考慮進(jìn)去，只有這樣才能做出正確的選擇。,由安博測(cè)試空間技術(shù)中心/提供,1 自動(dòng)化測(cè)試工具的分類(lèi),根據(jù)測(cè)試方法的不同，自動(dòng)化測(cè)試工具可以分為白盒測(cè)試工具、黑盒測(cè)試工具和測(cè)試管理工具。這些工具主要是Mercury Interactive（MI）、Segue、IBM/Rational、Compuware和Empirix等公司的產(chǎn)品，而MI公司的產(chǎn)品占了主流。這些工具和軟件開(kāi)發(fā)過(guò)程中相關(guān)活動(dòng)的關(guān)系如圖1所示。,圖1 測(cè)試工具與開(kāi)發(fā)過(guò)程關(guān)系圖,1.白盒測(cè)試工具 白盒測(cè)試工具一般是針對(duì)代碼進(jìn)行測(cè)試，測(cè)試中發(fā)現(xiàn)的缺陷可以定位到代碼級(jí)。根據(jù)測(cè)試工具的工作原理的不同，白盒測(cè)試工具又可以分為靜態(tài)測(cè)試工具和動(dòng)態(tài)測(cè)試工具。 (1)靜態(tài)測(cè)試工具 靜態(tài)測(cè)試就是在不執(zhí)行程序的情況下分析軟件的特性。因此，靜態(tài)測(cè)試工具一般是對(duì)代碼進(jìn)行語(yǔ)法掃描，找出不符合編碼規(guī)范的地方，根據(jù)某種質(zhì)量模型評(píng)價(jià)代碼的質(zhì)量，生成系統(tǒng)的調(diào)用關(guān)系圖等。靜態(tài)測(cè)試工具直接對(duì)代碼進(jìn)行分析，不需要運(yùn)行代碼，也不需要對(duì)代碼編譯鏈接、生成可執(zhí)行文件。 靜態(tài)測(cè)試工具的代表有Telelogic公司的Logiscope軟件、PR公司的PRQA軟件。 (2)動(dòng)態(tài)測(cè)試工具 動(dòng)態(tài)測(cè)試直接執(zhí)行被測(cè)程序以提供測(cè)試活動(dòng)。因此，動(dòng)態(tài)測(cè)試工具需要實(shí)際運(yùn)行被測(cè)系統(tǒng)，并設(shè)置斷點(diǎn)，向代碼生成的可執(zhí)行文件中插入一些監(jiān)測(cè)代碼，掌握斷點(diǎn)這一時(shí)刻程序運(yùn)行數(shù)據(jù)。,動(dòng)態(tài)測(cè)試工具的代表有Compuware公司的DevPartner軟件、Rational公司的Purify軟件。 常見(jiàn)的白盒測(cè)試工具，如表2、表3所示。,表2 Parasoft白盒測(cè)試工具集,表6-3 Compuware白盒測(cè)試工具集,2.黑盒測(cè)試工具 黑盒測(cè)試工具適用于系統(tǒng)功能測(cè)試和性能測(cè)試，包括功能測(cè)試工具、負(fù)載測(cè)試工具、性能測(cè)試工具等。黑盒測(cè)試工具的一般原理是利用腳本的錄制（Record）/ 回放（Playback），模擬用戶(hù)的操作，然后將被測(cè)系統(tǒng)的輸出記錄下來(lái)同預(yù)先給定的標(biāo)準(zhǔn)結(jié)果比較。黑盒測(cè)試工具可以大大減輕黑盒測(cè)試的工作量，在迭代開(kāi)發(fā)的過(guò)程中，能夠很好地進(jìn)行回歸測(cè)試。 黑盒測(cè)試工具的代表有Rational公司的TeamTest、Compuware公司的QACenter。 常見(jiàn)的黑盒功能測(cè)試工具，如表4所示。,表4 常見(jiàn)黑盒功能測(cè)試工具,3.測(cè)試管理工具 測(cè)試管理工具用于對(duì)測(cè)試進(jìn)行管理。一般而言，測(cè)試管理工具負(fù)責(zé)對(duì)測(cè)試計(jì)劃、測(cè)試用例、測(cè)試實(shí)施進(jìn)行管理、對(duì)產(chǎn)品缺陷跟蹤管理、產(chǎn)品特性管理等。 測(cè)試管理工具的代表有Rational公司的TeamManager、 Compuware公司的TrackRecord、Mercury Interactive公司的 TestDirector等軟件。 除此之外，還有專(zhuān)用于性能測(cè)試的工具包括有：Radview公司的WebLoad；Microsoft公司的WebStress等工具；針對(duì)數(shù)據(jù)庫(kù)測(cè)試的TestBytes；對(duì)應(yīng)用性能進(jìn)行優(yōu)化的EcoScope等工具。,2 常見(jiàn)自動(dòng)化測(cè)試工具介紹,1. Rational Robot Rational Robot可以對(duì)在各種獨(dú)立開(kāi)發(fā)環(huán)境（IDE）中開(kāi)發(fā)的應(yīng)用程序，創(chuàng)建、修改并執(zhí)行功能測(cè)試、分布式功能測(cè)試、回歸測(cè)試以及整合測(cè)試，記錄并回放能識(shí)別業(yè)務(wù)應(yīng)用程序?qū)ο蟮臏y(cè)試腳本，可以快速、有效地跟蹤、報(bào)告與質(zhì)量保證測(cè)試相關(guān)的所有信息，并將這些信息繪制成圖表。Robot的回歸測(cè)試與Purify結(jié)合使用完成可靠性測(cè)試，與PureCoverage結(jié)合使用完成代碼覆蓋計(jì)算，與Rational Quantify結(jié)合使用完成應(yīng)用程序性能測(cè)試。 Rational Robot是一個(gè)面向?qū)ο蟮能浖y(cè)試工具，主要針對(duì)Web、ERP和C/S進(jìn)行功能自動(dòng)化測(cè)試?？梢越档驮诠δ軠y(cè)試上的人力和物力的投入成本和風(fēng)險(xiǎn)，測(cè)試包括可見(jiàn)的和不可見(jiàn)的對(duì)象。 Rational Robot可以開(kāi)發(fā)運(yùn)用三種測(cè)試腳本：用于功能測(cè)試的GUI腳本、用于性能測(cè)試的VU以及VB腳本。,Rational Robot具有以下功能和作用： 執(zhí)行完整的功能測(cè)試。記錄和回放遍歷應(yīng)用程序的腳本以及測(cè)試在查證點(diǎn)處的對(duì)象狀態(tài)。 執(zhí)行完整的性能測(cè)試。通過(guò)Rational Robot與Rational Test Manager的協(xié)作可以記錄和回放腳本，這些腳本幫助斷定多客戶(hù)系統(tǒng)在不同負(fù)載情況下是否能夠按照用戶(hù)定義的標(biāo)準(zhǔn)運(yùn)行。 在SQA Basic、VB、VU多種環(huán)境下創(chuàng)建并編輯腳本。Rational Robot編輯器提供有色代碼命令，并在集成腳本開(kāi)發(fā)階段提供鍵盤(pán)幫助。 測(cè)試微軟IDE環(huán)境下VB、HTML、Java、Oracle Forms、PowerBuilder、Delphi、開(kāi)發(fā)的應(yīng)用程序以及用戶(hù)界面上看不見(jiàn)的那些對(duì)象。 腳本回放階段收集應(yīng)用程序診斷信息。Rational Robot與Rational Purify Quantify PureCoverage集成，可以通過(guò)診斷工具回放腳本，并在日志中查看結(jié)果。 同Rational其他組件或產(chǎn)品集成使用Robot,2. WinRunner Mercury Interactive公司的WinRunner是一種企業(yè)級(jí)的用于檢驗(yàn)應(yīng)用程序是否如期運(yùn)行的功能性測(cè)試工具。通過(guò)自動(dòng)捕獲，檢測(cè)和模擬用戶(hù)交互的操作，WinRunner能夠辨認(rèn)缺陷并且確保那些跨越多個(gè)應(yīng)用程序和數(shù)據(jù)庫(kù)的業(yè)務(wù)流程在初次發(fā)布就能避免出現(xiàn)故障，并且保持長(zhǎng)期可靠運(yùn)行。 WinRunner的特點(diǎn)在于:與傳統(tǒng)的手工測(cè)試相比，它能快速、批量地完成功能點(diǎn)測(cè)試；能針對(duì)相同測(cè)試腳本，執(zhí)行相同的動(dòng)作，從而消除人工測(cè)試所帶來(lái)的理解上的誤差；此外，它還能重復(fù)執(zhí)行相同動(dòng)作，測(cè)試工作中最枯燥的部分可交由機(jī)器完成；它支持程序風(fēng)格的測(cè)試腳本，一個(gè)高素質(zhì)的測(cè)試工程師能借助它完成流程極為復(fù)雜的測(cè)試，通過(guò)使用通配符、宏、條件語(yǔ)句、循環(huán)語(yǔ)句等，還能較好地完成測(cè)試腳本的重用；它針對(duì)于大多數(shù)編程語(yǔ)言和Windows技術(shù)，提供了較好的集成、支持環(huán)境，這對(duì)基于Windows平臺(tái)的應(yīng)用程序?qū)嵤┕δ軠y(cè)試而言帶來(lái)了極大的便利。,其主要功能： (1)輕松創(chuàng)建測(cè)試 (2)插入檢查點(diǎn) (3)檢驗(yàn)數(shù)據(jù) (4)增強(qiáng)測(cè)試 (5)運(yùn)行測(cè)試 (6)分析結(jié)果 (7)維護(hù)測(cè)試,3. LoadRunner Mercury Interactive的LoadRunner是一種適用于企業(yè)級(jí)系統(tǒng)、各種體系架構(gòu)的自動(dòng)負(fù)載測(cè)試工具，通過(guò)模擬實(shí)際用戶(hù)的操作行為和實(shí)行實(shí)時(shí)性能監(jiān)測(cè)，幫助更快地查找和發(fā)現(xiàn)問(wèn)題，預(yù)測(cè)系統(tǒng)行為并優(yōu)化系統(tǒng)性能。通過(guò)使用LoadRunner，企業(yè)能最大限度地縮短測(cè)試時(shí)間，優(yōu)化性能和加速應(yīng)用系統(tǒng)的發(fā)布周期。此外，LoadRunner能支持廣泛的協(xié)議和技術(shù)，為一些特殊環(huán)境提供特殊的解決方案。業(yè)界認(rèn)為L(zhǎng)oadRunner的功能與QALoad相比不相上下。,LoadRunner主要功能如下： 輕松創(chuàng)建虛擬用戶(hù)。LoadRunner可以記錄下客戶(hù)端的操作，并以腳本的方式保存，然后建立多個(gè)虛擬用戶(hù)，在一臺(tái)或幾臺(tái)主機(jī)上模擬上百或上千虛擬用戶(hù)同時(shí)操作的情景，同時(shí)記錄下各種數(shù)據(jù)，并根據(jù)測(cè)試結(jié)果分析系統(tǒng)瓶頸，輸出各種定制壓力測(cè)試報(bào)告。 使用Virtual User Generator，能簡(jiǎn)便地創(chuàng)立起系統(tǒng)負(fù)載。該引擎能生成虛擬用戶(hù)，以虛擬用戶(hù)的方式模擬真實(shí)用戶(hù)的業(yè)務(wù)操作行為。利用虛擬用戶(hù)，在不同的操作系統(tǒng)的機(jī)器上同時(shí)運(yùn)行上萬(wàn)個(gè)測(cè)試，從而反映出系統(tǒng)真正的負(fù)載能力。 創(chuàng)建真實(shí)的負(fù)載。LoadRunner能建立持續(xù)且循環(huán)的負(fù)載，限定負(fù)載又能管理和驅(qū)動(dòng)負(fù)載測(cè)試方案，而且可以利用日程計(jì)劃服務(wù)來(lái)定義用戶(hù)在什么時(shí)候訪問(wèn)系統(tǒng)以產(chǎn)生負(fù)載，使測(cè)試過(guò)程高度自動(dòng)化。 定位性能問(wèn)題。LoadRunner內(nèi)含集成的實(shí)時(shí)監(jiān)測(cè)器，在負(fù)載測(cè)試過(guò)程的任何時(shí)候，可以觀察到應(yīng)用系統(tǒng)的運(yùn)行性能，實(shí)時(shí)顯示交易性能數(shù)據(jù)和其他系統(tǒng)組件的實(shí)時(shí)性能。,分析結(jié)果以精確定位問(wèn)題所在。測(cè)試完畢后，LoadRunner收集、匯總所有的測(cè)試數(shù)據(jù)，提供高級(jí)的分析和報(bào)告工具，以便迅速查找到問(wèn)題并追溯原由。 此外，LoadRunner完全支持基于Java平臺(tái)應(yīng)用服務(wù)器Enterprise Java Beans的負(fù)載測(cè)試，支持無(wú)限應(yīng)用協(xié)議WAP和I-mode，支持Media Stream應(yīng)用，可以記錄和重放任何流行的多媒體數(shù)據(jù)流格式來(lái)診斷系統(tǒng)的性能問(wèn)題，查找原由、分析數(shù)據(jù)的質(zhì)量。,4. Parasoft C+ Test Parasoft C+ Test是Parasoft公司開(kāi)發(fā)的專(zhuān)門(mén)針對(duì)C/C+的源程序代碼進(jìn)行自動(dòng)化單元測(cè)試的工具，可以自動(dòng)測(cè)試任何C/C+函數(shù)、類(lèi)，自動(dòng)生成測(cè)試用例、測(cè)試驅(qū)動(dòng)函數(shù)或樁函數(shù)，在自動(dòng)化的環(huán)境下完成單元測(cè)試，其單元級(jí)的測(cè)試覆蓋率可以達(dá)到100%。Parasoft C+ Test能夠自動(dòng)測(cè)試代碼構(gòu)造（白盒測(cè)試）、測(cè)試代碼的功能性（黑盒測(cè)試）和維護(hù)代碼的完整性（回歸測(cè)試）。,5. QACenter QACenter是黑盒測(cè)試工具，它可以幫助測(cè)試人員創(chuàng)建一個(gè)快速、可重用的測(cè)試過(guò)程。該測(cè)試工具能夠自動(dòng)幫助管理測(cè)試過(guò)程，快速分析和調(diào)試程序，能夠針對(duì)回歸測(cè)試、強(qiáng)度測(cè)試、單元測(cè)試、并發(fā)測(cè)試、集成測(cè)試、移植測(cè)試容量和負(fù)載測(cè)試建立測(cè)試用例，自動(dòng)執(zhí)行測(cè)試并產(chǎn)生相應(yīng)的測(cè)試文檔。 QACenter測(cè)試工具主要包括以下幾個(gè)模塊： (1)QARun。QARun主要用于客戶(hù)端/服務(wù)器系統(tǒng)中對(duì)客戶(hù)端的功能測(cè)試。在功能測(cè)試中，主要包括對(duì)系統(tǒng)的GUI進(jìn)行測(cè)試以及對(duì)客戶(hù)端事務(wù)邏輯進(jìn)行測(cè)試。QARun的測(cè)試實(shí)現(xiàn)方法是通過(guò)鼠標(biāo)移動(dòng)、鍵盤(pán)點(diǎn)擊活動(dòng)操作被測(cè)系統(tǒng)，得到相應(yīng)的腳本，并對(duì)腳本進(jìn)行編輯和調(diào)試。在記錄過(guò)程中針對(duì)被測(cè)系統(tǒng)中所包含的功能點(diǎn)進(jìn)行基線的建立，以就是說(shuō)在插入檢查點(diǎn)的同時(shí)建立期望輸出值。一般情況下，檢查點(diǎn)在QARun提示目標(biāo)系統(tǒng)執(zhí)行一系列事件之后被執(zhí)行，檢查點(diǎn)可以確定實(shí)際結(jié)果與期望結(jié)果是否相同。,(2)QALoad。QALoad是強(qiáng)負(fù)載下應(yīng)用的性能測(cè)試工具。它主要檢測(cè)系統(tǒng)負(fù)載能力，支持范圍廣、測(cè)試內(nèi)容多。該工具能夠幫助測(cè)試人員、開(kāi)發(fā)人員和系統(tǒng)管理人員對(duì)于分布式系統(tǒng)的被測(cè)程序進(jìn)行有效的負(fù)載測(cè)試。負(fù)載測(cè)試能夠模擬大量的用戶(hù)并發(fā)活動(dòng)，從而發(fā)現(xiàn)大用戶(hù)負(fù)載下對(duì)C/S系統(tǒng)的影響。 (3)Eco Tools。Eco Tools是可用性管理工具，在性能測(cè)試后完成系統(tǒng)的可用性分析。有很多因素影響系統(tǒng)的可用性，用戶(hù)桌面、網(wǎng)絡(luò)、服務(wù)器、數(shù)據(jù)庫(kù)環(huán)境以及各種子組件都能鏈接在一起，任何一個(gè)組件都可能造成整個(gè)系統(tǒng)對(duì)最終用戶(hù)的不可使用問(wèn)題。Eco Tools工具包括的各種Agents可以監(jiān)控服務(wù)器資源，特別是Windows NT、UNIX系統(tǒng)、Oracle、Sybase、SQL Server系統(tǒng)和其他的應(yīng)用軟件系統(tǒng)。 (4)Eco Scope。Eco Scope是性能優(yōu)化工具。它能解決在大型企業(yè)復(fù)雜環(huán)境下分析與測(cè)量應(yīng)用系統(tǒng)性能的難題。通過(guò)提供應(yīng)用的性能級(jí)別及其支撐架構(gòu)的信息，幫助部門(mén)就如何提高應(yīng)用系統(tǒng)的性能提出多方面的決策方案。Eco Scope應(yīng)用綜合軟件探測(cè)技術(shù)無(wú)干擾地監(jiān)控網(wǎng)絡(luò)，能夠自動(dòng)跟蹤LAN/WAN上的應(yīng)用流量，采集詳細(xì)的性能指標(biāo)，并將這些信息關(guān)聯(lián)到交互界面中，自動(dòng)識(shí)別低性能的應(yīng)用系統(tǒng)、受影響的服務(wù)器與用戶(hù)性能低下的程度。用戶(hù)界面也能以一種智能的方式訪問(wèn)大量的Eco Scope數(shù)據(jù)。所以能較快地找到性能問(wèn)題的根源。,(6)QADirector。QADirector是測(cè)試的組織設(shè)計(jì)和創(chuàng)建以及管理工具。它提供應(yīng)用系統(tǒng)管理框架，使開(kāi)發(fā)者和QA工作組將所有測(cè)試階段組合在一起，從而最有效地使用現(xiàn)有測(cè)試資料、測(cè)試方法和應(yīng)用測(cè)試工具。QADirector使用戶(hù)能夠自動(dòng)地組織測(cè)試資料，建立測(cè)試過(guò)程，以便對(duì)多種情況和條件進(jìn)行測(cè)試。按正確的次序執(zhí)行多個(gè)測(cè)試腳本，記錄、跟蹤、分析和記錄測(cè)試結(jié)果，并與多個(gè)并發(fā)用戶(hù)共享測(cè)試信息。,6. WebLoad WebLoad是RadView公司推出的一個(gè)性能測(cè)試和分析工具，它讓W(xué)eb應(yīng)用程序開(kāi)發(fā)者自動(dòng)執(zhí)行壓力測(cè)試；WebLoad通過(guò)模擬真實(shí)用戶(hù)的操作，生成壓力負(fù)載來(lái)測(cè)試Web Application的性能。用戶(hù)創(chuàng)建的是基于JavaScript的測(cè)試腳本，稱(chēng)為議程Agenda，用來(lái)模擬客戶(hù)的行為，通過(guò)執(zhí)行該腳本來(lái)衡量Web應(yīng)用程序在真實(shí)環(huán)境下的性能。如有需要可以在做負(fù)載測(cè)試的同時(shí)，使用服務(wù)器監(jiān)控工具對(duì)服務(wù)器端的內(nèi)容進(jìn)行記錄，那樣使負(fù)載測(cè)試更加全面。 WebLoad的性能測(cè)試流程： 計(jì)劃一個(gè)負(fù)載（壓力）會(huì)話Load Session，用WebLoad Console創(chuàng)建 Load Templates，將一系列壓力事件定義到一個(gè)壓力會(huì)話Load Session里。 創(chuàng)建測(cè)試議程Agenda。用WebLoad Visual AAT創(chuàng)建測(cè)試議程 Agenda。 創(chuàng)建壓力模板Load Templates?？捎肳ebLoad Wizard創(chuàng)建壓力模 板，創(chuàng)建一個(gè)預(yù)期性能參數(shù)的壓力測(cè)試模板或手工創(chuàng)建壓力模板。 輸出測(cè)試報(bào)告并分析測(cè)試結(jié)果：實(shí)時(shí)查看測(cè)試結(jié)果；創(chuàng)建集成報(bào)告；用 WebLoad Reporter分析測(cè)試結(jié)果。,7. Web Application Stress (WAS) Tool 微軟的WAS允許以不同的方式創(chuàng)建測(cè)試腳本：可以通過(guò)使用瀏覽器走一遍站點(diǎn)來(lái)錄制腳本，可以從服務(wù)器的日志文件導(dǎo)入U(xiǎn)RL，或者從一個(gè)網(wǎng)絡(luò)內(nèi)容文件夾選擇一個(gè)文件。當(dāng)然，也可以手工地輸入U(xiǎn)RL來(lái)創(chuàng)建一個(gè)新的測(cè)試腳本。 WAS可以使用任何數(shù)量的客戶(hù)端運(yùn)行測(cè)試腳本，全部都有一個(gè)中央主客戶(hù)端來(lái)控制。在每一個(gè)測(cè)試開(kāi)始前，主客戶(hù)機(jī)透明地執(zhí)行以下任務(wù)： 與其他所有的客戶(hù)機(jī)通信。 把測(cè)試數(shù)據(jù)分發(fā)給所有的客戶(hù)端。 在所有客戶(hù)端同時(shí)初始化測(cè)試。 從所有的客戶(hù)端收集測(cè)試結(jié)果和報(bào)告。,8. TestDirector TestDirector是一套測(cè)試管理軟件?？梢允褂盟鼇?lái)規(guī)范科學(xué)的測(cè)試管理流程，建立起針對(duì)項(xiàng)目的測(cè)試方案和計(jì)劃，消除組織機(jī)構(gòu)間、地域間的障礙，讓測(cè)試人員、開(kāi)發(fā)人員或其他的IT人員通過(guò)一個(gè)中央數(shù)據(jù)倉(cāng)庫(kù)，在不同地方就能交互測(cè)試信息。TestDirector將測(cè)試過(guò)程流水化從測(cè)試需求管理，到測(cè)試計(jì)劃，測(cè)試日程安排，測(cè)試執(zhí)行到出錯(cuò)后的錯(cuò)誤跟蹤僅在一個(gè)基于瀏覽器的應(yīng)用中便可完成，而不需要每個(gè)客戶(hù)端都安裝一套客戶(hù)端程序。 需求管理。程序的需求驅(qū)動(dòng)整個(gè)測(cè)試過(guò)程。TestDirector的Web界面簡(jiǎn)化了這些需求管理過(guò)程，以此可以驗(yàn)證應(yīng)用軟件的每一個(gè)特性或功能是否正常。通過(guò)提供一個(gè)比較直觀的機(jī)制將需求和測(cè)試用例、測(cè)試結(jié)果和報(bào)告的錯(cuò)誤聯(lián)