常用軟件測(cè)試工具的分析

1、常用軟件測(cè)試工具的分析江蘇省電子信息產(chǎn)品質(zhì)量監(jiān)督檢驗(yàn)研究院 張影秋隨著軟件測(cè)試的地位逐步提高，測(cè)試的重要性逐步顯現(xiàn)，測(cè)試工具的應(yīng)用已經(jīng)成為了普遍的趨勢(shì)。目前用于測(cè)試的工具已經(jīng)比較多了，測(cè)試工具的應(yīng)用可以提高測(cè)試的質(zhì)量、測(cè)試的效率、減少測(cè)試過(guò)程中的重復(fù)勞動(dòng)、實(shí)現(xiàn)測(cè)試自動(dòng)化，這些測(cè)試工具一般可分為白盒測(cè)試工具、黑盒測(cè)試工具、性能測(cè)試工具，另外還有用于測(cè)試管理的工具，本文對(duì)常用的測(cè)試工具作一個(gè)分析比較。 1、 白盒測(cè)試工具白盒測(cè)試工具一般是針對(duì)代碼進(jìn)行測(cè)試，測(cè)試中發(fā)現(xiàn)的缺陷可以定位到代碼級(jí)，根據(jù)測(cè)試工具原理的不同，又可以分為靜態(tài)測(cè)試工具和動(dòng)態(tài)測(cè)試工具。 靜態(tài)測(cè)試工具直接對(duì)代碼進(jìn)行分析，不需要運(yùn)行代碼

2、，也不需要對(duì)代碼編譯鏈接，生成可執(zhí)行文件。靜態(tài)測(cè)試工具一般是對(duì)代碼進(jìn)行語(yǔ)法掃描，找出不符合編碼規(guī)范的地方，根據(jù)某種質(zhì)量模型評(píng)價(jià)代碼的質(zhì)量，生成系統(tǒng)的調(diào)用關(guān)系圖等；動(dòng)態(tài)測(cè)試工具與靜態(tài)測(cè)試工具不同，動(dòng)態(tài)測(cè)試工具的一般采用“插樁”的方式，向代碼生成的可執(zhí)行文件中插入一些監(jiān)測(cè)代碼，用來(lái)統(tǒng)計(jì)程序運(yùn)行時(shí)的數(shù)據(jù)。其與靜態(tài)測(cè)試工具最大的不同就是動(dòng)態(tài)測(cè)試工具要求被測(cè)系統(tǒng)實(shí)際運(yùn)行。(1) Jtest是一個(gè)代碼分析和動(dòng)態(tài)類(lèi)、組件測(cè)試工具，是一個(gè)集成的、易于使用和自動(dòng)化的Java單元測(cè)試工具。它增強(qiáng)代碼的穩(wěn)定性，防止軟件錯(cuò)誤。(2) JcontractJcontract在系統(tǒng)級(jí)驗(yàn)證類(lèi)/部件是否正確工作并被正確使用。J

3、contract是個(gè)獨(dú)立工具，在功能上是Jtest的補(bǔ)充。可以用Jcontract插裝按DbC注解的Java代碼。當(dāng)您將類(lèi)/部件組裝成系統(tǒng)時(shí)，Jcontract在運(yùn)行時(shí)監(jiān)視并報(bào)告錯(cuò)用和功能性問(wèn)題。Jcontract幫助每個(gè)開(kāi)發(fā)人員有效地考核類(lèi)/部件的系統(tǒng)級(jí)行為。(3) C+ TestC+Test可以幫助開(kāi)發(fā)人員防止軟件錯(cuò)誤，保證代碼的健全性、可靠性、可維護(hù)性和可移植性。C+Test自動(dòng)測(cè)試C和C類(lèi)、函數(shù)或組件，而無(wú)需編寫(xiě)單個(gè)測(cè)試實(shí)例、測(cè)試驅(qū)動(dòng)程序或樁調(diào)用。(4) CodeWizardCodeWizard代碼靜態(tài)分析工具，先進(jìn)的C/C+源代碼分析工具，使用超過(guò)500個(gè)編碼規(guī)范自動(dòng)化地標(biāo)明危險(xiǎn)的，

4、但是編譯器不能檢查到的代碼結(jié)構(gòu)。(5) Insure+Insure+是一個(gè)基于C/C+的自動(dòng)化的內(nèi)存錯(cuò)誤、內(nèi)存泄漏的精確檢測(cè)工具。 Insure+能夠可視化實(shí)時(shí)內(nèi)存操作,準(zhǔn)確檢測(cè)出內(nèi)存泄漏產(chǎn)生的根源。Insure+還能執(zhí)行覆蓋性分析,清楚地指示那些代碼已經(jīng)測(cè)試過(guò)。(6) .test.TEST是專(zhuān)為.NET開(kāi)發(fā)而推出的使用方便的自動(dòng)化單元級(jí)測(cè)試與靜態(tài)分析工具。 使用超過(guò)200條的工業(yè)標(biāo)準(zhǔn)代碼規(guī)則對(duì)所寫(xiě)代碼自動(dòng)執(zhí)行靜態(tài)分析。這些規(guī)則立即應(yīng)用.NET工業(yè)專(zhuān)家深入、全面的編程知識(shí)到你的代碼當(dāng)中，迅速、徹底地防止錯(cuò)誤的出現(xiàn)。自動(dòng)測(cè)試代碼構(gòu)造與功能。 .TEST非常智能。他能提取剛完成的代碼，對(duì)其進(jìn)行讀取

5、，并提出如何對(duì)這些代碼進(jìn)行單元測(cè)試，不需要任何的人為干涉。所有由.TEST產(chǎn)生的單元測(cè)試都是可以用戶(hù)自定義的。(7) BoundsCheckerBoundsChecker Visual C+ Edition 是針對(duì) Visual C+開(kāi)發(fā)人員的首選的運(yùn)行時(shí)的錯(cuò)誤檢測(cè)和調(diào)試工具。它通過(guò)駐留在 Visual C+ 開(kāi)發(fā)環(huán)境內(nèi)部的自動(dòng)調(diào)試處理程序來(lái)加速應(yīng)用程序的開(kāi)發(fā)，縮短產(chǎn)品發(fā)布的時(shí)間。BoundsChecker 對(duì)于編程中的錯(cuò)誤，大多數(shù)是 C+中特有的提供了清晰的詳細(xì)的分析。它能夠檢測(cè)和診斷出在靜態(tài)，堆棧內(nèi)存中的錯(cuò)誤以及內(nèi)存和資源泄漏問(wèn)題。在運(yùn)行狀態(tài)下，BoundsChecker 驗(yàn)證超過(guò) 8,7

6、00 APIs 和 OLE 方法，包括最新的 Windows APIs, ODBC, ActiveX，DirectX, COM 和 Internet APIs。(8) TrueTime代碼運(yùn)行緩慢是開(kāi)發(fā)過(guò)程中一個(gè)重要問(wèn)題。一個(gè)應(yīng)用程序運(yùn)行速度較慢，程序員不容易找到到底是在哪里出現(xiàn)了問(wèn)題，如果不能解決應(yīng)用程序的性能將降低并極大的影響應(yīng)用程序的質(zhì)量，于是查找和修改性能瓶頸是調(diào)整整個(gè)代碼性能的關(guān)鍵。如何快速的查找性能瓶頸呢？TrueTime的出現(xiàn)就使這個(gè)問(wèn)題變得很容易了。當(dāng)我們?cè)跍y(cè)試程序時(shí)，每完成一次應(yīng)用話路，TrueTime都能提供這次對(duì)話中函數(shù)的調(diào)用時(shí)間，提供詳細(xì)的應(yīng)用程序和組件性能的分析，并自

7、動(dòng)定位到運(yùn)行緩慢的代碼。這樣就能幫助程序員盡快地調(diào)整應(yīng)用程序的性能。TrueTime支持C+, JAVA, Visual Basic語(yǔ)言環(huán)境。(9) FailSafeFailSafe是Visual Basic語(yǔ)言環(huán)境下的自動(dòng)錯(cuò)誤處理和恢復(fù)工具，F(xiàn)ailSafe將插入額外的代碼對(duì)你的程序進(jìn)行插裝,當(dāng)程序執(zhí)行時(shí),FailSafe通過(guò)這些插裝的代碼捕獲、記錄錯(cuò)誤信息。(10) JcheckJcheck是DevPartner Studio開(kāi)發(fā)調(diào)試工具的一個(gè)組件，他使用事件調(diào)試技術(shù)，可以收集Java程序運(yùn)行中準(zhǔn)確的實(shí)時(shí)信息。我們?cè)贘ava程序中經(jīng)常要使用線程，而關(guān)于線程的常見(jiàn)錯(cuò)誤有死鎖、系統(tǒng)崩潰、同步問(wèn)

8、題等。JCheck通過(guò)監(jiān)視和分析當(dāng)前內(nèi)存中所有線程的運(yùn)行狀況，找到出錯(cuò)的根源，并且可以定位到具體是程序中的哪個(gè)方法出錯(cuò)，錯(cuò)誤位于程序的哪一行。(11) TrueCoverageTrueCoverage是一個(gè)代碼覆蓋率統(tǒng)計(jì)工具，在開(kāi)發(fā)過(guò)程中，對(duì)一個(gè)應(yīng)用程序通過(guò)手工測(cè)試，總會(huì)有一部分代碼功能沒(méi)有被檢測(cè)到，或者說(shuō)逐個(gè)檢測(cè)每一個(gè)函數(shù)的調(diào)用是相當(dāng)費(fèi)時(shí)間的；未被檢測(cè)的代碼我們不能保證它的可靠性，以后程序的失敗可能往往就是由這部分未檢測(cè)的代碼造成的。現(xiàn)在我們可以用TrueCoverage來(lái)幫助我們解決這些問(wèn)題，我們?cè)跍y(cè)試程序時(shí)，每完成一次應(yīng)用話路，TrueCoverage就能夠列出在這次對(duì)話中所有函數(shù)被調(diào)用

9、次數(shù)、所占比率等，并可以直接定位到源代碼，當(dāng)然我們也可以合并多個(gè)應(yīng)用話路來(lái)進(jìn)行檢測(cè)。所以說(shuō)TrueCoverage能通過(guò)衡量和跟蹤代碼執(zhí)行及代碼穩(wěn)定性，幫助開(kāi)發(fā)團(tuán)隊(duì)節(jié)省時(shí)間和改善代碼可靠性。TrueCoverage支持C+, JAVA, Visual Basic語(yǔ)言環(huán)境。(12) SmartCheckSmartCheck 是針對(duì) Visual Basic的主要的自動(dòng)錯(cuò)誤檢測(cè)和調(diào)試工具。它能夠自動(dòng)檢測(cè)和診斷 VB運(yùn)行時(shí)的錯(cuò)誤,并將一些表達(dá)不清楚的錯(cuò)誤信息轉(zhuǎn)換為確切的錯(cuò)誤描述。它的EventDebugging 特性為 Visual Basic開(kāi)發(fā)小組和獨(dú)立的開(kāi)發(fā)人員解決最棘手的問(wèn)題提供了簡(jiǎn)便的方法

10、。它可以進(jìn)行致命錯(cuò)誤的分析、兼容性檢查、定位到源代碼。不是 Visual Basic 中所有的問(wèn)題都是運(yùn)行時(shí)或系統(tǒng)的錯(cuò)誤。許多的問(wèn)題來(lái)自于未預(yù)期的程序流程的結(jié)果。如果沒(méi)有 EventDebugging，將問(wèn)題分離出來(lái)是相當(dāng)困難，甚至不可能的。當(dāng)簡(jiǎn)單的動(dòng)作比如設(shè)置控件的屬性發(fā)生時(shí),會(huì)觸發(fā)一些編程人員想象不到的事件的發(fā)生,從而使的錯(cuò)誤檢測(cè)和調(diào)試邊的更加復(fù)雜。SmartCheck 顯示使用時(shí)的屬性，方法和事件以便于將這些事件驅(qū)動(dòng)的問(wèn)題隔離出來(lái)。SmartCheck EventDebugging 跟蹤事件以簡(jiǎn)化錯(cuò)誤的定位。舉個(gè)例子，SmartCheck 在事件被設(shè)置或只讀時(shí)將其方法和屬性全部顯示，連同

11、由這些事件觸發(fā)的形式。(13) CodeReview對(duì)于Visual Basic開(kāi)發(fā)人員來(lái)說(shuō)，CodeReview是最好的自動(dòng)源代碼分析工具，它對(duì)應(yīng)用程序的組件、邏輯、Windows和Vb自身潛在的數(shù)百個(gè)問(wèn)題進(jìn)行嚴(yán)格地源代碼檢查。CodeReview分析的類(lèi)型包括Y2K問(wèn)題，邏輯錯(cuò)誤，應(yīng)用程序性能和可用性問(wèn)題，Windows API調(diào)用和標(biāo)準(zhǔn)一致性問(wèn)題等?？梢詸z測(cè)整個(gè)的VB工程或指定的模塊，并能定制檢錯(cuò)的種類(lèi)；對(duì)檢測(cè)的結(jié)果有詳細(xì)的說(shuō)明，提供幫助和推薦解決方案，而且能夠直接的鏈接到源代碼。CodeReview系統(tǒng)還提供了兩個(gè)子模塊，一個(gè)是Metrics：通過(guò)對(duì)VB工程（vbp）的執(zhí)行，計(jì)算出代碼

12、的長(zhǎng)度、復(fù)雜度、理解度、語(yǔ)言的使用等級(jí)、出錯(cuò)的可能性等數(shù)據(jù)；另一個(gè)是Namer：它調(diào)用一個(gè)VB工程，自動(dòng)并規(guī)則地對(duì)其中的對(duì)象重新命名，并備份原來(lái)沒(méi)有規(guī)則命名的工程文件，使開(kāi)發(fā)人員對(duì)程序能夠有條理地管理。2、黑盒測(cè)試工具黑盒測(cè)試工具適用于黑盒測(cè)試的場(chǎng)合，黑盒測(cè)試工具包括功能測(cè)試工具和性能測(cè)試工具。黑盒測(cè)試工具的一般原理是利用腳本的錄制(Record)/回放(Playback)，模擬用戶(hù)的操作，然后將被測(cè)系統(tǒng)的輸出記錄下來(lái)同預(yù)先給定的標(biāo)準(zhǔn)結(jié)果比較。黑盒測(cè)試工具可以大大減輕黑盒測(cè)試的工作量，在迭代開(kāi)發(fā)的過(guò)程中，能夠很好地進(jìn)行回歸測(cè)試。(1) WinRunnerMercury Interactive公

13、司的WinRunner是一種企業(yè)級(jí)的功能測(cè)試工具，用于檢測(cè)應(yīng)用程序是否能夠達(dá)到預(yù)期的功能及正常運(yùn)行。通過(guò)自動(dòng)錄制、檢測(cè)和回放用戶(hù)的應(yīng)用操作，WinRunner能夠有效地幫助測(cè)試人員對(duì)復(fù)雜的企業(yè)級(jí)應(yīng)用的不同發(fā)布版進(jìn)行測(cè)試，提高測(cè)試人員的工作效率和質(zhì)量，確保跨平臺(tái)的、復(fù)雜的企業(yè)級(jí)應(yīng)用無(wú)故障發(fā)布及長(zhǎng)期穩(wěn)定運(yùn)行。企業(yè)級(jí)應(yīng)用可能包括Web應(yīng)用系統(tǒng)，ERP系統(tǒng)，CRM系統(tǒng)等等。這些系統(tǒng)在發(fā)布之前，升級(jí)之后都要經(jīng)過(guò)測(cè)試，確保所有功能都能正常運(yùn)行，沒(méi)有任何錯(cuò)誤。如何有效地測(cè)試不斷升級(jí)更新且不同環(huán)境的應(yīng)用系統(tǒng)，是每個(gè)公司都會(huì)面臨的問(wèn)題。 如果時(shí)間或資源有限，這個(gè)問(wèn)題會(huì)更加棘手。人工測(cè)試的工作量太大，還要額外的時(shí)

14、間來(lái)培訓(xùn)新的測(cè)試人員等等。為了確保那些復(fù)雜的企業(yè)級(jí)應(yīng)用在不同環(huán)境下都能正常可靠地運(yùn)行，你需要一個(gè)能簡(jiǎn)單操作的測(cè)試工具來(lái)自動(dòng)完成應(yīng)用程序的功能性測(cè)試，WinRunner能夠做到這點(diǎn)。(2) Astra Quicktest(3) RobotRobot是IBM Rational公司的功能測(cè)試工具，通過(guò)Script自動(dòng)模擬輸入輸出。(4) QARunQARun是Compuware公司的軟件功能測(cè)試工具，為客戶(hù)/服務(wù)器、電子商務(wù)到企業(yè)資源計(jì)劃提供重要的商務(wù)功能測(cè)試。通過(guò)將耗時(shí)的測(cè)試腳本開(kāi)發(fā)和執(zhí)行任務(wù)自動(dòng)化,QARun幫助測(cè)試人員和QA管理人員更有效地工作,以加速應(yīng)用開(kāi)發(fā)，它提供快速、有效地創(chuàng)建和執(zhí)行測(cè)試

15、腳本，驗(yàn)證測(cè)試并分析測(cè)試結(jié)果的功能。它能夠通過(guò)加快運(yùn)行周期來(lái)保持測(cè)試同步，提高測(cè)試投資回報(bào)和質(zhì)量，該工具的功能有：創(chuàng)建測(cè)試和執(zhí)行測(cè)試、測(cè)試驗(yàn)證、 測(cè)試結(jié)果分析、 可改進(jìn)的數(shù)據(jù)函數(shù)、廣泛的支持、集中式知識(shí)庫(kù)、網(wǎng)站分析、智能化測(cè)試腳本、自動(dòng)同步。(5) SilkTestSilkTest International是Segue公司的標(biāo)準(zhǔn)的、面向多語(yǔ)種企業(yè)級(jí)應(yīng)用的功能和回歸測(cè)試工具。 讓用戶(hù)能跨語(yǔ)種、跨平臺(tái)和跨Web瀏覽器，高效率地進(jìn)行各種類(lèi)型的應(yīng)用可靠性測(cè)試。(6) e-Teste-Test是Empirix公司的軟件功能測(cè)試工具，功能很強(qiáng)大，由于不是采用Post URL的方式回放腳本，所以可以支持多

16、內(nèi)碼的測(cè)試數(shù)據(jù)（當(dāng)然要程序支持）?；旧峡梢詰?yīng)付大部分的Web Site。(7) WASMicrosoft的Web Application Stress Tool（WAS，Web應(yīng)用負(fù)載測(cè)試工具）是Microsoft的可以免費(fèi)下載的軟件性能測(cè)試工具。WAS要求Windows NT 4.0 SP4或者更高，或者Windows 2000。為了對(duì)網(wǎng)站進(jìn)行負(fù)載測(cè)試，WAS可以通過(guò)一臺(tái)或者多臺(tái)客戶(hù)機(jī)模擬大量用戶(hù)的活動(dòng)。WAS支持身份驗(yàn)證、加密和Cookies，也能夠模擬各種瀏覽器類(lèi)型和Modem速度，它的功能和性能可以與數(shù)萬(wàn)美元的產(chǎn)品相媲美。WAS只能用于B/S構(gòu)架的軟件性能測(cè)試。(8) LoadRun

17、nerLoadRunner是MI公司的預(yù)測(cè)系統(tǒng)行為和性能的負(fù)載測(cè)試工具，它通過(guò)以模擬上千萬(wàn)用戶(hù)實(shí)施并發(fā)負(fù)載及實(shí)時(shí)性能監(jiān)測(cè)的方式來(lái)確認(rèn)和查找問(wèn)題。LoadRunner 是一種適用于各種體系架構(gòu)的自動(dòng)負(fù)載測(cè)試工具，它能預(yù)測(cè)系統(tǒng)行為并優(yōu)化系統(tǒng)性能。LoadRunner 的測(cè)試對(duì)象是整個(gè)企業(yè)的系統(tǒng)，它通過(guò)模擬實(shí)際用戶(hù)的操作行為和實(shí)行實(shí)時(shí)性能監(jiān)測(cè)，來(lái)幫助您更快的查找和發(fā)現(xiàn)問(wèn)題，LoadRunner 能支持廣范的協(xié)議和技術(shù)。(9) QaloadQALoad是Compuware公司開(kāi)發(fā)的并發(fā)性能壓力測(cè)試工具。軟件針對(duì)各種測(cè)試目標(biāo)提供了MS SQL Server、 Oracle、ODBC、WWW、NetLoa

18、d、Winsock等不同的測(cè)試接口（Session），應(yīng)用范圍相當(dāng)廣泛。例如在測(cè)試基于C/S運(yùn)行模式、客戶(hù)端通過(guò)DBLib訪問(wèn)服務(wù)器端SQLServer數(shù)據(jù)庫(kù)的系統(tǒng)時(shí)，QALoad通過(guò)模擬客戶(hù)端大數(shù)據(jù)量并發(fā)對(duì)服務(wù)器端進(jìn)行查詢(xún)、更新等操作，從而達(dá)到監(jiān)控系統(tǒng)并 發(fā)性能和服務(wù)器端性能指標(biāo)的目的。(10) WebloadWebload是RadView公司推出的一個(gè)性能測(cè)試和分析工具,它讓web應(yīng)用程序開(kāi)發(fā)者自動(dòng)執(zhí)行壓力測(cè)試;webload通過(guò)模擬真實(shí)用戶(hù)的操作,生成壓力負(fù)載來(lái)測(cè)試web的性能用戶(hù)創(chuàng)建的是基于javascript的測(cè)試腳本,稱(chēng)為議程agenda,用它來(lái)模擬客戶(hù)的行為,通過(guò)執(zhí)行該腳本來(lái)衡量web應(yīng)用程序在真實(shí)環(huán)境下的性能。webload提供巡航控制器cruise control的功能,利用巡航控制器,可以預(yù)定義web應(yīng)用程序應(yīng)該滿足的性能指標(biāo),然后測(cè)試系統(tǒng)是否滿足這些需求指標(biāo);cruise control能夠自動(dòng)把負(fù)載加到web應(yīng)用程序,并將在此負(fù)荷下能夠訪問(wèn)程序的客戶(hù)數(shù)量生成報(bào)告，webload能夠在測(cè)試會(huì)話執(zhí)行期間對(duì)監(jiān)測(cè)的系統(tǒng)性能生成實(shí)時(shí)的報(bào)告,這些測(cè)試結(jié)果通過(guò)一個(gè)易讀的圖形界面顯示出來(lái),并可以導(dǎo)出到excel和其他文件里。(