Rational系統(tǒng)測試解決方案

1、Rational測試解決方案測試解決方案議程議程w 組件測試w 系統(tǒng)測試管理w GUI功能測試自動化w 性能測試自動化議程議程w 當(dāng)前軟件測試面臨的挑戰(zhàn)w 組件測試w 系統(tǒng)測試管理w GUI功能測試自動化w 性能測試自動化當(dāng)前軟件測試面臨的挑戰(zhàn)當(dāng)前軟件測試面臨的挑戰(zhàn)w 如何適應(yīng)由于軟件新技術(shù)、新架構(gòu)的應(yīng)用導(dǎo)致測試工作量增大？w如何進(jìn)行軟件測試工作的分工？w如何提高開發(fā)團(tuán)隊的進(jìn)行組件測試的質(zhì)量？w如何提高系統(tǒng)測試團(tuán)隊的士氣？w如何評價系統(tǒng)測試過程的進(jìn)度？w如何評價系統(tǒng)測試的完備性？w如何評價軟件質(zhì)量？軟件測試階段軟件測試階段傳統(tǒng)的軟件測試單元測試單元測試集成測試集成測試系統(tǒng)測試系統(tǒng)測試驗收測試驗

2、收測試Time現(xiàn)代軟件測試Time組件測試組件測試系統(tǒng)測試系統(tǒng)測試軟件項目工作流程軟件項目工作流程測試評估測試評估業(yè)務(wù)建模業(yè)務(wù)建模需求分析需求分析軟件設(shè)計軟件設(shè)計軟件實現(xiàn)軟件實現(xiàn)測試計劃測試計劃測試設(shè)計測試設(shè)計測試實現(xiàn)測試實現(xiàn)測試執(zhí)行測試執(zhí)行組件測試組件測試組件測試組件測試以測試為驅(qū)動的開發(fā)（以測試為驅(qū)動的開發(fā)（XP）w 目的 盡可能發(fā)現(xiàn)早的軟件缺陷 保證系統(tǒng)測試的效率w 測試方法黑盒和白盒相結(jié)合 黑盒測試：基于軟件設(shè)計規(guī)范設(shè)計測試用例 白盒測試：基于代碼覆蓋情況設(shè)計測試用例w 利用Xunit測試框架提高測試用例實現(xiàn)效率 http:/ 利用Coverage工具獲得代碼覆蓋情況組件測試組件測試R

3、ational解決方案解決方案w 組件測試?yán)砟?邊開發(fā)邊測試 減少對軟件開發(fā)自身的影響 無需學(xué)習(xí)測試腳本語言w 軟件測試工具 Purify：自動定位內(nèi)存相關(guān)錯誤 Quantify：發(fā)現(xiàn)程序的性能瓶頸 Coverage：發(fā)現(xiàn)未被測試的代碼 Test RealTime：針對嵌入式系統(tǒng)軟件組件測試系統(tǒng)測試系統(tǒng)測試w 主要由測試部門進(jìn)行w 為測試工程師提供良好的職業(yè)發(fā)展道路 測試經(jīng)理 測試分析員 測試員w 增強(qiáng)測試團(tuán)隊和開發(fā)團(tuán)隊的溝通w 明確定義并貫徹的測試過程是測試自動化的重要前提系統(tǒng)測試過程系統(tǒng)測試過程測試計劃測試計劃輸入：軟件需求書輸出：測試計劃書執(zhí)行. 執(zhí)行測試計劃缺陷跟蹤測試開發(fā)測試設(shè)計評估

4、建立 建立 執(zhí)行 建立1 1、測試需求、測試需求2 2、測試策略、測試策略3 3、測試資源、測試資源4 4、測試進(jìn)度、測試進(jìn)度系統(tǒng)測試過程系統(tǒng)測試過程測試設(shè)計測試設(shè)計輸入：軟件測試計劃書輸出：軟件測試大綱執(zhí)行. 執(zhí)行.測試計劃缺陷跟蹤測試開發(fā)測試設(shè)計評估 建立建立執(zhí)行.建立1 1、測試描述、測試描述2 2、前置條件、前置條件3 3、測試步驟、測試步驟4 4、驗證點、驗證點5 5、后置條件、后置條件6 6、測試通過條件、測試通過條件良好的測試設(shè)計是測試自動化良好的測試設(shè)計是測試自動化的重要保證！的重要保證！系統(tǒng)測試過程系統(tǒng)測試過程測試開發(fā)測試開發(fā)測試腳本 手工測試腳本 自動化測試腳本執(zhí)行. 執(zhí)行

5、.測試計劃缺陷跟蹤測試開發(fā)測試設(shè)計評估建立 建立執(zhí)行.建立系統(tǒng)測試過程系統(tǒng)測試過程測試執(zhí)行測試執(zhí)行測試執(zhí)行 進(jìn)行測試執(zhí)行管理 運(yùn)行測試 記錄測試結(jié)果，包括缺陷報告和測試日志執(zhí)行. 執(zhí)行.測試計劃缺陷跟蹤測試開發(fā)測試設(shè)計評估建立建立執(zhí)行.建立系統(tǒng)測試過程系統(tǒng)測試過程測試評估測試評估測試評估 統(tǒng)計和分析測試結(jié)果，確定是否達(dá)到軟件發(fā)布的標(biāo)準(zhǔn)執(zhí)行. 執(zhí)行.測試計劃缺陷跟蹤測試開發(fā)測試設(shè)計評估建立建立執(zhí)行.建立系統(tǒng)測試過程系統(tǒng)測試過程缺陷跟蹤缺陷跟蹤缺陷跟蹤 記錄測試發(fā)現(xiàn)的缺陷或用戶問題，并且跟蹤、管理缺陷的狀態(tài)變更執(zhí)行. 執(zhí)行.測試計劃缺陷跟蹤測試開發(fā)測試設(shè)計評估建立建立執(zhí)行.建立系統(tǒng)測試度量系統(tǒng)測試

6、度量w 測試覆蓋率：評價測試的完備性 需求覆蓋率 代碼覆蓋率w 測試報告 Defect Density Defect Aging Defect Trendw 性能指標(biāo) 動態(tài)監(jiān)控 響應(yīng)時間/吞吐量報告 百分比報告Rational系統(tǒng)測試方案系統(tǒng)測試方案w 軟件工具是完美過程得以成功實施的重要保證w Rational TeamTest TestManager： 集中、可伸縮的測試管理平臺 Robot：傳統(tǒng)應(yīng)用自動化測試工具 RobotJ：Web/Java自動測試工具 ClearQuest：缺陷跟蹤工具TestManager: 控制中心控制中心View ResultsPassFailCoverage

7、 reports Generate change requestsTest DesignOS/VerMemDiskTest IterationsTest ConfigurationsTest PlanTest CasesTest InputsAdaptersInputRobot GUI and VU ScriptsVB or Java scriptsExternal Scripts on other OSsExecutionAdaptersRational TestManager: 跨越整個測試周期跨越整個測試周期 TestManager和和ClearQuest集成集成自動實現(xiàn)缺陷與需求之間的

8、關(guān)聯(lián)自動實現(xiàn)缺陷與需求之間的關(guān)聯(lián)測試度量測試度量: 覆蓋覆蓋, 趨勢等趨勢等Rational系統(tǒng)測試方案系統(tǒng)測試方案PlanTestTestManagerDesignTestTestManagerImplementTestRobotRobotJTestManagerExecuteTestRobotRobotJTestManagerEvaluateTestClearQuestTestManagerChange Request and Configuration Management - ClearQuest and ClearCase LTRational Unified ProcessGUI自

9、動化測試自動化測試w 設(shè)計測試用例，并手工進(jìn)行測試。w 如果測試未通過，則先改正缺陷，再次執(zhí)行測試。w 如果測試通過，利用測試工具運(yùn)行該測試過程，捕獲運(yùn)行過程需要檢測的屏幕對象，并保存。w 在進(jìn)行回歸測試測試，自動利用測試工具運(yùn)行測試，并比較運(yùn)行過程的屏幕對象與保存的屏幕對象比較，從而判斷測試用例是否通過。利用利用Robot進(jìn)行基于進(jìn)行基于GUI的自動功能測試的自動功能測試2. 2. 執(zhí)行測試腳本執(zhí)行測試腳本OKFind執(zhí)行腳本執(zhí)行腳本檢驗結(jié)果檢驗結(jié)果報告錯誤報告錯誤迭代迭代1. 1. 創(chuàng)建測試腳本創(chuàng)建測試腳本選擇測試需求錄制操作過程（面向?qū)ο箐浿疲┎迦腧炞C點編輯生成的腳本（可選） 和白盒工具

10、集成和白盒工具集成RobotJ：測試測試Java和和Web應(yīng)用應(yīng)用NEWTechnology forJava and Web BasedApplicationsScriptAssureScriptAssure技術(shù)保證了即使對象名稱發(fā)生改變，測試腳本也能正常回放Dynamic DataValidation驗證動態(tài)內(nèi)容ProfessionalLanguageand IDE利用Eclipse這一標(biāo)準(zhǔn)的IDE環(huán)境，同時提供與版本控制工具的集成ScriptAssure: 降低了測試腳本的維護(hù)成本降低了測試腳本的維護(hù)成本Determines MatchVersion 1.0Version 2.0Teste

11、rseesTool sees動態(tài)數(shù)據(jù)驗證動態(tài)數(shù)據(jù)驗證：可伸縮的測試腳本可伸縮的測試腳本Order ID changes with each order placedw 動態(tài)內(nèi)容匹配 利用模式匹配技術(shù)來驗證數(shù)據(jù)Test Fails when comparing static baseline to dynamic dataTest Passes when comparing pattern baseline to dynamic data 如不是驗證 “Order ID 230”, 而是 “Order ID #” 當(dāng)驗證應(yīng)用的行為時，考慮了各種不同的合法響應(yīng)業(yè)界標(biāo)準(zhǔn)的業(yè)界標(biāo)準(zhǔn)的IDE和測試腳本語

12、言和測試腳本語言w Eclipse集成環(huán)境 調(diào)試器、代碼編輯器w 使用標(biāo)準(zhǔn)的Java語言作為測試腳本語言專業(yè)的測試開發(fā)環(huán)境版本控制版本控制: 管理代碼的變更管理代碼的變更w 與ClearCase和ClearCase LT集成 簡單的check in/check out操作 對腳本文件和對象映射文件進(jìn)行版本控制 保證測試人員不互相干擾ClearCase VOBScript1 - v1, v2Script2 v1Script3 v1Etc.Local ViewCheck-out/in script or datastoreRational TeamTest正確認(rèn)識測試自動化正確認(rèn)識測試自動化w 不

13、現(xiàn)實的期望注定測試自動化的失敗w 測試自動化能： 顯著降低重復(fù)手工測試的時間 建立可靠、重復(fù)的測試，減少認(rèn)為錯誤 增強(qiáng)測試質(zhì)量和覆蓋率w 測試自動化不能： 完全替代手工測試和手工測試工程師 保證100%的測試覆蓋率 彌補(bǔ)測試實踐的不足測試自動化項目的本質(zhì)測試自動化項目的本質(zhì)w 定義：利用GUI自動化測試工具來開發(fā)和執(zhí)行測試腳本，從而驗證是否滿足需求w 本質(zhì)：測試自動化項目本質(zhì)上是軟件開發(fā)項目w 一個測試自動化項目必須具有： 清晰定義并嚴(yán)格實施的過程 來自組織各級的支持 周密的計劃 具體的設(shè)計和架構(gòu)測試自動化成本測試自動化成本/收益分析收益分析結(jié)構(gòu)結(jié)構(gòu)成成本本收收益益凈收凈收益益No Autom

14、ation000Recording and Playback8.3112.7Data-driven structure using datapools8.4189.6Framework structure9.8155.2Framework / data-driven (hybrid) structure focusing on views of the application and using datapools11.6197.4什么是什么是Data-Driven?Data-Driven測試腳本測試腳本Hard-coded測試腳本測試腳本實現(xiàn)測試數(shù)據(jù)和實現(xiàn)測試數(shù)據(jù)和測試代碼相分離測試代碼相分

15、離什么是性能測試？什么是性能測試？w 模擬實際用戶負(fù)載，測試系統(tǒng)的：反應(yīng)速度，最大用戶，系統(tǒng)最優(yōu)配置、軟硬件性能等虛擬用戶：發(fā)起各虛擬用戶：發(fā)起各種各樣的負(fù)載組合種各樣的負(fù)載組合GUI GUI 代理：衡量代理：衡量端到端的性能端到端的性能主機(jī)：負(fù)責(zé)錄制、主機(jī)：負(fù)責(zé)錄制、回放、監(jiān)視和分析回放、監(jiān)視和分析運(yùn)行結(jié)果運(yùn)行結(jié)果WebAppDB利用利用Robot和和TestManager進(jìn)行性能測試進(jìn)行性能測試自動生成多用戶測試所需的各種數(shù)據(jù) Bob $1.34VisaMary$27.00MCAnn$21.00AmEx捕獲、錄制單一用戶與Server之間的會話 創(chuàng)建用戶活動的計劃表 Order Singl

16、e Item 5% of users Order “Pick of Day” 35% of users Search for CDs 60% of users運(yùn)行計劃表，做多用戶測試，增加虛擬用戶數(shù)，查找性能瓶頸Virtual UsersRational全方位服務(wù)保證測試成功全方位服務(wù)保證測試成功w Rational Developer Network TestStudio Knowledge Center QA & Testing Knowledge Center Discussion Forums on the following topics: Automated Testing

17、, Runtime Analysis with PurifyPlus Family, ClearQuest, ClearCase, Requirements Management and RequisitePro, ProjectConsole, SoDA, and RUPw Rational University Rational TeamTest Fundamentals for Functional Testing Essentials of Functional Testing with Rational TeamTest for Java and Web-based Applicat

18、ions (RobotJ Focused) Rational TeamTest Fundamentals for Performance Testing Principles of Test Automation for GUI Testing (WBT) Recommended Courses: Courses for the following point products:Rational TestManager, Rational ClearCase LT, Rational ClearQuest, Rational RequisitePro, Rational ProjectConsole, Rational SoDA,