軟件測試計劃與設(shè)計

1、姬孟洛姬孟洛Dr. Magdy HannaDr. Magdy HannaInternational Institute for Software International Institute for Software TestingTesting軟件測試計劃與設(shè)計主要內(nèi)容2022-3-26北京中和威軟件有限公司2測試簡介測試級別系統(tǒng)測試計劃測試用例設(shè)計技術(shù) 測試的定義 2022-3-26北京中和威軟件有限公司3 旨在評價程序或系統(tǒng)的屬性和能力以及確定它是否滿足需求的要求的活動。 Bill Hetzel,1988 用于發(fā)現(xiàn)錯誤的執(zhí)行程序和系統(tǒng)的過程 。Glen Myers,1979 由人工或自

2、動方法來執(zhí)行或評價系統(tǒng)或系統(tǒng)部件的過程，以驗證它是否滿足規(guī)定的需求；或識別出期望的結(jié)果或?qū)嶋H結(jié)果之間有無差別。 GB/T 11457-1995 術(shù)語 2022-3-26北京中和威軟件有限公司4 需要測試的情景（situation）或情節(jié)（scenario）。 一般說來，一個需求（功能或質(zhì)量）對應(yīng)不止一個條件或情節(jié) 測試條件（test condition） 讓系統(tǒng)執(zhí)行一個特定的條件或情節(jié)的數(shù)據(jù)集。 包括系統(tǒng)可觀察的狀態(tài)，外部事件和數(shù)據(jù)。 測試用例(test case) 用來執(zhí)行一組相關(guān)測試用例的一組指令集合。 測試腳本可能測試一個需求的一組條件或不同需求的條件。 測試腳本或測試過程術(shù)語（續(xù)）20

3、22-3-26北京中和威軟件有限公司需求需求測試條件測試條件測試用例測試用例Requirement 1 Test condition1Testcase1Testcase2Test condition2Testcase1Testcase2軟件測試實踐中總結(jié)出來的。2022-3-26北京中和威軟件有限公司6實踐1：維護(hù)用戶需求 2022-3-26北京中和威軟件有限公司7測試你不知道的內(nèi)容不可能必須的條件需求的精確性總能起作用案例（Use Case）分析不是需求沒有文檔化的借口原型法只描述功能需求GUI功能和質(zhì)量要求 2022-3-26北京中和威軟件有限公司8盡管功能需求似乎對用戶最重要，然而大多數(shù)

4、軟件災(zāi)難是由低質(zhì)量軟件造成的。質(zhì)量需求是被用戶和開發(fā)者理解最少的需求。盡管從不談?wù)?，但質(zhì)量需求看起來是用戶“假定的”期望。除非你定義質(zhì)量，否則，你不可能得到質(zhì)量。除非你測量質(zhì)量，否則，你不可能評估質(zhì)量。16個適用性元素 2022-3-26北京中和威軟件有限公司9 軟件符合用戶功能需求的程度。正確性(correctness) 為用戶便利配置軟件的能力。 如：改變系統(tǒng)-用戶界面以便使用某個圖形符號以及改變使用的缺省目錄?？膳渲媚芰?configurability) 為完成其功能系統(tǒng)所需的資源量。 包括：處理時間、內(nèi)存、磁盤、或通信線路數(shù)。效率(efficiency) 改變軟件以增加更多的功能或改進(jìn)

5、性能的能力。 和軟件完善的維護(hù)有關(guān)?？蓴U充性(expandability)16個適用性元素（續(xù)）2022-3-26北京中和威軟件有限公司10 為完成在不同環(huán)境下的功能，軟件的改變能力，包括在不同的數(shù)據(jù)庫下工作或者不同于原始考慮的環(huán)境的執(zhí)行。 和軟件的適應(yīng)性維護(hù)有關(guān)。適應(yīng)性/可改變性（flexibility） 軟件對自身及其數(shù)據(jù)的保護(hù)能力。完整性（integrity） 和其他軟件交換數(shù)據(jù)的能力?；ゲ僮餍裕╥nteroperability） 軟件被改變以確定錯誤的能力。 和軟件的糾正維護(hù)性有關(guān)?？删S護(hù)性（maintainability）16個適用性元素（續(xù)）2022-3-26北京中和威軟件有限公司

6、11 適當(dāng)管理軟件行政方面的能力，包括資源分配，配置管理等。 和支持管理的軟件工具的適應(yīng)性有關(guān)?？晒芾硇裕╩anageability） 軟件運行不同平臺的能力?？梢浦残裕╬ortability） 使軟件不能提供要求的功能的失效率?？煽啃裕╮eliability） 在其他應(yīng)用程序中重用軟件部分的能力?？芍赜眯裕╮eusability）16個適用性元素（續(xù)）2022-3-26北京中和威軟件有限公司12 在不引起任何非安全性條件時軟件完成其功能的能力。安全性（safety） 在發(fā)生軟件或硬件故障后，即使降級使用，軟件繼續(xù)運行的能力。挽救能力（survivability） 學(xué)習(xí)或使用軟件的難易程度。易

7、用性（usability） 功能證實軟件正確工作的難易程度?？沈炞C性（verifiability）實踐2：跟蹤需求到GUI組件和數(shù)據(jù)庫組件 Req1Req2Req3ReqnComponent1Component2Component3Component4Componentn2022-3-26北京中和威軟件有限公司實踐3：跟蹤需求到測試對象 Req1Req2Req3Req4Test Case1/Test Case 2/Test Case 3/Test Case 4Test Case n2022-3-26北京中和威軟件有限公司實踐4：區(qū)分測試和調(diào)試2022-3-26北京中和威軟件有限公司15 由各個

8、開發(fā)者為發(fā)現(xiàn)和排除程序錯誤（bug）而進(jìn)行的個體特定活動 調(diào)試 由獨立的測試組執(zhí)行的有計劃的活動 測試實踐5：開發(fā)測試計劃 2022-3-26北京中和威軟件有限公司16在軟件需求階段或需求一完成就開始測試計劃。不要將計劃、設(shè)計和執(zhí)行測試放在一個階段測試計劃是執(zhí)行成功測試和提交可靠系統(tǒng)的唯一方法測試計劃是開發(fā)一個測試策略系統(tǒng)測試計劃的組成 2022-3-26北京中和威軟件有限公司17測試環(huán)境目標(biāo)和范圍方法風(fēng)險分析和減緩風(fēng)險人員需求和職責(zé)硬件、軟件和網(wǎng)絡(luò)資源需求工具任務(wù)及其安排文檔和提交測試計劃必須包括各級別測試 2022-3-26北京中和威軟件有限公司18單元集成系統(tǒng)使用驗收測試Beta測試回歸

9、測試實踐6：把測試作為一個過程而不是生命周期的一個階段 2022-3-26北京中和威軟件有限公司19？測試作為一個過程2022-3-26北京中和威軟件有限公司20實踐7：選擇工具以支持測試過程 2022-3-26北京中和威軟件有限公司21測試計劃工具測試管理工具案例管理工具測試設(shè)計工具測試覆蓋工具GUI測試工具靜態(tài)分析工具測試執(zhí)行工具實踐8：建立一個改善測試過程的機制 2022-3-26北京中和威軟件有限公司22測量、分析和發(fā)布成功事例在觀察的基礎(chǔ)上改進(jìn)測試過程重新培訓(xùn)重新測量持續(xù)不斷地改進(jìn)過程實踐9：平衡靜態(tài)測試和動態(tài)測試2022-3-26北京中和威軟件有限公司23 用于發(fā)現(xiàn)錯誤的執(zhí)行程序和

10、系統(tǒng)的過程動態(tài)測試 目的在于通過審查、評審和分析軟件靜態(tài)部件（代碼、文檔和模型）發(fā)現(xiàn)缺陷。靜態(tài)測試2022-3-26北京中和威軟件有限公司24實踐10：培訓(xùn)和認(rèn)證 2022-3-26北京中和威軟件有限公司25軟件測試原理 測試級別 測試客戶/服務(wù)器應(yīng)用 測試Internet和Web應(yīng)用 測試面向?qū)ο蟮膽?yīng)用 測試嵌入式系統(tǒng) 測試生命周期測試設(shè)計 基于代碼的測試用例設(shè)計技術(shù) 基于需求的測試用例設(shè)計技術(shù) 測試設(shè)計規(guī)格說明2022-3-26北京中和威軟件有限公司26管理測試過程 測試執(zhí)行和缺陷追蹤需求定義、精練（refine）和驗證測試的自動化靜態(tài)測試主要內(nèi)容2022-3-26北京中和威軟件有限公司2

11、7測試簡介測試級別系統(tǒng)測試計劃測試用例設(shè)計技術(shù) 測試級別2022-3-26北京中和威軟件有限公司28單元集成功能測試（配置項測試）系統(tǒng)測試使用驗收測試回歸測試單元測試2022-3-26北京中和威軟件有限公司29也稱為模塊測試通常有程序開發(fā)人員自己做必須很好地文檔化既有“白盒”（glass box） 使用模塊代碼的也有黑盒 使用模塊規(guī)格說明（輸入、輸出和功能） 集成測試2022-3-26北京中和威軟件有限公司30非遞增集成（big-bang） 獨立測試每個模塊，然后組合在一起，再測試整個系統(tǒng)遞增集成 一次增加一些模塊，然后測試；不隔離測試 自底向上，使用驅(qū)動程序（driver）從葉節(jié)點開始 自頂

12、向下，使用存根（stub）從根節(jié)點開始 每個模塊要求一個驅(qū)動程序和一個或多個存根遞增集成和非遞增集成的比較 2022-3-26北京中和威軟件有限公司31涉及到的工作（比如存根和驅(qū)動程序的個數(shù)）接口錯誤的檢測易于調(diào)試更徹底的測試并行活動的機會系統(tǒng)測試2022-3-26北京中和威軟件有限公司32對系統(tǒng)和它原始的功能和質(zhì)量需求進(jìn)行比較必須具備：功能和質(zhì)量的詳細(xì)需求說明質(zhì)量需求必須說明成可度量的必須有獨立的測試組來做測試不能由接收測試替代系統(tǒng)測試用例是基于目標(biāo)可度量的文檔來設(shè)計的，并且在結(jié)構(gòu)設(shè)計和詳細(xì)設(shè)計的基礎(chǔ)上形成。 質(zhì)量需求舉例2022-3-26北京中和威軟件有限公司33目標(biāo) 在用戶數(shù)為300或更

13、多時，任一查詢的響應(yīng)時間不能超過30秒 客戶信用報告生成和打印的時間不能超過3分鐘 測試條件 同時運行一套隨機查詢，并記錄當(dāng)查詢數(shù)目增加時查詢時間的變化 用一個隨機例子運行客戶信用報告，記錄從提交到打印完成的時間 系統(tǒng)在執(zhí)行的高峰期間有一個可接受的性能 系統(tǒng)測試的主要范圍2022-3-26北京中和威軟件有限公司34商業(yè)需求測試（依賴于要做多少功能測試）性能測試壓力測試 （專項）用戶文檔/Help/功能測試易用性測試/GUI測試操作環(huán)境測試配置/安裝測試互操作性測試可靠性/適用性測試備份/恢復(fù)測試survivability測試保密測試安全測試易用性測試2022-3-26北京中和威軟件有限公司35

14、希望特性簡單自然的對話框說用戶的語言使用戶記憶負(fù)擔(dān)最小一致性提供反饋提供清晰標(biāo)注的退出提供快捷鍵提供清晰的錯誤消息防止用戶錯誤GUI測試(1/4)2022-3-26北京中和威軟件有限公司36使用導(dǎo)航圖表示不同的屏幕和菜單項之間的流程 GUI測試(2/4)GUI導(dǎo)航圖可以表示為二維矩陣主菜主菜單單窗口窗口 1窗口窗口2窗口窗口3窗口窗口4窗口窗口5窗口窗口6窗口窗口7主菜主菜單單A1A2A3A4,A5A7窗口窗口 1A6窗口窗口2A9A10窗口窗口3A8窗口窗口4窗口窗口5窗口窗口6窗口窗口72022-3-26北京中和威軟件有限公司GUI測試(3/4)2022-3-26北京中和威軟件有限公司38

15、列表Main Menu : (A1)Window 1, (A2)Window 2, (A3)Window 3, (A4,A5)Window 4, (A7)Window 5Window 1 : (A6)Window 5Window 2 : (A9)Window 6, (A10)Window 7Window 3 : (A8)Window 5Window 4 : Window 5 : Window 6 : Window 7 : GUI測試(4/4)2022-3-26北京中和威軟件有限公司39測試什么？每個窗口和菜單系統(tǒng)的初試狀態(tài) Enable/disable狀態(tài)的所有變化每個窗口的Tab順序不同類型

16、的窗口打開時跨應(yīng)用程序的導(dǎo)航導(dǎo)航圖中的所有導(dǎo)航線路驗收測試2022-3-26北京中和威軟件有限公司40 基于功能說明和目標(biāo) 不必遍歷所有情節(jié)用戶版的系統(tǒng)測試回歸測試 2022-3-26北京中和威軟件有限公司41 對每一個主要的發(fā)行版本 基于影響分析和風(fēng)險分析 可從Capture/Replay工具中獲益處于維護(hù)階段一個定義清晰的需求是成功測試的關(guān)鍵！2022-3-26北京中和威軟件有限公司42主要內(nèi)容2022-3-26北京中和威軟件有限公司43測試簡介測試級別系統(tǒng)測試計劃測試用例設(shè)計技術(shù) 系統(tǒng)測試計劃2022-3-26北京中和威軟件有限公司44測試是跨生命周期的活動，所以要制定計劃 系統(tǒng)測試計劃

17、2022-3-26北京中和威軟件有限公司45系統(tǒng)測試期間應(yīng)當(dāng)提供其它什么文檔這些文檔的形式和格式什么時候提交，怎么提交以及提交給誰誰負(fù)責(zé)創(chuàng)建和維護(hù)這些文檔以及維護(hù)它們的協(xié)定 計劃階段的交付文檔內(nèi)容系統(tǒng)測試的典型文檔2022-3-26北京中和威軟件有限公司46計劃階段系統(tǒng)測試計劃測試設(shè)計階段系統(tǒng)測試說明測試數(shù)據(jù)測試條件測試過程測試運行階段活動記錄事件報告總結(jié)報告測試輸出測試計劃的基本要點 2022-3-26北京中和威軟件有限公司47在軟件需求階段或需求一完成就開始測試計劃。永遠(yuǎn)不要將計劃、設(shè)計和執(zhí)行測試放在一個階段測試不是開發(fā)后的活動，它和生命周期交叉在一起進(jìn)行測試計劃是執(zhí)行成功測試和提交可靠系

18、統(tǒng)的唯一方法測試計劃是開發(fā)一個測試策略系統(tǒng)測試計劃的組成 2022-3-26北京中和威軟件有限公司48 系統(tǒng)測試的測試環(huán)境，Where 系統(tǒng)測試的目標(biāo)和范圍，What 系統(tǒng)測試的方法，How 風(fēng)險分析和減緩風(fēng)險Risk 系統(tǒng)測試的人員需求和職責(zé),Who 系統(tǒng)測試的硬件、軟件和網(wǎng)絡(luò)資源需求Resources 工具Tools 任務(wù)極其安排,When 系統(tǒng)測試的文檔和提交Record2022-3-26北京中和威軟件有限公司49IdentificationIdentificationSystem test plan titleApplicationDocument locatorOther docum

19、entsSystem Test EnvironmentSystem Test EnvironmentSiteSecuritySubmitting test itemsSoftware and central repositorySupporting the testing environmentBackup/Restore proceduresSystem Test Objectives and scopeSystem Test Objectives and scopeSystem Test ApproachSystem Test Approach4.1 Test design4.2 Cycl

20、e and sequence4.3 Acceptance /Rejection criteria4.4 Suspending /Resuming system test4.5 Reporting changes and corrections4.6 Support4.7 Order of system testingStaffing and ResponsibilitiesStaffing and ResponsibilitiesHardware ,software ,Network requirementsHardware ,software ,Network requirementsTes

21、ting toolsTesting toolsSystem Test DeliverablesSystem Test DeliverablesSystem Test TasksSystem Test Tasks主要內(nèi)容2022-3-26北京中和威軟件有限公司50測試簡介測試級別系統(tǒng)測試計劃測試用例設(shè)計技術(shù) 測試用例設(shè)計技術(shù) 2022-3-26北京中和威軟件有限公司51根據(jù)需求（功能測試黑盒） 和語言無關(guān) 總在代碼完成之后根據(jù)代碼（結(jié)構(gòu)白盒） 詳盡的路徑測試，盡管不可能 不能保證程序滿足了預(yù)定功能，同時也沒有檢測丟失的路徑 產(chǎn)生測試用例的兩個策略基于需求的測試用例生成技術(shù) 2022-3-26北京

22、中和威軟件有限公司52需求等價類劃分邊界值分析因果圖決策表Use Case基于代碼的測試用例生成技術(shù) 2022-3-26北京中和威軟件有限公司53代碼語句覆蓋分支覆蓋條件覆蓋多條件覆蓋路徑覆蓋等價類劃分 2022-3-26北京中和威軟件有限公司54 分化為“等價的類”有限集合程序的輸入域 有效和無效等價類創(chuàng)建 可以有交迭（重疊），如一個類的子集可能落入另一個類中等價類 創(chuàng)建的測試用例使它覆蓋盡可能多的有效類有效類 創(chuàng)建的測試用例使它覆蓋一個且只有一個無效類無效類標(biāo)識等價類指南：根據(jù)輸入條件 2022-3-26北京中和威軟件有限公司55 一個該范圍內(nèi)的有效類和兩個該范圍外的無效類， 分別位于該范

23、圍的下限之下和上限之上 有效類和兩個無效類， 分別位于指定數(shù)值的下限和上限之外； 為每一個這樣的不同處理的數(shù)值集合標(biāo)識一個有效類，為所有無效的數(shù)值標(biāo)識一個無效類； 一個滿足該條件的有效類和一個不滿足該條件的無效類范圍一些數(shù)值數(shù)值集必須 情形舉例2022-3-26北京中和威軟件有限公司56程序“批準(zhǔn)貸款”：輸入：信譽值是1到5家庭收入輸出：if 信譽值是4或更高then 貸款else if 家庭收入是$100,000或更多then貸款else不貸款舉例（續(xù)）2022-3-26北京中和威軟件有限公司57邊界值分析 2022-3-26北京中和威軟件有限公司58 正好位于等價類上限或下限邊界上的值；邊

24、界值 考慮輸入和輸出空間；邊界值分析 邊界值分析比有效類劃分有更高的價值；價值 需要較高的能力。確定邊界值因果圖2022-3-26北京中和威軟件有限公司59IBM，1973年 為了選擇高產(chǎn)的測試用例集合而開發(fā)的； 使用組合邏輯網(wǎng)絡(luò)標(biāo)記來表達(dá)規(guī)格說明； 指出規(guī)格說明中不完整和模糊的地方； 不同的輸入條件或者輸入條件的等價類；因 輸出條件或者系統(tǒng)轉(zhuǎn)換果舉例2022-3-26北京中和威軟件有限公司60因 C1: credit rating=4,5 C2: credit rating=1,2,3 C3: Income=$100,000果 E1: Load Approved E2: Load Disap

25、proved E3: “invalid credit rating”舉例（續(xù)）2022-3-26北京中和威軟件有限公司61對應(yīng)的決策表C11000C2101C310E11100E20001E300102022-3-26北京中和威軟件有限公司UseCase2022-3-26北京中和威軟件有限公司63 外部actor（用戶或其它系統(tǒng)）如何和系統(tǒng)交互以完成一個特定功能或獲得某個服務(wù)。描述 每個表示系統(tǒng)的一個用法。 情節(jié)2022-3-26北京中和威軟件有限公司64Customer RepPlace OrderGet Order StatusCancel OrderCustomerSend catalo

26、gPackage OrderClerkDelivery CompanyDeliver OrderUse case的組成 2022-3-26北京中和威軟件有限公司65主要情節(jié)（primary scenario） 最常發(fā)生的情況；好像一切都很好啊 它描述了此Use Case的正常功能額外情節(jié)(alternate) 主要情節(jié)之外的動作和事件序列，包括錯誤處理。情節(jié)的組成2022-3-26北京中和威軟件有限公司66前條件（pre-condition） 在情節(jié)開始前必須發(fā)生的事情 在情節(jié)開始前系統(tǒng)必須處的狀態(tài)后條件（post-condition） 情節(jié)完成后必須為true的事情Use Case例子： P

27、LACE ORDER 2022-3-26北京中和威軟件有限公司67Pre-condition : A valid user has logged into the systemPrimary scenario:BEGIN1.The customer selects place order2.The customer into his name and address3.while the customer enters product codesa)The system displays product description and price for each item orderedb)

28、The system adds the price of the item to the total order and display total4.The customer will enter credit card information5.The customer selects “Submit”6.The system will verify information, save the order as pending, and forward payment information to the accounting system7.The accounting system will conform that payment has been changed8.The system will mark the order “conformed” and display and order # to t