第2次大課軟件測試策略及過程

1、軟件測試基礎(chǔ)軟件測試基礎(chǔ)第二章 軟件測試策略與過程第第2 2章章 軟件測試策略與過程軟件測試策略與過程2.1 軟件測試的復(fù)雜性分析2.2 軟件測試方法與策略2.3 測試計(jì)劃2.4 單元測試2.5 集成測試2.6 確認(rèn)測試2.7 系統(tǒng)測試2.8 驗(yàn)收測試2.9 測試后的調(diào)試2.10 面向?qū)ο蟮能浖y試本章教學(xué)目標(biāo)本章教學(xué)目標(biāo)v 理解軟件測試的復(fù)雜性v 理解軟件測試的方法與策略v 測試計(jì)劃的制定v 明確單元測試的主要任務(wù)和過程v 明確集成測試的方法和確認(rèn)測試的準(zhǔn)則v 明確系統(tǒng)測試的八個(gè)領(lǐng)域測試要點(diǎn)v 明確驗(yàn)收測試的主要內(nèi)容和相關(guān)配置2.1 2.1 軟件測試的復(fù)雜性分析軟件測試的復(fù)雜性分析 1、無法

2、對程序進(jìn)行完全測試 （1）測試所需要的輸入量太大 （2）測試的輸出結(jié)果太多 （3）軟件實(shí)現(xiàn)的途徑太多 （4）軟件規(guī)格說明沒有一個(gè)客觀標(biāo)準(zhǔn) 2、測試無法顯示潛在的軟件缺陷和故障 通過軟件測試只能報(bào)告軟件已被發(fā)現(xiàn)的缺陷和故障，無法報(bào)告隱藏的軟件故障。 3、存在的故障現(xiàn)象與發(fā)現(xiàn)的故障數(shù)量成正比 結(jié)論：應(yīng)當(dāng)對故障集中的程序段進(jìn)行重點(diǎn)測試軟件測試的復(fù)雜性分析軟件測試的復(fù)雜性分析（續(xù)）（續(xù)） 4、不能修復(fù)所有的軟件故障 原因：沒有足夠的進(jìn)行修復(fù)；修復(fù)的風(fēng)險(xiǎn)較大； 不值得修復(fù)；可不算做故障的一些缺陷；“殺蟲劑現(xiàn)象”。 結(jié)論：關(guān)鍵是要進(jìn)行正確的判斷、合理的取舍，根據(jù)風(fēng)險(xiǎn)分析決定哪些故障必須修復(fù)，哪些故障可以不

3、修復(fù)。 5、軟件測試的代價(jià) 工作原則：就是如何將無邊無際的可能性減小到一個(gè)可以控制的范圍，以及如何針對軟件風(fēng)險(xiǎn)做出恰當(dāng)選擇，去粗存精，找到最佳的測試量，使得測試工作量不多也不少，既能達(dá)到測試的目的，又能較為經(jīng)濟(jì)。 軟件測試的復(fù)雜性分析軟件測試的復(fù)雜性分析（續(xù)）（續(xù)）軟軟件件缺缺陷陷故故障障數(shù)數(shù)量量測試工作量測試工作量測試中測試中測試后測試后測試費(fèi)用測試費(fèi)用遺漏缺陷數(shù)目遺漏缺陷數(shù)目優(yōu)化測試量優(yōu)化測試量圖2-1 測試工作量和軟件缺陷數(shù)量之間的關(guān)系2.2 2.2 軟件測試方法與策略軟件測試方法與策略2.2.1 靜態(tài)測試與動(dòng)態(tài)測試2.2.2 黑盒測試與白盒測試2.2.3 軟件測試過程軟件測試策略軟件測

4、試策略v 什么是軟件測試策略？ 是為軟件工程過程定義的一個(gè)軟件測試的模板，也就是把特定的測試用例方法放置進(jìn)去的一系列步驟。v 軟件測試策略包含的特征：（1）測試從模塊層開始，然后擴(kuò)大延伸到整個(gè)基于計(jì)算機(jī)的系統(tǒng)集合中。（2）不同的測試技術(shù)適用于不同的時(shí)間點(diǎn)。（3）測試是由軟件的開發(fā)人員和（對于大型系統(tǒng)而言）獨(dú)立的測試組來管理的。（4）測試和調(diào)試是不同的活動(dòng)，但是調(diào)試必須能夠適應(yīng)任何的測試策略。軟件測試充分性準(zhǔn)則軟件測試充分性準(zhǔn)則v 對任何軟件都存在有限的充分測試集合。v 如果一個(gè)軟件系統(tǒng)在一個(gè)測試數(shù)據(jù)集合上的測試是充分的，那么再多測試一些數(shù)據(jù)也應(yīng)該是充分的。這一特性稱為單調(diào)性。v 即使對軟件所有

5、成分都進(jìn)行了充分的測試，也并不表明整個(gè)軟件的測試已經(jīng)充分了。這一特性稱為非復(fù)合性。v 即使對軟件系統(tǒng)整體的測試是充分的，也并不意味軟件系統(tǒng)中各個(gè)成分都已經(jīng)充分地得到了測試。這個(gè)特性稱為非分解性。v 軟件測試的充分性應(yīng)該與軟件的需求和軟件的實(shí)現(xiàn)都相關(guān)。v 軟件越復(fù)雜，需要的測試數(shù)據(jù)就越多。這一特性稱為復(fù)雜性。v 測試得越多，進(jìn)一步測試所能得到的充分性增長就越少。這一特性稱為回報(bào)遞減率。2.3 2.3 測試計(jì)劃測試計(jì)劃v 2.3.1 2.3.1 概述概述v 2.3.2 2.3.2 測試計(jì)劃過程測試計(jì)劃過程v .3測試目標(biāo)測試目標(biāo)v 2.3.4 2.3.4 測試策略測試策略v 2.3

6、.5 2.3.5 制定有效的測試計(jì)劃制定有效的測試計(jì)劃測試計(jì)劃概述v 軟件測試計(jì)劃的作用v 制定測試計(jì)劃的原則v 如何制訂軟件測試計(jì)劃v 制定測試計(jì)劃時(shí)面對的問題v 衡量一份好的測試計(jì)劃書的標(biāo)準(zhǔn)v 制定測試計(jì)劃什么是測試計(jì)劃？v 測試計(jì)劃就是描述所有要完成的測試工作，包括被測試項(xiàng)目的背景、目標(biāo)、范圍、方式、資源、進(jìn)度安排、測試組織，以及與測試有關(guān)的風(fēng)險(xiǎn)等方面。什么是測試計(jì)劃？什么是測試計(jì)劃？p 測試計(jì)劃測試計(jì)劃是項(xiàng)目計(jì)劃的組成部分是項(xiàng)目計(jì)劃的組成部分p 測試計(jì)劃測試計(jì)劃依賴于軟件組織過程、質(zhì)量文化和方針。依賴于軟件組織過程、質(zhì)量文化和方針。p 測試計(jì)劃測試計(jì)劃是指導(dǎo)今后一系列測試活動(dòng)的文件是指

7、導(dǎo)今后一系列測試活動(dòng)的文件p 測試計(jì)劃測試計(jì)劃更是一個(gè)過程，隨著項(xiàng)目的進(jìn)展不斷更新更是一個(gè)過程，隨著項(xiàng)目的進(jìn)展不斷更新子曰：凡事預(yù)則立，不預(yù)則廢，預(yù)即是計(jì)劃。要想成功完子曰：凡事預(yù)則立，不預(yù)則廢，預(yù)即是計(jì)劃。要想成功完成軟件測試這項(xiàng)工作，必須首先建立測試計(jì)劃。成軟件測試這項(xiàng)工作，必須首先建立測試計(jì)劃。http:/ 測試計(jì)劃的作用1使軟件測試工作進(jìn)行更順利2促進(jìn)項(xiàng)目參加人員彼此的溝通3及早發(fā)現(xiàn)和修正軟件規(guī)格說明書的問題4 使軟件測試工作更易于管理會(huì)遇到哪些問題？會(huì)遇到哪些問題？ 制定測試計(jì)劃的原則制定測試計(jì)劃的原則如何制訂軟件測試計(jì)劃如何制訂軟件測試計(jì)劃衡量一份好的測試計(jì)劃書的標(biāo)準(zhǔn)衡量一份好的測

8、試計(jì)劃書的標(biāo)準(zhǔn) 1它應(yīng)能有效地引導(dǎo)整個(gè)軟件測試工作正常運(yùn)行，并配合編程部門，保證軟件質(zhì)量，按時(shí)將產(chǎn)品推出。 2它所提供的方法應(yīng)能使測試高效地進(jìn)行，即能在較短的時(shí)間內(nèi)找出盡可能多的軟件缺陷。 3它提供了明確的測試目標(biāo)、測試的策略、具體步驟及測試標(biāo)準(zhǔn)。 4它既強(qiáng)調(diào)測試重點(diǎn)，也重視測試的基本覆蓋率。 5它所制定的測試方案盡可能充分利用了公司現(xiàn)有的、可以提供給測試部門的人力/物力資源，而且是可行的。 6它所列舉的所有數(shù)據(jù)都必須是準(zhǔn)確的比如外部軟件/硬件的兼容性所要求的數(shù)據(jù)、輸入/輸出數(shù)據(jù)等。 7它對測試工作的安排有一定的靈活性，可以應(yīng)付一些突然的變化情況，如當(dāng)時(shí)間安排或產(chǎn)品出現(xiàn)的一些變化的時(shí)候。測試計(jì)

9、劃的內(nèi)容測試計(jì)劃的內(nèi)容p 確認(rèn)測試目標(biāo)、范圍和需求確認(rèn)測試目標(biāo)、范圍和需求p 識(shí)別測試風(fēng)險(xiǎn)，制訂相應(yīng)的測試策略識(shí)別測試風(fēng)險(xiǎn)，制訂相應(yīng)的測試策略p 對測試任務(wù)和工作量進(jìn)行估算對測試任務(wù)和工作量進(jìn)行估算p 確定所需的時(shí)間和資源確定所需的時(shí)間和資源p 進(jìn)度安排和資源分派，包括團(tuán)隊(duì)角色、責(zé)任和培訓(xùn)進(jìn)度安排和資源分派，包括團(tuán)隊(duì)角色、責(zé)任和培訓(xùn)p 測試階段劃分，包括階段性任務(wù)和成果測試階段劃分，包括階段性任務(wù)和成果p 跟蹤和控制機(jī)制跟蹤和控制機(jī)制完整的測試計(jì)劃書完整的測試計(jì)劃書v 目標(biāo)和范圍：產(chǎn)品特性、質(zhì)量目標(biāo)、范圍和限制。v 項(xiàng)目估算：工作量、資源的估算v 風(fēng)險(xiǎn)計(jì)劃：風(fēng)險(xiǎn)分析、識(shí)別與回避/緩解對策v 進(jìn)

10、度安排：分解項(xiàng)目工作結(jié)構(gòu)，指定時(shí)間/資源表v 資源配置：人員、硬件和軟件等分配。v 跟蹤和控制機(jī)制：質(zhì)量保證、變更控制等測試計(jì)劃標(biāo)準(zhǔn)格式測試計(jì)劃標(biāo)準(zhǔn)格式 -1v 16 components of Test Plan (IEEE,1983) Test plan identifier Test plan identifier （測試計(jì)劃標(biāo)識(shí)（測試計(jì)劃標(biāo)識(shí)) ) Instruction (Instruction (引言）引言） Test Items Test Items （定義或主題詞（定義或主題詞) ) Features to be tested Features to be tested （需要

11、被測試的功能（需要被測試的功能) ) Features not to be tested (Features not to be tested (無需被測試的功能無需被測試的功能) ) Approach (Approach (方法和途徑）方法和途徑） Items pass/ fail criteria Items pass/ fail criteria （測試通過、失敗的標(biāo)準(zhǔn)（測試通過、失敗的標(biāo)準(zhǔn)) ) Suspension criteria and resumption requirements Suspension criteria and resumption requirements

12、（延遲的標(biāo)準(zhǔn)和再恢復(fù)的（延遲的標(biāo)準(zhǔn)和再恢復(fù)的要求要求) ) Test deliverables (Test deliverables (測試交付的內(nèi)容測試交付的內(nèi)容) )1. 1. Testing Tasks (Testing Tasks (測試任務(wù)測試任務(wù)測試計(jì)劃標(biāo)準(zhǔn)格式測試計(jì)劃標(biāo)準(zhǔn)格式 2v 16 components of Test Plan (IEEE,1983) Environmental needs Environmental needs （必備的環(huán)境必備的環(huán)境) ) Responsibilities (Responsibilities (職責(zé)職責(zé)) ) Staffing and

13、training needs (Staffing and training needs (人員和必需的培訓(xùn)人員和必需的培訓(xùn)) ) Schedule (Schedule (時(shí)間進(jìn)度表時(shí)間進(jìn)度表) ) Risk and contingencies (Risk and contingencies (風(fēng)險(xiǎn)和相關(guān)費(fèi)用）風(fēng)險(xiǎn)和相關(guān)費(fèi)用） Approvals Approvals （批準(zhǔn)（批準(zhǔn)) )測試計(jì)劃的過程測試計(jì)劃的過程v計(jì)劃初期計(jì)劃初期v計(jì)劃起草計(jì)劃起草v內(nèi)部審查內(nèi)部審查v計(jì)劃討論和修改計(jì)劃討論和修改v測試計(jì)劃的多方審查測試計(jì)劃的多方審查v測試計(jì)劃的定稿和批準(zhǔn)測試計(jì)劃的定稿和批準(zhǔn)v計(jì)劃執(zhí)行跟蹤和修改計(jì)

14、劃執(zhí)行跟蹤和修改 測試目標(biāo)測試目標(biāo)v在開始制定測試計(jì)劃之前，需要確定測試目標(biāo)在開始制定測試計(jì)劃之前，需要確定測試目標(biāo) v測試目標(biāo)也分為整體目標(biāo)和階段性目標(biāo)、特定的任務(wù)目標(biāo) 功能測試目標(biāo)功能測試目標(biāo)v業(yè)務(wù)邏輯v基本操作v輸入/輸出v接口v各種使用場景v異常操作性能測試目標(biāo)性能測試目標(biāo)v 通過性能測試，不僅要通過壓力測試發(fā)現(xiàn)性能瓶頸，還要獲得系統(tǒng)的容量和系統(tǒng)所需要的各項(xiàng)具體的性能指標(biāo) 測試策略的內(nèi)涵測試策略的內(nèi)涵p 針對風(fēng)險(xiǎn)（工作量、時(shí)間等壓力）采取對策，包括遵照針對風(fēng)險(xiǎn)（工作量、時(shí)間等壓力）采取對策，包括遵照的標(biāo)準(zhǔn)取舍、測試任務(wù)的優(yōu)先級等。的標(biāo)準(zhǔn)取舍、測試任務(wù)的優(yōu)先級等。p 如何更好地執(zhí)行測試用

15、例以及如何執(zhí)行后續(xù)的回歸測試。如何更好地執(zhí)行測試用例以及如何執(zhí)行后續(xù)的回歸測試。p 選定使用測試技術(shù)和工具。選定使用測試技術(shù)和工具。p 考慮影響資源分配的特殊情況?？紤]影響資源分配的特殊情況。測試策略描述當(dāng)前測試項(xiàng)目的目標(biāo)和所采用的測試方法，描述不同測試階段的測試對象、范圍和方法以及每個(gè)階段內(nèi)所要進(jìn)行的測試類型，或者說是在一定的軟件測試標(biāo)準(zhǔn)、測試規(guī)范的指導(dǎo)下，依據(jù)測試項(xiàng)目的特定環(huán)境約束而規(guī)定的軟件測試的原則、方式、方法的集合。測試策略制定的基本要素測試策略制定的基本要素v 輸入輸入，作為制定測試策略的依據(jù)，包括限制條件和已具有的資源。v 輸出輸出，制定策略的成果，即最終對所制定策略的定義或說明

16、。v 制定策略的過程制定策略的過程，測試組分析需求，參與設(shè)計(jì)的討論，要求開發(fā)、編寫針對所有測試級別的測試策略，并和項(xiàng)目組一起復(fù)審測試策略和計(jì)劃。制定策略的過程制定策略的過程如何有效制定測試策略如何有效制定測試策略p全面細(xì)致地了解產(chǎn)品的項(xiàng)目信息p分析各個(gè)因素對產(chǎn)品的影響p確定測試范圍、等級和測試重點(diǎn)p使用盡可能少的有效測試用例,發(fā)現(xiàn)盡可能多的缺陷p測試既不能失敗、不足，也不能過度，而是尋求一個(gè)最佳平衡點(diǎn)制定有效的測試計(jì)劃制定有效的測試計(jì)劃v在確定測試項(xiàng)目的任務(wù)之前，應(yīng)清楚測試的范圍和目標(biāo)v讓所有合適的相關(guān)人員參與測試項(xiàng)目的計(jì)劃制定，特別是在測試計(jì)劃早期v對測試的各階段所需要的時(shí)間、人力及其它資源

17、進(jìn)行預(yù)估，測試范圍能分解應(yīng)盡量分解，針對每個(gè)測試任務(wù)仔細(xì)分析到位，盡量做到客觀、準(zhǔn)確、留有余地。v制定測試項(xiàng)目的輸入、輸出和質(zhì)量標(biāo)準(zhǔn)，并和有關(guān)方面達(dá)成一致。v建立變化處理的流程規(guī)則，識(shí)別出在整個(gè)測試階段中哪些是內(nèi)在的、不可避免的變化因素，如何進(jìn)行控制。IEEEIEEE軟件測試計(jì)劃文檔模板軟件測試計(jì)劃文檔模板IEEE829 IEEE829 測試計(jì)劃測試計(jì)劃1616大綱要大綱要v 根據(jù)IEEE8291998軟件測試文檔編制標(biāo)準(zhǔn)的建議，測試計(jì)劃包含了16個(gè)大綱要項(xiàng)，簡要說明如下。1 1測試計(jì)劃標(biāo)識(shí)符測試計(jì)劃標(biāo)識(shí)符v 一個(gè)測試計(jì)劃標(biāo)識(shí)符是一個(gè)由公司生成的惟一值，它用于標(biāo)識(shí)測試計(jì)劃的版本、等級，以及與該

18、測試計(jì)劃相關(guān)的軟件版本。2 2簡要介紹簡要介紹v 在測試計(jì)劃的介紹部分主要是測試軟件基本情況的介紹和測試范圍的概括性描述。3 3測試項(xiàng)目測試項(xiàng)目v 測試項(xiàng)部分主要是綱領(lǐng)性描述在測試范圍內(nèi)對哪些具體內(nèi)容進(jìn)行測試，確定一個(gè)包含所有測試項(xiàng)在內(nèi)的一覽表。具體要點(diǎn)如下。 功能的測試 設(shè)計(jì)的測試 整體測試v IEEE標(biāo)準(zhǔn)中指出，可以參考下面的文檔來完成測試項(xiàng)： 需求規(guī)格說明 用戶指南 操作指南 安裝指南 與測試項(xiàng)相關(guān)的事件報(bào)告4 4測試對象測試對象v 這一部分列出了待測的單項(xiàng)功能及功能組合。 5 5 不需要測試的功能不需要測試的功能v 這一部分列出了不測試的單項(xiàng)功能及組合功能并說明不予測試的理由。v 6

19、6測試方法（策略）測試方法（策略）v 測試策略描述測試小組用于測試整體和每個(gè)階段的方法。要描述如何公正、客觀地開展測試，要考慮模塊、功能、整體、系統(tǒng)、版本、壓力、性能、配置和安裝等各個(gè)因素的影響，要盡可能地考慮到細(xì)節(jié)，越詳細(xì)越好，并制作測試記錄文檔的模板，為即將開始的測試做準(zhǔn)備。測試記錄具體說明如下: 公正性聲明 測試用例 特殊考慮 經(jīng)驗(yàn)判斷 設(shè)想 v7 7測試項(xiàng)通過測試項(xiàng)通過/ /失敗的標(biāo)準(zhǔn)失敗的標(biāo)準(zhǔn)v 測試計(jì)劃中這一部分給出了“測試項(xiàng)”中描述的每一個(gè)測試項(xiàng)通過/失敗的標(biāo)準(zhǔn)。正如每個(gè)測試用例都需要一個(gè)預(yù)期的結(jié)果一樣，每個(gè)測試項(xiàng)同樣都需要一個(gè)預(yù)期的結(jié)果。v 下面是通過/失敗的標(biāo)準(zhǔn)的一些例子：

20、通過測試用例所占的百分比； 缺陷的數(shù)量、嚴(yán)重程度和分布情況； 測試用例覆蓋； 用戶測試的成功結(jié)論； 文檔的完整性； 性能標(biāo)準(zhǔn)。 v8 8測試中斷和恢復(fù)的規(guī)定測試中斷和恢復(fù)的規(guī)定v 測試計(jì)劃中這一部分給出了測試中斷和恢復(fù)的標(biāo)準(zhǔn)。常用的測試中斷標(biāo)準(zhǔn)如下： 關(guān)鍵路徑上的未完成任務(wù) 大量的缺陷 嚴(yán)重的缺陷 不完整的測試環(huán)境 資源短缺v9 9測試完成所提交的材料測試完成所提交的材料v 測試完成所提交的材料包含了測試工作開發(fā)設(shè)計(jì)的所有文檔、工具等。例如，測試計(jì)劃、測試設(shè)計(jì)規(guī)格說明、測試用例、測試日志、測試數(shù)據(jù)、自定義工具、測試缺陷報(bào)告和測試總結(jié)報(bào)告等。v1010測試任務(wù)測試任務(wù)v 測試計(jì)劃中這一部分給出了

21、測試工作所需完成的一系列任務(wù)。在這里還列舉了所有任務(wù)之間的依賴關(guān)系和可能需要的特殊技能。 v1111測試所需的資源測試所需的資源v 測試所需的資源是實(shí)現(xiàn)測試策略所必須的。例如： 人員人數(shù)、經(jīng)驗(yàn)和專長。他們是全職、兼職、業(yè)余還是學(xué)生？v 設(shè)備計(jì)算機(jī)、測試硬件、打印機(jī)、測試工具等。 辦公室和實(shí)驗(yàn)室空間在哪里？空間有多大？怎樣排列？ 軟件字處理程序、數(shù)據(jù)庫程序和自定義工具等。v 其他資源軟盤、電話、參考書、培訓(xùn)資料等。v 特殊的測試工具。v1212測試人員的工作職責(zé)測試人員的工作職責(zé)v 測試人員的工作職責(zé)是明確指出了測試任務(wù)和測試人員的工作責(zé)任。v 有時(shí)測試需要定義的任務(wù)類型不容易分清，不像程序員所

22、編寫的程序那樣明確。復(fù)雜的任務(wù)可能有多個(gè)執(zhí)行者，或者由多人共同負(fù)責(zé)。 v1313人員安排與培訓(xùn)需求人員安排與培訓(xùn)需求v 前面討論的測試人員的工作職責(zé)是指哪類人員（管理、測試和程序員等）負(fù)責(zé)哪些任務(wù)。人員安排與培訓(xùn)需求是指明確測試人員具體負(fù)責(zé)軟件測試的哪些部分、哪些可測試性能，以及他們需要掌握的技能等。實(shí)際責(zé)任表會(huì)更加詳細(xì)，確保軟件的每一部分都有人進(jìn)行測試。每一個(gè)測試員都會(huì)清楚地知道自己應(yīng)該負(fù)責(zé)什么，而且有足夠的信息開始設(shè)計(jì)測試用例。v 培訓(xùn)需求通常包括學(xué)習(xí)如何使用某個(gè)工具、測試方法、缺陷跟蹤系統(tǒng)、配置管理，或者與被測試系統(tǒng)相關(guān)的業(yè)務(wù)基礎(chǔ)知識(shí)。培訓(xùn)需求各個(gè)測試項(xiàng)目會(huì)各不相同，它取決于具體項(xiàng)目的情況。v