企業(yè)戰(zhàn)略管理第2次大課 軟件測(cè)試策略及過程

1、軟件測(cè)試根底Software Testing Technology第二章 軟件測(cè)試策略與過程第2章 軟件測(cè)試策略與過程2.1 軟件測(cè)試的復(fù)雜性分析2.2 軟件測(cè)試方法與策略2.3 測(cè)試方案2.4 單元測(cè)試2.5 集成測(cè)試2.6 確認(rèn)測(cè)試2.7 系統(tǒng)測(cè)試2.8 驗(yàn)收測(cè)試2.9 測(cè)試后的調(diào)試2.10 面向?qū)ο蟮能浖y(cè)試本章教學(xué)目標(biāo)理解軟件測(cè)試的復(fù)雜性理解軟件測(cè)試的方法與策略測(cè)試方案的制定明確單元測(cè)試的主要任務(wù)和過程明確集成測(cè)試的方法和確認(rèn)測(cè)試的準(zhǔn)那么明確系統(tǒng)測(cè)試的八個(gè)領(lǐng)域測(cè)試要點(diǎn)明確驗(yàn)收測(cè)試的主要內(nèi)容和相關(guān)配置2.1 軟件測(cè)試的復(fù)雜性分析 1、無法對(duì)程序進(jìn)行完全測(cè)試 1測(cè)試所需要的輸入量太大 2測(cè)

2、試的輸出結(jié)果太多 3軟件實(shí)現(xiàn)的途徑太多 4軟件規(guī)格說明沒有一個(gè)客觀標(biāo)準(zhǔn) 2、測(cè)試無法顯示潛在的軟件缺陷和故障 通過軟件測(cè)試只能報(bào)告軟件已被發(fā)現(xiàn)的缺陷和故障，無法報(bào)告隱藏的軟件故障。 3、存在的故障現(xiàn)象與發(fā)現(xiàn)的故障數(shù)量成正比 結(jié)論：應(yīng)當(dāng)對(duì)故障集中的程序段進(jìn)行重點(diǎn)測(cè)試Return軟件測(cè)試的復(fù)雜性分析續(xù) 4、不能修復(fù)所有的軟件故障 原因：沒有足夠的進(jìn)行修復(fù)；修復(fù)的風(fēng)險(xiǎn)較大； 不值得修復(fù)；可不算做故障的一些缺陷；“殺蟲劑現(xiàn)象。 結(jié)論：關(guān)鍵是要進(jìn)行正確的判斷、合理的取舍，根據(jù)風(fēng)險(xiǎn)分析決定哪些故障必須修復(fù)，哪些故障可以不修復(fù)。 5、軟件測(cè)試的代價(jià) 工作原那么：就是如何將無邊無際的可能性減小到一個(gè)可以控制的

3、范圍，以及如何針對(duì)軟件風(fēng)險(xiǎn)做出恰中選擇，去粗存精，找到最正確的測(cè)試量，使得測(cè)試工作量不多也不少，既能到達(dá)測(cè)試的目的，又能較為經(jīng)濟(jì)。 軟件測(cè)試的復(fù)雜性分析續(xù)軟件缺陷故障數(shù)量測(cè)試工作量測(cè)試中測(cè)試后測(cè)試費(fèi)用遺漏缺陷數(shù)目優(yōu)化測(cè)試量圖2-1 測(cè)試工作量和軟件缺陷數(shù)量之間的關(guān)系2.2 軟件測(cè)試方法與策略2.2.1 靜態(tài)測(cè)試與動(dòng)態(tài)測(cè)試2.2.2 黑盒測(cè)試與白盒測(cè)試2.2.3 軟件測(cè)試過程Return軟件測(cè)試策略什么是軟件測(cè)試策略？ 是為軟件工程過程定義的一個(gè)軟件測(cè)試的模板，也就是把特定的測(cè)試用例方法放置進(jìn)去的一系列步驟。軟件測(cè)試策略包含的特征：1測(cè)試從模塊層開始，然后擴(kuò)大延伸到整個(gè)基于計(jì)算機(jī)的系統(tǒng)集合中。2

4、不同的測(cè)試技術(shù)適用于不同的時(shí)間點(diǎn)。3測(cè)試是由軟件的開發(fā)人員和對(duì)于大型系統(tǒng)而言獨(dú)立的測(cè)試組來管理的。4測(cè)試和調(diào)試是不同的活動(dòng)，但是調(diào)試必須能夠適應(yīng)任何的測(cè)試策略。軟件測(cè)試充分性準(zhǔn)那么對(duì)任何軟件都存在有限的充分測(cè)試集合。如果一個(gè)軟件系統(tǒng)在一個(gè)測(cè)試數(shù)據(jù)集合上的測(cè)試是充分的，那么再多測(cè)試一些數(shù)據(jù)也應(yīng)該是充分的。這一特性稱為單調(diào)性。即使對(duì)軟件所有成分都進(jìn)行了充分的測(cè)試，也并不說明整個(gè)軟件的測(cè)試已經(jīng)充分了。這一特性稱為非復(fù)合性。即使對(duì)軟件系統(tǒng)整體的測(cè)試是充分的，也并不意味軟件系統(tǒng)中各個(gè)成分都已經(jīng)充分地得到了測(cè)試。這個(gè)特性稱為非分解性。軟件測(cè)試的充分性應(yīng)該與軟件的需求和軟件的實(shí)現(xiàn)都相關(guān)。軟件越復(fù)雜，需要的測(cè)

5、試數(shù)據(jù)就越多。這一特性稱為復(fù)雜性。測(cè)試得越多，進(jìn)一步測(cè)試所能得到的充分性增長就越少。這一特性稱為回報(bào)遞減率。2.3 測(cè)試方案2.3.1 概述2.3.2 測(cè)試方案過程2.3.3測(cè)試目標(biāo)2.3.4 測(cè)試策略2.3.5 制定有效的測(cè)試方案測(cè)試方案概述軟件測(cè)試方案的作用制定測(cè)試方案的原那么如何制訂軟件測(cè)試方案制定測(cè)試方案時(shí)面對(duì)的問題衡量一份好的測(cè)試方案書的標(biāo)準(zhǔn)制定測(cè)試方案什么是測(cè)試方案？測(cè)試方案就是描述所有要完成的測(cè)試工作，包括被測(cè)試工程的背景、目標(biāo)、范圍、方式、資源、進(jìn)度安排、測(cè)試組織，以及與測(cè)試有關(guān)的風(fēng)險(xiǎn)等方面。什么是測(cè)試方案？ 測(cè)試方案是工程方案的組成局部 測(cè)試方案依賴于軟件組織過程、質(zhì)量文化和

6、方針。 測(cè)試方案是指導(dǎo)今后一系列測(cè)試活動(dòng)的文件 測(cè)試方案更是一個(gè)過程，隨著工程的進(jìn)展不斷更新子曰：凡事預(yù)那么立，不預(yù)那么廢，預(yù)即是方案。要想成功完成軟件測(cè)試這項(xiàng)工作，必須首先建立測(cè)試方案。 :/ 測(cè)試方案的作用1使軟件測(cè)試工作進(jìn)行更順利2促進(jìn)工程參加人員彼此的溝通3及早發(fā)現(xiàn)和修正軟件規(guī)格說明書的問題4 使軟件測(cè)試工作更易于管理會(huì)遇到哪些問題？ 制定測(cè)試方案時(shí)，測(cè)試人員可能面對(duì)以下問題，必須認(rèn)真對(duì)待，并妥善予以處理。 1與開發(fā)者意見不一致 2缺乏測(cè)試工具 3培訓(xùn)不夠 4管理部門缺乏對(duì)測(cè)試工作的理解和支持 5缺乏用戶的參與 6測(cè)試時(shí)間缺乏 7過分依賴測(cè)試人員 8測(cè)試人員處于進(jìn)退兩難的狀態(tài) 9不得不

7、說“不制定測(cè)試方案的原那么制定測(cè)試方案是軟件測(cè)試中最有挑戰(zhàn)性的一個(gè)工作。以下原那么將有助于制定測(cè)試方案工作。1制定測(cè)試方案應(yīng)盡早開始2保持測(cè)試方案的靈活性3保持測(cè)試方案簡潔和易讀4盡量爭(zhēng)取多渠道評(píng)審測(cè)試方案5計(jì)算測(cè)試方案的投入如何制訂軟件測(cè)試方案1認(rèn)真做好測(cè)試資料的搜集整理工作2明確測(cè)試的目標(biāo)，增強(qiáng)測(cè)試方案的實(shí)用性3堅(jiān)持“5W規(guī)那么，明確內(nèi)容與過程4采用評(píng)審和更新機(jī)制，保證測(cè)試方案滿足實(shí)際需求衡量一份好的測(cè)試方案書的標(biāo)準(zhǔn)一份好的測(cè)試方案書應(yīng)具備哪些特點(diǎn)呢？1它應(yīng)能有效地引導(dǎo)整個(gè)軟件測(cè)試工作正常運(yùn)行，并配合編程部門，保證軟件質(zhì)量，按時(shí)將產(chǎn)品推出。2它所提供的方法應(yīng)能使測(cè)試高效地進(jìn)行，即能在較短的

8、時(shí)間內(nèi)找出盡可能多的軟件缺陷。 3它提供了明確的測(cè)試目標(biāo)、測(cè)試的策略、具體步驟及測(cè)試標(biāo)準(zhǔn)。 4它既強(qiáng)調(diào)測(cè)試重點(diǎn)，也重視測(cè)試的根本覆蓋率。 5它所制定的測(cè)試方案盡可能充分利用了公司現(xiàn)有的、可以提供給測(cè)試部門的人力/物力資源，而且是可行的。6它所列舉的所有數(shù)據(jù)都必須是準(zhǔn)確的比方外部軟件/硬件的兼容性所要求的數(shù)據(jù)、輸入/輸出數(shù)據(jù)等。7它對(duì)測(cè)試工作的安排有一定的靈活性，可以應(yīng)付一些突然的變化情況，如當(dāng)時(shí)間安排或產(chǎn)品出現(xiàn)的一些變化的時(shí)候。測(cè)試方案的內(nèi)容 確認(rèn)測(cè)試目標(biāo)、范圍和需求 識(shí)別測(cè)試風(fēng)險(xiǎn)，制訂相應(yīng)的測(cè)試策略 對(duì)測(cè)試任務(wù)和工作量進(jìn)行估算 確定所需的時(shí)間和資源 進(jìn)度安排和資源分派，包括團(tuán)隊(duì)角色、責(zé)任和培

9、訓(xùn) 測(cè)試階段劃分，包括階段性任務(wù)和成果 跟蹤和控制機(jī)制完整的測(cè)試方案書 目標(biāo)和范圍：產(chǎn)品特性、質(zhì)量目標(biāo)、范圍和限制。 工程估算：工作量、資源的估算 風(fēng)險(xiǎn)方案：風(fēng)險(xiǎn)分析、識(shí)別與回避/緩解對(duì)策 進(jìn)度安排：分解工程工作結(jié)構(gòu)，指定時(shí)間/資源表 資源配置：人員、硬件和軟件等分配。 跟蹤和控制機(jī)制：質(zhì)量保證、變更控制等測(cè)試方案標(biāo)準(zhǔn)格式 -116 components of Test Plan (IEEE,1983)Test plan identifier 測(cè)試方案標(biāo)識(shí))Instruction (引言Test Items 定義或主題詞)Features to be tested 需要被測(cè)試的功能)Featu

10、res not to be tested (無需被測(cè)試的功能)Approach (方法和途徑Items pass/ fail criteria 測(cè)試通過、失敗的標(biāo)準(zhǔn))Suspension criteria and resumption requirements 延遲的標(biāo)準(zhǔn)和再恢復(fù)的要求)Test deliverables (測(cè)試交付的內(nèi)容)Testing Tasks (測(cè)試任務(wù)測(cè)試方案標(biāo)準(zhǔn)格式 216 components of Test Plan (IEEE,1983)Environmental needs 必備的環(huán)境)Responsibilities (職責(zé))Staffing and tr

11、aining needs (人員和必需的培訓(xùn))Schedule (時(shí)間進(jìn)度表)Risk and contingencies (風(fēng)險(xiǎn)和相關(guān)費(fèi)用Approvals 批準(zhǔn))測(cè)試方案的過程方案初期方案起草內(nèi)部審查方案討論和修改測(cè)試方案的多方審查測(cè)試方案的定稿和批準(zhǔn)方案執(zhí)行跟蹤和修改 測(cè)試目標(biāo)在開始制定測(cè)試方案之前，需要確定測(cè)試目標(biāo) 測(cè)試目標(biāo)也分為整體目標(biāo)和階段性目標(biāo)、特定的任務(wù)目標(biāo) 功能測(cè)試目標(biāo)業(yè)務(wù)邏輯根本操作輸入/輸出接口各種使用場(chǎng)景異常操作性能測(cè)試目標(biāo)通過性能測(cè)試，不僅要通過壓力測(cè)試發(fā)現(xiàn)性能瓶頸，還要獲得系統(tǒng)的容量和系統(tǒng)所需要的各項(xiàng)具體的性能指標(biāo) 測(cè)試策略的內(nèi)涵 針對(duì)風(fēng)險(xiǎn)工作量、時(shí)間等壓力采取對(duì)策

12、，包括遵照的標(biāo)準(zhǔn)取舍、測(cè)試任務(wù)的優(yōu)先級(jí)等。 如何更好地執(zhí)行測(cè)試用例以及如何執(zhí)行后續(xù)的回歸測(cè)試。 選定使用測(cè)試技術(shù)和工具。 考慮影響資源分配的特殊情況。測(cè)試策略描述當(dāng)前測(cè)試工程的目標(biāo)和所采用的測(cè)試方法，描述不同測(cè)試階段的測(cè)試對(duì)象、范圍和方法以及每個(gè)階段內(nèi)所要進(jìn)行的測(cè)試類型，或者說是在一定的軟件測(cè)試標(biāo)準(zhǔn)、測(cè)試標(biāo)準(zhǔn)的指導(dǎo)下，依據(jù)測(cè)試工程的特定環(huán)境約束而規(guī)定的軟件測(cè)試的原那么、方式、方法的集合。測(cè)試策略制定的根本要素 輸入，作為制定測(cè)試策略的依據(jù)，包括限制條件和已具有的資源。 輸出，制定策略的成果，即最終對(duì)所制定策略的定義或說明。 制定策略的過程，測(cè)試組分析需求，參與設(shè)計(jì)的討論，要求開發(fā)、編寫針對(duì)所有

13、測(cè)試級(jí)別的測(cè)試策略，并和工程組一起復(fù)審測(cè)試策略和方案。制定策略的過程如何有效制定測(cè)試策略全面細(xì)致地了解產(chǎn)品的工程信息分析各個(gè)因素對(duì)產(chǎn)品的影響確定測(cè)試范圍、等級(jí)和測(cè)試重點(diǎn)使用盡可能少的有效測(cè)試用例,發(fā)現(xiàn)盡可能多的缺陷測(cè)試既不能失敗、缺乏，也不能過度，而是尋求一個(gè)最正確平衡點(diǎn)制定有效的測(cè)試方案在確定測(cè)試工程的任務(wù)之前，應(yīng)清楚測(cè)試的范圍和目標(biāo)讓所有適宜的相關(guān)人員參與測(cè)試工程的方案制定，特別是在測(cè)試方案早期對(duì)測(cè)試的各階段所需要的時(shí)間、人力及其它資源進(jìn)行預(yù)估，測(cè)試范圍能分解應(yīng)盡量分解，針對(duì)每個(gè)測(cè)試任務(wù)仔細(xì)分析到位，盡量做到客觀、準(zhǔn)確、留有余地。制定測(cè)試工程的輸入、輸出和質(zhì)量標(biāo)準(zhǔn)，并和有關(guān)方面達(dá)成一致。建

14、立變化處理的流程規(guī)那么，識(shí)別出在整個(gè)測(cè)試階段中哪些是內(nèi)在的、不可防止的變化因素，如何進(jìn)行控制。IEEE軟件測(cè)試方案文檔模板IEEE829 測(cè)試方案16大綱要根據(jù)IEEE8291998軟件測(cè)試文檔編制標(biāo)準(zhǔn)的建議，測(cè)試方案包含了16個(gè)大綱要項(xiàng)，簡要說明如下。1測(cè)試方案標(biāo)識(shí)符一個(gè)測(cè)試方案標(biāo)識(shí)符是一個(gè)由公司生成的惟一值，它用于標(biāo)識(shí)測(cè)試方案的版本、等級(jí)，以及與該測(cè)試方案相關(guān)的軟件版本。2簡要介紹在測(cè)試方案的介紹局部主要是測(cè)試軟件根本情況的介紹和測(cè)試范圍的概括性描述。3測(cè)試工程 測(cè)試項(xiàng)局部主要是綱領(lǐng)性描述在測(cè)試范圍內(nèi)對(duì)哪些具體內(nèi)容進(jìn)行測(cè)試，確定一個(gè)包含所有測(cè)試項(xiàng)在內(nèi)的一覽表。具體要點(diǎn)如下。 功能的測(cè)試 設(shè)

15、計(jì)的測(cè)試 整體測(cè)試IEEE標(biāo)準(zhǔn)中指出，可以參考下面的文檔來完成測(cè)試項(xiàng)： 需求規(guī)格說明 用戶指南 操作指南 安裝指南 與測(cè)試項(xiàng)相關(guān)的事件報(bào)告4測(cè)試對(duì)象這一局部列出了待測(cè)的單項(xiàng)功能及功能組合。 5 不需要測(cè)試的功能這一局部列出了不測(cè)試的單項(xiàng)功能及組合功能并說明不予測(cè)試的理由。6測(cè)試方法策略測(cè)試策略描述測(cè)試小組用于測(cè)試整體和每個(gè)階段的方法。要描述如何公正、客觀地開展測(cè)試，要考慮模塊、功能、整體、系統(tǒng)、版本、壓力、性能、配置和安裝等各個(gè)因素的影響，要盡可能地考慮到細(xì)節(jié)，越詳細(xì)越好，并制作測(cè)試記錄文檔的模板，為即將開始的測(cè)試做準(zhǔn)備。測(cè)試記錄具體說明如下: 公正性聲明 測(cè)試用例 特殊考慮 經(jīng)驗(yàn)判斷 設(shè)想

16、7測(cè)試項(xiàng)通過/失敗的標(biāo)準(zhǔn)測(cè)試方案中這一局部給出了“測(cè)試項(xiàng)中描述的每一個(gè)測(cè)試項(xiàng)通過/失敗的標(biāo)準(zhǔn)。正如每個(gè)測(cè)試用例都需要一個(gè)預(yù)期的結(jié)果一樣，每個(gè)測(cè)試項(xiàng)同樣都需要一個(gè)預(yù)期的結(jié)果。下面是通過/失敗的標(biāo)準(zhǔn)的一些例子： 通過測(cè)試用例所占的百分比； 缺陷的數(shù)量、嚴(yán)重程度和分布情況； 測(cè)試用例覆蓋； 用戶測(cè)試的成功結(jié)論； 文檔的完整性； 性能標(biāo)準(zhǔn)。 8測(cè)試中斷和恢復(fù)的規(guī)定測(cè)試方案中這一局部給出了測(cè)試中斷和恢復(fù)的標(biāo)準(zhǔn)。常用的測(cè)試中斷標(biāo)準(zhǔn)如下： 關(guān)鍵路徑上的未完成任務(wù) 大量的缺陷 嚴(yán)重的缺陷 不完整的測(cè)試環(huán)境 資源短缺9測(cè)試完成所提交的材料測(cè)試完成所提交的材料包含了測(cè)試工作開發(fā)設(shè)計(jì)的所有文檔、工具等。例如，測(cè)試方

17、案、測(cè)試設(shè)計(jì)規(guī)格說明、測(cè)試用例、測(cè)試日志、測(cè)試數(shù)據(jù)、自定義工具、測(cè)試缺陷報(bào)告和測(cè)試總結(jié)報(bào)告等。10測(cè)試任務(wù)測(cè)試方案中這一局部給出了測(cè)試工作所需完成的一系列任務(wù)。在這里還列舉了所有任務(wù)之間的依賴關(guān)系和可能需要的特殊技能。 11測(cè)試所需的資源測(cè)試所需的資源是實(shí)現(xiàn)測(cè)試策略所必須的。例如： 人員人數(shù)、經(jīng)驗(yàn)和專長。他們是全職、兼職、業(yè)余還是學(xué)生？設(shè)備計(jì)算機(jī)、測(cè)試硬件、打印機(jī)、測(cè)試工具等。 辦公室和實(shí)驗(yàn)室空間在哪里？空間有多大？怎樣排列？ 軟件字處理程序、數(shù)據(jù)庫程序和自定義工具等。 其他資源軟盤、 、參考書、培訓(xùn)資料等。 特殊的測(cè)試工具。12測(cè)試人員的工作職責(zé)測(cè)試人員的工作職責(zé)是明確指出了測(cè)試任務(wù)和測(cè)試人

18、員的工作責(zé)任。有時(shí)測(cè)試需要定義的任務(wù)類型不容易分清，不像程序員所編寫的程序那樣明確。復(fù)雜的任務(wù)可能有多個(gè)執(zhí)行者，或者由多人共同負(fù)責(zé)。 13人員安排與培訓(xùn)需求前面討論的測(cè)試人員的工作職責(zé)是指哪類人員管理、測(cè)試和程序員等負(fù)責(zé)哪些任務(wù)。人員安排與培訓(xùn)需求是指明確測(cè)試人員具體負(fù)責(zé)軟件測(cè)試的哪些局部、哪些可測(cè)試性能，以及他們需要掌握的技能等。實(shí)際責(zé)任表會(huì)更加詳細(xì)，確保軟件的每一局部都有人進(jìn)行測(cè)試。每一個(gè)測(cè)試員都會(huì)清楚地知道自己應(yīng)該負(fù)責(zé)什么，而且有足夠的信息開始設(shè)計(jì)測(cè)試用例。培訓(xùn)需求通常包括學(xué)習(xí)如何使用某個(gè)工具、測(cè)試方法、缺陷跟蹤系統(tǒng)、配置管理，或者與被測(cè)試系統(tǒng)相關(guān)的業(yè)務(wù)根底知識(shí)。培訓(xùn)需求各個(gè)測(cè)試工程會(huì)各不相同，它取決于具體工程的情況。測(cè)試進(jìn)度是圍繞著包含在工程方案中的主要事件如文檔、模塊的交付日期，接口的可用性等來構(gòu)造的。作為測(cè)試方案的一局部，完成測(cè)試進(jìn)度方案安排