測(cè)試度量指標(biāo)介紹

1、測(cè)試度量指標(biāo)介紹在CMMI4體系的測(cè)試過程中定義了四個(gè)度量指標(biāo)：測(cè)試覆蓋率、測(cè)試執(zhí)行率、測(cè)試執(zhí)行通過 率、測(cè)試缺陷解決率。為了使專/兼職測(cè)試人員理解這四個(gè)度量指標(biāo)，了解如何利用現(xiàn)有資源收集 度量數(shù)據(jù)，本文介紹這四個(gè)指標(biāo)的含義及數(shù)據(jù)收集方法。1測(cè)試覆蓋率測(cè)試覆蓋率是指測(cè)試用例對(duì)需求的覆蓋情況。計(jì)算公式：已設(shè)計(jì)測(cè)試用例的需求數(shù)/需求總數(shù)。測(cè)試覆蓋率從緯度上說包括廣度覆蓋和深度覆蓋；從內(nèi)容上說包括用戶場(chǎng)景覆蓋、功能覆蓋、 功能組合覆蓋、系統(tǒng)場(chǎng)景覆蓋。首先說廣度，是否需求規(guī)格說明書中的每個(gè)需求項(xiàng)都在測(cè)試用例中得到設(shè)計(jì)。其次說深度，通俗的說，是不使我們的測(cè)試設(shè)計(jì)流于外表，是否能夠透過客戶需求文檔，挖掘出

2、可能存在問題的地 方。例如：重復(fù)點(diǎn)擊某個(gè)按鈕10次，或者依次執(zhí)行新增、刪除、新增同一數(shù)據(jù)的記錄、再次刪除 該記錄操作。在筆者的實(shí)際工作中碰到過這么一個(gè)例子，一個(gè)使用 PL/SQL編寫的系統(tǒng)，在某個(gè)查 詢界面，重復(fù)點(diǎn)擊?查詢?按鈕6次后，系統(tǒng)就會(huì)出現(xiàn)查詢功能失效的問題。經(jīng)調(diào)試，開發(fā)人員發(fā) 現(xiàn)是由于gdi資源未完全釋放的緣故。在設(shè)計(jì)測(cè)試用例時(shí)，我們很少單獨(dú)設(shè)計(jì)廣度或深度方面的測(cè)試用例， 而一般是結(jié)合在一起設(shè)計(jì)。 為了從廣度和深度上覆蓋測(cè)試用例，我們需要考慮設(shè)計(jì)各種測(cè)試用例，女口：用戶場(chǎng)景識(shí)別最常用的20%的操作、功能點(diǎn)、功能組合、系統(tǒng)場(chǎng)景、性能、語句、分支等。在執(zhí)行時(shí)，需要根據(jù)測(cè)試 時(shí)間的充裕程度

3、按照一定的順序執(zhí)行。通常是先執(zhí)行用戶場(chǎng)景的測(cè)試用例，然后再執(zhí)行具體功能點(diǎn)、 功能組合的測(cè)試。測(cè)試覆蓋率數(shù)據(jù)的收集，我們可以通過需求跟蹤矩陣 RTM來實(shí)現(xiàn)。在需求跟蹤矩陣，測(cè)試人 員填寫的 系統(tǒng)測(cè)試用例列的數(shù)據(jù)，如圖一所示。測(cè)試人員通過計(jì)算 RTM列出的需求數(shù)量，和已 設(shè)計(jì)測(cè)試用例的需求數(shù)量，可以快速的計(jì)算出測(cè)試覆蓋率。通過 RTM，測(cè)試人員，包括工程組成 員都可以很清楚的、快速的知道當(dāng)前這個(gè)工程測(cè)試的測(cè)試覆蓋情況。質(zhì)量管理體系 文幣R邑皈45版軋Br需帝瞬騒S7575F574軟件需求詳球需養(yǎng)類型優(yōu)先報(bào)“11用戶管理1；基打蟻厲鴛頊TC_INW_OrgW131 4戴攥爭(zhēng)入導(dǎo)出rJbWTCJNHJ

4、>L«E«> TC_1NH_E tpB 詁D TC_INH_lFip&*£*D TC_INB_IapTMKa sir a圖一需求跟蹤矩陣?yán)幼ⅲ罕綬TM例子中，筆者將概要設(shè)計(jì)詳細(xì)設(shè)計(jì)編碼等列隱藏，只顯示與測(cè)試覆蓋 率計(jì)算有關(guān)的內(nèi)容。2測(cè)試執(zhí)行率執(zhí)行率，顧名思義，就是指實(shí)際執(zhí)行過程中確定已經(jīng)執(zhí)行的測(cè)試用例比率。計(jì)算公式：已執(zhí)行的測(cè)試用例數(shù)/設(shè)計(jì)的總測(cè)試用例數(shù)。讀者肯定覺得很奇怪了，我們?cè)O(shè)計(jì)的測(cè)試用例肯定都是要執(zhí)行的，即使是按模塊來執(zhí)行測(cè)試， 那該模塊的測(cè)試執(zhí)行率肯定是100%，為什么還要設(shè)置這個(gè)指標(biāo)？其實(shí)不然。在實(shí)際測(cè)試過程中，經(jīng)常有如下這種情況

5、發(fā)生。一種情況是，因?yàn)橄到y(tǒng)采用迭代方 式開發(fā)，每次Build時(shí)都有不同的重點(diǎn)，包含不同的內(nèi)容；第二種情況是，由于測(cè)試資源的有限， 不可能每次將所有設(shè)計(jì)的測(cè)試內(nèi)容都全部測(cè)試完畢。由于這兩種情況的存在，所以在每次執(zhí)行測(cè)試時(shí)，我們會(huì)按照不同的測(cè)試重點(diǎn)和測(cè)試內(nèi)容來安排測(cè)試活動(dòng)，所以就存在了 測(cè)試執(zhí)行率這個(gè)指標(biāo)。通常，我們的測(cè)試目標(biāo)是確保 100%的測(cè)試用例都得到執(zhí)行，即執(zhí)行率為 100%。但是，如前 面所提到的，實(shí)際中可能存在非 100%的執(zhí)行率。如果不能到達(dá)100%的測(cè)試執(zhí)行率，那么我們需 要根據(jù)不同的情況制定不同的測(cè)試執(zhí)行率標(biāo)準(zhǔn) 一一主要考慮風(fēng)險(xiǎn)、重要性、可接受的測(cè)試執(zhí)行率。 在考慮可接受的測(cè)試執(zhí)

6、行率時(shí)，就涉及到了測(cè)試用例執(zhí)行順序的問題。在設(shè)計(jì)測(cè)試用例時(shí)，我們需要從廣度和深度上盡可能的覆蓋需求，所以我們就需要設(shè)計(jì)各種測(cè)試用例，如正常的測(cè)試用例、異常的測(cè)試用例、界面的測(cè)試用例等。但是在執(zhí)行時(shí)，測(cè)試人員需要 根據(jù)工程進(jìn)度和測(cè)試時(shí)間的充裕程度， 參考測(cè)試執(zhí)行率標(biāo)準(zhǔn)，將測(cè)試用例按照一定的順序執(zhí)行。 通 常是先執(zhí)行用戶場(chǎng)景對(duì)應(yīng)的測(cè)試用例，然后再執(zhí)行具體功能點(diǎn)、功能組合的測(cè)試，完成這些測(cè)試后， 再進(jìn)行其它測(cè)試，如系統(tǒng)場(chǎng)景、性能、語句等測(cè)試。例如，某工程共設(shè)計(jì)了 280個(gè)測(cè)試用例。該工程某一階段的測(cè)試共分四個(gè)版本， 其中有一個(gè)版 本執(zhí)行了 134個(gè)測(cè)試用例，那么該版本的測(cè)試執(zhí)行率為 47.9%。3測(cè)

7、試執(zhí)行通過率在介紹 測(cè)試執(zhí)行通過率之前，需要說明測(cè)試用例的執(zhí)行結(jié)果定義。 測(cè)試用例的執(zhí)行結(jié)果有以 下四種定義：執(zhí)行皓杲說明通j±Pas$題 Fail陰塞Block實(shí)際結(jié)果與預(yù)期結(jié)果一致，或者有一些不同，但 鼻駅響不生*可以接受"實(shí)際結(jié)臬與預(yù)期結(jié)果不一致，柚缺陷。因?yàn)榍懊鏈y(cè)試用例執(zhí)行夷敗，導(dǎo)致#測(cè)試用例無忽略Skip測(cè)試用例不適陽。存在愿類測(cè)試用厠時(shí)，應(yīng)惆整 測(cè)試用例，後其袴合新的系統(tǒng)需求。介紹了執(zhí)行結(jié)果定義后，我們來看測(cè)試執(zhí)行通過率。測(cè)試執(zhí)行通過率，指在實(shí)際執(zhí)行的測(cè)試用 例中，執(zhí)行結(jié)果為 通過的測(cè)試用例比率。計(jì)算公式：執(zhí)行結(jié)果為 通過的測(cè)試用例數(shù)/實(shí)際執(zhí)行的測(cè)試用例總數(shù)。我

8、們可以針對(duì)所有方案執(zhí)行的測(cè)試用例進(jìn)行衡量，可以細(xì)化到具體模塊，用于比照各個(gè)模塊的測(cè)試用例執(zhí)行情況。為了得到測(cè)試執(zhí)行通過率數(shù)據(jù)，我們?cè)跍y(cè)試執(zhí)行時(shí)，需要在測(cè)試用例副本中記錄下每個(gè)測(cè)試用 例的執(zhí)行結(jié)果，然后在當(dāng)前版本執(zhí)行完畢，或者定期如每周統(tǒng)計(jì)當(dāng)前測(cè)試執(zhí)行數(shù)據(jù)。通過原始數(shù)據(jù)的記錄與統(tǒng)計(jì)，我們可以快速的得到當(dāng)前版本或當(dāng)前階段的測(cè)試執(zhí)行通過率。下表是某工程某一測(cè)試版本使用測(cè)試用例執(zhí)行測(cè)試的統(tǒng)計(jì)數(shù)據(jù)：測(cè)試執(zhí)行結(jié)果模塊通過系統(tǒng)用例失敗阻塞忽略會(huì)員管理報(bào)名參賽UC112004賽事查詢UC25000比賽資格查詢UC34003力口入戰(zhàn)隊(duì)UC418000組織我的戰(zhàn)隊(duì)UC529000查詢我的戰(zhàn)隊(duì)UC105000會(huì)員注

9、冊(cè)110000修改會(huì)員資料900根本信息管理比賽工程管理UC612201賽區(qū)運(yùn)營(yíng)商UC108100賽場(chǎng)管理包括支持工程UC816000賽事管理賽事管理UC922600戰(zhàn)隊(duì)管理UC1240000統(tǒng)計(jì)管理報(bào)名統(tǒng)計(jì)UC139100系統(tǒng)參數(shù)管理系統(tǒng)參數(shù)配置UC114000權(quán)限管理登錄系統(tǒng)5000操作員管理12000用戶組管理18100用戶密碼修改2000Session 同步4000合計(jì)2451108通過計(jì)算可知，該測(cè)試版本的測(cè)試測(cè)試執(zhí)行通過率為92.8%。4缺陷解決率缺陷解決率，指某個(gè)階段已關(guān)閉缺陷占缺陷總數(shù)的比率。缺陷關(guān)閉操作包括以下兩種情況：正常關(guān)閉：缺陷已修復(fù)，且經(jīng)過測(cè)試人員驗(yàn)證通過；強(qiáng)制關(guān)閉：

10、重復(fù)的缺陷；由于外部原因造成的缺陷；暫時(shí)不處理的缺陷；無效的缺陷。這類 缺陷經(jīng)過確認(rèn)后，可以強(qiáng)制關(guān)閉。計(jì)算公式：已關(guān)閉的缺陷/缺陷總數(shù)在工程過程中，在開始時(shí)缺陷解決率上升很緩慢，隨著測(cè)試工作的開展，缺陷解決率逐步上升, 在版本發(fā)布前，缺陷解決率將趨于 100%，如圖二所示。一般來說，在每個(gè)版本對(duì)外發(fā)布時(shí)，缺陷 解決率都應(yīng)該到達(dá)100%。也就是說，除了已修復(fù)的缺陷需要進(jìn)行驗(yàn)證外，其他需要強(qiáng)制關(guān)閉的缺 陷必須經(jīng)過確認(rèn)，且有對(duì)應(yīng)的應(yīng)對(duì)措施?？梢詫⑷毕萁鉀Q率作為測(cè)試結(jié)束和版本發(fā)布的一個(gè)標(biāo)準(zhǔn)。 如果有局部缺陷仍處于翻開或已處理狀態(tài)，那么原那么上來說，該版本是不允許發(fā)布的。缺陷解決率日期圖二缺陷解決率缺陷關(guān)閉數(shù)據(jù)，可以通過缺陷跟蹤工具定期如每周收集當(dāng)前系統(tǒng)的缺陷數(shù)、已關(guān)閉缺陷 數(shù)，