Ch16-測試和軟件質(zhì)量分析報(bào)告

1、軟件測試方法和技術(shù)軟件測試方法和技術(shù) - Ch.16測試和軟件質(zhì)量分析報(bào)告測試和軟件質(zhì)量分析報(bào)告 主講教師：郭曉燕主講教師：郭曉燕第十六章第十六章 測試和軟件質(zhì)量分析報(bào)告測試和軟件質(zhì)量分析報(bào)告 16.1 軟件產(chǎn)品的質(zhì)量度量軟件產(chǎn)品的質(zhì)量度量16.2 評(píng)估系統(tǒng)測試的覆蓋程度評(píng)估系統(tǒng)測試的覆蓋程度16.3 基于缺陷分析的產(chǎn)品質(zhì)量評(píng)估基于缺陷分析的產(chǎn)品質(zhì)量評(píng)估16.4 測試報(bào)告及其模板測試報(bào)告及其模板16.1軟件產(chǎn)品的質(zhì)量度量軟件產(chǎn)品的質(zhì)量度量16.1.1 軟件度量的內(nèi)容和分類軟件度量的內(nèi)容和分類16.1.2 軟件度量的分工和過程軟件度量的分工和過程16.1.3 軟件質(zhì)量模型軟件質(zhì)量模型16.1.4

2、 軟件質(zhì)量的度量軟件質(zhì)量的度量16.1.5 質(zhì)量度量的統(tǒng)計(jì)方法質(zhì)量度量的統(tǒng)計(jì)方法軟件度量軟件度量軟件度量就是對(duì)軟件所包含的各種屬性的量化表示。軟件度量就是對(duì)軟件所包含的各種屬性的量化表示。軟件度量可以提供對(duì)軟件過程和軟件產(chǎn)品的深入了解的軟件度量可以提供對(duì)軟件過程和軟件產(chǎn)品的深入了解的衡量指標(biāo)，使組織能夠更好地做出決策以達(dá)成目標(biāo)，軟衡量指標(biāo)，使組織能夠更好地做出決策以達(dá)成目標(biāo)，軟件度量具有如下作用：件度量具有如下作用： 用數(shù)據(jù)指標(biāo)表明驗(yàn)收標(biāo)準(zhǔn)；用數(shù)據(jù)指標(biāo)表明驗(yàn)收標(biāo)準(zhǔn)； 監(jiān)控項(xiàng)目進(jìn)度和預(yù)見風(fēng)險(xiǎn)；監(jiān)控項(xiàng)目進(jìn)度和預(yù)見風(fēng)險(xiǎn)； 分配資源時(shí)進(jìn)行量化均衡；分配資源時(shí)進(jìn)行量化均衡； 預(yù)計(jì)和控制產(chǎn)品的過程、成本和

3、質(zhì)量。預(yù)計(jì)和控制產(chǎn)品的過程、成本和質(zhì)量。軟件度量的分類軟件度量的分類測量（測量（Measurement） 、度量（、度量（Metric） 和指標(biāo)和指標(biāo) (Indicator) 軟件度量的分類軟件度量的分類p 軟件過程度量軟件過程度量p 軟件項(xiàng)目度量軟件項(xiàng)目度量p 產(chǎn)品質(zhì)量度量產(chǎn)品質(zhì)量度量軟件度量的內(nèi)容軟件度量的內(nèi)容p 規(guī)模度量：規(guī)模度量：代碼行數(shù)，功能點(diǎn)和對(duì)象點(diǎn)等代碼行數(shù)，功能點(diǎn)和對(duì)象點(diǎn)等p 復(fù)雜度度量復(fù)雜度度量：軟件結(jié)構(gòu)復(fù)雜度指標(biāo)。軟件結(jié)構(gòu)復(fù)雜度指標(biāo)。p 缺陷度量缺陷度量：幫助確定產(chǎn)品缺陷變化的狀態(tài)，并指示修復(fù)缺陷活幫助確定產(chǎn)品缺陷變化的狀態(tài)，并指示修復(fù)缺陷活動(dòng)所需的工作量，分析產(chǎn)品缺陷分布

4、的情況動(dòng)所需的工作量，分析產(chǎn)品缺陷分布的情況p 工作量度量工作量度量p 進(jìn)度度量進(jìn)度度量p 生產(chǎn)率度量生產(chǎn)率度量：代碼行數(shù)人代碼行數(shù)人月，測試用例數(shù)月，測試用例數(shù)/人人日；日；p 風(fēng)險(xiǎn)度量風(fēng)險(xiǎn)度量： “風(fēng)險(xiǎn)發(fā)生的概率風(fēng)險(xiǎn)發(fā)生的概率”和和“風(fēng)險(xiǎn)發(fā)生后所帶來的損風(fēng)險(xiǎn)發(fā)生后所帶來的損失失”軟件度量的分工軟件度量的分工p 度量工作小組度量工作小組由專職的度量研究人員和項(xiàng)目協(xié)調(diào)人員組成，由專職的度量研究人員和項(xiàng)目協(xié)調(diào)人員組成，度量研究人員的主要職責(zé)是定義度量過程和指導(dǎo)進(jìn)行度量活動(dòng)，度量研究人員的主要職責(zé)是定義度量過程和指導(dǎo)進(jìn)行度量活動(dòng)，并對(duì)數(shù)據(jù)進(jìn)行分析、反饋；項(xiàng)目協(xié)調(diào)人員的職責(zé)是為定義度量過并對(duì)數(shù)據(jù)進(jìn)行

5、分析、反饋；項(xiàng)目協(xié)調(diào)人員的職責(zé)是為定義度量過程提供詳細(xì)的需求信息，并負(fù)責(zé)度量過程在項(xiàng)目組的推行。程提供詳細(xì)的需求信息，并負(fù)責(zé)度量過程在項(xiàng)目組的推行。p 數(shù)據(jù)提供者數(shù)據(jù)提供者一般是項(xiàng)目中的研發(fā)人員，有時(shí)還會(huì)包括用戶服一般是項(xiàng)目中的研發(fā)人員，有時(shí)還會(huì)包括用戶服務(wù)人員和最終用戶。務(wù)人員和最終用戶。p IT支持者支持者確定數(shù)據(jù)提供的格式與數(shù)據(jù)存儲(chǔ)方式，提供數(shù)據(jù)收集確定數(shù)據(jù)提供的格式與數(shù)據(jù)存儲(chǔ)方式，提供數(shù)據(jù)收集工具與數(shù)據(jù)存儲(chǔ)設(shè)備工具與數(shù)據(jù)存儲(chǔ)設(shè)備 軟件度量的過程軟件度量的過程p 識(shí)別目標(biāo)。識(shí)別目標(biāo)。分析出度量的工作目標(biāo)和列表，并由管理者審核確分析出度量的工作目標(biāo)和列表，并由管理者審核確認(rèn)認(rèn)p 定義度量過

6、程。定義度量過程。定義其收集要素、收集過程、分析、反饋過程、定義其收集要素、收集過程、分析、反饋過程、IT支持體系，為具體的收集活動(dòng)、分析、反饋活動(dòng)和支持體系，為具體的收集活動(dòng)、分析、反饋活動(dòng)和 IT設(shè)備、工具設(shè)備、工具開發(fā)提供指導(dǎo)。開發(fā)提供指導(dǎo)。p 搜集數(shù)據(jù)。搜集數(shù)據(jù)。應(yīng)用應(yīng)用IT支持工具進(jìn)行數(shù)據(jù)收集工作，并按指定的方式支持工具進(jìn)行數(shù)據(jù)收集工作，并按指定的方式審查和存儲(chǔ)。審查和存儲(chǔ)。p 數(shù)據(jù)分析與反饋。數(shù)據(jù)分析與反饋。根據(jù)數(shù)據(jù)收集結(jié)果，按照已定義的分析方法根據(jù)數(shù)據(jù)收集結(jié)果，按照已定義的分析方法進(jìn)行數(shù)據(jù)分析，完成規(guī)定格式的圖表，進(jìn)行反饋。進(jìn)行數(shù)據(jù)分析，完成規(guī)定格式的圖表，進(jìn)行反饋。p 過程改進(jìn)

7、。過程改進(jìn)。根據(jù)度量的分析報(bào)告，管理者基于度量數(shù)據(jù)做出決根據(jù)度量的分析報(bào)告，管理者基于度量數(shù)據(jù)做出決策。策。軟件質(zhì)量模型軟件質(zhì)量模型p Boehm軟件質(zhì)量度量模型軟件質(zhì)量度量模型 p McCall 三層次的度量模型三層次的度量模型 （圖（圖2-1）p ISO 9126 軟件質(zhì)量模型軟件質(zhì)量模型Boehm軟件質(zhì)量度量模型軟件質(zhì)量度量模型ISO 9126 軟件質(zhì)量模型軟件質(zhì)量模型軟件質(zhì)量的度量軟件質(zhì)量的度量軟件可靠性度量、復(fù)雜度度量、缺陷度量和規(guī)模度量軟件可靠性度量、復(fù)雜度度量、缺陷度量和規(guī)模度量 Mic1f1c2f2cnfn Mi是一個(gè)軟件質(zhì)量因素是一個(gè)軟件質(zhì)量因素(如如SQRC層各項(xiàng)待計(jì)算值層

8、各項(xiàng)待計(jì)算值)， fn是影響質(zhì)量是影響質(zhì)量因素的度量值（如因素的度量值（如SQDC層各項(xiàng)估計(jì)值），層各項(xiàng)估計(jì)值），cn是加權(quán)因子。是加權(quán)因子。 質(zhì)量度量的統(tǒng)計(jì)方法質(zhì)量度量的統(tǒng)計(jì)方法p 對(duì)質(zhì)量評(píng)估量化的一種較常用方法，基本步驟：對(duì)質(zhì)量評(píng)估量化的一種較常用方法，基本步驟：p收集和分類軟件缺陷信息收集和分類軟件缺陷信息p找出導(dǎo)致每個(gè)缺陷的原因找出導(dǎo)致每個(gè)缺陷的原因p運(yùn)用運(yùn)用Pareto規(guī)則，將規(guī)則，將20%主要因素分類出來主要因素分類出來p一旦標(biāo)出少數(shù)主要因素，就比較容易糾正引起缺陷的問題一旦標(biāo)出少數(shù)主要因素，就比較容易糾正引起缺陷的問題。質(zhì)量度量的統(tǒng)計(jì)方法質(zhì)量度量的統(tǒng)計(jì)方法p錯(cuò)誤產(chǎn)生的原因錯(cuò)誤產(chǎn)生

9、的原因 p說明不完整或說明錯(cuò)誤說明不完整或說明錯(cuò)誤(IES)p 與客戶交流不夠所產(chǎn)生的誤解與客戶交流不夠所產(chǎn)生的誤解(MCC)p 故意與說明偏離故意與說明偏離(IDS)p 違反編程標(biāo)準(zhǔn)違反編程標(biāo)準(zhǔn)(VPS)p 數(shù)據(jù)表示有錯(cuò)數(shù)據(jù)表示有錯(cuò)(EDR)p 模塊接口不一致模塊接口不一致(IMI)p 設(shè)計(jì)邏輯有錯(cuò)設(shè)計(jì)邏輯有錯(cuò)(EDL)p 不完整或錯(cuò)誤的測試不完整或錯(cuò)誤的測試(IET)p 不準(zhǔn)確或不完整的文檔不準(zhǔn)確或不完整的文檔(IID)p 將設(shè)計(jì)翻譯成程序設(shè)計(jì)語言中的錯(cuò)誤將設(shè)計(jì)翻譯成程序設(shè)計(jì)語言中的錯(cuò)誤(PLT)p 不清晰或不一致的人機(jī)界面不清晰或不一致的人機(jī)界面(HCI)p 雜項(xiàng)雜項(xiàng)(MIS)質(zhì)量度量的

10、統(tǒng)計(jì)方法質(zhì)量度量的統(tǒng)計(jì)方法 （2）總計(jì)(Ei)嚴(yán)重(Si)一般(Mi)微小(Ti)錯(cuò)誤 數(shù)量 百分比數(shù)量 百分比數(shù)量 百分比數(shù)量 百分比IES296 22.3%5528.2%9518.6%146 23.4%MCC 204 15.3%189.2%8717.0%9915.9%IDS644.8%21.0%316.1%315.0%VPS342.6%10.5%193.7%142.2%EDR 182 13.7%3819.5%9017.6%548.7%IMI826.2%147.2%214.1%477.5%EDL644.8%2010.3%173.3%274.3%IET 140 10.5%178.7%5110.

11、0%7211.6%IID544.1%31.5%285.5%233.7%PLT876.5%2211.3%265.1%396.3%16.2 評(píng)估系統(tǒng)測試的覆蓋程度評(píng)估系統(tǒng)測試的覆蓋程度16.2.1 對(duì)軟件需求的估算對(duì)軟件需求的估算16.2.2 基于需求的測試覆蓋評(píng)估基于需求的測試覆蓋評(píng)估16.2.3 基于代碼的測試覆蓋評(píng)估基于代碼的測試覆蓋評(píng)估測試的評(píng)估測試的評(píng)估軟件測試評(píng)估主要有兩個(gè)的目的軟件測試評(píng)估主要有兩個(gè)的目的p 量化測試進(jìn)程，判斷測試進(jìn)行的狀態(tài)和進(jìn)度量化測試進(jìn)程，判斷測試進(jìn)行的狀態(tài)和進(jìn)度p 為測試或質(zhì)量分析報(bào)告生成所需的量化數(shù)據(jù)，如缺陷清除率、測試為測試或質(zhì)量分析報(bào)告生成所需的量化數(shù)據(jù)，

12、如缺陷清除率、測試覆蓋率等。覆蓋率等。 例子：例子： 測試覆蓋項(xiàng)測試覆蓋項(xiàng)測試覆蓋率指標(biāo)測試描述測試覆蓋率指標(biāo)測試描述測試結(jié)果測試結(jié)果界面覆蓋界面覆蓋符合需求（界面圖標(biāo)、信息區(qū)、狀態(tài)區(qū)）符合需求（界面圖標(biāo)、信息區(qū)、狀態(tài)區(qū)）靜態(tài)功能覆蓋靜態(tài)功能覆蓋 功能滿足需求功能滿足需求動(dòng)態(tài)功能覆蓋動(dòng)態(tài)功能覆蓋 所有功能的轉(zhuǎn)換功能正確所有功能的轉(zhuǎn)換功能正確正常測試覆蓋正常測試覆蓋 所有硬件軟件正常時(shí)處理所有硬件軟件正常時(shí)處理異常測試覆蓋異常測試覆蓋 硬件或軟件異常時(shí)處理（不允許的操作）硬件或軟件異常時(shí)處理（不允許的操作） 測試結(jié)束判斷測試結(jié)束判斷對(duì)軟件需求的估算對(duì)軟件需求的估算假設(shè)有假設(shè)有R個(gè)需求，功能需求的

13、數(shù)目為個(gè)需求，功能需求的數(shù)目為F,非功能需求數(shù)為非功能需求數(shù)為N, 則：則：R= F + N.Q1 M/RQ1表示需求的確定性表示需求的確定性，M是所有復(fù)審者都有相同解釋的需求數(shù)目。是所有復(fù)審者都有相同解釋的需求數(shù)目。功能需求的完整性功能需求的完整性Q2：Q2Fu/(NiNs)其中其中Fu是唯一功能需求的數(shù)目，是唯一功能需求的數(shù)目，Ni是由規(guī)格設(shè)計(jì)說明書定義的輸入個(gè)數(shù)，是由規(guī)格設(shè)計(jì)說明書定義的輸入個(gè)數(shù)，Ns是是被表示的狀態(tài)的個(gè)數(shù)。被表示的狀態(tài)的個(gè)數(shù)。非功能需求非功能需求 :Q3Fc/(FcFnv)其中其中Fc是已經(jīng)確認(rèn)為正確的需求的個(gè)數(shù)，是已經(jīng)確認(rèn)為正確的需求的個(gè)數(shù)，F(xiàn)nv是尚未被確認(rèn)的需求的

14、個(gè)數(shù)是尚未被確認(rèn)的需求的個(gè)數(shù) 基于需求的測試覆蓋評(píng)估基于需求的測試覆蓋評(píng)估假定假定Tx已執(zhí)行的測試過程數(shù)或測試用例數(shù)，已執(zhí)行的測試過程數(shù)或測試用例數(shù)，Rft是測試需求的總數(shù)：是測試需求的總數(shù)：已執(zhí)行的測試覆蓋已執(zhí)行的測試覆蓋 TxRft假定假定Ts是已執(zhí)行的完全成功、沒有缺陷的測試過程數(shù)或測試用例數(shù)。是已執(zhí)行的完全成功、沒有缺陷的測試過程數(shù)或測試用例數(shù)。成功的測試覆蓋成功的測試覆蓋 TsRft基于代碼的測試覆蓋評(píng)估基于代碼的測試覆蓋評(píng)估基于代碼的測試覆蓋評(píng)測是對(duì)被測試的程序代碼語句、路徑或條件的基于代碼的測試覆蓋評(píng)測是對(duì)被測試的程序代碼語句、路徑或條件的覆蓋率分析。這種測試覆蓋策略對(duì)于安全至上

15、的系統(tǒng)來說非常重要。覆蓋率分析。這種測試覆蓋策略對(duì)于安全至上的系統(tǒng)來說非常重要。基于代碼的測試覆蓋通過以下公式計(jì)算：基于代碼的測試覆蓋通過以下公式計(jì)算：已執(zhí)行的測試覆蓋已執(zhí)行的測試覆蓋 TcTnc 其中其中Tc是用代碼語句、條件分支、代碼路徑、數(shù)據(jù)狀態(tài)判定點(diǎn)或數(shù)據(jù)元素是用代碼語句、條件分支、代碼路徑、數(shù)據(jù)狀態(tài)判定點(diǎn)或數(shù)據(jù)元素名表示的已執(zhí)行項(xiàng)目數(shù)，名表示的已執(zhí)行項(xiàng)目數(shù)，Tnc（Total number of items in the code）是代碼）是代碼中的項(xiàng)目總數(shù)。中的項(xiàng)目總數(shù)。 16.3軟件缺陷分析方法軟件缺陷分析方法16.3.1 缺陷分布報(bào)告缺陷分布報(bào)告16.3.2 缺陷趨勢(shì)報(bào)告缺陷趨

16、勢(shì)報(bào)告缺陷報(bào)告缺陷報(bào)告p缺陷分布報(bào)告，缺陷分布報(bào)告，允許將缺陷計(jì)數(shù)作為一個(gè)或多個(gè)缺陷參數(shù)的函允許將缺陷計(jì)數(shù)作為一個(gè)或多個(gè)缺陷參數(shù)的函數(shù)來顯示，生成缺陷數(shù)量與缺陷屬性的函數(shù)。如測試需求和缺陷狀態(tài)、數(shù)來顯示，生成缺陷數(shù)量與缺陷屬性的函數(shù)。如測試需求和缺陷狀態(tài)、嚴(yán)重性的分布情況等。嚴(yán)重性的分布情況等。p缺陷趨勢(shì)報(bào)告缺陷趨勢(shì)報(bào)告，按各種狀態(tài)將缺陷計(jì)數(shù)作為時(shí)間的函數(shù)顯示。按各種狀態(tài)將缺陷計(jì)數(shù)作為時(shí)間的函數(shù)顯示。趨勢(shì)報(bào)告可以是累計(jì)的，也可以是非累計(jì)的；趨勢(shì)報(bào)告可以是累計(jì)的，也可以是非累計(jì)的；p缺陷年齡報(bào)告缺陷年齡報(bào)告，顯示缺陷處于活動(dòng)狀態(tài)的時(shí)間，展示一個(gè)缺陷顯示缺陷處于活動(dòng)狀態(tài)的時(shí)間，展示一個(gè)缺陷處于某種

17、狀態(tài)的時(shí)間長短，從而了解處理這些缺陷的進(jìn)度情況。處于某種狀態(tài)的時(shí)間長短，從而了解處理這些缺陷的進(jìn)度情況。p測試結(jié)果進(jìn)度報(bào)告測試結(jié)果進(jìn)度報(bào)告，展示測試過程在被測應(yīng)用的幾個(gè)版本中的展示測試過程在被測應(yīng)用的幾個(gè)版本中的執(zhí)行結(jié)果以及測試周期執(zhí)行結(jié)果以及測試周期缺陷分布報(bào)告缺陷分布報(bào)告缺陷趨勢(shì)報(bào)告缺陷趨勢(shì)報(bào)告 (到達(dá)模式到達(dá)模式)缺陷趨勢(shì)報(bào)告（缺陷趨勢(shì)報(bào)告（累積模式）累積模式）缺陷趨勢(shì)報(bào)告缺陷趨勢(shì)報(bào)告（MS 例子）例子）16.4 基于缺陷分析的產(chǎn)品質(zhì)量評(píng)估基于缺陷分析的產(chǎn)品質(zhì)量評(píng)估16.4.1 經(jīng)典的種子公式經(jīng)典的種子公式16.4.2 基于缺陷清除率的估算方法基于缺陷清除率的估算方法16.4.3 軟件產(chǎn)

18、品性能評(píng)估軟件產(chǎn)品性能評(píng)估16.4.4 借助工具的方法借助工具的方法已測試出的種子已測試出的種子Bug (s) 已測試出的非種子已測試出的非種子Bug (n)所有的種子所有的種子Bug (S) 全部的非種子全部的非種子Bug (N)則可以推出程序的總則可以推出程序的總Bug數(shù)為：數(shù)為：N = S * n /s其中n是所進(jìn)行實(shí)際測試時(shí)發(fā)現(xiàn)的Bug總數(shù)。如果 n = N, 說明所有的Bug已找出來，說明做的測試足夠充分。這種測試是否充分，可以用一個(gè)信心指數(shù)來表示，即用一個(gè)百分比表示，這種測試是否充分，可以用一個(gè)信心指數(shù)來表示，即用一個(gè)百分比表示，值越大，說明對(duì)產(chǎn)品質(zhì)量的信心越高，最大值為值越大，說

19、明對(duì)產(chǎn)品質(zhì)量的信心越高，最大值為1。 = 1 if nNC = S/(S-N+1), if n=N經(jīng)典的種子公式經(jīng)典的種子公式=基于缺陷清除率的估算方法基于缺陷清除率的估算方法F為描述軟件規(guī)模用的功能點(diǎn)；為描述軟件規(guī)模用的功能點(diǎn)；D1為在軟件開發(fā)過程中發(fā)現(xiàn)的所有缺為在軟件開發(fā)過程中發(fā)現(xiàn)的所有缺陷數(shù)；陷數(shù)；D2為軟件發(fā)布后發(fā)現(xiàn)的缺陷數(shù)；為軟件發(fā)布后發(fā)現(xiàn)的缺陷數(shù)；D為發(fā)現(xiàn)的總?cè)毕輸?shù)。因此，為發(fā)現(xiàn)的總?cè)毕輸?shù)。因此，D=D1+D2。p 質(zhì)量質(zhì)量=D2/F；p 缺陷注入率缺陷注入率=D/F；p 整體缺陷清除率整體缺陷清除率=D1/D；缺陷源缺陷源潛在缺潛在缺陷陷清除效率清除效率(%)被交付的缺陷被交付的缺陷需求報(bào)告1.00770.23設(shè)計(jì)1.25850.19編碼1.75950.09文檔0.60800.12錯(cuò)誤修改0.