測試結(jié)果評估與終止標(biāo)準(zhǔn)

測試結(jié)果評估與終止標(biāo)準(zhǔn)修訂記錄時(shí)間主要修改內(nèi)容修訂人1.2.目的1.2.本文件用于指導(dǎo)軟件測試完備性評估，并為軟件測試提供停止標(biāo)準(zhǔn)。范圍本文件適用于軟件測試組織的軟件測試活動(dòng)。3.???4.術(shù)語和定義3.???4.缺陷：是對軟件產(chǎn)品預(yù)期屬性的偏離現(xiàn)象，指程序中存在的錯(cuò)誤，也指存在于設(shè)計(jì)、需求、規(guī)格說明或其他文檔中的錯(cuò)誤。覆蓋率：語句覆蓋率、測試用例執(zhí)行覆蓋率、測試需求覆蓋率等的總稱。系統(tǒng)測試：將經(jīng)過測試的子系統(tǒng)裝配成一個(gè)完整的系統(tǒng)來測試，是針對整個(gè)產(chǎn)品的全面測試，既包含各模塊的驗(yàn)證性測試和功能合理性測試，有包括對整個(gè)產(chǎn)品的可靠性、健壯性、安全性、ui合理性及各種性能參數(shù)的測試。概述本文件主要概述了軟件的評估過程，說明了測試覆蓋率的估算方法；另外，還介紹了軟件測試停止標(biāo)準(zhǔn)，用于判定測試的暫停與終止，保證測試工作的完備性。測試評估過程軟件測試評估貫穿整個(gè)軟件測試過程，可以在測試每個(gè)階段結(jié)束前進(jìn)行，也可以在測試過程中某一個(gè)時(shí)間進(jìn)行，目的是提高測試覆蓋度，保證測試的質(zhì)量，通過不斷的測試覆蓋度評估或測試覆蓋率計(jì)算，及時(shí)掌握測試的實(shí)際狀況與測試覆蓋度目標(biāo)的差距，采取措施，保證達(dá)到預(yù)期的測試覆蓋度。軟件測試評估過程量化測試進(jìn)程，生成缺陷和測試覆蓋率的總結(jié)報(bào)告，從而確定測試的繼續(xù)進(jìn)行與停止，其具體的評估步驟為：（1） 回顧查看測試記錄、測試日志等文件；（2） 評估測試的覆蓋率；（3） 分析缺陷；（4） 決定是否達(dá)到本次測試的標(biāo)準(zhǔn)，如果未達(dá)到標(biāo)準(zhǔn)，可參考一下備選方案：收集進(jìn)一步的信息；另行撰寫報(bào)告，如不同的缺陷密度報(bào)告；通過研究流程，判斷意外條件是否導(dǎo)致背離已確定的測試標(biāo)準(zhǔn)，并在這一新信息的基礎(chǔ)上再次評估標(biāo)準(zhǔn)；?建議安排進(jìn)一步測試；?實(shí)施新測試以進(jìn)一步執(zhí)行測試用例；?實(shí)施新測試以擴(kuò)大測試覆蓋面；?修改測試標(biāo)準(zhǔn)；?復(fù)審并評估測試后變更標(biāo)準(zhǔn)會帶來的風(fēng)險(xiǎn)；?確定滿足測試標(biāo)準(zhǔn)的軟件子集，并決定是否可以部署該子集。（5） 生成測試分析報(bào)告，撰寫《測試缺陷報(bào)告》、《測試總結(jié)報(bào)告》。測試覆蓋率評估測試覆蓋是對測試完整性的評估，它所基于的是測試需求和測試用例的覆蓋所指出得測試覆蓋以及執(zhí)行代碼的覆蓋所指出的測試覆蓋。測試覆蓋率體現(xiàn)了測試的完整程度。測試覆蓋度的評估依賴于不同的測試階段或不同的測試方法。例如，在單元測試中，測試覆蓋率是建立在被測試的代碼行、程序分支和程序路徑等的度量之上，從軟件質(zhì)量保證的要求出發(fā)，單元測試的覆蓋率要達(dá)到80%之上；白盒測試方法主要以程序語句、判定一條件、條件組合和（基本）路徑等覆蓋率來衡量，和單元測試是吻合的；而在系統(tǒng)功能測試中，則以功能點(diǎn)、測試用例、需求數(shù)等覆蓋率來衡量。最常用的測試覆蓋評估是基于軟件需求和基于源代碼的測試覆蓋率，可手工獲得這兩種評估，或使用測試自動(dòng)化工具進(jìn)行計(jì)算。基于需求的測試覆蓋率基于需求的測試覆蓋評估是依賴于對已執(zhí)行/運(yùn)行的測試用例的核實(shí)和分析，所以基于需求的測試覆蓋評測就轉(zhuǎn)化為評估測試用例覆蓋率，測試的目標(biāo)是確保100%的測試用例全部成功地執(zhí)行?；谛枨蟮臏y試覆蓋要在測試生命周期中評估多次，來確定測試生命周期中里程碑上的測試覆蓋，例如：計(jì)劃的、實(shí)施的、執(zhí)行的、成功的測試覆蓋。覆蓋率計(jì)算公式：測試覆蓋率=T（p,i,x,s）/RfT其中：T：測試（表示為測試過程或測試用例，包括計(jì)劃的、實(shí)施的、執(zhí)行的或成功的）數(shù)目；RfT：“測試需求”的總數(shù)。在“計(jì)劃測試”任務(wù)中，測試覆蓋率按以下方式計(jì)算來確定計(jì)劃的測試覆蓋率：測試覆蓋（計(jì)劃的）=Tp/RfT其中：Tp：規(guī)劃的測試（表示為測試過程或測試用例）的數(shù)目；RfT：“測試需求”的總數(shù)。在“實(shí)施測試”任務(wù)中，實(shí)施測試過程（作為測試腳本）時(shí)，使用以下等式來計(jì)算測試覆蓋率：測試覆蓋（實(shí)施的）=Ti/RfT其中：Ti：實(shí)施的測試的數(shù)目，以存在相應(yīng)測試腳本的測試過程或測試用例的數(shù)目表。RfT：“測試需求”的總數(shù)。在“執(zhí)行測試”任務(wù)中使用了兩種測試覆蓋率評估——種確定執(zhí)行測試所達(dá)到的測試覆蓋率，另一種確定成功的測試覆蓋率（那些執(zhí)行時(shí)無缺陷或意外結(jié)果等故障的測試）。使用以下等式計(jì)算這些覆蓋評估：測試覆蓋率（執(zhí)行的）=Tx/RfT其中：Tx：執(zhí)行的測試（表示為測試過程或測試用例）的數(shù)目。RfT：“測試需求”的總數(shù)。成功的測試覆蓋率（執(zhí)行的）=Ts/RfT其中：Ts：執(zhí)行的測試（表示為成功完成且無缺陷的測試過程或測試用例）的數(shù)目。RfT：“測試需求”的總數(shù)。將以上比率轉(zhuǎn)化為百分比，支持以下關(guān)于基于需求的測試覆蓋的陳述：X%的測試用例（以上等式中的T（p,i,x,s）已經(jīng)覆蓋，成功率為y%。這個(gè)測試覆蓋陳述可與定義的成功標(biāo)準(zhǔn)相對照。如果達(dá)不到標(biāo)準(zhǔn)，那么該陳述可提供作為預(yù)測還剩多少測試工作的基礎(chǔ)?；诖a的測試覆蓋率基于代碼的測試覆蓋評測是對被測試的程序代碼語句、路徑或條件的覆蓋率分析。代碼覆蓋可以基于控制流（語句、分支或路徑）或者數(shù)據(jù)流。具體而言代碼覆蓋率分析是這樣一個(gè)過程：?找出程序經(jīng)過一系列測試而沒有執(zhí)行的部分代碼；?創(chuàng)建一個(gè)附加的測試用例來增加覆蓋率；決定代碼覆蓋的定量度量。針對代碼的測試覆蓋率有許多種度量方式，例如：語句覆蓋：也稱為行覆蓋，段覆蓋和基本塊覆蓋。它度量每一個(gè)可執(zhí)行語句是否被執(zhí)行到了，這個(gè)覆蓋度量的主要好處是它可以直接應(yīng)用在目標(biāo)代碼上，不需要對源代碼進(jìn)行處理，主要缺點(diǎn)是對一些控制結(jié)構(gòu)很遲鈍。判定覆蓋：也被稱為分支覆蓋，所有邊界覆蓋，基本路徑覆蓋，判定路徑覆蓋。它度量是否每個(gè)BOOL型的表達(dá)式取值true和false在控制結(jié)構(gòu)中都被測試到了。這個(gè)度量有語句覆蓋的簡單性，但是沒有語句覆蓋的問題，缺點(diǎn)是忽略了在BOOL型表達(dá)式內(nèi)部的BOOL取值。條件覆蓋:獨(dú)立的度量每一個(gè)子表達(dá)式，報(bào)告每一個(gè)子表達(dá)式的結(jié)果的true或false。這個(gè)度量和判定覆蓋相似，但是對控制流更敏感。不過，完全的條件覆蓋并不能保證完全的判定覆蓋。路徑覆蓋：也稱為斷言覆蓋，它度量了是否函數(shù)的每一個(gè)可能的分支都被執(zhí)行了。路徑覆蓋的一個(gè)好處是：需要徹底的測試。但有兩個(gè)缺點(diǎn)：一是，路徑是以分支的指數(shù)級別增加的，例如：一個(gè)函數(shù)包含10個(gè)IF語句，就有1024個(gè)路徑要測試。如果加入一個(gè)IF語句，路徑數(shù)就達(dá)到2048；二是，許多路徑不可能與執(zhí)行的數(shù)據(jù)無關(guān)。?循環(huán)覆蓋：度量否執(zhí)行了每個(gè)循環(huán)體零次、只有一次還是多余一次（連續(xù)地）。對于do-while循環(huán)，循環(huán)覆蓋報(bào)告你是否執(zhí)行了每個(gè)循環(huán)體只有一次還是多余一次（連續(xù)地）。這個(gè)度量的有價(jià)值的方面是確定是否對于while循環(huán)和for循環(huán)執(zhí)行了多于一次，這個(gè)信息在其它的覆蓋率報(bào)告中是沒有的。覆蓋率計(jì)算公式：測試覆蓋率=Ie/TIic其中：Ie：執(zhí)行的項(xiàng)（表示為代碼語句、代碼分支、代碼路徑、數(shù)據(jù)狀態(tài)決定點(diǎn)或數(shù)據(jù)元素名）的數(shù)目。Tiic：代碼中項(xiàng)的總數(shù)。將此比率轉(zhuǎn)化為百分比，支持以下關(guān)于基于代碼的測試覆蓋的陳述：x%的測試用例（以上等式中的I）已經(jīng)完成，成功率為y%。這個(gè)測試覆蓋陳述可與定義的成功標(biāo)準(zhǔn)相對照。如果達(dá)不到標(biāo)準(zhǔn)，那么該陳述可提供作為預(yù)測還剩多少測試工作的基礎(chǔ)。5.測試終止對于任何軟件，缺陷都是永遠(yuǎn)存在的，因此，從理論上講，軟件測試是一個(gè)沒盡頭的過程。但在實(shí)際工作中，在有限的時(shí)間和資源下進(jìn)行完全測試找出軟件的所有錯(cuò)誤和缺陷是不可能的，應(yīng)適時(shí)而止。因此，需要制定合理的測試終止條件來停止測試，保證測試質(zhì)量，提高測試工作效率，降低測試成本。一個(gè)合理的測試終止條件只能來源于一個(gè)清晰的測試目標(biāo)。如果測試目標(biāo)是找到所有的缺陷，那么無論多少時(shí)間都是不夠的。而從測試的經(jīng)濟(jì)目標(biāo)來看，合理的終止條件應(yīng)包括以下兩點(diǎn)：■所有在測試計(jì)劃中列出的測試項(xiàng)和標(biāo)準(zhǔn)都被測試通過。軟件測試是為了保證軟件的質(zhì)量，而軟件的質(zhì)量標(biāo)準(zhǔn)是由用戶決定的，這個(gè)標(biāo)準(zhǔn)應(yīng)當(dāng)在軟件開發(fā)初期由用戶需求調(diào)查所得，依此，得出軟件的測試項(xiàng)、被共同利益者認(rèn)可的標(biāo)準(zhǔn)和測試用例等，這樣，軟件測試結(jié)束的第一個(gè)必要條件就是所有在測試計(jì)劃中列出的測試項(xiàng)和標(biāo)準(zhǔn)（常見的有：必要及重要的功能通過測試，公認(rèn)的認(rèn)證測試用例包測試通過，連續(xù)無故障運(yùn)行超過一定時(shí)間等）都被通過?！霎?dāng)通過測試發(fā)現(xiàn)缺陷的成本比發(fā)布后再去維護(hù)的成本要高時(shí)，可終止測試。軟件測試，隨著缺陷的不斷被發(fā)現(xiàn)并修復(fù)，軟件的質(zhì)量也越來越好，后繼的服務(wù)成本就會越來越低，相應(yīng)的，新的缺陷就會越來越難找，即測試成本越來越高。從企業(yè)的利潤來說，就是要使這兩部分成本之和最小。在實(shí)際情況下，人們紹常按拇指原則，即架設(shè)殘留的缺陷數(shù)與最后一階段排除的缺陷數(shù)相等，啟用這樣一個(gè)較為合理的終止條件：當(dāng)一段時(shí)間內(nèi)(通常是一個(gè)星期)測試不出新缺陷時(shí)，就可終止測試；按照已提出的效益規(guī)則，即當(dāng)“找到的新缺陷的實(shí)際價(jià)值低于相同時(shí)間的測試運(yùn)行費(fèi)用”或“測試成本與維護(hù)成本之和達(dá)到最小值”或“經(jīng)3至5倍企業(yè)同類軟件開發(fā)項(xiàng)目的平均淡味缺陷測試時(shí)間內(nèi)沒有發(fā)現(xiàn)新缺陷”時(shí)，可終止測試。下面給出軟件測試停止標(biāo)準(zhǔn)、系統(tǒng)測試停止標(biāo)準(zhǔn)、缺陷修復(fù)覆蓋率標(biāo)準(zhǔn)、測試覆蓋率標(biāo)準(zhǔn)作為參考，有助于測試人員掌握一定的測試停止原則。軟件測試停止標(biāo)準(zhǔn)軟件開發(fā)過程一般都會經(jīng)歷四個(gè)步驟：單元測試、集成測試、系統(tǒng)測試、驗(yàn)收測試。對于一個(gè)軟件產(chǎn)品來說，軟件測試停止時(shí)應(yīng)滿足：軟件系統(tǒng)經(jīng)過單元、集成、系統(tǒng)測試，分別達(dá)到單元、集成、系統(tǒng)測試停止標(biāo)準(zhǔn);軟件系統(tǒng)通過驗(yàn)收測試，并已得出驗(yàn)收測試結(jié)論；軟件項(xiàng)目需暫停以進(jìn)行調(diào)整時(shí)，測試應(yīng)隨之暫停，并備份暫停點(diǎn)數(shù)據(jù)；軟件項(xiàng)目在其開發(fā)生命周期內(nèi)出現(xiàn)重大估算，進(jìn)度偏差，需暫停或終止時(shí)，測試應(yīng)隨之暫?；蚪K止，并備份暫?；蚪K止點(diǎn)數(shù)據(jù)。系統(tǒng)測試停止標(biāo)準(zhǔn)系統(tǒng)測試的目的是對最終的軟件系統(tǒng)進(jìn)行全面的測試，確保最終軟件系統(tǒng)滿足產(chǎn)品需求并且遵循系統(tǒng)設(shè)計(jì)。系統(tǒng)測試停止的參考標(biāo)準(zhǔn)；系統(tǒng)測試用例設(shè)計(jì)已經(jīng)通過評審；按照系統(tǒng)測試計(jì)劃完成了系統(tǒng)測試；達(dá)到了測試計(jì)劃中關(guān)于系統(tǒng)測試所規(guī)定的覆蓋率的要求；被測試的系統(tǒng)每千行代碼必須發(fā)現(xiàn)1個(gè)錯(cuò)誤(選用)；系統(tǒng)滿足需求規(guī)格說明書的要求；在系統(tǒng)測試中發(fā)現(xiàn)的錯(cuò)誤已經(jīng)得到修改，各級缺陷修復(fù)率達(dá)到標(biāo)準(zhǔn)。缺陷修復(fù)率標(biāo)準(zhǔn)一、二級缺陷修復(fù)率應(yīng)達(dá)到100%；三、四級缺陷修復(fù)率應(yīng)達(dá)到80%以上;五級缺陷修復(fù)率應(yīng)達(dá)到60%以上。(缺陷等級劃分，可參考《附錄一》)覆蓋率標(biāo)準(zhǔn)?語句覆蓋率最低不能小于80%?測試用例執(zhí)行覆蓋率應(yīng)達(dá)到100%?測試需求覆蓋率應(yīng)達(dá)到100%

附錄:附錄一：缺陷等級劃分:等級描述類型一級不能執(zhí)行正常工作功能或重要功能，使系統(tǒng)崩潰或資源嚴(yán)重不足的情況。?由于程序所引起的死機(jī)，非法退出；?死循環(huán)；?數(shù)據(jù)庫發(fā)生死鎖；?錯(cuò)誤操作導(dǎo)致的程序中斷；?嚴(yán)重的計(jì)算錯(cuò)誤；?與數(shù)據(jù)庫連接錯(cuò)誤；?數(shù)據(jù)通訊錯(cuò)誤。二級嚴(yán)重地影響系統(tǒng)要求或基本功能的實(shí)現(xiàn)，且沒有辦法更正的情況（重新安裝或重新啟動(dòng)該軟件不屬于更正辦法）。?功能不符；?程序接口錯(cuò)誤；?數(shù)據(jù)流錯(cuò)誤