軟件檢測實驗室能力驗證方案研究

年4月19日軟件檢測實驗室能力驗證方案研究文檔僅供參考，不當(dāng)之處，請聯(lián)系改正。另一方面，軟件檢測實驗室和其它檢測、校準(zhǔn)實驗室有很大差別，無法運(yùn)用傳統(tǒng)手段進(jìn)行能力驗證。作為實驗室管理機(jī)構(gòu)的中國實驗室國家認(rèn)可委員會，當(dāng)前對軟件檢測實驗室的認(rèn)可工作基本上依然以對其它領(lǐng)域?qū)嶒炇业恼J(rèn)可準(zhǔn)則為依據(jù)，這本身在很大程度上并不適合于軟件檢測實驗室。為了解決這個問題，國際標(biāo)準(zhǔn)化組織專門發(fā)布了技術(shù)文件ISO/IECTR13233:1995《Informationtechnology--InterpretationofaccreditationrequirementsinISO/IECGuide25--AccreditationofInformationTechnologyandTelecommunicationstestinglaboratoriesforsoftwareandprotocoltestingservices》，國家認(rèn)可委正在將該技術(shù)文件轉(zhuǎn)化為《檢測和校準(zhǔn)實驗室認(rèn)可準(zhǔn)則（CNAL/AC01）在軟件檢測實驗室的應(yīng)用附加指南》。該文件在一定程度上針對軟件檢測實驗室進(jìn)行了調(diào)整，并提出了部分合乎軟件檢測實驗室實際需求的要求條款?？墒且恢钡疆?dāng)前為止，有關(guān)軟件檢測實驗室能力驗證方案的問題，國內(nèi)外都沒有可借鑒的參考方案。根據(jù)《實驗室能力驗證實施辦法》中第二條的規(guī)定，“本辦法所稱的能力驗證，是指利用實驗室間指定檢測數(shù)據(jù)的比對，確定實驗室從事特定測試活動的技術(shù)能力。”參考傳統(tǒng)實驗室的這種比對活動，都是采取標(biāo)準(zhǔn)物質(zhì)作為測試對象，對各個參加能力驗證的實驗室的實際測量結(jié)果進(jìn)行比較分析，最終得出結(jié)論。作為軟件檢測實驗室，其能力驗證的原理也是如此，只是在某些具體問題上與其它實驗室差別較大。這些問題在下面的章節(jié)中會詳細(xì)討論，這里先給出能力驗證的總體設(shè)想方案和其中的幾個主要環(huán)節(jié)（這些方案和環(huán)節(jié)中并沒有考慮組織管理上的諸多因素，那部分內(nèi)容不在本報告的討論范圍之內(nèi)）：設(shè)想方案：建立一套《軟件檢測實驗室能力驗證用測試對象庫》，也就是一個能夠任意組裝和拆卸的軟件模塊庫，這些模塊或大或小對應(yīng)著GB/T16260中規(guī)定的質(zhì)量特性、子特性或是度量元，當(dāng)我們要開始一次能力驗證時，確定了要使用的質(zhì)量模型之后，就從庫中抽取合適的模塊，組裝成測試對象。主要環(huán)節(jié)：設(shè)定能力驗證范圍制備測試對象分發(fā)并實施測試收集測試結(jié)果并進(jìn)行統(tǒng)計分析針對上面列出的4個主要環(huán)節(jié)，我們一一討論其解決方案及可行性。設(shè)定能力驗證范圍在這個環(huán)節(jié)中，我們的任務(wù)主要是以下幾個方面：確定檢測依據(jù)和范圍當(dāng)前的軟件檢測實驗室，其業(yè)務(wù)范圍主要是GB/T17544和GB/T16260。其中GB/T16260已經(jīng)修訂，而與之配套使用的GB/T17544的修訂工作還沒有結(jié)束。這兩個標(biāo)準(zhǔn)是針對所有軟件產(chǎn)品的通用標(biāo)準(zhǔn)，覆蓋了軟件產(chǎn)品的全部質(zhì)量特性?？墒且话銇碚f，一個軟件產(chǎn)品并不會涉及到全部這些質(zhì)量特性。那么哪些質(zhì)量特性在驗證范圍內(nèi)，哪些不在驗證范圍內(nèi)，要給出明確的說明。這些質(zhì)量特性在GB/T16260中又被分為了子特性和度量元，因此，在確定了檢測依據(jù)和范圍之后，應(yīng)給出本次能力驗證使用的質(zhì)量模型。確定結(jié)果數(shù)據(jù)的要求定義了質(zhì)量特性范圍之后，要對測試結(jié)果數(shù)據(jù)有明確要求。如果測試的依據(jù)只是GB/T17544，那么由于該標(biāo)準(zhǔn)并未對測試后產(chǎn)生何種數(shù)據(jù)進(jìn)行規(guī)定，因此必須在這一環(huán)節(jié)中給出明確要求。例如，要求給出Buglist，統(tǒng)計錯誤和失效的數(shù)量，進(jìn)行錯誤分布分析等等。同時，由于這些錯誤與失效的嚴(yán)重性級別是不同的，因此，還有必要對錯誤的分級進(jìn)行統(tǒng)一的定義，并要求結(jié)果數(shù)據(jù)中給出相應(yīng)的級別描述。如果測試的依據(jù)中包括了GB/T16260，那么由于該標(biāo)準(zhǔn)中將各個質(zhì)量特性劃分為子特性，并進(jìn)一步細(xì)分為度量元，且給出了將各個度量元測試結(jié)果歸結(jié)為數(shù)值的方法，因此在這一環(huán)節(jié)中應(yīng)給出進(jìn)行比對測試時使用的質(zhì)量模型。也就是說，應(yīng)列出需要各個實驗室提供結(jié)果數(shù)據(jù)的那些度量元的列表。制備測試對象這個環(huán)節(jié)是整個能力驗證方案中最為艱難的一個環(huán)節(jié)。其主要問題集中在以下幾個方面：標(biāo)準(zhǔn)結(jié)果數(shù)據(jù)的問題其它實驗室使用的測試對象是標(biāo)準(zhǔn)物質(zhì)，其標(biāo)準(zhǔn)的結(jié)果數(shù)據(jù)是已知的；而軟件由于其自身的特殊性，標(biāo)準(zhǔn)的結(jié)果數(shù)據(jù)幾乎是無法獲得的。要解決這一問題，方法有兩個。一是向測試對象植入錯誤，并在結(jié)果分析時只考慮這些植入的錯誤。這種方法針對功能性比較有效，可是對于其它質(zhì)量特性，效果不明顯。二是對測試對象進(jìn)行重復(fù)測試，使結(jié)果數(shù)據(jù)盡量逼近真實數(shù)據(jù)。這種方法理論上是能夠?qū)崿F(xiàn)的，可是由誰來進(jìn)行測試是個問題。單獨選取一家檢測機(jī)構(gòu)進(jìn)行測試很難達(dá)到效果；而如果選取多家重復(fù)進(jìn)行測試，測試對象就變得公開。測試對象對標(biāo)準(zhǔn)的覆蓋程度問題除了結(jié)果數(shù)據(jù)的問題，整套的能力驗證方案必須覆蓋GB/T中規(guī)定的所有質(zhì)量特性，依靠一個單一的測試對象很難達(dá)到這一標(biāo)準(zhǔn)，因此，應(yīng)該采取測試對象庫的方式。也就是說，設(shè)計一套能夠任意組裝和拆卸的軟件模塊庫，這些模塊或大或小對應(yīng)著GB/T16260中規(guī)定的質(zhì)量特性、子特性或是度量元，當(dāng)我們要開始一次能力驗證時，確定了要使用的質(zhì)量模型之后，就從庫中抽取合適的模塊，組裝成測試對象，分發(fā)給實驗室進(jìn)行比對測試。這部分工作的工作量極其龐大，而且涉及了軟件開發(fā)、軟件測試、軟件標(biāo)準(zhǔn)化等不同領(lǐng)域，需要大量的投入。鑒于當(dāng)前軟件檢測市場上的需求，能夠先從功能性方面的模塊入手。分發(fā)并實施測試這個環(huán)節(jié)和傳統(tǒng)實驗室的能力驗證沒什么重大區(qū)別，能夠按照以往經(jīng)驗進(jìn)行操作。收集測試結(jié)果并進(jìn)行統(tǒng)計分析如果要求結(jié)果數(shù)據(jù)是針對度量元的數(shù)值，那么就要給出每個度量元能夠接受的結(jié)果數(shù)值范圍。這個結(jié)果數(shù)值范圍的確定，應(yīng)經(jīng)過嚴(yán)密的數(shù)學(xué)分析，借助統(tǒng)計學(xué)的某些概念和公式最終導(dǎo)出。這需要協(xié)同