軟件檢測實驗室能力驗證方案研究

Word版本，下載可自由編輯軟件檢測實驗室能力驗證方案研究軟件檢測實驗室能力驗證方案研究

王欣

中國電子技術標準化研究所

1.引言

近年來，各地建立了大批第三方軟件產品檢測實驗室，到目前為止已超過50家。這些機構承擔了國內幾乎全部軟件產品的外部測試工作，其中很多實驗室的業(yè)務還介入到了企業(yè)的開發(fā)過程中。這些實驗室檢測能力的高低，將直接影響某個地區(qū)軟件行業(yè)的發(fā)展。不同于傳統(tǒng)檢測實驗室，軟件產品檢測實驗室的能力往往無法通過傳統(tǒng)的方法得到。例如，針對傳統(tǒng)的檢測與校準實驗室，可以采取不同實驗室對同一標準物質進行測量，然后對測量結果進行比對的手段。而對于軟件產品檢測實驗室，這種方法的意義就顯得并不明顯。因此，需要一種針對軟件產品檢測實驗室的新的能力驗證方案。這種方案目前在國內和國際上都還沒有形成。

本報告通過對軟件檢測實驗室能力驗證方案的現(xiàn)狀、需求和技術發(fā)展趨勢的分析，結合曾經舉辦過的一些能力驗證活動的實際數(shù)據，列舉出了建立一整套嚴密驗證方案所面臨的幾大重點課題，并嘗試著就這些課題給出了某種可行的解決方案。最終，本報告試圖通過以上分析，給出一條理論上可行的解決途徑，作為建立第三方軟件檢測實驗室能力驗證方案的一種參考，供相關人員研究。

2.正文

2.1.現(xiàn)狀分析

軟件產業(yè)的飛速發(fā)展極大地提高了生產力，促進了社會發(fā)展。隨之而來的問題就是如何來有效地規(guī)范市場上眾多的軟件產品，如何有效地鑒別軟件產品質量的優(yōu)劣，從而保護消費者利益，引導軟件產業(yè)健康發(fā)展。無疑，最直接和最有效的手段就是對軟件產品實施檢測。正是基于這個原因，近年來國內成立了很多從事軟件檢測業(yè)務的機構。但是如何來驗證這些檢測機構是否真的具備從事相應檢測業(yè)務的能力呢?如何來驗證這些檢測機構出具的檢測結果是否準確有效呢?這顯然是企業(yè)、用戶以及管理部門共同關心的關鍵問題。

目前，為了保證檢測結果的公正、科學，軟件產品的檢測任務通常由中立的第三方軟件檢測機構來承擔。這些檢測機構在開展檢測業(yè)務之前須經過國家實驗室認可委員會的認可。認可后的各個實驗室之間，相同業(yè)務范圍內的檢測結果應是互相認可并一致的。然而，由于軟件實驗室相對于傳統(tǒng)實驗室的特殊性，很多檢測實驗室通過認可之后，在同樣業(yè)務范圍內的檢測能力仍然相差很多，往往造成彼此間的檢測數(shù)據不一致。截止到20**年，國內各類第三方軟件檢測實驗室已經達到了一定數(shù)量

(超過50家)，覆蓋了我國大部分的行政區(qū)域，在軟件產業(yè)比較發(fā)達的地區(qū)，實驗室的數(shù)量更加集中，例如北京地區(qū)，各種檢測實驗室達到7、8家。上海、廣州等地區(qū)也有多家實驗室同時開展工作。這些實驗室中，絕大部分是由于"雙軟認證'任務的需要建立起來的，所以實驗室的檢測業(yè)務能力范圍多數(shù)均為GB/T17544和GB/T16260。但由于這兩個標準本身的一些原因導致的各個實驗室理解上的差異，以及實際檢測能力上的差別，經常出現(xiàn)某一產品在某地區(qū)通過檢測后，在另外一個地區(qū)無法通過當?shù)貙嶒炇覚z測的情況。為解決這種狀況，除了繼續(xù)加強標準化工作以外，急需出臺專門面向軟件檢測實驗室的能力驗證制度。軟件檢測實驗室能力驗證方案的最終用戶雖然是各個第三方軟件檢測實驗室，但這一方案發(fā)揮的效果對國內軟件市場的影響力是不可估量的。

在國外，軟件檢測實驗室主要通過市場機制進行約束和調控，有關能力驗證方面的資料非常少。而國內的檢測實驗室統(tǒng)一受國家認證認可監(jiān)督管理委員會監(jiān)督管理。國家認證認可監(jiān)督管理委員會于20**年月13日發(fā)布了《實驗室能力驗證實施辦法》，于20**年5月1日起施行。這標志著國家對于各類檢測實驗室能力驗證的重視已經達到了新的高度。

而到目前為止，有關軟件檢測實驗室能力驗證的方法、工具還是空白，所以研制專門面向軟件檢測實驗室的能力驗證工具是管理部門的迫切需求。只有掌控了檢測機構的實際能力，才能規(guī)范整個軟件檢測行業(yè)，進而促進軟件產業(yè)的健康發(fā)展。

這一辦法既表明了國家加強實驗室管理的態(tài)度，也對軟件檢測實驗室的能力驗證問題提出了嚴峻的挑戰(zhàn)。另一方面，軟件檢測實驗室和其他檢測、校準實驗室有很大差別，無法運用傳統(tǒng)手段進行能力驗證。作為實驗室管理機構的中國實驗室國家認可委員會，目前對軟件檢測實驗室的認可工作基本上仍然以對其他領域實驗室的認可準

則為依據，這本身在很大程度上并不適合于軟件檢測實驗室。為了解決這個問題，國際標準化組織專門發(fā)布了技術文件，國家認可委正在將該技術文件轉化為《檢測和校準實驗室認可準則(CNAL/AC01)在軟件檢測實驗室的應用附加指南》。該文件在一定程度上針對軟件檢測實驗室進行了調整，并提出了部分合乎軟件檢測實驗室實際需求的要求條款。但是一直到目前為止，有關軟件檢測實驗室能力驗證方案的問題，國內外都沒有可借鑒的參考方案。

2.2.總體方案

根據《實驗室能力驗證實施辦法》中第二條的規(guī)定，"本辦法所稱的能力驗證，是指利用實驗室間指定檢測數(shù)據的比對，確定實驗室從事特定測試活動的技術能力。'參考傳統(tǒng)實驗室的這種比對活動，都是采取標準物質作為測試對象，對各個參加能力驗證的實驗室的實際測量結果進行比較分析，最終得出結論。作為軟件檢測實驗室，其能力驗證的原理也是如此，只是在某些具體問題上與其他實驗室差別較大。這些問題在下面的章節(jié)中會詳細討論，這里先給出能力驗證的總體設想方案和其中的幾個主要環(huán)節(jié)(這些方案和環(huán)節(jié)中并沒有考慮組織管理上的諸多因素，那部分內容不在本報告的討論范圍之內)：

設想方案：

建立一套《軟件檢測實驗室能力驗證用測試對象庫》，也就是一個可以任意組裝和拆卸的軟件模塊庫，這些模塊或大或小對應著GB/T16260中規(guī)定的質量特性、子特性或是度量元，當我們要開始一次能力驗證時，確定了要使用的質量模型之后，就從庫中抽取合適的模塊，組裝成測試對象。

主要環(huán)節(jié)：

(1)設定能力驗證范圍

(2)制備測試對象

.-物業(yè)經理人

(3)分發(fā)并實施測試

(4)收集測試結果并進行統(tǒng)計分析針對上面列出的個主要環(huán)節(jié)，我們一一討論其解決方案及可行性。

2.3.主要課題

(1)設定能力驗證范圍

在這個環(huán)節(jié)中，我們的任務主要是以下幾個方面：

a.確定檢測依據和范圍

目前的軟件檢測實驗室，其業(yè)務范圍主要是GB/T17544和GB/T16260。其中GB/T16260已經修訂，而與之配套使用的GB/T17544的修訂工作還沒有結束。這兩個標準是針對所有軟件產品的通用標準，覆蓋了軟件產品的全部質量特性。但是一般來說，一個軟件產品并不會涉及到全部這些質量特性。那么哪些質量特性在驗證范圍內，哪些不在驗證范圍內，要給出明確的說明。這些質量特性在GB/T16260中又被分為了子特性和度量元，因此，在確定了檢測依據和范圍之后，應給出本次能力驗證使用的質量模型。

b.確定結果數(shù)據的要求

定義了質量特性范圍之后，要對測試結果數(shù)據有明確要求。如果測試的依據只是GB/T17544，那么由于該標準并未對測試后產生何種數(shù)據進行規(guī)定，因此必須在這一環(huán)節(jié)中給出明確要求。例如，要求給出Buglist，統(tǒng)計錯誤和失效的數(shù)量，進行錯誤分布分析等等。同時，由于這些錯誤與失效的嚴重性級別是不同的，因此，還有必要對錯誤的分級進行統(tǒng)一的定義，并要求結果數(shù)據中給出相應的級別描述。

如果測試的依據中包括了

GB/T16260，那么由于該標準中將各個質量特性劃分為子特性，并進一步細分為度量元，且給出了將各個度量元測試結果歸結為數(shù)值的方法，因此在這一環(huán)節(jié)中應給出進行比對測試時使用的質量模型。也就是說，應列出需要各個實驗室提供結果數(shù)據的那些度量元的列表。

(2)制備測試對象

這個環(huán)節(jié)是整個能力驗證方案中最為艱難的一個環(huán)節(jié)。其主要問題集中在以下幾個方面：

a.標準結果數(shù)據的問題

其他實驗室使用的測試對象是標準物質，其標準的結果數(shù)據是已知的;而軟件由于其自身的特殊性，標準的結果數(shù)據幾乎是無法獲得的。要解決這一問題，方法有兩個。一是向測試對象植入錯誤，并在結果分析時只考慮這些植入的錯誤。

這種方法針對功能性比較有效，但是對于其他質量特性，效果不明顯。二是對測試對象進行反復測試，使結果數(shù)據盡量逼近真實數(shù)據。這種方法理論上是可以實現(xiàn)的，但是由誰來進行測試是個問題。單獨選取一家檢測機構進行測試很難達到效果;而如果選取多家反復進行測試，測試對象就變得公開。

b.測試對象對標準的覆蓋程度問題

除了結果數(shù)據的問題，整套的能力驗證方案必須覆蓋GB/T中規(guī)定的所有質量特性，依靠一個單一的測試對象很難達到這一標準，因此，應該采取測試對象庫的方式。也就是說，設計一套可以任意組裝和拆卸的軟件模塊庫，這些模塊或大或小對應著GB/T16260中規(guī)定的質量特性、子特性或是度量元，當我們要開始一次能力驗證時，確定了要使用的質量模型之后，就從庫中抽取合適的模塊，組裝成測試對象，分發(fā)給實驗室進行比對測試。這部分工作的工作量極其龐大，而且涉及了軟件開發(fā)、軟件測試、軟件標準化等不同領域，需要大量的投入。鑒于目前軟件檢測市場上的需求，可以先從功能性方面的模塊入手。

(3)分發(fā)并實施測試

這個環(huán)節(jié)和傳統(tǒng)實驗室的能力驗證沒什么重大區(qū)別，可以按照以往經驗進行操作。

(4)收集測試結果并進行統(tǒng)計分析

如果要求結果數(shù)據是針對度量元的數(shù)值，那么就要給出每個度量元可以接受的結果數(shù)值范圍。這個結果數(shù)值范圍的確定，應通過嚴密的數(shù)學分析，借助統(tǒng)計學的某些概念和公式最終導出。這需要協(xié)同其他行業(yè)的專家一起來完成。

如果要求的結果數(shù)據是Buglist形式，不能只考慮最終發(fā)現(xiàn)缺陷的個數(shù)，而應對應標準的缺陷列表，為每個缺陷分配權值，再依據加權