檢測和校準試驗室能力認可準則在軟件檢測領域的應用說明

1、檢測和校準實驗室能力認可準則在軟件檢測領域的應用說明一、引言本文件是CNAS艮據軟件檢測的特性對檢測和校準實驗室能力認可準則(CNAS- CL01:2006)的部分條款所作的進一步說明，并不增加或減少該準則的要求。本文件的應 用說明按照檢測和校準實驗室能力認可準則(CNAS-CL01:2006的條款順序編排，故 章節(jié)號不是完全連續(xù)的。本文件應與檢測和校準實驗室能力認可準則 (CNAS- CL01:2006)同時使用。二、應用說明1. 范圍1.2 本文件適用于所有從事軟件檢測的實驗室。2. 引用文件下列文件中的有關條款通過引用而成為本標準具體的條款。凡注日期或版次的引用文 件，其后的任何修改單(

2、不包括勘誤的內容)或修訂版本都不適用于本標準，但提倡本標 準的使用者探討使用其最新版本的可能性。凡不注日期或版次的引用文件，其最新版本適 用于本標準。檢測和校準實驗室認可準則(CNAS-CL01:2006 (簡稱準則)軟件工程術語( GB/T 11457)3. 術語和定義GB/T 11457中確立的術語和定義適用于本文件。本文件使用的其他術語和定義如下：3.1 檢測輸入項 requisitethingsfor testing完成軟件檢測任務需要有關方提供的檢測條件。如：被檢測軟件、檢測依據、標準。3.2 測試技術文檔 testtechniquedocument軟件檢測過程中按照某種規(guī)范文檔化的

3、測試策劃、測試設計等活動的技術成果。如： 測試計劃、測試說明3.3 檢測環(huán)境 testingcontext 按照檢測要求和設計的測試方法，驅動、控制被檢測軟件運行或解析被檢測軟件本體 的硬件、軟件、數據、場地及其他技術設施的集成。3.4 被檢測軟件 softwareunder testing送實驗室檢測的軟件產品，包括程序、技術文檔和數據。3.5 測試需求 testrequirements 為了使需方能夠接受一個軟件產品，按照特定的標準或規(guī)范對被檢測軟件實現其研制 要求或研制合同等文件規(guī)定的軟件能力及其特性進行的必要測試。3.6 測試項 testitems對軟件的實體元素、能力要素或特性要素需

4、要進行某一測試種類測試的測試集。4. 管理要求4.1 組織4.1.4 如果實驗室所在的組織從事軟件檢測以外的活動涉及軟件開發(fā)，應有承諾采取 措施確保不利用被檢測軟件相關方的知識產權牟取利益；并且不應當參與所在組織承研軟 件的第三方檢測活動，以避免對其判斷獨立性和檢測誠信度的任何可能損害。4.1.5 實驗室應：a）由熟悉項目管理、軟件開發(fā)技術、軟件測試技術及其標準、規(guī)程、規(guī)范的技術人 員，負責組織實施軟件檢測任務。c ）有政策和程序確保與被測軟件相關各方的機密信息和知識產權得到保護，確?？?戶產品的一切信息得到保護。e）應具有5名（含）以上滿足5.2要求的軟件檢測人員，并應擁有與其檢測任務相 適

5、應的場地、設施、設備、檢測工具軟件等資產。g）由熟悉軟件檢測過程以及軟件測試的標準、規(guī)范、規(guī)程，軟件質量評價和軟件測 試質量評價的人員，負責對軟件檢測人員實施質量監(jiān)督，審核軟件檢測過程和形成的軟件 檢測工作產品是否符合相應的標準、規(guī)范；h）由熟悉軟件測試需求、測試結果評價和判定準則的人員，負責對軟件測試輸入和 測試結果進行測試執(zhí)行監(jiān)督。4.2 管理體系4.2.1 實驗室應建立、實施和保持與軟件檢測活動范圍相適應的管理體系；應將軟件 檢測相關的過程和活動以及檢測項目管理相關的過程和活動的政策、制度、計劃、程序和 指導書制訂成文件。實驗室管理體系中應包括：a）軟件檢測過程，一般包括測試需求分析、檢

6、測項目策劃、測試設計和實現、測試 執(zhí)行和回歸測試、檢測總結所開展的技術活動以及測試計劃、測試需求、測試說明、測試 就緒、測試結果等測試技術評審活動；b）軟件檢測項目管理，主要包括檢測配置管理，將檢測需求、測試環(huán)境、測試工作 產品及交付產品納入配置項；檢測質量保證，監(jiān)督測試人員、審核檢測過程及形成的測試 工作產品與標準、規(guī)范、過程文件的符合性；檢測項目監(jiān)控，跟蹤控制檢測計劃實施進度、 成本、風險。c）實驗室固定場所以外檢測環(huán)境的過程控制和項目管理，應考慮在實驗室固定場所 以外檢測環(huán)境與實驗室受控環(huán)境的各種不同因素，采取相應措施使檢測活動滿足管理要求 和技術要求。4.3 文件控制4.3.1 總則

7、實驗室應將與軟件檢測相關的法律法規(guī)、軟件測試標準方法和評價方法文檔、測試設 備和測試工具軟件配套的技術文檔，以及軟件檢測管理軟件及其文檔作為外部文件加以控 制。4.3.3.4 實驗室應有規(guī)定和措施，確保計算機系統(tǒng)中的文件與其它載體上的文件在內 容、修訂、版本控制、發(fā)布、存檔等方面的一致性。4.4 要求、標書和合同的評審4.4.1 為簽訂軟件檢測合同而進行評審的政策和程序應確保：a）對檢測項目的機密保護和知識產權保護要求，在合同中（或簽訂專門的協(xié)議）應 予明確、充分規(guī)定。b）對檢測項目結束后如何處置檢測輸入項和檢測工作產品、如何向客戶交付測試產 品（包括交付項、交付形式和數量等）應予明確、充分規(guī)

8、定。c ）對檢測結束條件、檢測風險應予充分規(guī)定；d）對開展檢測準備了解檢測任務的同時逐步完善合同內容的評審，或可能延續(xù)到軟 件測試計劃、測試需求和測試說明階段的評審，應予充分規(guī)定；e）對檢測目的、為達到檢測目的需要提供給實驗室的檢測輸入項、檢測輸入項的提 供方式以及提供時機應予充分規(guī)定。檢測輸入項可包括：1）符合標準規(guī)范要求的被檢測軟件產品，包括程序、軟件文檔、數據文檔；2）文檔化的被檢測軟件的分配需求 （ 可含技術需求、非技術需求和驗收準則 ），如研 制要求、軟件研制任務書等；3）被檢測軟件安裝運行環(huán)境以及其他配合被檢測軟件運行的設備設施、軟件、數據等詳細信息。常規(guī)軟件檢測（如某行業(yè)已有明確

9、要求的例行軟件檢測）項目、或不涉及a）和b）的軟件檢測項目，檢測合同可以是任何書面的或口頭的協(xié)議。實驗室應對口頭的軟件檢測協(xié) 議及時形成詳細的文字記錄，并有記錄人和審核負責人簽字。4.5 檢測和校準的分包4.5.3 實驗室應對檢測任務進行測試需求分析、測試策劃后進行分包，分包合同或協(xié) 議應包含滿足客戶要求的足夠信息，明確參與分包方測試評審和監(jiān)督的要求，由客戶或法 定管理機構指定的分包方除外。4.5.4 實驗室應保存分包方的測試技術文檔、測試記錄和測試報告。4.7 服務客戶4.7.1 對檢測周期（接收被檢測軟件至交付檢測報告）超過 6 個月的軟件檢測項目， 實驗室須與客戶及被檢測軟件相關方保持必

10、要溝通。溝通內容可包括：a）合同、客戶要求變更及其落實情況；b）計劃進展情況，延誤或其他主要偏離及其原因；c）已發(fā)現的軟件問題；d）遇到的測試問題；e）需要溝通的其他問題。4.11 糾正措施4.11.2 原因分析 軟件檢測產生問題的原因還可能是：軟件病毒、測試用數據及操作順序等。4.13 記錄的控制4.13.1 總則4.13.1.2 軟件檢測項目有關的記錄，其保存期限應至少滿 1 個認可周期，或按照客戶 要求保存。4.13.2 技術記錄4.13.2.1 軟件檢測項目技術記錄可包括：a）檢測輸入項記錄：客戶提供的被檢測軟件清單、與軟件檢測相關的文件清單等；b）測試技術文檔：檢測（回歸測試）方案、

11、檢測（項目）計劃、測試需求規(guī)格說明、測 試說明、軟件檢測（測試）報告的副本等；c）檢測環(huán)境記錄：測試場地設施記錄、被檢測軟件運行平臺軟件硬件記錄、測試設 備記錄、測試工具軟件記錄、陪測的設備和軟件記錄等；d）測試執(zhí)行記錄：測試記錄（日志）、文檔檢查記錄、軟件問題單（報告）、源程序缺陷報告、測試問題單（報告）等；e）技術評審記錄：對軟件檢測合同、檢測輸入項、測試技術文檔、檢測環(huán)境、測試 結果等進行技術評審的記錄。4.13.2.3 實驗室應有措施保持同一技術記錄的不同形態(tài)的內容修改、版本控制的一 致性。注：納入配置管理的電子版軟件測試技術文檔，可通過文檔修改表記錄版本號、修改 內容、日期、修改人、

12、審核人等信息的方式保持不同介質實物資料版本的一致；納入受控 管理的其他技術記錄，可通過適合不同介質的加注方式記錄修改內容、日期、修改人、審 核人等信息。5. 技術要求5.1 總則5.1.1 決定實驗室軟件檢測的正確性和可靠性的因素還包括軟件檢測過程和檢測項目 管理活動。5.1.2 實驗室在制定軟件檢測方法和程序、培訓和考核人員、選擇和校準所用設備時， 應考慮到軟件檢測過程和檢測項目管理活動的因素。5.2 人員5.2.1 從事軟件檢測人員，應具有計算機及相關專業(yè)的大專（含）以上學歷、并獲得 國家或行業(yè)承認的軟件測試技術專業(yè)培訓合格資質，具備軟件測試任務相適應的被檢測軟 件背景知識和軟件測試技術。

13、各類人員其他要求應滿足：a）從事軟件檢測項目管理、測試需求分析、測試策劃和測試設計活動的人員，一般應有 2 年（含）以上軟件開發(fā)工作經歷或 3 年以上軟件測試技術工作經歷；b）軟件測試執(zhí)行人員，一般應有3個月（含）以上軟件檢測技術崗位實習工作經歷, 并至少實習完成 1 個軟件檢測項目；c）負責軟件檢測結果評價（評估）、方法確認、意見解釋、質量監(jiān)督的人員，以及軟 件檢測報告審核人和批準人，一般應有 3年（含）以上軟件測試技術工作經歷。5.2.2 實驗室對軟件測試人員進行的培訓，應包括安全保密和知識產權保護知識以及 與被測軟件測試有關的法規(guī)、標準培訓。應評價這些培訓活動的有效性。5.3 設施和環(huán)境

14、條件5.3.1 實驗室的設施和環(huán)境條件，應確保檢測數據和測試設備的完好、安全、穩(wěn)定， 測試場地一般應具備防靜電、電源故障保護措施。如果軟件檢測在實驗室固定場所以外進 行，應有措施控制檢測設施和環(huán)境條件滿足檢測任務要求，確保其測試記錄及數據的完整 和安全，防止非授權實體的進入。注：實驗室的“環(huán)境條件”與檢測項目的“檢測環(huán)境”有區(qū)別，見準則 5.3 及本 文件 3.3 。5.3.3 應有措施保證軟件檢測項目使用的計算機及其網絡與該項目以外的計算機及其 網絡有效隔離，防止計算機病毒、木馬程序等不良程序交叉感染檢測環(huán)境，防止外部環(huán)境 不可控因素對被檢測軟件和檢測結果造成不良影響。注：當通過實驗室以外的

15、網絡實施遠程檢測時，應注意影響網絡正常運行的環(huán)境條件。5.4 檢測和校準方法及方法的確認5.4.1 總則 實驗室所采用的軟件檢測方法，一般包括測試用例集、測試工具（硬件和軟件）及其 使用方法、以及依托測試工具運行測試用例獲得測試結果的相關程序三要素。為了保證不 影響軟件檢測方法的運用和測試結果，實驗室應具有適當的軟件檢測方法使用指導書，有 措施確保測試用例、測試腳本、測試數據和測試工具的一致、有效。5.4.2 方法的選擇 由于信息技術和產品生產日趨全球化，國際或地區(qū)的行業(yè)或專業(yè)組織機構而不是 ISO 等標準機構制定的軟件測試標準 / 方法，可能更適合行業(yè)或專業(yè)軟件的檢測。實驗室應制定測試計劃、

16、測試需求和測試說明（測試用例及其執(zhí)行方案）編制規(guī)范， 通過文檔化方式明確選定的測試方法。實驗室應通過培訓、技術咨詢或技術指導方式確保能夠正確運用選擇的測試方法。 如果標準方法發(fā)生了變化，實驗室應邀請同行專家和被檢測軟件利益相關方評審測試 需求和測試說明（測試用例及其執(zhí)行方案） ，證實采用的方法滿足客戶需求、適合于要進 行的檢測。5.4.4 非標準方法注：c）被檢測軟件類型的描述應包括名稱、版本信息、開發(fā)語言等；d）能夠檢測的軟件質量特性或測試類別、檢測目的和檢測能力范圍；e）陪測設備設施軟件及其性能要求；g）方法應用需要的軟件硬件環(huán)境、測試數據及其他約束條件；5.4.5 方法的確認5.4.5.

17、2 軟件檢測方法確認應盡可能全面，包括對被檢測軟件的各種質量子特性的測 試順序、測試約束及測試輸入的組合。 組織本領域同行權威專家進行技術評審；5.4.6 測量不確定度的評定5.4.6.2 實驗室應根據實際情況決定是否進行軟件檢測測量不確定度的評定。如，當 軟件檢測結果涉及測量值并有量值精確度要求的，應具有并應用評定測量不確定度的程序， 分析不確定度的因素及其對軟件檢測結果的可能影響。5.4.7 數據控制5.4.7.1 應對檢測環(huán)境中測試工具軟件的計算和數據轉移進行系統(tǒng)和適當的檢查。實 驗室應規(guī)定程序保證檢測環(huán)境中的所有測試軟件應為正式軟件、且版本正確。注 1 ：正式軟件指按照程序得到驗證、通

18、過批準的貨架軟件和經同行權威專家技術鑒 定的非貨架軟件。注 2 ：可運行一小組測試，驗證測試工具軟件（包括嵌入式測試工具軟件配套的硬件 設備）已正確安裝，對計算和數據轉移進行必要的正確性檢查。5.4.7.2 當利用計算機或自動設備對軟件檢測數據進行采集、處理、記錄、報告、存 儲或檢索時，實驗室應對這些與測試數據處理有關的所有軟件規(guī)定并進行合適的配置管理。5.5 設備5.5.1 軟件檢測設備可包括測試工具軟件以及計算機系統(tǒng)、網絡系統(tǒng)、適配器、測試 輸入和結果輸出等硬件設備。5.5.2 有指標要求的測試工具在投入使用前應對其使用范圍進行檢查。例如，允許 500個用戶的測試工具，在初次使用前，應采用

19、適當的方法對其是否符合要求予以核查確 認。5.5.4 測試工具軟件的不同版本，均應加以唯一性標識。5.5.5 記錄還應包括檢測所用設備的配置及支撐軟件等信息（包括：工具類型、名稱、 生產廠商、版本號、用途與性能、啟用時間、許可證數、主要選件、技術文件及運行平臺 等信息）。5.5.12 實驗室應對測試工具軟件進行版本管理以及版本升級和配置控制，防止誤用。 正在進行測試的設備應張貼“測試中”的標識，并有屏幕設置，以避免錯誤調整測試環(huán)境 影響測試工作的進行。5.6 測量溯源性5.6.2.2 檢測5.6.2.2.1 對于從事軟件檢測的實驗室，準則的 5.6.2.1 中給出的測量溯源性要 求僅適用于測量設備和具有測量功能的檢測設備。5.6.2.2.2 當無法溯源的測試方法和測試工具是新的或進行了重大更新，實驗室應采 取措施檢查測試方法和測試工具的有效性，確保軟件檢測的“溯源性效果”，提供測試結 果可信度。檢查措施可包括：a）適用時，對特定測試樣例軟件進行檢測，審查測試樣例軟件預埋問題的復現情況，