CNAS-GL11-2007 檢測和校準(zhǔn)實(shí)驗(yàn)室能力認(rèn)可準(zhǔn)則在軟件和協(xié)議檢測領(lǐng)域的應(yīng)用說明

檢測和校準(zhǔn)實(shí)驗(yàn)室能力認(rèn)可準(zhǔn)則在軟件和協(xié)議檢測領(lǐng)域的應(yīng)用指南中國合格評定國家認(rèn)可委員會 1 2 3 4 4 5 5 6 6 6 9 1本指南旨在為信息技術(shù)和電信檢測領(lǐng)域中的軟件和協(xié)議檢測實(shí)驗(yàn)室按照中國合格技術(shù)報(bào)告的分類中是屬于只要技術(shù)內(nèi)容依然有效就無需進(jìn)行復(fù)審和更新的文件類型，因證中心、中國軟件評測中心、國家電子計(jì)算機(jī)質(zhì)量監(jiān)督檢驗(yàn)中心和信息產(chǎn)業(yè)部通信軟件2．實(shí)驗(yàn)室可以自己進(jìn)行檢測手段(MOT)和測試工具的確認(rèn)，也可以使用其它實(shí)驗(yàn)技術(shù)水平上是不現(xiàn)實(shí)的。根據(jù)目前認(rèn)可發(fā)展趨勢，將來CNAL的檢測手段(MOT)和測試工具確認(rèn)服務(wù)的形式。最終是否強(qiáng)制要求實(shí)驗(yàn)室使用已認(rèn)可的檢測手段和編譯器的檢測，本指南給出了專門的解釋。需特別聲明，本指注4：每個(gè)測試判斷的得出應(yīng)當(dāng)考慮測試用例的目的和相關(guān)標(biāo)準(zhǔn)要求別2--無效表現(xiàn)，但滿足測試目的但這并不改變測試判斷5．本指南針對?檢測和校準(zhǔn)實(shí)驗(yàn)室認(rèn)可準(zhǔn)則?(CNAL/01)的具體條款給出了指南IXIT（implementationextrainformationfortesting）檢測實(shí)現(xiàn)附加信息OSI（opensystemsinterconnection）開放系統(tǒng)互連在本指南中，測試工具是指為了進(jìn)行或輔助進(jìn)行所要求的檢測而使用的硬件和/或軟件，不包括序的）測試集本身之外，只使用了少量的輔助軟件測試工具。實(shí)現(xiàn)。在這種情況下，公布參考實(shí)現(xiàn)的來源和特性可能無意中給供注2：采用普通的商業(yè)實(shí)現(xiàn)作為參考實(shí)現(xiàn)以及選擇哪種商業(yè)有特性。這是由于某一給定的商業(yè)實(shí)現(xiàn)可能只支持相關(guān)規(guī)范的子集（或“側(cè)面”這作為一種臨時(shí)解“實(shí)驗(yàn)室應(yīng)確保所購買的、影響檢測和/或校準(zhǔn)質(zhì)量的供應(yīng)品、試劑和消耗材料，只有在經(jīng)檢查或證實(shí)符合有關(guān)檢測和/或校準(zhǔn)方法中規(guī)定的標(biāo)準(zhǔn)規(guī)范或要求之后才投入使注：“外部”這個(gè)詞應(yīng)被理解為’檢測實(shí)驗(yàn)室以外’。因此，確認(rèn)服務(wù)可以由同一組織的其它部門提供，只要它在組織結(jié)構(gòu)上是一個(gè)與檢測實(shí)驗(yàn)室相分離的部門，就被視為外部支持服務(wù)。換言之，檢測實(shí)驗(yàn)室必須提供自己的確認(rèn)服務(wù)，而不能使用外部機(jī)構(gòu)提供的確認(rèn)服務(wù)?！皩?shí)驗(yàn)室應(yīng)有程序來保護(hù)和備份以電子形式存儲的記錄，并防止未經(jīng)授權(quán)室應(yīng)確保客戶控制的檢測環(huán)境，在檢測期間第三方不能訪注：對于在檢測實(shí)驗(yàn)室以外的地點(diǎn)進(jìn)行的檢測，發(fā)生這種情況的可能試記錄，而不應(yīng)做了標(biāo)記以后再移走。為了尋找這種刪除方式，可能“實(shí)驗(yàn)室管理層應(yīng)確保所有操作專門設(shè)備、從事檢測和/或校準(zhǔn)以及評價(jià)結(jié)果和簽署檢測報(bào)告和個(gè)具體的檢測或確認(rèn)服務(wù)，當(dāng)沒有相應(yīng)的客戶時(shí)，“實(shí)驗(yàn)室應(yīng)確保其環(huán)境條件不會使結(jié)果無效，或?qū)λ蟮臏y量質(zhì)量產(chǎn)生不良影響。在實(shí)驗(yàn)室注2：當(dāng)通過網(wǎng)絡(luò)實(shí)施遠(yuǎn)程檢測時(shí)，需特別關(guān)注對環(huán)境控制的要求。實(shí)際響網(wǎng)絡(luò)正常運(yùn)行的環(huán)境條件。如果環(huán)境不能如果網(wǎng)絡(luò)超負(fù)荷，則在遠(yuǎn)程檢測中可能會遇到問題，在這種情況下，可能需要重新安排檢測或況下，實(shí)驗(yàn)室可以要求使用軟件識別技術(shù)。為判定測試結(jié)果而需要對S需象處于主要的MOT物理位置上一樣處于SUT的物理位置。實(shí)驗(yàn)室應(yīng)在測試前或確認(rèn)前對這些設(shè)備進(jìn)行檢查，以確保其它確認(rèn)手段的正確版本，并且不得以任何可能導(dǎo)致不正確的確認(rèn)結(jié)果如果測試工具或測試集是在磁盤上或磁帶上，讓客戶在測試工具或測試集上進(jìn)行病毒掃描，這“相關(guān)的規(guī)范、方法和程序有要求，或?qū)Y(jié)果的質(zhì)量有影響時(shí)，實(shí)驗(yàn)室應(yīng)監(jiān)測、控制和記錄環(huán)境條件?！庇布\(yùn)行環(huán)境。測試環(huán)境的一部分可能在SUT（或MOT）內(nèi)部，一部分可能在SUT（或M括：名稱、型號和版本號。在一些特殊情況下，甚至每個(gè)構(gòu)件都需要被識“應(yīng)將不兼容活動的相鄰區(qū)域進(jìn)行有效隔離。應(yīng)采取措施以測或確認(rèn)服務(wù)中，對單個(gè)檢測或確認(rèn)服務(wù)內(nèi)使用軟件、可移植操作系統(tǒng)接口（POSIX）及應(yīng)用程序可移植性檢測。在開放系統(tǒng)互連或電信協(xié)議檢測中使用分布式(Distributed)或?qū)Φ仁?Coordinated)測試方法也是這種注：只要可行，應(yīng)當(dāng)確保SUT在測試或確認(rèn)過程中除了支持檢測或確認(rèn)要 注2：測試方法適宜性的準(zhǔn)則在某種程度上取決于檢測類型。首先，有一些適用于所有測試類織或有關(guān)科學(xué)書籍和期刊公布的，或由設(shè)備制除非經(jīng)客戶同意，每個(gè)測試方法應(yīng)符合已有的相關(guān)國際標(biāo)準(zhǔn)。這并不意味著檢測實(shí)驗(yàn)室不能使種情況。即使有相關(guān)的標(biāo)準(zhǔn)，也可通過檢測實(shí)驗(yàn)室間的國際協(xié)議推薦文件的各個(gè)部分相一致。這意味著抽象測試集應(yīng)遵循ISO/IEC9646-2或ITU-TX.291（和對辦公文件體系結(jié)構(gòu)（OfficeDocumentationArchitecture,ISO/IEC8613測試方法應(yīng)符合5.4.5.3結(jié)果的不確定度、檢出限、方法的選擇性、線性、重復(fù)性限和/或復(fù)現(xiàn)性、抵御外來影響的穩(wěn)健度和/或抵御來自樣品（或檢測物）母體干擾的交互產(chǎn)生的結(jié)果與先前所產(chǎn)生的結(jié)果一致，則可以說此測試方法符合重復(fù)性準(zhǔn)則。注1：重復(fù)性準(zhǔn)則不應(yīng)當(dāng)理解為重復(fù)檢測必須產(chǎn)生結(jié)果彼此一致。例如，凡是量值的變化小于測量不確定度的測量都可以被測量的所有情況中，結(jié)果應(yīng)附帶測試用例運(yùn)行的環(huán)境說明。而兩個(gè)檢測實(shí)驗(yàn)室產(chǎn)生的結(jié)果一致，則可以說此測一些特定文件，并且檢測服務(wù)可能要檢查文件的充分程度。注3：復(fù)現(xiàn)性要求任何所需的測量應(yīng)當(dāng)在規(guī)定的測量不確定注4：對復(fù)現(xiàn)性的任何疑問要予以調(diào)查，可行時(shí)，可以使用實(shí)試用例，應(yīng)符合重復(fù)性和復(fù)現(xiàn)性準(zhǔn)則，所有的符合性評價(jià)應(yīng)基于相同的測試集。參數(shù)。在這些情況中，所用的參數(shù)值和所進(jìn)行的修改應(yīng)當(dāng)寫在測試報(bào)告中，也可作為報(bào)告的附錄。進(jìn)行測試用例選擇和參數(shù)化的必要信息。一份是實(shí)現(xiàn)符合性聲明（ImplementationConformance復(fù)的、可復(fù)現(xiàn)的和客觀的，否則，這種檢測不可能該要求也適用于作為確認(rèn)手段一部分的軟件和被安裝在包含要被確認(rèn)的MOT或測試工具的系統(tǒng)一組可信度測試（可能是符合性測試集的一組子集并規(guī)定“當(dāng)利用計(jì)算機(jī)或自動設(shè)備對檢測和校準(zhǔn)數(shù)據(jù)進(jìn)行采集、處理、記錄、報(bào)告、存儲或檢索時(shí)，（4）應(yīng)編制管理記錄和狀態(tài)報(bào)告，以說明受控軟件項(xiàng)的狀態(tài)和歷注：軟件配置管理系統(tǒng)是一組程序，采用時(shí)，它可確保對版本號、發(fā)行量和軟件變更的充分標(biāo)然而，當(dāng)作為整體考慮時(shí)，可以看出當(dāng)MOT和測試工具是新的或可疑時(shí)（如，進(jìn)行了重大更新或在使用產(chǎn)生的結(jié)果中發(fā)現(xiàn)了錯誤需要一些手段來檢查M據(jù)一些參考來檢查MOT和測試工具。如果使用未獲得認(rèn)可的外部確認(rèn)服務(wù)，那么實(shí)驗(yàn)室應(yīng)當(dāng)制定充分的程序來選擇和監(jiān)控此服務(wù)（見某一特定的MOT和測試工具確認(rèn)方法。然而，目前只有一種MOT的確于有關(guān)它的使用所給出的特定解釋和說明已得到了充分的理解。該方法涉及的MOT檢測是依據(jù)一個(gè)或多個(gè)已知實(shí)現(xiàn)（參考實(shí)現(xiàn)）運(yùn)行MOT，并將所得結(jié)果與預(yù)期結(jié)果進(jìn)行比較來實(shí)施。確認(rèn)服務(wù)，檢測實(shí)驗(yàn)室應(yīng)當(dāng)指定一個(gè)特定的實(shí)現(xiàn)作為參考實(shí)現(xiàn)，以確認(rèn)相關(guān)的MOT。當(dāng)有高質(zhì)量的MOT確認(rèn)手段時(shí)，檢測實(shí)驗(yàn)室應(yīng)當(dāng)盡早使用該手段。注6：不確定度發(fā)生的原因是我們不知道有多少測試用例肯定是正常工作的。這種情況的發(fā)生是重復(fù)，并且符合性測試用例的范圍對于可能必須通過該符合性測試集測試的實(shí)現(xiàn)范圍是注2：在編譯器檢測中，內(nèi)置的參考實(shí)現(xiàn)也已用于檢查測試集的覆蓋度。注：如果已有MOT確認(rèn)方法，那么經(jīng)過多長時(shí)間要求實(shí)驗(yàn)室開始使用這種方法確認(rèn)每一個(gè)相關(guān)檢測中應(yīng)使用所有適用于參考實(shí)現(xiàn)的完整符合性確認(rèn)）就涉及到物理量的測量，此時(shí)，常規(guī)的校準(zhǔn)和溯源性要求是適用注2：MOT確認(rèn)記錄應(yīng)當(dāng)包括根據(jù)所使用的MOT或測試工具的所有檢測實(shí)驗(yàn)室,這一點(diǎn)2．確認(rèn)實(shí)驗(yàn)室，或自行對MOT或測試工具進(jìn)行確認(rèn)的檢測實(shí)驗(yàn)室，應(yīng)記錄每個(gè)參考實(shí)正確性。其它確認(rèn)手段進(jìn)行了改變時(shí),即使是微小的改變，確認(rèn)實(shí)驗(yàn)室應(yīng)進(jìn)行檢查，以確保適當(dāng)?shù)鼐S持與其它確認(rèn)實(shí)驗(yàn)室結(jié)果的一致性以及針對相關(guān)標(biāo)準(zhǔn)察記錄進(jìn)行分析的測試工具。錯誤；適當(dāng)時(shí)，停止使用MOT、測試工具或測試用例；糾正錯誤，適當(dāng)時(shí)，重新確認(rèn)MOT或測試工的檢測之前，MOT應(yīng)對照參考實(shí)現(xiàn)并使“當(dāng)需要利用期間核查以維持設(shè)備校準(zhǔn)狀態(tài)和測試工具兩次確認(rèn)之間定期進(jìn)行，在開始測試每個(gè)新IU證實(shí)校準(zhǔn)帶來的貢獻(xiàn)對檢測結(jié)果總的不確定度幾乎沒有影響?！比绻麑Τ橄鬁y試集存在疑問或是不存在抽象測試集，確認(rèn)報(bào)告應(yīng)當(dāng)可溯源到有關(guān)的規(guī)范概要（適用時(shí)或有關(guān)的基礎(chǔ)協(xié)議規(guī)范?！皩?shí)驗(yàn)室應(yīng)有程序和適當(dāng)?shù)脑O(shè)施避免檢測或校準(zhǔn)物品在存儲、處置和準(zhǔn)備過程中發(fā)生退化、丟取了所有合理的措施確保測試工具和/或測試集不含有已知的病毒或其它b)參加實(shí)驗(yàn)室間的比對或能力驗(yàn)證計(jì)劃；如果實(shí)驗(yàn)室聲明能提供協(xié)調(diào)一致的檢測或確認(rèn)服務(wù)，實(shí)驗(yàn)室應(yīng)提供其參與相關(guān)實(shí)驗(yàn)室間比對的并符合檢測或校準(zhǔn)方法中規(guī)定的要求?！?．符合性測試的測試方法應(yīng)具有這樣的特性，即針對符合性檢測所依據(jù)的標(biāo)準(zhǔn)或規(guī)范，給出過的判斷或失敗的判斷一致，但通過的判斷永遠(yuǎn)不應(yīng)當(dāng)被認(rèn)為與失敗復(fù)性、復(fù)現(xiàn)性和客觀性的程序。在由MOT(測試手段)或測試工具生成的輸出記錄中，應(yīng)清楚地表明不確定因素a)制定和使用檢測程序，以確保任何未予規(guī)定的判斷符合相關(guān)標(biāo)準(zhǔn)的重復(fù)性、復(fù)現(xiàn)性和客觀性用例做出判斷。例如，編譯器檢測就是一個(gè)典型的實(shí)例憾的是，某些測試用例可能規(guī)定不夠完善，對某些輸出結(jié)果無法確定。例如，這種事例可能發(fā)生在試用例的具體運(yùn)行情況，規(guī)定所應(yīng)賦予的判斷。用例的結(jié)果時(shí)，分析工具提供或摘取必要的信息，以確定是維護(hù)部門糾正該測試用例。本附錄提供了本指南所使用的術(shù)語。本指南盡可能使用標(biāo)準(zhǔn)定義，或?qū)?biāo)準(zhǔn)定義進(jìn)行了微小的改動，以使其適合于本指南所針對的技術(shù)內(nèi)容。對于本指南自己規(guī)定的術(shù)語，其目的不是形成標(biāo)準(zhǔn)化的新定義，而是解釋其在本指南中的含義。如果標(biāo)準(zhǔn)化的定義不同于本指南中所使用的定義，則右面一欄給出了此定在某種特定抽象測試方法的抽象級別上定義的，為達(dá)到特定測試目的所需采取例是適當(dāng)標(biāo)準(zhǔn)化的。為了在一個(gè)特定的測試工具上運(yùn)行，需將它們轉(zhuǎn)換為可執(zhí)在某種特定抽象測試方法的抽象級別上定義的，為達(dá)到特定測試目的所需采取措施的一種完整和獨(dú)立的規(guī)范。它起始于穩(wěn)定的檢測狀態(tài)，可能包含一個(gè)或多個(gè)連續(xù)或并行的ISO/IEC9646-1和ITU-TX.290描述，在某個(gè)給定的抽象級別上該描述與測試手段的任何具體實(shí)現(xiàn)無關(guān)，但其詳細(xì)程度應(yīng)足以能用這種測試方法規(guī)定注：這個(gè)術(shù)語不能與通用術(shù)語“測試方定的抽象級別上該描述與測試手段的任何具體實(shí)現(xiàn)無關(guān)，但其詳細(xì)程度應(yīng)足以能用這種測試方法規(guī)定抽ISO/IEC9646-1和ITU-TX.290正式表明檢測實(shí)驗(yàn)室具備實(shí)施特定測試具體實(shí)施實(shí)驗(yàn)室認(rèn)可的有其自身的規(guī)程和管理規(guī)則的體系。ISO/IEC導(dǎo)則2實(shí)驗(yàn)室認(rèn)可機(jī)構(gòu)指派的，單獨(dú)或作為評審組成員對實(shí)驗(yàn)室實(shí)施評審的人員。ISO/IEC17011在規(guī)定條件下，為確定測量儀器或測量系統(tǒng)所指示的量值，或?qū)嵨锪烤呋騾⒖嘉镔|(zhì)所代表的量值，與對應(yīng)的由標(biāo)準(zhǔn)所復(fù)現(xiàn)的量值之間關(guān)系的一組操作。VIM產(chǎn)品、過程或服務(wù)滿足所有相關(guān)的規(guī)定的符合性要求。注：如果提出了ICS或類似的符合性聲明，那么對于不支持的那些選項(xiàng)所規(guī)定的要求，可以認(rèn)為是無關(guān)的。產(chǎn)品、過程或服務(wù)滿足達(dá)到了規(guī)定的要求。ISO/IEC導(dǎo)則2完成評估一個(gè)實(shí)現(xiàn)或系統(tǒng)與一個(gè)或多個(gè)要求規(guī)范的符合性所需的全部符合性檢測活動的完整過程。完成評估一個(gè)實(shí)現(xiàn)或系統(tǒng)與一個(gè)或多個(gè)OSI規(guī)范符合性所需的全部符合性檢測活動的完整過程。ISO/IEC9646-1和ITU-TX.290作為檢測活動的結(jié)果而產(chǎn)生的人類可以閱讀的信息記錄，它足以驗(yàn)證賦予的測試作為檢測活動的結(jié)果而產(chǎn)生的人類可以閱讀的信息記錄，它足以驗(yàn)證賦予的測試結(jié)果（包括測試判斷）。ISO/IEC9646-1和ITU-TX.290在規(guī)定要求的規(guī)范中,某一實(shí)現(xiàn)所應(yīng)滿足的行為和/或能力的說明。要求：在標(biāo)準(zhǔn)文件中,表達(dá)應(yīng)遵守的準(zhǔn)則的條款。ISO/IEC導(dǎo)則2動態(tài)符合性要求：規(guī)定了在通信情況下相關(guān)規(guī)范所允許的可觀察行為的一種要求。ISO/IEC9646-1和ITU-TX.290靜態(tài)符合性要求：規(guī)定了對聲稱符合相關(guān)規(guī)范的開放式系統(tǒng)所允許的綜合實(shí)現(xiàn)能力限制的一種要求。ISO/IEC9646-1和ITU-TX.290ISO/IEC9646-1和ITU-TX.290根據(jù)某種特定的要求規(guī)范或一組相關(guān)的要求規(guī)范，為進(jìn)行符合性檢測而規(guī)定的合性檢測所需的一組完整測試用ISO/IEC9646-1和ITU-TX.290滿足所有相關(guān)規(guī)定的符合性要求的實(shí)滿足靜態(tài)和動態(tài)符合性要求，并與ISO/IEC9646-1和ITU-TX.290ISO/IEC9646-1和ITU-TX.290ISO/IEC9646-1和ITU-TX.290的供應(yīng)者所做的聲明，陳述已實(shí)現(xiàn)ISO/IEC9646-1和ITU-TX.290實(shí)現(xiàn)符合性聲明形ISO/IEC9646-1和ITU-TX.290其檢測環(huán)境有關(guān)的全部信息（ICSISO/IEC9646-1和ITU-TX.290一個(gè)或多個(gè)要求規(guī)范的一種實(shí)現(xiàn)，該實(shí)現(xiàn)作為系統(tǒng)的一部分通過檢測進(jìn)行研具有相鄰用戶/提供者關(guān)系的一個(gè)現(xiàn)將作為開放實(shí)系統(tǒng)的一部分通過ISO/IEC9646-1和ITU-TX.290認(rèn)可機(jī)構(gòu)依據(jù)特定標(biāo)準(zhǔn)和（或）其它規(guī)范性文件，在確定的認(rèn)可范圍內(nèi)，對實(shí)進(jìn)行所要求的檢測而使用的硬件和/或軟件及其應(yīng)用程序，包括可執(zhí)行的測試能完成測試用例的獲、選擇、參數(shù)化和執(zhí)行的設(shè)備和程序的組合，它ISO/IEC9646-1和ITU-TX.290或一個(gè)或多個(gè)量值，用作參考的實(shí)物量VIM一個(gè)或多個(gè)標(biāo)準(zhǔn)或規(guī)范的實(shí)現(xiàn)，依據(jù)此實(shí)現(xiàn)對檢測手段和測試工具進(jìn)行測試，以達(dá)到確認(rèn)檢測手段和測試工具的目在軟件工程（維護(hù)和檢測）中，為了檢查出在軟件糾正或修改活動中出現(xiàn)的錯誤，在以前已正確地執(zhí)行了測試用例的（通過網(wǎng)絡(luò)的）遠(yuǎn)程與該網(wǎng)絡(luò)連接但與其分離，該網(wǎng)絡(luò)是測同一實(shí)現(xiàn)進(jìn)行重復(fù)檢測，使用的測試方法能產(chǎn)生與第一次測試一致的結(jié)果，這在相同測量條件下，對同一被測量進(jìn)行連續(xù)多次測量所得結(jié)果之間的VIM（測試結(jié)果的）復(fù)現(xiàn)性產(chǎn)生的測試結(jié)果是客觀的而不是主觀的測試方法的特性，這樣在兩個(gè)不同的檢測實(shí)驗(yàn)室使用同樣的測試集，對同一實(shí)現(xiàn)進(jìn)行檢測，產(chǎn)生的結(jié)果是一致的，這在改變了的測量條件下，同一被測VIMISO/IEC9646-1和ITU-TX.290依據(jù)規(guī)定的程序測定產(chǎn)品、過程和服務(wù)ISO/IEC9646-1和ITU-TX.290為提供檢測服務(wù)而使用的規(guī)定的技術(shù)程序，包括：測試集中每個(gè)測試用例的規(guī)范；運(yùn)行測試用例的測試工具（軟件和硬件）以及這些測試工具的使用方法；用于選擇和運(yùn)行測試用例、分析觀察以對良好定義的檢測目標(biāo)的非形式化描述，它關(guān)注于在適當(dāng)?shù)囊笠?guī)范中所規(guī)定的單個(gè)的符合性要求或一組相關(guān)的符合性要求（例如，驗(yàn)證是否支持某一參對良好定義的檢測目標(biāo)的非形式化描述，它關(guān)注于在適當(dāng)?shù)囊笠?guī)范中所規(guī)定的單個(gè)