《人工智能 計(jì)算機(jī)視覺系統(tǒng)可信賴技術(shù)規(guī)范》

ICS35.240

CCSL70

團(tuán)體標(biāo)準(zhǔn)

T/CESAXXXX—202X

人工智能計(jì)算機(jī)視覺系統(tǒng)可信賴技術(shù)規(guī)范

Artificialintelligence-Specificationfortrustworthinessforcomputervisionsystems

征求意見稿

在提交反饋意見時(shí)，請(qǐng)將您知道的相關(guān)專利連同支持性文件一并附上。

已授權(quán)的專利證明材料為專利證書復(fù)印件或扉頁，已公開但尚未授權(quán)的專利申

請(qǐng)證明材料為專利公開通知書復(fù)印件或扉頁，未公開的專利申請(qǐng)的證明材料為專利

申請(qǐng)?zhí)柡蜕暾?qǐng)日期。

202X-XX-XX發(fā)布202X-XX-XX實(shí)施

中國(guó)電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)發(fā)布

T/CESAXXXX-2022

前??言

本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定

起草。

本文件由中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院提出。

本文件由中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院、中國(guó)電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)歸口。

本文件起草單位：。

本文件主要起草人：。

4

T/CESAXXXX-2022

人工智能計(jì)算機(jī)視覺系統(tǒng)可信賴技術(shù)規(guī)范

1范圍

本文件規(guī)定了基于人工智能的計(jì)算機(jī)視覺系統(tǒng)的可信賴技術(shù)要求和測(cè)試方法。

本文件適用于基于人工智能的計(jì)算機(jī)視覺系統(tǒng)及其硬件、軟件和模型等部件的可信賴設(shè)計(jì)及測(cè)試,

為計(jì)算機(jī)視覺相關(guān)研制機(jī)構(gòu)、測(cè)試機(jī)構(gòu)、服務(wù)提供機(jī)構(gòu)及用戶提供參考。

2規(guī)范性引用文件

下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，

僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本

文件。

GB/T35273―2020信息安全技術(shù)個(gè)人信息安全規(guī)范

GB/T41867―2022信息技術(shù)人工智能術(shù)語

GB/T41864―2022信息技術(shù)計(jì)算機(jī)視覺術(shù)語

GB/T42018―2022信息技術(shù)人工智能平臺(tái)計(jì)算資源規(guī)范

T/CESA1169―2021信息技術(shù)人工智能服務(wù)器系統(tǒng)性能測(cè)試規(guī)范

3術(shù)語和定義

GB/T35273―2020，GB/T41864―2022及GB/T41867―2022界定的以及下列術(shù)語和定義適用于本文

件。

3.1

計(jì)算機(jī)視覺系統(tǒng)computervisionsystem

具備獲取、處理及解釋圖形、圖像數(shù)據(jù)能力的計(jì)算機(jī)系統(tǒng)

注1：計(jì)算機(jī)視覺系統(tǒng)，在特定頻域內(nèi)，完成目標(biāo)識(shí)別、目標(biāo)跟蹤、目標(biāo)測(cè)量等任務(wù)。

注2：計(jì)算機(jī)視覺系統(tǒng)一般可作為其它作業(yè)系統(tǒng)的子系統(tǒng)。

注3：計(jì)算機(jī)視覺系統(tǒng)的功能藉由人工智能技術(shù)實(shí)現(xiàn)。

[參考：ISO/IEC2382―2015,2123787]

3.2

故障failure

<計(jì)算機(jī)視覺系統(tǒng)>整體或其部分無法提供或無法在限定條件下提供用戶要求功能的狀態(tài)。

[來源：ISO/IEC25040―2011，4.26，有修改]

3.3

異常exception

5

T/CESAXXXX-2022

<計(jì)算機(jī)視覺系統(tǒng)>運(yùn)行過程中的一類條件或現(xiàn)象，引起與業(yè)務(wù)邏輯過程不同的另一個(gè)處理序列。后

者實(shí)現(xiàn)對(duì)此條件或現(xiàn)象的識(shí)別、忽略或處理過程。

[來源：ISO/IEC2382―2015，2121997，有修改]

3.4

視覺功能模塊visionfunctionmodule

計(jì)算機(jī)視覺系統(tǒng)中，單一視覺功能（圖像、視頻處理或分析）的實(shí)現(xiàn)。

注：人工智能是實(shí)現(xiàn)視覺功能的技術(shù)途徑之一。

3.5

工作流workflow

<計(jì)算機(jī)視覺>系統(tǒng)中為完成用戶特定業(yè)務(wù)邏輯的必要活動(dòng)的序列。

注：計(jì)算機(jī)視覺系統(tǒng)的工作流一般由一個(gè)或多個(gè)視覺模塊組合實(shí)現(xiàn)。

[來源：ISO20186.2―2019,3.28，有修改]

4縮略語

DIIM多樣性輸入迭代法（DiverseInputIterativeMethod）

FGSM快速梯度符號(hào)法（FastGradientSignMethod）

IT信息技術(shù)（InformationTechnology）

JSMA雅可比矩陣的顯著性圖攻擊（Jacobian-basedSaliencyMapAttack）

MIM動(dòng)量迭代法（MomentumIterativeMethod）

PGD投影梯度下降（ProjectedGradientDescent）

RISE基于隨機(jī)輸入采樣的解釋（RandomizedInputSamplingforExplanation）

ROC接收者操作特征曲線（ReceiverOperatingCharacteristiccurve）

RSSLLCM隨機(jī)最不可能類方法（RandomSingleStepLeast-LikelyClassMethod）

5概述

5.1計(jì)算機(jī)視覺可信賴要素

對(duì)基于人工智能的計(jì)算機(jī)視覺系統(tǒng)的可信賴，考察系統(tǒng)對(duì)圖1中各可信賴要素相關(guān)要求的滿足程度。

圖1人工智能可信賴框架

6

T/CESAXXXX-2022

5.2技術(shù)要求的適用原則

符合本文件的計(jì)算機(jī)視覺系統(tǒng)，并不需滿足全部可信賴技術(shù)要求。不包含某些視覺功能（如“水印”）

的系統(tǒng)，則不必滿足這些功能對(duì)應(yīng)的可信賴要求。

6可信賴概念要求

6.1可靠性

計(jì)算機(jī)視覺系統(tǒng)，符合以下可靠性要求：

a)應(yīng)能對(duì)附錄B中規(guī)定的圖像、視頻輸入給出反饋；

b)附錄B中規(guī)定的圖像、視頻輸入，應(yīng)不致使系統(tǒng)進(jìn)入異?；驘o法持續(xù)服務(wù)的狀態(tài)；

c)對(duì)不在附錄B中規(guī)定的圖像、視頻輸入，其中間或最終處理、分析結(jié)果應(yīng)可用；

d)訓(xùn)練過程應(yīng)能保存斷點(diǎn)，在訓(xùn)練因故障停止后，從斷點(diǎn)繼續(xù)訓(xùn)練，宜能自動(dòng)重啟訓(xùn)練。

6.2公平性

計(jì)算機(jī)視覺系統(tǒng)，符合以下公平性要求：

a)圖像、視頻處理、分析結(jié)果不應(yīng)對(duì)個(gè)體、社群造成歧視性傷害；

注：對(duì)視覺業(yè)務(wù)需求本身要求的情況除外（如某醫(yī)療視覺業(yè)務(wù)本身要求從步態(tài)判別殘障及恢復(fù)狀態(tài)，則不屬于歧視

性傷害）。

b)在未得到法律授權(quán)時(shí)，圖像、視頻處理、分析過程對(duì)同類數(shù)據(jù)應(yīng)采用相同的自動(dòng)決策邏輯；

c)對(duì)特殊人群（如殘障人群），宜實(shí)現(xiàn)特別的信息處理或傳遞方式，使該群體能使用系統(tǒng)的功能。

示例：某視覺系統(tǒng)識(shí)別輸入圖像輸出對(duì)圖像的解釋音頻，但對(duì)聾啞人群提供解釋音頻的文本以便閱讀。

6.3隱私保護(hù)

6.3.1隱私數(shù)據(jù)的判定

計(jì)算機(jī)視覺系統(tǒng)涉及的隱私數(shù)據(jù)，包含GB/T35273―2020中3.1和3.2規(guī)定的類型，按GB/T35273―

2020中附錄A和附錄B提出的方法判定。

6.3.2隱私保護(hù)要求

計(jì)算機(jī)視覺系統(tǒng)隱私數(shù)據(jù)保護(hù)應(yīng)滿足以下要求，包含但不限于：

a)明確隱私數(shù)據(jù)保護(hù)在數(shù)據(jù)生命周期管理內(nèi)的工作和要求，形成方案體系，內(nèi)容應(yīng)符合法律、行

政法規(guī)、部門規(guī)章和其他規(guī)范性文件的強(qiáng)制性要求（包括GB/T35273—2020要求）。隱私數(shù)

據(jù)保護(hù)的方案體系，內(nèi)容應(yīng)至少覆蓋：

1)涉及隱私數(shù)據(jù)存儲(chǔ)時(shí)，應(yīng)履行告知義務(wù)、獲取同意隱私數(shù)據(jù)存儲(chǔ)請(qǐng)求及相應(yīng)安全管理措施；

2)業(yè)務(wù)目標(biāo)完成或圖像、視頻采集、處理分析計(jì)算設(shè)施更換、報(bào)廢時(shí)，刪除用戶隱私數(shù)據(jù)并

實(shí)施防恢復(fù)措施；

3)可再分配資源（視頻、圖像云空間）再分配之前，刪除原有用戶隱私數(shù)據(jù)并實(shí)施防恢復(fù)措

施；

4)隱私數(shù)據(jù)留存方案應(yīng)對(duì)用戶透明，明確界定需要留存的用戶隱私數(shù)據(jù)范圍、留存時(shí)間、目

的及用戶告知機(jī)制。

b)控制用戶隱私數(shù)據(jù)可見范圍，宜使用以下方法，包含但不限于：

1)主動(dòng)隱私提醒；

7

T/CESAXXXX-2022

2)隱私符號(hào)；

3)透明日志。

c)控制數(shù)據(jù)關(guān)聯(lián)性，宜使用解關(guān)聯(lián)方法，包含但不限于：

1)K匿名，L多樣性，T接近性；

2)數(shù)據(jù)屏蔽（如數(shù)據(jù)掩碼、數(shù)據(jù)截?cái)嗟龋?/p>

3)隨機(jī)化（如使用圖像、視頻加噪、置換等）；

4)同態(tài)加密；

5)安全多方計(jì)算。

d)增強(qiáng)基本安全性，宜使用安全加密方法，包含但不限于：

1)可搜索加密；

2)基于身份認(rèn)證的訪問控制；

3)安全加密傳輸。

e)檢查數(shù)據(jù)完整性，宜使用完整性檢測(cè)技術(shù)，包含但不限于：

1)數(shù)字簽名；

2)遠(yuǎn)程證明。

f)確保對(duì)數(shù)據(jù)的可干預(yù)性，宜使用數(shù)據(jù)存取干預(yù)技術(shù)，包含但不限于：

1)圖像、視頻數(shù)據(jù)溯源；

2)細(xì)粒度訪問控制；

3)隱私風(fēng)險(xiǎn)度量；

4)用戶（圖像、視頻數(shù)據(jù)主體）同意機(jī)制及工具。

g)提高用戶身份標(biāo)識(shí)數(shù)據(jù)安全性，宜實(shí)施數(shù)據(jù)脫敏，包含但不限于：

1)將居民身份證、銀行卡、刑事證據(jù)、用戶面部、行為動(dòng)作、病灶、傷殘部位的圖像、視頻

數(shù)據(jù)與用戶身份標(biāo)識(shí)數(shù)據(jù)分離存儲(chǔ)；

2)使用動(dòng)態(tài)脫敏技術(shù)，確保數(shù)據(jù)從數(shù)據(jù)庫中取出時(shí)已脫敏；

3)針對(duì)用戶身份標(biāo)識(shí)數(shù)據(jù)設(shè)計(jì)脫敏算法和混淆冗余數(shù)據(jù)，抗重識(shí)別，滿足以下要求；

?在不慎泄露部分圖像、視頻數(shù)據(jù)及部分用戶身份識(shí)別數(shù)據(jù)時(shí)，用戶身份不被重識(shí)別；

?在不慎泄露部分身份標(biāo)識(shí)數(shù)據(jù)時(shí)，用戶身份不被重識(shí)別；

?在不慎泄露部分敏感屬性數(shù)據(jù)時(shí)，用戶身份不被重識(shí)別。

h)宜采用差分隱私技術(shù)，保護(hù)訓(xùn)練數(shù)據(jù)中的個(gè)人信息；

i)宜采用聯(lián)邦學(xué)習(xí)，使訓(xùn)練數(shù)據(jù)不被泄露。

6.4可問責(zé)性

計(jì)算機(jī)視覺系統(tǒng)，符合以下關(guān)于可問責(zé)性的要求：

a）宜建立系統(tǒng)技術(shù)、管理方面的責(zé)任模型，明確各子系統(tǒng)提供者的角色和責(zé)任，至少包含：

1)數(shù)據(jù)處理者和控制者；

2)計(jì)算機(jī)視覺計(jì)算設(shè)施提供者，包含計(jì)算設(shè)備提供者、軟件工具提供者、集成服務(wù)提供者和

云計(jì)算設(shè)施提供者；

3)視覺算法或模型提供者；

4)應(yīng)用提供者；

5)部署、運(yùn)維、運(yùn)營(yíng)服務(wù)提供者；

6)用戶；

注：對(duì)不同的應(yīng)用，因工作邏輯的不同可導(dǎo)致角色及責(zé)任的差別。

8

T/CESAXXXX-2022

b）應(yīng)建立系統(tǒng)設(shè)計(jì)、研發(fā)過程管理機(jī)制，其中包含計(jì)算機(jī)視覺系統(tǒng)相關(guān)業(yè)務(wù)被問責(zé)主體的責(zé)任及

其代表；

c）在研發(fā)過程中，應(yīng)具備問責(zé)依據(jù)，即對(duì)法律、協(xié)議或授權(quán)遵從的說明；

d）在使用過程中，應(yīng)定義系統(tǒng)對(duì)其利益相關(guān)方行使的權(quán)能，提供供方免責(zé)聲明；

e）宜對(duì)計(jì)算機(jī)視覺系統(tǒng)服務(wù)過程中產(chǎn)生的問題進(jìn)行分析，按服務(wù)重要性和技術(shù)、管理完備性，分

析問題等級(jí)（越重要的服務(wù)，其技術(shù)、管理完備性越差時(shí)，問題等級(jí)越高）；

f）計(jì)算機(jī)視覺系統(tǒng)或服務(wù)提供方，宜建立責(zé)任認(rèn)定及應(yīng)對(duì)機(jī)制，至少規(guī)定以下內(nèi)容：

1)責(zé)任認(rèn)定的起點(diǎn)（如合同違約、服務(wù)質(zhì)量下降、資產(chǎn)損失、社會(huì)影響等）；

2)法律或合同規(guī)定的任責(zé)或免責(zé)的事項(xiàng)（如不可抗力）；

3)明確責(zé)任認(rèn)定的發(fā)起者及方式；

4)責(zé)任認(rèn)定的第三方監(jiān)督方式；

g）宜建立計(jì)算機(jī)視覺算法周期性審計(jì)制度，規(guī)定以下內(nèi)容：

1)審計(jì)頻次（如年審等）；

2)審計(jì)方式（如全局、局部）；

3)稽查方法（如順查、逆查、抽查等）和使用原則；

4)記錄方法及其生效和保存條件；

5)報(bào)告，其中應(yīng)明確調(diào)查者與被調(diào)查者，包含范圍段、意見段、簽章及日期等要素；

6)審計(jì)結(jié)果的利用方法，復(fù)核方法。

6.5透明性

計(jì)算機(jī)視覺系統(tǒng)，符合以下關(guān)于透明性的要求：

a）應(yīng)分析視覺處理、子系統(tǒng)對(duì)外部的影響，包含但不限于：

1)工作流上下游子系統(tǒng)；

2)外部關(guān)聯(lián)系統(tǒng)；

b）應(yīng)披露視覺處理、子系統(tǒng)對(duì)外部的影響，包含但不限于a）中提出的系統(tǒng)能完全、部分或無法

獲知的影響其業(yè)務(wù)的數(shù)據(jù)及行為；

c）應(yīng)定義人工智能子系統(tǒng)的潛在受益、受害群體，并保證這些群體能獲知完整信息；

d）應(yīng)對(duì)數(shù)據(jù)集的利益相關(guān)方，就數(shù)據(jù)使用情況（含使用方法、展示方式、周期等）建立通報(bào)機(jī)制；

e）對(duì)涉及重識(shí)別的數(shù)據(jù)擁有者，應(yīng)提供關(guān)于其數(shù)據(jù)使用、展示、維護(hù)過程等的信息；

f）在系統(tǒng)部署前，應(yīng)將系統(tǒng)行為告知利益相關(guān)方，包含但不限于：決策的效果、目的、依據(jù)和局

限性；

g）應(yīng)明確告知最終用戶或其他主體其正在與機(jī)器交互；

h）應(yīng)對(duì)用戶在使用過程中受不公平對(duì)待的情形，提出維護(hù)權(quán)益的途徑；

i）應(yīng)提供對(duì)系統(tǒng)所使用或生成數(shù)據(jù)的來源及變化的描述，宜提供檢查手段。

7可信賴實(shí)踐要求

7.1魯棒性

7.1.1圖像、視頻處理

計(jì)算機(jī)視覺系統(tǒng)圖像、視頻處理魯棒性要求，包含但不限于：

a)如系統(tǒng)提供編解碼功能，則該功能滿足以下要求：

1)對(duì)合法的圖像輸入，應(yīng)能輸出指定格式、分辨率、位分辨率的圖像數(shù)據(jù)；

9

T/CESAXXXX-2022

2)對(duì)合法的視頻輸入，應(yīng)能輸出指定編碼格式、分辨率、位分辨率、幀速率、碼率的視頻數(shù)

據(jù)；

b)如系統(tǒng)提供去噪功能，則該功能應(yīng)能識(shí)別并去除不同水平的和類型（如高斯、泊松、斑點(diǎn)等）

的噪聲；

c)如系統(tǒng)提供邊緣檢測(cè)功能，則該功能滿足以下要求：

1)檢測(cè)算法（核或算子）的輸出質(zhì)量不因輸入圖像的方向變化而改變；

2)能識(shí)別帶噪邊緣，區(qū)別噪聲與邊緣；

d)如系統(tǒng)提供圖像、視頻填充功能，則該功能滿足以下要求：

1)應(yīng)能對(duì)含鋸齒狀邊緣、自交多邊形邊緣、內(nèi)或外多邊形邊緣的輸入輸出準(zhǔn)確填充結(jié)果；

2)具備圖像完整性和邏輯性檢查能力，填充結(jié)果不應(yīng)出現(xiàn)邊界判別錯(cuò)誤、邊界丟失；

e)如系統(tǒng)提供拼接功能，則該功能應(yīng)滿足以下要求：

1)拼接圖像結(jié)果符合尺度不變性、旋轉(zhuǎn)不變性；

2)拼接圖像結(jié)果的質(zhì)量不因圖像噪聲、采集角度差異、光照差異等因素下降；

3)拼接過程應(yīng)能平滑拼接處的光照、色澤差異，不引起重影、形變；

f)如系統(tǒng)提供圖像、視頻分割功能，對(duì)邊界識(shí)別不應(yīng)受光照、噪點(diǎn)等因素影響；

g)系統(tǒng)提供水印處理功能時(shí)：

1)人眼不可見水?。に。?，滿足以下要求：

?應(yīng)保證人眼不可見；

?宜不因圖像域變換、擾動(dòng)等操作而復(fù)見；

?應(yīng)能被授權(quán)操作檢出，水印類別可識(shí)別（可識(shí)別性）；

?應(yīng)能被授權(quán)操作去除，所得圖像與原圖像一致（可還原性）；

?宜不因圖像亮度變化、對(duì)比度變化、噪聲等操作而去除或無法檢出；

2)人眼可見水印的處理，滿足以下要求：

?應(yīng)保證人眼可見；

?宜不因圖像域變換、擾動(dòng)等操作而消失。

7.1.2圖像、視頻分析

計(jì)算機(jī)視覺系統(tǒng)圖像、視頻分析魯棒性要求，包含但不限于：

a)如系統(tǒng)提供顏色識(shí)別功能，則該功能滿足以下要求：

1)應(yīng)能在不同的噪聲環(huán)境下，準(zhǔn)確標(biāo)識(shí)顏色；

2)識(shí)別過程、結(jié)果宜具備顏色恒常性；

3)宜能在不同環(huán)境遮擋物、覆蓋物、天候影響下，準(zhǔn)確標(biāo)識(shí)顏色。

b)如系統(tǒng)提供物體識(shí)別功能，則該功能宜滿足以下要求：

1)不受表面其它圖形、噪聲、（部分）遮擋等因素影響，輸出錯(cuò)誤分類結(jié)果；

2)不受物體光照、角度、對(duì)抗樣本等因素影響，輸出錯(cuò)誤分類結(jié)果。

c)如系統(tǒng)提供人臉識(shí)別功能，則識(shí)別結(jié)果準(zhǔn)確率不應(yīng)受圖像灰度值的影響，不宜受角度及臉部涂

鴉遮擋等因素的影響。

d)如系統(tǒng)提供物體檢測(cè)功能，則檢測(cè)過程不應(yīng)受圖像灰度值、噪音等因素影響，而輸出錯(cuò)誤的物

體邊界；

e)如系統(tǒng)提供字符識(shí)別功能，則該功能滿足以下要求：

1)應(yīng)能識(shí)別不同顏色的字符；

2)應(yīng)能識(shí)別混色字符；

3)宜能識(shí)別復(fù)雜背景中的字符；

10

T/CESAXXXX-2022

4)宜能識(shí)別扭曲（彎曲、非直線走向、不規(guī)則形狀）的字符；

5)應(yīng)能識(shí)別大小混寫字符；

6)宜能識(shí)別失真（如移動(dòng)中拍攝）字符；

7)宜能識(shí)別非均勻光照（明暗變化、曝光過度）圖像中的字符；

8)宜能識(shí)別形態(tài)退化（灰度/清晰度退化或形態(tài)結(jié)構(gòu)規(guī)劃）圖像中的字符。

7.2韌性

7.2.1概述

計(jì)算機(jī)視覺系統(tǒng)的韌性，包含：

a)故障防御：系統(tǒng)的視覺功能具備防止外部惡意侵害的能力；

b)故障承受：系統(tǒng)視覺功能失能或部分失能時(shí)，系統(tǒng)不降低服務(wù)質(zhì)量或停止服務(wù)；

c)系統(tǒng)恢復(fù)：系統(tǒng)能夠自動(dòng)檢出，定位圖像、視頻處理、分析模塊及工作流的故障，并重置故障

模塊，恢復(fù)其正常功能。

7.2.2故障防御要求

計(jì)算機(jī)視覺系統(tǒng)，應(yīng)能夠防御如下攻擊，包含但不限于：

a)閃避攻擊：通過修改圖像、視頻輸入，使機(jī)器學(xué)習(xí)模型無法正確判斷、決策，導(dǎo)致系統(tǒng)錯(cuò)誤輸

出的行為。包含但不限于：

1)對(duì)抗樣本攻擊：對(duì)輸入圖像、視頻幀實(shí)施微小擾動(dòng)，從而使機(jī)器學(xué)習(xí)模型決策失效；

2)物理實(shí)體攻擊：在現(xiàn)實(shí)物理世界中放置加入擾動(dòng)之后的對(duì)抗樣本圖像、視頻幀等，以使計(jì)

算機(jī)視覺系統(tǒng)對(duì)物理世界認(rèn)知出現(xiàn)偏差，導(dǎo)致錯(cuò)誤決策；

注：對(duì)不涉及物理世界視覺業(yè)務(wù)的計(jì)算機(jī)視覺系統(tǒng)，2）不適用。

3)模型竊取攻擊：在未知機(jī)器學(xué)習(xí)模型結(jié)構(gòu)及參數(shù)的情況下，通過多次查詢得出相同或近似

的訓(xùn)練數(shù)據(jù)集，并以此訓(xùn)練功能類似的模型來生成對(duì)抗樣本，使系統(tǒng)在未察覺數(shù)據(jù)、模型

參數(shù)泄露的情況下遭受攻擊，導(dǎo)致錯(cuò)誤決策；

b)過載攻擊：產(chǎn)生并高頻發(fā)送大量圖像、視頻幀，使處理、分析模塊所依賴的計(jì)算軟硬件發(fā)生過

載、緩沖溢出、擁塞丟失輸入、過熱燒毀等情況，造成計(jì)算機(jī)視覺系統(tǒng)故障。

7.2.3故障承受要求

在部分組件故障的情況下，計(jì)算機(jī)視覺系統(tǒng)應(yīng)能提供視覺功能服務(wù)，宜保持故障發(fā)生前的服務(wù)水平

（如預(yù)測(cè)準(zhǔn)確率，吞吐率等）。

7.2.4故障恢復(fù)要求

計(jì)算機(jī)視覺系統(tǒng)，宜具備如下故障恢復(fù)能力：

a)能直接察覺決策錯(cuò)誤，并確定是否存在故障；

b)能定位故障，或配備故障定位的輔助措施；

c)能重置故障組件，使之在業(yè)務(wù)邏輯可接受的時(shí)間范圍內(nèi)恢復(fù)正常工作。

7.3可解釋性

計(jì)算機(jī)視覺系統(tǒng)，符合以下關(guān)于可解釋性的要求：

a）應(yīng)能提供事前（固有）解釋（內(nèi)在、設(shè)計(jì)時(shí)的解釋），在投入應(yīng)用前，向利益相關(guān)方總結(jié)、說

明系統(tǒng)行為特性；

11

T/CESAXXXX-2022

b）應(yīng)能提供事后解釋，在投入使用后，向利益相關(guān)方解釋特定輸入與輸出的邏輯關(guān)系，此邏輯關(guān)

系應(yīng)能被利益相關(guān)方理解；

c）應(yīng)能結(jié)合訓(xùn)練數(shù)據(jù)及訓(xùn)練過程，對(duì)模型中某區(qū)域的權(quán)值及變化給出解釋，說明訓(xùn)練數(shù)據(jù)及其使

用是如何影響模型特定區(qū)域的權(quán)值的；

d）應(yīng)能結(jié)合訓(xùn)練數(shù)據(jù)及訓(xùn)練過程，對(duì)系統(tǒng)表現(xiàn)出的行為給出解釋，說明訓(xùn)練數(shù)據(jù)及其使用是如何

影響模型行為的；

e）宜能對(duì)基于生產(chǎn)環(huán)境數(shù)據(jù)的訓(xùn)練和推理提供a）~d）規(guī)定的解釋；

f）宜通過可視化等方式增強(qiáng)視覺系統(tǒng)可解釋性，在模型訓(xùn)練、推理過程中，提供對(duì)特定現(xiàn)象的解

釋。

7.4實(shí)時(shí)性

計(jì)算機(jī)視覺系統(tǒng)，符合以下實(shí)時(shí)性要求：

a)如系統(tǒng)提供編解碼功能，則該功能應(yīng)在設(shè)計(jì)要求延時(shí)范圍內(nèi)完成編、解碼。編解碼參數(shù)，按計(jì)

算機(jī)視覺系統(tǒng)的形態(tài)，參考GB/T42018―2022中，6.1.2.1i）~6.1.2.1k），6.1.2.2e），

6.1.2.2g）~6.1.2.2j）和6.1.3i）~6.1.3j）的規(guī)定；

b)如系統(tǒng)提供去噪功能，則該功能應(yīng)滿足以下要求：

1)對(duì)不同噪聲功率的圖像，在規(guī)定延時(shí)內(nèi)輸出符合設(shè)計(jì)要求；

2)視頻去噪不降低幀率；

c)如系統(tǒng)提供邊緣檢測(cè)功能，則該功能滿足以下要求：

1)應(yīng)在設(shè)計(jì)要求延時(shí)范圍內(nèi)完成檢測(cè)邊緣；

2)圖像分辨率變化不宜顯著增加邊緣檢測(cè)操作延時(shí)（延時(shí)差距不大于10%）；

d)如系統(tǒng)提供拼接功能，則該功能滿足以下要求：

1)對(duì)給定張數(shù)、分辨率的輸入圖像，應(yīng)在設(shè)計(jì)要求延時(shí)范圍內(nèi)輸出拼接結(jié)果；

2)光照差異不宜顯著影響拼接操作延時(shí)（延時(shí)差距不大于10%）；

e)如系統(tǒng)提供分割功能，則該功能滿足以下要求：

1)應(yīng)在設(shè)計(jì)要求延時(shí)范圍內(nèi)識(shí)別像素區(qū)域語義界線；

2)光照變化不宜顯著影響分割操作延時(shí)（延時(shí)差距不大于10%）。

f)如系統(tǒng)提供顏色識(shí)別功能，則該功能滿足以下要求：

1)應(yīng)在設(shè)計(jì)要求延時(shí)范圍內(nèi)標(biāo)識(shí)像素顏色；

2)圖像中漸變陰影覆蓋及其復(fù)雜度的變化不宜顯著增加操作延時(shí)（延時(shí)差距不大于10%）；

g)如系統(tǒng)提供物體識(shí)別功能，則該功能應(yīng)在設(shè)計(jì)要求延時(shí)范圍內(nèi)歸類物體；

h)如系統(tǒng)提供物體檢測(cè)功能，則該功能應(yīng)在設(shè)計(jì)要求延時(shí)范圍內(nèi)檢測(cè)物體，輸出包圍框或等效指

示數(shù)據(jù)。

7.5可復(fù)現(xiàn)性

計(jì)算機(jī)視覺系統(tǒng)，應(yīng)符合以下關(guān)于可復(fù)現(xiàn)性的要求：

i)相同服務(wù)條件下，對(duì)相同的圖像、視頻輸入，計(jì)算機(jī)視覺系統(tǒng)總輸出一致的決策結(jié)果；

注1：服務(wù)條件，包含作業(yè)工具（人工智能計(jì)算設(shè)施軟硬件配置，啟停狀態(tài)，版本，功能）,操作賬號(hào),業(yè)務(wù)處理組

件（計(jì)算機(jī)視覺系統(tǒng)業(yè)務(wù)邏輯軟、硬件實(shí)現(xiàn)）,業(yè)務(wù)處理方法（模型初始化、調(diào)參、優(yōu)化過程、分布式運(yùn)行策略等）,

運(yùn)行環(huán)境條件（處理器、磁盤、內(nèi)存、數(shù)據(jù)通道利用率，系統(tǒng)中其他作業(yè)運(yùn)行狀態(tài)等）。

注2：a）中的“一致”指對(duì)于給定的測(cè)試集，不一致結(jié)果不超過總樣本數(shù)量的5%。

j)相同服務(wù)條件下，對(duì)相同的圖像、視頻輸入，處理、分析過程耗時(shí)和能耗一致。

注：b）中的“一致”指對(duì)于給定的測(cè)試集中的任一輸入樣本，耗時(shí)、能耗與該測(cè)試集上均值的差距不大于20%。

12

T/CESAXXXX-2022

7.6可控性

計(jì)算機(jī)視覺系統(tǒng)，符合以下可控性要求：

a)計(jì)算機(jī)視覺系統(tǒng)模塊、工作流存在一定程度的自主能力，控制過程宜包含系統(tǒng)狀態(tài)、過程觀測(cè)、

控制指令調(diào)用、系統(tǒng)響應(yīng)、系統(tǒng)狀態(tài)遷移及觀測(cè)和狀態(tài)滿足度度量等過程；

b)視覺處理模塊的運(yùn)行狀態(tài)及其遷移控制，應(yīng)滿足業(yè)務(wù)權(quán)限（角色）設(shè)計(jì)要求；

c)應(yīng)具備權(quán)限控制策略，授權(quán)控制命令的執(zhí)行；

d)應(yīng)具備權(quán)限控制策略，約束狀態(tài)及遷移過程對(duì)于業(yè)務(wù)邏輯規(guī)定的用戶群的可觀測(cè)性；

e)控制命令宜與業(yè)務(wù)邏輯指令分離傳輸和執(zhí)行；

f)應(yīng)提供能“終止”服務(wù)的操作；

g)宜實(shí)現(xiàn)人工接管機(jī)制。

7.7可追溯性

7.7.1異?？勺匪?/p>

計(jì)算機(jī)視覺系統(tǒng)應(yīng)能追溯以下異常信息：

a)邏輯異常，即與業(yè)務(wù)邏輯相關(guān)的異常，由業(yè)務(wù)程序?qū)崿F(xiàn)定義。對(duì)邏輯異常，能至少追溯異常的

描述，促使、判決系統(tǒng)進(jìn)入異常狀態(tài)的組件（或人）和異常發(fā)生時(shí)間；

b)軟件異常，即與業(yè)務(wù)邏輯無關(guān)的異常，由IT系統(tǒng)或程序本身的錯(cuò)誤（如空指針，IO錯(cuò)誤等）

觸發(fā)。對(duì)軟件異常，能至少追溯異常組件的名稱，或進(jìn)程標(biāo)識(shí)，異常發(fā)生的緩沖區(qū)標(biāo)識(shí)（如適

用）和異常類型；

c)硬件異常，即硬中斷（如stm32硬件錯(cuò)誤），指明硬件到達(dá)了某種暫時(shí)不可恢復(fù)的狀態(tài)。對(duì)硬

件異常，能至少追溯硬中斷標(biāo)識(shí)，物理緩沖區(qū)標(biāo)識(shí)（如適用）和物理緩沖區(qū)、寄存器、扇區(qū)信

息（如適用）。

7.7.2組成可追溯

計(jì)算機(jī)視覺系統(tǒng)，滿足以下組成可追溯要求：

a)記錄以下圖像、視頻處理、分析過程所使用的硬件信息及使用過程，包含但不限于：

1)硬件標(biāo)識(shí)、名稱、品牌、用途、型號(hào)、生產(chǎn)日期、產(chǎn)地、生產(chǎn)商、使用手冊(cè)獲取方法；

2)采購、運(yùn)輸、庫存、交接信息；

3)拆封、組裝、調(diào)試、安裝等過程涉及的儀器、人員、時(shí)間、地點(diǎn)信息；

4)在3）中涉及的圖形驅(qū)動(dòng)，工具軟件等，應(yīng)按7.7.2b）中的要求記錄；

5)在調(diào)試、運(yùn)行配置腳本時(shí)發(fā)生異常時(shí)，應(yīng)按7.7.1的規(guī)定記錄；

b)記錄以下圖像、視頻分析、處理軟件的獲取、調(diào)試和使用過程，包含但不限于：

1)軟件名稱、版本號(hào)、用途、運(yùn)行環(huán)境要求信息；

2)配置參數(shù)、實(shí)施人員信息；

3)實(shí)現(xiàn)圖像處理、分析功能的每個(gè)處理模塊的名稱，版本號(hào)，參數(shù)配置信息；

4)視覺機(jī)器學(xué)習(xí)模型或算法的部署過程調(diào)用及參數(shù)，宜包含完整性校驗(yàn)方法和結(jié)果；

5)如計(jì)算機(jī)視覺系統(tǒng)采用在線訓(xùn)練視覺模型，應(yīng)記錄每次訓(xùn)練過程的信息，包含操作組件

（人）標(biāo)識(shí)，訓(xùn)練數(shù)據(jù)標(biāo)識(shí)，訓(xùn)練時(shí)段，新模型校驗(yàn)結(jié)果，部署過程（按4）的要求記錄）。

6)如存在調(diào)試過程，應(yīng)記錄調(diào)試程序版本和存放路徑；

7)在調(diào)試過程中出現(xiàn)異常，按7.7.1的要求記錄。

7.7.3運(yùn)行可追溯

13

T/CESAXXXX-2022

計(jì)算機(jī)視覺系統(tǒng)，滿足以下運(yùn)行可追溯要求：

a)應(yīng)支持單一功能模塊、工作流功能調(diào)用記錄；

b)功能調(diào)用的記錄，應(yīng)包含調(diào)用行為的時(shí)間戳、操作組件（人），參數(shù)值（對(duì)于圖片、視頻等二

進(jìn)制參數(shù)，需記錄存取地址）和返回值；

c)圖像、視頻處理模塊運(yùn)行的記錄，應(yīng)包含模塊名稱、版本號(hào)、輸入、輸出圖像、視頻存取地址，

運(yùn)行起止時(shí)間、操作人（組件）；

d)涉及決策的模塊的運(yùn)行記錄應(yīng)包含模塊名稱、版本號(hào)、輸入圖像（或圖像序列）存取地址、輸

出值等信息，運(yùn)行起止時(shí)間戳，操作人員（組件）；

e)對(duì)從系統(tǒng)外部施加的視頻盜取等非授權(quán)操作，宜能追溯如下信息：

1)錄屏、盜攝片段信息，包含視頻文件標(biāo)識(shí)和被錄屏、盜攝片段的起止時(shí)間；

2)錄屏、盜攝片段的流出渠道信息，包含操作者賬號(hào)和片段流向目標(biāo)信息；

3)對(duì)從網(wǎng)絡(luò)流出的片段，流向目標(biāo)應(yīng)包含接收方地址；

f)運(yùn)行過程中，有異常發(fā)生時(shí)，按照7.7.1的要求記錄異常信息。

7.7.4維護(hù)可追溯

計(jì)算機(jī)視覺系統(tǒng)，滿足以下維護(hù)可追溯要求：

a)計(jì)算機(jī)視覺系統(tǒng)維護(hù)信息應(yīng)至少包含操作人、操作過程信息（如存在自動(dòng)維護(hù)過程，則應(yīng)記錄

控制組件信息及調(diào)用過程）和維護(hù)過程的起止時(shí)間；

b)當(dāng)硬件發(fā)生變更時(shí)（新加入或移除），應(yīng)按7.7.2a）的規(guī)定記錄硬件信息。

a)當(dāng)軟件發(fā)生變更時(shí)（新安裝或卸載），應(yīng)按7.7.2.b）的規(guī)定記錄軟件信息。對(duì)新安裝的軟件，

記錄安裝結(jié)果（成功或失?。?，對(duì)卸載的軟件，記錄卸載結(jié)果（成功或失?。?，殘余數(shù)據(jù)、組

件地址；

b)數(shù)據(jù)集變更的記錄，滿足以下要求：

1)如新加入數(shù)據(jù)，供圖像處理、分析機(jī)器學(xué)習(xí)模型在線學(xué)習(xí)時(shí)，應(yīng)記錄數(shù)據(jù)標(biāo)識(shí)及存取地址；

2)如淘汰舊數(shù)據(jù)，應(yīng)具備介質(zhì)來存儲(chǔ)淘汰數(shù)據(jù)，記錄數(shù)據(jù)標(biāo)識(shí)及存取地址；

3)如整體更換新的圖像、視頻數(shù)據(jù)集，應(yīng)記錄數(shù)據(jù)集完整性校驗(yàn)值及其存儲(chǔ)過程；

c)人工智能算法或模型變更的記錄，滿足以下要求：

1)如在線更新圖像處理、分析模型，應(yīng)按7.7.2b）5）的規(guī)定，記錄信息；

2)應(yīng)配備存儲(chǔ)媒體，保存所移除模型或算法，并對(duì)存儲(chǔ)媒體的訪問實(shí)施控制；

d)模塊或系統(tǒng)啟停的記錄，應(yīng)包含啟停操作的原因，宜包含相關(guān)業(yè)務(wù)的影響范圍及通告復(fù)本；

e)模塊或系統(tǒng)配置參數(shù)變更的記錄，應(yīng)滿足以下要求：

1)配置文件被替換時(shí)，記錄原配置文件及新配置文件的存取地址，完整性校驗(yàn)值；

2)配置文件被修改時(shí)，記錄新的文件完整性校驗(yàn)值；

f)計(jì)算機(jī)視覺系統(tǒng)銷毀時(shí)，應(yīng)記錄移除軟硬件的操作和去向。

7.8備份

計(jì)算機(jī)視覺系統(tǒng)，宜制備備份系統(tǒng)，符合以下要求：

a)備份系統(tǒng)實(shí)現(xiàn)與視覺子系統(tǒng)相同的業(yè)務(wù)邏輯，滿足業(yè)務(wù)要求；

b)備份系統(tǒng)采用與主系統(tǒng)不同的技術(shù)路線實(shí)現(xiàn)（如對(duì)基于深度學(xué)習(xí)的子系統(tǒng)的備份，可由非人工

智能技術(shù)實(shí)現(xiàn)業(yè)務(wù)邏輯），在無不同技術(shù)路線備份時(shí)，可采用多模型互備；

c)系統(tǒng)失能情況下，卻無備份系統(tǒng)時(shí)，已定義人工操作流程。

7.9可泛化性

14

T/CESAXXXX-2022

計(jì)算機(jī)視覺系統(tǒng)，應(yīng)符合以下關(guān)于可泛化性的要求：

a）在研發(fā)過程中，使用至少1種方法增強(qiáng)可泛化性，包含Dropout、數(shù)據(jù)增強(qiáng)（如縮放、裁剪等）、

噪聲（如白噪聲）注入、提前停止、批量歸一化或梯度下降干預(yù)（如梯度截?cái)啵┑龋?/p>

b）在與測(cè)試集光照,角度,目標(biāo)尺寸等因素相近但場(chǎng)景不同的生產(chǎn)環(huán)境中，系統(tǒng)預(yù)測(cè)準(zhǔn)確率不低于

模型在測(cè)試集上準(zhǔn)確率的50%。

7.10緩解偏見

計(jì)算機(jī)視覺系統(tǒng)，宜符合以下關(guān)于緩解偏見行為的要求：

a)在研發(fā)階段，識(shí)別可能涉及的偏見類型，包含但不限于：性別，人種，民族，特殊群體（如殘

障）等；

b)在研發(fā)階段，識(shí)別可能導(dǎo)致偏見的原因，包含但不限于：

1)樣本分布（如在特定特征明顯的圖像集合上訓(xùn)練模型，使模型在此特征不明顯的情況下獲

得較低預(yù)測(cè)準(zhǔn)確率）；

2)錯(cuò)誤排除（如未將非顯著特征作為訓(xùn)練輸入）；

3)不一致測(cè)量（僅使用1種照相或攝像設(shè)備采集圖像，使模型在其他設(shè)備所采集的圖像上獲

得較低的預(yù)測(cè)準(zhǔn)確率）；

4)不一致標(biāo)記（采用不一致的標(biāo)注尺度，標(biāo)注類似的圖像樣本）；

5)主觀態(tài)度（標(biāo)注帶有一致的主觀因素；

c)在運(yùn)行階段，提供偏見結(jié)果復(fù)議機(jī)制，至少提供問題反饋渠道，包含但不限于電話、網(wǎng)頁等。

7.11信息安全

7.11.1數(shù)據(jù)保護(hù)要求

計(jì)算機(jī)視覺系統(tǒng)訓(xùn)練及測(cè)試數(shù)據(jù)保護(hù)，符合以下要求，包含但不限于：

a)不被非授權(quán)篡改：

1)應(yīng)能實(shí)施數(shù)據(jù)完整性校驗(yàn)，隔離存儲(chǔ)校驗(yàn)值；

2)應(yīng)能以日志的方式記錄訓(xùn)練數(shù)據(jù)修改操作，且不提供日志修改、刪除操作，確保日志獨(dú)立

存儲(chǔ)；

3)應(yīng)能對(duì)訓(xùn)練數(shù)據(jù)的訪問操作設(shè)置權(quán)限；

4)應(yīng)能實(shí)施訪問源過濾機(jī)制，宜能對(duì)非授權(quán)的訪問源給予訓(xùn)練數(shù)據(jù)假象；

5)應(yīng)能實(shí)施圖像、視頻訓(xùn)練數(shù)據(jù)加密，獨(dú)立保存解密密鑰；

6)宜能實(shí)施圖像、視頻訓(xùn)練數(shù)據(jù)同態(tài)加密，并在密文上訓(xùn)練；

b)不被非授權(quán)拷貝：

1)應(yīng)實(shí)施權(quán)限控制，能針對(duì)訓(xùn)練數(shù)據(jù)目錄，最小化讀權(quán)限授予對(duì)象（操作者）集合；

2)在多參與方協(xié)同訓(xùn)練時(shí)，應(yīng)實(shí)現(xiàn)方案（如聯(lián)邦學(xué)習(xí)），保護(hù)各方數(shù)據(jù)不被非授權(quán)獲??；

3)應(yīng)符合a）中3）~5）的要求。

c)不被非授權(quán)檢視：

1)應(yīng)符合b）中1）和2）的要求；

2)應(yīng)符合a）中3）~6）的要求。

7.11.2模型保護(hù)要求

計(jì)算機(jī)視覺系統(tǒng)機(jī)器學(xué)習(xí)模型保護(hù)，符合以下要求，包含但不限于：

a)模型不被非授權(quán)修改和拷貝：

15

T/CESAXXXX-2022

1)應(yīng)能實(shí)施模型完整性校驗(yàn)，隔離存儲(chǔ)校驗(yàn)值；

2)應(yīng)能以日志記錄模型修改操作，不提供日志修改、刪除操作，確保日志獨(dú)立存儲(chǔ)；

3)應(yīng)能對(duì)模型的訪問操作設(shè)置權(quán)限；

4)應(yīng)能實(shí)施訪問源過濾機(jī)制，宜對(duì)來自非授權(quán)訪問給予模型假象；

5)在模型編譯后，宜能轉(zhuǎn)移編譯前模型到獨(dú)立存儲(chǔ)空間，該空間與網(wǎng)絡(luò)物理斷開；

6)應(yīng)能實(shí)施模型加密，獨(dú)立保存解密密鑰。

b)模型不被竊?。?/p>

1)應(yīng)能夠?qū)嵤┰L問行為控制，熔斷高頻大量推理任務(wù)；

2)宜能實(shí)施查詢控制，識(shí)別惡意查詢模式（如特定頻率、類型等），降低模型被仿造的風(fēng)險(xiǎn)；

c)宜能實(shí)施基于模型結(jié)構(gòu)的防御策略，在訓(xùn)練中調(diào)整模型結(jié)構(gòu)，降低模型輸出結(jié)果對(duì)樣本偏差的

敏感性；

d)宜能實(shí)施信息混淆防御，修改模型輸出、參數(shù)更新等交互數(shù)據(jù)，保證模型有效性的前提下，降

低信息泄露的風(fēng)險(xiǎn)。

8計(jì)算機(jī)視覺系統(tǒng)可信賴測(cè)試

8.1通則

計(jì)算機(jī)視覺系統(tǒng)可信賴測(cè)試的實(shí)施：

a)由運(yùn)行測(cè)試系統(tǒng)完成或由測(cè)試者人為評(píng)價(jià)：

1)由運(yùn)行測(cè)試系統(tǒng)獲得的測(cè)試結(jié)果，宜由測(cè)試者（抽樣）復(fù)查；

2)由測(cè)試者人為評(píng)價(jià)獲得的結(jié)果，應(yīng)由第三方（或其他測(cè)試者）復(fù)查或評(píng)審；

b)人為評(píng)價(jià)，應(yīng)基于及必要證據(jù)的檢查，證據(jù)包含但不限于：

3)用戶反饋或服務(wù)記錄；

4)系統(tǒng)組成、說明書、技術(shù)文件、應(yīng)用案例、自聲明或其他任何具有證明效力的文件；

c)應(yīng)按5.2的要求及系統(tǒng)的功能，選擇實(shí)施測(cè)試；

d)測(cè)試配置見附錄A。

8.2可靠性

計(jì)算機(jī)視覺系統(tǒng)的可靠性測(cè)試，魯棒性測(cè)試，參照表1的對(duì)應(yīng)關(guān)系，按8.2.2規(guī)定的操作實(shí)施，測(cè)試

的配置見附錄A.1。系統(tǒng)不具備測(cè)試集時(shí)，使用8.7.2和8.7.3提出的數(shù)據(jù)集。具備時(shí)，則使用系統(tǒng)提供

的測(cè)試集。

表1計(jì)算機(jī)視覺系統(tǒng)可靠性測(cè)試方法與技術(shù)要求的對(duì)應(yīng)關(guān)系

測(cè)試類項(xiàng)技術(shù)要求測(cè)試方法

6.1a）8.2.2a），8.2.2b）

非法輸入

6.1b）8.2.2a），8.2.2b），8.2.2c）

合法輸入6.1c）8.2.2d）

視覺模型訓(xùn)練恢8.2.2e），8.2.2f），8.2.2g），8.2.2

6.1d）

復(fù)h）

按以下規(guī)定，實(shí)施計(jì)算機(jī)視覺系統(tǒng)可靠性測(cè)試：

16

T/CESAXXXX-2022

a)對(duì)測(cè)試集中的任1樣本，按附錄B，實(shí)施格式或編碼格式轉(zhuǎn)換、縮放、位分辨率調(diào)整等操作，

生成不合法樣本；

b)將不合法樣本輸入計(jì)算機(jī)視覺系統(tǒng)或模塊，觀察輸出或其他信息；

c)交替輸入合法及不合法樣本，觀察計(jì)算機(jī)視覺系統(tǒng)或模塊的行為或反饋；

d)對(duì)合法圖像、視頻輸入，至少應(yīng)能從視覺系統(tǒng)獲得處理結(jié)果。按業(yè)務(wù)邏輯要求，人為評(píng)價(jià)結(jié)果

的可用性；

e)啟動(dòng)計(jì)算機(jī)視覺系統(tǒng)訓(xùn)練過程，觀察斷點(diǎn)保存情況，至少包含訓(xùn)練中間結(jié)果模型；

f)在計(jì)算機(jī)視覺系統(tǒng)訓(xùn)練過程中，注入故障（見8.8.3e）~8.8.3g）），獲取系統(tǒng)報(bào)錯(cuò)、警

告或停止信息；

g)設(shè)置系統(tǒng)訓(xùn)練從保存的斷點(diǎn)重啟，觀察中間模型的準(zhǔn)確率變化情況（重啟之后，訓(xùn)練過程獲得

的中間模型在驗(yàn)證集上的準(zhǔn)確率，不顯著低于斷點(diǎn)模型在相同驗(yàn)證集上的準(zhǔn)確率（偏差<

5%））；

h)在系統(tǒng)因故障停止后，觀察系統(tǒng)自動(dòng)按斷點(diǎn)恢復(fù)訓(xùn)練的情況，按g）的規(guī)定觀察準(zhǔn)確率變化情

況。

8.3公平性

計(jì)算機(jī)視覺系統(tǒng)或其提供方，向測(cè)試方提供關(guān)于6.3的規(guī)定的材料，證明技術(shù)、管理過程的準(zhǔn)備情

況。

8.4隱私數(shù)據(jù)保護(hù)

計(jì)算機(jī)視覺系統(tǒng)或其提供方，向測(cè)試方提供關(guān)于6.3的規(guī)定的材料，證明技術(shù)、管理過程的準(zhǔn)備情

況，對(duì)6.3.2的要求，提供實(shí)現(xiàn)、運(yùn)行情況或規(guī)劃；

8.5可問責(zé)性

計(jì)算機(jī)視覺系統(tǒng)或其提供方，向測(cè)試方提供關(guān)于6.4的規(guī)定的證明材料，證明技術(shù)、管理過程的準(zhǔn)

備情況。

8.6透明性

計(jì)算機(jī)視覺系統(tǒng)或其提供方，向測(cè)試方提供關(guān)于6.5的規(guī)定的證明材料，證明技術(shù)、管理過程的準(zhǔn)

備情況。

8.7魯棒性

魯棒性的測(cè)試，按表2的對(duì)應(yīng)關(guān)系，執(zhí)行8.7.2和8.7.3規(guī)定的操作實(shí)施，測(cè)試的配置見附錄A.6。如

計(jì)算機(jī)視覺系統(tǒng)沒有專用測(cè)試集，可使用8.7.2和8.7.3提出的數(shù)據(jù)集。具備專用測(cè)試集時(shí)，則使用專用

測(cè)試集：

表2計(jì)算機(jī)視覺系統(tǒng)魯棒性測(cè)試方法與技術(shù)要求的對(duì)應(yīng)關(guān)系

測(cè)試類項(xiàng)技術(shù)要求測(cè)試方法

7.1.1a）1）

編解碼8.7.2a）

7.1.1a）2）

去噪7.1.1b）8.7.2b），8.7.2c），8.7.2d）

邊緣檢測(cè)7.1.1c)1）8.7.2e)

17

T/CESAXXXX-2022

7.1.1c）2）8.7.2f）

7.1.1d）1）8.7.2g）

填充

7.1.1d）2）8.7.2h）

7.1.1e）1）8.7.2i）1），8.7.2i）2）

拼接7.1.1e）2）8.7.2i）3），8.7.2i）4）

7.1.1e）3）8.7.2i）5）

分割7.1.1f）8.7.2j）

7.1.1g）1）8.7.2k）~q）

水印

7.1.1g）2）8.7.2k）~m）

7.1.2a）1）8.7.3a），8.7.3b），8.7.3e）

7.1.2a）2）8.7.3a），8.7.3c），8.7.3e）

顏色識(shí)別

8.7.3a），8.7.3b），8.7.3d），

7.1.2a3）

8.7.3e）

8.7.3f），8.7.3g），8.7.3l）；

7.1.2b）1）

8.7.3f），8.7.3h），8.7.3l）

物體識(shí)別8.7.3f），8.7.3c），8.7.3l）；

7.1.2b）2）8.7.3f），8.7.3j），8.7.3l）；

8.7.3f），8.7.3k），8.7.3l）

8.7.3m），8.7.3i），8.7.3n)；

人臉識(shí)別7.1.2c）8.7.3m），8.7.3j），8.7.3n)；

8.7.3m），8.7.3d），8.7.3n)

8.7.3o），8.7.3i），8.7.3p），

物體檢測(cè)7.1.2d）

8.7.3o），8.7.3h），8.7.3p）

7.1.2e）1）~7.1.2

8.7.3q），8.7.3s）

e）5）

字符識(shí)別

7.1.2e）6）~

8.7.3r），8.7.3s）

7.1.2e）8）

按以下方法實(shí)施圖像、視頻處理的魯棒性測(cè)試：

a)向系統(tǒng)輸入合法數(shù)據(jù)，系統(tǒng)應(yīng)能按要求編解碼，并輸出正確結(jié)果；

b)采用Mnist或cifar10數(shù)據(jù)集，各隨機(jī)抽樣100例，分別加入高斯、泊松、斑點(diǎn)噪聲。對(duì)于每

種噪聲，設(shè)置2種強(qiáng)度參數(shù)配置，獲得18個(gè)帶噪數(shù)據(jù)集。噪聲點(diǎn)的像素值為全1（白色），

參考參數(shù)如下：

1)高斯噪聲：（），（）；

2)泊松噪聲：（），（）；

3)斑點(diǎn)噪聲（負(fù)指數(shù)分布）：（），（）；

c)運(yùn)行計(jì)算機(jī)視覺系統(tǒng)噪聲識(shí)別功能，應(yīng)能對(duì)60%的圖像，正確輸出噪聲類型；

d)運(yùn)行計(jì)算機(jī)視覺系統(tǒng)噪聲去除功能，對(duì)比輸出圖像與未加噪圖像的差異（在60%的測(cè)試樣本上，

接近全0）；

18

T/CESAXXXX-2022

e)對(duì)特定測(cè)試集（如BSDS500），對(duì)任一輸入樣本圖像做旋轉(zhuǎn)操作，每隔60度，45度形成1個(gè)

新樣本（原樣本和旋轉(zhuǎn)后的樣本共13個(gè)），輸入邊緣檢測(cè)模塊或系統(tǒng)，檢查邊緣檢出情況；

f)對(duì)e）中描述的測(cè)試集中任一輸入樣本，施加b）中提出的任意噪聲，輸入邊緣檢測(cè)模塊或系

統(tǒng)，檢查邊緣檢出情況；

g)選取鋸齒狀邊緣，自交多邊形邊緣，內(nèi)外多邊形邊緣的圖像（如從Mnist數(shù)據(jù)集衍生），輸入

視覺系統(tǒng)或模塊，選取與色塊不同的顏色（如對(duì)于Mnist數(shù)據(jù)集，選取紅色）實(shí)施填充（如對(duì)

Mnist樣本，填充原字符黑色所占的區(qū)域），檢查填充結(jié)果（掃描填充后的圖像，是否含有原

字符色值像素）；

h)隨機(jī)從cifar10或Imagenet中選取特定數(shù)量（如100）的樣本，以其中前景物體為目標(biāo)，使

用視覺系統(tǒng)或模塊實(shí)施填充操作（填充色可隨機(jī)選取原前景中不存在的顏色值），檢查填充結(jié)

果（掃描填充后的圖像，是否含有原圖前景的任何像素上的色值）；

i)隨機(jī)從cifar10或Imagenet中選取特定數(shù)量（如100）的樣本作為集合，對(duì)其中任1圖像，

實(shí)施以下操作：

4)切分為兩幅圖像（A，B），切分線為直線，A、B分別獲得原圖像的不少于40%像素，并補(bǔ)

充背景。對(duì)圖像A實(shí)施等比縮放（尺度為50%，150%），獲得A1和A2。使用視覺系統(tǒng)或

模塊，分別將A1，A2，A與B拼接，檢查拼接結(jié)果；

5)對(duì)1）中A1，A2和A實(shí)施旋轉(zhuǎn)操作（角度在0度-90度之間，隨機(jī)選?。┇@得A1’，A2’和

A’，使用視覺系統(tǒng)或模塊，分別將A1’，A2’和A’與B拼接，檢查拼接結(jié)果；

6)對(duì)1）中A1，A2和A實(shí)施，施加b）中的任何1種噪聲，再與B拼接，檢查拼接結(jié)果；

7)對(duì)1）中A1，A2和A實(shí)施，施加亮度調(diào)整（如通過調(diào)整c通道），再與B拼接，檢查拼

接結(jié)果；

8)對(duì)1）~4）中的結(jié)果，人工檢查，是否引起肉眼能分辨的光照、色澤差異或重影、形變；

j)隨機(jī)從PascalVOC2012中選取特定數(shù)量（如100）的樣本作為集合，對(duì)其中任1圖像，實(shí)施

亮度調(diào)整（增加及減?。?，或添加c）中的噪聲，分別形成新的圖像，對(duì)原圖和新圖像實(shí)施分

割操作，人工檢查新圖像與原圖像分割后的邊界的一致性和正確性；

k)使用LVM和PascalVOC2012，選取特定數(shù)量（如100）的樣本作為集合，對(duì)PascalVOC2012

中選中的圖像，施加LVM中規(guī)定的（LVM包含位置）水印（可見或不可見）；

l)對(duì)k）中的結(jié)果圖像，人工檢查是否肉眼可分辨；

m)對(duì)k）中的結(jié)果圖像，添加b）中任1噪聲，人工檢查水印是否肉眼可分辨；

n)對(duì)k）中的原始圖像，在圖內(nèi)不同區(qū)域，添加相同水印，記錄位置，人工檢查水印是否肉眼可

分辨；

o)對(duì)k）中的結(jié)果圖像，利用視覺系統(tǒng)檢出水印所在位置（或包圍框），對(duì)比標(biāo)注值；

p)對(duì)k）中的結(jié)果圖像，利用視覺系統(tǒng)去除水印，將結(jié)果圖像與l）中對(duì)應(yīng)原圖逐像素對(duì)比；

q)對(duì)l）中的結(jié)果圖像，實(shí)施8.7.3b），8.7.3c），8.7.3i）規(guī)定的操作，再按o），p）

的規(guī)定，檢查檢出和去除效果。

按以下方法實(shí)施圖像、視頻分析的魯棒性測(cè)試：

a)隨機(jī)選取100種顏色，記錄顏色值，生成純色圖像；

b)施加8.7.2b）中任1種噪聲；

c)改變圖像亮度（如增加50%和減小50%）；

d)隨機(jī)選取Mnist中的樣本作為前景，將已有圖像作為背景，合成新圖像；

e)識(shí)別顏色值，并與記錄的顏色值對(duì)比；

f)從cifar10中隨機(jī)選取一定數(shù)量樣本（如100）；

g)對(duì)每個(gè)樣本，將樣本作為背景，從Mnist中隨機(jī)選取樣本作為前景，合成新圖像；

19

T/CESAXXXX-2022

h)對(duì)每個(gè)樣本，實(shí)施b），生成新圖像；

i)對(duì)每個(gè)樣本，調(diào)整灰度值（如實(shí)施線性灰度變換），生成新圖像；

j)對(duì)每個(gè)樣本，實(shí)施旋轉(zhuǎn)操作，角度間隔為60度和45度，生成旋轉(zhuǎn)后的圖像集合；

k)對(duì)每個(gè)樣本，隨機(jī)使用FGSM，RSSLLCM，MIM，PGD，DeepFool，JSMA，DIIM中的1個(gè)，形成對(duì)

抗樣本；

l)識(shí)別物體，輸出物體分類，并與樣本標(biāo)注對(duì)比；

m)使用LFW人臉數(shù)據(jù)集，隨機(jī)抽樣一定數(shù)量樣本（如100）；

n)識(shí)別人臉，輸出結(jié)果，并與樣本標(biāo)注對(duì)比；

o)使用PascalVOC2012數(shù)據(jù)集，隨機(jī)選取一定數(shù)量樣本（如100）；

p)檢測(cè)物體，輸出物體位置、邊界（如包圍框），與樣本標(biāo)注對(duì)比；

q)編制宏腳本，操縱文字處理軟件生成一定數(shù)量的（如100）符合7.1.2e）1）~7.1.2e）5）

的圖像，并生成標(biāo)注，形成數(shù)據(jù)集。其中，對(duì)復(fù)雜背景，從Imagenet中隨機(jī)抽取樣本圖像作

為背景。對(duì)扭曲字符，使用藝術(shù)字庫或調(diào)用文字變形功能。字符可選擇中文字符，英文字符等；

r)使用ChineseTextinWild數(shù)據(jù)集，抽取一定數(shù)量的樣本（如100）；

s)實(shí)施字符識(shí)別，將結(jié)果與樣本標(biāo)注比較。

8.8韌性

韌性測(cè)試，參照表3的對(duì)應(yīng)關(guān)系，按8.8.2和8.8.3規(guī)定的操作實(shí)施，測(cè)試的配置見附錄A.7。如計(jì)算

機(jī)視覺系統(tǒng)沒有專用測(cè)試集，可使用8.7.2和8.7.3提出的數(shù)據(jù)集。具備時(shí)，則使用專用測(cè)試集：

表3計(jì)算機(jī)視覺系統(tǒng)韌性測(cè)試方法與技術(shù)要求的對(duì)應(yīng)關(guān)系

測(cè)試類項(xiàng)技術(shù)要求測(cè)試方法

7.2.2a）1）8.8.2a），8.8.2b），8.8.2c）

閃避攻擊7.2.2a）2）8.8.2d）

7.2.2a）3）8.8.2e），8.8.2f），8.8.2g）

過載攻擊7.2.2b）8.8.2h）

8.8.3a），8.8.3b），8.8.3c），8.8.3

故障承受7.2.3

d）

7.2.4a）8.8.4a）

故障恢復(fù)7.2.4b）8.8.4b）

7.2.4c）8.8.4c）

故障防御要求按以下方法實(shí)施測(cè)試：

a)從cifar10中隨機(jī)選取一定數(shù)量樣本（如100）；

b)按8.7.3k）的規(guī)定實(shí)施操作；

c)輸出視覺處理或分析結(jié)果，與樣本對(duì)比；

d)按業(yè)務(wù)要求的介質(zhì)，打印或建立物理樣本，按a）~c）的規(guī)定測(cè)試，按8.7.3g）的規(guī)定模

擬物理覆蓋或涂鴉；

e)選用VGG，Resnet或其他模型作為代替模型，使用公共數(shù)據(jù)集（如Imagenet，cifar10，cifar100，

PascalVOC2012等）或其他視覺數(shù)據(jù)集作為輸入，按特定頻率（或可變頻率）向計(jì)算機(jī)視覺

系統(tǒng)或模塊發(fā)送輸入請(qǐng)求，獲得輸出并與標(biāo)注對(duì)比，選出預(yù)測(cè)正確的樣本，形成集合；

f)完成代替模型的訓(xùn)練；

g)測(cè)試代替模型與計(jì)算機(jī)視覺系統(tǒng)或模塊在特定測(cè)試集上的準(zhǔn)確率差異；

20

T/CESAXXXX-2022

h)按T/CESA1169―2021中“表13”規(guī)定的“高峰到達(dá)”模式，向計(jì)算機(jī)視覺系統(tǒng)或模塊重復(fù)

發(fā)送