《公共安全應(yīng)用 視(音)頻智能識(shí)別算法評(píng)估和管理要求》征求意見稿

AssessmentandmanagementrequiremeI 4 4 4 4 6 6 6 6 6 8 8 8 8 8 9 9 9 9 9 9 本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定4公共安全應(yīng)用視(音)頻智能識(shí)別算法評(píng)估和管理要求本標(biāo)準(zhǔn)規(guī)定了公共安全應(yīng)用領(lǐng)域視(音)頻智能識(shí)別算法評(píng)估、管凡是不注日期的引用文件，其最新版本（包括所有的修改單）GB/T41867-2022信息技GB/T41786-2022公共安全GB/T42888-2023信息安全技術(shù)機(jī)器學(xué)習(xí)算法安全評(píng)GB/Z42759-2023智慧城市人工智能技術(shù)應(yīng)用場(chǎng)景分T/CESA1021-2018人工智能深度學(xué)習(xí)算法GB/T41867-2022、GB/T41786-2022、GB/T42888-2023、T/CESA1021-2018界定的以及下列術(shù)語頻等）進(jìn)行自動(dòng)分析，進(jìn)而獲得其中的物體對(duì)象或行為事件的描述和解釋的智能事件分析、步態(tài)預(yù)警、人證核驗(yàn)、車牌識(shí)別、人群聚集檢測(cè)、語音識(shí)別等，不包括城市治理中人工智能技術(shù)的應(yīng)用場(chǎng)景中其他領(lǐng)域如智慧5二分類算法binaryclassification多分類算法multi-classclass對(duì)抗樣本adversarialexa灰盒方式生成的樣本：指目標(biāo)模型部分已知的情況下（如模型結(jié)構(gòu)信息已知但無法獲得模型參數(shù)），利用模型的查詢權(quán)限等方式來生成對(duì)黑盒方式生成的樣本：指目標(biāo)模型未知的情況下，利用一個(gè)替代模型進(jìn)行模型估計(jì)，針對(duì)替代模型使用白盒方式生成6對(duì)抗樣本攻擊electronicadversarialAUC：ROC曲線下方面積（AreaunderthCPU：中央處理器（centralprocessingFGSM：快速梯度下降法（FastGradientSignMQPS：每秒查詢率（Queries-per-sROC：受試者工作特征（ReceiverOperatTOPS：每秒萬億次操作（TeraOperationsPerS4評(píng)估和管理原則4.1基本原則報(bào)。同時(shí)，對(duì)于不同的應(yīng)用場(chǎng)景和需求，算法應(yīng)能夠進(jìn)行定制化優(yōu)化，以提高識(shí)別效果；對(duì)新型數(shù)據(jù)格式的支持以及對(duì)新應(yīng)用場(chǎng)景的適視(音)頻智能識(shí)別算法在公共安全應(yīng)用應(yīng)遵循不同分級(jí)原則，具體分級(jí)如a)A級(jí)：國(guó)家及地方的法律法規(guī)、標(biāo)準(zhǔn)規(guī)范或相關(guān)管理部門要求的公共安全非重點(diǎn)區(qū)域或中、低b)B級(jí)：國(guó)家及地方的法律法規(guī)、標(biāo)準(zhǔn)規(guī)范或相關(guān)管理部門要求的公共安全重點(diǎn)區(qū)域或高風(fēng)險(xiǎn)場(chǎng)75.1算法評(píng)估環(huán)境注：按照算力大小可將硬件設(shè)備分為端側(cè)設(shè)備（設(shè)備算力＜5TOPS@INT8）、邊側(cè)設(shè)備（5TOPS@INT8≤設(shè)備算力≤40TOPS@INT8）、云側(cè)設(shè)備（設(shè)備算力＞40TOPS@I其他：根據(jù)具體的算法和應(yīng)用場(chǎng)景，如涉及其他硬件環(huán)境的，如專用加速器等，也需要注操作系統(tǒng)：應(yīng)注明算法運(yùn)行的操作系統(tǒng)類型5.2算法性能1二分類算法應(yīng)通過算法精準(zhǔn)性的指標(biāo)評(píng)B級(jí)：AUC≥0.75；A級(jí)：AUC≥0.65。2多分類算法應(yīng)通過算法精準(zhǔn)性的指標(biāo)評(píng)1單條檢索響應(yīng)時(shí)間應(yīng)通B級(jí)：?jiǎn)螚l檢索≤1s；8A級(jí)：?jiǎn)螚l檢索≤2s。2單條檢索響應(yīng)時(shí)間應(yīng)通B級(jí)：?jiǎn)螚l檢索≤1s；A級(jí)：?jiǎn)螚l檢索≤2s。QPS應(yīng)通過指標(biāo)評(píng)估要求A級(jí)：QPS≥4。3單條檢索響應(yīng)時(shí)間應(yīng)通B級(jí)：?jiǎn)螚l檢索≤1s；A級(jí)：?jiǎn)螚l檢索≤2s。QPS應(yīng)通過指標(biāo)評(píng)估要求A級(jí)：QPS≥40。5.3抗攻擊能力評(píng)估1算法應(yīng)有效防范白盒方式生2算法應(yīng)有效防范灰盒方式生3算法應(yīng)有效防范黑盒方式生a)調(diào)度任務(wù)創(chuàng)建：支持根據(jù)不同場(chǎng)景建立相應(yīng)行為事件解析任務(wù)；b)執(zhí)行周期配置：支持選擇調(diào)度任務(wù)執(zhí)行周期配置，如：全天任務(wù)、定時(shí)任務(wù)、巡檢任務(wù)等；c)算法篩選及查看：支持通過調(diào)度任務(wù)名稱、算法名稱等多種方式檢索算法，支持基于關(guān)聯(lián)事9a)能力編排調(diào)度：支持通過編排配置和組件調(diào)度實(shí)現(xiàn)多種算法能力的組合編排，支持對(duì)同一待b)任務(wù)編排調(diào)度：支持對(duì)算法任務(wù)的編排調(diào)度管理，如：對(duì)算法任務(wù)的新增、修改、刪除、下發(fā)、啟停、查詢等。支持基于算法能力、加載點(diǎn)位、運(yùn)行周期、應(yīng)用場(chǎng)景、任務(wù)優(yōu)先級(jí)等維c)策略編排調(diào)度：支持對(duì)算法的定義閾值、加載數(shù)量、算法級(jí)聯(lián)等進(jìn)行編排調(diào)度管理。a)算法調(diào)度管理：支持實(shí)時(shí)查看算法所支持b)算法查詢管理：支持提供算法的應(yīng)用參考信息，用戶可通過該信息查找算法；c)信息展示管理：支持包括算法事件列表展示、a)版本控制：支持對(duì)算法進(jìn)行版本控制，記錄每次修改的內(nèi)容和原因，便于追蹤和回滾；b)定期維護(hù)：支持定期對(duì)算法進(jìn)行維護(hù)和更新，以適應(yīng)新技術(shù)和新場(chǎng)景的需求；支持算法狀態(tài)a)告警策略管理：支持對(duì)不同場(chǎng)景配置個(gè)性化算法告警，支持對(duì)告警閾值及優(yōu)先級(jí)進(jìn)行定義及b)告警推送管理：支持將不同算法、不同告警任務(wù)產(chǎn)生的結(jié)果事件按指定格式進(jìn)行推送，支持c)算法接入管理：支持對(duì)接入的算法、廠家、版本、能力、接口等信息的管理。應(yīng)具備兼容多個(gè)廠家多種算法的能力，支持對(duì)接多個(gè)廠家多種算法的接口，支持算法的注冊(cè)、算法維護(hù)以d)算法分類管理：支持基于算法所匹配的具體業(yè)務(wù)場(chǎng)景或者算法的技術(shù)屬性的分類管理，算法管理應(yīng)支持查看算法屬性、算法名稱、算法與算力適配情e)模型管理：支持模型選擇，支持對(duì)模型庫(kù)、指標(biāo)庫(kù)的配置并支持模型版本可回溯。b)支持對(duì)底層多種類型的資源提供工作負(fù)載管理、鏡像管理、服務(wù)管理、密鑰配置管理等。c)支持對(duì)接入的新增、擴(kuò)容及第三方算力設(shè)備的審核管理。當(dāng)注冊(cè)的算力需要符合按照算力接入標(biāo)準(zhǔn)提供算力的參數(shù)信息及應(yīng)用信息時(shí)，允許相關(guān)算力正式接入。算力接入管理包括但不e)支持算力類型定義和維護(hù)，例如：中心算力、邊緣算力、物理算力、云端算力等，應(yīng)支持將f)支持不同的算力按照統(tǒng)一的基本算力單元和格式進(jìn)行注冊(cè)，并支持按照基本算力單元進(jìn)行算a)算法管理展示：支持匯總展示已接入的算法總數(shù)、算法調(diào)用次數(shù)、算法識(shí)別準(zhǔn)確率等基礎(chǔ)信息；支持以算法模型庫(kù)的方式，對(duì)算法進(jìn)行模塊化管理；支持提供多種視圖展示模式，包括b)算力管理展示：支持算力涉及到的數(shù)據(jù)流加載規(guī)模、集群規(guī)模、有效利用率等基礎(chǔ)信息，以及算力資源池的地理位置和所屬的算力屬性等信息的綜合分析和展示。支持以可視化統(tǒng)計(jì)方式，分析和展示算力資源的使用情況，支持統(tǒng)計(jì)分析各算力群累計(jì)加載的視頻路數(shù)，支持分c)效能管理展示：支持綜合呈現(xiàn)算力以及算法在不同應(yīng)用a)保障系統(tǒng)與其它相關(guān)系統(tǒng)的接口的安全性；c)保證接口數(shù)據(jù)在系統(tǒng)與其它接口系統(tǒng)的一致性；d)在接口數(shù)據(jù)交互過程中，應(yīng)具有數(shù)據(jù)發(fā)送和接收傳送后的確認(rèn)過程；f)具備接口數(shù)據(jù)的容錯(cuò)和錯(cuò)誤處理機(jī)制。開發(fā)者應(yīng)提供算法安全功能的安全架構(gòu)描述，安全架構(gòu)描述應(yīng)滿足以b)描述與安全功能要求一致的算法安全功能的安全域；開發(fā)者應(yīng)提供完備的安全功能規(guī)范說明，功能規(guī)范說明應(yīng)滿足以b)描述所有安全功能接口的目的與使用方法；g)描述安全功能實(shí)施過程中,與安全功能接口a)部署環(huán)境管理：應(yīng)確保算法部署環(huán)境的穩(wěn)定性和安全性，包括硬件資源、網(wǎng)絡(luò)環(huán)境等；c)算法監(jiān)控：支持對(duì)算法運(yùn)行過程進(jìn)行實(shí)時(shí)監(jiān)控，根據(jù)性能數(shù)據(jù)進(jìn)行調(diào)優(yōu)，確保算法的高效運(yùn)行；支持監(jiān)控模型運(yùn)行的狀態(tài)、硬件資源耗用情況、異常報(bào)警情況、特征變量的波動(dòng)情況、b)身份鑒別：支持啟用口令復(fù)雜度、據(jù)加密數(shù)據(jù)加密、差分隱私等，對(duì)人臉等生物特征識(shí)別數(shù)據(jù)的傳輸進(jìn)行保護(hù)，確保個(gè)人數(shù)據(jù)的安b)支持對(duì)輸入數(shù)據(jù)進(jìn)行去噪處理，破壞惡意添加在真實(shí)樣本上的對(duì)抗噪聲； 正負(fù) 正負(fù)注：1.真正例(TruePositive，TP)為被預(yù)測(cè)為正ranki——第i條樣本的序號(hào)（概率得分從小到大排列，排在第rank個(gè)位置MNA.2.1實(shí)例：語音識(shí)別算法性能測(cè)試1.構(gòu)建說話人語音探測(cè)集，包含不少于100000條不同人語音，有效語音累積時(shí)長(zhǎng)不2.構(gòu)建目標(biāo)人語音測(cè)試集，包含不少于500條不同身份目標(biāo)語音，同一目標(biāo)人在語音探3.將目標(biāo)集中語音與探測(cè)集進(jìn)行語音識(shí)別根據(jù)A級(jí)和B級(jí)的閾值1.準(zhǔn)備不少于100萬條測(cè)試語音數(shù)據(jù)構(gòu)建語3.重復(fù)10次，取10次結(jié)果的算術(shù)平均值作為根據(jù)A級(jí)和B級(jí)的閾值需求制定了電子對(duì)抗樣本攻擊最低容忍成功Conversion，VC）和錄音重放（Replay）等語音對(duì)抗樣本生成算法生成不少于100條對(duì)根據(jù)A級(jí)和B級(jí)的判定A.2.2實(shí)例：人臉辨識(shí)算法性能測(cè)試2.構(gòu)建目標(biāo)人臉測(cè)試集，包含不少于100條人臉探測(cè)集中的人臉圖片/視頻數(shù)量為1條~~識(shí)試驗(yàn)，利用多分類算法精準(zhǔn)性指標(biāo)進(jìn)行評(píng)根據(jù)A級(jí)和B級(jí)的閾值1.準(zhǔn)備不少于10萬人臉圖片/視頻構(gòu)建人臉2.進(jìn)行單次人臉檢索試驗(yàn)，從檢索確認(rèn)開始3.重復(fù)10次，取10次結(jié)果的算術(shù)平均值作為根據(jù)A級(jí)和B級(jí)的閾值需求制定了電子對(duì)抗樣本攻擊最低容忍成功JSAM等人臉識(shí)別對(duì)抗樣本生成算法生成不少于100條對(duì)抗樣本組成測(cè)試數(shù)據(jù)集進(jìn)行攻擊根據(jù)A級(jí)和B級(jí)的判定A.2.3實(shí)例：人臉驗(yàn)證算法