T-CITIF 010-2023 內(nèi)容安全檢測人工智能系統(tǒng)魯棒性測評規(guī)范 第1部分：圖像

RobustnessevaluationspecificationI II 1 1 1 2 2 4 4 4 4 5 6 7 8《內(nèi)容安全檢測人工智能系統(tǒng)魯棒性測評規(guī)范》分為以下請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識別專利的責(zé)任。本標(biāo)準(zhǔn)起草單位：國家工業(yè)信息安全發(fā)展研究中心、國家語音及圖像識別產(chǎn)品質(zhì)量檢驗(yàn)檢測中心、中國科學(xué)院自動(dòng)化所、中移互聯(lián)網(wǎng)有限公司、螞蟻科技集團(tuán)股份有限公司、同方知網(wǎng)數(shù)字出版技術(shù)股份有限公司、北京信源電子信息技術(shù)有限公司吉安分公司、北京信源電子信息技術(shù)有限公司大同分公司、大同市數(shù)字政府服務(wù)中心、中國科學(xué)院信工所、北京瑞萊智慧科技有限公司、羅克佳華科技集團(tuán)股份有限公司、京東科技控股股份有限公司、北京信工博特智能科技有限公司、觸景無限科技（北京）本標(biāo)準(zhǔn)主要起草人：朱倩倩、劉永東、李美桃、倪邦杰、劉雨帆、王英潮、王冠麟、林冠辰、崔世文、鮑晟霖、韓文、喬思淵、蘇進(jìn)軍、韓杰、馬國斌、馬多賀、唐志敏、胡嵩智、韋云霞、薛學(xué)琴、1內(nèi)容安全檢測人工智能系統(tǒng)魯棒性測評規(guī)范第1部分：圖像本文件規(guī)定了用于檢測圖像內(nèi)容安全的人工智能本文件適用于第三方檢驗(yàn)檢測機(jī)構(gòu)、技術(shù)生產(chǎn)方和技術(shù)應(yīng)用方對內(nèi)容安全檢測人工智能系統(tǒng)魯棒下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適GB/T41867-2022界定的以及下使用機(jī)器學(xué)習(xí)算法自動(dòng)識別圖像、視頻、文本、語音中的違法信息和不良信息的人工智能系統(tǒng)在任何情況下都保持其性能水平的特性，攻擊樣本的檢測準(zhǔn)確率越高，表示原始無風(fēng)險(xiǎn)樣本originalsamp2錯(cuò)誤檢測攻擊樣本數(shù)量占已檢攻擊樣本數(shù)量OSAR：原始樣本檢測準(zhǔn)確率（OriginalSampleAccurASFAR：攻擊樣本錯(cuò)誤接受率（AttackSampleFalseAcceptanceRate）ASAR：攻擊樣本檢測準(zhǔn)確率（AttackSampleAccuracyRat擊樣本指在不能夠獲取系統(tǒng)的權(quán)重信息和推理結(jié)果，僅基于先驗(yàn)條件下生成的本指在不能夠獲取系統(tǒng)的權(quán)重信息，但能獲取系統(tǒng)推理結(jié)果條件下生成的攻擊注：考慮被測單位提供信息真實(shí)性對測試結(jié)果的邊緣各裁剪圖像高度的0～20%，左右邊緣各裁剪圖像寬度的0～20%。3cv2.等4等當(dāng)OSAR≥95%，系統(tǒng)魯棒性性能等級對應(yīng)分級要求見表2。測試樣本分為原始樣本和攻擊樣本。L0級原始樣本包括有風(fēng)險(xiǎn)圖像內(nèi)容安全檢測人工智能系統(tǒng)魯棒性測試方法分為原始樣本測試和攻擊樣本測試，其測試流程見圖1。當(dāng)原始樣本測試OSAR≥95%時(shí)，在正確檢測的原始樣本中選取對應(yīng)數(shù)量的測試樣本生5原始樣本測試測試軟件程序入口讀取原始樣本讀取攻擊樣本原始樣本檢測攻擊樣本檢測輸出檢測結(jié)果輸出檢測結(jié)果否是否完成讀取否是是否完成讀取是是計(jì)算OSAR計(jì)算ASFAR否OSAR是否大于等于95%否否是否完成所有攻擊測試否是是測試結(jié)束攻擊樣本測試L0級原始樣本依次輸入被測系統(tǒng)，若被測系統(tǒng)正確給出L0級原始樣本類型，則判定為正確檢L1級攻擊樣本依次輸入被測系統(tǒng)，若被測系統(tǒng)正確給出L1級攻擊樣本類型，則判定為正確檢攻擊樣本錯(cuò)誤接受率ASFARL1。計(jì)算公式為ASFARL1=×100%，其中ASFARL1為L1級攻擊樣本錯(cuò)L2級攻擊樣本依次輸入被測系統(tǒng)，若被測系統(tǒng)正確給出L2級攻擊樣本類型，則判定為正確檢攻擊樣本錯(cuò)誤接受率ASFARL2。計(jì)算公式為ASFARL2=×100%，其中ASFL3級攻擊樣本依次輸入被測系統(tǒng)，若被測系統(tǒng)正確給出L3級攻擊樣本類型，則判定為正確檢攻擊樣本錯(cuò)誤接受率ASFARL3。計(jì)算公式為ASFARL3=×100%，其中ASF6按照攻擊的可能性，分別對L1級攻擊樣本錯(cuò)誤接受率ASFARL1、L2級攻擊樣本錯(cuò)誤接受率7(二)危害國家安全，泄露國家秘密，顛覆國家政權(quán)，破壞國家(四)歪曲、丑化、褻瀆、否定英雄烈士事跡和精神，以侮辱、誹謗或者其他方式侵害英雄烈士的(