人工智能 深度學(xué)習(xí)算法評(píng)估規(guī)范

I III IV 1 1 2 2 4 4 4 4 4 5 5 5 5 6 7 7 8 8 8 8 8 8 9 9 9 9 9 9 9 10 10 10 10 10 10 11 11 11 11 11 11 12 13 15 251人工智能深度學(xué)習(xí)算法評(píng)估規(guī)范確定現(xiàn)有深度學(xué)習(xí)算法的可靠性所達(dá)到的預(yù)期水平的23響應(yīng)時(shí)間代碼規(guī)范性代碼漏洞擬合程度深度學(xué)習(xí)算法的可靠性指標(biāo)體系對(duì)抗性樣本的影響響應(yīng)時(shí)間代碼規(guī)范性代碼漏洞擬合程度深度學(xué)習(xí)算法的可靠性指標(biāo)體系對(duì)抗性樣本的影響目標(biāo)函數(shù)的影響數(shù)據(jù)集均衡性數(shù)據(jù)集標(biāo)注質(zhì)量數(shù)據(jù)集污染情況白盒方式生成的樣本黑盒方式生成的樣本指定目標(biāo)方式生成的樣本式生成的樣本深度學(xué)習(xí)框架差異操作系統(tǒng)差異硬件架構(gòu)差異干擾數(shù)據(jù)移4用于評(píng)估代碼實(shí)現(xiàn)功能的正確性，應(yīng)包括下用于評(píng)估訓(xùn)練數(shù)據(jù)集帶來(lái)的影響，應(yīng)包括下b)數(shù)據(jù)集規(guī)模：通常用樣本數(shù)量來(lái)衡量，大規(guī)模數(shù)據(jù)集通常具有更好的樣本多樣性；c)數(shù)據(jù)集標(biāo)注質(zhì)量：指數(shù)據(jù)集標(biāo)注信息是否d)數(shù)據(jù)集污染情況：指數(shù)據(jù)集被人為添加的惡意數(shù)據(jù)的程度。5用于評(píng)估運(yùn)行深度學(xué)習(xí)算法的軟硬件平臺(tái)對(duì)可靠性的影響，應(yīng)包括下列估、設(shè)計(jì)階段的評(píng)估、實(shí)現(xiàn)階段的評(píng)估、運(yùn)行階6否否否否得出未通過(guò)可靠性評(píng)估結(jié)論否否否否得出未通過(guò)可靠性評(píng)估結(jié)論開(kāi)始開(kāi)始確定可靠性目標(biāo)確定可靠性目標(biāo)選擇評(píng)估指標(biāo)選擇評(píng)估指標(biāo)需求階段的評(píng)估需求階段的評(píng)估是否滿足評(píng)估準(zhǔn)則？是否滿足評(píng)估準(zhǔn)則？是設(shè)計(jì)階段的評(píng)估是否滿足評(píng)估準(zhǔn)則？是否滿足評(píng)估準(zhǔn)則？是實(shí)現(xiàn)階段的評(píng)估是否滿足評(píng)估準(zhǔn)則？是否滿足評(píng)估準(zhǔn)則？是運(yùn)行階段的評(píng)估是否滿足評(píng)估準(zhǔn)則？是否滿足評(píng)估準(zhǔn)則？是得出通過(guò)可靠性評(píng)估結(jié)論結(jié)束結(jié)束7歷史記錄和軟件失效模式和影響分析等技術(shù)識(shí)別深度學(xué)習(xí)算法發(fā)生算法失效3)危險(xiǎn)事件應(yīng)由運(yùn)行場(chǎng)景和算法失效的相關(guān)組合確定；4)應(yīng)以能在深度學(xué)習(xí)算法所在的軟件系統(tǒng)層面觀察到的輸出來(lái)定義結(jié)果。算法失效導(dǎo)致系統(tǒng)完成任務(wù)有障礙但能夠完成，或?qū)Π踩⒇?cái)產(chǎn)、環(huán)境和業(yè)務(wù)ABCD81)依據(jù)規(guī)范性附錄A選取的某一級(jí)指標(biāo)下2)依據(jù)規(guī)范性附錄A選取的某階段的一級(jí)指標(biāo)全部通過(guò)。a)面向深度學(xué)習(xí)算法的需求階段、設(shè)計(jì)階段、實(shí)現(xiàn)階段、運(yùn)行階段四個(gè)階段實(shí)b)通過(guò)當(dāng)前階段的評(píng)估是進(jìn)入下一階段評(píng)估的前提條件之一；d)各階段評(píng)估活動(dòng)的輸入、關(guān)鍵活動(dòng)及輸出要求詳見(jiàn)本標(biāo)準(zhǔn)第5至第8章；3)針對(duì)算法在該階段開(kāi)展可靠性評(píng)估工作所選擇的評(píng)定算法應(yīng)實(shí)現(xiàn)的功能性需求、非功能性需求和應(yīng)滿足的確性和軟硬件平臺(tái)依賴的影響等進(jìn)行評(píng)估，以確定算法的需求滿足可靠性目標(biāo)要求。開(kāi)展本階段可靠性評(píng)估工作前至少應(yīng)完成獲取深度學(xué)f)深度學(xué)習(xí)算法的運(yùn)行條件與環(huán)境約束。92)分析需求階段設(shè)定的響應(yīng)時(shí)間要求是否影響可靠性目標(biāo)。深度學(xué)習(xí)算法需求階段的可靠性評(píng)估報(bào)告，評(píng)估報(bào)告要求見(jiàn)4性、訓(xùn)練數(shù)據(jù)集的影響及目標(biāo)函數(shù)等進(jìn)行評(píng)估，以確定算法的設(shè)計(jì)滿足可靠性目標(biāo)要1)分析設(shè)計(jì)完成后任務(wù)指標(biāo)要求是否滿足需求階2)分析設(shè)計(jì)完成后響應(yīng)時(shí)間要求是否滿足需求階段設(shè)定的相應(yīng)要求。深度學(xué)習(xí)算法設(shè)計(jì)階段的可靠性評(píng)估報(bào)告，評(píng)估報(bào)告要求見(jiàn)41)驗(yàn)證算法實(shí)現(xiàn)后的任務(wù)指標(biāo)是否達(dá)到需求階段設(shè)定的相應(yīng)要求；2)驗(yàn)證算法實(shí)現(xiàn)后的響應(yīng)時(shí)間是否達(dá)到需求階段設(shè)定的相應(yīng)要求。深度學(xué)習(xí)算法實(shí)現(xiàn)階段的可靠性評(píng)估報(bào)告，評(píng)估報(bào)告要求見(jiàn)4深度學(xué)習(xí)算法運(yùn)行階段是在實(shí)際應(yīng)用場(chǎng)景下運(yùn)1)驗(yàn)證算法運(yùn)行時(shí)任務(wù)指標(biāo)是否達(dá)到需求階2)驗(yàn)證算法運(yùn)行時(shí)響應(yīng)時(shí)間是否達(dá)到需求階段設(shè)定的相應(yīng)要求。1)分析環(huán)境干擾數(shù)據(jù)對(duì)算法運(yùn)行的影響，可以參考以下幾個(gè)方面：深度學(xué)習(xí)算法運(yùn)行階段的可靠性報(bào)告，評(píng)估報(bào)告要求見(jiàn)4表A.1給出了深度學(xué)習(xí)算法的可靠性評(píng)估指標(biāo)的選取規(guī)則。針對(duì)不同級(jí)別的的深度學(xué)習(xí)算法階段可靠性目標(biāo)性標(biāo)間洞度量況移A●●●●●B●●●●○C●○●○○D●○○○○A●● ● ●●●● B●●●●●●○C●○○●●○○--D●○○●○○○階段可靠性目標(biāo)標(biāo)間洞度量況移A●●●●●●●●●B●●●●●●●●●C●○●○○●○○○D●○○○○○○○○A●●●●●●●●B●●●●○●●○C●○●○○●○○D●○○○○○○○表B.1﹑B.2分別給出人臉識(shí)別算法可靠性評(píng)估實(shí)施案例和行為檢測(cè)算法可靠性評(píng)估實(shí)施案例。人臉識(shí)別是基于人的臉部特征信息進(jìn)行身份識(shí)別的一種生物識(shí)別技術(shù)。其通過(guò)攝像機(jī)或攝像人臉識(shí)別閘機(jī)系統(tǒng)將傳統(tǒng)閘機(jī)設(shè)備集成人臉識(shí)別能力，用戶在閘機(jī)處提供人臉影像進(jìn)行人臉確定深度學(xué)習(xí)算法可靠性目標(biāo)下個(gè)視頻幀。如果存在人臉，則判斷是否存在遮擋以及是否為活體人臉。如果存在遮擋等干擾，返回信息提醒除去遮擋物，展示真實(shí)人臉。如果人臉正常，算法判斷123123基于本人臉識(shí)別的算法會(huì)被應(yīng)用到國(guó)際會(huì)議的門(mén)禁系統(tǒng)中。會(huì)議的參會(huì)人員包括各B選擇可靠性評(píng)估指標(biāo)查準(zhǔn)率、查全率、準(zhǔn)確率、響應(yīng)時(shí)間、深度學(xué)習(xí)樣本、黑盒方式生成的樣本、指定目標(biāo)方式生成的樣本、不指定目面向算法需求階段的可靠性評(píng)估軟件系統(tǒng)的需求說(shuō)明書(shū)：人臉識(shí)別系統(tǒng)需求深度學(xué)習(xí)算法的需求說(shuō)明書(shū)：人臉檢測(cè)識(shí)別算法需求說(shuō)明書(shū)面向算法設(shè)計(jì)階段的可靠性評(píng)估深度學(xué)習(xí)算法的設(shè)計(jì)說(shuō)明：人臉識(shí)別算法設(shè)計(jì)文面向算法實(shí)現(xiàn)階段的可靠性評(píng)估面向算法運(yùn)行階段的可靠性評(píng)估算法實(shí)際運(yùn)行30天時(shí)間中平均單次識(shí)別響應(yīng)時(shí)間為深度學(xué)習(xí)算法的可靠性評(píng)估拋等不友好的暴力行為。具體實(shí)現(xiàn)是通過(guò)對(duì)輸入的視頻單幀圖像，首先檢測(cè)圖像中的人是否手拿包裹，以開(kāi)始出現(xiàn)拿包裹的人圖像作為起始幀，再對(duì)拿包裹的人進(jìn)行軌跡追蹤與行為分類，行為檢測(cè)系統(tǒng)是將行為檢測(cè)技術(shù)集成至一個(gè)小型高性能計(jì)算盒子中，場(chǎng)院的監(jiān)控視頻通過(guò)交換機(jī)傳輸?shù)胶凶雍螅钶d在盒子上的行為檢測(cè)技術(shù)對(duì)監(jiān)控視頻進(jìn)行行為識(shí)別，識(shí)別出來(lái)的結(jié)確定深度學(xué)習(xí)算法可靠性目標(biāo)硬件設(shè)備：普通攝像頭、高性能計(jì)算盒子（NVIDIATX21.5T行為分類是對(duì)侯選區(qū)域進(jìn)行行為分類（如是否暴力行為如果分類結(jié)果為暴123123基于行為檢測(cè)技術(shù)的行為檢測(cè)系統(tǒng)將會(huì)被運(yùn)用到多種B選擇可靠性評(píng)估指標(biāo)準(zhǔn)確率、召回率、響應(yīng)時(shí)間、深度學(xué)習(xí)框架差本面向算法需求階段的可靠性評(píng)估深度學(xué)習(xí)算法的需求說(shuō)明書(shū)：行為檢測(cè)算法需求說(shuō)明_v1.算法功能實(shí)現(xiàn)的正確性式平臺(tái)，支持高清視頻流的實(shí)時(shí)識(shí)別。面向算法設(shè)計(jì)階段的可靠性評(píng)估深度學(xué)習(xí)算法的訓(xùn)練數(shù)據(jù)集：作業(yè)區(qū)域行人操作視頻訓(xùn)練集_v1.