《電力視覺檢測(cè)算法評(píng)價(jià)方法編制說明》

調(diào)研階段：2022年9月開始，國網(wǎng)河北省電力有限公司科學(xué)研究

院牽頭各單位成立標(biāo)準(zhǔn)編寫組，討論確定了標(biāo)準(zhǔn)的主要內(nèi)容及分工，

同時(shí)進(jìn)行調(diào)研分析，收集資料，準(zhǔn)備立項(xiàng)審查答辯；

標(biāo)準(zhǔn)立項(xiàng)階段：2023年2月，在北京召開了第一次標(biāo)準(zhǔn)的專家立

項(xiàng)評(píng)審會(huì)，經(jīng)中國電工技術(shù)學(xué)會(huì)標(biāo)準(zhǔn)工作委員會(huì)專家組審議，批準(zhǔn)《

電力視覺檢測(cè)算法評(píng)價(jià)方法》標(biāo)準(zhǔn)立項(xiàng)；

編寫研制階段：2023年2月-4月標(biāo)準(zhǔn)編寫組根據(jù)立項(xiàng)專家組意見和

建議，標(biāo)準(zhǔn)編寫組進(jìn)行標(biāo)準(zhǔn)編寫研制，形成了標(biāo)準(zhǔn)草案稿；

中期稿評(píng)審階段：2023年4月在北京召開了第二次標(biāo)準(zhǔn)的專家中

期評(píng)審會(huì)對(duì)標(biāo)準(zhǔn)草案稿進(jìn)行討論修改，形成了征求意見稿。

標(biāo)準(zhǔn)編寫組收集了近幾年來輸電線路深度學(xué)習(xí)模型評(píng)測(cè)的相關(guān)資

料，通過對(duì)比整理分析確定了標(biāo)準(zhǔn)主要技術(shù)內(nèi)容，由國網(wǎng)河北省電力

有限公司科學(xué)研究院牽頭完成標(biāo)準(zhǔn)初稿編制，其他參與單位配合并負(fù)

責(zé)收集相關(guān)資料、提出建議。

主要參與單位有：國網(wǎng)河北省電力有限公司科學(xué)研究院、中國

電力科學(xué)研究院有限公司、河北工業(yè)大學(xué)、智洋創(chuàng)新科技股份有限

公司。

4

本標(biāo)準(zhǔn)按照GB/T1.1-2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分:標(biāo)準(zhǔn)化文件

的結(jié)構(gòu)與起草規(guī)則》的規(guī)定起草，遵循科學(xué)性、先進(jìn)性、經(jīng)濟(jì)性，堅(jiān)

持實(shí)事求是，以人工智能算法在電力領(lǐng)域的各種缺陷識(shí)別方面為基

礎(chǔ)，遵守國家有關(guān)法律、法規(guī)，符合團(tuán)體標(biāo)準(zhǔn)要求，目的在于規(guī)范

用于電力視覺檢測(cè)算法的質(zhì)量評(píng)價(jià)方法，明確基于圖像識(shí)別技術(shù)的

電力視覺檢測(cè)算法評(píng)價(jià)指標(biāo)、模型功能性、效率性等方面基本原則，

規(guī)范評(píng)價(jià)流程與功能性等級(jí)判定，為電力視覺檢測(cè)算法評(píng)價(jià)提供標(biāo)

準(zhǔn)依據(jù)。

在標(biāo)準(zhǔn)編制過程中，主要依據(jù)《GB/T5271.28信息技術(shù)詞匯

第28部分：人工智能基本概念與專家系統(tǒng)》、《AIOSS—01—2018

人工智能深度學(xué)習(xí)算法評(píng)估規(guī)范》、《ITU-TF.748.12:Deeplearning

softwareframeworkevaluationmethodology》等標(biāo)準(zhǔn)。

本標(biāo)準(zhǔn)分為8個(gè)章節(jié)，(1)范圍；(2)規(guī)范性引用文件；(3)術(shù)語和

定義；(4)符號(hào)、代號(hào)和縮略語；(5)評(píng)價(jià)指標(biāo)與計(jì)算方法；(6)評(píng)價(jià)

數(shù)據(jù)集的質(zhì)量要求；(7)評(píng)價(jià)方法；(8)模型功能性等級(jí)判定。主要

內(nèi)容如下：

（1）術(shù)語和定義：包括人工智能、人工智能模型、缺陷識(shí)別

等專業(yè)名詞的術(shù)語和定義。

4

（2）符號(hào)、代號(hào)和縮略語：人工智能模型常用指標(biāo)IOU、TP、

FP等縮略語的全拼及含義。

（4）評(píng)價(jià)指標(biāo)與計(jì)算方法：給出用于評(píng)價(jià)模型精度、準(zhǔn)確率、

召回率、平均召回率、F1度量、等性能指標(biāo)的評(píng)價(jià)要素和時(shí)間效率

這一個(gè)效率性指標(biāo)的評(píng)價(jià)要素。

（5）評(píng)價(jià)數(shù)據(jù)集的質(zhì)量要求：給出用于評(píng)價(jià)模型的可見光、

紅外線、紫外線測(cè)試數(shù)據(jù)集的質(zhì)量要求。

（6）評(píng)價(jià)方法：給出評(píng)價(jià)模型時(shí)的模型基礎(chǔ)信息完整性評(píng)價(jià)、

確定模型任務(wù)、選擇評(píng)價(jià)指標(biāo)、選擇測(cè)試數(shù)據(jù)集、樣本循環(huán)測(cè)試、

評(píng)價(jià)結(jié)果匯總、模型評(píng)級(jí)共七個(gè)步驟的評(píng)價(jià)方法。

（7）模型功能性等級(jí)判定：給出分類、檢測(cè)和分割模型經(jīng)過

測(cè)試后的質(zhì)量等級(jí)判定。

用于電力視覺檢測(cè)算法的質(zhì)量評(píng)價(jià)方法，明確基于圖像識(shí)別技

術(shù)的電力視覺檢測(cè)算法評(píng)價(jià)指標(biāo)、模型功能性、效率性等方面基本

原則，規(guī)范評(píng)價(jià)流程與功能性等級(jí)判定，為電力視覺檢測(cè)算法評(píng)價(jià)

提供標(biāo)準(zhǔn)依據(jù)。

本標(biāo)準(zhǔn)為新制度標(biāo)準(zhǔn)，無主要技術(shù)差異。

本標(biāo)準(zhǔn)不涉及試驗(yàn)(或研制)情況。

4

本標(biāo)準(zhǔn)不涉及專利問題。

規(guī)范了用于電力視覺檢測(cè)算法的質(zhì)量評(píng)價(jià)方法，明確了基于圖

像識(shí)別技術(shù)的電力視覺檢測(cè)算法評(píng)價(jià)指標(biāo)、模型功能性、效率性等

方面基本原則，規(guī)范評(píng)價(jià)流程與功能性等級(jí)判定，為電力視覺檢測(cè)

算法評(píng)價(jià)提供了標(biāo)準(zhǔn)依據(jù)。

《ITU-TF.748.12:Deeplearningsoftwareframework

evaluationmethodology》規(guī)定了深度學(xué)習(xí)術(shù)語的基本概念。GB/T

5271.28《信息技術(shù)詞匯第28部分：人工智能基本概念與專家系統(tǒng)》：

規(guī)定了針對(duì)人工智能領(lǐng)域術(shù)語的基本概念。AIOSS—01—2018《人

工智能深度學(xué)習(xí)算法評(píng)估規(guī)范》：規(guī)定了深度學(xué)習(xí)算法的評(píng)價(jià)指標(biāo)。

本標(biāo)準(zhǔn)與現(xiàn)行的相關(guān)法律、法規(guī)、規(guī)章與相關(guān)標(biāo)準(zhǔn)保持一致。

標(biāo)準(zhǔn)編制過程中廣泛征集了專家意見，所有意見均按照標(biāo)準(zhǔn)編制

程序進(jìn)行了采納，不存在重大分歧意見。

建議本團(tuán)體標(biāo)準(zhǔn)的性質(zhì)為推薦性團(tuán)體標(biāo)準(zhǔn)。

4

(1)規(guī)定相關(guān)從事輸電線路評(píng)價(jià)算法指標(biāo)與計(jì)算方法、評(píng)價(jià)數(shù)

據(jù)集的質(zhì)量要求相關(guān)單位的人員或團(tuán)體，按照此標(biāo)準(zhǔn)相關(guān)要求，開

展電力視覺檢測(cè)算法的模型評(píng)價(jià)工作；

(2)中國電工學(xué)會(huì)牽頭推廣《電力視覺檢測(cè)算法評(píng)價(jià)方法》組

織企業(yè)、單位進(jìn)行試點(diǎn)應(yīng)用；

(3)建議在本標(biāo)準(zhǔn)的指導(dǎo)下，進(jìn)行電力視覺檢測(cè)算法評(píng)