輸電在線監(jiān)測裝置物聯(lián)網(wǎng)平臺接入及圖像智能識別算法兼容性檢測技術(shù)方案

輸電在線監(jiān)測裝置物聯(lián)網(wǎng)平臺接入及圖像智能識別算法兼容性檢測技術(shù)方案檢測目的為高質(zhì)量推進南方電網(wǎng)公司數(shù)字輸電建設(shè)工作，保障輸電在線監(jiān)測裝置有效接入公司物聯(lián)網(wǎng)平臺，加速推進圖像視頻監(jiān)測終端智能識別算法應(yīng)用，現(xiàn)在本次送樣檢測中開展“物聯(lián)網(wǎng)平臺接入驗證”、“裝置遠程升級協(xié)議驗證”、“圖像智能識別算法兼容性驗證”及“圖像智能識別算法性能檢測”，具體測試要求如下。檢測項目及合格判據(jù)（1）物聯(lián)網(wǎng)平臺接入及遠程升級協(xié)議驗證1）測試對象及通信規(guī)約要求測試對象為所有輸電在線監(jiān)測裝置，裝置通信規(guī)約應(yīng)滿足《Q/CSG1205031輸電線路在線監(jiān)測通信規(guī)約及信息交互規(guī)范》中對南方電網(wǎng)全域物聯(lián)網(wǎng)平臺的接入要求條款，《Q/CSG1210050-2020南方電網(wǎng)電力全域物聯(lián)網(wǎng)平臺接入技術(shù)規(guī)范》《統(tǒng)一物聯(lián)網(wǎng)平臺接入技術(shù)指引（南向）》協(xié)議及相關(guān)品類測試對象物模型要求，具體標準/規(guī)范詳見附件1。2）檢測機構(gòu)測試資源物聯(lián)網(wǎng)平臺接入檢測平臺，通信規(guī)約應(yīng)滿足《Q/CSG1205031輸電線路在線監(jiān)測通信規(guī)約及信息交互規(guī)范》中對南方電網(wǎng)全域物聯(lián)網(wǎng)平臺的接入要求條款，《Q/CSG1210050-2020南方電網(wǎng)電力全域物聯(lián)網(wǎng)平臺接入技術(shù)規(guī)范》《統(tǒng)一物聯(lián)網(wǎng)平臺接入技術(shù)指引（南向）》協(xié)議及相關(guān)品類測試對象物模型要求，具備視頻點播、拍照、文件下發(fā)、配置文件獲取、升級等命令下發(fā)、裝置上報信息和監(jiān)測數(shù)據(jù)展示、交互日志查看及下載等功能。3）物聯(lián)網(wǎng)平臺接入測試方法及合格判據(jù)測試方法：a.送檢設(shè)備通過電源適配器進行開機上電，經(jīng)有線網(wǎng)絡(luò)接入測試平臺，由送檢單位人員對送檢設(shè)備進行接入?yún)?shù)配置，心跳及采集間隔根據(jù)業(yè)務(wù)要求配置；c.配置完成后，等待5min，檢測機構(gòu)登錄“檢測平臺”讀取設(shè)備日志，查看設(shè)備開機聯(lián)絡(luò)信息、心跳數(shù)據(jù)及實時監(jiān)測數(shù)據(jù)是否更新，并且對照物模型驗證必要數(shù)據(jù)是否完整且格式準確;d.檢測機構(gòu)根據(jù)送檢設(shè)備功能要求制定《物聯(lián)網(wǎng)平臺接入?yún)f(xié)議測試記錄》，逐條開展驗證，根據(jù)檢測項執(zhí)行并記錄結(jié)果。合格判據(jù)：a.被測設(shè)備應(yīng)能接入“檢測平臺”，實時上傳心跳、監(jiān)測等數(shù)據(jù)，數(shù)據(jù)完整且格式準確；b.被測設(shè)備數(shù)據(jù)傳輸及功能完全滿足《物聯(lián)網(wǎng)平臺接入?yún)f(xié)議測試記錄》要求；c.以上全部滿足則判定為通過，否則判定為不通過。4）裝置遠程升級協(xié)議測試方法及合格判據(jù)測試方法：a.將被測設(shè)備接入“檢測平臺”，通過軟件下發(fā)配置/系統(tǒng)/算法/模型升級包，升級包及升級命令格式詳見物模型->服務(wù)（demandServices）->設(shè)備升級及配置參數(shù)文件下發(fā)，并向被測設(shè)備發(fā)布升級消息；b.查看設(shè)備反饋信息，檢查被測設(shè)備是否按照響應(yīng)升級包下載及升級，并按照物模型要求上報升級結(jié)果。合格判據(jù)：被測設(shè)備完全響應(yīng)“檢測平臺”下發(fā)的配置/系統(tǒng)/算法/模型升級命令，完成升級包下載、升級，報送升級信息等，通信協(xié)議滿足物模型要求，則判定為通過，否則判定為不通過。（2）圖像智能識別算法兼容性驗證1）測試對象測試對象為架空輸電線路圖像視頻監(jiān)測裝置2）測試所需資源a.調(diào)試版圖像智能識別算法軟件包以及相應(yīng)測試圖片；b.正式版圖像智能識別算法軟件包以及相應(yīng)測試圖片。3）圖像智能識別算法兼容性測試方法及合格判據(jù)測試方法：a.測試開始前，檢測機構(gòu)提供一份調(diào)試版智能識別算法軟件包以及相應(yīng)測試圖片至送檢單位（調(diào)試版算法軟件包與正式版算法軟件包格式完全一致，只有識別種類不同），參檢單位根據(jù)軟件包在規(guī)定時間內(nèi)完成對送檢設(shè)備的調(diào)整適配，確保送檢設(shè)備能兼容調(diào)試版智能識別算法；b.測試開始后，檢測機構(gòu)通過“檢測平臺”向被測設(shè)備下發(fā)正式版圖像智能識別算法軟件包，查看設(shè)備算法軟件升級信息，檢查算法升級完成情況；c.使用被測裝置拍攝測試圖片，進行智能識別，將識別的結(jié)果以json格式保存并回傳至“檢測平臺”；d.檢測機構(gòu)根據(jù)識別結(jié)果驗證智能識別算法的兼容性。合格判據(jù)：被測設(shè)備應(yīng)響應(yīng)算法升級命令，并完成算法升級，且能夠調(diào)用升級后的算法開展圖像智能識別，識別結(jié)果有效。（3）圖像智能識別算法性能檢測1）測試對象測試對象為架空輸電線路圖像視頻監(jiān)測裝置，對送檢設(shè)備自有圖像智能識別算法性能開展檢測。2）測試所需資源a.測試圖片樣本庫；b.檢測平臺。3）圖像智能識別算法性能檢測方法及合格判據(jù)測試指標：測試指標包括裝置識別功耗及識別性能，其中識別性能包括識別漏報率、識別誤報率、識別準確性、識別時間和重復(fù)告警率，最終根據(jù)測試數(shù)據(jù)對裝置的智能識別算法性能進行綜合評分排名，排名結(jié)果不作為本次送樣檢測的合格判據(jù)，擬作為后續(xù)公司智能識別算法推廣的依據(jù)之一，具體指標釋義如下。①裝置識別功耗裝置運行智能識別算法過程中的平均功率。②識別性能包括識別漏報率、識別誤報率、識別準確性和識別時間四個指標，對識別效果進行量化：a.識別漏報率：存在隱患但未識別出的圖片數(shù)量/具有通道隱患的圖片總數(shù)量。b.識別誤報率：不存在隱患但被識別出的圖片數(shù)量/檢出的圖像總數(shù)量。c.識別準確率：目標識別正確數(shù)量與測試集標準目標數(shù)量之比。d.識別耗時（秒/張）：識別數(shù)據(jù)集所消耗的總時間/數(shù)據(jù)集圖片數(shù)量。e.重復(fù)告警率：相同隱患重復(fù)告警的圖片數(shù)量/隱患圖片總數(shù)。測試方法：①裝置接入測試系統(tǒng)及數(shù)據(jù)上報a.被測試品與測試系統(tǒng)處于同一局域網(wǎng)中，通過有線方式接入測試系統(tǒng)，正式IP地址和端口在測試開始前統(tǒng)一給出。b.檢測機構(gòu)以可調(diào)直流電源給被測試品進行供電，無需通過電池供電，輸出電壓根據(jù)設(shè)備額定電壓調(diào)整（請在送檢前在設(shè)備銘牌上明確設(shè)備的額定供電電壓），待測裝置應(yīng)將內(nèi)置電源去除，內(nèi)部電源接口統(tǒng)一更換為XT60公口（凹槽pin腳為負極），用導(dǎo)線引至設(shè)備外。c.檢測機構(gòu)提供TF卡安裝于被測試品中，經(jīng)測試用圖片案例庫存儲于TF卡中。d.被測試品注冊成功接入測試系統(tǒng)后，通過測試系統(tǒng)下發(fā)啟動命令后，評分系統(tǒng)開始計時，裝置自動逐個讀取TF卡中的測試圖片進行智能識別，裝置每間隔30秒上報一次心跳，每識別完1張圖片，按南網(wǎng)通信協(xié)議進行一次智能分析告警，將分析結(jié)果報送至測試系統(tǒng)，直至所有圖像分析完畢，裝置必須按照圖片名稱由小到大的順序進行識別分析，上報結(jié)果亦遵守此順序。e.被測試品開始實時分析圖片后，每分析完一張圖片需同步將分析結(jié)果存儲在xml文件中，將xml文件存于TF卡中。xml文件格式如下：result一張圖的識別結(jié)果filename圖像的唯一idsize圖像的尺寸flag是否存在隱患，false時不寫入數(shù)據(jù)time分析完成的時刻，時:分:秒objectname為識別的隱患類型編碼object識別的目標位置，類型為int具體如下：<annotation><resultfilename="Image_000005"flag="True"><time>12:13:45</time><size><width>4288</width><height>2848</height><depth>3</depth></size><objectname=1><bndbox><xmin>189</xmin><ymin>531</ymin><xmax>327</xmax><ymax>764</ymax></bndbox></object><objectname=0><bndbox><xmin>195</xmin><ymin>531</ymin><xmax>1276</xmax><ymax>1643</ymax></bndbox></object></result><resultfilename="Image_000052"flag="False"><size><width>4288</width><height>2848</height><depth>3</depth></size></result></annotation>f.通信協(xié)議參見《輸電線路在線監(jiān)測通訊規(guī)約及信息交互規(guī)范》，具體如下：檢測系統(tǒng)功能規(guī)約控制字規(guī)約名稱備注測試啟動00H開機聯(lián)絡(luò)信息用于測試系統(tǒng)下發(fā)測試啟動命令，被測試品收到命令后自動開始智能識別被測試品心跳信息上報05H裝置心跳信息用于被測試品實時上報心跳數(shù)據(jù)被測試品智能分析結(jié)果上報A7H智能分析告警上報用于被測試品實時上報智能分析結(jié)果注：裝置號碼字段為廠商id（檢測開始前由檢測機構(gòu)統(tǒng)一分配），數(shù)據(jù)域中的通道號字段為圖片id的高8位編碼，預(yù)置位字段為圖片id的低8位編碼，告警時間為識別完成的時刻，告警類型為告警小類。例：如果圖片編號為537，則數(shù)據(jù)域中通道號字段為2，預(yù)置位字段為27；如果圖片編號為5，則數(shù)據(jù)域中通道號字段為0，預(yù)置位字段為5；告警類型參見A4H中告警類型字典，告警編碼參考下表：告警告警標簽告警類型編碼塔吊TaDiao2推土機TuituJi3挖掘機WajueJi5煙霧YanWu41f.出現(xiàn)以下幾種情況，上報報文會被判為無效：①隱患編碼不規(guī)范或者不存在；②圖片名id不存在或者不規(guī)范；③每圖標出的隱患數(shù)量，超過標準答案數(shù)量的兩倍②識別功耗檢測被測試品啟動智能分析后，檢測機構(gòu)通過高精度功率分析儀，全過程記錄被測對象識別過程中的功耗，計算識別平均功率。③識別性能檢測通過裝置上報智能識別結(jié)果開展裝置的誤報率、漏報率、識別準確率、識別耗時進行計算，并按照評分細則進行評分。評分標準：根據(jù)被測試品識別功耗、漏報率、誤報率、準確率、識別速度及重復(fù)告警率結(jié)果進行評分及排名，具體評分細則如下：參數(shù)名稱符號參數(shù)級別分值（分）計算公式總分G一級100G=A×80%+P×20%算法得分A二級100A=A1×20%+A2×20%+A3×20%+A4×20%+A5×20%功耗得分P二級100實測功率Pint<=5W，P得100分Pint>5W，P得100-（Pint-5）×5分P最低得0分漏報率得分A1三級100A1=100-漏報率×100×5A1最低得0分誤報率得分A2三級100A2=100-誤報率×100×5A2最低得0分識別準確率得分A3三級100A3=，其中n為本次檢測識別樣本的類型數(shù)量識別速度得分A4三級100識別時間t<=2s，A4得100分t>2s，A4得100-（t-2）×2分A4最低得0分重復(fù)告警率得分A5三級100A5=100-重復(fù)告警率×100×5A5最低得0分識別類型i準確率得分A3i四級100A3i=識別類型i準確率×100測試時間安排檢測項目工作安排工作內(nèi)容時間安排物聯(lián)網(wǎng)平臺接入及遠程升級協(xié)議驗證開發(fā)及自測階段送檢單位對照《Q/CSG1205031輸電線路在線監(jiān)測通信規(guī)約及信息交互規(guī)范》《Q/CSG1210050-2020南方電網(wǎng)電力全域物聯(lián)網(wǎng)平臺接入技術(shù)規(guī)范》《Q/CSG1210052-2020南方電網(wǎng)電力全域物聯(lián)網(wǎng)平臺技術(shù)規(guī)范》及物模型要求，完成協(xié)議開發(fā)及自測。截止送樣時間調(diào)試階段檢測機構(gòu)組織開展平臺接入聯(lián)調(diào)，送檢單位規(guī)定時間內(nèi)完成聯(lián)調(diào)檢測機構(gòu)制定調(diào)試方案，按報名情況分批次組織開展調(diào)試，具體時間另行通知正式測試階段檢測機構(gòu)開展物聯(lián)網(wǎng)平臺接入測試。截止送樣檢測完成時間圖像智能識別算法兼容性驗證調(diào)試階段由檢測機構(gòu)提供調(diào)試版算法軟件包及測試圖片至送檢單位，送檢單位根據(jù)調(diào)試版算法包完成送檢設(shè)備調(diào)試。檢測機構(gòu)制定調(diào)試方案，按報名情況分批次開展調(diào)試，具體時間另行通知正式測試階段檢測機構(gòu)組織開展圖像智能識別算法兼容性測試。截止送樣檢測完成時間圖像智能識別算法性能檢測調(diào)試階段檢測機構(gòu)提供調(diào)試用圖片庫，由送檢單位將裝置安裝接入測試系統(tǒng)，并通過調(diào)試圖片庫開展識別，完成聯(lián)調(diào)檢測機構(gòu)制定調(diào)試方案，按報名情況分批次開展調(diào)試，具體時間另行通知正式測試階段由檢測機構(gòu)組織開展圖像智能識別算法性能檢測截止送樣檢測完成時間參檢單位需配合事項（1）試品要求參加南方電網(wǎng)2023年輸電智能設(shè)備送樣檢測的供應(yīng)商，在送樣時需單獨準備1套試品專門用于開展物聯(lián)網(wǎng)平臺接入測試及圖像視頻裝置圖像智能識別算法兼容性測試，1套試品專門開展圖像智能識別算法性能檢測（僅報名架空輸電線路圖像視頻監(jiān)測裝置需提供），要求及命名詳見附件3。（2）硬件要求送檢的2套設(shè)備均具備有線通信網(wǎng)口，存儲不低于8G，有供電接口的正負極引出線，線端接口采用XT60公口（凹槽pin腳為負極），需配置供電適配器，無需配置電池。（3）提供資料要求送檢單位報名時需提供算法模型轉(zhuǎn)換工具和使用說明，具體要求如下：1）算法模型轉(zhuǎn)換工具指可以將常用深度學(xué)習(xí)框架模型（包括但不限于Tensorflow、Pytorch、Caffe、Darknet、Paddle-paddle等）轉(zhuǎn)換為待測設(shè)備可運行軟件程序的工具。2）使用說明必須詳細介紹工具的使用環(huán)境和使用步驟。其中使用環(huán)境必須包含系統(tǒng)版本、編譯語言版本、docker版本（如需）、支持的算法框架版本等信息，使用步驟必須詳細描述具體開發(fā)過程，從已訓(xùn)練好的模型文件到轉(zhuǎn)化為二進制模型文件（如有），到生成設(shè)備可執(zhí)行軟件包的具體過程、支撐文件和命令，并且相關(guān)說明集中在一個文檔中，不要分散在多個文檔中。（4）調(diào)試要求1）物聯(lián)網(wǎng)平臺接入調(diào)試調(diào)試階段由檢測機構(gòu)制定調(diào)試方案，分批次組織開展送檢設(shè)備接入