人工智能數(shù)據(jù)標注平臺標準解讀

人工智能數(shù)據(jù)標注平臺標準解讀大模型時代下，人工智能對高質(zhì)量標注數(shù)據(jù)的需求越來越高，使得數(shù)據(jù)標注的任務也越來越復雜，可以預見，貼合垂直場景的高精準定制化數(shù)據(jù)標注服務在未來將是市場需求主流。而隨著對數(shù)據(jù)標注效率要求的不斷提高，一方面對于技術方企業(yè)，提供大量高質(zhì)量的標注數(shù)據(jù)集需要高效易用的標注平臺；另一方面對于用戶方企業(yè)，自身大量待標注數(shù)據(jù)也需要功能完備齊全的標注平臺，商業(yè)化人工智能數(shù)據(jù)標注平臺在功能全面性方面亟需標準規(guī)范指引。為引導產(chǎn)業(yè)有序發(fā)展、規(guī)范行業(yè)自律，并為用戶提供選型參考。中國信息通信研究院（以下簡稱“中國信通院”）牽頭，二十余家相關行業(yè)重點企業(yè)參與，包括聯(lián)通數(shù)科、數(shù)據(jù)堂、海天瑞聲、Testin云測、整數(shù)智能、?？低?、美的集團等頭部標注企業(yè)、AI科技企業(yè)和大型行業(yè)企業(yè)，聯(lián)合編制了《人工智能數(shù)據(jù)標注平臺技術要求和測試方法》標準，該標準也同步在三大國際標準組織之一國際電信聯(lián)盟（ITU-T）進行了立項和文稿討論。標準針對數(shù)據(jù)標注平臺的各個關鍵環(huán)節(jié)給出了規(guī)范性約束和參考性建議，目前該標準團標已定稿，中國信通院依據(jù)標準指標要求推出了“人工智能數(shù)據(jù)標注平臺功能專項評估”服務，即日起正式開始啟動首輪評估。一、人工智能數(shù)據(jù)標注平臺功能專項評估內(nèi)容人工智能數(shù)據(jù)標注平臺功能專項評估主要包含六個能力域，分別為“數(shù)據(jù)接入及預處理”、“數(shù)據(jù)標注”、“智能標注”、“數(shù)據(jù)交付”、“安全保障”、“生產(chǎn)管理”，各能力域涉及以下核心條目，其中基本功能71項，高級功能42項。1.數(shù)據(jù)接入及預處理數(shù)據(jù)接入處理，評估數(shù)據(jù)標注平臺接入數(shù)據(jù)時的處理能力，包括數(shù)據(jù)接入過程的自動格式轉換、數(shù)據(jù)清洗等；數(shù)據(jù)接入類型和方式，評估數(shù)據(jù)標注平臺接入不同數(shù)據(jù)類型和方式的能力，包括接入圖像、文本、語音等數(shù)據(jù)類型以及離線、在線等接入方式；數(shù)據(jù)預處理，評估數(shù)據(jù)標注平臺數(shù)據(jù)預處理的能力，包括數(shù)據(jù)的增強、缺失值檢測和處理等能力。2.數(shù)據(jù)標注數(shù)據(jù)標注，評估數(shù)據(jù)標注平臺標注數(shù)據(jù)的能力，是平臺的核心功能，包括圖像、文本、語音、視頻、3D點云、多模態(tài)等不同數(shù)據(jù)類型所需要的各類標注工具以及輔助標注的工具，充分提高標注的靈活性和效率。3.智能標注智能標注方式，評估數(shù)據(jù)標注平臺智能標注的能力，包括智能預標注、輔助式智能標注等；智能標注類型，評估數(shù)據(jù)標注平臺不同數(shù)據(jù)類型智能標注的能力，包括圖像、文本、語音、視頻、3D點云等數(shù)據(jù)類型。4.數(shù)據(jù)交付標注質(zhì)檢，評估數(shù)據(jù)標注平臺標注質(zhì)檢的能力，包括不同數(shù)據(jù)類型的標注檢查、質(zhì)檢方法以及生成質(zhì)檢報告單等；數(shù)據(jù)交付格式，評估數(shù)據(jù)標注平臺交付不同數(shù)據(jù)格式的能力，包括結構化格式標簽數(shù)據(jù)、語義表達格式標簽數(shù)據(jù)等；數(shù)據(jù)交付組織形式，評估數(shù)據(jù)標注平臺數(shù)據(jù)交付組織形式的能力，包括交付標注完成的數(shù)據(jù)、原始數(shù)據(jù)、數(shù)據(jù)集說明等；數(shù)據(jù)交付方式，評估數(shù)據(jù)標注平臺數(shù)據(jù)交付方式的能力，包括離線交付、在線交付等。5.安全保障數(shù)據(jù)備份，評估數(shù)據(jù)標注平臺備份數(shù)據(jù)的能力，包括標注全流程的數(shù)據(jù)備份以及備份的實時性可控；數(shù)據(jù)脫敏，評估數(shù)據(jù)標注平臺保護數(shù)據(jù)的能力，包括圖像、文本、語音等數(shù)據(jù)的脫敏處理；數(shù)據(jù)產(chǎn)權，評估數(shù)據(jù)標注平臺數(shù)據(jù)產(chǎn)權保護的能力，包括交付中添加產(chǎn)權聲明的數(shù)字水印。6.生產(chǎn)管理系統(tǒng)管理，評估數(shù)據(jù)標注平臺管理系統(tǒng)的能力，包括用戶管理、角色管理、平臺使用權限管理等；項目與任務管理，評估數(shù)據(jù)標注平臺團隊標注的能力，包括項目管理、人員管理、流程管理等；統(tǒng)計分析，評估數(shù)據(jù)標注平臺數(shù)據(jù)統(tǒng)計分析的能力，包括任務統(tǒng)計分析、人員統(tǒng)計分析等。二、人工智能數(shù)據(jù)標注平臺功能參評價值人工智能數(shù)據(jù)標注平臺功能專項評估，面向商業(yè)化數(shù)據(jù)標注平臺開展。專項評估基于標準指標要求，對數(shù)據(jù)標注平臺功能進行系統(tǒng)化測試，企業(yè)參評的核心價值主要體現(xiàn)在三方面，一是提升業(yè)務信任度，通過第三方評估驗證數(shù)據(jù)標注平臺的技術產(chǎn)品能力、安全保障能力、運營維護能力等，提供行業(yè)認可的背書，幫助業(yè)務推廣；二是技術對標及提升，通過全面的檢驗檢測，以行業(yè)最佳實踐作為對標，幫助參評企業(yè)完善產(chǎn)品能力；三是增進行業(yè)交流，以標準和評估工作搭建交流平臺，推動技術亮點分享、實踐心得交流，促進技術供給方和應用方之間的交流，為用戶方產(chǎn)品選型提供參考。三、評估流程1、需求溝通：溝通評估需求，明確參評意向；2、商務確認：對接評估服