版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
T/CEC
中國電力企業(yè)聯(lián)合會標準
T/CEC2022-1139
電力人工智能訓(xùn)練數(shù)據(jù)集歸集標準
(征求意見稿)
20XX—XX—XX發(fā)布20XX—XX—XX實施
中國電力企業(yè)聯(lián)合會發(fā)布
T/CEC
前言
本文件按照GB/T1.1-2020《標準化工作導(dǎo)則第1部分:標準化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起
草。
請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機構(gòu)不承擔(dān)識別這些專利的責(zé)任。
本文件由中國電力企業(yè)聯(lián)合會提出。
本文件由***技術(shù)委員會歸口。
本文件起草單位:南方電網(wǎng)數(shù)字電網(wǎng)研究院有限公司
本文件主要起草人:
本文件首次發(fā)布。
本文件在執(zhí)行過程中的意見或建議反饋至中國電力企業(yè)聯(lián)合會標準化管理中心(北京市白廣路二條
一號,100761)
II
T/CEC
電力人工智能訓(xùn)練數(shù)據(jù)集歸集標準
1范圍
人工智能圖像、語音訓(xùn)練數(shù)據(jù)集歸集標準明確了電力企業(yè)人工智能訓(xùn)練數(shù)據(jù)標注工作涉及的數(shù)據(jù)收
集整理、標注環(huán)境及工具選用、標注任務(wù)執(zhí)行、標注結(jié)果質(zhì)量控制、標注結(jié)果交付等技術(shù)要求。
本標準適用于電力業(yè)務(wù)場景下的人工智能訓(xùn)練數(shù)據(jù)集歸集。
2規(guī)范性引用文件
下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中,注日期的引用文件,
僅該日期對應(yīng)的版本適用于本文件;不注日期的引用文件,其最新版本(包括所有的修改單)適用于本
文件。
GB/T38318-2019《電力監(jiān)控系統(tǒng)網(wǎng)絡(luò)安全評估指南》
GB/T15237.1《術(shù)語工作詞匯第1部分:理論與應(yīng)用》
GB/T5271.1《信息技術(shù)詞匯第1部分:基本術(shù)語》
GB/T5271.28《信息技術(shù)詞匯第28部分:人工智能基本概念與專家系統(tǒng)》
GB/T5271.29《信息技術(shù)詞匯第29部分:人工智能語音識別與合成》
GB/T5271.31《信息技術(shù)詞匯第31部分:人工智能機器學(xué)習(xí)》
GB/T5271.34《信息技術(shù)詞匯第34部分:人工智能神經(jīng)網(wǎng)絡(luò)》
3術(shù)語和定義
下列術(shù)語和定義適用于本文件。
3.1
智能組件intelligentcomponent
智能組件是基于人工智能對數(shù)據(jù)和函數(shù)的封裝。包括調(diào)用API組件、下載的工具組件、SDK組件。
3.2
圖像分類imageclassification
圖像分類通過手工特征或特征學(xué)習(xí)方法對整個圖像進行全部描述,然后使用分類器判別物體類別。
3.3
光學(xué)字符識別opticalcharacterrecognition(OCR)
光學(xué)字符識別,是指利用深度學(xué)習(xí)技術(shù),將圖片上的文字內(nèi)容,智能識別成為可編輯的文本。
3.4
語音speech
某一給定自然語言的話音、模式、或模擬這類模式的聲學(xué)信號。
3.5
語音識別speechrecognition
通過功能單元對人的語音所表示信息的感知與分析。要識別的信息可以是預(yù)定義的字序列中的一個
字,或是預(yù)定義的語言中的一個音素,有時可通過說話者的聲音特征對說話者進行標識。
3.6
1
T/CEC
數(shù)據(jù)標注dataannotation
對文本、圖像、語音、視頻等待標注數(shù)據(jù)進行歸類、整理、編輯、糾錯、標記和批注等操作,為待
標注數(shù)據(jù)增加標簽,生成滿足機器學(xué)習(xí)訓(xùn)練要求的機器可讀數(shù)據(jù)編碼。
3.7
標簽label
標識數(shù)據(jù)的特征、類別和屬性等,可用于建立數(shù)據(jù)及機器學(xué)習(xí)訓(xùn)練要求所定義的機器可讀數(shù)據(jù)編碼
間的聯(lián)系。
3.8
標注任務(wù)annotationtask
按照數(shù)據(jù)標注規(guī)范對指定數(shù)據(jù)集進行標注的過程。
3.9
標注工具annotationtool
數(shù)據(jù)標注員完成標注任務(wù)產(chǎn)生標注結(jié)果時所需的工具和軟件。標注工具可生成標簽并提供參考模板。
不同的數(shù)據(jù)類型和標注任務(wù)需要不同的標注工具。標注工具按自動化程度可分為全人工標注、半自動標
注。
3.10
標注平臺annotationplatform
開展標注任務(wù)的系統(tǒng)化框架。標注平臺在包含標注工具全部功能的基礎(chǔ)上將所有標注環(huán)節(jié)工具化,
可有效地對標注任務(wù)進行全局管理和跟蹤。
3.11
標注描述說明annotationinstruction
數(shù)據(jù)需求方用于明確標注任務(wù)和標注數(shù)據(jù)的書面陳述,包含執(zhí)行標注任務(wù)所需的標注工具、任務(wù)描
述、標注方法、正確示例、常見錯誤等內(nèi)容。
3.12
標注方法annotationmethod
定義數(shù)據(jù)標注員進行數(shù)據(jù)標注時的環(huán)境和流程,應(yīng)包含標注對象定義、所用標注工具和標注平臺、
標注格式、標注前的準備工作、標注后的處理工作等。
3.13
全人工標注full-manualannotation
指完全依靠人力對全部待標注數(shù)據(jù)進行標注。
3.14
半自動標注semi-automaticannotation
使用人工結(jié)合自動化工具或訓(xùn)練模型的方式進行數(shù)據(jù)標注。
3.15
結(jié)果文件resultfile
指待標注數(shù)據(jù)在完成標注工作后產(chǎn)生帶有標簽信息的文件。
3.16
2
T/CEC
數(shù)據(jù)標注員datalabeler
負責(zé)對文本、圖像、語音、視頻等待標注數(shù)據(jù)進行歸類、整理、編輯、糾錯、標記和批注等操作的
工作人員。
4標注任務(wù)技術(shù)說明文件要求
在進行相關(guān)機器學(xué)習(xí)數(shù)據(jù)標注任務(wù)前,應(yīng)明確本次標注工作的技術(shù)標準,生成詳細的技術(shù)說明文件。
標注任務(wù)的技術(shù)說明文件應(yīng)包含本次描述文件的版本信息、標注工作的任務(wù)背景、標注數(shù)據(jù)的應(yīng)用場景、
標注數(shù)據(jù)的類型、標注方式、導(dǎo)入導(dǎo)出格式、標注結(jié)果格式、標注結(jié)果可選值、標注工作的實施環(huán)境、
數(shù)據(jù)保密規(guī)則、標注的正確示例、標注的錯誤示例以及術(shù)語體系規(guī)范化要求。
(1)版本信息
描述說明文件應(yīng)詳細記錄說明文件當(dāng)前的版本、編輯時間、通過審批時間、修訂時間等。
(2)工作背景
概括性描述本次任務(wù)的產(chǎn)生原因、標注數(shù)據(jù)的來源等。
(3)數(shù)據(jù)應(yīng)用場景
概括性描述本次數(shù)據(jù)標注完成后的應(yīng)用方式或應(yīng)用場景。
(4)數(shù)據(jù)類型
確定本次標注數(shù)據(jù)的數(shù)據(jù)類型如圖片、文字、語音、視頻等,提供數(shù)據(jù)類型展示實例。
(5)標注方式
明確本次采用全人工或半人工方式進行標注并確定需要使用的工具。
(6)導(dǎo)入導(dǎo)出格式
應(yīng)明確提出本次待標注數(shù)據(jù)導(dǎo)入或?qū)С鰳俗⒐ぞ叩母袷健?/p>
(7)標注結(jié)果格式
應(yīng)明確提出本次標注結(jié)果輸出格式。
(8)標注結(jié)果可選值
如標注結(jié)果存在可選值范圍,應(yīng)明確列出。
(9)實施環(huán)境
描述標注工作的實施環(huán)境,如電力行業(yè)的敏感數(shù)據(jù)應(yīng)在內(nèi)網(wǎng)環(huán)境下進行標注工作,而非敏感數(shù)據(jù)則
可以到相關(guān)方任何的標注環(huán)境中進行標注。
(10)標注正確示例
應(yīng)提供標注任務(wù)正確標注或有效標注的實例。
(11)標注錯誤示例
應(yīng)提供標注任務(wù)錯誤標注或無效標注的實例。
(12)數(shù)據(jù)保密規(guī)則
應(yīng)根據(jù)《數(shù)據(jù)資產(chǎn)管理辦法》判定數(shù)據(jù)是否涉密,并根據(jù)規(guī)定對標注數(shù)據(jù)進行保護。
(13)標注開始時間
描述本次標注任務(wù)的具體開始時間。
(14)期望交付時間
3
T/CEC
描述本次標注任務(wù)的期望交付時間。
(15)術(shù)語體系規(guī)范化要求
在標注過程中使用的術(shù)語體系需要規(guī)范化,至少應(yīng)滿足下列要求:
1)應(yīng)遵從國家法規(guī)和行業(yè)規(guī)范。
2)應(yīng)符合企業(yè)內(nèi)部管理規(guī)范及要求。
3)應(yīng)建立統(tǒng)一的標注術(shù)語字典,確保數(shù)據(jù)標注人員對術(shù)語定義的理解一致。
4)在學(xué)習(xí)標注說明規(guī)則及進行相應(yīng)的培訓(xùn)后,數(shù)據(jù)標注人員能夠規(guī)范地使用標注術(shù)語完成任務(wù)。
5)應(yīng)被標注任務(wù)的發(fā)布方及相關(guān)方認可。
5待標注數(shù)據(jù)整理技術(shù)要求
5.1電力業(yè)務(wù)數(shù)據(jù)收集
標注數(shù)據(jù)收集工作應(yīng)以業(yè)務(wù)為導(dǎo)向開展,主要涉及生產(chǎn)領(lǐng)域圖像、視頻、點云數(shù)據(jù),營銷場景語音、
文本等,根據(jù)標注任務(wù)的業(yè)務(wù)場景、標注樣本或前期經(jīng)驗進行數(shù)據(jù)收集分析,數(shù)據(jù)收集需明確的要素包
括但不限于類型、量級、數(shù)據(jù)涉密程度、工作量估算、用途及應(yīng)用場景。
5.1.1類型
應(yīng)明確標注數(shù)據(jù)類型如圖像、音頻、文本、視頻等。
5.1.2量級
本次標注任務(wù)待標注數(shù)據(jù)的數(shù)量。
5.1.3來源業(yè)務(wù)系統(tǒng)
本次標注任務(wù)數(shù)據(jù)所產(chǎn)生的源業(yè)務(wù)系統(tǒng),一般生產(chǎn)類數(shù)據(jù)來自電網(wǎng)管理平臺相關(guān)應(yīng)用系統(tǒng),營銷類
數(shù)據(jù)來自客戶服務(wù)平臺相關(guān)應(yīng)用系統(tǒng),例如變電站設(shè)備、表計讀數(shù)圖像來自變電站智能巡檢系統(tǒng)、95598
語音數(shù)據(jù)來自95598智能客服系統(tǒng)等。
5.1.4數(shù)據(jù)產(chǎn)生方式
本次標注任務(wù)數(shù)據(jù)的產(chǎn)生方式,如客戶來電錄音、服務(wù)工單等。
5.1.5數(shù)據(jù)文件命名規(guī)則
本次標注任務(wù)數(shù)據(jù)文件的命名規(guī)律或規(guī)范說明。
5.1.6數(shù)據(jù)保密程度
應(yīng)根據(jù)《數(shù)據(jù)資產(chǎn)管理辦法》判定數(shù)據(jù)是否涉密。
5.1.7用途
確認標注結(jié)果將作為模型的測試集或訓(xùn)練集。
5.1.8應(yīng)用場景
確認標注結(jié)果的應(yīng)用場景如絕緣子的破損檢測、施工人員人臉識別、設(shè)備儀表數(shù)值狀態(tài)檢測等。
5.1.9標注領(lǐng)域
應(yīng)明確標注領(lǐng)域,如圖片分類、語音識別、語音匹配等。
5.1.10工作量估算
根據(jù)標注數(shù)據(jù)的類型、量級、用途、標注任務(wù)人員來源、標注平臺、標注組件等要素確定本次任務(wù)
工作量。
5.2電力業(yè)務(wù)數(shù)據(jù)整理
4
T/CEC
在進行標注數(shù)據(jù)整理過程中,應(yīng)明確數(shù)據(jù)與結(jié)果文件存放目錄結(jié)構(gòu),在任務(wù)分配與回收的時候按指
定的目錄進行數(shù)據(jù)組織,數(shù)據(jù)的整理應(yīng)體現(xiàn)業(yè)務(wù)需求,存放整理后有利于根據(jù)業(yè)務(wù)開展后續(xù)工作,例如
生產(chǎn)域不同類型場景分別存放,同樣場景一起存放。
數(shù)據(jù)整理應(yīng)符合以下要求:
(1)文件夾及各級子目錄名稱首選簡潔的拼音首字母組合標識。
(2)數(shù)據(jù)整理目錄首選按照類別分類,簡化目錄級別。
(3)子目錄等級最深不超過4級。
5.3電力業(yè)務(wù)數(shù)據(jù)文件命名規(guī)則
標注任務(wù)的數(shù)據(jù)文件及結(jié)果文件命名規(guī)則應(yīng)符合以下要求:
(1)要標注的文件名稱應(yīng)簡短(最長不能超過32個字符)且只能包含字母、數(shù)字、下劃線、中
間杠。
(2)待標注數(shù)據(jù)文件與結(jié)果文件命名應(yīng)進行區(qū)分,數(shù)據(jù)文件應(yīng)使用“data_”為前綴,結(jié)果文件應(yīng)
使用“result_”為前綴。
(3)為避免出現(xiàn)標注數(shù)據(jù)重名,應(yīng)在基礎(chǔ)文件名后添加唯一標識碼,標識碼生成應(yīng)按十進制順序
遞增規(guī)則生成四位數(shù)或以上唯一標識碼,如:000001、000002、000003等等,標識碼具體位數(shù)可根據(jù)
文件數(shù)據(jù)量級進行增加。
6標注環(huán)境及工具選用要求
6.1標注環(huán)境選擇標準
數(shù)據(jù)標注任務(wù)具有一定特殊性,部分企業(yè)內(nèi)部數(shù)據(jù)具有較高保密要求,應(yīng)根據(jù)《數(shù)據(jù)資產(chǎn)管理辦法》
規(guī)定對標注環(huán)境進行選擇。
應(yīng)根據(jù)標注數(shù)據(jù)不同涉密情況選擇以下環(huán)境進行標注:
(1)涉密數(shù)據(jù):標注工作應(yīng)在可信任的企業(yè)內(nèi)部環(huán)境或任務(wù)發(fā)布方指定的可信任外部環(huán)境下進行。
(2)非涉密數(shù)據(jù):標注團隊可根據(jù)具體情況選擇標注環(huán)境。
6.2標注工具選擇標準
在進行相關(guān)數(shù)據(jù)標注工作過程中,選擇標注工具應(yīng)符合安全性、易操作性、數(shù)據(jù)輸入輸出規(guī)范性、
統(tǒng)一性以及合法性標準。
6.2.1安全性
應(yīng)選用安全可信的標注工具進行標注工作,避免數(shù)據(jù)泄露造成安全事故。
6.2.2易操作性
標注工具應(yīng)具有提高標注效率的功能,在減少標注人員工作量的同時確保標注質(zhì)量。
6.2.3數(shù)據(jù)輸入輸出規(guī)范性
標注工具應(yīng)支持導(dǎo)入及導(dǎo)出功能,可導(dǎo)入指定格式的數(shù)據(jù)。可導(dǎo)出符合要求格式及質(zhì)量要求的數(shù)據(jù)。
6.2.4統(tǒng)一性
標注工具應(yīng)優(yōu)先選用企業(yè)統(tǒng)一的人工智能平臺提供的標注工具,若平臺未包含特定數(shù)據(jù)類型的標注
工具,可選用其他標注工具進行標注,但同類型的數(shù)據(jù)標注工作應(yīng)優(yōu)先采用同款標注工具進行標示,確
保輸入輸出格式的統(tǒng)一。
6.2.5合法性
標注工具或平臺應(yīng)具備資質(zhì)/資格證書、許可證、版權(quán)等。
7標注任務(wù)執(zhí)行技術(shù)要求
7.1標注子任務(wù)創(chuàng)建
5
T/CEC
進行數(shù)據(jù)標注子任務(wù)創(chuàng)建時,應(yīng)按照不同類別或任務(wù)編號對標注數(shù)據(jù)進行整理及劃分,方便標注團
隊按自身任務(wù)獲取對應(yīng)標注數(shù)據(jù)。
數(shù)據(jù)標注子任務(wù)目標說明宜采用文件形式進行描述,應(yīng)至少包含明確的標注任務(wù)信息、標注方式指
引以及標注結(jié)果存放位置。
7.1.1明確的標注任務(wù)信息
包括本次標注的主要目標、標注需求(需要完成的標注數(shù)據(jù)量級、任務(wù)的優(yōu)先級,對標注結(jié)果質(zhì)量
的要求、對標注完成時間的要求)、任務(wù)描述等。
7.1.2標注方式指引
根據(jù)當(dāng)前標注數(shù)據(jù)的任務(wù),明確標注方式(全人工或半人工)、標注工具、標注環(huán)境的指引,方便
標注人員開展標注任務(wù)。
7.1.3標注結(jié)果存放位置
指定標注完成后的結(jié)果存放位置,方便標注結(jié)果的收集。
7.2標注數(shù)據(jù)移交
進行標注數(shù)據(jù)移交工作前,應(yīng)先根據(jù)公司《數(shù)據(jù)資產(chǎn)管理辦法》確認標注數(shù)據(jù)是否涉密再確定數(shù)據(jù)
移交方式。標注數(shù)據(jù)的移交工作應(yīng)至少符合以下技術(shù)要求:
7.2.1使用可信存儲設(shè)備
包括使用可信的辦公電腦、安全移動硬盤、安全U盤進行標注文件的轉(zhuǎn)移及提交。
7.2.2使用可信內(nèi)部網(wǎng)絡(luò)
包括使用可信的內(nèi)部網(wǎng)絡(luò)進行標注數(shù)據(jù)的傳輸、使用安全可信的內(nèi)部溝通工具進行文件發(fā)送、使用
可信的軟件平臺進行上傳及下載、使用已加密的共享目錄進行數(shù)據(jù)共享。
7.3標注任務(wù)分發(fā)
根據(jù)標注發(fā)布者確定的要求及任務(wù)描述,應(yīng)按之前的數(shù)據(jù)標注子任務(wù)目標說明把任務(wù)分派給標注人
員。標注任務(wù)發(fā)布者在進行標注數(shù)據(jù)分發(fā)時,宜采用文件形式,說明宜包括人員數(shù)量、任務(wù)數(shù)量、任務(wù)
節(jié)點、回收時間、結(jié)束時間以及標注任務(wù)開展方式等相關(guān)信息。
7.3.1人員數(shù)量
本次參與標注任務(wù)的標注人員數(shù)量。
7.3.2任務(wù)數(shù)量
本次任務(wù)主體劃分后的子任務(wù)數(shù)量。
7.3.3任務(wù)節(jié)點
每位數(shù)據(jù)標注人員需完成的任務(wù)總數(shù)及每個時間節(jié)點要求完成的任務(wù)數(shù)。
7.3.4回收時間
任務(wù)目標回收時間及最遲回收時間。
7.3.5結(jié)束時間
任務(wù)整體結(jié)束時間。
7.4標注任務(wù)開展方式
在標注任務(wù)開展過程中,標注方式分為全人工方式標注及半人工方式標注兩種方式,選擇的標注方
式區(qū)別如下:
7.4.1全人工標注
6
T/CEC
全人工標注的方式指全部待標注的數(shù)據(jù)均由標注人員進行審核分類及標注。
7.4.2半人工標注方式
半人工標注方式指使用有一定判斷能力訓(xùn)練模型,對待標注數(shù)據(jù)進行分類,標注人員只對模型識別
準確率較低或無法進行識別的數(shù)據(jù)進行人工識別。
8結(jié)果質(zhì)量保障技術(shù)要求
8.1結(jié)果質(zhì)量檢查
在標注任務(wù)開展及回收的過程中,應(yīng)對標注結(jié)果進行質(zhì)量控制以確保最終的標注結(jié)果,達到交付標
準。標注結(jié)果的質(zhì)量檢查方法分為按比例抽查和機器驗證。
8.1.1按比例抽查
按本次任務(wù)的準確度要求情況確定抽樣比例,對抽樣的標注結(jié)果進行人工檢查。
8.1.2機器驗證
通過已訓(xùn)練的模型對標注結(jié)果進行檢查,對于機器標注與人工標注有差異的標注結(jié)果進行人工檢查。
8.2質(zhì)量控制
在標注任務(wù)開展過程中,除需要進行質(zhì)量檢查外,還需對標注結(jié)果進行質(zhì)量控制。質(zhì)量檢查主要針
對標注結(jié)果,而質(zhì)量控制主要面向標注過程,實時確保標注工作能產(chǎn)生預(yù)期結(jié)果。
標注任務(wù)質(zhì)量控制方式可選用多人驗證和埋題驗證兩種方式進行。
8.2.1多人驗證
相同任務(wù)安排給不同的標注人員,關(guān)注標注結(jié)果不一致的情況。
8.2.2埋題驗證
預(yù)先在任務(wù)中插入已知結(jié)果的標注任務(wù),當(dāng)完成標注任務(wù)時與已知結(jié)果進行比對,關(guān)注與已知結(jié)果
不一致的情況。
9結(jié)果交付技術(shù)要求
9.1數(shù)據(jù)標注結(jié)果通用技術(shù)要求
標注結(jié)果輸出格式應(yīng)使用易閱讀、易解析、易存儲的數(shù)據(jù)格式,格式包括但不限于excel、json
或xml等。輸出的結(jié)果文件應(yīng)包含以下內(nèi)容:
9.1.1標簽編號
每個標注對象的獨立編號。
9.1.2標注人員
進行該對象標注的標注人員信息。
9.1.3標注審核人員
進行該標注結(jié)果審核的人員信息。
9.1.4原始待標注文件路徑
待標注對象的名稱或路徑。
9.1.5標注結(jié)果文件存放路徑
標注完成的結(jié)果存放路徑。
7
T/CEC
9.1.6置信度
標簽的置信度。
9.1.7備注
對該標注對象的補充說明信息。
9.2常見數(shù)據(jù)類型標注結(jié)果技術(shù)要求
常見數(shù)據(jù)類型包括圖像類型數(shù)據(jù)、文本類型數(shù)據(jù)以及語音類型數(shù)據(jù)。
9.2.1圖像類型數(shù)據(jù)標注結(jié)果技術(shù)要求
針對標注任務(wù),進行圖像類標注任務(wù)時,標注結(jié)果應(yīng)包含圖片信息標簽及標簽的具體圖像范圍與位
置(范圍與位置可用矩形工具標出)。
圖像類型數(shù)據(jù)標注結(jié)果文件應(yīng)包含以下內(nèi)容:
(1)圖像對象類型:比如bounding_box或者keypoint。
(2)圖像對象詳情:為對象的空間信息、內(nèi)容信息,或與其它對象的關(guān)系信息。每個對象的詳情
因其類型而異。
9.2.2文本類型數(shù)據(jù)標注結(jié)果技術(shù)要求
針對標注任務(wù),進行文本類標注任務(wù)時,標注結(jié)果應(yīng)包含文本的意圖匹配結(jié)果標識,有多個匹配結(jié)
果的應(yīng)全部進行記錄并確定置信度最高的匹配標簽。
文本類型數(shù)據(jù)標注結(jié)果文件應(yīng)包含以下內(nèi)容:
(1)文本對象類型:比如text_classification或者text_tag。
(2)文本對象詳情:對象的具體文本位置、分類信息、匹配信息,或與其它對象的關(guān)系信息。每
個對象的詳情因其類型而異。
9.2.3語音類型數(shù)據(jù)標注結(jié)果技術(shù)要求
語音類標注任務(wù)的數(shù)據(jù)結(jié)果應(yīng)包含但不限于語音標簽的時間位置、轉(zhuǎn)寫內(nèi)容、話者分離信息、話者
語速等信息。
語音類型數(shù)據(jù)標注結(jié)果文件應(yīng)包含以下內(nèi)容:
(1)語音對象類型:比如speech_to_text。
(2)語音對象詳情:包括對象具體時間位置和轉(zhuǎn)譯內(nèi)容信息,或與其他對象的關(guān)系信息,每個對
象的詳情因其類型而異,話者分離信息以及噪音標簽等如存在,則都應(yīng)在對象詳情中記錄。
9.3數(shù)據(jù)交付技術(shù)參數(shù)要求
數(shù)據(jù)標注任務(wù)交付時應(yīng)向任務(wù)發(fā)布方提供技術(shù)參數(shù)如下:
9.3.1計劃標注數(shù)
統(tǒng)計本次標注任務(wù)原計劃標注的數(shù)據(jù)總數(shù)。
9.3.2實際標注數(shù)
統(tǒng)計本次標注任務(wù)實際完成的標注數(shù)據(jù)總數(shù)。
9.3.3異?;驘o效數(shù)據(jù)數(shù)
統(tǒng)計本次標注任務(wù)過程中發(fā)現(xiàn)的異?;驘o效數(shù)據(jù)總數(shù)。
9.3.4異?;驘o效數(shù)據(jù)說明
描述本次標注任務(wù)過程中發(fā)現(xiàn)的異?;驘o效數(shù)據(jù)情況。
9.3.5標注數(shù)據(jù)類型
描述本次標注任務(wù)的標注數(shù)據(jù)類型。
8
T/CEC
9.3.6標注環(huán)境
描述本次標注任務(wù)的實際標注環(huán)境。
9.3.7標注工具
描述本次標注任務(wù)的實際使用的標注工具。
9.3.8標注人員
描述本次標注任務(wù)實際使用的標注人員情況。
9.3.9標注審核人員
描述本次標注任務(wù)標注結(jié)果審核人員的情況。
9.3.10數(shù)據(jù)總體置信度
統(tǒng)計本次標注任務(wù)標注結(jié)果的總體置信度。
9.3.11標注結(jié)果交付方式
描述本次標注任務(wù)完成后標注結(jié)果的交付方式。
9.3.12標注數(shù)據(jù)質(zhì)檢結(jié)果
描述本次標注任務(wù)的標注結(jié)果質(zhì)量檢查情況。
9.3.13標注開始時間
描述本次標注任務(wù)的實際開始時間。
9.3.14標注交付時間
描述本次標注任務(wù)的實際完成及交付時間。
10安全技術(shù)要求
(1)應(yīng)根據(jù)企業(yè)《數(shù)據(jù)資產(chǎn)管理辦法》對標注數(shù)據(jù)是否涉密進行判定,并根據(jù)辦法對標注數(shù)據(jù)進行
保護。
(2)本標準的任何技術(shù)要求和工作均應(yīng)符合電力企業(yè)信息化建設(shè)與網(wǎng)絡(luò)安全管理原則要求。
9
T/CEC
目次
前言..............................................................................II
1.范圍................................................................................1
2.規(guī)范性引用文件......................................................................1
3.術(shù)語和定義..........................................................................1
4.標注任務(wù)技術(shù)說明要求................................................................3
5.待標注數(shù)據(jù)整理技術(shù)要求..............................................................4
5.1.電力業(yè)務(wù)數(shù)據(jù)收集................................................................4
5.2.電力業(yè)務(wù)數(shù)據(jù)整理................................................................4
5.3.電力業(yè)務(wù)數(shù)據(jù)文件命名規(guī)則........................................................5
6.標注環(huán)境及工具選用要求...............................................................5
6.1.標注環(huán)境選擇標準................................................................5
6.2.標注工具選擇標準................................................................5
7.標注任務(wù)執(zhí)行技術(shù)要求.................................................................5
7.1.標注子任務(wù)創(chuàng)建..................................................................5
7.2.標注數(shù)據(jù)移交....................................................................6
7.3.標注任務(wù)分發(fā)....................................................................6
7.4.標注任務(wù)開展....................................................................6
8.結(jié)果質(zhì)量保障技術(shù)要求................................................................7
8.1.質(zhì)量檢查........................................................................7
8.2.質(zhì)量控制........................................................................7
9.結(jié)果交付技術(shù)要求....................................................................7
9.1.數(shù)據(jù)標注結(jié)果通用技術(shù)要求........................................................7
9.2.常見數(shù)據(jù)類型標注結(jié)果技術(shù)要求....................................................8
9.3.數(shù)據(jù)交付技術(shù)參數(shù)要求............................................................8
10.安全技術(shù)要求........................................................................9
I
T/CEC
電力人工智能訓(xùn)練數(shù)據(jù)集歸集標準
1范圍
人工智能圖像、語音訓(xùn)練數(shù)據(jù)集歸集標準明確了電力企業(yè)人工智能訓(xùn)練數(shù)據(jù)標注工作涉及的數(shù)據(jù)收
集整理、標注環(huán)境及工具選用、標注任務(wù)執(zhí)行、標注結(jié)果質(zhì)量控制、標注結(jié)果交付等技術(shù)要求。
本標準適用于電力業(yè)務(wù)場景下的人工智能訓(xùn)練數(shù)據(jù)集歸集。
2規(guī)范性引用文件
下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中,注日期的引用文件,
僅該日期對應(yīng)的版本適用于本文件;不注日期的引用文件,其最新版本(包括所有的修改單)適用于本
文件。
GB/T38318-2019《電力監(jiān)控系統(tǒng)網(wǎng)絡(luò)安全評估指南》
GB/T15237.1《術(shù)語工作詞匯第1部分:理論與應(yīng)用》
GB/T5271.1《信息技術(shù)詞匯第1部分:基本術(shù)語》
GB/T5271.28《信息技術(shù)詞匯第28部分:人工智能基本概念與專家系統(tǒng)》
GB/T5271.29《信息技術(shù)詞匯第29部分:人工智能語音識別與合成》
GB/T5271.31《信息技術(shù)詞匯第31部分:人工智能機器學(xué)習(xí)》
GB/T5271.34《信息技術(shù)詞匯第34部分:人工智能神經(jīng)網(wǎng)絡(luò)》
3術(shù)語和定義
下列術(shù)語和定義適用于本文件。
3.1
智能組件intelligentcomponent
智能組件是基于人工智能對數(shù)據(jù)和函數(shù)的封裝。包括調(diào)用API組件、下載的工具組件、SDK組件。
3.2
圖像分類imageclassification
圖像分類通過手工特征或特征學(xué)習(xí)方法對整個圖像進行全部描述,然后使用分類器判別物體類別。
3.3
光學(xué)字符識別opticalcharacterrecognition(OCR)
光學(xué)字符識別,是指利用深度學(xué)習(xí)技術(shù),將圖片上的文字內(nèi)容,智能識別成為可編輯的文本。
3.4
語音speech
某一給定自然語言的話音、模式、或模擬這類模式的聲學(xué)信號。
3.5
語音識別speechrecognition
通過功能單元對人的語音所表示信息的感知與分析。要識別的信息可以是預(yù)定義的字序列中的一個
字,或是預(yù)定義的語言中的一個音素,有時可通過說話者的聲音特征對說話者進行標識。
3.6
1
T/CEC
數(shù)據(jù)標注dataannotation
對文本、圖像、語音、視頻等待標注數(shù)據(jù)進行歸類、整理、編輯、糾錯、標記和批注等操作,為待
標注數(shù)據(jù)增加標簽,生成滿足機器學(xué)習(xí)訓(xùn)練要求的機器可讀數(shù)據(jù)編碼。
3.7
標簽label
標識數(shù)據(jù)的特征、類別和屬性等,可用于建立數(shù)據(jù)及機器學(xué)習(xí)訓(xùn)練要求所定義的機器可讀數(shù)據(jù)編碼
間的聯(lián)系。
3.8
標注任務(wù)annotationtask
按照數(shù)據(jù)標注規(guī)范對指定數(shù)據(jù)集進行標注的過程。
3.9
標注工具annotationtool
數(shù)據(jù)標注員完成標注任務(wù)產(chǎn)生標注結(jié)果時所需的工具和軟件。標注工具可生成標簽并提供參考模板。
不同的數(shù)據(jù)類型和標注任務(wù)需要不同的標注工具。標注工具按自動化程度可分為全人工標注、半自動標
注。
3.10
標注平臺annotationplatform
開展標注任務(wù)的系統(tǒng)化框架。標注平臺在包含標注工具全部功能的基礎(chǔ)上將所有標注環(huán)節(jié)工具化,
可有效地對標注任務(wù)進行全局管理和跟蹤。
3.11
標注描述說明annotationinstruction
數(shù)據(jù)需求方用于明確標注任務(wù)和標注數(shù)據(jù)的書面陳述,包含執(zhí)行標注任務(wù)所需的標注工具、任務(wù)描
述、標注方法、正確示例、常見錯誤等內(nèi)容。
3.12
標注方法annotationmethod
定義數(shù)據(jù)標注員進行數(shù)據(jù)標注時的環(huán)境和流程,應(yīng)包含標注對象定義、所用標注工具和標注平臺、
標注格式、標注前的準備工作、標注后的處理工作等。
3.13
全人工標注full-manualannotation
指完全依靠人力對全部待標注數(shù)據(jù)進行標注。
3.14
半自動標注semi-automaticannotation
使用人工結(jié)合自動化工具或訓(xùn)練模型的方式進行數(shù)據(jù)標注。
3.15
結(jié)果文件resultfile
指待標注數(shù)據(jù)在完成標注工作后產(chǎn)生帶有標簽信息的文件。
3.16
2
T/CEC
數(shù)據(jù)標注員datalabeler
負責(zé)對文本、圖像、語音、視頻等待標注數(shù)據(jù)進行歸類、整理、編輯、糾錯、標記和批注等操作的
工作人員。
4標注任務(wù)技術(shù)說明文件要求
在進行相關(guān)機器學(xué)習(xí)數(shù)據(jù)標注任務(wù)前,應(yīng)明確本次標注工作的技術(shù)標準,生成詳細的技術(shù)說明文件。
標注任務(wù)的技術(shù)說明文件應(yīng)包含本次描述文件的版本信息、標注工作的任務(wù)背景、標注數(shù)據(jù)的應(yīng)用場景、
標注數(shù)據(jù)的類型、標注方式、導(dǎo)入導(dǎo)出格式、標注結(jié)果格式、標注結(jié)果可選值、標注工作的實施環(huán)境、
數(shù)據(jù)保密規(guī)則、標注的正確示例、標注的錯誤示例以及術(shù)語體系規(guī)范化要求。
(1)版本信息
描述說明文件應(yīng)詳細記錄說明文件當(dāng)前的版本、編輯時間、通過審批時間、修訂時間等。
(2)工作背景
概括性描述本次任務(wù)的產(chǎn)生原因、標注數(shù)據(jù)的來源等。
(3)數(shù)據(jù)應(yīng)用場景
概括性描述本次數(shù)據(jù)標注完成后的應(yīng)用方式或應(yīng)用場景。
(4)數(shù)據(jù)類型
確定本次標注數(shù)據(jù)的數(shù)據(jù)類型如圖片、文字、語音、視頻等,提供數(shù)據(jù)類型展示實例。
(5)標注方式
明確本次采用全人工或半人工方式進行標注并確定需要使用的工具。
(6)導(dǎo)入導(dǎo)出格式
應(yīng)明確提出本次待標注數(shù)據(jù)導(dǎo)入或?qū)С鰳俗⒐ぞ叩母袷健?/p>
(7)標注結(jié)果格式
應(yīng)明確提出本次標注結(jié)果輸出格式。
(8)標注結(jié)果可選值
如標注結(jié)果存在可選值范圍,應(yīng)明確列出。
(9)實施環(huán)境
描述標注工作的實施環(huán)境,如電力行業(yè)的敏感數(shù)據(jù)應(yīng)在內(nèi)網(wǎng)環(huán)境下進行標注工作,而非敏感數(shù)據(jù)則
可以到相關(guān)方任何的標注環(huán)境中進行標注。
(10)標注正確示例
應(yīng)提供標注任務(wù)正確標注或有效標注的實例。
(11)標注錯誤示例
應(yīng)提供標注任務(wù)錯誤標注或無效標注的實例。
(12)數(shù)據(jù)保密規(guī)則
應(yīng)根據(jù)《數(shù)據(jù)資產(chǎn)管理辦法》判定數(shù)據(jù)是否涉密,并根據(jù)規(guī)定對標注數(shù)據(jù)進行保護。
(13)標注開始時間
描述本次標注任務(wù)的具體開始時間。
(14)期望交付時間
3
T/CEC
描述本次標注任務(wù)的期望交付時間。
(15)術(shù)語體系規(guī)范化要求
在標注過程中使用的術(shù)語體系需要規(guī)范化,至少應(yīng)滿足下列要求:
1)應(yīng)遵從國家法規(guī)和行業(yè)規(guī)范。
2)應(yīng)符合企業(yè)內(nèi)部管理規(guī)范及要求。
3)應(yīng)建立統(tǒng)一的標注術(shù)語字典,確保數(shù)據(jù)標注人員對術(shù)語定義的理解一致。
4)在學(xué)習(xí)標注說明規(guī)則及進行相應(yīng)的培訓(xùn)后,數(shù)據(jù)標注人員能夠規(guī)范地使用標注術(shù)語完成任務(wù)。
5)應(yīng)被標注任務(wù)的發(fā)布方及相關(guān)方認可。
5待標注數(shù)據(jù)整理技術(shù)要求
5.1電力業(yè)務(wù)數(shù)據(jù)收集
標注數(shù)據(jù)收集工作應(yīng)以業(yè)務(wù)為導(dǎo)向開展,主要涉及生產(chǎn)領(lǐng)域圖像、視頻、點云數(shù)據(jù),營銷場景語音、
文本等,根據(jù)標注任務(wù)的業(yè)務(wù)場景、標注樣本或前期經(jīng)驗進行數(shù)據(jù)收集分析,數(shù)據(jù)收集需明確的要素包
括但不限于類型、量級、數(shù)據(jù)涉密程度、工作量估算、用途及應(yīng)用場景。
5.1.1類型
應(yīng)明確標注數(shù)據(jù)類型如圖像、音頻、文本、視頻等。
5.1.2量級
本次標注任務(wù)待標注數(shù)據(jù)的數(shù)量。
5.1.3來源業(yè)務(wù)系統(tǒng)
本次標注任務(wù)數(shù)據(jù)所產(chǎn)生的源業(yè)務(wù)系統(tǒng),一般生產(chǎn)類數(shù)據(jù)來自電網(wǎng)管理平臺相關(guān)應(yīng)用系統(tǒng),營銷類
數(shù)據(jù)來自客戶服務(wù)平臺相關(guān)應(yīng)用系統(tǒng),例如變電站設(shè)備、表計讀數(shù)圖像來自變電站智能巡檢系統(tǒng)、95598
語音數(shù)據(jù)來自95598智能客服系統(tǒng)等。
5.1.4數(shù)據(jù)產(chǎn)生方式
本次標注任務(wù)數(shù)據(jù)的產(chǎn)生方式,如客戶來電錄音、服務(wù)工單等。
5.1.5數(shù)據(jù)文件命名規(guī)則
本次標注任務(wù)數(shù)據(jù)文件的命名規(guī)律或規(guī)范說明。
5.1.6數(shù)據(jù)保密程度
應(yīng)根據(jù)《數(shù)據(jù)資產(chǎn)管理辦法》判定數(shù)據(jù)是否涉密。
5.1.7用途
確認標注結(jié)果將作為模型的測試集或訓(xùn)練集。
5.1.8應(yīng)用場景
確認標注結(jié)果的應(yīng)用場景如絕緣子的破損檢測、施工人員人臉識別、設(shè)備儀表數(shù)值狀態(tài)檢測等。
5.1.9標注領(lǐng)域
應(yīng)明確標注領(lǐng)域,如圖片分類、語音識別、語音匹配等。
5.1.10工作量估算
根據(jù)標注數(shù)據(jù)的類型、量級、用途、標注任務(wù)人員來源、標注平臺、標注組件等要素確定本次任務(wù)
工作量。
5.2電力業(yè)務(wù)數(shù)據(jù)整理
4
T/CEC
在進行標注數(shù)據(jù)整理過程中,應(yīng)明確數(shù)據(jù)與結(jié)果文件存放目錄結(jié)構(gòu),在任務(wù)分配與回收的時候按指
定的目錄進行數(shù)據(jù)組織,數(shù)據(jù)的整理應(yīng)體現(xiàn)業(yè)務(wù)需求,存放整理后有利于根據(jù)業(yè)務(wù)開展后續(xù)工作,例如
生產(chǎn)域不同類型場景分別存放,同樣場景一起存放。
數(shù)據(jù)整理應(yīng)符合以下要求:
(1)文件夾及各級子目錄名稱首選簡潔的拼音首字母組合標識。
(2)數(shù)據(jù)整理目錄首選按照類別分類,簡化目錄級別。
(3)子目錄等級最深不超過4級。
5.3電力業(yè)務(wù)數(shù)據(jù)文件命名規(guī)則
標注任務(wù)的數(shù)據(jù)文件及結(jié)果文件命名規(guī)則應(yīng)符合以下要求:
(1)要標注的文件名稱應(yīng)簡短(最長不能超過32個字符)且只能包含字母、數(shù)字、下劃線、中
間杠。
(2)待標注數(shù)據(jù)文件與結(jié)果文件命名應(yīng)進行區(qū)分,數(shù)據(jù)文件應(yīng)使用“data_”為前綴,結(jié)果文件應(yīng)
使用“result_”為前綴。
(3)為避免出現(xiàn)標注數(shù)據(jù)重名,應(yīng)在基礎(chǔ)文件名后添加唯一標識碼,標識碼生成應(yīng)按十進制順序
遞增規(guī)則生成四位數(shù)或以上唯一標識碼,如:000001、000002、000003等等,標識碼具體位數(shù)可根據(jù)
文件數(shù)據(jù)量級進行增加。
6標注環(huán)境及工具選用要求
6.1標注環(huán)境選擇標準
數(shù)據(jù)標注任務(wù)具有一定特殊性,部分企業(yè)內(nèi)部數(shù)據(jù)具有較高保密要求,應(yīng)根據(jù)《數(shù)據(jù)資產(chǎn)管理辦法》
規(guī)定對標注環(huán)境進行選擇。
應(yīng)根據(jù)標注數(shù)據(jù)不同涉密情況選擇以下環(huán)境進行標注:
(1)涉密數(shù)據(jù):標注工作應(yīng)在可信任的企業(yè)內(nèi)部環(huán)境或任務(wù)發(fā)布方指定的可信任外部環(huán)境下進行。
(2)非涉密數(shù)據(jù):標注團隊可根據(jù)具體情況選擇標注環(huán)境。
6.2標注工具選擇標準
在進行相關(guān)數(shù)據(jù)標注工作過程中,選擇標注工具應(yīng)符合安全性、易操作性、數(shù)據(jù)輸入輸出規(guī)范性、
統(tǒng)一性以及合法性標準。
6.2.1安全性
應(yīng)選用安全可信的標注工具進行標注工作,避免數(shù)據(jù)泄露造成安全事故。
6.2.2易操作性
標注工具應(yīng)具有提高標注效率的功能,在減少標注人員工作量的同時確保標注質(zhì)量。
6.2.3數(shù)據(jù)輸入輸出規(guī)范性
標注工具應(yīng)支持導(dǎo)入及導(dǎo)出功能,可導(dǎo)入指定格式的數(shù)據(jù)。可導(dǎo)出符合要求格式及質(zhì)量要求的數(shù)據(jù)。
6.2.4統(tǒng)一性
標注工具應(yīng)優(yōu)先選用企業(yè)統(tǒng)一的人工智能平臺提供的標注工具,若平臺未包含特定數(shù)據(jù)類型的標注
工具,可選用其他標注工具進行標注,但同類型的數(shù)據(jù)標注工作應(yīng)優(yōu)先采用同款標注工具進行標示,確
保輸入輸出格式的統(tǒng)一。
6.2.5合法性
標注工具或平臺應(yīng)具備資質(zhì)/資格證書、許可證、版權(quán)等。
7標注任務(wù)執(zhí)行技術(shù)要求
7.1標注子任務(wù)創(chuàng)建
5
T/CEC
進行數(shù)據(jù)標注子任務(wù)創(chuàng)建時,應(yīng)按照不同類別或任務(wù)編號對標注數(shù)據(jù)進行整理及劃分,方便標注團
隊按自身任務(wù)獲取對應(yīng)標注數(shù)據(jù)。
數(shù)據(jù)標注子任務(wù)目標說明宜采用文件形式進行描述,應(yīng)至少包含明確的標注任務(wù)信息、標注方式指
引以及標注結(jié)果存放位置。
7.1.1明確的標注任務(wù)信息
包括本次標注的主要目標、標注需求(需要完成的標注數(shù)據(jù)量級、任務(wù)的優(yōu)先級,對標注結(jié)果質(zhì)量
的要求、對標注完成時間的要求)、任務(wù)描述等。
7.1.2標注方式指引
根據(jù)當(dāng)前標注數(shù)據(jù)的任務(wù),明確標注方式(全人工或半人工)、標注工具、標注環(huán)境的指引,方便
標注人員開展標注任務(wù)。
7.1.3標注結(jié)果存放位置
指定標注完成后的結(jié)果存放位置,方便標注結(jié)果的收集。
7.2標注數(shù)據(jù)移交
進行標注數(shù)據(jù)移交工作前,應(yīng)先根據(jù)公司《數(shù)據(jù)資產(chǎn)管理辦法》確認標注數(shù)據(jù)是否涉密再確定數(shù)據(jù)
移交方式。標注數(shù)據(jù)的移交工作應(yīng)至少符合以下技術(shù)要求:
7.2.1使用可信存儲設(shè)備
包括使用可信的辦公電腦、安全移動硬盤、安全U盤進行標注文件的轉(zhuǎn)移及提交。
7.2.2使用可信內(nèi)部網(wǎng)絡(luò)
包括使用可信的內(nèi)部網(wǎng)絡(luò)進行標注數(shù)據(jù)的傳輸、使用安全可信的內(nèi)部溝通工具進行文件發(fā)送、使用
可信的軟件平臺進行上傳及下載、使用已加密的共享目錄進行數(shù)據(jù)共享。
7.3標注任務(wù)分發(fā)
根據(jù)標注發(fā)布者確定的要求及任務(wù)描述,應(yīng)按之前的數(shù)據(jù)標注子任務(wù)目標說明把任務(wù)分派給標注人
員。標注任務(wù)發(fā)布者在進行標注數(shù)據(jù)分發(fā)時,宜采用文件形式,說明宜包括人員數(shù)量、任務(wù)數(shù)量、任務(wù)
節(jié)點、回收時間、結(jié)束時間以及標注任務(wù)開展方式等相關(guān)信息。
7.3.1人員數(shù)量
本次參與標注任務(wù)的標注人員數(shù)量。
7.3.2任務(wù)數(shù)量
本次任務(wù)主體劃分后的子任務(wù)數(shù)量。
7.3.3任務(wù)節(jié)點
每位數(shù)據(jù)標注人員需完成的任務(wù)總數(shù)及每個時間節(jié)點要求完成的任務(wù)數(shù)。
7.3.4回收時間
任務(wù)目標回收時間及最遲回收時間。
7.3.5結(jié)束時間
任務(wù)整體結(jié)束時間。
7.4標注任務(wù)開展方式
在標注任務(wù)開展過程中,標注方式分為全人工方式標注及半人工方式標注兩種方式,選擇的標注方
式區(qū)別如下:
7.4.1全
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 淀粉在化妝品添加劑中的研究考核試卷
- 2024選礦場租賃及技術(shù)服務(wù)協(xié)議
- 2024家裝隔斷承建協(xié)議格式
- 建筑工地安全標志與警示牌的設(shè)置考核試卷
- 2024至2030年中國高速雙面花盤提花機數(shù)據(jù)監(jiān)測研究報告
- 《基于深度學(xué)習(xí)的PCB裸板缺陷檢測方法研究》
- 《不同工作模式下人體下肢肌肉力量特點的等動測試研究》
- 房產(chǎn)出售規(guī)范協(xié)議文本2024年
- 《基于3D打印技術(shù)對頭針運動區(qū)定位的研究》
- 2024煤礦員工綜合服務(wù)協(xié)議模板
- GB/T 29168.4-2024石油天然氣工業(yè)管道輸送系統(tǒng)用彎管、管件和法蘭第4部分:冷彎管
- 期中測試卷(1-4單元)(試題)-2024-2025學(xué)年六年級上冊數(shù)學(xué)人教版
- 知識點默寫單-2024-2025學(xué)年統(tǒng)編版道德與法治九年級上冊
- 科大訊飛財務(wù)報表分析報告
- 2024-秋季新版人教版三年級上冊英語單詞
- Java開發(fā)工程師招聘筆試題及解答(某大型央企)2024年
- 2024年新人教版道德與法治一年級上冊 12 玩也有學(xué)問 教學(xué)課件
- 北師大版八年級上冊數(shù)學(xué)期中考試試卷帶答案
- 地形圖測繪報告
- 《數(shù)學(xué)廣角-集合》說課稿
- 2024至2030年中國別墅行業(yè)投資前景分析預(yù)測及未來趨勢發(fā)展預(yù)測報告
評論
0/150
提交評論