T-AHAI 010-2024 文物圖像的元素語(yǔ)義分割與提取

ICS01.110CCSL62AHAI文物圖像的元素語(yǔ)義分割與提取ElementsemanticsegmentationandextractionofculturalrelicsimagesI 2規(guī)范性引用文件 3術(shù)語(yǔ)和定義 4技術(shù)要求 5測(cè)試方法 附錄A第三次全國(guó)文物普查不可移動(dòng)文物分類(lèi)標(biāo)準(zhǔn)） 1附錄B國(guó)有可移動(dòng)文物普查——文物分類(lèi)標(biāo)準(zhǔn)（試行 2本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請(qǐng)注意本文件的某些內(nèi)容可能涉及專(zhuān)利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專(zhuān)利的責(zé)任。本文件由合肥工業(yè)大學(xué)等單位提出并由安徽省人工智能協(xié)會(huì)歸口。本文件起草單位：浙江大學(xué)、西北工業(yè)大學(xué)、杭州良渚古城遺址世界遺產(chǎn)監(jiān)測(cè)管理中心、合肥工業(yè)大學(xué)、科大訊飛股份有限公司、中國(guó)科學(xué)技術(shù)大學(xué)、北京理工大學(xué)。本文件主要起草人：趙磊、王勇超、賀小偉、唐益明、李琳、劉曉平、宋維濤、陳仁杰、李權(quán)、郜靜文、何永春、劉穎、程鳴、謝文軍、曹力。1文物圖像的元素語(yǔ)義分割與提取本文件規(guī)定了文物圖像的元素語(yǔ)義分割與提取的技術(shù)要求與測(cè)試方法。本文件適用于可移動(dòng)與不可移動(dòng)文物圖像的元素分割與提取。2規(guī)范性引用文件《中華人民共和國(guó)文物保護(hù)行業(yè)標(biāo)準(zhǔn)文物藏品檔案規(guī)范》(WW/T0020—2008國(guó)家文物局，2009年2月16日《博物館藏品信息指標(biāo)體系規(guī)范》，國(guó)家文物局（文物博發(fā)[2001]81號(hào)）3術(shù)語(yǔ)和定義下列術(shù)語(yǔ)和定義適用于本文件。3.1不可移動(dòng)文物immovableculturalrelic具有歷史、藝術(shù)、科學(xué)價(jià)值的古文化遺址、古墓葬、古建筑、石窟寺和石刻、壁畫(huà)，以及與重大歷史事件、革命運(yùn)動(dòng)或者著名人物有關(guān)的以及具有重要紀(jì)念意義、教育意義或者史料價(jià)值的近代現(xiàn)代重要史跡和代表性建筑等7類(lèi)文物的統(tǒng)稱(chēng)，文物分類(lèi)的具體方法見(jiàn)附錄A。3.2文物圖像culturalimage古人根據(jù)使用和美化目的，按照材料并結(jié)合工藝、技術(shù)及經(jīng)濟(jì)條件等，通過(guò)藝術(shù)構(gòu)思，對(duì)器物的造型、色彩、裝飾紋樣等進(jìn)行設(shè)計(jì)，然后按設(shè)計(jì)方案制成的器物的圖像。狹義的文化圖像僅指文物上的裝飾紋樣和色彩。3.3紋樣pattern一種花紋圖案。主要題材分為自然景物和各種幾何圖形（包括變體文字等）兩大類(lèi)，有寫(xiě)實(shí)、寫(xiě)意、變形等表現(xiàn)手法。3.4造型modelling以一定物質(zhì)材料（如繪畫(huà)用顏料、墨、絹、布、紙、木板等，雕塑、工藝用木、石、泥、玻璃、金屬等，建筑用多種建筑材料等）和手段所創(chuàng)造的可視、靜態(tài)的空間形象，來(lái)反映社會(huì)生活與表現(xiàn)藝術(shù)家的思想情感。它是一種再現(xiàn)空間藝術(shù)，也是一種靜態(tài)視覺(jué)藝術(shù)。23.5語(yǔ)義分割semanticsegmentation對(duì)將圖像中的每個(gè)像素標(biāo)記為特定語(yǔ)義類(lèi)別。3.6元素提取elementextraction提取文化圖像中的元素對(duì)象，如圖像中包含的動(dòng)物、人物、文字等。3.7實(shí)例分割instancesegmentation對(duì)文化圖像中的多個(gè)同類(lèi)對(duì)象進(jìn)行區(qū)分，分別分割。3.8對(duì)象類(lèi)別objectcategory文化圖像中包含的對(duì)象的種類(lèi)，如動(dòng)物、人物、文字等。3.9交互分割interactivesegmentation通過(guò)用戶(hù)交互對(duì)文化圖像中的元素進(jìn)行分割。3.10分割精準(zhǔn)度segmentationaccuracy文化圖像進(jìn)行分割的時(shí)候分出的對(duì)象和實(shí)際的對(duì)象的比。4技術(shù)要求4.1圖像分辨率的要求輸入圖像支持1024*1024以上的分辨率，對(duì)圖像的長(zhǎng)和寬的比例不做要求，最大分辨率為4K*4K。4.2網(wǎng)絡(luò)傳輸帶寬系統(tǒng)網(wǎng)絡(luò)帶寬設(shè)計(jì)應(yīng)能滿(mǎn)足文化圖像快速傳輸?shù)膸捯?，并留有余量。傳輸帶寬?yīng)不低于2MB，對(duì)于4K分辨率的圖像，網(wǎng)絡(luò)帶寬宜大于20MB。4.3圖像的格式要求應(yīng)支持常規(guī)的圖像格式，比如JPG/BMP/PS/PNG等。4.4文物圖像的元素語(yǔ)義分割4.4.1語(yǔ)義分割的神經(jīng)網(wǎng)絡(luò)3圖像語(yǔ)義分割方法宜優(yōu)先采用基于卷積神經(jīng)網(wǎng)絡(luò)的深度神經(jīng)網(wǎng)絡(luò)模型，以支持任意分辨率圖像的語(yǔ)義有效分割。但為了保證單機(jī)硬件條件下的圖像語(yǔ)義分割計(jì)算性能和速度，圖像分辨率大小應(yīng)遵循4.1要求。4.4.2分割軟件的架構(gòu)分割軟件的架構(gòu)可采用CS或者BS的基于網(wǎng)絡(luò)的架構(gòu)，但是為了更好地支持文化圖像的跨時(shí)間和空間的應(yīng)用，宜采用BS的架構(gòu)，這樣可為不同地點(diǎn)的用戶(hù)提供服務(wù)。4.4.3圖像元素的交互語(yǔ)義分割精準(zhǔn)度圖像元素的交互語(yǔ)義分割的精準(zhǔn)度大于99%。4.4.4交互響應(yīng)時(shí)間在交互分割的條件下，分割一個(gè)對(duì)象元素的時(shí)間應(yīng)該低于1秒的響應(yīng)時(shí)間。4.5文物圖像的元素提取要求4.5.1文物圖像元素的保存提取出來(lái)的圖像元素應(yīng)單獨(dú)保存，保存時(shí)背景應(yīng)透明。4.5.2文物圖像中紋樣的提取如果提取的圖像元素為紋樣，應(yīng)提取紋樣的輪廓，不應(yīng)包含有背景信息。4.5.3文物圖像中器物造型的提取如果提取的圖像元素為器物造型，應(yīng)提取造型的輪廓，不應(yīng)包含有背景信息。4.5.4文物圖像中元素的提取圖像中包含的所有的元素對(duì)象都應(yīng)提取出來(lái)，同一類(lèi)的多個(gè)元素對(duì)象應(yīng)分別提取。4.5.5文物圖像中元素的命名應(yīng)包含原始的整幅圖像（或者相關(guān)文物）的名稱(chēng)、元素本身的對(duì)象類(lèi)別名稱(chēng)、區(qū)別于同類(lèi)其他元素的名稱(chēng)。例如：韓熙載夜宴圖人物3（男）、韓熙載夜宴圖人物4（女）。4.5.6文物圖像中元素的描述首先需要將圖像元素所在的圖像進(jìn)行描述，然后再描述元素本身。圖像元素的所在的圖像描述必須包含如下信息：圖像對(duì)應(yīng)的文物名稱(chēng)、文物時(shí)代、來(lái)源信息（出土地點(diǎn)或者其他）、價(jià)值屬性、文物類(lèi)別、區(qū)域信息、存在形態(tài)信息、質(zhì)地信息、功用信息、屬性（性質(zhì)）等；文物分類(lèi)的具體方法見(jiàn)附錄A和附錄B。圖像元素本身的描述，包括：幾何形體的描述（造型）、色彩、紋理、名稱(chēng)、應(yīng)用場(chǎng)景（祭祀、祈福、喜慶等）44.5.7文物圖像交互提取的要求用戶(hù)點(diǎn)擊圖像的對(duì)應(yīng)的元素區(qū)域，系統(tǒng)或者模塊應(yīng)該能夠自動(dòng)識(shí)別出該點(diǎn)擊對(duì)應(yīng)的圖像元素，并高亮顯示該區(qū)域，另外，還需要提供右鍵能力，實(shí)現(xiàn)復(fù)制、剪切、保存等功能。5測(cè)試方法5.1輸入輸出文物圖像的元素語(yǔ)義分割與提取軟件系統(tǒng)中輸入的數(shù)據(jù)應(yīng)為圖像數(shù)據(jù)，且應(yīng)屬于常規(guī)的格式，比如JPG/BMP/PNG等。文物圖像的元素語(yǔ)義分割與提取軟件系統(tǒng)中輸出的數(shù)據(jù)應(yīng)為圖像數(shù)據(jù)，且應(yīng)屬于常規(guī)的格式，比如JPG/BMP/PNG等。語(yǔ)義分割提取出來(lái)的元素需返回到系統(tǒng)中，以圖像的形式進(jìn)行保存。5.2圖像元素的交互語(yǔ)義分割精準(zhǔn)度指在交互過(guò)程中，系統(tǒng)識(shí)別的用戶(hù)分割結(jié)果正確分類(lèi)的像素?cái)?shù)量與總像素?cái)?shù)量之間的比例。其中，正確分類(lèi)的像素?cái)?shù)量是指在預(yù)測(cè)結(jié)果中與真實(shí)標(biāo)注完全匹配的像素?cái)?shù)量，總像素?cái)?shù)量是圖像中的所有像素?cái)?shù)量（包括前景和背景）。圖像元素的交互語(yǔ)義分割精準(zhǔn)度的測(cè)試應(yīng)按照以下步驟:a)選擇不少于30張文物圖像，進(jìn)行測(cè)試；b)系統(tǒng)進(jìn)行語(yǔ)義分割，對(duì)文物圖像像素進(jìn)行分類(lèi)；c)通過(guò)系統(tǒng)給出的圖像像素分類(lèi)結(jié)果和真實(shí)標(biāo)注進(jìn)行比對(duì)，統(tǒng)計(jì)正確分類(lèi)的像素?cái)?shù)量，計(jì)算其與總像素?cái)?shù)量的比例，應(yīng)達(dá)到既定要求。5.3交互響應(yīng)時(shí)間交互響應(yīng)時(shí)間的計(jì)算具體如下：Tack=tr-te......................................................................(1)其中，Tack——響應(yīng)時(shí)間；tr——給出結(jié)果的時(shí)間點(diǎn)；te——圖像輸入結(jié)束的時(shí)間點(diǎn)。對(duì)于交互響應(yīng)時(shí)間的測(cè)試應(yīng)按照以下步驟進(jìn)行:a)選擇不少于30張文物圖像，進(jìn)行測(cè)試；b)系統(tǒng)記錄圖像輸入結(jié)束的時(shí)間點(diǎn)、給出結(jié)果的時(shí)間點(diǎn)；c)根據(jù)公式(1),系統(tǒng)計(jì)算出交互響應(yīng)時(shí)間；d)以平均的交互響應(yīng)時(shí)間為最終結(jié)果，應(yīng)符合既定要求。1T/AHAI010—2024附錄A：（第三次全國(guó)文物普查不可移動(dòng)文物分類(lèi)標(biāo)準(zhǔn)）第三次全國(guó)文物普查不可移動(dòng)文物的分類(lèi)，按照《中華人民共和國(guó)文物保護(hù)法》的分類(lèi)原則劃分為六類(lèi)，每類(lèi)中包括若干子類(lèi)。一處不可移動(dòng)文物只能歸入一個(gè)文物類(lèi)別，如果包含兩類(lèi)以上文物，以其主要文物內(nèi)容歸類(lèi)。分類(lèi)標(biāo)準(zhǔn)如下：1.1洞穴址1.2聚落址1.3城址1.5窖藏址1.6礦冶遺址1.7古戰(zhàn)場(chǎng)1.8驛站古道遺址1.9軍事設(shè)施遺址1.10橋梁碼頭遺址1.11祭祀遺址1.12水下遺址1.13水利設(shè)施遺址1.14寺廟遺址1.15宮殿衙署遺址1.16其他古遺址2古墓葬2.1帝王陵寢2.2名人或貴族墓2.3普通墓葬2.4其他古墓葬3古建筑3.1城垣城樓3.2宮殿府邸3.3宅第民居3.4壇廟祠堂3.5衙署官邸3.6學(xué)堂書(shū)院3.7驛站會(huì)館3.8店鋪?zhàn)鞣?.9牌坊影壁3.10亭臺(tái)樓闕3.11寺觀塔幢3.12苑囿園林3.13橋涵碼頭3.14堤壩渠堰3.15池塘井泉3.16其他古建筑4石窟寺及石刻4.1石窟寺2T/AHAI010—20244.2摩崖石刻4.3碑刻4.4石雕4.5巖畫(huà)4.6其他石刻5近現(xiàn)代重要史跡及代表性建筑5.1重要?dú)v史事件和重要機(jī)構(gòu)舊址5.2重要?dú)v史事件及人物活動(dòng)紀(jì)念地5.3名人故、舊居5.4傳統(tǒng)民居5.5宗教建筑5.6名人墓5.7烈士墓及紀(jì)念設(shè)施5.8工業(yè)建筑及附屬物5.9金融商貿(mào)建筑5.10中華老字號(hào)5.11水利設(shè)施及附屬物5.12文化教育建筑及附屬物5.13醫(yī)療衛(wèi)生建筑5.14軍事建筑及設(shè)施5.15交通道路設(shè)施5.16典型風(fēng)格建筑或構(gòu)筑物5.17其他近現(xiàn)代重要史跡及代表性建筑6其他（國(guó)有可移動(dòng)文物普查——文物分類(lèi)標(biāo)準(zhǔn)（試行））序號(hào)類(lèi)別內(nèi)容及舉例1銅器除貨幣、雕塑和造像以外的，以銅為主要材質(zhì)的各種生產(chǎn)工具、生活用品及工藝制品等。2鐵器除貨幣、雕塑和造像以外的，以鐵為主要材質(zhì)的各種生產(chǎn)工具、生活用品及工藝制品等。3陶、泥器彩陶、黑陶、紅陶、灰陶、釉陶、白陶、紫砂、彩繪陶、琺花、生坯、泥金餅、泥丸等工藝制品及陶制建筑構(gòu)件、陶制生產(chǎn)工具與生活用品等。4彩繪、顏色釉等各類(lèi)瓷質(zhì)制品，5磚瓦畫(huà)像磚、城磚、磚雕、墓磚、影作、象眼、板瓦、筒瓦、瓦當(dāng)?shù)取?寶、玉石器玉、碧璽、瑪瑙、翡翠、各類(lèi)寶石、珊瑚、琥珀、蜜蠟、鉆石、芙蓉石、松石、石榴石、晶石、橄欖石等制品及原材料。7石器石刻石質(zhì)工具、碑刻、墓志、經(jīng)幢、畫(huà)像石、法帖原石等。3T/AHAI010—20248漆木竹器各類(lèi)漆制品、木質(zhì)家具、竹藤質(zhì)家具、生活用木器、木質(zhì)工具、木刻板、牌匾、竹木簡(jiǎn)牘，以及竹、木、藤、草、核、匏質(zhì)工藝品等。9各類(lèi)民間美術(shù)平面作品、中國(guó)畫(huà)、油畫(huà)、版畫(huà)、素描、速寫(xiě)、壁畫(huà)、漆畫(huà)、宗教畫(huà)、織繡畫(huà)、連環(huán)畫(huà)、貼畫(huà)、漫畫(huà)、宣傳畫(huà)、剪紙、年畫(huà)、紙編畫(huà)等。創(chuàng)作作品、寫(xiě)經(jīng)、對(duì)聯(lián)等。甲骨拓片、瓦當(dāng)拓片、古幣拓片、硯銘拓片、畫(huà)像磚石拓片、銅器拓片、碑刻拓片等。琺瑯器金屬胎琺瑯、瓷胎琺瑯、玻璃胎琺瑯等。玻璃器各種玻璃、琉璃等制品及料器等、。骨角牙器卜甲、卜骨、犀角、其他獸角骨、象牙、其他獸牙、玳瑁、硨磲、螺鈿制品及原材等。各類(lèi)皮革制品。各類(lèi)質(zhì)地的官印、璽、押、封泥、印章、印范等。文具、樂(lè)器、法器各類(lèi)紙、墨、筆、硯等。樂(lè)器。法器。貝幣、銅錢(qián)、紙幣、錢(qián)范、鈔版、金銀鋌錠、金銀幣、紀(jì)念幣、其他金屬貨幣、外國(guó)貨幣、電子貨幣卡等。雕塑、造像各種質(zhì)地的立體雕塑和宗教造像等。古代人類(lèi)遺體遺骸人類(lèi)遺骨、遺體等?；照?、證件勛章、胸章、臂章、領(lǐng)章、帽徽、肩章、列章、像章、紀(jì)念章、證章、獎(jiǎng)牌、獎(jiǎng)杯、出生證、身份證、出入證、工作證、學(xué)生證、準(zhǔn)考證、畢業(yè)證書(shū)、通行證、購(gòu)物證、護(hù)照、士兵證、軍官證、聘書(shū)、代表證、結(jié)婚證、離婚證、死亡證等。郵票、實(shí)寄封、紀(jì)念封、明信片等。票據(jù)門(mén)票、車(chē)船票、機(jī)票、供應(yīng)證券、稅票、發(fā)票、儲(chǔ)蓄存單、存折、支票、彩票、獎(jiǎng)券、金融券、單據(jù)等。音像制品原版照片、膠片、唱片、磁帶以及珍貴拷貝等各種錄音錄像制品。4T/AHAI010—2024交通、運(yùn)