T-AHAI 010-2024 文物圖像的元素語義分割與提取

ICS01.110CCSL62AHAI文物圖像的元素語義分割與提取ElementsemanticsegmentationandextractionofculturalrelicsimagesI 2規(guī)范性引用文件 3術語和定義 4技術要求 5測試方法 附錄A第三次全國文物普查不可移動文物分類標準） 1附錄B國有可移動文物普查——文物分類標準（試行 2本文件按照GB/T1.1—2020《標準化工作導則第1部分：標準化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機構(gòu)不承擔識別專利的責任。本文件由合肥工業(yè)大學等單位提出并由安徽省人工智能協(xié)會歸口。本文件起草單位：浙江大學、西北工業(yè)大學、杭州良渚古城遺址世界遺產(chǎn)監(jiān)測管理中心、合肥工業(yè)大學、科大訊飛股份有限公司、中國科學技術大學、北京理工大學。本文件主要起草人：趙磊、王勇超、賀小偉、唐益明、李琳、劉曉平、宋維濤、陳仁杰、李權(quán)、郜靜文、何永春、劉穎、程鳴、謝文軍、曹力。1文物圖像的元素語義分割與提取本文件規(guī)定了文物圖像的元素語義分割與提取的技術要求與測試方法。本文件適用于可移動與不可移動文物圖像的元素分割與提取。2規(guī)范性引用文件《中華人民共和國文物保護行業(yè)標準文物藏品檔案規(guī)范》(WW/T0020—2008國家文物局，2009年2月16日《博物館藏品信息指標體系規(guī)范》，國家文物局（文物博發(fā)[2001]81號）3術語和定義下列術語和定義適用于本文件。3.1不可移動文物immovableculturalrelic具有歷史、藝術、科學價值的古文化遺址、古墓葬、古建筑、石窟寺和石刻、壁畫，以及與重大歷史事件、革命運動或者著名人物有關的以及具有重要紀念意義、教育意義或者史料價值的近代現(xiàn)代重要史跡和代表性建筑等7類文物的統(tǒng)稱，文物分類的具體方法見附錄A。3.2文物圖像culturalimage古人根據(jù)使用和美化目的，按照材料并結(jié)合工藝、技術及經(jīng)濟條件等，通過藝術構(gòu)思，對器物的造型、色彩、裝飾紋樣等進行設計，然后按設計方案制成的器物的圖像。狹義的文化圖像僅指文物上的裝飾紋樣和色彩。3.3紋樣pattern一種花紋圖案。主要題材分為自然景物和各種幾何圖形（包括變體文字等）兩大類，有寫實、寫意、變形等表現(xiàn)手法。3.4造型modelling以一定物質(zhì)材料（如繪畫用顏料、墨、絹、布、紙、木板等，雕塑、工藝用木、石、泥、玻璃、金屬等，建筑用多種建筑材料等）和手段所創(chuàng)造的可視、靜態(tài)的空間形象，來反映社會生活與表現(xiàn)藝術家的思想情感。它是一種再現(xiàn)空間藝術，也是一種靜態(tài)視覺藝術。23.5語義分割semanticsegmentation對將圖像中的每個像素標記為特定語義類別。3.6元素提取elementextraction提取文化圖像中的元素對象，如圖像中包含的動物、人物、文字等。3.7實例分割instancesegmentation對文化圖像中的多個同類對象進行區(qū)分，分別分割。3.8對象類別objectcategory文化圖像中包含的對象的種類，如動物、人物、文字等。3.9交互分割interactivesegmentation通過用戶交互對文化圖像中的元素進行分割。3.10分割精準度segmentationaccuracy文化圖像進行分割的時候分出的對象和實際的對象的比。4技術要求4.1圖像分辨率的要求輸入圖像支持1024*1024以上的分辨率，對圖像的長和寬的比例不做要求，最大分辨率為4K*4K。4.2網(wǎng)絡傳輸帶寬系統(tǒng)網(wǎng)絡帶寬設計應能滿足文化圖像快速傳輸?shù)膸捯?，并留有余量。傳輸帶寬應不低?MB，對于4K分辨率的圖像，網(wǎng)絡帶寬宜大于20MB。4.3圖像的格式要求應支持常規(guī)的圖像格式，比如JPG/BMP/PS/PNG等。4.4文物圖像的元素語義分割4.4.1語義分割的神經(jīng)網(wǎng)絡3圖像語義分割方法宜優(yōu)先采用基于卷積神經(jīng)網(wǎng)絡的深度神經(jīng)網(wǎng)絡模型，以支持任意分辨率圖像的語義有效分割。但為了保證單機硬件條件下的圖像語義分割計算性能和速度，圖像分辨率大小應遵循4.1要求。4.4.2分割軟件的架構(gòu)分割軟件的架構(gòu)可采用CS或者BS的基于網(wǎng)絡的架構(gòu)，但是為了更好地支持文化圖像的跨時間和空間的應用，宜采用BS的架構(gòu)，這樣可為不同地點的用戶提供服務。4.4.3圖像元素的交互語義分割精準度圖像元素的交互語義分割的精準度大于99%。4.4.4交互響應時間在交互分割的條件下，分割一個對象元素的時間應該低于1秒的響應時間。4.5文物圖像的元素提取要求4.5.1文物圖像元素的保存提取出來的圖像元素應單獨保存，保存時背景應透明。4.5.2文物圖像中紋樣的提取如果提取的圖像元素為紋樣，應提取紋樣的輪廓，不應包含有背景信息。4.5.3文物圖像中器物造型的提取如果提取的圖像元素為器物造型，應提取造型的輪廓，不應包含有背景信息。4.5.4文物圖像中元素的提取圖像中包含的所有的元素對象都應提取出來，同一類的多個元素對象應分別提取。4.5.5文物圖像中元素的命名應包含原始的整幅圖像（或者相關文物）的名稱、元素本身的對象類別名稱、區(qū)別于同類其他元素的名稱。例如：韓熙載夜宴圖人物3（男）、韓熙載夜宴圖人物4（女）。4.5.6文物圖像中元素的描述首先需要將圖像元素所在的圖像進行描述，然后再描述元素本身。圖像元素的所在的圖像描述必須包含如下信息：圖像對應的文物名稱、文物時代、來源信息（出土地點或者其他）、價值屬性、文物類別、區(qū)域信息、存在形態(tài)信息、質(zhì)地信息、功用信息、屬性（性質(zhì)）等；文物分類的具體方法見附錄A和附錄B。圖像元素本身的描述，包括：幾何形體的描述（造型）、色彩、紋理、名稱、應用場景（祭祀、祈福、喜慶等）44.5.7文物圖像交互提取的要求用戶點擊圖像的對應的元素區(qū)域，系統(tǒng)或者模塊應該能夠自動識別出該點擊對應的圖像元素，并高亮顯示該區(qū)域，另外，還需要提供右鍵能力，實現(xiàn)復制、剪切、保存等功能。5測試方法5.1輸入輸出文物圖像的元素語義分割與提取軟件系統(tǒng)中輸入的數(shù)據(jù)應為圖像數(shù)據(jù)，且應屬于常規(guī)的格式，比如JPG/BMP/PNG等。文物圖像的元素語義分割與提取軟件系統(tǒng)中輸出的數(shù)據(jù)應為圖像數(shù)據(jù)，且應屬于常規(guī)的格式，比如JPG/BMP/PNG等。語義分割提取出來的元素需返回到系統(tǒng)中，以圖像的形式進行保存。5.2圖像元素的交互語義分割精準度指在交互過程中，系統(tǒng)識別的用戶分割結(jié)果正確分類的像素數(shù)量與總像素數(shù)量之間的比例。其中，正確分類的像素數(shù)量是指在預測結(jié)果中與真實標注完全匹配的像素數(shù)量，總像素數(shù)量是圖像中的所有像素數(shù)量（包括前景和背景）。圖像元素的交互語義分割精準度的測試應按照以下步驟:a)選擇不少于30張文物圖像，進行測試；b)系統(tǒng)進行語義分割，對文物圖像像素進行分類；c)通過系統(tǒng)給出的圖像像素分類結(jié)果和真實標注進行比對，統(tǒng)計正確分類的像素數(shù)量，計算其與總像素數(shù)量的比例，應達到既定要求。5.3交互響應時間交互響應時間的計算具體如下：Tack=tr-te......................................................................(1)其中，Tack——響應時間；tr——給出結(jié)果的時間點；te——圖像輸入結(jié)束的時間點。對于交互響應時間的測試應按照以下步驟進行:a)選擇不少于30張文物圖像，進行測試；b)系統(tǒng)記錄圖像輸入結(jié)束的時間點、給出結(jié)果的時間點；c)根據(jù)公式(1),系統(tǒng)計算出交互響應時間；d)以平均的交互響應時間為最終結(jié)果，應符合既定要求。1T/AHAI010—2024附錄A：（第三次全國文物普查不可移動文物分類標準）第三次全國文物普查不可移動文物的分類，按照《中華人民共和國文物保護法》的分類原則劃分為六類，每類中包括若干子類。一處不可移動文物只能歸入一個文物類別，如果包含兩類以上文物，以其主要文物內(nèi)容歸類。分類標準如下：1.1洞穴址1.2聚落址1.3城址1.5窖藏址1.6礦冶遺址1.7古戰(zhàn)場1.8驛站古道遺址1.9軍事設施遺址1.10橋梁碼頭遺址1.11祭祀遺址1.12水下遺址1.13水利設施遺址1.14寺廟遺址1.15宮殿衙署遺址1.16其他古遺址2古墓葬2.1帝王陵寢2.2名人或貴族墓2.3普通墓葬2.4其他古墓葬3古建筑3.1城垣城樓3.2宮殿府邸3.3宅第民居3.4壇廟祠堂3.5衙署官邸3.6學堂書院3.7驛站會館3.8店鋪作坊3.9牌坊影壁3.10亭臺樓闕3.11寺觀塔幢3.12苑囿園林3.13橋涵碼頭3.14堤壩渠堰3.15池塘井泉3.16其他古建筑4石窟寺及石刻4.1石窟寺2T/AHAI010—20244.2摩崖石刻4.3碑刻4.4石雕4.5巖畫4.6其他石刻5近現(xiàn)代重要史跡及代表性建筑5.1重要歷史事件和重要機構(gòu)舊址5.2重要歷史事件及人物活動紀念地5.3名人故、舊居5.4傳統(tǒng)民居5.5宗教建筑5.6名人墓5.7烈士墓及紀念設施5.8工業(yè)建筑及附屬物5.9金融商貿(mào)建筑5.10中華老字號5.11水利設施及附屬物5.12文化教育建筑及附屬物5.13醫(yī)療衛(wèi)生建筑5.14軍事建筑及設施5.15交通道路設施5.16典型風格建筑或構(gòu)筑物5.17其他近現(xiàn)代重要史跡及代表性建筑6其他（國有可移動文物普查——文物分類標準（試行））序號類別內(nèi)容及舉例1銅器除貨幣、雕塑和造像以外的，以銅為主要材質(zhì)的各種生產(chǎn)工具、生活用品及工藝制品等。2鐵器除貨幣、雕塑和造像以外的，以鐵為主要材質(zhì)的各種生產(chǎn)工具、生活用品及工藝制品等。3陶、泥器彩陶、黑陶、紅陶、灰陶、釉陶、白陶、紫砂、彩繪陶、琺花、生坯、泥金餅、泥丸等工藝制品及陶制建筑構(gòu)件、陶制生產(chǎn)工具與生活用品等。4彩繪、顏色釉等各類瓷質(zhì)制品，5磚瓦畫像磚、城磚、磚雕、墓磚、影作、象眼、板瓦、筒瓦、瓦當?shù)取?寶、玉石器玉、碧璽、瑪瑙、翡翠、各類寶石、珊瑚、琥珀、蜜蠟、鉆石、芙蓉石、松石、石榴石、晶石、橄欖石等制品及原材料。7石器石刻石質(zhì)工具、碑刻、墓志、經(jīng)幢、畫像石、法帖原石等。3T/AHAI010—20248漆木竹器各類漆制品、木質(zhì)家具、竹藤質(zhì)家具、生活用木器、木質(zhì)工具、木刻板、牌匾、竹木簡牘，以及竹、木、藤、草、核、匏質(zhì)工藝品等。9各類民間美術平面作品、中國畫、油畫、版畫、素描、速寫、壁畫、漆畫、宗教畫、織繡畫、連環(huán)畫、貼畫、漫畫、宣傳畫、剪紙、年畫、紙編畫等。創(chuàng)作作品、寫經(jīng)、對聯(lián)等。甲骨拓片、瓦當拓片、古幣拓片、硯銘拓片、畫像磚石拓片、銅器拓片、碑刻拓片等。琺瑯器金屬胎琺瑯、瓷胎琺瑯、玻璃胎琺瑯等。玻璃器各種玻璃、琉璃等制品及料器等、。骨角牙器卜甲、卜骨、犀角、其他獸角骨、象牙、其他獸牙、玳瑁、硨磲、螺鈿制品及原材等。各類皮革制品。各類質(zhì)地的官印、璽、押、封泥、印章、印范等。文具、樂器、法器各類紙、墨、筆、硯等。樂器。法器。貝幣、銅錢、紙幣、錢范、鈔版、金銀鋌錠、金銀幣、紀念幣、其他金屬貨幣、外國貨幣、電子貨幣卡等。雕塑、造像各種質(zhì)地的立體雕塑和宗教造像等。古代人類遺體遺骸人類遺骨、遺體等?；照隆⒆C件勛章、胸章、臂章、領章、帽徽、肩章、列章、像章、紀念章、證章、獎牌、獎杯、出生證、身份證、出入證、工作證、學生證、準考證、畢業(yè)證書、通行證、購物證、護照、士兵證、軍官證、聘書、代表證、結(jié)婚證、離婚證、死亡證等。郵票、實寄封、紀念封、明信片等。票據(jù)門票、車船票、機票、供應證券、稅票、發(fā)票、儲蓄存單、存折、支票、彩票、獎券、金融券、單據(jù)等。音像制品原版照片、膠片、唱片、磁帶以及珍貴拷貝等各種錄音錄像制品。4T/AHAI010—2024交通、運