DB32T 4546-2023 電鏡掃描硅藻圖像自動化檢驗(yàn)技術(shù)規(guī)范

電鏡掃描硅藻圖像自動化檢驗(yàn)技術(shù)規(guī)范發(fā)出布版發(fā)出布版江蘇省市場監(jiān)督管理局Ⅰ前言 Ⅲ 2規(guī)范性引用文件 3術(shù)語和定義 4方法原理 5設(shè)備要求 6自動化檢驗(yàn)系統(tǒng)模型構(gòu)建 6.1圖像輸入模塊 6.2識別模塊 6.3統(tǒng)計(jì)輸出模塊 7實(shí)施步驟 7.1圖像采集 7.2圖像輸入與識別 7.3統(tǒng)計(jì)輸出 7.4結(jié)果判讀 8測試及性能要求 8.1測試要求 8.2識別查準(zhǔn)率的計(jì)算 8.3識別查全率的計(jì)算 8.4不完整硅藻檢出率的計(jì)算 8.5識別速度的計(jì)算 8.6漏檢率的計(jì)算 8.7性能要求 參考文獻(xiàn) Ⅲ本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識別專利的責(zé)任。本文件由江蘇省司法廳提出并歸口。本文件起草單位：南京醫(yī)科大學(xué)司法鑒定所、南京市公安局水上分局。1DB32/T4546—2023電鏡掃描硅藻圖像自動化檢驗(yàn)技術(shù)規(guī)范本文件規(guī)定了電鏡掃描硅藻圖像自動化檢驗(yàn)的設(shè)備要求、自動化檢驗(yàn)系統(tǒng)模型構(gòu)建、實(shí)施步驟、測試及性能要求。本文件適用于電鏡掃描硅藻圖像自動化檢驗(yàn)系統(tǒng)的構(gòu)建、測試與使用。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GA/T1662—2019法庭科學(xué)硅藻檢驗(yàn)技術(shù)規(guī)范微波消解?真空抽濾?顯微鏡法T/CESA1036—2019信息技術(shù)人工智能機(jī)器學(xué)習(xí)模型及系統(tǒng)的質(zhì)量要素和測試方法T/CESA1040—2019信息技術(shù)人工智能面向機(jī)器學(xué)習(xí)的數(shù)據(jù)標(biāo)注規(guī)程3術(shù)語和定義GA/T1662—2019和T/CESA1036—2019界定的以及下列術(shù)語和定義適用于本文件。3.1電鏡掃描硅藻圖像digitalscanningelectronmicroscopyimagesofdiatoms通過微波消解?真空抽濾?電子顯微鏡法檢驗(yàn)臟器樣本或水體樣本中的硅藻時，電子顯微鏡掃描富集膜所得的數(shù)字化圖像。3.2電鏡掃描硅藻圖像自動識別系統(tǒng)automaticrecognitionsystemofdigitalscanningelectronmi?croscopyimagesofdiatoms基于計(jì)算機(jī)技術(shù)，對電鏡掃描硅藻圖像進(jìn)行獲取、分析識別并輸出圖像中硅藻識別結(jié)果的系統(tǒng)。3.3深度學(xué)習(xí)模型deeplearningmodel采用深度學(xué)習(xí)方法建立的輸入與目標(biāo)輸出聯(lián)系的計(jì)算模型。注：主要包含算法、超參數(shù)、參數(shù)、模型輸入規(guī)范、模型輸出規(guī)范五大要素。3.4訓(xùn)練training對于給定的數(shù)據(jù)集，生成和優(yōu)化深度學(xué)習(xí)模型參數(shù)設(shè)置的過程。3.5驗(yàn)證validation對于給定的數(shù)據(jù)集，采用訓(xùn)練后的模型進(jìn)行預(yù)測，由此進(jìn)行選擇并優(yōu)化訓(xùn)練模型結(jié)構(gòu)和超參數(shù)的過程。2對于給定的數(shù)據(jù)集，采用訓(xùn)練后的深度學(xué)習(xí)模型進(jìn)行預(yù)測，由此評估訓(xùn)練模型性能的過程。查準(zhǔn)率precision正確識別為硅藻的數(shù)量占識別為硅藻數(shù)量的比率。查全率recall正確識別為硅藻的數(shù)量占樣本中所有硅藻數(shù)量的比率。漏檢率missrate未被識別為硅藻的真實(shí)硅藻數(shù)量與樣本中所有硅藻數(shù)量的比值。在電鏡圖像中呈現(xiàn)邊線連續(xù)、內(nèi)部無缺損、形態(tài)完整的硅藻體。不完整硅藻incompletediatom在電鏡圖像中呈現(xiàn)邊線不連續(xù)、內(nèi)部有缺損、形態(tài)不完整的硅藻體。注：不完整硅藻產(chǎn)生的主要原因有：水體中本身存在碎片化不完整硅藻；樣本在消解過程中產(chǎn)生部分碎片化不完整硅藻；圖像分割造成硅藻圖像不完整。碎片硅藻fragmenteddiatom在電鏡圖像中呈現(xiàn)缺損面積大于50%的不完整硅藻體。對于輸入的電鏡掃描硅藻圖像，系統(tǒng)識別每張圖像平均所用的時間。經(jīng)過識別模型分析后，在圖像中框出的系統(tǒng)認(rèn)為是硅藻的區(qū)域。識別圖像中的硅藻時返回的該邊界框內(nèi)區(qū)域是硅藻的概率數(shù)值。4方法原理本方法基于人工智能圖像識別技術(shù)，構(gòu)建電鏡掃描硅藻圖像自動識別系統(tǒng)（以下簡稱系統(tǒng)對電鏡掃描硅藻圖像中的硅藻進(jìn)行自動化定位、定量分析。5設(shè)備要求電鏡掃描硅藻圖像自動化檢驗(yàn)過程中使用的設(shè)備應(yīng)符合如下要求。a）硅藻檢驗(yàn)基本設(shè)備和耗材：符合GA/T1662—2019中5.1和5.2規(guī)定的要求。b）掃描電子顯微鏡：符合GA/T1662—2019中5.2.1.5.2規(guī)定的要求。3——內(nèi)存(RAM):DDR4266616GB或以上； ——電源：功率750W或以上。待識別圖像按照GA/T1662—2019規(guī)定的方法進(jìn)行硅藻檢驗(yàn)和掃描電鏡圖像采集所得。推薦濾膜掃描區(qū)域直徑16mm,掃描放大倍數(shù)1500×。藻的區(qū)域并返回系統(tǒng)認(rèn)為是硅藻的置信度。識別模塊的組成和構(gòu)建流程見圖1。評估性能優(yōu)化參數(shù)生成模型分析識別4DB32/T4546—20236.2.2數(shù)據(jù)集的建立用于自動識別模型構(gòu)建的數(shù)據(jù)集的建立應(yīng)符合如下要求。a）建立數(shù)據(jù)集所使用的電鏡掃描硅藻圖像可來自于本實(shí)驗(yàn)室儀器平臺以及其他來源（如外部數(shù)據(jù)庫等）。每張?jiān)紙D片包含的硅藻數(shù)量應(yīng)不少于1個。b）原始圖片應(yīng)可進(jìn)行像素大小調(diào)整，使得圖片大小符合人工智能模型輸入規(guī)格要求。調(diào)整后的圖片應(yīng)進(jìn)行像素預(yù)處理（如均一化、標(biāo)準(zhǔn)化、灰度化等降低不同數(shù)據(jù)源所帶來的像素差異性。c）按所選人工智能模型的數(shù)據(jù)輸入規(guī)范選擇符合要求的數(shù)據(jù)標(biāo)注格式，標(biāo)注圖像形成數(shù)據(jù)集，標(biāo)注規(guī)范符合T/CESA1040—2019的規(guī)定。d）標(biāo)注者應(yīng)為有豐富硅藻檢驗(yàn)經(jīng)驗(yàn)的法醫(yī)學(xué)工作者。e）標(biāo)注結(jié)果應(yīng)為帶有標(biāo)簽的數(shù)據(jù)，包括“硅藻”這一標(biāo)簽，以及標(biāo)簽對應(yīng)的圖像空間位置。f）標(biāo)注圖像數(shù)量宜大于1000張，且應(yīng)涵蓋當(dāng)?shù)厮谐Ｒ姽柙孱悇e，每種類別不少于100張。g）對標(biāo)注圖像進(jìn)行擴(kuò)增，包括圖片翻轉(zhuǎn)、旋轉(zhuǎn)、調(diào)整對比度及亮度等，最終形成數(shù)據(jù)集。6.2.3人工智能模型選擇可選擇深度學(xué)習(xí)圖像分類模型（ResNet?101、VGG?16、Inception?v3、MobileNet等）或者目標(biāo)檢測模型（Faster?RCNN、YoloV3、SSD等或其他適當(dāng)?shù)娜斯ぶ悄苣Ｐ蛯?shù)據(jù)集進(jìn)行模式特征學(xué)習(xí)。選擇的模型應(yīng)為能夠?qū)⒐柙迮c背景雜質(zhì)相區(qū)分的模型架構(gòu)。6.2.4模型訓(xùn)練與評估按7∶2∶1的比例將數(shù)據(jù)集劃分成互斥的訓(xùn)練集、驗(yàn)證集、測試集，分別對所選模型進(jìn)行訓(xùn)練、訓(xùn)練過程中的模型效能監(jiān)測和評估、模型訓(xùn)練完畢后的性能泛化指標(biāo)評價。按T/CESA1036—2019的規(guī)定對模型質(zhì)量進(jìn)行評估，并對參數(shù)進(jìn)行測試和優(yōu)化，形成最終的自動識別模型。6.3統(tǒng)計(jì)輸出模塊統(tǒng)計(jì)輸出模塊應(yīng)能夠輸出硅藻識別的結(jié)果，包括識別出硅藻的數(shù)量、邊界框及置信度，并將識別出硅藻的圖像與未識別出硅藻的圖像分別分類存放。7實(shí)施步驟7.1圖像采集操作人員應(yīng)按照GA/T1662—2019規(guī)定的方法進(jìn)行硅藻檢驗(yàn)和電鏡掃描圖像采集。以某地水樣或某臟器樣本作為一個樣品進(jìn)行檢驗(yàn)，每個樣品使用一張濾膜對硅藻進(jìn)行富集，并使用電鏡掃描采集圖像。推薦濾膜掃描區(qū)域直徑16mm，掃描放大倍數(shù)1500×,每個樣品富集濾膜的電鏡掃描圖像分別存放在獨(dú)立的文件夾中。7.2圖像輸入與識別圖像輸入與識別的過程應(yīng)符合如下要求。a）系統(tǒng)利用識別模型對輸入圖像中的硅藻進(jìn)行識別，生成識別結(jié)果并進(jìn)行保存。b）識別結(jié)果包括在圖像中顯示識別出硅藻的邊界框，并提供置信度。c）若系統(tǒng)具有設(shè)置自選閾值功能，將置信度大于閾值的硅藻圖像作為篩選結(jié)果進(jìn)行保存。57.3統(tǒng)計(jì)輸出識別結(jié)果統(tǒng)計(jì)輸出的過程應(yīng)符合如下要求。a）識別模塊運(yùn)行完畢，系統(tǒng)自動輸出識別結(jié)果，包括圖像上識別出硅藻的邊界框和置信度。b）系統(tǒng)將識別出硅藻的圖像與未識別出硅藻的圖像分類存放。c）系統(tǒng)統(tǒng)計(jì)識別出硅藻的個數(shù)并記錄存檔。7.4結(jié)果判讀識別結(jié)果判讀的過程應(yīng)符合如下要求。a）系統(tǒng)對于輸入圖像的自動識別結(jié)果（包括系統(tǒng)按照閾值篩選所得結(jié)果）分為檢出硅藻和未檢出硅藻兩類，圖像分別存入兩個獨(dú)立的文件夾。b）點(diǎn)擊查看檢出硅藻的圖像所在的文件夾，系統(tǒng)在每張圖像上標(biāo)注檢出的單個硅藻所在的邊界框，并在邊界框右上角標(biāo)注置信度，作為系統(tǒng)認(rèn)為是硅藻的可能性，操作人員可根據(jù)邊界框和置信度對識別結(jié)果進(jìn)行驗(yàn)證。c）對于不完整硅藻，系統(tǒng)視為硅藻一同檢出。d）操作人員統(tǒng)計(jì)系統(tǒng)識別所得硅藻數(shù)量時，缺損面積小于50%的不完整硅藻計(jì)數(shù)為完整硅藻，缺損面積大于50%的不完整硅藻計(jì)數(shù)為碎片硅藻，分別計(jì)算完整硅藻和碎片硅藻數(shù)量。e）操作人員可依據(jù)一定掃描區(qū)域內(nèi)的硅藻數(shù)量推斷整個水樣或臟器樣本中硅藻的相對數(shù)量。8測試及性能要求8.1測試要求系統(tǒng)測試的過程應(yīng)符合如下要求。a）系統(tǒng)正式投入使用前應(yīng)利用真實(shí)樣本對系統(tǒng)性能進(jìn)行測試，性能符合8.7中的要求，則認(rèn)為識別結(jié)果具有可信度。b）測試人員應(yīng)為具有豐富硅藻檢驗(yàn)經(jīng)驗(yàn)、能夠辨認(rèn)硅藻形態(tài)的相關(guān)人員。c）測試人員應(yīng)按7.1的要求采集電鏡硅藻圖像作為測試圖像集，以每一個硅藻（包含完整硅藻和不完整硅藻）的位置作為一個“樣本”，完整記錄測試圖像集中真正硅藻的位置及樣本數(shù)量。將測試圖像集輸入系統(tǒng)識別后，以預(yù)測出的每一個邊界框作為一個“樣本”，人工判斷預(yù)測樣本是否為真正硅藻，記錄數(shù)據(jù)，并與測試前數(shù)據(jù)進(jìn)行比較。8.2識別查準(zhǔn)率的計(jì)算識別查準(zhǔn)率計(jì)算按式（1）進(jìn)行。P=…………（1）式中：P——識別查準(zhǔn)率；TP——識別為真正硅藻的樣本數(shù)；FP——識別為硅藻而實(shí)際非硅藻的樣本數(shù)。8.3識別查全率的計(jì)算6R=…………（2）式中：R——識別查全率；TP——識別為真正硅藻的樣本數(shù)；FN——識別為非硅藻而實(shí)際為真正硅藻的樣本數(shù)。8.4不完整硅藻檢出率的計(jì)算不完整硅藻檢出率計(jì)算按式（3）進(jìn)行。D=…………（3）式中：D——不完整硅藻檢出率；TD——識別為真正不完整硅藻的樣本數(shù)；LD——識別為非硅藻而實(shí)際為真正不完整硅藻的樣本數(shù)。8.5識別速度的計(jì)算識別速度計(jì)算按式（4）進(jìn)行。v=…………（4）式中：v——識別速度；T——完成識別的總響應(yīng)時間；N——識別圖像總張數(shù)。8.6漏檢率的計(jì)算按設(shè)定閾值篩選出置信度高于閾值的硅藻樣本后，漏檢率計(jì)算按式（5）進(jìn)行。L=…………（5）式中：L——漏檢率；TL——未被篩選出的真正硅藻的樣本數(shù)；TI——被篩選為真正硅藻的樣本數(shù)。8.7性能要求測試后的電鏡掃描硅藻圖像自動識別系統(tǒng)性能應(yīng)達(dá)到如下要求。a）識別查準(zhǔn)率：水、肺等硅藻含量高的樣本，識別查準(zhǔn)率不低于90%。b）識別查全率：水、肺等硅藻含量高的樣本，識別查全率不低于90%；肝、腎等硅藻含量少的樣本，識別查全率不低于95%。c）不完整硅藻的檢出：對于不完整硅藻，系統(tǒng)應(yīng)視為硅藻一同檢出。d）識別速度：識別一張圖像的平均需要時間不大于1s。e）閾值設(shè)置和篩選：系統(tǒng)支持按自選閾值篩選置信度達(dá)到閾值的硅藻，當(dāng)閾值設(shè)置在0.5以上時，篩選硅藻的漏檢率不超過10%。7DB32/T4546—2023［1］陳吉，劉曉榮，楊佳雯，等.基于YOLOv3的硅藻電子顯微鏡圖像識別模型的構(gòu)建及應(yīng)用[J].法［2］李崢，楊佳雯，陳冶秋，等.硅藻檢驗(yàn)推測溺亡位置1例[J].法醫(yī)學(xué)雜志，2020，36（6878?880.［3］YuW，XueY，RobK，YuD，EvgeniyaB，KangX，PietroF，ZhengD，LiuP，ChenH，ShiH，LiuC，ZhaoJ.Automateddiatomsearchinginthedigitalscanninge