DB32T 4546-2023 電鏡掃描硅藻圖像自動(dòng)化檢驗(yàn)技術(shù)規(guī)范

電鏡掃描硅藻圖像自動(dòng)化檢驗(yàn)技術(shù)規(guī)范發(fā)出布版發(fā)出布版江蘇省市場(chǎng)監(jiān)督管理局Ⅰ前言 Ⅲ 2規(guī)范性引用文件 3術(shù)語(yǔ)和定義 4方法原理 5設(shè)備要求 6自動(dòng)化檢驗(yàn)系統(tǒng)模型構(gòu)建 6.1圖像輸入模塊 6.2識(shí)別模塊 6.3統(tǒng)計(jì)輸出模塊 7實(shí)施步驟 7.1圖像采集 7.2圖像輸入與識(shí)別 7.3統(tǒng)計(jì)輸出 7.4結(jié)果判讀 8測(cè)試及性能要求 8.1測(cè)試要求 8.2識(shí)別查準(zhǔn)率的計(jì)算 8.3識(shí)別查全率的計(jì)算 8.4不完整硅藻檢出率的計(jì)算 8.5識(shí)別速度的計(jì)算 8.6漏檢率的計(jì)算 8.7性能要求 參考文獻(xiàn) Ⅲ本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請(qǐng)注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專利的責(zé)任。本文件由江蘇省司法廳提出并歸口。本文件起草單位：南京醫(yī)科大學(xué)司法鑒定所、南京市公安局水上分局。1DB32/T4546—2023電鏡掃描硅藻圖像自動(dòng)化檢驗(yàn)技術(shù)規(guī)范本文件規(guī)定了電鏡掃描硅藻圖像自動(dòng)化檢驗(yàn)的設(shè)備要求、自動(dòng)化檢驗(yàn)系統(tǒng)模型構(gòu)建、實(shí)施步驟、測(cè)試及性能要求。本文件適用于電鏡掃描硅藻圖像自動(dòng)化檢驗(yàn)系統(tǒng)的構(gòu)建、測(cè)試與使用。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GA/T1662—2019法庭科學(xué)硅藻檢驗(yàn)技術(shù)規(guī)范微波消解?真空抽濾?顯微鏡法T/CESA1036—2019信息技術(shù)人工智能機(jī)器學(xué)習(xí)模型及系統(tǒng)的質(zhì)量要素和測(cè)試方法T/CESA1040—2019信息技術(shù)人工智能面向機(jī)器學(xué)習(xí)的數(shù)據(jù)標(biāo)注規(guī)程3術(shù)語(yǔ)和定義GA/T1662—2019和T/CESA1036—2019界定的以及下列術(shù)語(yǔ)和定義適用于本文件。3.1電鏡掃描硅藻圖像digitalscanningelectronmicroscopyimagesofdiatoms通過微波消解?真空抽濾?電子顯微鏡法檢驗(yàn)臟器樣本或水體樣本中的硅藻時(shí)，電子顯微鏡掃描富集膜所得的數(shù)字化圖像。3.2電鏡掃描硅藻圖像自動(dòng)識(shí)別系統(tǒng)automaticrecognitionsystemofdigitalscanningelectronmi?croscopyimagesofdiatoms基于計(jì)算機(jī)技術(shù)，對(duì)電鏡掃描硅藻圖像進(jìn)行獲取、分析識(shí)別并輸出圖像中硅藻識(shí)別結(jié)果的系統(tǒng)。3.3深度學(xué)習(xí)模型deeplearningmodel采用深度學(xué)習(xí)方法建立的輸入與目標(biāo)輸出聯(lián)系的計(jì)算模型。注：主要包含算法、超參數(shù)、參數(shù)、模型輸入規(guī)范、模型輸出規(guī)范五大要素。3.4訓(xùn)練training對(duì)于給定的數(shù)據(jù)集，生成和優(yōu)化深度學(xué)習(xí)模型參數(shù)設(shè)置的過程。3.5驗(yàn)證validation對(duì)于給定的數(shù)據(jù)集，采用訓(xùn)練后的模型進(jìn)行預(yù)測(cè)，由此進(jìn)行選擇并優(yōu)化訓(xùn)練模型結(jié)構(gòu)和超參數(shù)的過程。2對(duì)于給定的數(shù)據(jù)集，采用訓(xùn)練后的深度學(xué)習(xí)模型進(jìn)行預(yù)測(cè)，由此評(píng)估訓(xùn)練模型性能的過程。查準(zhǔn)率precision正確識(shí)別為硅藻的數(shù)量占識(shí)別為硅藻數(shù)量的比率。查全率recall正確識(shí)別為硅藻的數(shù)量占樣本中所有硅藻數(shù)量的比率。漏檢率missrate未被識(shí)別為硅藻的真實(shí)硅藻數(shù)量與樣本中所有硅藻數(shù)量的比值。在電鏡圖像中呈現(xiàn)邊線連續(xù)、內(nèi)部無缺損、形態(tài)完整的硅藻體。不完整硅藻incompletediatom在電鏡圖像中呈現(xiàn)邊線不連續(xù)、內(nèi)部有缺損、形態(tài)不完整的硅藻體。注：不完整硅藻產(chǎn)生的主要原因有：水體中本身存在碎片化不完整硅藻；樣本在消解過程中產(chǎn)生部分碎片化不完整硅藻；圖像分割造成硅藻圖像不完整。碎片硅藻fragmenteddiatom在電鏡圖像中呈現(xiàn)缺損面積大于50%的不完整硅藻體。對(duì)于輸入的電鏡掃描硅藻圖像，系統(tǒng)識(shí)別每張圖像平均所用的時(shí)間。經(jīng)過識(shí)別模型分析后，在圖像中框出的系統(tǒng)認(rèn)為是硅藻的區(qū)域。識(shí)別圖像中的硅藻時(shí)返回的該邊界框內(nèi)區(qū)域是硅藻的概率數(shù)值。4方法原理本方法基于人工智能圖像識(shí)別技術(shù)，構(gòu)建電鏡掃描硅藻圖像自動(dòng)識(shí)別系統(tǒng)（以下簡(jiǎn)稱系統(tǒng)對(duì)電鏡掃描硅藻圖像中的硅藻進(jìn)行自動(dòng)化定位、定量分析。5設(shè)備要求電鏡掃描硅藻圖像自動(dòng)化檢驗(yàn)過程中使用的設(shè)備應(yīng)符合如下要求。a）硅藻檢驗(yàn)基本設(shè)備和耗材：符合GA/T1662—2019中5.1和5.2規(guī)定的要求。b）掃描電子顯微鏡：符合GA/T1662—2019中5.2.1.5.2規(guī)定的要求。3——內(nèi)存(RAM):DDR4266616GB或以上； ——電源：功率750W或以上。待識(shí)別圖像按照GA/T1662—2019規(guī)定的方法進(jìn)行硅藻檢驗(yàn)和掃描電鏡圖像采集所得。推薦濾膜掃描區(qū)域直徑16mm,掃描放大倍數(shù)1500×。藻的區(qū)域并返回系統(tǒng)認(rèn)為是硅藻的置信度。識(shí)別模塊的組成和構(gòu)建流程見圖1。評(píng)估性能優(yōu)化參數(shù)生成模型分析識(shí)別4DB32/T4546—20236.2.2數(shù)據(jù)集的建立用于自動(dòng)識(shí)別模型構(gòu)建的數(shù)據(jù)集的建立應(yīng)符合如下要求。a）建立數(shù)據(jù)集所使用的電鏡掃描硅藻圖像可來自于本實(shí)驗(yàn)室儀器平臺(tái)以及其他來源（如外部數(shù)據(jù)庫(kù)等）。每張?jiān)紙D片包含的硅藻數(shù)量應(yīng)不少于1個(gè)。b）原始圖片應(yīng)可進(jìn)行像素大小調(diào)整，使得圖片大小符合人工智能模型輸入規(guī)格要求。調(diào)整后的圖片應(yīng)進(jìn)行像素預(yù)處理（如均一化、標(biāo)準(zhǔn)化、灰度化等降低不同數(shù)據(jù)源所帶來的像素差異性。c）按所選人工智能模型的數(shù)據(jù)輸入規(guī)范選擇符合要求的數(shù)據(jù)標(biāo)注格式，標(biāo)注圖像形成數(shù)據(jù)集，標(biāo)注規(guī)范符合T/CESA1040—2019的規(guī)定。d）標(biāo)注者應(yīng)為有豐富硅藻檢驗(yàn)經(jīng)驗(yàn)的法醫(yī)學(xué)工作者。e）標(biāo)注結(jié)果應(yīng)為帶有標(biāo)簽的數(shù)據(jù)，包括“硅藻”這一標(biāo)簽，以及標(biāo)簽對(duì)應(yīng)的圖像空間位置。f）標(biāo)注圖像數(shù)量宜大于1000張，且應(yīng)涵蓋當(dāng)?shù)厮谐Ｒ姽柙孱悇e，每種類別不少于100張。g）對(duì)標(biāo)注圖像進(jìn)行擴(kuò)增，包括圖片翻轉(zhuǎn)、旋轉(zhuǎn)、調(diào)整對(duì)比度及亮度等，最終形成數(shù)據(jù)集。6.2.3人工智能模型選擇可選擇深度學(xué)習(xí)圖像分類模型（ResNet?101、VGG?16、Inception?v3、MobileNet等）或者目標(biāo)檢測(cè)模型（Faster?RCNN、YoloV3、SSD等或其他適當(dāng)?shù)娜斯ぶ悄苣Ｐ蛯?duì)數(shù)據(jù)集進(jìn)行模式特征學(xué)習(xí)。選擇的模型應(yīng)為能夠?qū)⒐柙迮c背景雜質(zhì)相區(qū)分的模型架構(gòu)。6.2.4模型訓(xùn)練與評(píng)估按7∶2∶1的比例將數(shù)據(jù)集劃分成互斥的訓(xùn)練集、驗(yàn)證集、測(cè)試集，分別對(duì)所選模型進(jìn)行訓(xùn)練、訓(xùn)練過程中的模型效能監(jiān)測(cè)和評(píng)估、模型訓(xùn)練完畢后的性能泛化指標(biāo)評(píng)價(jià)。按T/CESA1036—2019的規(guī)定對(duì)模型質(zhì)量進(jìn)行評(píng)估，并對(duì)參數(shù)進(jìn)行測(cè)試和優(yōu)化，形成最終的自動(dòng)識(shí)別模型。6.3統(tǒng)計(jì)輸出模塊統(tǒng)計(jì)輸出模塊應(yīng)能夠輸出硅藻識(shí)別的結(jié)果，包括識(shí)別出硅藻的數(shù)量、邊界框及置信度，并將識(shí)別出硅藻的圖像與未識(shí)別出硅藻的圖像分別分類存放。7實(shí)施步驟7.1圖像采集操作人員應(yīng)按照GA/T1662—2019規(guī)定的方法進(jìn)行硅藻檢驗(yàn)和電鏡掃描圖像采集。以某地水樣或某臟器樣本作為一個(gè)樣品進(jìn)行檢驗(yàn)，每個(gè)樣品使用一張濾膜對(duì)硅藻進(jìn)行富集，并使用電鏡掃描采集圖像。推薦濾膜掃描區(qū)域直徑16mm，掃描放大倍數(shù)1500×,每個(gè)樣品富集濾膜的電鏡掃描圖像分別存放在獨(dú)立的文件夾中。7.2圖像輸入與識(shí)別圖像輸入與識(shí)別的過程應(yīng)符合如下要求。a）系統(tǒng)利用識(shí)別模型對(duì)輸入圖像中的硅藻進(jìn)行識(shí)別，生成識(shí)別結(jié)果并進(jìn)行保存。b）識(shí)別結(jié)果包括在圖像中顯示識(shí)別出硅藻的邊界框，并提供置信度。c）若系統(tǒng)具有設(shè)置自選閾值功能，將置信度大于閾值的硅藻圖像作為篩選結(jié)果進(jìn)行保存。57.3統(tǒng)計(jì)輸出識(shí)別結(jié)果統(tǒng)計(jì)輸出的過程應(yīng)符合如下要求。a）識(shí)別模塊運(yùn)行完畢，系統(tǒng)自動(dòng)輸出識(shí)別結(jié)果，包括圖像上識(shí)別出硅藻的邊界框和置信度。b）系統(tǒng)將識(shí)別出硅藻的圖像與未識(shí)別出硅藻的圖像分類存放。c）系統(tǒng)統(tǒng)計(jì)識(shí)別出硅藻的個(gè)數(shù)并記錄存檔。7.4結(jié)果判讀識(shí)別結(jié)果判讀的過程應(yīng)符合如下要求。a）系統(tǒng)對(duì)于輸入圖像的自動(dòng)識(shí)別結(jié)果（包括系統(tǒng)按照閾值篩選所得結(jié)果）分為檢出硅藻和未檢出硅藻兩類，圖像分別存入兩個(gè)獨(dú)立的文件夾。b）點(diǎn)擊查看檢出硅藻的圖像所在的文件夾，系統(tǒng)在每張圖像上標(biāo)注檢出的單個(gè)硅藻所在的邊界框，并在邊界框右上角標(biāo)注置信度，作為系統(tǒng)認(rèn)為是硅藻的可能性，操作人員可根據(jù)邊界框和置信度對(duì)識(shí)別結(jié)果進(jìn)行驗(yàn)證。c）對(duì)于不完整硅藻，系統(tǒng)視為硅藻一同檢出。d）操作人員統(tǒng)計(jì)系統(tǒng)識(shí)別所得硅藻數(shù)量時(shí)，缺損面積小于50%的不完整硅藻計(jì)數(shù)為完整硅藻，缺損面積大于50%的不完整硅藻計(jì)數(shù)為碎片硅藻，分別計(jì)算完整硅藻和碎片硅藻數(shù)量。e）操作人員可依據(jù)一定掃描區(qū)域內(nèi)的硅藻數(shù)量推斷整個(gè)水樣或臟器樣本中硅藻的相對(duì)數(shù)量。8測(cè)試及性能要求8.1測(cè)試要求系統(tǒng)測(cè)試的過程應(yīng)符合如下要求。a）系統(tǒng)正式投入使用前應(yīng)利用真實(shí)樣本對(duì)系統(tǒng)性能進(jìn)行測(cè)試，性能符合8.7中的要求，則認(rèn)為識(shí)別結(jié)果具有可信度。b）測(cè)試人員應(yīng)為具有豐富硅藻檢驗(yàn)經(jīng)驗(yàn)、能夠辨認(rèn)硅藻形態(tài)的相關(guān)人員。c）測(cè)試人員應(yīng)按7.1的要求采集電鏡硅藻圖像作為測(cè)試圖像集，以每一個(gè)硅藻（包含完整硅藻和不完整硅藻）的位置作為一個(gè)“樣本”，完整記錄測(cè)試圖像集中真正硅藻的位置及樣本數(shù)量。將測(cè)試圖像集輸入系統(tǒng)識(shí)別后，以預(yù)測(cè)出的每一個(gè)邊界框作為一個(gè)“樣本”，人工判斷預(yù)測(cè)樣本是否為真正硅藻，記錄數(shù)據(jù)，并與測(cè)試前數(shù)據(jù)進(jìn)行比較。8.2識(shí)別查準(zhǔn)率的計(jì)算識(shí)別查準(zhǔn)率計(jì)算按式（1）進(jìn)行。P=…………（1）式中：P——識(shí)別查準(zhǔn)率；TP——識(shí)別為真正硅藻的樣本數(shù)；FP——識(shí)別為硅藻而實(shí)際非硅藻的樣本數(shù)。8.3識(shí)別查全率的計(jì)算6R=…………（2）式中：R——識(shí)別查全率；TP——識(shí)別為真正硅藻的樣本數(shù)；FN——識(shí)別為非硅藻而實(shí)際為真正硅藻的樣本數(shù)。8.4不完整硅藻檢出率的計(jì)算不完整硅藻檢出率計(jì)算按式（3）進(jìn)行。D=…………（3）式中：D——不完整硅藻檢出率；TD——識(shí)別為真正不完整硅藻的樣本數(shù)；LD——識(shí)別為非硅藻而實(shí)際為真正不完整硅藻的樣本數(shù)。8.5識(shí)別速度的計(jì)算識(shí)別速度計(jì)算按式（4）進(jìn)行。v=…………（4）式中：v——識(shí)別速度；T——完成識(shí)別的總響應(yīng)時(shí)間；N——識(shí)別圖像總張數(shù)。8.6漏檢率的計(jì)算按設(shè)定閾值篩選出置信度高于閾值的硅藻樣本后，漏檢率計(jì)算按式（5）進(jìn)行。L=…………（5）式中：L——漏檢率；TL——未被篩選出的真正硅藻的樣本數(shù)；TI——被篩選為真正硅藻的樣本數(shù)。8.7性能要求測(cè)試后的電鏡掃描硅藻圖像自動(dòng)識(shí)別系統(tǒng)性能應(yīng)達(dá)到如下要求。a）識(shí)別查準(zhǔn)率：水、肺等硅藻含量高的樣本，識(shí)別查準(zhǔn)率不低于90%。b）識(shí)別查全率：水、肺等硅藻含量高的樣本，識(shí)別查全率不低于90%；肝、腎等硅藻含量少的樣本，識(shí)別查全率不低于95%。c）不完整硅藻的檢出：對(duì)于不完整硅藻，系統(tǒng)應(yīng)視為硅藻一同檢出。d）識(shí)別速度：識(shí)別一張圖像的平均需要時(shí)間不大于1s。e）閾值設(shè)置和篩選：系統(tǒng)支持按自選閾值篩選置信度達(dá)到閾值的硅藻，當(dāng)閾值設(shè)置在0.5以上時(shí)，篩選硅藻的漏檢率不超過10%。7DB32/T4546—2023［1］陳吉，劉曉榮，楊佳雯，等.基于YOLOv3的硅藻電子顯微鏡圖像識(shí)別模型的構(gòu)建及應(yīng)用[J].法［2］李崢，楊佳雯，陳冶秋，等.硅藻檢驗(yàn)推測(cè)溺亡位置1例[J].法醫(yī)學(xué)雜志，2020，36（6878?880.［3］YuW，XueY，RobK，YuD，EvgeniyaB，KangX，PietroF，ZhengD，LiuP，ChenH，ShiH，LiuC，ZhaoJ.Automateddiatomsearchinginthedigitalscanninge