面向互聯(lián)網(wǎng)的醫(yī)療人工智能輔助決策 基于婦科微生態(tài)的輔助決策系統(tǒng)算法指標和測試方法

3面向互聯(lián)網(wǎng)的醫(yī)療人工智能輔助決策基于婦科微生態(tài)的輔助決策系統(tǒng)算法指標和測試方法本文件規(guī)定了基于人工智能算法的婦科微生態(tài)輔助決策系統(tǒng)的算法指標和測試方法本文件適用于采用深度學習、圖像處理和模式識別等技術，對婦科鏡檢圖像進行形態(tài)學檢測，給出相應的診斷結果，輔助醫(yī)生對婦科微生態(tài)情況進行診斷的軟件。2規(guī)范性引用文件本文件無規(guī)范性引用文件3術語和定義下列術語和定義適用于本文件。3.1統(tǒng)計學指標一個或多個抽樣單元組成的總體的子集3.1.2置信區(qū)間confidenceinterval置信區(qū)間是指由樣本統(tǒng)計量所構造的總體參數(shù)的估計區(qū)間3.1.3標準正態(tài)分布standardizednormaldistribution具有如下概率密度函數(shù)的分布3.2.1二分類binary將對象歸入兩種類別之一的判斷任務或功能。將對象歸入多種類別之一的判斷任務或功能。被正確分類的樣本比例。又稱真陽率和召回率，是指實際為陽性的樣本中，判斷為陽性的比例。又稱真陰率，是指實際為陰性的樣本中，判斷為陰性的比例是指在所有判斷為陽性的結果中，真正陽性所占的比例。F分數(shù)是一種統(tǒng)計量，又稱為F-measure,是信息檢素領域常用的一個評價標準，常用于評價分類模型的好壞。也稱正確指數(shù)，用于評價篩查試驗真實性的綜合指標，在假陽性與假陰性同等重要時采用，指數(shù)越大表示結果真實性越可靠。Kappa系數(shù)是一個用于一致性檢驗的指標，在人工智能領域用來衡量分類精度，可以基于混淆矩陣計算得到。魯棒性又稱健壯性，它是在異常和危險情況下系統(tǒng)生存的關鍵，是指系統(tǒng)在一定(結構、大小)的參數(shù)攝動下維持某些性能的特性。泛化性是指算法對訓練集之外的樣本類別的預測能力。算法訓練的目的是學到隱含在數(shù)據(jù)背后的規(guī)律，對具有同一規(guī)律的訓練集以外的數(shù)據(jù)，經(jīng)過訓練的算法也能給出合適的輸出，即認為該算法泛化性能良好3.2.12可再現(xiàn)性可重復性repeatability在算法測試環(huán)境和初始條件相同的情況下，算法對于相同或相似的數(shù)據(jù)集的不同測試結果之間的一致性即為算法的可再現(xiàn)性/可重復性。該性能指標的計估場景為軟件更新或算法更新后的性能測試。4縮略語下列縮略語適用于本文件。需氧菌性陰道炎細菌性陰道病高倍視野5乳桿菌分級混合型陰道炎基底旁上皮細胞滴蟲性陰道炎外陰陰道假絲酵母菌病ParabasalEpitheliocVulvovaginalCandidia5性能指標及計算方法5.1.1二分類問題轉化為了更好的評價多分類系統(tǒng)在各級分類中的性能表現(xiàn)，將待測系統(tǒng)的多分類問題轉化成多個二分類問題，轉化方式如下圖1所示。其中，數(shù)據(jù)標簽分類中各類婦科微生態(tài)感染的定義詳見附錄A.1—A.4。數(shù)據(jù)標簽分類TV轉化后二分類數(shù)據(jù)標簽數(shù)據(jù)標簽分類TV測試數(shù)據(jù)BV與其他vVC與其他測試數(shù)據(jù)圖1多分類問題轉化成多個二分類問題示意圖針對每個二分類的分類性能評估指標說明和計算方式如下。5.1.2.1混淆矩陣混淆矩陣也稱誤差矩陣，是用于分類精度評價的一種標準格式，用n行n列的矩陣形式來表示。以二分類為例，其混酒矩陣如下所示：其中的幾個概念如下：0)真陽性(TruePositive,TP):樣本的真實類別是陽性，且模型預測的結果也是陽b)真陰性(TnueNegative,TN):樣本的真實類別是陰性，且模型將其預測成為陰性c)假陽性(FalsePositive,FP):樣本的真實類別是陰性，但是模型將其預測成為陽d)假陰性(FalseNegative,FN):樣本的真實類別是陽性，但是模型將其預測成為陰性。65.2其他性能指標76.1數(shù)據(jù)集準備6.1.1測試數(shù)據(jù)集樣本抽取單次測試數(shù)據(jù)從第三方權威數(shù)據(jù)庫中根據(jù)測試樣本量要求在每個數(shù)據(jù)多樣化維度(包括醫(yī)院、患者信息等)進行隨機抽取，抽取的測試數(shù)據(jù)包含婦科下生殖道分泌物微生態(tài)形態(tài)學鏡檢圖像和數(shù)據(jù)標簽(即金標準，詳見附錄A.6)。所抽取的測試數(shù)據(jù)應具有充分的多樣性代表，測試數(shù)據(jù)集中應包含一定比例混合型感染鏡檢圖像和質(zhì)量不佳的鏡檢圖像。其中，混合型陰道炎定義詳見附錄A.5,鏡檢圖像產(chǎn)生方式詳見附錄A.7.“圖像不可用”等6.1.2確定測試數(shù)據(jù)集樣本量測試數(shù)據(jù)集樣本量根據(jù)產(chǎn)品預期的特異度和敏感度來確定，可以依照如下計算公式：根據(jù)敏感度指標計算樣本量公式；根據(jù)特異度指標計算樣本量公式：其中，Z.為虧對應的標準正態(tài)分布的上分位數(shù)，Psen為產(chǎn)品提供的預期敏感度，Pspe為產(chǎn)品提供的預期特異度，d為置信區(qū)間寬度的一半二者之和是單次測試樣本量的最低要求。測試樣本量應在上述統(tǒng)計學計算方式的基礎上以國內(nèi)同類產(chǎn)品臨床實驗室病例數(shù)據(jù)為基準，綜合確定6.1.3確定測試數(shù)據(jù)集樣本分布樣本分布應根據(jù)特測產(chǎn)品支持輔助診斷的感染類型進行確定。要求測試數(shù)據(jù)集中包含測一定比例混合型感染鏡檢圖像和質(zhì)量不佳的鏡檢圖像。同時要求測試數(shù)據(jù)集應有不同屬性，如不同來源地區(qū)、不同患者年齡段等，各個屬性在測試數(shù)據(jù)中的分布情況應與實際臨床數(shù)據(jù)相符。6.2測試流程6.2.1測試前準備在開始兩部分測試前，先進行測試前準備，測試前準備示意圖如下圖所示：9中應至少包括其中3種變換，具體采取何種變換由產(chǎn)品聲稱選擇。其中進行基本變換的數(shù)據(jù)應占所有測試樣本量的10%。用變換后的測試數(shù)據(jù)及剩余未變換的數(shù)據(jù)灌入封閉沙箱，計算得到診斷性能指標結果。分析是否有統(tǒng)計學差異。6.2.3.2泛化性測試基于診斷性能測試，根據(jù)不同維度的數(shù)據(jù)屬性來統(tǒng)計測試結果，從而分別計算不同屬性下的診斷性能指標，分析是否有統(tǒng)計學差異。例如統(tǒng)計維度為不同地區(qū)，則每一類數(shù)據(jù)屬性為中部地區(qū)、北部地區(qū)、南部地區(qū)等。具體統(tǒng)計維度可包括不同地區(qū)、不同患者年齡段等。6.2.3.3可再現(xiàn)性/可重復性測試適用于產(chǎn)品在軟件更新或算法更新時?；谏洗卧\斷性能測試使用的相同數(shù)據(jù)集進行第二次測試，所得到的診斷性能指標應不劣于上次測試結果。6.2.4測試后封樣為保證測試環(huán)境的封閉性、測試產(chǎn)品與測試數(shù)據(jù)的安全性以及測試的可復現(xiàn)性，在全部指標測試結束后，需要進行測試后封樣，測試后封樣示意圖如下圖所示測試留檔測試留檔據(jù)步驟如下：a)測試結束后，輸出測試結果b)對本次測試進行留檔封樣，留檔數(shù)據(jù)包括1)本次測試數(shù)據(jù)集全部的元數(shù)據(jù)(包括數(shù)據(jù)TD、數(shù)據(jù)屬性、數(shù)據(jù)來源庫等)保證測試的可追測性與可復現(xiàn)性；3)本次測試的測試結果(包括本次測試計算得到的性能指標)c)留檔封樣后，對本次測試的產(chǎn)品與數(shù)據(jù)一同銷毀，保證測試安全性(資料性)由需氧菌繁殖伴產(chǎn)過氧化氫的乳桿菌減少或缺失導致的炎癥。常見的病原菌包括B族鏈球菌、葡萄球菌、大腸埃希菌及腸球菌等需氧菌。診斷依據(jù)見附錄A.8。由正常產(chǎn)生過氧化氫的乳桿菌減少或缺失而兼性厭氧菌及厭氧菌增多為主導致的感染。常見的病原體包括兼性厭氧菌(陰道加德納菌)、厭氧菌(普雷沃菌、動彎桿菌、擬桿菌、陰道阿托普菌)以及解脲脲原體、人型支原體等。診斷依據(jù)見附錄A.9。由毛滴蟲感染導致的炎癥。顯微鏡鏡檢分泌物，革蘭染色陽性，發(fā)現(xiàn)滴蟲，較白細胞略大，形態(tài)不規(guī)則，內(nèi)有食物泡，周邊有大量的白細胞或上皮細胞碎片。由假絲酵母感染引起的真菌感染性疾病。顯微鏡鏡檢分泌物，革蘭染色陽性，發(fā)現(xiàn)真菌卵圓形孢子、芽生孢子或管狀的假菌絲A.5混合型陰道炎MixedVaginitis由兩種及以上的致病微生物導致的炎癥。同時存在至少兩種病原體或同時滿足兩種及以等金標準由臨床醫(yī)師依據(jù)數(shù)據(jù)標注標準對涂片樣本進行標注得到。第三方權威數(shù)據(jù)庫中婦科微生態(tài)形態(tài)學鏡檢圖像產(chǎn)生方式如下：a)臨床醫(yī)生采用陰道分泌物專用熱塑性聚氨酯彈性體(TPU)材質(zhì)一次性采樣拭子進行采樣，保證樣本充分獲得和釋放，并保證細胞不被破壞和取樣量的一致。取樣后將拭子置于液基細胞和微生物檢測處理、保存試劑(陰道微生態(tài)形態(tài)學專用)樣本管中充分釋放，保證有形成分均勻分散：b)使用液基薄層細胞制片原理的自動樣本制片機對陰道分泌物樣本進行制片，保證樣本在玻片有效區(qū)域內(nèi)均勻分布；c)使用自動化革蘭染色機對制好的玻片樣本進行革蘭染色(染色前設備需要通過質(zhì)d)使用顯微圖像掃描儀對玻片進行顯微成像，顯微鏡物鏡和相機參數(shù)因保證單個圖片對應視野尺寸與100倍油鏡和10倍目鏡下視野大小一致，符合形態(tài)學診斷規(guī)定；e)數(shù)據(jù)庫中圖像均經(jīng)過第三方臨床具有權威性的資深檢驗或病理醫(yī)師進行數(shù)據(jù)標簽標A.8革蘭染色涂片結合臨床特征的AW聯(lián)合診斷標準ANDiagnosticCriteria基于革蘭染色涂片AV的診斷標準，可實現(xiàn)同一張涂片上同時診斷AV共4種常見陰道炎及其混合感染，提高診斷效率，具有良好的實用性及可推廣性。A斷標準共5項指標，包括：白細胞數(shù)、PBC所占比例、LBG、背景菌落和臨床特征(陰道pH分，總分8分，≥3分時診斷為AV。具體見表A.1。AV評分白細胞數(shù)0級注：1.LBGi1000x下評估。I級：指多量多形性乳桿菌，無其他細菌：Ⅱa級，指混合菌群細菌性陰道病的診斷依據(jù)之一，是目前國際通用的一種診斷方法。評分方泌物進行革蘭染色，在顯微鏡(1000倍油鏡)下觀察不同細菌的形態(tài)類型，并進行量化和綜合評分，總分范圍為0-10分；評分27分診斷為BV。具體見表A.2。陰道加德納菌及類桿菌染色不注：0:油鏡視野未見細菌；I+;<1個細菌油鏡視野(此為平均數(shù));2+:1-4個細菌參考文獻[1]中華醫(yī)學會婦產(chǎn)科學分會感染性疾病協(xié)作組。陰道微生態(tài)評價的臨床應用專家共識[J].中華婦產(chǎn)科雜志，2016,51(010):721-723.[2]董夢婷，王辰，李會陽，等.基于革蘭染色涂片結合臨床特征的需氧菌性陰道炎聯(lián)合診斷標準專家建議[J].