CT影像人工智能軟件的審評(píng)要點(diǎn)

11/11CT影像人工智能軟件的審評(píng)要點(diǎn)〔摘要〕該文基于CT影像人工智能（AI）軟件產(chǎn)品的注冊(cè)現(xiàn)狀，結(jié)合現(xiàn)行AI相關(guān)的指南文件，從監(jiān)管信息、技術(shù)要求、軟件研究、臨床評(píng)價(jià)方面提出CT影像AI軟件的審評(píng)要點(diǎn)，以期為該類產(chǎn)品的注冊(cè)申報(bào)提供參考。

〔關(guān)鍵詞〕CT影像；人工智能；軟件；技術(shù)審評(píng)

〔中圖分類號(hào)〕R445

〔文獻(xiàn)標(biāo)識(shí)碼〕A

〔文章編號(hào)〕1002-2376（2022）15-0028-04

近年來，隨著人工智能（artificialintelligence，AI）技術(shù)的快速發(fā)展，AI在醫(yī)學(xué)領(lǐng)域的應(yīng)用也越來越廣泛，特別是關(guān)于CT影像AI軟件的研究。從臨床應(yīng)用的角度來看，CT影像AI軟件可分為輔助決策類和非輔助決策類。輔助決策類軟件相當(dāng)于醫(yī)師的“助手”，可以自動(dòng)識(shí)別病灶、提供輔助診斷（如肺結(jié)節(jié)良惡性的輔助診斷）；非輔助決策類軟件僅可提供信息參考，相當(dāng)于醫(yī)師的“工具”，可用于改善成像質(zhì)量及進(jìn)行流程優(yōu)化、自動(dòng)測(cè)量、CT三維重建等。軟件的前處理、流程優(yōu)化、常規(guī)后處理、輔助決策等功能在產(chǎn)品層面存在交叉，具體情況需要結(jié)合產(chǎn)品的預(yù)期用途、使用場(chǎng)景和核心功能進(jìn)行考慮。目前，從獲批的醫(yī)療器械注冊(cè)證來看，國(guó)內(nèi)CT影像AI軟件主要應(yīng)用在肺結(jié)節(jié)、肺炎、冠狀動(dòng)脈病變、骨折等方面的輔助診斷、分診和流程優(yōu)化。AI軟件因其具有輔助醫(yī)務(wù)人員進(jìn)行臨床決策的功能，因此存在很大的臨床使用風(fēng)險(xiǎn)，若出現(xiàn)漏診和誤診甚至?xí)?dǎo)致延誤治療和過度醫(yī)療[1]。因此，很有必要對(duì)CT影像AI軟件的安全性和有效性進(jìn)行評(píng)價(jià)。本文主要從醫(yī)療器械注冊(cè)審評(píng)角度淺析CT影像AI軟件的審評(píng)要點(diǎn)，以期為該類產(chǎn)品的注冊(cè)申報(bào)提供參考。

1、

監(jiān)管信息

1.1

產(chǎn)品名稱產(chǎn)品的命名應(yīng)符合《醫(yī)療器械通用名稱命名規(guī)則》[2]的要求。建議產(chǎn)品名稱應(yīng)明確目標(biāo)疾?。ㄈ绶窝?、肺結(jié)節(jié)、骨折）和臨床用途（如輔助診斷、輔助檢測(cè)、分診、測(cè)量、定位）。如：肺炎CT影像輔助分診與評(píng)估軟件、肺結(jié)節(jié)CT影像輔助檢測(cè)軟件。目前，AI軟件在決策方面的定位只是輔助角色，需要醫(yī)師做出最終決定，產(chǎn)品名稱建議明確為輔助軟件。

1.2

分類

根據(jù)《人工智能醫(yī)用軟件產(chǎn)品分類界定指導(dǎo)原則》[3]，輔助決策類AI軟件按照三類醫(yī)療器械管理，用于測(cè)量等非輔助決策類AI軟件按照二類醫(yī)療器械管理。如廠家不確定產(chǎn)品分類，建議向國(guó)家藥品監(jiān)督管理局醫(yī)療器械標(biāo)準(zhǔn)管理中心申請(qǐng)分類界定。

1.3

適用范圍適用范圍需明確處理對(duì)象（如CT影像）、目標(biāo)疾?。ㄈ绶窝?、肺結(jié)節(jié)、肺氣腫、肺結(jié)核、肺癌、腦出血、血管閉塞、心臟冠脈病變、肝癌等）、適用人群（如成人、小兒）、臨床用途（如分診提示、異常識(shí)別、疾病類型分析、良惡性風(fēng)險(xiǎn)提示、病程階段分析、提供輔助診斷結(jié)果、提供醫(yī)學(xué)建議）、目標(biāo)用戶（如放射科醫(yī)師）等信息。如：用于肺部CT影像的顯示、處理、測(cè)量和肺炎病灶識(shí)別，可輔助用于成年的新型冠狀病毒肺炎疑似患者的分診提示以及確診患者的病情評(píng)估；供經(jīng)培訓(xùn)合格的醫(yī)師使用，不能單獨(dú)用作臨床診療決策證據(jù)。

2、技術(shù)要求

2.1

型號(hào)規(guī)格及劃分說明如產(chǎn)品有多個(gè)型號(hào)，應(yīng)明確不同型號(hào)間的差異，明確軟件的發(fā)布版本及軟件版本的命名規(guī)則，命名規(guī)則中需涵蓋算法更新類型（區(qū)分算法驅(qū)動(dòng)型和數(shù)據(jù)驅(qū)動(dòng)型），還需涵蓋網(wǎng)絡(luò)安全的更新類型，并區(qū)別重大更新和輕微更新（原則上算法驅(qū)動(dòng)型屬于重大更新），重大更新需列舉常見的情形。2.2

性能指標(biāo)明確軟件的輸入輸出數(shù)據(jù)類型。輸入數(shù)據(jù)一般包括軟件的處理對(duì)象及成像模態(tài)，如X射線計(jì)算機(jī)體層攝影；輸出數(shù)據(jù)一般指的是測(cè)量、分析、處理等結(jié)果類型，如用于4mm以上肺結(jié)節(jié)的識(shí)別。明確軟件的接口類型，包括調(diào)用的其他應(yīng)用程序接口、數(shù)據(jù)接口、可聯(lián)合使用的其他產(chǎn)品接口。其中，數(shù)據(jù)接口還需明確數(shù)據(jù)傳輸協(xié)議或存儲(chǔ)格式（如比較常見的DICOM、HL7），如采用私有協(xié)議也需要說明。明確軟件運(yùn)行環(huán)境。一般需明確典型運(yùn)行環(huán)境，既包括處理器、存儲(chǔ)器等硬件配置，也包括系統(tǒng)軟件環(huán)境，還包括網(wǎng)絡(luò)條件。需要注意的是，如適用多個(gè)版本，一般表述為“兼容版本”，不宜表述為“更高版本”或“以上版本”，如“運(yùn)行環(huán)境：IE6.0版本或兼容版本”。軟件的臨床功能需包括說明書和軟件界面所包含的所有臨床功能綱要。為方便審閱，建議可結(jié)合產(chǎn)品的邏輯組成，分模塊列明。臨床功能一般包括可以客觀測(cè)量的功能、圖像處理功能等。直線長(zhǎng)度、角度、面積、周長(zhǎng)、體積、平均密度、直徑等凡是可測(cè)量的物理量，都應(yīng)該在性能指標(biāo)中進(jìn)行明確，并規(guī)定測(cè)量的誤差要求。布局、放大鏡、聯(lián)動(dòng)、復(fù)位、裁剪、拖移、縮放、反片、曲線窗、右轉(zhuǎn)、左轉(zhuǎn)、倒置、鏡像、偽彩、增強(qiáng)、濾鏡、圖像對(duì)比、多平面重建（multiplanarreformation，MPR）、最大密度投影（maximumintensityprojection，MIP）、最小密度投影（minimumintensityprojection，MinIP）、容積重建（Volumerendering，VR）、病灶部位、分割方式、病灶量化分析、病灶識(shí)別與標(biāo)注、病灶性質(zhì)判斷、靶區(qū)自動(dòng)勾畫等采用AI算法的圖像處理功能需標(biāo)注并明確算法類型。軟件性能包括響應(yīng)時(shí)間、系統(tǒng)響應(yīng)時(shí)間和應(yīng)用延遲時(shí)間、吞吐量、并發(fā)用戶數(shù)和資源利用率等。明確軟件的用戶使用限制和必要的技術(shù)限制。如使用場(chǎng)景的限制，預(yù)期用于一般的體檢篩查還是門診病房；對(duì)患者的年齡、疾病類型或者地域是否有限制；其他限制包括CT設(shè)備的廠家，CT的掃描參數(shù)（如排數(shù)、層數(shù)、管電流、管電壓、劑量、層厚、加載時(shí)間、重建方式等），適用于CT平掃還是CT增強(qiáng)掃描，CT圖像質(zhì)量有何要求（如分辨率是多少，需要排除的偽影類型等），目標(biāo)疾病的分類或分型，病灶識(shí)別的部位等。

3、軟件研究

3.1

算法性能要求疾病檢出類算法的性能一般包括召回率、病變定位率（真陽性/（真陽性+假陰性）×100%）、精確度（真陽性/（真陽性+假陽性）×100%））、F1分?jǐn)?shù)[（2×精確度×召回率/（精確率+召回率）]、平均精確度、平均精確度均值、fR0C曲線（以召回率為縱坐標(biāo)、非病變定位率為橫坐標(biāo)構(gòu)造的曲線）。

區(qū)域分割與測(cè)量類算法的性能一般包括召回率（算法分割的感興趣區(qū)域與參考標(biāo)準(zhǔn)分割的感興趣區(qū)域的交集除以參考標(biāo)準(zhǔn)分割的感興趣區(qū)域）、精確度（算法分割的感興趣區(qū)域與參考標(biāo)準(zhǔn)分割的感興趣區(qū)域的交集除以算法分割的感興趣區(qū)域）、交并比[當(dāng)感興趣區(qū)域?yàn)橐话銓?shí)體時(shí)（如肺結(jié)節(jié)），宜采用Dice系數(shù)或Jaccard系數(shù)計(jì)算交并比]、樹檢測(cè)長(zhǎng)度、表面距離、密度測(cè)量、尺寸測(cè)量、體積測(cè)量。

影像分類算法的性能一般包括靈敏度、特異度、漏檢率、陽性預(yù)測(cè)值、陰性預(yù)測(cè)值、準(zhǔn)確率、約登指數(shù)、Kappa系數(shù)、R0C曲線。

隨訪評(píng)估功能算法一般需根據(jù)不同時(shí)間節(jié)點(diǎn)，比較算法對(duì)同一感興趣區(qū)域的分析結(jié)果與參考標(biāo)準(zhǔn)之間的符合性，計(jì)算絕對(duì)誤差，并建立各時(shí)間節(jié)點(diǎn)的動(dòng)態(tài)曲線，計(jì)算與參考標(biāo)準(zhǔn)曲線的一致性。

患者分診功能算法一般根據(jù)不同的分診級(jí)，與算法輸出的標(biāo)簽進(jìn)行對(duì)比，建立混淆矩陣，計(jì)算靈敏度、特異度、Kappa系數(shù)等。

算法質(zhì)量特性包括泛化能力、魯棒性（包括面向硬件變化的對(duì)抗測(cè)試、面向軟件前處理的對(duì)抗測(cè)試、面向欺騙攻擊的對(duì)抗測(cè)試、壓力測(cè)試）、重復(fù)性、一致性、效率、錯(cuò)誤分析。

3.2

訓(xùn)練數(shù)據(jù)要求基于深度學(xué)習(xí)的AI技術(shù)與傳統(tǒng)統(tǒng)計(jì)學(xué)習(xí)技術(shù)的差異主要在于數(shù)據(jù)集規(guī)模與特征提取兩方面。傳統(tǒng)統(tǒng)計(jì)學(xué)習(xí)技術(shù)對(duì)數(shù)據(jù)量的要求沒有那么大，特征提取是一個(gè)白盒過程；而AI技術(shù)對(duì)于數(shù)據(jù)量要求很高，且是一個(gè)端到端的黑盒過程，可自動(dòng)完成特征提取。這意味著，AI技術(shù)對(duì)數(shù)據(jù)庫(kù)的考量會(huì)更加細(xì)致，需要重點(diǎn)考慮其數(shù)據(jù)的可解釋性問題。

機(jī)器學(xué)習(xí)項(xiàng)目中的一個(gè)關(guān)鍵問題是，為了達(dá)到諸如分類器準(zhǔn)確度等特定性能指標(biāo)，我們需要多少訓(xùn)練數(shù)據(jù)。目前，主要有如下解決方案。（1）訓(xùn)練數(shù)據(jù)量的經(jīng)驗(yàn)范圍：如在回歸分析中通過考慮預(yù)測(cè)變量的數(shù)量、總體樣本量以及正樣本量/總體樣本量的比例來估計(jì)訓(xùn)練數(shù)據(jù)的多少。（2）假設(shè)檢驗(yàn)中樣本大小的確定：規(guī)定有專業(yè)意義的差值δ（稱為分辨力或區(qū)分度，δ值越小表示對(duì)兩個(gè)總體參數(shù)差別的區(qū)分度越強(qiáng)，因而所需樣本含量也越大），確定作統(tǒng)計(jì)推斷時(shí)允許犯Ⅰ類錯(cuò)誤（“棄真”的錯(cuò)誤）的概率α，提出所期望的檢驗(yàn)效能[用1-β表示，β為允許犯Ⅱ類錯(cuò)誤（“取偽”的錯(cuò)誤）的概率]，檢驗(yàn)效能就是推斷結(jié)論不犯Ⅱ類錯(cuò)誤的概率（1-β）（稱把握度），即當(dāng)對(duì)比雙方總體參數(shù)值間差值確實(shí)達(dá)到δ以上時(shí)，根據(jù)抽樣觀測(cè)結(jié)果在規(guī)定的α水準(zhǔn)上能正確地作出有差別的推斷結(jié)論的可能性，在科研設(shè)計(jì)中常把1-β定為0.90或0.80，一般來說1-β不宜低于0.75，否則可能出現(xiàn)非真實(shí)的陰性推斷結(jié)論。（3）訓(xùn)練數(shù)據(jù)規(guī)模的統(tǒng)計(jì)學(xué)習(xí)理論：VC維（Vapnik-Chevronenkis維度）是模型復(fù)雜度的度量，模型越復(fù)雜，VC維越大，訓(xùn)練數(shù)據(jù)量N是VC維的一個(gè)函數(shù)：

其中d為失效概率，epsilon為學(xué)習(xí)誤差，由該公式可知學(xué)習(xí)所需的數(shù)據(jù)量取決于模型的復(fù)雜度。（4）逐漸增加訓(xùn)練數(shù)據(jù)，檢驗(yàn)?zāi)Ｐ托阅埽河?xùn)練集的數(shù)據(jù)量逐漸增加，模型性能會(huì)隨著數(shù)據(jù)量的增加而增加，當(dāng)?shù)竭_(dá)一定數(shù)據(jù)規(guī)模（臨界數(shù)據(jù)量）時(shí)，模型性能會(huì)停滯不前。

3.3

數(shù)據(jù)采集要求數(shù)據(jù)采集需考慮CT設(shè)備的兼容性與掃描參數(shù)、CT影像質(zhì)量等因素，如廠家、探測(cè)器排數(shù)、層數(shù)、層厚、管電壓、管電流、加載時(shí)間、掃描方式、患者體位、掃描速度、螺距、圖像偽影與噪聲等要求。對(duì)于CT設(shè)備的要求，建議盡量覆蓋國(guó)內(nèi)外主流機(jī)型，如飛利浦、GE、西門子、東芝、聯(lián)影、東軟等。

掃描方式，如平掃、增強(qiáng)、低劑量，應(yīng)各有一定的占比。數(shù)據(jù)采集還需考慮患者人群、采集場(chǎng)所、機(jī)構(gòu)來源、數(shù)據(jù)格式、采集人員、影像學(xué)分級(jí)、分型、分期等多方面的因素。人群因素包括不同的年齡分布、性別、地域（如華東、華南、華中、西北等）。采集場(chǎng)所，如體檢、門診、住院。影像學(xué)分級(jí)，如肺炎包括早期、進(jìn)展期、嚴(yán)重期，肺結(jié)節(jié)類型包括肺內(nèi)實(shí)性結(jié)節(jié)、肺內(nèi)部分實(shí)性結(jié)節(jié)、肺內(nèi)純磨玻璃結(jié)節(jié)、肺內(nèi)鈣化結(jié)節(jié)、胸膜實(shí)性結(jié)節(jié)、胸膜鈣化結(jié)節(jié)、其他疾病等，不同類型的結(jié)節(jié)還包括不同尺寸。

3.4

數(shù)據(jù)標(biāo)注及質(zhì)控要求在標(biāo)注任務(wù)開始前，標(biāo)注責(zé)任方應(yīng)明確標(biāo)注任務(wù)的分類，包括數(shù)據(jù)模態(tài)、執(zhí)行主體、標(biāo)注結(jié)果格式、標(biāo)注結(jié)果性質(zhì)、標(biāo)注結(jié)果形式等維度。

標(biāo)注任務(wù)需建立標(biāo)注規(guī)則，如根據(jù)法規(guī)文件、專家共識(shí)、文獻(xiàn)分析等確定標(biāo)注規(guī)則，需明確標(biāo)注人員的要求，如標(biāo)注人員來源的醫(yī)療機(jī)構(gòu)、工作年限、職稱、工作量、培訓(xùn)考核評(píng)價(jià)情況、標(biāo)注任務(wù)，不同角色人員（如初級(jí)標(biāo)注人員、審核人員、仲裁人員）分別進(jìn)行闡述，明確人員分工，制定決策機(jī)制，明確分歧處理程序。此外，需明確標(biāo)注過程適用的標(biāo)注工具，如設(shè)備型號(hào)、標(biāo)注軟件的信息，描述標(biāo)注環(huán)境，標(biāo)注數(shù)據(jù)如何進(jìn)行數(shù)據(jù)清洗、查重等。

要求整個(gè)標(biāo)注過程中追蹤結(jié)果應(yīng)可以導(dǎo)出并可追溯，避免數(shù)據(jù)丟失，具體要求如下。（1）標(biāo)注時(shí)間監(jiān)測(cè)：可以通過記錄測(cè)試過程中醫(yī)師對(duì)于每一個(gè)病例的標(biāo)注時(shí)間，建立每一位標(biāo)注者的標(biāo)注時(shí)間分布；在實(shí)際標(biāo)注階段，可以通過不斷比對(duì)每一個(gè)病例的標(biāo)注時(shí)間、該時(shí)間在該標(biāo)注人員標(biāo)注時(shí)間分布中的位置來判斷標(biāo)注的狀態(tài)；若標(biāo)注時(shí)間多次出現(xiàn)過長(zhǎng)或過短的情況，則需要同時(shí)評(píng)估標(biāo)注人員的狀態(tài)和數(shù)據(jù)的質(zhì)量。（2）標(biāo)注一致性監(jiān)測(cè)：在標(biāo)注過程中，引入部分病例，讓同一名標(biāo)注人員進(jìn)行二次標(biāo)注，并計(jì)算同一個(gè)人兩次標(biāo)注之間的一致性，以確保標(biāo)注人員的標(biāo)注一致性水準(zhǔn)始終能夠達(dá)到項(xiàng)目的要求，保證整體標(biāo)注的一致性。（3）標(biāo)注準(zhǔn)確率監(jiān)測(cè)：在標(biāo)注過程中，引入部分醫(yī)學(xué)專家提供的帶有標(biāo)準(zhǔn)標(biāo)注答案的病例，計(jì)算標(biāo)注人員對(duì)于帶標(biāo)準(zhǔn)答案病例標(biāo)注的準(zhǔn)確性，用以評(píng)估標(biāo)注人員的實(shí)時(shí)狀態(tài)。

3.5

算法訓(xùn)練算法訓(xùn)練需結(jié)合繪制訓(xùn)練數(shù)據(jù)量-評(píng)估指標(biāo)曲線，重點(diǎn)進(jìn)行算法性能影像因素分析以及數(shù)據(jù)多樣性分析。

算法訓(xùn)練如涉及數(shù)據(jù)擴(kuò)增，需明確數(shù)據(jù)擴(kuò)增的對(duì)象、方法、倍數(shù)，分析擴(kuò)增倍數(shù)過大的影響及其風(fēng)險(xiǎn)。數(shù)據(jù)擴(kuò)增并不總能產(chǎn)生積極的作用，不當(dāng)?shù)臄?shù)據(jù)擴(kuò)增可能產(chǎn)生負(fù)面影響。而什么是適當(dāng)?shù)臄?shù)據(jù)擴(kuò)增，取決于具體的任務(wù)和數(shù)據(jù)集。因此需要慎重考慮擴(kuò)增過程中的數(shù)據(jù)偏移問題，同時(shí)進(jìn)行擴(kuò)增倍數(shù)過大的影響分析。

3.6

算法驗(yàn)證與確認(rèn)測(cè)試集應(yīng)與算法的研發(fā)、訓(xùn)練集和調(diào)優(yōu)集保持獨(dú)立，以保證數(shù)據(jù)集的安全性和封閉性。根據(jù)靈敏度、特異度計(jì)算單次測(cè)試的樣本量，考慮人群特征，疾病分類和分級(jí)、數(shù)據(jù)質(zhì)量要求，不同采集設(shè)備等，確保數(shù)據(jù)容量和數(shù)據(jù)多樣性。

4、

臨床評(píng)價(jià)

該類產(chǎn)品的臨床評(píng)價(jià)方式與其必備的軟件功能類型有關(guān)。用于病情評(píng)估的量化分析功能、數(shù)據(jù)對(duì)比功能、常見影像后處理功能（如多平面重建、曲面重建、最大密度投影、最小密度投影、表面遮蓋顯示、容積再現(xiàn)、仿真內(nèi)窺鏡、偽彩、圖像銳化、去噪、增強(qiáng)、分割、配準(zhǔn)、融合等）屬于非輔助決策類軟件功能，可基于核心功能按同品種醫(yī)療器械比對(duì)的臨床評(píng)價(jià)途徑。簡(jiǎn)單操作類軟件功能（如隨訪結(jié)果對(duì)比、多窗口顯示、圖像縮放移動(dòng)、窗寬窗位調(diào)節(jié)、長(zhǎng)度測(cè)量、角度測(cè)量、標(biāo)注工具）、單純流程優(yōu)化類軟件功能（如一鍵輸出報(bào)告功能、批量導(dǎo)出功能、隨訪提醒功能、膠片智能排版打印、分診指引功能）可通過非臨床證據(jù)予以評(píng)價(jià)。

分診提示、異常識(shí)別、疾病類型分析、病灶種類鑒別、良惡性風(fēng)險(xiǎn)提示、病程階段分析、提供輔助診斷結(jié)果（自動(dòng)化報(bào)告）、提供醫(yī)學(xué)建議（給出臨床診斷治療依據(jù)和/或建議、用藥建議）等功能屬于輔助決策類軟件功能，可基于核心算法進(jìn)行同品種醫(yī)療器械比對(duì)，比對(duì)所選產(chǎn)品的臨床證據(jù)需基于臨床試驗(yàn)。全新的核心算法、核心功能、預(yù)期用途原則上均應(yīng)開展臨床試驗(yàn)[4]。

4.1

試驗(yàn)設(shè)計(jì)若無同類已上市產(chǎn)品可采用單組目標(biāo)值試驗(yàn)設(shè)計(jì)；若有同類已上市產(chǎn)品可考慮平行對(duì)照試驗(yàn)設(shè)計(jì)。

采用單組目標(biāo)值試驗(yàn)設(shè)計(jì)，目標(biāo)值應(yīng)符合臨床應(yīng)用需求，并提供目標(biāo)值確定的依據(jù)。目標(biāo)值可來源于權(quán)威醫(yī)學(xué)組織、臨床文獻(xiàn)或回顧性臨床研究結(jié)果確定。

臨床機(jī)構(gòu)應(yīng)當(dāng)具備代表性和廣泛性，不同于訓(xùn)練數(shù)據(jù)主要來源機(jī)構(gòu)，地域分布盡可能廣泛，機(jī)構(gòu)數(shù)量盡可能多，以確認(rèn)算法泛化能力。

4.2

評(píng)價(jià)指標(biāo)針對(duì)采用AI算法設(shè)計(jì)的臨床功能原則上選擇靈敏度、特異度、ROC曲線下面積（areaundercurve，AUC）