FDA已批準(zhǔn)病理圖像人工智能產(chǎn)品非臨床研究簡介

FDA已批準(zhǔn)病理圖像人工智能產(chǎn)品非臨床研究簡介（原創(chuàng)2023-08-03CMDE中國器審）近日，器審中心發(fā)布了IVD人工智能軟件的3個(gè)審評要點(diǎn)，標(biāo)志著對于IVD人工智能軟件的規(guī)范化審評邁上了新臺階。我國企業(yè)也在IVD人工智能軟件上做了非常多的研發(fā)工作，其中，做為第三類醫(yī)療器械管理的輔助決策類的2個(gè)產(chǎn)品已于去年和今年獲得批準(zhǔn)，包含1款病理圖像分析軟件。病理圖像的輔助識別、輔助診斷決策是IVD人工智能軟件應(yīng)用的重要方面之一，下面介紹一款FDA批準(zhǔn)的該類軟件的非臨床研究審評要點(diǎn)，為審評提供借鑒和思考。2021年9月21日FDA首次批準(zhǔn)IVD病理圖像人工智能輔助決策軟件——PaigeProstate，該產(chǎn)品是一種用于定性輔助決策的深度學(xué)習(xí)軟件。批準(zhǔn)類別：全新（Denove）自動(dòng)分為III類，今后將作為II類特殊控制管理。一、產(chǎn)品描述（一）預(yù)期用途該產(chǎn)品為專用軟件，用于幫助病理醫(yī)師對蘇木精和伊紅（H&E）染色的福爾馬林固定-石蠟包埋（FFPE）的前列腺穿刺活檢組織的全玻片數(shù)字掃描圖像（WSI，以下簡稱“掃描圖像”）做診斷時(shí)，識別可疑的癌癥病灶。該軟件在病理醫(yī)師對掃描圖像進(jìn)行初診之后使用，如果軟件識別到可疑的癌癥組織形態(tài)，則在圖像上提供位置坐標(biāo)（X,Y），供病理醫(yī)師對該位置進(jìn)一步診斷或修改初診的結(jié)論。該產(chǎn)品自動(dòng)分析掃描圖像后輸出以下內(nèi)容：1.基于神經(jīng)網(wǎng)絡(luò)輸出的預(yù)定義閾值，對圖像是否懷疑為癌癥進(jìn)行二元分類。2.如果切片被歸類為“懷疑不是癌癥”將沒有額外的輸出，圖像軟件查看器將顯示“懷疑不是癌癥——沒有目標(biāo)區(qū)域”。該產(chǎn)品為計(jì)算機(jī)輔助方法，其輸出結(jié)果不應(yīng)用作最初的診斷，病理醫(yī)師應(yīng)只使用該軟件結(jié)合完整的標(biāo)準(zhǔn)診療程序評估病理切片掃描圖像。該軟件不提供輔助測量（定量）或癌癥病灶的分級診斷結(jié)果。該軟件配套使用的掃描儀為飛利浦掃描儀（PhilipsIntelliSiteUltraFastScanner），數(shù)字病理圖像查看軟件為本公司的軟件（FullFocusimageviewingsoftware）。（二）算法研究算法研究是基于訓(xùn)練集、調(diào)優(yōu)集和測試集的數(shù)據(jù)進(jìn)行的。數(shù)據(jù)訓(xùn)練、調(diào)優(yōu)和測試數(shù)據(jù)集，分別來自于相互獨(dú)立病人的切片，以保證其在訓(xùn)練、調(diào)優(yōu)、和測試數(shù)據(jù)集不重復(fù)使用。這些數(shù)據(jù)脫敏后被標(biāo)注，并與驗(yàn)證集數(shù)據(jù)相互獨(dú)立。訓(xùn)練集數(shù)量：33543例，徠卡掃描儀（Leica），與預(yù)期用途配合掃描儀品牌不同；調(diào)優(yōu)集數(shù)量：5598例，徠卡掃描儀（Leica），同上；測試集數(shù)量：5598例，飛利浦掃描儀（Philips），同預(yù)期用途配合掃描儀相同。1.算法研究的3個(gè)數(shù)據(jù)集人種信息如下：白人占約80%左右，非洲族裔美國人或黑人占9%，印第安人占0.1%，亞裔和遠(yuǎn)東人種占3%，其他占約2%，沒有種族信息的占5%左右，人種分布在三個(gè)數(shù)據(jù)集的比例基本相同。切片分別來源于公司內(nèi)部（136例癌癥，183例良性）和外部機(jī)構(gòu)（175例癌癥，234例良性）。2.切片分類組成如下：（1）非典型小腺泡增生（ASAP）、萎縮出現(xiàn)；（2）高級別（PIN）前列腺上皮內(nèi)腫瘤；（3）接受過治療的組織（治療后組織有治療相關(guān)的改變）；（4）癌組織：腫瘤大于0.5mm，其中PIN出現(xiàn)單獨(dú)統(tǒng)計(jì)；（5）癌組織：腫瘤小于等于0.5mm，其中PIN出現(xiàn)單獨(dú)統(tǒng)計(jì)；（6）良性組織（無萎縮、PIN和治療）。3.數(shù)據(jù)標(biāo)注：是否為癌癥的準(zhǔn)確性由診斷報(bào)告來作為金標(biāo)準(zhǔn)確認(rèn)，定位準(zhǔn)確性由3位經(jīng)過認(rèn)證（有資質(zhì)）的病理醫(yī)師來確定。（三）非臨床研究1.軟件描述依據(jù)FDA指導(dǎo)文件《醫(yī)療設(shè)備中包含的軟件上市前提交內(nèi)容指南》（2005年5月11日發(fā)布），該產(chǎn)品為中度風(fēng)險(xiǎn)考量。申請人提交了危害分析，對該產(chǎn)品和網(wǎng)絡(luò)安全分別進(jìn)行了分析，并評估了緩解前后的風(fēng)險(xiǎn)。產(chǎn)品危害分析包括：危害的識別、造成危害的原因（危險(xiǎn)情況）、發(fā)生危險(xiǎn)的概率、危害嚴(yán)重程度、控制或緩解的方法、所采取的糾正措施，包括解釋設(shè)備設(shè)計(jì)/要求中消除、減少或警告危險(xiǎn)事件的方面，驗(yàn)證控制執(zhí)行情況，并可通過列舉的可追溯矩陣進(jìn)行追蹤。申請人提交了以下描述文檔，包括軟件需求規(guī)范（SRS）、軟件架構(gòu)設(shè)計(jì)圖表、軟件設(shè)計(jì)規(guī)范（SDS）、可追溯分析/矩陣、軟件開發(fā)環(huán)境、驗(yàn)證和驗(yàn)證測試、軟件版本修訂歷史，其中軟件版本（v）2.1.501在所有性能研究中使用之前發(fā)布，包括分析性能研究和臨床研究。在上市后，軟件版本將保持鎖定狀態(tài)，不會(huì)隨著臨床應(yīng)用對算法持續(xù)訓(xùn)練和更新。未解決的異常：在軟件驗(yàn)證之前，所有識別的異常都已解決，沒有未解決的異常情況。2.網(wǎng)絡(luò)安全網(wǎng)絡(luò)安全文件與FDA指導(dǎo)文件《醫(yī)療設(shè)備網(wǎng)絡(luò)安全管理上市前提交文件內(nèi)容：工業(yè)和食品藥品監(jiān)督管理局工作人員指南》（2014年10月2日發(fā)布）中概述的上市前提交文件應(yīng)包含的建議信息一致。與網(wǎng)絡(luò)安全相關(guān)的信息包括：網(wǎng)絡(luò)安全風(fēng)險(xiǎn)相關(guān)的危害分析，將網(wǎng)絡(luò)安全控制與考慮的風(fēng)險(xiǎn)聯(lián)系起來的可追溯性文件，在醫(yī)療設(shè)備的全生命周期中驗(yàn)證軟件更新和補(bǔ)丁的概要計(jì)劃，為確保醫(yī)療設(shè)備保持其完整性而采取的控制措施的摘要描述，與預(yù)期使用相適應(yīng)的使用說明書中的推薦的網(wǎng)絡(luò)安全控制措施。數(shù)據(jù)傳輸方面：數(shù)據(jù)傳輸?shù)母鱾€(gè)環(huán)節(jié)都采用加密的方式。3.分析性能評估分析性能評估包括：算法定位（X,Y）坐標(biāo)準(zhǔn)確度研究和精密度研究。采用配套用的飛利浦掃描儀和本公司數(shù)字病理圖像查看軟件。（1）算法定位（X,Y）坐標(biāo)準(zhǔn)確度研究該研究評估了軟件在鑒別診斷前列腺穿刺活檢數(shù)字病理圖像為可疑癌癥組織的能力，以及定位一個(gè)高度疑似癌癥病灶（X,Y）坐標(biāo)的能力。研究方法：對“該產(chǎn)品識別的坐標(biāo)（X,Y）”與“3名對軟件輸出結(jié)果不知情的病理學(xué)家手工注釋的區(qū)域”進(jìn)行了比對評估，且這些參與研究的病理學(xué)家沒有參與臨床試驗(yàn)的閱片研究。所有的掃描圖像（癌和良性組織混合穿插混合）提供給病理學(xué)家，由其審閱并給予了圖像區(qū)域“有癌”的標(biāo)記，3位病理醫(yī)師間互為盲法，不知道彼此對切片的注釋，也不知道該申報(bào)軟件的結(jié)果輸出。至少2-3名提供注釋的病理醫(yī)師對同一切片位置的同樣標(biāo)注，才能作為真值與軟件輸出結(jié)果進(jìn)行比對。所有的病理醫(yī)師在注釋選定區(qū)域之前要遵循以下原則：a.標(biāo)記癌癥邊緣要盡量的緊貼癌癥區(qū)域，要畫出最小癌癥區(qū)域；b.可以選擇良性細(xì)胞和癌細(xì)胞混合呈現(xiàn)的區(qū)域進(jìn)行標(biāo)記，因?yàn)檐浖敵龆ㄎ蛔鴺?biāo)（X,Y）的目的就是標(biāo)出病理醫(yī)師感興趣的區(qū)域并引起注意。為了避免因病例水平重疊而產(chǎn)生的偏倚，數(shù)據(jù)分析只使用了獨(dú)立的患者病例，即:與研發(fā)數(shù)據(jù)集相比，所有切片在患者層面都是獨(dú)立的。研究樣本最終納入了包括728個(gè)掃描圖像（311個(gè)來自癌癥組織切片，417個(gè)來自良性組織切片）。主要終點(diǎn)數(shù)據(jù)：真陽性（TP）：算法將切片準(zhǔn)確分類并且高度懷疑為癌癥的區(qū)域定位坐標(biāo)（X,Y）在預(yù)定義閾值范圍內(nèi)，294/311；真陰性（TN）：算法將切片準(zhǔn)確分類并且懷疑不是癌癥，392/417；假陽性（FP）：算法將懷疑為癌癥的切片錯(cuò)誤分類，25/417；假陰性（FN）：算法將懷疑為不是癌癥的切片錯(cuò)誤分類；或算法將切片準(zhǔn)確分類為懷疑為癌癥，但未將懷疑為癌癥的坐標(biāo)（X,Y）區(qū)域定位正確，17/311。結(jié)果：敏感性：94.5%（95%CI：91.4%-96.6%）；特異性：94.0%（95%CI：91.3%-95.9%）。同時(shí)，也分別對來源于公司內(nèi)部和外部機(jī)構(gòu)（217個(gè)外部機(jī)構(gòu)）的準(zhǔn)確度結(jié)果進(jìn)行了敏感性和特異性的統(tǒng)計(jì)。這些結(jié)果顯示有些許差異，可能是由于病例人種機(jī)構(gòu)分布差異和機(jī)構(gòu)的切片制作方式差異性有關(guān)。（2）精密度研究該研究評估了高度懷疑為癌癥的圖像定位精密度（應(yīng)在預(yù)期閾值范圍內(nèi)）。精密度研究的切片與算法訓(xùn)練、調(diào)優(yōu)和測試集相互獨(dú)立。研究包含來相互獨(dú)立病例的35個(gè)癌癥掃描圖像和36個(gè)良性掃描圖像。a.掃描儀內(nèi)精密度：同一切片掃描3次，重復(fù)用同一個(gè)掃描儀和一個(gè)操作者。掃描儀內(nèi)精密度結(jié)果：總體：陽性符合率99.0%（97.1%-100%）；陰性符合率94.4%（88.9%-99.1%）。所有3次結(jié)果都正確的重復(fù)性（按組計(jì)算）：癌癥：97.1%（34/35）；良性：88.9%（32/36）。總體重復(fù)性（按重復(fù)次數(shù)算）：癌癥：99.0%（104/105）（95%CI：94.8%-99.8%）；良性：94.4%（102/108）（95%CI：88.4%-97.4%）。結(jié)論：按照總體重復(fù)性（按重復(fù)次數(shù)算）：癌癥99.0%（104/105）（95%CI：94.8%-99.8%），良性94.4%（102/108）(95%CI：88.4%-97.4%)。b.重現(xiàn)性研究（評估掃描儀間和操作者間變異）：切片用3個(gè)不同掃描儀分別掃描1次，在不同的地點(diǎn)（內(nèi)部研究地點(diǎn)），由3位不同的操作者（操作者1對應(yīng)掃描儀1）進(jìn)行。重現(xiàn)性研究結(jié)果（按照總重復(fù)次數(shù)算）：癌癥：100%（105/105）（95%CI：96.5%；100%）；良性：93.5%（101/108）（95%CI：87.2%；96.8%）。c.定位精密度：玻片被掃描5次（3個(gè)掃描儀和3個(gè)操作者：操作者1和掃描儀1，重復(fù)3次掃描；操作者2和掃描儀2，1次掃描，操作者3和掃描儀3，1次掃描）。從前述精密度a和b研究的35個(gè)癌癥和36個(gè)良性掃描圖像中隨機(jī)選擇19個(gè)癌癥和4個(gè)良性掃描圖像進(jìn)行定位精密度評估。