TSCGS 313011-2024 肺癌免疫治療人工智能輔助決策軟件算法性能測(cè)試方法

ICS01.100.01CCSJ04團(tuán) 體 標(biāo) 準(zhǔn)T/SCGS313011—2024肺癌免疫治療人工智能輔助決策軟件算法性能測(cè)試方法Algorithmperformancetestmethodsforartificialintelligence?assisteddecision?makingsoftwareforlungcancerimmunotherapy2024?03?11發(fā)布 2024?03?11實(shí)施中國(guó)圖學(xué)學(xué)會(huì) 發(fā)布中國(guó)標(biāo)準(zhǔn)出版社 出版T/SCGS313011—2024目 次前Ⅲ范1規(guī)范性引用文1術(shù)語(yǔ)和定1測(cè)試指3概3C?Inde 3Kaplan?Meier曲3Log?rankP 3混淆矩3準(zhǔn)確3敏感4特異4陽(yáng)性預(yù)測(cè)4陰性預(yù)測(cè)4約登指4ROC曲4組間相關(guān)性系4Kappa系5測(cè)試方5通5算法應(yīng)用場(chǎng)景與測(cè)試方5算法質(zhì)量特性與測(cè)試方5測(cè)試流6通6測(cè)試前的準(zhǔn)6測(cè)試過(guò)程中的記7測(cè)試后的整7測(cè)試要7測(cè)試環(huán)7測(cè)試人7測(cè)試參7測(cè)試數(shù)7ⅠT/SCGS313011—2024測(cè)試類(lèi)9測(cè)試報(bào)9測(cè)試結(jié)果的判108.1 通10單個(gè)指標(biāo)測(cè)10整體測(cè)10附錄資料）常見(jiàn)測(cè)試指標(biāo)的計(jì)算公式和使用總11C?Inde 11Log?rank11混淆矩11準(zhǔn)確11敏感11特異12陽(yáng)性預(yù)測(cè)12陰性預(yù)測(cè)12約登指12組間相關(guān)性系12Kappa系13評(píng)估指標(biāo)使用總13附錄資料）測(cè)試數(shù)據(jù)集描述樣14數(shù)據(jù)集適用范14數(shù)據(jù)的獲14參考文16ⅡT/SCGS313011—2024前 言本文件按照GB/T1.1—202標(biāo)準(zhǔn)化工作導(dǎo)則 第1部分標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)的規(guī)定起草。請(qǐng)注意本文件的某些內(nèi)容可能涉及專(zhuān)利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專(zhuān)利的責(zé)任。本文件由北京航空航天大學(xué)提出。本文件由中國(guó)圖學(xué)學(xué)會(huì)歸口。本文件起草單位：北京航空航天大學(xué)、中國(guó)科學(xué)院自動(dòng)化研究所、同濟(jì)大學(xué)附屬上海市肺科醫(yī)院、北京大學(xué)人民醫(yī)院、中國(guó)醫(yī)學(xué)科學(xué)院腫瘤醫(yī)院深圳醫(yī)院、廣東省人民醫(yī)院、中國(guó)醫(yī)科大學(xué)附屬盛京醫(yī)院、空軍軍醫(yī)大學(xué)西京醫(yī)院。ⅢT/SCGS313011—2024肺癌免疫治療人工智能輔助決策軟件算法性能測(cè)試方法范圍本文件規(guī)定了對(duì)采用人工智能技術(shù)的肺癌免疫治療人工智能輔助決策軟件的測(cè)試要求和測(cè)試方法。本文件適用于針對(duì)接受肺癌免疫治療患者的肺癌影像為CComputeaTomography,計(jì)算機(jī)斷層和PEPositronEnissionTomography電子發(fā)射斷層顯像的軟件測(cè)試。規(guī)范性引用文件下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中包括所有的修改單適用于本文件。YY/T1833.1—2022 人工智能醫(yī)療器械 質(zhì)量要求和評(píng)價(jià) 第1部分術(shù)語(yǔ)YY/T1833.2—2022 人工智能醫(yī)療器械 質(zhì)量要求和評(píng)價(jià) 第2部分?jǐn)?shù)據(jù)集通用要求YY/T1858 人工智能醫(yī)療器械肺部影像輔助分析軟件 算法性能測(cè)試方法術(shù)語(yǔ)和定義YY/T1833.1—2022YY/T1833.2—2022YY/T1858界定的以及下列術(shù)語(yǔ)和定義適用于本文件。通過(guò)準(zhǔn)則 passcriteria判斷一個(gè)軟件及其算法功能的測(cè)試符合預(yù)期要求的判斷依據(jù)。成像 imaging通過(guò)醫(yī)學(xué)影像設(shè)備對(duì)患者醫(yī)學(xué)診斷部位進(jìn)行采集或掃描，獲得肺部腫瘤及其他感興趣部位的影像學(xué)數(shù)據(jù)。成像參數(shù) imagingparameters采集醫(yī)學(xué)影像時(shí)所設(shè)置的或所具有的可影響成像結(jié)果的各類(lèi)參數(shù)。注：包括層厚、分辨率、像素間距、重建算法、掃描時(shí)間等。臨床指標(biāo) clinicalcharacteristics通過(guò)體格檢查、實(shí)驗(yàn)室檢測(cè)、組織活檢等手段獲得的可提供患者及腫瘤狀況相關(guān)信息的指標(biāo)。注：不包含基于醫(yī)學(xué)影像獲得的指標(biāo)。影像學(xué)主觀征象 subjectivesignsinradiology由醫(yī)生歸納得到的醫(yī)學(xué)影像上患者及腫瘤狀況的形態(tài)學(xué)信息。1T/SCGS313011—2024金標(biāo)準(zhǔn) goldstandard根據(jù)當(dāng)前臨床醫(yī)學(xué)界公認(rèn)的最可靠診斷方法獲得的診斷結(jié)果。內(nèi)部測(cè)試集 internaltestset與訓(xùn)練集患者來(lái)源中心相同，并用于模型測(cè)試的數(shù)據(jù)集。外部測(cè)試集 externaltestset與訓(xùn)練集患者來(lái)源中心不同，并用于模型測(cè)試的數(shù)據(jù)集?？偵嫫?overallsurvival從開(kāi)始治療到患者出現(xiàn)任何原因?qū)е碌乃劳龌蚴гL的時(shí)間。注：被稱(chēng)作總生存時(shí)間。無(wú)進(jìn)展生存期 progression-freesurvival從開(kāi)始治療到患者出現(xiàn)疾病進(jìn)展、死亡或失訪的時(shí)間。注）以研究過(guò)程中所有測(cè)量的靶病灶直徑之和的最小值作為參考值，靶病灶的直徑之和相對(duì)增加至少20）直徑之和增加的絕對(duì)值至少5mm）出現(xiàn)一個(gè)或多個(gè)新病灶。完全緩解 completeresponse固定隨訪時(shí)間內(nèi)所有靶病灶消失包括靶結(jié)節(jié)和非靶結(jié)節(jié)的直徑減少到小于10mm。部分緩解 partialresponse以基線直徑總和作為參考值固定隨訪時(shí)間內(nèi)靶病灶的直徑總和至少減小30 。疾病穩(wěn)定 stabledisease固定隨訪時(shí)間內(nèi)靶病灶的直徑總和減小不超過(guò)30 或相對(duì)增加不超過(guò)20 。持續(xù)臨床獲益 durableclinicalbenefit無(wú)進(jìn)展生存期大于6個(gè)月。假性進(jìn)展 pseudoprogression第一次評(píng)估較基線/最低點(diǎn)相比靶病灶最長(zhǎng)直徑之和增加≥20 的情況下若間隔≥4周的第二次評(píng)估為非進(jìn)展，即為假性進(jìn)展。超進(jìn)展 hyperprogression免疫治療期間，腫瘤生長(zhǎng)率增加2倍或以上，治療失敗時(shí)間<2個(gè)月，或2個(gè)月內(nèi)腫瘤負(fù)荷增加超過(guò)50 。主要病理緩解 majorpathologicalresponse新輔助免疫治療后通過(guò)測(cè)量切除的原發(fā)性腫瘤中殘留存活腫瘤的百分比在原發(fā)性腫瘤床中存活的腫瘤細(xì)胞不超過(guò)10 。2T/SCGS313011—2024病理完全緩解 pathologicalcompleteresponse新輔助免疫治療后，肺癌所有切除標(biāo)本。注：包括區(qū)域淋巴結(jié)，蘇木精—伊紅染色切片完全評(píng)估后無(wú)任何殘余腫瘤細(xì)胞。測(cè)試指標(biāo)概述肺癌免疫治療人工智能輔助決策軟件的測(cè)試指標(biāo)通常包括針對(duì)預(yù)后評(píng)估等回歸任務(wù)即無(wú)進(jìn)展生存評(píng)估、總生存評(píng)估的一致性指數(shù)（Kaplan?Meier曲線、對(duì)數(shù)秩檢驗(yàn)P（log?rank，針對(duì)療效預(yù)測(cè)等分類(lèi)任務(wù)即完全/預(yù)測(cè)ROC（ReceiverOperatingCharacteristic等，及針對(duì)算法質(zhì)量的測(cè)試指標(biāo)，如組間相關(guān)性系數(shù)、Kappa體計(jì)算公式和使用總結(jié)見(jiàn)附錄A。C?Index生存任務(wù)中也稱(chēng)作C指數(shù)，是指所有病人對(duì)子中預(yù)測(cè)結(jié)果與實(shí)際結(jié)果一致的對(duì)子所占的比例。其估計(jì)了預(yù)測(cè)結(jié)果與實(shí)際觀察到的結(jié)果相一致的概率。C?Index以百分?jǐn)?shù)表達(dá)數(shù)值分?jǐn)?shù)乘以10值范圍為0~100Kaplan?Meier主要分析單一因素對(duì)生存期的影響，用于估計(jì)患者生存率并繪制生存曲線。生存曲線以生存時(shí)間一般是平滑且水平延伸的，當(dāng)某個(gè)時(shí)間點(diǎn)一旦有患者發(fā)生終點(diǎn)事件如死亡，生存曲線就會(huì)垂直下降，下降幅度是該時(shí)間點(diǎn)上患者發(fā)生終點(diǎn)事件個(gè)數(shù)與上一個(gè)時(shí)間節(jié)點(diǎn)后隨訪的患者樣本量的比。Log?rankPLog?rank檢驗(yàn)是對(duì)生存分析中兩組數(shù)據(jù)在生存函數(shù)方面是否存在顯著性差異的非參數(shù)檢驗(yàn)方法，它基于兩組數(shù)據(jù)的觀測(cè)值和期望值進(jìn)行比較，推斷兩組時(shí)間終點(diǎn)事件之間的差異性。在該檢驗(yàn)中，P值用于判斷兩組數(shù)據(jù)間是否具有統(tǒng)計(jì)學(xué)意義P值的閾值為0.050.05則具有統(tǒng)計(jì)學(xué)意義。通過(guò)該檢驗(yàn)獲取的Log?rankP值，可以判斷兩組數(shù)據(jù)是否具有顯著的差異?；煜仃嚮煜仃囉绍浖敵龅姆诸?lèi)預(yù)測(cè)值與金標(biāo)準(zhǔn)的分類(lèi)結(jié)果對(duì)比結(jié)果繪制，各行代表測(cè)試數(shù)據(jù)的真實(shí)類(lèi)別歸屬，各列代表軟件對(duì)測(cè)試數(shù)據(jù)的預(yù)測(cè)結(jié)果。準(zhǔn)確性準(zhǔn)確性指軟件分類(lèi)正確的樣本數(shù)占總樣本數(shù)的比例用于評(píng)價(jià)軟件預(yù)測(cè)結(jié)果的整體正確性。準(zhǔn)確性以百分?jǐn)?shù)表數(shù)值分?jǐn)?shù)乘以10取值范圍為0~100 數(shù)值越大則該軟件的分類(lèi)性能越好。3T/SCGS313011—2024敏感度敏感度指在所有實(shí)際正例中軟件能夠正確識(shí)別的正例的比例用于評(píng)價(jià)軟件對(duì)正例的識(shí)別能力。敏感度以百分?jǐn)?shù)表數(shù)值分?jǐn)?shù)乘以10取值范圍為0~100 數(shù)值越大則該軟件對(duì)正例的識(shí)別能力越好。特異度特異度指在所有實(shí)際負(fù)例中軟件能夠正確識(shí)別的負(fù)例的比例用于評(píng)價(jià)軟件對(duì)負(fù)例的識(shí)別能力。特異度以百分?jǐn)?shù)表數(shù)值分?jǐn)?shù)乘以10取值范圍為0~100 數(shù)值越大則該軟件對(duì)負(fù)例的識(shí)別能力越好。陽(yáng)性預(yù)測(cè)值陽(yáng)性預(yù)測(cè)值指在所有被軟件預(yù)測(cè)為正例的樣本中，實(shí)際正例的比例，用于評(píng)價(jià)軟件預(yù)測(cè)為正例時(shí)的準(zhǔn)確性。陽(yáng)性預(yù)測(cè)值以百分?jǐn)?shù)表達(dá)（數(shù)值分?jǐn)?shù)乘以100），取值范圍為0~100，數(shù)值越大，則該軟件預(yù)測(cè)為正例時(shí)的準(zhǔn)確性越大。陰性預(yù)測(cè)值陰性預(yù)測(cè)值指在所有被軟件預(yù)測(cè)為負(fù)例的樣本中，實(shí)際負(fù)例的比例，用于評(píng)價(jià)軟件預(yù)測(cè)為負(fù)例時(shí)的準(zhǔn)確性。陰性預(yù)測(cè)值以百分?jǐn)?shù)表達(dá)（數(shù)值分?jǐn)?shù)乘以100），取值范圍為0~100，數(shù)值越大，則該軟件預(yù)測(cè)為負(fù)例時(shí)的準(zhǔn)確性越大。約登指數(shù)約登指數(shù)綜合考慮了軟件的敏感度和特異度，是一種對(duì)軟件綜合性能的評(píng)價(jià)指標(biāo)。約登指數(shù)無(wú)單位，取值范圍為-1~1，數(shù)值越接近1表示軟件預(yù)測(cè)性能越好，數(shù)值越接近-1表示軟件預(yù)測(cè)性能越差。ROC曲線ROC曲線是一種用于評(píng)估軟件分類(lèi)預(yù)測(cè)性能的圖形展示方式。統(tǒng)計(jì)軟件的預(yù)測(cè)概率在不同分類(lèi)閾值下將測(cè)試樣本分成正類(lèi)和負(fù)類(lèi)。對(duì)于每個(gè)閾值即敏感度和假陽(yáng)性率即1?特異度。以真陽(yáng)性率為縱坐標(biāo)，以假陽(yáng)性率為橫坐標(biāo)繪制ROC曲線，并計(jì)算AUC(AreaUnderCurve)。ROC曲線越靠近左上角，表示軟件的預(yù)測(cè)性能越好。AUC無(wú)單位，取值范圍為0~1。當(dāng)AUC為1AUC為0.5時(shí)，表示軟件的預(yù)測(cè)性AUC小于0.5時(shí)，表示軟件的預(yù)測(cè)性能比隨機(jī)預(yù)測(cè)還差，即軟件的預(yù)測(cè)結(jié)果與macro?ROCmicro?ROC。macro?ROC即將所有類(lèi)別分別繪制ROC曲線后求平均獲得；micro?ROC即將樣本的多分類(lèi)任務(wù)通過(guò)是否是目標(biāo)類(lèi)別劃分為二分類(lèi)問(wèn)題ROC曲線。組間相關(guān)性系數(shù)ICC(IntraclassCorrelationCoefficient)利用組間和組內(nèi)的方差評(píng)價(jià)組間相關(guān)性的強(qiáng)度。ICC無(wú)單位，取值范圍為0~1。當(dāng)ICC為0時(shí)，表示組間沒(méi)有相關(guān)性；當(dāng)ICC接近1時(shí)，表示組間具有高度的相關(guān)性。4T/SCGS313011—2024KappaKappa系數(shù)用于評(píng)價(jià)軟件預(yù)測(cè)結(jié)果與金標(biāo)準(zhǔn)的一致性。Kappa系數(shù)無(wú)單位，取值范圍為-1~1。數(shù)值越接近1表示軟件預(yù)測(cè)結(jié)果與金標(biāo)準(zhǔn)的一致性越好，數(shù)值越接近-1表示軟件預(yù)測(cè)結(jié)果與金標(biāo)準(zhǔn)的一致性越差。當(dāng)Kappa系數(shù)為0時(shí)，表示軟件預(yù)測(cè)結(jié)果與金標(biāo)準(zhǔn)之間的一致性與隨機(jī)一致性相當(dāng)。測(cè)試方法通則輔助決策產(chǎn)品的預(yù)期場(chǎng)景包括輔助免疫治療后的生存預(yù)測(cè)場(chǎng)景和影像學(xué)療效評(píng)價(jià)預(yù)測(cè)場(chǎng)景新輔助免疫治療后的病理學(xué)療效評(píng)價(jià)預(yù)測(cè)場(chǎng)景，不包括影像前處理及過(guò)程優(yōu)化。算法應(yīng)用場(chǎng)景與測(cè)試方法生存預(yù)測(cè)場(chǎng)景與參考標(biāo)準(zhǔn)格式兼容的結(jié)果Kaplan?Meier曲線、對(duì)數(shù)秩檢驗(yàn)P（Log?rank員應(yīng)向待測(cè)算法輸入測(cè)試集ROC曲線等指標(biāo)。影像學(xué)療效評(píng)價(jià)預(yù)測(cè)場(chǎng)景對(duì)具有完全/部分緩解預(yù)測(cè)等分類(lèi)任務(wù)的產(chǎn)品，測(cè)試人員應(yīng)向待測(cè)算法輸入測(cè)試集，輸出與參考標(biāo)ROC曲線等指標(biāo)。病理學(xué)療效評(píng)價(jià)預(yù)測(cè)場(chǎng)景對(duì)具有病理緩解預(yù)測(cè)和病理完全緩解預(yù)測(cè)等分類(lèi)任務(wù)的產(chǎn)品，測(cè)試人員應(yīng)向待測(cè)算法輸入測(cè)試ROC曲線等指標(biāo)。算法質(zhì)量特性與測(cè)試方法魯棒性肺癌免疫治療人工智能輔助決策軟件的魯棒性評(píng)價(jià)應(yīng)采用亞組分析的方式進(jìn)行評(píng)價(jià)算各個(gè)亞組上軟件的測(cè)試指標(biāo)AUC在各個(gè)亞組上與在測(cè)試數(shù)據(jù)整體上的差異評(píng)價(jià)軟件的魯棒性。重復(fù)性肺癌免疫治療人工智能輔助決策軟件的重復(fù)性評(píng)價(jià)應(yīng)基于隨機(jī)選出的30個(gè)~200關(guān)性系數(shù)進(jìn)行定量評(píng)價(jià)。5T/SCGS313011—2024一致性測(cè)試人員可通過(guò)修改測(cè)試參數(shù)如輸入影像中腫瘤標(biāo)注結(jié)果等測(cè)試軟件輸出結(jié)果的變化程度于評(píng)價(jià)該次測(cè)試與原本測(cè)試之間的一致性Kappa系數(shù)進(jìn)行定量評(píng)價(jià)。效率應(yīng)記錄測(cè)試人員在臨床典型場(chǎng)景下使用肺癌免疫治療人工智能輔助決策軟件對(duì)患者的處理事件，通常以數(shù)據(jù)導(dǎo)入為起點(diǎn)測(cè)試流程通則測(cè)試流程包括測(cè)試前的準(zhǔn)備、測(cè)試過(guò)程中的記錄和測(cè)試后的整理。測(cè)試人員應(yīng)按測(cè)試計(jì)劃進(jìn)行測(cè)試，在測(cè)試過(guò)程中記錄測(cè)試日志，流程圖如圖1。圖1 測(cè)試流程圖測(cè)試前的準(zhǔn)備測(cè)試前準(zhǔn)備滿足以下要求：測(cè)試人員應(yīng)根據(jù)產(chǎn)品預(yù)期用途、應(yīng)用場(chǎng)景確定測(cè)試通過(guò)準(zhǔn)則，編寫(xiě)測(cè)試計(jì)劃，確定測(cè)試數(shù)據(jù)包含金標(biāo)準(zhǔn)測(cè)試人員應(yīng)檢查待測(cè)試的軟件是否能對(duì)所有測(cè)試數(shù)據(jù)進(jìn)行處理，并確認(rèn)輸出與輸入的測(cè)試數(shù)6T/SCGS313011—2024據(jù)有唯一對(duì)應(yīng)關(guān)系的處理結(jié)果。測(cè)試過(guò)程中的記錄測(cè)試過(guò)程中的記錄滿足以下要求：測(cè)試人員應(yīng)記錄肺癌免疫治療人工智能輔助決策軟件對(duì)每個(gè)測(cè)試數(shù)據(jù)的處理情況測(cè)試人員應(yīng)保證記錄的軟件處理結(jié)果的完整性與可追溯性。測(cè)試后的整理測(cè)試后整理滿足以下要求：測(cè)試人員應(yīng)將肺癌免疫治療人工智能輔助決策軟件對(duì)測(cè)試數(shù)據(jù)的處理結(jié)果導(dǎo)出為結(jié)構(gòu)化數(shù)據(jù)；測(cè)試人員應(yīng)基于此結(jié)構(gòu)化數(shù)據(jù)與測(cè)試數(shù)據(jù)的金標(biāo)準(zhǔn)計(jì)算各個(gè)測(cè)試指標(biāo)，記錄到測(cè)試報(bào)告中，并對(duì)試驗(yàn)結(jié)果與產(chǎn)品聲稱(chēng)性能指標(biāo)的符合性做出判定；測(cè)試人員應(yīng)整理好完整的測(cè)試文檔，包括測(cè)試計(jì)劃、測(cè)試記錄和測(cè)試報(bào)告。測(cè)試要求測(cè)試環(huán)境在進(jìn)行肺癌免疫治療人工智能輔助決策軟件性能評(píng)價(jià)時(shí)，滿足如下軟硬件環(huán)境和場(chǎng)地環(huán)境要求：應(yīng)采用軟件正常運(yùn)行需要的最低或推薦的軟硬件配置及網(wǎng)絡(luò)環(huán)境進(jìn)行測(cè)試CPURAM型號(hào)、顯卡型號(hào)、操作系統(tǒng)、軟件版本、各類(lèi)支撐軟件庫(kù)的版本號(hào)等；場(chǎng)地的環(huán)境因素不對(duì)軟件運(yùn)行產(chǎn)生干擾；如存在多個(gè)軟件環(huán)境，且軟件環(huán)境中規(guī)定的運(yùn)行庫(kù)/框架等差異對(duì)算法性能可能存在影響的，應(yīng)當(dāng)在所有存在疑問(wèn)的環(huán)境中分別測(cè)試。測(cè)試人員測(cè)試人員的操作水平應(yīng)符合軟件在臨床使用時(shí)對(duì)使用者的臨床醫(yī)學(xué)技能和軟件使用技能的普遍要求。測(cè)試參數(shù)在測(cè)試過(guò)程中，測(cè)試人員應(yīng)根據(jù)測(cè)試數(shù)據(jù)的實(shí)際情況按照軟件推薦或默認(rèn)進(jìn)行參數(shù)配置，并對(duì)測(cè)試時(shí)需要配置的參數(shù)進(jìn)行詳細(xì)記錄，包括但不限于模型參數(shù)、模型種類(lèi)和結(jié)構(gòu)、關(guān)鍵公式、預(yù)處理方法、后處理方法。測(cè)試數(shù)據(jù)通則測(cè)試數(shù)據(jù)應(yīng)嚴(yán)格符合軟件在臨床使用時(shí)對(duì)軟件輸入數(shù)據(jù)的標(biāo)準(zhǔn)和要求，應(yīng)包括數(shù)據(jù)的納入排除標(biāo)和數(shù)據(jù)傳輸安全措施。肺部腫瘤測(cè)試數(shù)據(jù)集描述樣例見(jiàn)附錄B。7T/SCGS313011—2024數(shù)據(jù)的納入排除標(biāo)準(zhǔn)根據(jù)軟件開(kāi)發(fā)時(shí)采用的患者及其數(shù)據(jù)的納入標(biāo)準(zhǔn)、排除標(biāo)準(zhǔn)，規(guī)定軟件所適用的具體人群范圍。數(shù)據(jù)的種類(lèi)要求對(duì)輸入數(shù)據(jù)的種類(lèi)要求應(yīng)規(guī)定軟件輸入的臨床數(shù)據(jù)種類(lèi)（CTPET血檢指標(biāo)、腫瘤標(biāo)志物等腫瘤大小、內(nèi)部鈣化程度、邊緣形態(tài)等像學(xué)半定量指標(biāo)（SUVmax。影像數(shù)據(jù)的質(zhì)量要求軟件對(duì)輸入影像數(shù)據(jù)的質(zhì)量要求，在圖像端參數(shù)宜包括信噪比、對(duì)比度、空間分辨率、是否增強(qiáng)掃描等；在采集端參數(shù)宜包括重構(gòu)核、管電壓電流、重建算法、噪聲等效計(jì)數(shù)率等。影像數(shù)據(jù)的格式要求軟件輸入的文件類(lèi)型包括但不限于DicomNrrdNii等。測(cè)試數(shù)據(jù)樣本量(Z1-α+Z1(Z1-α+Z1-β式中：

2N= 2log2(b)p1p2d

…………（1）2Z1-α+Z1-β——標(biāo)準(zhǔn)正態(tài)分布的分位數(shù)；2b ——兩組的風(fēng)險(xiǎn)比；p1，p2 ——高風(fēng)險(xiǎn)組和低風(fēng)險(xiǎn)組的風(fēng)險(xiǎn)率；d ——觀察到規(guī)定時(shí)間的比率。測(cè)N2計(jì)如下：Z2αP(1-P)式中：

N2

1-2Δ2

…………（2）N2 ——單次測(cè)試中陽(yáng)性樣本陰性樣本未發(fā)生上述事件的樣本量；Z1PΔ-α2——標(biāo)準(zhǔn)正態(tài)分布的分位數(shù)；——靈敏度或特異度的預(yù)期值；的允許誤差大小一般取P的95 置信區(qū)間寬度的二分之一常用取值為0.05~0.10。8T/SCGS313011—2024數(shù)據(jù)標(biāo)注規(guī)范CT肺結(jié)節(jié)數(shù)據(jù)標(biāo)注與質(zhì)量控制專(zhuān)家共識(shí)（2018。一批標(biāo)注任務(wù)由標(biāo)注組長(zhǎng)年以上臨床經(jīng)驗(yàn)帶領(lǐng)兩名標(biāo)注醫(yī)師承擔(dān)年以上臨床3個(gè)主要環(huán)節(jié)：3名標(biāo)注醫(yī)師背靠背獨(dú)立標(biāo)注，然后用計(jì)算機(jī)自動(dòng)判斷檢出的一致性，以所有人標(biāo)注結(jié)果的并集作為結(jié)果；邊界分割環(huán)節(jié)：在檢出完成之后，腫瘤的邊界分割由1名標(biāo)注醫(yī)師執(zhí)行，由標(biāo)注組長(zhǎng)進(jìn)行審核；審核環(huán)節(jié)：由標(biāo)注組長(zhǎng)和仲裁專(zhuān)家各自獨(dú)立對(duì)檢出和邊界分割結(jié)果進(jìn)行審核與修改，糾正漏數(shù)據(jù)傳輸安全措施測(cè)試過(guò)程中應(yīng)保護(hù)患者隱私，對(duì)輸入數(shù)據(jù)進(jìn)行脫敏處理，隱去患者的姓名、地址、聯(lián)系方式、ID號(hào)等信息。測(cè)試類(lèi)型通則在進(jìn)行肺癌免疫治療人工智能輔助決策軟件性能評(píng)價(jià)時(shí)，測(cè)試人員應(yīng)明確該次測(cè)試的測(cè)試類(lèi)型是回顧性還是前瞻性。回顧性測(cè)試回顧性測(cè)試是從以往數(shù)據(jù)庫(kù)中入組的患者組成內(nèi)部測(cè)試集和外部測(cè)試集評(píng)價(jià)軟件性能。前瞻性測(cè)試前瞻性測(cè)試應(yīng)在中國(guó)臨床試驗(yàn)注冊(cè)中心ChineseClinicalTrialRegistryChiCT、美國(guó)臨床試驗(yàn)數(shù)據(jù)庫(kù)（ClinicalTrials等世界衛(wèi)生組織臨床試驗(yàn)注冊(cè)平臺(tái)（InternationalClinicalTrialsRegistryPlatformICTR一級(jí)注冊(cè)機(jī)構(gòu)上注冊(cè)登記，并嚴(yán)格地從臨床中連續(xù)納入符合要求的患者。測(cè)試報(bào)告測(cè)試報(bào)告對(duì)測(cè)試結(jié)果進(jìn)行客觀、定量描述，內(nèi)容應(yīng)至少包含：軟件環(huán)境；硬件環(huán)境；測(cè)試集描述；測(cè)試類(lèi)型描述；算法性能指標(biāo)的符合性分析算法錯(cuò)誤分析。9T/SCGS313011—2024測(cè)試結(jié)果的判定通則測(cè)試人員應(yīng)在測(cè)試前對(duì)單個(gè)測(cè)試指標(biāo)與軟件整體確定通過(guò)準(zhǔn)則。單個(gè)測(cè)試指標(biāo)對(duì)于單個(gè)測(cè)試指標(biāo)，測(cè)試人員應(yīng)確定其需要達(dá)到的標(biāo)稱(chēng)值及允差，并描述允差與測(cè)試數(shù)據(jù)樣本量之間的關(guān)系。整體測(cè)試對(duì)于軟件整體，測(cè)試人員應(yīng)根據(jù)其技術(shù)特性、預(yù)期用途和使用場(chǎng)景，確定各個(gè)測(cè)試指標(biāo)的權(quán)重，以及加權(quán)求和的總體分?jǐn)?shù)需要達(dá)到的閾值。最終，通過(guò)計(jì)算總體分?jǐn)?shù)判定軟件是否通過(guò)測(cè)試。10T/SCGS313011—2024C?Index

附 錄 A資料性）常見(jiàn)測(cè)試指標(biāo)的計(jì)算公式和使用總結(jié)N定義可配對(duì)樣本對(duì)數(shù)為N，預(yù)測(cè)正確的樣本對(duì)數(shù)為KA.計(jì)算。NLog?rankP

C?Index=K

…………（A.1）通過(guò)公式（A.2）計(jì)算統(tǒng)計(jì)量，進(jìn)而獲得P值。E(OA-EA)2E

(OB-EB)2E式中：E

P= +A B

…………（A.2）OAA的所有觀察數(shù)之和；EAA的所有期望數(shù)之和；OBB的所有觀察數(shù)之和；EBB的所有期望數(shù)之和?；煜仃嚤鞟.1提供了二分類(lèi)混淆矩陣的示例。表A.1 二分類(lèi)混淆矩陣示例金標(biāo)準(zhǔn)軟件輸出為陽(yáng)性軟件輸出為陰性陽(yáng)性TPFN陰性FPTN注TPFPTNFN為假陰性。準(zhǔn)確性通常按式（A.3）計(jì)算。

∑∑Acc∑∑

n∑∑i=1n nnn

×100 （A.3）Nj,lj=1l=1式中：Acc——準(zhǔn)確性；Nii—實(shí)際歸屬第i類(lèi)的樣本被預(yù)測(cè)為第i類(lèi)的樣本個(gè)數(shù)，單位為個(gè)；Njl—實(shí)際歸屬第j類(lèi)的樣本被預(yù)測(cè)為第l類(lèi)的樣本個(gè)數(shù)，單位為個(gè)。敏感度通常按式（A.4）計(jì)算。11T/SCGS313011—2024式中：Sen——敏感度；

Sen= TP ×100 （A.4）TP+TP+FN——假陰性樣本的個(gè)數(shù)，單位為個(gè)。特異度通常按式（A.5）計(jì)算。FP+Spe= TN ×100 （FP+式中：Spe——特異度；TN——真陰性樣本的個(gè)數(shù)，單位為個(gè)；FP——假陽(yáng)性樣本的個(gè)數(shù)，單位為個(gè)。陽(yáng)性預(yù)測(cè)值通常按式（A.6）計(jì)算。TP+PPV= TP ×100 （TP+式中：PPV——陽(yáng)性預(yù)測(cè)值；TP ——真陽(yáng)性樣本的個(gè)數(shù)，單位為個(gè)；FP ——假陽(yáng)性樣本的個(gè)數(shù)，單位為個(gè)。陰性預(yù)測(cè)值通常按式（A.7）計(jì)算。FN+NPV= TN ×100 （FN+式中：NPV——陰性預(yù)測(cè)值；TN ——真陰性樣本的個(gè)數(shù)，單位為個(gè)；FN ——假陰性樣本的個(gè)數(shù)，單位為個(gè)。約登指數(shù)通常按式（A.8）計(jì)算。Y=Sen+Spe-1 （A.8）式中：Y ——約登指數(shù)；Sen——敏感度；Spe——特異度。組間相關(guān)性系數(shù)通常按式（A.9）計(jì)算。12式中：ICC——組間相關(guān)性系數(shù)；

ICC= MSr-MSe MSr+(c-1)MSe

T/SCGS313011—2024…………（A.9）MSr——輸出在不同測(cè)試人員間的方差；MSe——輸出在測(cè)試人員間的方差；c ——測(cè)試人員數(shù)量，單位為個(gè)。Kappa通常按式（A.10）及式（A.11）計(jì)算。=K po-pe=1-pe

…………（A.10）∑∑Ni,j∑∑Ni,j×∑N,(p=i=1

j=

j=1

…………（A.11）∑∑e n n )2∑∑Na,ba=1b=1式中：K——Kappa系數(shù)；po 預(yù)測(cè)準(zhǔn)確率pe 偶然一致性Acc——該次測(cè)試結(jié)果相對(duì)于原本測(cè)試結(jié)果的準(zhǔn)確性；Nij—實(shí)際歸屬第i類(lèi)的樣本被預(yù)測(cè)為第j類(lèi)的樣本個(gè)數(shù)，單位為個(gè)；Nji—實(shí)際歸屬第j類(lèi)的樣本被預(yù)測(cè)為第i類(lèi)的樣本個(gè)數(shù)，單位為個(gè)；Nab—實(shí)際歸屬第a類(lèi)的樣本被預(yù)測(cè)為第b類(lèi)的樣本個(gè)數(shù)，單位為個(gè)。評(píng)估指標(biāo)使用總結(jié)詳見(jiàn)表A.2。表A.2 評(píng)估指標(biāo)使用總結(jié)公式編號(hào)指標(biāo)使用場(chǎng)景A.1C?Index生存預(yù)測(cè)評(píng)估A.2Log?rankP生存預(yù)測(cè)評(píng)估A.4準(zhǔn)確性療效預(yù)測(cè)評(píng)估A.5敏感度療效預(yù)測(cè)評(píng)估A.6特異度療效預(yù)測(cè)評(píng)估A.7陽(yáng)性預(yù)測(cè)值療效預(yù)測(cè)評(píng)估A.8陰性預(yù)測(cè)值療效預(yù)測(cè)評(píng)估A.9約登指數(shù)分類(lèi)模型截?cái)嘀颠x擇A.10組間相關(guān)系數(shù)結(jié)果一致性評(píng)估A.11Kappa系數(shù)結(jié)果一致性評(píng)估13T/SCGS313011—2024數(shù)據(jù)集適用范圍

附 錄 B資料性）測(cè)試數(shù)據(jù)集描述樣例數(shù)據(jù)集適用于能對(duì)肺部腫瘤CTPET等圖像進(jìn)行分析的軟件產(chǎn)品，這些產(chǎn)品預(yù)期用途為肺部腫瘤輔助檢出、分類(lèi)等。數(shù)據(jù)的獲取數(shù)據(jù)的獲取通過(guò)如下方式。患者人群數(shù)據(jù)來(lái)源于某家醫(yī)院年齡18歲以上男性占× 女性占× 。采集場(chǎng)所：某家三甲醫(yī)院，某家二級(jí)醫(yī)院。CT設(shè)備/PET設(shè)備等。DicomNrrdNii。采集人員：臨床醫(yī)生。倫理：肺部腫瘤測(cè)試數(shù)據(jù)集應(yīng)獲得醫(yī)院倫理委員會(huì)批準(zhǔn)，患者的隱私保護(hù)應(yīng)當(dāng)滿足法規(guī)的要B.1。表B.1 測(cè)試數(shù)據(jù)集年齡40歲~60歲××例61歲~80歲××例>80歲××例性別男××例女××例腫瘤種類(lèi)肺腺癌××例肺鱗癌××例小細(xì)胞癌××例其他類(lèi)型××例影像設(shè)備機(jī)型××公司××型號(hào)××例××公司××型號(hào)××例部位右肺上葉××例右肺中葉××例右肺下葉××例左肺上葉××例左肺下葉××例吸煙史有××例無(wú)××例腫瘤分期T1××例14T/SCGS313011—2024表B.1 測(cè)試數(shù)據(jù)集（續(xù)）