YY-T 1833.4 - 2023 人工智能醫(yī)療器械 質(zhì)量要求和評價 第 4 部分：可追溯性

中華人民共和國醫(yī)藥行業(yè)標準人工智能醫(yī)療器械質(zhì)量要求和評價第4部分：可追溯性國家藥品監(jiān)督管理局發(fā)布I本文件按照GB/T1.1—2020《標準化工作導則第1部分：標準化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。本文件是YY/T1833《人工智能醫(yī)療器械質(zhì)量要求和評價》的第4部分。YY/T1833已經(jīng)發(fā)布了以下部分：——第1部分：術(shù)語；——第2部分：數(shù)據(jù)集通用要求；——第3部分：數(shù)據(jù)標注通用要求；——第4部分：可追溯性。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機構(gòu)不承擔識別專利的責任。本文件由國家藥品監(jiān)督管理局提出。本文件由全國人工智能醫(yī)療器械標準化技術(shù)歸口單位歸口。本文件起草單位：中國人民解放軍總醫(yī)院、國家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評中心、上海聯(lián)影智能醫(yī)療科技有限公司、中國食品藥品檢定研究院、國藥集團醫(yī)療器械研究院有限責任公司、國家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評檢查大灣區(qū)分中心、上海長征醫(yī)院、推想醫(yī)療科技股份有限公司、北京安德醫(yī)智科技有限公司Ⅱ能醫(yī)療器械全生命周期健康發(fā)展具有重要意義。鑒于現(xiàn)階段件或軟件組件，本文件在參照軟件可追溯思想的基礎上強調(diào)人工智能可追溯的特1人工智能醫(yī)療器械質(zhì)量要求和評價第4部分：可追溯性本文件規(guī)定了人工智能醫(yī)療器械的可追溯性通用要求、描述了相應的評價方法。本文件適用于人工智能醫(yī)療器械設計開發(fā)過程、使用過程和更新過程的可追溯性活動。本文件不適用于人工智能醫(yī)療器械的流通環(huán)節(jié)。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應的版本適用于本文件；不注日期的引用文件，其最新版本(包括所有的修改單)適用于GB/T42062醫(yī)療器械風險管理對醫(yī)療器械的應用YY/T1833.1人工智能醫(yī)療器械質(zhì)量要求和評價第1部分：術(shù)語YY/T1833.2—2022人工智能醫(yī)療器械質(zhì)量要求和評價第2部分：數(shù)據(jù)集通用要求3術(shù)語和定義YY/T1833.1界定的以及下列術(shù)語和定義適用于本文件。人工智能醫(yī)療器械的設計開發(fā)過程、生產(chǎn)過程、使用過程和更新過程能被記錄的程度?？勺匪菪跃仃噒raceabilitymatrix記錄兩個或多個任務之間關(guān)系的矩陣。4可追溯性要求4.1概述人工智能醫(yī)療器械的可追溯性是支撐人工智能自身透明度、可責性、可審計性的關(guān)鍵質(zhì)量特性。人工智能醫(yī)療器械可追溯性的實現(xiàn)需要對設計開發(fā)過程、生產(chǎn)過程、使用過程和更新過程四個階段的活動提出要求，確保人工智能醫(yī)療器械生命周期內(nèi)需求、設計、驗證與確認的一致性。人工智能醫(yī)療器械設計開發(fā)過程重點考慮人工智能算法需求、算法設計、算法實現(xiàn)、算法驗證與確認、風險管理、數(shù)據(jù)集六大要素及其內(nèi)在關(guān)聯(lián)，以過程文檔和可追溯性矩陣的形式呈現(xiàn)。生產(chǎn)過程參考醫(yī)療器械軟件生產(chǎn)過程的通用要求，本文件不給出特殊要求。使用過程考慮軟件功能、軟件界面和臨床部署要求。更新過程考慮產(chǎn)品在各個階段的更新活動。24.2設計開發(fā)過程的可追溯性要求人工智能算法是人工智能醫(yī)療器械的核心，本條重點對人工智能算法設計開發(fā)可追溯性作出要求。人工智能算法設計開發(fā)過程的可追溯性應分析算法需求、算法設計、算法實險管理、數(shù)據(jù)集的關(guān)系，形成算法可追溯性分析報告。采用適當?shù)目勺匪菪怨ぞ邔崿F(xiàn)可追溯性的分析。算法需求可追溯性應分析算法需求與風險分析之間的關(guān)系，確保需求的垂直可追溯性和水平可追溯性。需求層級可根據(jù)產(chǎn)品情況確定，下級需求應繼承上級需求的要求。算法需求可追溯性分析宜依托需求數(shù)據(jù)庫進行，制定需求命名規(guī)則，對需求的垂直可追溯性和水平可追溯性進行跟蹤。4.2.3算法設計可追溯性算法設計可追溯性應包含每個算法版本以及對應的訓練集、測試集、調(diào)優(yōu)集版本信息以及更新算法設計可追溯性應分析算法需求與算法設計、算法設計與源代碼、算法設計與算法測試之間的關(guān)系。算法實現(xiàn)可追溯性應分析算法設計和源代碼、源代碼和測試用例之間的關(guān)系，確保算法設計規(guī)范中的每個要素得到實現(xiàn)。4.2.5算法驗證與確認可追溯性算法驗證應針對人工智能算法或算法組合開展獨立測試，宜使用測試用例測試。算法驗證可追溯性應分析算法設計與算法測試、風險管理與算法測試之間的關(guān)系。算法確認可追溯性應分析算法需求與算法確認的關(guān)系。風險管理可追溯性文檔應按照GB/T42062的要求編寫，根據(jù)算法預期用途宜考慮算法風險、數(shù)據(jù)集風險、場景風險。風險管理可追溯性文檔應分析風險管理與算法需求的關(guān)系。3數(shù)據(jù)集可追溯性的記錄應按照YY/T1833.2—2022中5.2.11建立。g)數(shù)據(jù)集說明文檔和可追溯記錄。44.4更新過程的可追溯要求更新過程可追溯應記錄更新相關(guān)的風險評估、更新需求分析、軟件更新使用的訓練集、調(diào)優(yōu)集和測試集及其測試結(jié)果。制造商可參考4.2的要求，建立可追溯性矩陣。5評價方法5.1設計開發(fā)過程的可追溯性用評價量表形式體現(xiàn)，結(jié)果應符合4.2的要求。5.2使用過程的可追溯性檢查軟件界面，開展操作驗證，應符合4.3.2的要求。檢查臨床使用反饋記錄，編寫測試用例，驗證產(chǎn)品臨床部署環(huán)境、使用反饋能否符合4.3.3的要求。5.3更新過程的可追溯性矩陣，應符合4.4的要求。描(computedtomograph文檔、可追溯記錄：各數(shù)據(jù)集分配可追潮的標識和版本信息；整理算法設計估·通過測試的算法在發(fā)布時明確其版本信息。上述需求根據(jù)需求，組建數(shù)據(jù)集(訓練集、調(diào)優(yōu)集、測試集),并分配可追溯單元測試ID,集成測試ID,系統(tǒng)測試1D,用戶測試ID。實際操作時，表A.1可能進一步展開為一系列6表A.1算法可追溯性分析矩陣數(shù)據(jù)集標識與數(shù)據(jù)集說明文檔注：表格第二行的各個要素(第二列除外)屬于對文檔、版本名稱的舉例，實際命名由制造商決表A.2作為示例，為梳理算法風險到算法需求之間的追溯關(guān)系提供參考，與具體的算法風險相對表A.3作為示例，為梳理用戶需求到算法需求的追溯關(guān)系提供參考。表A.4作為示例，為梳理算法需求到算法設計的追溯關(guān)系提供參考。表A.5作為示例，為梳理算法需求到算法驗證的追溯關(guān)系提供參考。表A.6作為示例，為梳理用戶需求到算法確認的追溯關(guān)系提供參考。表A.2算法風險到算法需求的追溯注：表格第二行的各個要素(第二列除外)屬于文檔名稱的舉例，實際命名由制造商決表A.3用戶需求到算法需求的追溯需求簡述CT肺結(jié)節(jié)檢出注：表格第二行的各個要素(第二列除外)屬于文檔名稱的舉例，實際命名由制造商決表A.4算法需求到算法設計的追溯需求簡述CT肺結(jié)節(jié)檢出注：表格第二行的各個要素(第二列、第四列除外)屬于文檔名稱的舉例，實際命名由表A.5算法需求到算法驗證的追溯需求簡述驗證測試(單元+集成+系統(tǒng))CT肺結(jié)節(jié)檢出注：表格第二行的各個要素(第二列、第四列除外)屬于文檔名稱的舉例，VERT001為驗證例，UT001為單元測試用例ID的示例，SIT001為集成測試用例ID的示例，ST001為系例，實際命名由制造商決定。7表A.6用戶需求到算法確認的追溯需求簡述CT肺結(jié)節(jié)檢出注：表格第二行的各個要素(第二列、第四列除外)屬于文檔名稱的舉例，實際命名由對于算法迭代更新的情形，可追溯性分析過程在參考表A.1的基礎上還需要考慮新舊模型的對表A.7給出算法可追溯性評價量表的一般示例，為5.1開展設計開發(fā)過程的可追溯性評價提供參考。在實際過程中，根據(jù)需要把表A.7進一步展開成多個量表開展可追溯性評價，例如采用表A.8的形式對算法驗證與確認環(huán)節(jié)的可追溯性進行評價。表A.7算法可追溯性評價量表的一般舉例評價項目口符合□不符合口符合□不符合口符合□不符合口符合□不符合算法需求是否具有相應的測試用例口符合□不符合用戶需求是否具有相應的測試用例□符合□不符合表A.8驗證與確認環(huán)節(jié)的可追溯性評價量表示例評價項目口符合□不符合口符合□不符合口符合□不符合口符合□不符合口符合□不符合口符合□不符合口符合□不符合測試集的可追溯性評價主要依托數(shù)據(jù)集全生命周期的可追溯記錄進行，記錄的具體格式由數(shù)據(jù)集制造責任方確定。8[2]GB/T36061—2018電子商務交易產(chǎn)[4]深度學習輔助決策醫(yī)療器械軟件審評要點.國家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評中[6]醫(yī)療器械軟件注冊審查指導原則(2022年修訂版).國家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評[9]WorldHealthOrganizatiGENCEFORHEALTH:WHOGuidance[Z].Geneva:WorldHealthOrganization,2021.[10]JoshuaA.Kroll.OutliningTraceab