人工智能醫(yī)療器械軟件可靠性評(píng)測(cè)研究進(jìn)展

8/8人工智能醫(yī)療器械軟件可靠性評(píng)測(cè)研究進(jìn)展隨著計(jì)算機(jī)技術(shù)在醫(yī)療領(lǐng)域的廣泛應(yīng)用，軟件在醫(yī)療服務(wù)中的地位和作用越來(lái)越突出，對(duì)公眾生命、健康、財(cái)產(chǎn)、信息安全的影響也越來(lái)越大。同時(shí)，人工智能技術(shù)與醫(yī)療器械軟件的結(jié)合，使針對(duì)產(chǎn)品的有效性與安全性的評(píng)估日趨復(fù)雜，其中可靠性是衡量人工智能醫(yī)療器械軟件質(zhì)量的一個(gè)重要維度。

一方面，目前的軟件規(guī)模與內(nèi)部架構(gòu)日趨復(fù)雜，計(jì)算框架、組件、數(shù)據(jù)充滿變化，產(chǎn)品的可靠性越來(lái)越難保證。根據(jù)國(guó)外公布的數(shù)據(jù)，每年由于軟件原因?qū)е碌尼t(yī)療器械召回事件有上百次，影響臨床對(duì)產(chǎn)品的接受度，也為監(jiān)管和質(zhì)量評(píng)價(jià)敲響警鐘；另一方面，臨床應(yīng)用場(chǎng)景對(duì)軟件運(yùn)行的可靠性要求越來(lái)越高，隨著軟件智能化、自主化程度的提升，軟件可靠性對(duì)患者和操作者的安全及權(quán)益的影響程度也越來(lái)越大。醫(yī)療器械軟件可靠性的評(píng)測(cè)已經(jīng)成為人工智能醫(yī)療器械軟件質(zhì)量評(píng)價(jià)的重要環(huán)節(jié)之一。本文旨在概述人工智能醫(yī)療器械軟件可靠性的評(píng)測(cè)現(xiàn)狀，為業(yè)內(nèi)提供參考。

人工智能醫(yī)療器械軟件可靠性概念

根據(jù)2020年起草的行業(yè)標(biāo)準(zhǔn)《人工智能醫(yī)療器械質(zhì)量要求和評(píng)價(jià)第1部分：術(shù)語(yǔ)》中的定義，可靠性是指在規(guī)定時(shí)間間隔內(nèi)和規(guī)定條件下，系統(tǒng)或部件執(zhí)行所要求功能的能力。人工智能醫(yī)療器械軟件的可靠性關(guān)注產(chǎn)品在規(guī)定的條件下和規(guī)定的時(shí)間區(qū)間完成指定臨床功能的能力。規(guī)定的條件是指直接與軟件運(yùn)行相關(guān)的使用該軟件的計(jì)算機(jī)系統(tǒng)的狀態(tài)和軟件的輸入條件，或統(tǒng)稱為軟件運(yùn)行時(shí)的外部輸入條件；規(guī)定的時(shí)間區(qū)間是指軟件的實(shí)際運(yùn)行時(shí)間區(qū)間；指定臨床功能是指為用戶提供給定的醫(yī)療服務(wù)。

人工智能醫(yī)療器械軟件功能的可靠性包含成熟性、可用性、容錯(cuò)性、易恢復(fù)性等方面。成熟性是指軟件產(chǎn)品在滿足要求的軟/硬件環(huán)境或其他特殊條件下（如一定負(fù)載壓力下）使用時(shí)，為用戶提供相應(yīng)服務(wù)的能力，如軟件的故障密度、缺陷嚴(yán)重程度、完整性級(jí)別等?？捎眯允侵杠浖谑褂脮r(shí)能夠進(jìn)行操作和訪問(wèn)的程度，它是成熟性、容錯(cuò)性和易恢復(fù)性的組合。容錯(cuò)性是指軟件在由于非法數(shù)據(jù)、非法操作、誤操作等原因?qū)е聼o(wú)法正常運(yùn)行和參數(shù)傳遞錯(cuò)誤的情況下，軟件能否為用戶提供相應(yīng)臨床功能服務(wù)的能力。易恢復(fù)性是指軟件發(fā)生失效的情況下，采取何種措施重建為用戶提供相應(yīng)臨床服務(wù)和恢復(fù)直接受影響醫(yī)療器械數(shù)據(jù)的能力。

人工智能醫(yī)療器械算法的可靠性強(qiáng)調(diào)算法在規(guī)定條件下的可重復(fù)性，即對(duì)同一輸入的響應(yīng)和輸出保持不變。根據(jù)相關(guān)文獻(xiàn)，聚類分析、深度學(xué)習(xí)等算法分支都報(bào)道過(guò)可重復(fù)性方面的問(wèn)題，因此在測(cè)試階段需要引起重視，不能掉以輕心。

人工智能醫(yī)療器械軟件可靠性的技術(shù)實(shí)現(xiàn)

人工智能醫(yī)療器械軟件可靠性，建立在以下四方面的活動(dòng)和有關(guān)技術(shù)基礎(chǔ)上：

（1）軟件可靠性分析：進(jìn)行軟件可靠性的需求分析、指標(biāo)分配、故障樹分析、故障模式和影響分析、軟件開發(fā)過(guò)程中有關(guān)軟件可靠性的特性分析等；

（2）軟件可靠性設(shè)計(jì)和實(shí)現(xiàn)：進(jìn)行防錯(cuò)設(shè)計(jì)、容錯(cuò)設(shè)計(jì)、檢錯(cuò)設(shè)計(jì)、糾錯(cuò)設(shè)計(jì)、故障恢復(fù)設(shè)計(jì)、軟件可靠性增長(zhǎng)等；

（3）軟件可靠性測(cè)量、測(cè)試和評(píng)估：在軟件生存周期各階段進(jìn)行有關(guān)軟件可靠性的設(shè)計(jì)、制造和管理方面的屬性測(cè)量，進(jìn)行軟件可靠性測(cè)試、軟件可靠性預(yù)計(jì)、軟件可靠性估計(jì)、軟件可靠性驗(yàn)證等；

（4）軟件可靠性管理：確定影響軟件可靠性的因素，制定必要的設(shè)計(jì)和實(shí)現(xiàn)準(zhǔn)則以及對(duì)軟件開發(fā)各階段軟件可靠性相關(guān)的過(guò)程和產(chǎn)品的要求，對(duì)有關(guān)測(cè)試數(shù)據(jù)和分析結(jié)果控制和改進(jìn)開發(fā)過(guò)程，進(jìn)行風(fēng)險(xiǎn)管理要考慮安全性等技術(shù)風(fēng)險(xiǎn)，對(duì)采購(gòu)或重用的第三方軟件進(jìn)行可靠性管理等。

上述活動(dòng)也包含著對(duì)人工智能算法模型本身的可靠性評(píng)價(jià)。制造商需要根據(jù)臨床應(yīng)用場(chǎng)景，在研發(fā)和產(chǎn)品驗(yàn)證階段評(píng)估人工智能算法正確執(zhí)行臨床功能的運(yùn)行時(shí)間和運(yùn)行條件，積累先驗(yàn)的數(shù)據(jù)。

人工智能醫(yī)療器械軟件可靠性的測(cè)試路徑

人工智能醫(yī)療器械軟件的可靠性驗(yàn)證方法是為了驗(yàn)證在給定的統(tǒng)計(jì)置信度下，軟件當(dāng)前的可靠性水平是否滿足臨床用戶的要求而進(jìn)行的測(cè)試，即臨床用戶在接收軟件時(shí)，確定它是否滿足軟件規(guī)格說(shuō)明書中規(guī)定的可靠性指標(biāo)。該種方法一般是在軟件驗(yàn)收階段進(jìn)行的，在軟件需求方參與的情況下實(shí)施。其主要過(guò)程是根據(jù)實(shí)際臨床使用場(chǎng)景測(cè)試的故障情況，利用某種或某些軟件供需雙方都認(rèn)可的可靠性驗(yàn)收模型進(jìn)行可靠性的定量評(píng)價(jià)，以判斷該軟件是否達(dá)到了其需求說(shuō)明書中約定的可靠度。

人工智能軟件可靠性測(cè)試活動(dòng)包括：構(gòu)造運(yùn)行剖面、選取測(cè)試用例、測(cè)試環(huán)境準(zhǔn)備、可靠性測(cè)試運(yùn)行、數(shù)據(jù)收集、數(shù)據(jù)分析和失效糾正等步驟。

（1）構(gòu)造運(yùn)行剖面：軟件的運(yùn)行剖面一般是指對(duì)軟件使用條件的定義，把軟件的輸入按時(shí)間的分布或按它們?cè)诳赡茌斎敕秶鷥?nèi)的出現(xiàn)概率的分布來(lái)定義。由于人工智能算法的特殊性，軟件的輸入樣本需要考慮數(shù)據(jù)格式、內(nèi)容、對(duì)算力的消耗和臨床的典型性，兼顧陰性樣本、陽(yáng)性樣本和流行病學(xué)統(tǒng)計(jì)。

粗略地說(shuō)，運(yùn)行剖面是用來(lái)描述軟件的實(shí)際使用情況的。運(yùn)行剖面是否能代表、刻畫軟件的實(shí)際使用取決于可靠性工程人員對(duì)軟件的系統(tǒng)模式、功能、任務(wù)需求及相應(yīng)的輸入激勵(lì)的分析，取決于他們對(duì)用戶使用這些系統(tǒng)模式、功能、任務(wù)的概率的了解。運(yùn)行剖面構(gòu)造的質(zhì)量將對(duì)測(cè)試、分析的結(jié)果是否可信產(chǎn)生最直接的影響。

（2）選取測(cè)試用例：軟件可靠性測(cè)試采用的是按照運(yùn)行剖面對(duì)軟件進(jìn)行可靠性測(cè)試的方法。因此，可靠性測(cè)試所用的測(cè)試用例是根據(jù)運(yùn)行剖面隨機(jī)選取得到的，宜依托標(biāo)準(zhǔn)化的測(cè)試集進(jìn)行抽樣。

（3）測(cè)試環(huán)境的準(zhǔn)備：為了得到盡可能真實(shí)的可靠性測(cè)試結(jié)果，可靠性測(cè)試應(yīng)盡量在真實(shí)的臨床環(huán)境下進(jìn)行，但是在許多情況下，在真實(shí)的環(huán)境下進(jìn)行軟件的可靠性測(cè)試很不實(shí)際，因此需要開發(fā)軟件可靠性仿真測(cè)試環(huán)境。比如，對(duì)于智能硬件產(chǎn)品包含的嵌入式軟件，由于與之交聯(lián)的環(huán)境的開發(fā)常常與軟件的開發(fā)是同步甚至是滯后的，因此無(wú)法及時(shí)進(jìn)行軟件可靠性測(cè)試。有些軟件中，由于交聯(lián)的環(huán)境非常昂貴而無(wú)法用于需要進(jìn)行大量運(yùn)行的可靠性測(cè)試。

（4）可靠性測(cè)試運(yùn)行：即在真實(shí)的測(cè)試環(huán)境中或可靠性仿真測(cè)試環(huán)境中，用按照運(yùn)行剖面生成的測(cè)試用例對(duì)軟件進(jìn)行測(cè)試。

（5）數(shù)據(jù)收集：收集的數(shù)據(jù)包括軟件的輸入數(shù)據(jù)、輸出結(jié)果，以便進(jìn)行失效分析和進(jìn)行回歸測(cè)試；軟件運(yùn)行時(shí)間數(shù)據(jù)，可以是CPU執(zhí)行時(shí)間、日歷時(shí)間、時(shí)鐘時(shí)間等；可靠性失效數(shù)據(jù)包括每次失效發(fā)生的時(shí)間或一段時(shí)間內(nèi)發(fā)生的失效數(shù)，失效數(shù)據(jù)可以實(shí)時(shí)分析得到，也可以事后分析得到。數(shù)據(jù)收集的質(zhì)量對(duì)于最終的可靠性分析結(jié)果有著很大的影響，應(yīng)盡可能采用自動(dòng)化手段進(jìn)行數(shù)據(jù)的收集，以提高效率、準(zhǔn)確性和完整性。

（6）數(shù)據(jù)分析：主要包括失效分析和可靠性分析。失效分析是根據(jù)運(yùn)行結(jié)果判斷軟件是否失效，以及失效的后果、原因等：而可靠性分析主要是指根據(jù)失效數(shù)據(jù)，估計(jì)軟件的可靠性水平，預(yù)計(jì)可能達(dá)到的水平，評(píng)價(jià)產(chǎn)品是否已經(jīng)達(dá)到要求的可靠性水平。

（7）失效糾正：如果軟件的運(yùn)行結(jié)果與需求不一致，則稱軟件發(fā)生失效。通過(guò)失效分析，找到并糾正引起失效的程序中的缺陷，從而實(shí)現(xiàn)軟件可靠性的增長(zhǎng)。軟件可靠性增長(zhǎng)測(cè)試是為了滿足用戶對(duì)軟件的可靠性要求、提高軟件可靠性水平而對(duì)軟件進(jìn)行的測(cè)試。是為了滿足軟件的可靠性指標(biāo)要求，對(duì)軟件進(jìn)行測(cè)試——可靠性分析——修改——再測(cè)試——再分析——再修改的循環(huán)過(guò)程。

人工智能醫(yī)療器械軟件可靠性測(cè)試面臨的挑戰(zhàn)

開展人工智能醫(yī)療器械軟件可靠性測(cè)試的關(guān)鍵是要建立測(cè)試模型，但目前尚未形成統(tǒng)一規(guī)范。到目前為止，軟件可靠性模型的研究已有幾十年的歷史，國(guó)內(nèi)外已發(fā)表軟件可靠性模型有近百種，但由于對(duì)軟件可靠性模型的研究還處在初步階段，軟件可靠性模型的分類方法很多，筆者采用綜合模型的假設(shè)、測(cè)試環(huán)境以及數(shù)理統(tǒng)計(jì)的分類方法，將模型大致分為：隨機(jī)過(guò)程類模型和非隨機(jī)過(guò)程類模型。隨機(jī)過(guò)程模型包括馬爾可夫過(guò)程二項(xiàng)模型、非齊次泊松過(guò)程模型等分支。非隨機(jī)過(guò)程模型包括運(yùn)用貝葉斯估計(jì)的模型、基于輸入域的模型和其他方法模型。對(duì)于具體的人工智能產(chǎn)品，軟件的固有錯(cuò)誤數(shù)、錯(cuò)誤之間的關(guān)聯(lián)性、錯(cuò)誤發(fā)生的間隔時(shí)間、軟件失效率等關(guān)鍵參數(shù)還在積累過(guò)程中，可靠性測(cè)試的理論模型目前不唯一，屬于質(zhì)量評(píng)價(jià)的薄弱環(huán)節(jié)。軟件可靠性模型的不足也使得軟件可靠性模型并不能完全描述軟件的故障行為。

由于人工智能算法的復(fù)雜性和隨機(jī)性，軟件的故障具有離散性和偶發(fā)性，部分軟件產(chǎn)品的測(cè)試缺乏直觀的測(cè)試準(zhǔn)則。此時(shí)對(duì)可靠性的評(píng)價(jià)可借助蛻變測(cè)