大模型在醫(yī)療AI中的應(yīng)用

Foundationmodelsforgeneralistmedicalartificialintelligence匯報(bào)人：目錄1324背景介紹5GMAI的發(fā)展與挑戰(zhàn)通用模型在醫(yī)療AI中的可能性GMAI的6個(gè)應(yīng)用案例總結(jié)1.背景介紹Foundationmodels大模型：預(yù)訓(xùn)練大模型+下游任務(wù)微調(diào)多模態(tài)數(shù)據(jù)適配多種下游任務(wù)FoundationmodelsinMedicalAI任務(wù)應(yīng)該可以用非醫(yī)學(xué)專(zhuān)業(yè)的語(yǔ)言描述，并且模型需要有能力解決未曾訓(xùn)練過(guò)的任務(wù)GMAI能夠接受不同類(lèi)型的輸入數(shù)據(jù)，并且輸出不同類(lèi)型的輸出數(shù)據(jù)GMAI能夠使用正確、規(guī)范的醫(yī)學(xué)專(zhuān)業(yè)的知識(shí)，對(duì)于沒(méi)接觸過(guò)得任務(wù)也可以通過(guò)準(zhǔn)確的醫(yī)學(xué)領(lǐng)域知識(shí)進(jìn)行解釋GMAI2.醫(yī)學(xué)通用模型

的可能性ThepotentialofgeneralistmodelsinmedicalAIFlexibleinteraction目前AI模型只能解決被限定了的問(wèn)題，比如一種模型可能只能指定一種疾病圖片的輸入，并且只能處理這一種疾病。GMAI可以接受來(lái)自用戶的簡(jiǎn)單提問(wèn)，來(lái)減少模型內(nèi)部不同任務(wù)模塊對(duì)問(wèn)題的理解和交互。ThepotentialofgeneralistmodelsinmedicalAIDynamictaskspecificationGMAI可以解決用戶提出的任何沒(méi)有預(yù)訓(xùn)練過(guò)的任務(wù)。當(dāng)出現(xiàn)新任務(wù)時(shí)，可以通過(guò)提示對(duì)模型進(jìn)行訓(xùn)練。ThepotentialofgeneralistmodelsinmedicalAIMultimodalinputsandoutputs目前AI模型一般只能處理特定形式的數(shù)據(jù)，并且無(wú)法將不同的數(shù)據(jù)進(jìn)行結(jié)合。GMAI允許用戶在他們的問(wèn)題中使用復(fù)雜的醫(yī)學(xué)信息，并且任意結(jié)合信息的輸入形式。ThepotentialofgeneralistmodelsinmedicalAIMedicaldomainknowledge現(xiàn)有的模型大部分都是依賴輸入數(shù)據(jù)的特征和預(yù)測(cè)目標(biāo)之間的統(tǒng)計(jì)關(guān)聯(lián)。GMAI可以通過(guò)規(guī)范化的醫(yī)學(xué)知識(shí)介入，來(lái)解決現(xiàn)有模型無(wú)法結(jié)合醫(yī)學(xué)概念與臨床發(fā)現(xiàn)的問(wèn)題。3.GMAI的6個(gè)應(yīng)用案例Bedsidedecisionsupport新一代臨床預(yù)警系統(tǒng)多模式輸入數(shù)據(jù)總結(jié)、預(yù)測(cè)患者狀態(tài)醫(yī)學(xué)領(lǐng)域背景知識(shí)Bedsidedecisionsupport??警告：這名患者即將休克！她的血液循環(huán)在過(guò)去15分鐘內(nèi)不穩(wěn)定：<貼了這15分鐘的數(shù)據(jù)>。建議下一步行動(dòng)：<附了一張行動(dòng)清單>。Bedsidedecisionsupport可以將電子病歷的數(shù)據(jù)與最終患者結(jié)果配對(duì)，這些數(shù)據(jù)可以從出院報(bào)告和ICD代碼中收集。GMAI必須能夠比較潛在的治療方法并估計(jì)其效果，同時(shí)遵守治療指南和其它相關(guān)政策。GMAI可以通過(guò)臨床知識(shí)圖譜和文本數(shù)據(jù)，如學(xué)術(shù)出版物、教育教科書(shū)、國(guó)際指南和地方政策，獲得必要的醫(yī)學(xué)領(lǐng)域知識(shí)。Groundedradiologyreports新一代數(shù)字放射助理起草放射學(xué)報(bào)告描述異常和相關(guān)

的正常發(fā)現(xiàn)考慮患者病史交互式可視化Groundedradiologyreports解釋各種放射學(xué)模式，并能夠注意到細(xì)微的異常結(jié)合患者病史：適應(yīng)癥、實(shí)驗(yàn)室結(jié)果、其他圖像報(bào)告與醫(yī)生多種模式交互，如文本和動(dòng)態(tài)注釋的圖像自監(jiān)督學(xué)習(xí)的方法，減少數(shù)據(jù)標(biāo)注Augmentaedprocedures輔助醫(yī)生臨床手術(shù)執(zhí)行可視化任務(wù)提供手術(shù)過(guò)程中

預(yù)警信息新一代手術(shù)助理Augmentaedprocedures文字、音頻、視覺(jué)模式相結(jié)合與現(xiàn)有工作結(jié)合，結(jié)合語(yǔ)言模型與知識(shí)圖表，逐步推理外科任務(wù)基于醫(yī)學(xué)領(lǐng)域知識(shí)的推理能力至關(guān)重要應(yīng)用于外科手術(shù)場(chǎng)景可能面臨諸多挑戰(zhàn)Interactivenote-takingGMAI可以起草診療文檔，供醫(yī)生審查、編輯、確認(rèn)，減少醫(yī)生大量的工作與現(xiàn)有的語(yǔ)言模型結(jié)合，使用專(zhuān)業(yè)的醫(yī)療應(yīng)用背景能夠?qū)⒄Z(yǔ)音數(shù)據(jù)與電子病歷當(dāng)中的內(nèi)容相結(jié)合記錄文檔是臨床中不可或缺，且勞動(dòng)密集型的工作Chatbotsforpatients可以通過(guò)多種模式構(gòu)建用戶的整體視圖解釋這些異構(gòu)的數(shù)據(jù)之后，GMAI可以與用戶進(jìn)行溝通，提供詳細(xì)的建議減少醫(yī)生的人工干預(yù)臨床之外的環(huán)境中缺乏高質(zhì)量的陪護(hù)Text-to-proteingenerationGMAI可以根據(jù)文本提示生成蛋白質(zhì)氨基酸序列及其三維結(jié)構(gòu)通過(guò)解鎖上下文學(xué)習(xí)能力，可以用與序列配對(duì)的少數(shù)示例指令來(lái)提示基于GMAI的文本到蛋白質(zhì)模型，以動(dòng)態(tài)地定義新的生成任務(wù)例：生成與特定靶標(biāo)高親和力且同時(shí)滿足其他特定條件的蛋白質(zhì)4.GMAI的發(fā)展與挑戰(zhàn)ParadigmshiftswithGMAI可控性：允許用戶對(duì)模型輸出進(jìn)行個(gè)性化定制適應(yīng)性：能夠適應(yīng)數(shù)據(jù)分布的變化適用性：能夠結(jié)合下游任務(wù)APPChallengesofGMAI驗(yàn)證：GMAI的多功能性難以驗(yàn)證確認(rèn)：GMAI的多模式輸入，使得結(jié)果難以確認(rèn)社會(huì)偏見(jiàn)：對(duì)于少數(shù)群體會(huì)存在偏見(jiàn)隱私：GMAI模型的開(kāi)發(fā)和使用對(duì)患者隱私構(gòu)成了嚴(yán)重風(fēng)險(xiǎn)規(guī)模：GMAI推高了與數(shù)據(jù)收集和模型訓(xùn)練相關(guān)的成本5.總結(jié)ConclusionGMAI將可解析多種數(shù)據(jù)模式，動(dòng)態(tài)學(xué)習(xí)新任務(wù)，并利用醫(yī)學(xué)領(lǐng)域知識(shí)，為各種