生成式人工智能在醫(yī)學(xué)數(shù)據(jù)分析領(lǐng)域的研究與探索2024

<<生成式人工智能在醫(yī)學(xué)數(shù)據(jù)分析領(lǐng)域的研究與探索山東財(cái)經(jīng)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院山東財(cái)經(jīng)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院山東省數(shù)字媒體技術(shù)重點(diǎn)實(shí)驗(yàn)室01研究背景山束財(cái)住大學(xué)<預(yù)訓(xùn)練模型、生成算法等人工智能技術(shù)，通過已有數(shù)據(jù)的學(xué)習(xí)和識(shí)別，以適當(dāng)?shù)姆夯芰ι上嚓P(guān)內(nèi)容的技術(shù)?！ど墒饺斯ぶ悄蹵IGC是人工智能1.0時(shí)代進(jìn)入2.0時(shí)代的重要標(biāo)志。OpenAI提出CLIPOpenAI提出Google提出TransformerDiffusion模型發(fā)展歷程3,錄制中01,錄制中01研究背景山束財(cái)住大學(xué)山束財(cái)住大學(xué)<··GAN模型框架中通常有兩個(gè)模塊：生成模型(GenerativeModel)和判別模型(DiscriminativeModel);生成模型對(duì)隨機(jī)噪聲進(jìn)行處理，生成與真實(shí)訓(xùn)練樣本類似的假數(shù)據(jù)；判別器鑒別生成器的生成結(jié)果與真實(shí)樣本的區(qū)別；兩個(gè)模型相互對(duì)抗、博弈。lnfoGAN[14],cGANs[15],CycleGAN(16),f-GAN[17 [1][1]JieGui,ZhenanSun,YonggangWen,Dach程大鵬的屏慕共享01研究背景01研究背景<的一種具體應(yīng)用和產(chǎn)品，屬于文本生成的范疇。>隨著ChatGPT在全世界范圍內(nèi)的興起，標(biāo)志著信息社會(huì)進(jìn)入了生成式大語言模型主FFChatGPT稱：這種人工智能技術(shù)出現(xiàn)的重大歷史意義，不亞于互聯(lián)網(wǎng)和個(gè)人電腦的·Pre-trained:預(yù)訓(xùn)練模型，在大規(guī)模的文本數(shù)據(jù)上進(jìn)行訓(xùn)練，從而學(xué)習(xí)到豐富的語言知識(shí)和模式。用多頭自注意力機(jī)制，能夠更好地處理長(zhǎng)文本和復(fù)雜的語言結(jié)構(gòu)。7錄制中錄制中01研究背景<架構(gòu)的預(yù)訓(xùn)練生成式模型，具有較強(qiáng)的自然語言理解和生成能力，可以應(yīng)用于問答系統(tǒng)、機(jī)器翻譯等多個(gè)領(lǐng)域。大模型?更多數(shù)據(jù)更多知識(shí)更優(yōu)模型結(jié)構(gòu)8,錄制中,錄制中01研究背景>從頭構(gòu)建完整大模型：所需數(shù)據(jù)、算力、時(shí)間投入較大策略精調(diào)判別模型訓(xùn)練基座模型模型訓(xùn)策略精調(diào)判別模型訓(xùn)練基座模型練過程山束財(cái)住大學(xué)<優(yōu)化基座模型大模型數(shù)據(jù)準(zhǔn)備海量數(shù)據(jù)prompt標(biāo)注數(shù)據(jù)結(jié)果標(biāo)注數(shù)據(jù)大規(guī)模算力資源大規(guī)模算力資源>基于開源通用大模型的調(diào)優(yōu)：成本較低，可以快速形成所需的大模型·參數(shù)高效微調(diào)是目前業(yè)界主流的調(diào)優(yōu)方式，在保持原有大模型的整體參數(shù)或絕大部分參數(shù)不變的情況下，僅通過增加或改變參數(shù)的方式獲得更好的模型輸出。9程大鵬的屏幕共享)phyika公Airbags-pernipherals)phyika公Airbags-pernipherals01研究背景山束財(cái)住大學(xué)<多模態(tài)：多源模態(tài)信息。具體指通過多種不同的感知通道來獲取、理解NaturalNaturalLanguageNighitime/ThermalmSpatial-Temporal[1]YiyuanZhang,KaixiongGong,Ka01研究背景01研究背景山束財(cái)住大學(xué)山束財(cái)住大學(xué)<技術(shù)進(jìn)步使醫(yī)生可以從多個(gè)角度研究患者高維度、高通量、多尺度的生物醫(yī)學(xué)數(shù)據(jù)超聲內(nèi)窺鏡檢查病理圖像蛋白質(zhì)組山束財(cái)住大學(xué)山束財(cái)住大學(xué)錄制中錄制中01研究背景<>多模態(tài)大模型能夠?qū)崿F(xiàn)多種模態(tài)的統(tǒng)一知識(shí)表示，是人工智能的重要基礎(chǔ)設(shè)施微軟微軟A百度通義千問阿里通義千問阿里上面的圖片顯示了一個(gè)正荒的手和前臂的骨骼結(jié)構(gòu)，沒有明顯上面的圖片顯示了一個(gè)正荒的手和前臂的骨骼結(jié)構(gòu)，沒有明顯的骨折或酶形。下面的圖片中，我們可以看到前銷有明顯的骨折，其中一個(gè)長(zhǎng)如果這是你的X光片或是你所關(guān)心的人的，請(qǐng)務(wù)必盡快咨詢醫(yī)生或醫(yī)療專家，他們會(huì)提供適當(dāng)?shù)尼t(yī)學(xué)建議和治療方案。簽@差評(píng),錄制中01研究背景山束財(cái)住大學(xué)山束財(cái)住大學(xué)<>研究多模態(tài)問題是推動(dòng)人工智能更好地了解和認(rèn)知我們周圍世界的關(guān)鍵·2023年9月OpenAI推出GPT-4V。ChatGPT由一個(gè)完美的詞語接龍工具，升級(jí)為能看懂圖片，聽懂聲音，還能說話的多模態(tài)大模型。Rhendetcbjective.Eunction(P,Pi,A,d.hat,d,s,ditt.1*P[4,J1·np.dot(np.1inslg.1nv(A(1,11),(P?(1]-a.first.terntenp.Iinalg.nditt.2*np.dot(d[1],s[1]+o[1])·程大鵬的屏幕共享程大鵬的屏幕共享Thelowerwisdomteeth,especiallythosethatareimpacted,ar山束財(cái)住大學(xué)山束財(cái)住大學(xué)01研究背景<>通用多模態(tài)大模型——LLaVA生成wordembedding·VisionEncoder:預(yù)訓(xùn)練的CLIP的視覺編碼器ViT-L/14,使用的是最后一層也就是一張圖片會(huì)編碼出不止1個(gè)token·Projection:線性層，將imagefeature映射到wordembedding,實(shí)際上是做了一個(gè)投影，將視覺特征Z投影到H,其中H,和文本特征H?在同一特征維度。01研究背景·在多輪對(duì)話中：大模型能夠根據(jù)用戶的意圖識(shí)別·在多輪對(duì)話中：大模型能夠根據(jù)用戶的意圖識(shí)別視覺內(nèi)容，而無需直接提示進(jìn)行視覺識(shí)別。山束財(cái)住大學(xué)<thestrawberries,blueberries,andcarrots.Additionally,youc01研究背景>醫(yī)學(xué)領(lǐng)域多模態(tài)大模型——LLaVA-Med山束財(cái)住大學(xué)shandengUnlsentkyafFIhtn<·生物醫(yī)學(xué)概念特征對(duì)齊：對(duì)于每個(gè)樣本，給定簡(jiǎn)單描述圖像的語言指令和圖像輸入，要求模型預(yù)測(cè)原始標(biāo)題保持視覺編碼器和語言模型權(quán)重凍結(jié)，這個(gè)階段可以理解為將匹配的圖像-文本標(biāo)記的詞匯擴(kuò)展到生物醫(yī)學(xué)領(lǐng)域?！ざ说蕉酥噶钗⒄{(diào)：只保持視覺編碼器權(quán)重不變，繼續(xù)更新投影層和語言模型的預(yù)訓(xùn)練權(quán)重，在收集的生物醫(yī)學(xué)語言-圖像指令跟隨數(shù)據(jù)上對(duì)模型進(jìn)行微調(diào)，開發(fā)生物醫(yī)學(xué)聊天機(jī)器人。,錄制中01研究背景山束財(cái)住大學(xué)>中文醫(yī)學(xué)領(lǐng)域多模態(tài)大模型——Qilin-Med-VL期具切片加權(quán)受期具切片加權(quán)受碼填片熒光器檢查工最信號(hào)8程違圖高染色紅色成像病變放大一小一中掃用血管復(fù)白色禁出現(xiàn)上蟹類型技術(shù)成像覆性于名腫瘤部位Figure2:(a)WordcloudofChiMed-Alignment.(b)WordcloudofChiMed-Instruction.Table2:BasicstatisticsofChiMed-VL-Instruction.Q:Questions;A:Answers.程大鵬的屏幕共享程大鵬的屏幕共享應(yīng)用應(yīng)用場(chǎng)景基礎(chǔ)架構(gòu)山束財(cái)住大學(xué)01研究背景<>AI帶來的深度變革能夠喚醒、協(xié)同、整合、分析海量醫(yī)療數(shù)據(jù)，發(fā)揮其重大價(jià)值，助力智能診斷、手術(shù)導(dǎo)航以及藥物研發(fā)。CC端應(yīng)用報(bào)告生成疾病預(yù)測(cè)E錄制中錄制中>醫(yī)療人工智能基因檢測(cè)與測(cè)序基因檢測(cè)與測(cè)序疾病風(fēng)險(xiǎn)預(yù)測(cè)應(yīng)用場(chǎng)景研究平臺(tái)醫(yī)學(xué)研究Al+醫(yī)學(xué)醫(yī)療人工智能臨床輔助影像輔助決策診斷輔助診療醫(yī)學(xué)影像Al+醫(yī)療智能診斷電子病歷醫(yī)療輔助<輔助醫(yī)學(xué)研究平臺(tái)藥物研發(fā)技術(shù)層計(jì)算機(jī)視覺語音交互語音轉(zhuǎn)寫自然語言處理數(shù)據(jù)挖掘機(jī)器學(xué)習(xí)基礎(chǔ)層臨床試驗(yàn)基礎(chǔ)層臨床試驗(yàn)疾病登記電子病歷保險(xiǎn)理賠診斷數(shù)據(jù)物組數(shù)據(jù)大數(shù)據(jù)02多模態(tài)醫(yī)學(xué)數(shù)據(jù)融合及輔助診斷>多模態(tài)數(shù)據(jù)缺失建模山束財(cái)住大學(xué)山束財(cái)住大學(xué)<山束財(cái)住大學(xué)山束財(cái)住大學(xué)<AnchorGraph(BipartiteGraph):錨圖是鄰接圖的一種低階近似，是降低大規(guī)模數(shù)據(jù)集計(jì)算復(fù)雜度的有效策略。Anchor·選擇少量錨點(diǎn)以覆蓋完整數(shù)據(jù)集合Anchor-basedPartialMulti-viewClustering(APMC):將錨點(diǎn)圖引入多視圖聚類，通過采樣一些有代表性的錨點(diǎn)來捕捉不完全視圖中的數(shù)據(jù)分布。Partialtwo-viewdataTwo-viewanchorgraphs處理缺失數(shù)據(jù)較少的大規(guī)模數(shù)據(jù)場(chǎng)景每個(gè)實(shí)例均在部分視圖中缺失0202多模態(tài)醫(yī)學(xué)數(shù)據(jù)融合及輔助診斷山束財(cái)住大學(xué)山束財(cái)住大學(xué)<>多模態(tài)數(shù)據(jù)缺失建模方法：2.1)計(jì)算實(shí)例-錨點(diǎn)之間的相似度山束財(cái)住大學(xué)山束財(cái)住大學(xué)shuandengUnvarllyefFlh02多模態(tài)醫(yī)學(xué)數(shù)據(jù)融合及輔助診斷<>醫(yī)學(xué)多模態(tài)數(shù)據(jù)融合：醫(yī)療數(shù)據(jù)本質(zhì)是多模態(tài)的，包括放射影像，電子病歷(EHRs),診斷報(bào)告，數(shù)字病理學(xué)等。模態(tài)之間提供豐富的互補(bǔ)知識(shí)，因此整合多模態(tài)醫(yī)學(xué)數(shù)據(jù)在醫(yī)學(xué)圖像分類、醫(yī)療報(bào)告生成等任務(wù)中發(fā)揮重要作用。Thereisnofocalmrarcontouirsdrenom特征提取融合下游操作首先對(duì)圖像數(shù)據(jù)和文本數(shù)據(jù)進(jìn)行編碼：·圖像：分塊+位置編碼，每個(gè)藍(lán)色的點(diǎn)代表圖中的一塊區(qū)域·文本：位置編碼，每個(gè)黃色的點(diǎn)表示一個(gè)單詞分別通過圖像編碼器和文本編碼器進(jìn)行特征提取，得到相同維度的特征表示。多模態(tài)融合的任務(wù)是設(shè)計(jì)適當(dāng)?shù)乃惴?，將不同模態(tài)中的信息整合為一個(gè)特征表示。二次加權(quán)二次加權(quán)效果交叉注意力效果shuandengUnvarlly<>將融合算法與預(yù)訓(xùn)練基礎(chǔ)大模型、下游任務(wù)模塊相結(jié)合即可完成各種下游任務(wù)·直接在融合模塊后增加全連接層和softmax層進(jìn)行分類圖像Negative:0.18文本編碼器D報(bào)告全連接層D·直接在融合模塊后加入預(yù)訓(xùn)練的生成模塊或解碼器即可完成醫(yī)療報(bào)告生成二次融合生成模塊XfuseD·完成醫(yī)療問答，圖像檢測(cè)等任務(wù)effusion.Thereisnoev“opacity”“l(fā)ungapex”““opacity”“l(fā)ungapex”↓區(qū)E↓區(qū)E*山束財(cái)住大學(xué)山束財(cái)住大學(xué)>多模態(tài)融合——多模態(tài)醫(yī)學(xué)影響融合呼吸運(yùn)動(dòng)偽影的校正呼吸運(yùn)動(dòng)偽影的校正多模態(tài)影像融合三維肺部組織動(dòng)態(tài)建模不同種瘤亞型數(shù)據(jù)射圖射圖封圖代標(biāo)注交義監(jiān)督最優(yōu)影像字列預(yù)處理結(jié)果02多模態(tài)醫(yī)學(xué)數(shù)據(jù)融合及輔助診斷鑒別網(wǎng)絡(luò)D,8D對(duì)抗過程山束財(cái)住大學(xué)山束財(cái)住大學(xué)<>多模態(tài)融合——多模態(tài)醫(yī)學(xué)影響融合預(yù)訓(xùn)練預(yù)訓(xùn)練NN[1]HuiLiu*,ShanshanLi,JichengZhu,etc.DDIFN:ADual-discriminatorMulti-modalMedicalImageComput.Commun(TOMM),2022,Vol.19(4),145.山束財(cái)住大學(xué)山束財(cái)住大學(xué)03醫(yī)學(xué)影像報(bào)告生成<>中文醫(yī)學(xué)圖像描述數(shù)據(jù)集·與山東省第一醫(yī)科大學(xué)第一附屬醫(yī)院合作，收集了500對(duì)胸部X射線圖像及其相應(yīng)的診斷報(bào)告，500對(duì)腹部X射線圖像及其相應(yīng)的診斷報(bào)告，300對(duì)腦部MRI圖像及相應(yīng)的診斷報(bào)告。03醫(yī)學(xué)影像報(bào)告生成03醫(yī)學(xué)影像報(bào)告生成山束財(cái)住大山束財(cái)住大學(xué)<>基于知識(shí)增強(qiáng)的報(bào)告生成大語言模型·對(duì)大模型進(jìn)行微調(diào)是現(xiàn)在訓(xùn)練垂直領(lǐng)域大模型的主流。由于醫(yī)學(xué)的圖片-文本對(duì)資源稀缺，往往直接微調(diào)得到的模型的效果不是很好。肺部清亮，無胸腔積液或氣胸，心臟和縱隔的大小和輪廓正常，心臟大小正常，胸部有氣體狀