基于人工智能和大數(shù)據(jù)的醫(yī)療影像組學(xué)應(yīng)用課件

1、基于人工智能和大數(shù)據(jù)的醫(yī)療影像組學(xué)應(yīng)用技術(shù)創(chuàng)新，變革未來議 程2智能醫(yī)療研究背景智能醫(yī)療研究內(nèi)容智能醫(yī)療未來方向傳 統(tǒng) 醫(yī) 療智 能 醫(yī) 療背景：現(xiàn)在是發(fā)展智能醫(yī)療最佳時(shí)機(jī)人工智能技術(shù)進(jìn)步醫(yī)療大數(shù)據(jù)不斷積累智能醫(yī)療發(fā)展的最佳時(shí)機(jī)人腦 + 大數(shù)據(jù) + 人工智能3人腦 + 小數(shù)據(jù)4背景智能醫(yī)療發(fā)展趨勢臨床問題導(dǎo)向精準(zhǔn)輔助決策計(jì)算能力驅(qū)動的疾病篩查術(shù)前新 輔助療 效評估術(shù)中淋 巴結(jié)轉(zhuǎn) 移預(yù)測術(shù)后化 療必要 性預(yù)測Google糖網(wǎng)病、皮膚癌篩查肺癌、食管癌、乳腺癌早期篩查臨床科研商業(yè)應(yīng)用背景：未來的醫(yī)學(xué)影像實(shí)現(xiàn)綜合信息引自Roderic Pettigrew, RSNA 20175 醫(yī)學(xué)影像中心飛機(jī)駕駛

2、艙(綜合信息中心)臨床醫(yī)生飛行員(數(shù)據(jù)分析處理專家)背景：未來的醫(yī)學(xué)影像實(shí)現(xiàn)綜合信息引自Roderic Pettigrew, RSNA 20176 信息變革與人工智能發(fā)展下的影像科醫(yī)生人工智能是否會替代影像科醫(yī)生 無法下定論，但是那些使用人工 智能技術(shù)的影像科醫(yī)生，一定會 代替那些不使用人工智能技術(shù)的 影像科醫(yī)生！Radiologists using AI willreplace those who do not!Llus DonosoIS3R國際影像戰(zhàn)略 策略研討會副主席 巴塞羅那大學(xué)臨床醫(yī)學(xué)院放射科主任7信息革命 Informatics Revolution未來的影像科醫(yī)生應(yīng)該是影像信息學(xué)

3、專家!From radiologists to imaging information expert!人工智能技術(shù)在新一代無創(chuàng)診療中的應(yīng)用ASCO2018壓軸報(bào)告：Next-Generation Diagnostics Beyond TissueDana-Farber 癌癥 研究所首席研究員 Geoffrey Oxnard, MD液體活檢技術(shù)可更加便捷地在醫(yī)療系統(tǒng) 中實(shí)現(xiàn)肺癌的早期檢測和篩查，但隨著 樣本量增加，機(jī)器學(xué)習(xí)方法將有效提高 檢測精度、提高測試性能。人工智能技術(shù)是輔助新一代無創(chuàng)診療 技術(shù)發(fā)展的重要工具南加州大學(xué)Dornsife 生物科學(xué)學(xué)院院長Peter Kuhn, PhD在腫瘤療效

4、評估中，基于液體活檢技術(shù) 的基因蛋白組學(xué)和基于深度學(xué)習(xí)方法的 智能影像評估可有效預(yù)測患者預(yù)后生存。8腫 瘤 大 小5mm1kg左 右腫瘤520年13年細(xì)胞表達(dá)生物分子異常正 常基因 異常開始 增殖前癌 病變形成癌灶出現(xiàn) 病狀死 亡轉(zhuǎn)移傳統(tǒng)成像技術(shù)難以實(shí)現(xiàn)早期微小腫瘤成像基因技術(shù) 檢測早期 基因異常人工智能醫(yī)療？大數(shù)據(jù) 影像組學(xué)影像組學(xué)融合臨床、基因和影像大數(shù)據(jù)信息，基于人工智能技術(shù)為實(shí)現(xiàn)精準(zhǔn)診斷提供新機(jī)遇基因異常新陳代謝異常器官結(jié)構(gòu)異常時(shí) 間影像組學(xué)為癌癥智能診療提供新機(jī)遇9影像組學(xué)概念概念完善概念提出臨床應(yīng)用Nat. Comm. 2014, 5: 4006EJC 2012, 48: 441-

5、446MRI 2012, 30(9): 1234.醫(yī)療影像數(shù)據(jù)定量特征提取人工智能模型臨床輔助決策微觀的基因或蛋白質(zhì)模式改變在宏觀影像上有所表達(dá)，通過深 度挖掘影像特征，可以反映人體組織、細(xì)胞和基因水平的變化影像組學(xué)結(jié)合醫(yī)學(xué)影像、基因和臨床大數(shù)據(jù)，利用人工智能方 法高通量地提取并分析腫瘤信息，為臨床提供輔助決策支持10報(bào)告內(nèi)容11智能醫(yī)療研究背景智能醫(yī)療研究內(nèi)容智能醫(yī)療未來方向典型 臨床 應(yīng)用核心 關(guān)鍵 技術(shù)影像組學(xué)腫瘤大數(shù)據(jù) 智能診斷腫瘤 治療 效果 評估腫瘤預(yù)后生存期預(yù)測精準(zhǔn)腫瘤 分割標(biāo)注海量 特征 提取 篩選人工智能模型構(gòu)建影像組學(xué)研究內(nèi)容12影像組學(xué)典型臨床應(yīng)用概述術(shù)前 診斷影像組學(xué)術(shù)

6、中 評估術(shù)后 預(yù)測腫瘤 病理 智能 分型癌癥 轉(zhuǎn)移 智能 診斷智能智能預(yù)測預(yù)測患者患者生存預(yù)后Clinical Cancer Research 2016Clinical Cancer Research 2017Journal of Clinical Oncology 2016 Science Translational Medicine 2015Nature Communications 2014Clinical Cancer Research 2016 13新 輔助 療效 評估抗 血管 療效 評估典型臨床應(yīng)用結(jié)直腸癌診療全過程覆蓋術(shù)前術(shù)中術(shù)后新輔助治療是否達(dá)到pCR？治療過程輔助解決關(guān)鍵臨床

7、問題是否需要進(jìn)行淋巴結(jié)清掃？是否需要進(jìn)行輔助放化療？腫瘤診療全過程個體化定量分析Clinical Cancer Research, 2017, 23(23): 7253-62.Journal of Clinical Oncology, 2016, 34(18):2157.14Journal of Clinical Oncology, 2011, 29(23):3163.典型臨床應(yīng)用結(jié)直腸癌新輔助治療評估結(jié)直腸癌術(shù)前難以評估新輔助療效，pCR患者過度治療臨床問題應(yīng)用 效果臨床 數(shù)據(jù)222例新輔助放化療后直腸 癌患者多模態(tài)磁共振成像實(shí)現(xiàn)直腸癌新輔助放化療效果定量評估AUC0.9方法智能 提取多模態(tài)

8、磁共振成像特征，進(jìn)行人工智能分析北京大學(xué)腫瘤醫(yī)院、中科院自動化研究所醫(yī)工交叉合作Zhenyu Liu et al, Clinical Cancer Research, 2017, 23(23): 7253.SCI IF (2016): 9.61915廣東省人民醫(yī)院、中科院自動所合作預(yù)測結(jié)直腸癌淋巴結(jié)轉(zhuǎn)移結(jié)直腸癌淋巴結(jié)轉(zhuǎn)移難以準(zhǔn)確判斷，術(shù)中采用盲目清掃臨床問題應(yīng)用 效果臨床 數(shù)據(jù)500余例臨床病理、影像數(shù) 據(jù)完整的結(jié)直腸癌患者數(shù)據(jù)將結(jié)直腸癌淋巴結(jié)清掃的假陽性率從70%降低到30%智能 方法選擇關(guān)鍵影像特征結(jié)合臨床 病理信息建立諾莫預(yù)測模型典型臨床應(yīng)用結(jié)直腸癌淋巴結(jié)轉(zhuǎn)移預(yù)測Yanqi Huang,

9、 et al, Journal of Clinical Oncology, 2016, 34(18):2157. SCI IF(2016): 24.9816典型臨床應(yīng)用-結(jié)直腸癌輔助治療必要性預(yù)測結(jié)直腸癌術(shù)后遠(yuǎn)處轉(zhuǎn)移、局部復(fù)發(fā)風(fēng)險(xiǎn)難以準(zhǔn)確預(yù)測臨床問題應(yīng)用 效果臨床 數(shù)據(jù)歐洲5個RCT實(shí)驗(yàn)2795例患 者臨床、病理和隨訪數(shù)據(jù)術(shù)后局部復(fù)發(fā)、遠(yuǎn)處轉(zhuǎn)移預(yù)測列線圖寫入AJCC指南分析 方法多變量Cox生存分析劃分風(fēng) 險(xiǎn)級別，繪制K-M生存曲線荷蘭Maastricht大學(xué)綜合歐洲5個RCT數(shù)據(jù)研究預(yù)測術(shù)后復(fù)發(fā)轉(zhuǎn)移Valentini V, et al, Journal of Clinical Oncolog

10、y, 2011, 29(23):3163. SCI IF(2016): 24.9817典型臨床應(yīng)用-晚期肺癌預(yù)后預(yù)測與醫(yī)科院腫瘤醫(yī)院、上海肺科醫(yī)院、廣東省人民醫(yī)院和華西醫(yī)院合作Jiangdian Song et al, Clinical Cancer Research, 2018. accepted晚期EGFR突變肺癌患者靶向治療中無法預(yù)測預(yù)后效果臨床問題應(yīng)用 效果臨床 數(shù)據(jù)500余例晚期EGFR突變靶 向治療患者多中心CT數(shù)據(jù)實(shí)現(xiàn)TKI靶向治療的無進(jìn)展生存期個體化精準(zhǔn)預(yù)測智能 方法LASSO-COX構(gòu)建反映靶向治療無進(jìn)展生存期預(yù)測模型18SCI IF (2016): 9.619典型臨床應(yīng)用-

11、晚期鼻咽癌預(yù)后預(yù)測臨床指標(biāo)對晚期鼻咽癌的放療預(yù)后預(yù)測精度低臨床問題應(yīng)用 效果臨床 數(shù)據(jù)118 例晚期鼻咽癌T1和DCEMR圖像，隨訪時(shí)間大于3年有效預(yù)測晚期鼻咽癌患者預(yù)后，準(zhǔn)確度超臨床指標(biāo)10%智能 方法提取970個組學(xué)特征結(jié)合臨 床病理信息進(jìn)行智能分析廣東省人民醫(yī)院與中科院自動化所醫(yī)工合作Clinical Cancer Research, 2017. DOI：10.1158/1078-0432.CCR-16-2910.19SCI IF (2016): 9.61920Moshim Kukar et al, JAMA Surgery, 2015, 150(6):555. (SCI IF: 8.4

12、98)食管癌新輔助治療后是否達(dá)到pCR難以定量評估臨床問題應(yīng)用 效果臨床 數(shù)據(jù)77例新輔助治療食管腺癌患 者治療前后的PET-CT數(shù)據(jù)PET影像特征對非pCR檢測的陽性預(yù)測值超過90%智能 方法比較定量和定性特征在pCR和非pCR兩組患者間的差異影像組學(xué)新模態(tài)應(yīng)用PET影像組學(xué)美國羅斯韋爾帕克腫瘤中心多科室協(xié)作評價(jià)食管癌新輔助療效21影像組學(xué)新模態(tài)應(yīng)用超聲影像組學(xué)(1/3)應(yīng)用 效果影像學(xué)方法難以精確分期乙肝纖維化程度肝硬化、重度肝纖維化分期診斷精度等同穿刺病理臨床 多中心654例慢性乙肝患者數(shù)據(jù)超聲彈性成像+穿刺病理智能深度學(xué)習(xí)CNN方法智能識方法別彈性圖像異質(zhì)性特征臨床問題Kun Wang

13、, et al, Gut, 2018. DOI: 10.1136/gutjnl -2018-316204. SCI IF: 16.658中山大學(xué)第三附屬醫(yī) 院、301醫(yī)院與中科院 自動化所醫(yī)工合作影像組學(xué)新模態(tài)應(yīng)用超聲影像組學(xué)(2/3)0.810.65肝硬化（F4）重度（F3）輕度（F2）0.740.54分期診斷精度是否提高？每個病人應(yīng)取幾張圖像？分期診斷精度（AUC）人工超聲彈血清學(xué) 智能性成像檢測肝硬化診斷精度（AUC）人工 智能超聲彈性 成像每人1 張圖像0.840.86每人3 張圖像0.960.85每人5 張圖像0.980.86超聲影像組學(xué)分期診斷精度全面超越超聲彈性成像EFSUMB指

14、南:建議每人3張超聲影像組學(xué):5張會更好0.99 0.85 0.98 0.850.7022影像組學(xué)新模態(tài)應(yīng)用超聲影像組學(xué)(3/3)炎癥是否影響診斷精度？影像組學(xué)是否可推廣？肝硬化診斷精度（AUC）人工 智能超聲彈性 成像輕度 炎癥0.990.87重度 炎癥0.930.69超聲影像組學(xué)：不受影響超聲彈性成像：影響顯著超聲影像組學(xué)診斷效果魯棒， 極具臨床推廣潛力人工智能診斷精度（AUC）驗(yàn)證 醫(yī)院1驗(yàn)證 醫(yī)院2驗(yàn)證 醫(yī)院3肝硬化（F4）1.000.980.97重度（F3）0.980.981.00輕度（F2）0.830.860.8423典型 臨床 應(yīng)用核心 關(guān)鍵 技術(shù)影像組學(xué)腫瘤大數(shù)據(jù) 智能診斷腫瘤

15、 治療 效果 評估腫瘤預(yù)后生存期預(yù)測精準(zhǔn)腫瘤 分割標(biāo)注海量 特征 提取 篩選人工智能模型構(gòu)建影像組學(xué)研究內(nèi)容24影像組學(xué)關(guān)鍵技術(shù)面對系列臨床問題，影像組學(xué)采用人工智能等方法進(jìn)行分析研究以實(shí)現(xiàn)臨床輔助決策腫瘤分割特征提取特征降維模型構(gòu)建強(qiáng)度形狀紋理小波腫瘤分期預(yù)后分析輔助診斷臨床空間映射神經(jīng)網(wǎng)絡(luò)遞歸排除圖割算法區(qū)域生長稀疏選擇腫瘤分型水平集分水嶺2526數(shù)為82.15%中心池 雙分支 多尺度 化運(yùn)算 網(wǎng)絡(luò)融 輸入提 保留關(guān) 合2D和 取多尺 鍵特征 3D信息 度特征對組織粘連和空腔等多種肺結(jié)節(jié)分割精度較高在LIDC公開數(shù)據(jù)集493例肺結(jié)節(jié)上分割Dice系影像組學(xué)關(guān)鍵技術(shù)精準(zhǔn)腫瘤分割Shuo Wa

16、ng, et al, Medical Image Analysis, 40: 172183, 2017提出中心池化卷積神經(jīng)網(wǎng)絡(luò)分割肺壁粘連等多種肺結(jié)節(jié)多種挑戰(zhàn)性結(jié)節(jié)分割27影像組學(xué)關(guān)鍵技術(shù)特征提取G L C MG L R L MG L S Z MN G T DM特征描述高通量影 像學(xué) 特征強(qiáng)度最大值、標(biāo)準(zhǔn)方差、能量等經(jīng)驗(yàn)特征 文本信息形狀 緊密度、最長直徑、體積等 紋理 灰度共生矩陣特征、和熵等 小波 邊界、自由與粘貼面積比等毛刺癥、分葉癥、胸膜凹陷等 年齡、性別、吸煙、家族史等基因信息病理信息EGFR突變、ALK突變、HER2病理分化程度、鱗癌、腺癌、癌胚抗原CEA將計(jì)算機(jī)定量特征、經(jīng)驗(yàn)特征

17、、文本信息、基因 信息和病理信息相結(jié)合，全面量化腫瘤異質(zhì)性。強(qiáng) 度形狀紋 理小波影像組學(xué)關(guān)鍵技術(shù)特征降維稀疏選擇特征數(shù)高維度特征包 含海量信息，需特征降維以剔除無關(guān)信息獲取關(guān)鍵信息特征數(shù)遞歸排除準(zhǔn)確率特征 輸出特征 輸入神經(jīng)網(wǎng)絡(luò)特征輸入特征輸出空間映射四類主要特征降維方法28影像組學(xué)關(guān)鍵技術(shù)模型構(gòu)建自主挖掘與臨床問題相關(guān)的 影像組學(xué)特征，構(gòu)建影像特 征與臨床問題的分類模型。針對具體臨床問題，建立計(jì)算機(jī)定量影像特征與 所研究臨床研究問題標(biāo)簽之間的分類模型。從影像大數(shù)據(jù)原始像素出發(fā)， 從影像大數(shù)據(jù)原始像素出發(fā)，29提取高維手工設(shè)計(jì)特征并進(jìn) 行特征選擇，構(gòu)建影像特征 與臨床問題的分類模型。SVM 模

18、型CNN 模型影像組學(xué)關(guān)鍵技術(shù)模型可視化因子納入回歸分析模型構(gòu)建諾模圖臨床預(yù)后因素(p0.05)影像預(yù)后標(biāo)簽(p512*512像素，數(shù)據(jù)層厚：0.625-2.5mm病理分類、TNM分期、復(fù)發(fā)轉(zhuǎn)移等信息年齡、性別、是否吸煙等藥物治療、手術(shù)治療、放化療、基因靶向治療等藥物用量、治療次數(shù)、靶向藥物類型等2年以上病人隨訪，明確腫瘤進(jìn)展和死亡時(shí)間預(yù)后信息基因信息致病基因突變、相關(guān)基因回路詳細(xì)參考中國科學(xué)院分子影像重點(diǎn)實(shí)驗(yàn)室合作醫(yī)院影像組學(xué)數(shù)據(jù)規(guī)范細(xì)則數(shù)據(jù)資源平臺(2/3)格式規(guī)范示例39已構(gòu)建了較大規(guī)模的多中心、多腫瘤、多模態(tài)腫瘤影像 組學(xué)臨床資源庫，涵蓋中國三大高發(fā)癌種，數(shù)據(jù)萬余例比美國癌癥數(shù)據(jù)庫TC

19、GA多近5千例美國NIHTCGA實(shí)驗(yàn)室數(shù)據(jù)庫總計(jì)1107715720肺癌10316800乳腺癌11001520肝癌3771260其它癌85696140數(shù)據(jù)資源平臺(3/3)食管癌 200例 頭頸癌 278例肝癌1260例胃癌 800例結(jié)直腸癌 542例腦膠質(zhì)瘤 378例 脊索瘤 155例 垂體瘤 322例兒童水母細(xì)胞瘤 82例乳腺癌1520例肺癌6800例宮頸癌 160例腎癌 60例鼻咽癌 318例403DMedMITK輔助診斷系統(tǒng)(1/3)醫(yī)學(xué)影像分析算法平臺WindowsLinuxMac操作 系統(tǒng)MITK：集成化醫(yī)學(xué)影像分析C+類庫3DMed：面向用戶的醫(yī)學(xué)影像分析平臺統(tǒng)一接口框架一致基礎(chǔ) 設(shè)計(jì)優(yōu)化硬件內(nèi)存加速重建