基于人工智能和大數(shù)據(jù)的醫(yī)療影像組學(xué)應(yīng)用課件

1、基于人工智能和大數(shù)據(jù)的醫(yī)療影像組學(xué)應(yīng)用技術(shù)創(chuàng)新，變革未來(lái)議 程2智能醫(yī)療研究背景智能醫(yī)療研究?jī)?nèi)容智能醫(yī)療未來(lái)方向傳 統(tǒng) 醫(yī) 療智 能 醫(yī) 療背景：現(xiàn)在是發(fā)展智能醫(yī)療最佳時(shí)機(jī)人工智能技術(shù)進(jìn)步醫(yī)療大數(shù)據(jù)不斷積累智能醫(yī)療發(fā)展的最佳時(shí)機(jī)人腦 + 大數(shù)據(jù) + 人工智能3人腦 + 小數(shù)據(jù)4背景智能醫(yī)療發(fā)展趨勢(shì)臨床問(wèn)題導(dǎo)向精準(zhǔn)輔助決策計(jì)算能力驅(qū)動(dòng)的疾病篩查術(shù)前新 輔助療 效評(píng)估術(shù)中淋 巴結(jié)轉(zhuǎn) 移預(yù)測(cè)術(shù)后化 療必要 性預(yù)測(cè)Google糖網(wǎng)病、皮膚癌篩查肺癌、食管癌、乳腺癌早期篩查臨床科研商業(yè)應(yīng)用背景：未來(lái)的醫(yī)學(xué)影像實(shí)現(xiàn)綜合信息引自Roderic Pettigrew, RSNA 20175 醫(yī)學(xué)影像中心飛機(jī)駕駛

2、艙(綜合信息中心)臨床醫(yī)生飛行員(數(shù)據(jù)分析處理專家)背景：未來(lái)的醫(yī)學(xué)影像實(shí)現(xiàn)綜合信息引自Roderic Pettigrew, RSNA 20176 信息變革與人工智能發(fā)展下的影像科醫(yī)生人工智能是否會(huì)替代影像科醫(yī)生 無(wú)法下定論，但是那些使用人工 智能技術(shù)的影像科醫(yī)生，一定會(huì) 代替那些不使用人工智能技術(shù)的 影像科醫(yī)生！Radiologists using AI willreplace those who do not!Llus DonosoIS3R國(guó)際影像戰(zhàn)略 策略研討會(huì)副主席 巴塞羅那大學(xué)臨床醫(yī)學(xué)院放射科主任7信息革命 Informatics Revolution未來(lái)的影像科醫(yī)生應(yīng)該是影像信息學(xué)

3、專家!From radiologists to imaging information expert!人工智能技術(shù)在新一代無(wú)創(chuàng)診療中的應(yīng)用ASCO2018壓軸報(bào)告：Next-Generation Diagnostics Beyond TissueDana-Farber 癌癥 研究所首席研究員 Geoffrey Oxnard, MD液體活檢技術(shù)可更加便捷地在醫(yī)療系統(tǒng) 中實(shí)現(xiàn)肺癌的早期檢測(cè)和篩查，但隨著 樣本量增加，機(jī)器學(xué)習(xí)方法將有效提高 檢測(cè)精度、提高測(cè)試性能。人工智能技術(shù)是輔助新一代無(wú)創(chuàng)診療 技術(shù)發(fā)展的重要工具南加州大學(xué)Dornsife 生物科學(xué)學(xué)院院長(zhǎng)Peter Kuhn, PhD在腫瘤療效

4、評(píng)估中，基于液體活檢技術(shù) 的基因蛋白組學(xué)和基于深度學(xué)習(xí)方法的 智能影像評(píng)估可有效預(yù)測(cè)患者預(yù)后生存。8腫 瘤 大 小5mm1kg左 右腫瘤520年13年細(xì)胞表達(dá)生物分子異常正 ?；?異常開始 增殖前癌 病變形成癌灶出現(xiàn) 病狀死 亡轉(zhuǎn)移傳統(tǒng)成像技術(shù)難以實(shí)現(xiàn)早期微小腫瘤成像基因技術(shù) 檢測(cè)早期 基因異常人工智能醫(yī)療？大數(shù)據(jù) 影像組學(xué)影像組學(xué)融合臨床、基因和影像大數(shù)據(jù)信息，基于人工智能技術(shù)為實(shí)現(xiàn)精準(zhǔn)診斷提供新機(jī)遇基因異常新陳代謝異常器官結(jié)構(gòu)異常時(shí) 間影像組學(xué)為癌癥智能診療提供新機(jī)遇9影像組學(xué)概念概念完善概念提出臨床應(yīng)用Nat. Comm. 2014, 5: 4006EJC 2012, 48: 441-

5、446MRI 2012, 30(9): 1234.醫(yī)療影像數(shù)據(jù)定量特征提取人工智能模型臨床輔助決策微觀的基因或蛋白質(zhì)模式改變?cè)诤暧^影像上有所表達(dá)，通過(guò)深 度挖掘影像特征，可以反映人體組織、細(xì)胞和基因水平的變化影像組學(xué)結(jié)合醫(yī)學(xué)影像、基因和臨床大數(shù)據(jù)，利用人工智能方 法高通量地提取并分析腫瘤信息，為臨床提供輔助決策支持10報(bào)告內(nèi)容11智能醫(yī)療研究背景智能醫(yī)療研究?jī)?nèi)容智能醫(yī)療未來(lái)方向典型 臨床 應(yīng)用核心 關(guān)鍵 技術(shù)影像組學(xué)腫瘤大數(shù)據(jù) 智能診斷腫瘤 治療 效果 評(píng)估腫瘤預(yù)后生存期預(yù)測(cè)精準(zhǔn)腫瘤 分割標(biāo)注海量 特征 提取 篩選人工智能模型構(gòu)建影像組學(xué)研究?jī)?nèi)容12影像組學(xué)典型臨床應(yīng)用概述術(shù)前 診斷影像組學(xué)術(shù)

6、中 評(píng)估術(shù)后 預(yù)測(cè)腫瘤 病理 智能 分型癌癥 轉(zhuǎn)移 智能 診斷智能智能預(yù)測(cè)預(yù)測(cè)患者患者生存預(yù)后Clinical Cancer Research 2016Clinical Cancer Research 2017Journal of Clinical Oncology 2016 Science Translational Medicine 2015Nature Communications 2014Clinical Cancer Research 2016 13新 輔助 療效 評(píng)估抗 血管 療效 評(píng)估典型臨床應(yīng)用結(jié)直腸癌診療全過(guò)程覆蓋術(shù)前術(shù)中術(shù)后新輔助治療是否達(dá)到pCR？治療過(guò)程輔助解決關(guān)鍵臨床

7、問(wèn)題是否需要進(jìn)行淋巴結(jié)清掃？是否需要進(jìn)行輔助放化療？腫瘤診療全過(guò)程個(gè)體化定量分析Clinical Cancer Research, 2017, 23(23): 7253-62.Journal of Clinical Oncology, 2016, 34(18):2157.14Journal of Clinical Oncology, 2011, 29(23):3163.典型臨床應(yīng)用結(jié)直腸癌新輔助治療評(píng)估結(jié)直腸癌術(shù)前難以評(píng)估新輔助療效，pCR患者過(guò)度治療臨床問(wèn)題應(yīng)用 效果臨床 數(shù)據(jù)222例新輔助放化療后直腸 癌患者多模態(tài)磁共振成像實(shí)現(xiàn)直腸癌新輔助放化療效果定量評(píng)估AUC0.9方法智能 提取多模態(tài)

8、磁共振成像特征，進(jìn)行人工智能分析北京大學(xué)腫瘤醫(yī)院、中科院自動(dòng)化研究所醫(yī)工交叉合作Zhenyu Liu et al, Clinical Cancer Research, 2017, 23(23): 7253.SCI IF (2016): 9.61915廣東省人民醫(yī)院、中科院自動(dòng)所合作預(yù)測(cè)結(jié)直腸癌淋巴結(jié)轉(zhuǎn)移結(jié)直腸癌淋巴結(jié)轉(zhuǎn)移難以準(zhǔn)確判斷，術(shù)中采用盲目清掃臨床問(wèn)題應(yīng)用 效果臨床 數(shù)據(jù)500余例臨床病理、影像數(shù) 據(jù)完整的結(jié)直腸癌患者數(shù)據(jù)將結(jié)直腸癌淋巴結(jié)清掃的假陽(yáng)性率從70%降低到30%智能 方法選擇關(guān)鍵影像特征結(jié)合臨床 病理信息建立諾莫預(yù)測(cè)模型典型臨床應(yīng)用結(jié)直腸癌淋巴結(jié)轉(zhuǎn)移預(yù)測(cè)Yanqi Huang,

9、 et al, Journal of Clinical Oncology, 2016, 34(18):2157. SCI IF(2016): 24.9816典型臨床應(yīng)用-結(jié)直腸癌輔助治療必要性預(yù)測(cè)結(jié)直腸癌術(shù)后遠(yuǎn)處轉(zhuǎn)移、局部復(fù)發(fā)風(fēng)險(xiǎn)難以準(zhǔn)確預(yù)測(cè)臨床問(wèn)題應(yīng)用 效果臨床 數(shù)據(jù)歐洲5個(gè)RCT實(shí)驗(yàn)2795例患 者臨床、病理和隨訪數(shù)據(jù)術(shù)后局部復(fù)發(fā)、遠(yuǎn)處轉(zhuǎn)移預(yù)測(cè)列線圖寫入AJCC指南分析 方法多變量Cox生存分析劃分風(fēng) 險(xiǎn)級(jí)別，繪制K-M生存曲線荷蘭Maastricht大學(xué)綜合歐洲5個(gè)RCT數(shù)據(jù)研究預(yù)測(cè)術(shù)后復(fù)發(fā)轉(zhuǎn)移Valentini V, et al, Journal of Clinical Oncolog

10、y, 2011, 29(23):3163. SCI IF(2016): 24.9817典型臨床應(yīng)用-晚期肺癌預(yù)后預(yù)測(cè)與醫(yī)科院腫瘤醫(yī)院、上海肺科醫(yī)院、廣東省人民醫(yī)院和華西醫(yī)院合作Jiangdian Song et al, Clinical Cancer Research, 2018. accepted晚期EGFR突變肺癌患者靶向治療中無(wú)法預(yù)測(cè)預(yù)后效果臨床問(wèn)題應(yīng)用 效果臨床 數(shù)據(jù)500余例晚期EGFR突變靶 向治療患者多中心CT數(shù)據(jù)實(shí)現(xiàn)TKI靶向治療的無(wú)進(jìn)展生存期個(gè)體化精準(zhǔn)預(yù)測(cè)智能 方法LASSO-COX構(gòu)建反映靶向治療無(wú)進(jìn)展生存期預(yù)測(cè)模型18SCI IF (2016): 9.619典型臨床應(yīng)用-

11、晚期鼻咽癌預(yù)后預(yù)測(cè)臨床指標(biāo)對(duì)晚期鼻咽癌的放療預(yù)后預(yù)測(cè)精度低臨床問(wèn)題應(yīng)用 效果臨床 數(shù)據(jù)118 例晚期鼻咽癌T1和DCEMR圖像，隨訪時(shí)間大于3年有效預(yù)測(cè)晚期鼻咽癌患者預(yù)后，準(zhǔn)確度超臨床指標(biāo)10%智能 方法提取970個(gè)組學(xué)特征結(jié)合臨 床病理信息進(jìn)行智能分析廣東省人民醫(yī)院與中科院自動(dòng)化所醫(yī)工合作Clinical Cancer Research, 2017. DOI：10.1158/1078-0432.CCR-16-2910.19SCI IF (2016): 9.61920Moshim Kukar et al, JAMA Surgery, 2015, 150(6):555. (SCI IF: 8.4

12、98)食管癌新輔助治療后是否達(dá)到pCR難以定量評(píng)估臨床問(wèn)題應(yīng)用 效果臨床 數(shù)據(jù)77例新輔助治療食管腺癌患 者治療前后的PET-CT數(shù)據(jù)PET影像特征對(duì)非pCR檢測(cè)的陽(yáng)性預(yù)測(cè)值超過(guò)90%智能 方法比較定量和定性特征在pCR和非pCR兩組患者間的差異影像組學(xué)新模態(tài)應(yīng)用PET影像組學(xué)美國(guó)羅斯韋爾帕克腫瘤中心多科室協(xié)作評(píng)價(jià)食管癌新輔助療效21影像組學(xué)新模態(tài)應(yīng)用超聲影像組學(xué)(1/3)應(yīng)用 效果影像學(xué)方法難以精確分期乙肝纖維化程度肝硬化、重度肝纖維化分期診斷精度等同穿刺病理臨床 多中心654例慢性乙肝患者數(shù)據(jù)超聲彈性成像+穿刺病理智能深度學(xué)習(xí)CNN方法智能識(shí)方法別彈性圖像異質(zhì)性特征臨床問(wèn)題Kun Wang

13、, et al, Gut, 2018. DOI: 10.1136/gutjnl -2018-316204. SCI IF: 16.658中山大學(xué)第三附屬醫(yī) 院、301醫(yī)院與中科院 自動(dòng)化所醫(yī)工合作影像組學(xué)新模態(tài)應(yīng)用超聲影像組學(xué)(2/3)0.810.65肝硬化（F4）重度（F3）輕度（F2）0.740.54分期診斷精度是否提高？每個(gè)病人應(yīng)取幾張圖像？分期診斷精度（AUC）人工超聲彈血清學(xué) 智能性成像檢測(cè)肝硬化診斷精度（AUC）人工 智能超聲彈性 成像每人1 張圖像0.840.86每人3 張圖像0.960.85每人5 張圖像0.980.86超聲影像組學(xué)分期診斷精度全面超越超聲彈性成像EFSUMB指

14、南:建議每人3張超聲影像組學(xué):5張會(huì)更好0.99 0.85 0.98 0.850.7022影像組學(xué)新模態(tài)應(yīng)用超聲影像組學(xué)(3/3)炎癥是否影響診斷精度？影像組學(xué)是否可推廣？肝硬化診斷精度（AUC）人工 智能超聲彈性 成像輕度 炎癥0.990.87重度 炎癥0.930.69超聲影像組學(xué)：不受影響超聲彈性成像：影響顯著超聲影像組學(xué)診斷效果魯棒， 極具臨床推廣潛力人工智能診斷精度（AUC）驗(yàn)證 醫(yī)院1驗(yàn)證 醫(yī)院2驗(yàn)證 醫(yī)院3肝硬化（F4）1.000.980.97重度（F3）0.980.981.00輕度（F2）0.830.860.8423典型 臨床 應(yīng)用核心 關(guān)鍵 技術(shù)影像組學(xué)腫瘤大數(shù)據(jù) 智能診斷腫瘤

15、 治療 效果 評(píng)估腫瘤預(yù)后生存期預(yù)測(cè)精準(zhǔn)腫瘤 分割標(biāo)注海量 特征 提取 篩選人工智能模型構(gòu)建影像組學(xué)研究?jī)?nèi)容24影像組學(xué)關(guān)鍵技術(shù)面對(duì)系列臨床問(wèn)題，影像組學(xué)采用人工智能等方法進(jìn)行分析研究以實(shí)現(xiàn)臨床輔助決策腫瘤分割特征提取特征降維模型構(gòu)建強(qiáng)度形狀紋理小波腫瘤分期預(yù)后分析輔助診斷臨床空間映射神經(jīng)網(wǎng)絡(luò)遞歸排除圖割算法區(qū)域生長(zhǎng)稀疏選擇腫瘤分型水平集分水嶺2526數(shù)為82.15%中心池 雙分支 多尺度 化運(yùn)算 網(wǎng)絡(luò)融 輸入提 保留關(guān) 合2D和 取多尺 鍵特征 3D信息 度特征對(duì)組織粘連和空腔等多種肺結(jié)節(jié)分割精度較高在LIDC公開數(shù)據(jù)集493例肺結(jié)節(jié)上分割Dice系影像組學(xué)關(guān)鍵技術(shù)精準(zhǔn)腫瘤分割Shuo Wa

16、ng, et al, Medical Image Analysis, 40: 172183, 2017提出中心池化卷積神經(jīng)網(wǎng)絡(luò)分割肺壁粘連等多種肺結(jié)節(jié)多種挑戰(zhàn)性結(jié)節(jié)分割27影像組學(xué)關(guān)鍵技術(shù)特征提取G L C MG L R L MG L S Z MN G T DM特征描述高通量影 像學(xué) 特征強(qiáng)度最大值、標(biāo)準(zhǔn)方差、能量等經(jīng)驗(yàn)特征 文本信息形狀 緊密度、最長(zhǎng)直徑、體積等 紋理 灰度共生矩陣特征、和熵等 小波 邊界、自由與粘貼面積比等毛刺癥、分葉癥、胸膜凹陷等 年齡、性別、吸煙、家族史等基因信息病理信息EGFR突變、ALK突變、HER2病理分化程度、鱗癌、腺癌、癌胚抗原CEA將計(jì)算機(jī)定量特征、經(jīng)驗(yàn)特征

17、、文本信息、基因 信息和病理信息相結(jié)合，全面量化腫瘤異質(zhì)性。強(qiáng) 度形狀紋 理小波影像組學(xué)關(guān)鍵技術(shù)特征降維稀疏選擇特征數(shù)高維度特征包 含海量信息，需特征降維以剔除無(wú)關(guān)信息獲取關(guān)鍵信息特征數(shù)遞歸排除準(zhǔn)確率特征 輸出特征 輸入神經(jīng)網(wǎng)絡(luò)特征輸入特征輸出空間映射四類主要特征降維方法28影像組學(xué)關(guān)鍵技術(shù)模型構(gòu)建自主挖掘與臨床問(wèn)題相關(guān)的 影像組學(xué)特征，構(gòu)建影像特 征與臨床問(wèn)題的分類模型。針對(duì)具體臨床問(wèn)題，建立計(jì)算機(jī)定量影像特征與 所研究臨床研究問(wèn)題標(biāo)簽之間的分類模型。從影像大數(shù)據(jù)原始像素出發(fā)， 從影像大數(shù)據(jù)原始像素出發(fā)，29提取高維手工設(shè)計(jì)特征并進(jìn) 行特征選擇，構(gòu)建影像特征 與臨床問(wèn)題的分類模型。SVM 模

18、型CNN 模型影像組學(xué)關(guān)鍵技術(shù)模型可視化因子納入回歸分析模型構(gòu)建諾模圖臨床預(yù)后因素(p0.05)影像預(yù)后標(biāo)簽(p512*512像素，數(shù)據(jù)層厚：0.625-2.5mm病理分類、TNM分期、復(fù)發(fā)轉(zhuǎn)移等信息年齡、性別、是否吸煙等藥物治療、手術(shù)治療、放化療、基因靶向治療等藥物用量、治療次數(shù)、靶向藥物類型等2年以上病人隨訪，明確腫瘤進(jìn)展和死亡時(shí)間預(yù)后信息基因信息致病基因突變、相關(guān)基因回路詳細(xì)參考中國(guó)科學(xué)院分子影像重點(diǎn)實(shí)驗(yàn)室合作醫(yī)院影像組學(xué)數(shù)據(jù)規(guī)范細(xì)則數(shù)據(jù)資源平臺(tái)(2/3)格式規(guī)范示例39已構(gòu)建了較大規(guī)模的多中心、多腫瘤、多模態(tài)腫瘤影像 組學(xué)臨床資源庫(kù)，涵蓋中國(guó)三大高發(fā)癌種，數(shù)據(jù)萬(wàn)余例比美國(guó)癌癥數(shù)據(jù)庫(kù)TC

19、GA多近5千例美國(guó)NIHTCGA實(shí)驗(yàn)室數(shù)據(jù)庫(kù)總計(jì)1107715720肺癌10316800乳腺癌11001520肝癌3771260其它癌85696140數(shù)據(jù)資源平臺(tái)(3/3)食管癌 200例 頭頸癌 278例肝癌1260例胃癌 800例結(jié)直腸癌 542例腦膠質(zhì)瘤 378例 脊索瘤 155例 垂體瘤 322例兒童水母細(xì)胞瘤 82例乳腺癌1520例肺癌6800例宮頸癌 160例腎癌 60例鼻咽癌 318例403DMedMITK輔助診斷系統(tǒng)(1/3)醫(yī)學(xué)影像分析算法平臺(tái)WindowsLinuxMac操作 系統(tǒng)MITK：集成化醫(yī)學(xué)影像分析C+類庫(kù)3DMed：面向用戶的醫(yī)學(xué)影像分析平臺(tái)統(tǒng)一接口框架一致基礎(chǔ) 設(shè)計(jì)優(yōu)化硬件內(nèi)存加速重建