深度學習原理與實踐chapter10

第十章TensorFlow案例--醫(yī)學應用第十章TensorFlow案例--醫(yī)學應用開源醫(yī)學圖像分析平臺DLTK開源醫(yī)學圖像分析平臺DLTK安裝運行開源醫(yī)學圖像分析平臺DLTK使用開源醫(yī)學圖像分析平臺DLTK案例

開源醫(yī)學圖像分析平臺DLTK模型

開源醫(yī)學圖像分析平臺DLTK

DLTK是底層為Tensorflow的生物醫(yī)學醫(yī)學圖像的深度學習工具包，避免用戶重復編寫Tensorflow具有相同功能的模型等程序模塊。

深度學習庫提供了底層操作庫（例如張量乘法等），然而對醫(yī)學圖像還不能處理（如可區(qū)分的3D上采樣層等）。由于圖像的額外空間維度，如多序列腦磁共振多到5維，會導致內存不足的問題（例如，存儲1千張尺寸為325x512x256像素的CT圖像的數據集的副本，需要268GB）。另外由于采集的性質不同，一些圖像需要進行特殊的預處理（例如，灰度歸一化、偏場校正、降噪、空間歸一化或配準等）。DLTK的目標是提供解決這些問題的模塊，為專家提供成熟的醫(yī)學圖像領域的深度學習平臺。

開源醫(yī)學圖像分析平臺DLTK

生物醫(yī)學圖像通常是體積圖像,具有3維數據；有時是4維數據（加上時間維度），甚至5維數據（多序列核磁共振圖像）

開源醫(yī)學圖像分析平臺DLTK

安裝：pipinstalltensorflow-gpu>=1.4.0pipinstalldltk或者源碼安裝：cdMY_WORKSPACE_DIRECTORYgitclonehttps:///DLTK/DLTK.git

或源碼下載的是zip文件，解壓后，cdDLTKpipinstall–e.源碼安裝可以用importdltk

導入自己修改的代碼。運行：下載數據：到data/IXI_HH目錄，運行pythondownload_IXI_HH.pyexamples/tutorials目錄中有培訓代碼。examples/applications中有應用代碼。Dltk/networks目錄中有模型代碼。cdMY_WORKSPACE_DIRECTORY/DLTKjupyternotebook--ip=*--portMY_PORT

開源醫(yī)學圖像分析平臺DLTK

DLTK提供了多種數據讀入方法。具體選取何種方法取決于其性能方面的權衡、以及在訓練期間可能成為瓶頸等因素。使用記憶和饋送詞典：先從磁盤讀取所有.nii文件，并將所有訓練樣本存儲在內存中。通過創(chuàng)建一個網絡圖節(jié)點tf.placeholder，將內存保存的數據在訓練期間通過feed_dict饋送到網絡圖節(jié)點tf.placeholder。因為它避免了從磁盤連續(xù)讀取數據，這個方法通常最快且最容易實現的。然而，需要將整個數據庫中的樣本數據（包括訓練示例和驗證示例）保存在內存中，這對于大型圖像數據庫或大型圖像文件是不可行的。

開源醫(yī)學圖像分析平臺DLTK

數據讀取使用TFRecords數據庫：一般來說，訓練樣本的數據庫往往很大，無法一次完全裝入到內存中。TFRecords

通過快速直接讀寫存儲在磁盤中訓練樣本，而不必先將樣本數據存入內存。但是TFRecords需要存儲整個訓練數據庫到另一個格式的副本。如果數據庫很大（如幾個TB），將造成硬盤空間不夠的問題。

開源醫(yī)學圖像分析平臺DLTK

數據讀取使用本地的python生成器yield。創(chuàng)建一個read_fn（）來直接加載圖像數據。這種方法避免創(chuàng)建圖像數據庫的其他副本，但是比TFRecords慢多了，因為生成器無法并行讀取和映射函數。函數中使用yield，可以使函數變成生成器。一個函數如果是生成一個數組，就必須把數據存儲在內存中，如果使用生成器，則在調用的時候才生成數據，可以節(jié)省內存。生成器方法調用時，不會立即執(zhí)行。需要調用next()或者使用for循環(huán)來執(zhí)行?？梢园褃ield的功效理解為暫停和播放。在一個函數中，程序執(zhí)行到yield語句的時候，程序暫停，返回yield后面表達式的值，在下一次調用的時候，從yield語句暫停的地方繼續(xù)執(zhí)行，如此循環(huán)，直到函數執(zhí)行完。除了next函數之外，還有send函數也能獲得生成器的下一個yield后面表達式的值，不同的是send函數可以向生成器傳參。

開源醫(yī)學圖像分析平臺DLTK

生物醫(yī)學圖像數據需要進行標準化預處理。標準化通常為消除數據中獲取方式引起的一些差異（例如，不同的主體姿勢或圖像對比度的差異等），從而獲得真正的病理學引起的差異。下面介紹一些最常見的標準化方式。三維像素強度的標準化。定性圖像采用零均值單位方差標準化；然而定量成像測量物理量，可適用裁剪和/或縮放，可采用離差標準化

開源醫(yī)學圖像分析平臺DLTK

空間標準化

開源醫(yī)學圖像分析平臺DLTK

數據增強由于獲取樣本數據費時、費力和費錢，通常情況下樣本的數據量有限，不可能涵蓋全部所需的變化。如軟組織器官存在各種各樣的正常形狀、病變（如癌癥）的形狀以及位置的變化。我們可以通過生成模擬數據來增加訓練圖像樣本數量。這種方法稱之為數據增強。數據增強分為強度增強和空間增強。強度增強一般有向訓練圖像添加噪聲圖像、添加隨機偏移或對比度的圖像。空間增強一般有添加在預期對稱的方向上翻轉圖像張量（如在腦部掃描時左/右翻轉），隨機變形（如模仿器官形狀的差異），沿軸的旋轉（如用于模擬不同的超聲視角），對補丁進行隨機裁剪和訓練等數據。

開源醫(yī)學圖像分析平臺DLTK

類別數據平衡在很多機器學習任務中，訓練集中可能會存在某個或某些類別下的樣本數遠大于另一些類別下的樣本數目，稱之為類別不平衡。類別不平衡影響機器學習達到的效果。通常，圖像級（例如疾病的分類）或三維像素級（即分割）標簽不能以相同的比率獲得，這意味著網絡在訓練期間將不會得到每個分類相同數量的樣本實例。由于大多數損失是整個批次的平均成本，因此網絡將首先學會正確預測最常見的類。然而，訓練期間的類不平衡將對罕見現象（例如圖像分割中的小病變）產生更大的影響，并且在很大程度上影響測試準確性。DLTK使用調整采樣和損失函數導入方法解決類別數據不平衡問題。調整采樣方法包括：a）從每個類中抽取相等的量，b）考慮對大類下的過度樣本進行欠采樣，即刪除部分樣本，或c）考慮對小類下的低頻樣本進行過采樣，即添加部分樣本的副本。調整損失函數包括與經典的三維像素平均損失（例如分類交叉熵，L2等）不同，DLTK使用固有平衡的損失函數（例如smoothDiceloss，平均所有類的Dice系數），或者根據類別頻率重新加權每個預測的損失（例如，median-frequencyre-weightedcross-entropy）。

開源醫(yī)學圖像分析平臺DLTK案例多通道腦MR圖像的圖像分割數據集采用MRBrainS挑戰(zhàn)數據集（數據集較小）。該圖像分割應用程序學習預測多序列MR圖像（T1加權，T1反轉恢復和T2FLAIR）中的腦組織和白質病變。神經網絡模型采用具有殘差單元（residualunits）的3DU-Net網絡提取特征。該應用使用TensorBoard對每個標簽可以顯示其Dice系數的精度。

開源醫(yī)學圖像分析平臺DLTK案例

T1加權腦MR圖像的年齡回歸和性別分類開源醫(yī)學圖像分析平臺DLTK案例深度卷積自動編碼器網絡測試圖像和重建開源醫(yī)學圖像分析平臺DLTK案例

T1W腦MR圖像的簡單超分辨率重建開源醫(yī)學圖像分析平臺DLTK模型

圖像分割FCN開源醫(yī)學圖像分析平臺DLTK模型圖像分割U-Net開源醫(yī)學圖像分析平臺DLTK模型DeepMedic針對腦部損傷分割，傳統的圖像分割算法效果不佳，KamnitsasK,LedigC,NewcombeVFJ,etal.于2017年提出的DeepMedic

對腦部損傷分割進行了改進。DeepMedic具有以下的不同。DeepMedic具有以下創(chuàng)新：DeepMedic

采用全連接訓練（densetraining）方法。采用全卷積操作一次對多個鄰接的像素點做出全連接預測（denseprediction），從而節(jié)省三維計算代價；能夠處理醫(yī)學分割問題中經常遇到的類不均衡問題。multi-scale方法。采用dualCNN網絡平行構架同時處理高/低分辨率的圖像。dualCNN網絡平行構架包括正常圖像分辨率通道和低分辨率通道，能夠保證正常分辨率通道中能夠提取出很好的細節(jié)信息（局部信息），在低分辨率通道中能夠保持較好的全局信息（大范圍信息）。因此能夠獲得精確的分割信息和準確的定位信息。采用全連接條件隨機場（3DFullyConnectedConditionalRandomFields，3DFC-CRFs）進行空間正則化，改善圖像分割的邊緣光滑度。

開源醫(yī)學圖像分析平臺DLTK模型卷積自編碼器利用了傳統自編碼器的無監(jiān)督的學習方式，結合了卷積神經網絡的卷積和池化操作，從而實現特征提取，最后通過堆疊，實現一個深層的神經網絡。代碼和說明：/DLTK/DLTK/tree/master/dltk/networks/autoencoder/

convolutional_autoencoder.py開源醫(yī)學圖像分析平臺DLTK模型深度卷積對抗生成網絡(DCGAN)DCGAN（DeepConvolutionalGenerativeAdversarialNetworks）是生成對抗網絡（GenerativeAdversarialNetworks）的一種延伸，將卷積網絡引入到生成式模型做無監(jiān)督的訓練，利用卷積網絡強大的特征提取能力來提高生成網絡的學習效果。DCGAN有以下特點：1.在判別器模型中使用跨步卷積（stridedconvolutions）來替代空間池化（pooling），而在生成器模型中使用跨步反卷積（stridedtransposeconvolutions）。2.除了生成器模型的輸出層和判別器模型的輸入層，在網絡其它層上都使用了批處理標準化（BatchNormalization，BN）。使用批處理標準化可以穩(wěn)定學習，有助于處理初始化不良導致的訓練問題。3.刪除了全連接層，而直接使用卷積層連接生成器和判別器的輸入層以及輸出層。4.在生成器的輸出層使用Tanh激活函數，而在其它層使用ReLU激活函數；在判別器上使用leakyReLU激活函數。開源醫(yī)學圖像分析平臺DLTK模型深度卷積對抗生成網絡(DCGAN)開源醫(yī)學圖像分析平臺DLTK模型深度殘差網絡（ResNet）開源醫(yī)學圖像分析平臺DLTK模型超分辨率重建超分辨率技術（Super-Resolution）是指從觀測到的低分辨率圖像重建出相應的高分辨率圖像，在視屏監(jiān)控、衛(wèi)星圖像和醫(yī)學影像等領域都有重要的應用價值。超分辨率技術可分為從多張低分辨率圖像