醫(yī)學圖象三維重建及可視化技術研究

1、醫(yī)學圖象三維重建及可視化醫(yī)學圖象三維重建及可視化技術研究技術研究1 緒論緒論 1.1 引言引言 1.2 基于三維數(shù)據的建模與可視化基于三維數(shù)據的建模與可視化 1.三維數(shù)據的來源與分類 2.三維數(shù)據建模及可視化研究內容 數(shù)據預處理 建模 繪制與顯示 3.數(shù)據建模技術綜述 三維幾何模型 基于三維數(shù)據的建模方法 1)基于斷層輪廓的表面重建 2)基于體素的等值面重建 3)幾何變形模型 4)體素建模 1.3 1.3 醫(yī)學圖象三維重建技術綜述醫(yī)學圖象三維重建技術綜述 1 醫(yī)學圖象的預處理 2 醫(yī)學圖象的分割 3 三維重建方法 4 模型的網格簡化 1.4 1.4 醫(yī)學圖象三維重建在醫(yī)療中的應用醫(yī)學圖象三維重

2、建在醫(yī)療中的應用 1 在醫(yī)療診斷中的應用 2 在手術規(guī)劃及放射治療規(guī)劃中的應用 3 在整形與假肢外科中的應用 4 在虛擬手術及解剖教育中的應用 1.5 1.5論文背景及主要工作論文背景及主要工作 1 論文背景及研究意義 2 本文的主要工作 1) 圖象預處理，組織器官分割與提取 2) MC、MT算法構建表面幾何模型 3) 模型表面網格簡化，剖切與開窗 4) 由表面幾何模型轉換成實體幾何模型 5) 適用于適形放射治療規(guī)劃的醫(yī)學圖象 三維重建系統(tǒng)的開發(fā) 2醫(yī)學圖象預處理與人體組織的分割醫(yī)學圖象預處理與人體組織的分割 醫(yī)學圖象預處理醫(yī)學圖象預處理 分割流程分割流程 圖圖2.1 2.1 三維醫(yī)學圖象分割

3、流程三維醫(yī)學圖象分割流程 2.2 CT 2.2 CT、MRIMRI圖象的獲取與輸入圖象的獲取與輸入 2.2 2.2 二維圖象處理與規(guī)則體數(shù)據封裝二維圖象處理與規(guī)則體數(shù)據封裝 1 二維圖象濾波 (1) 鄰域平均法 (2) 中值濾波法 (3) 保持邊緣濾波法 2 斷層圖象間插值 3 三維規(guī)則體數(shù)據封裝 (1) 內存記錄方式 (2) 體數(shù)據文件格式 圖圖2.4 2.4 體數(shù)據內存記錄方式體數(shù)據內存記錄方式 2.3 交互分割過程交互分割過程 1 三維圖象二值化 其余若0),(1),( 21qzyxfqzyxf 二值化結果 圖圖2.8 2.8 斷層圖象二值化結果斷層圖象二值化結果 2 數(shù)學形態(tài)學操作進行

4、區(qū)域修整 (1) 二值形態(tài)學操作簡述 (a) (a) 原圖象原圖象 (b)(b)結構元素結構元素 (c)(c)對原圖象的腐蝕對原圖象的腐蝕 (d)(d)對腐蝕圖象的膨脹對腐蝕圖象的膨脹 圖圖2.9 2.9 開啟操作開啟操作 (a) (a)原圖象原圖象 (b)(b)結構元素結構元素 (c)(c)對原圖象的膨脹對原圖象的膨脹 (d)(d)對膨脹圖象的腐蝕對膨脹圖象的腐蝕 圖圖2.102.10閉合操作閉合操作 3 種子填充法進行組織提取 圖圖2.12 2.12 交互分割結果交互分割結果 圖圖2.13 2.13 對分割區(qū)域的重建對分割區(qū)域的重建 3 基于規(guī)則體數(shù)據的三維表面模型的基于規(guī)則體數(shù)據的三維表

5、面模型的構建構建 3.2.1 體素模型 (a) (a) 方向無關的三線性插值模型方向無關的三線性插值模型 (b) (b) 方向有關的三線性插值模型方向有關的三線性插值模型圖圖3.1 3.1 體素模型體素模型 3.2.2 等值面（IsoSurface）定義 1三線性插值結果 2等值面定義xyzazxayzaxyazayaxaazyxf76543210),(是常數(shù)cczyxfzyx,),(| ),(等值面是三次曲面 3.3 移動立方體（Marching Cubes）算 法抽取等值面 1 MC1 MC算法的基本原理算法的基本原理 a a 體素中等值面剖分方式的確定體素中等值面剖分方式的確定 1 1）

6、 如立方體頂點的數(shù)據值如立方體頂點的數(shù)據值等值面的值，則定義該頂點等值面的值，則定義該頂點位于等值面之外，記為位于等值面之外，記為“0 0”； 2 2） 如立方體頂點的數(shù)據值等值面的值，則定義該頂點如立方體頂點的數(shù)據值等值面的值，則定義該頂點位于等值之內，記為位于等值之內，記為“1 1”。 8 8個頂點，每個頂點共有個頂點，每個頂點共有2 2個狀態(tài)，因此共個狀態(tài)，因此共256256種組合狀態(tài)種組合狀態(tài) 根據互補對稱性根據互補對稱性, , 256 128 256 128 根據旋轉對稱性，根據旋轉對稱性， 256 15256 15 (1)體素中由三角片逼近的等值面計算 (2)三角片各頂點法向量計算

7、 2 等值面連接方式上的二義性 (a)(a)連接方式二義性的二維表示連接方式二義性的二維表示 (b) (b) 連接方式二義性的三維表示連接方式二義性的三維表示 圖圖3.5 3.5 拓撲不一致造成孔隙拓撲不一致造成孔隙 圖圖3.4 MC3.4 MC方法的二義性方法的二義性 3.3.3 漸近線判別法消除二義性 3.3.4 MC算法的重建結果及分析 256256256256109MRI109MRI表皮重建表皮重建 （b b）12812812812893CT93CT顱骨重建顱骨重建 （c c）12812812812893CT93CT表皮重建表皮重建 三角面片：三角面片：696889頂點：頂點：3473

8、22三角面片：三角面片：187559頂點：頂點：94015三角面片：三角面片：137799頂點：頂點：69331 圖圖3.83.8MCMC算法重建的表面模型算法重建的表面模型 3.4 移動四面體（Marching Tetrahedra）算法抽取等值面 3.4.1 MT算法的基本原理 圖圖3.9 3.9 立方體的四面體剖分立方體的四面體剖分 圖圖3.10 3.10 四面體中的等值面四面體中的等值面 3.4.2 四面體剖分的一致性處理 圖圖3.11 3.11 立方體剖分為四面體立方體剖分為四面體的不同方式的不同方式 圖圖3.12 3.12 兩相鄰立方體剖分不一致時共有兩相鄰立方體剖分不一致時共有面

9、的剖分情況面的剖分情況 圖圖3.133.13相鄰立方體公共面上的剖分一致性相鄰立方體公共面上的剖分一致性 3.4.3 相關性處理加速MT重建速度 1 體素內的相關性處理 2 體素間的相關性處理 圖圖3.14 3.14 剖分后立方體的頂點及棱邊編號剖分后立方體的頂點及棱邊編號 3.4.4 MT算法的重建結果及分析 (a) 128(a) 128128128113CT113CT顱骨重建顱骨重建 （b b）104104185185220CT220CT腳骨骼重建腳骨骼重建 (c) 128(c) 128128128113CT113CT表皮重建表皮重建 三角面片：三角面片：423998頂點：頂點：21190

10、5三角面片：三角面片：365858頂點：頂點：183056三角面片：三角面片：331290頂點：頂點：165808圖圖3.153.15MTMT算法重建的表面模型算法重建的表面模型4.三維模型的網格簡化與模型的剖切三維模型的網格簡化與模型的剖切 4.2 基于邊收縮的網格簡化算法 1 網格簡化算法簡述 （1 1）抽樣（）抽樣（SamplingSampling） （2 2）自適應細分）自適應細分(Adaptive subdivision)(Adaptive subdivision) （3 3）刪除）刪除 (Decimation)(Decimation) （4 4）頂點合并）頂點合并 （Vertex

11、mergingVertex merging） 2 基于邊收縮的網格簡化算法Hoppe采用顯式能量函數(shù)E（M）來度量簡化網格與原始網格的逼近度Hoppe96：其中Edist(M)為M的距離能量，它定義為點集到網格的距離平方：Espring(M)為彈性能量，這相當于在的每條邊上均放置一條彈性系數(shù)為k的彈簧，即： Escalar(M)度量M的標量屬性的精度，而Edisc(M)則度量了M上視覺不連續(xù)的特征線（如邊界線、側影輪廓線等）的幾何精度。 )()()()()(MEMEMEMEMEdiscscalarspringdistnividistKxdME12|)(|,()(KjijispringvvkME

12、,2|)()()(MEMEE 邊收縮過程示意圖邊收縮過程示意圖 (a) (a)收縮前收縮前 (b)(b)收縮后收縮后 圖圖4.14.1邊收縮過程邊收縮過程 4 網格簡化結果 MT重建結果重建結果 簡化簡化50 簡化簡化90簡化簡化90表面繪制表面繪制 MC重建結果簡化重建結果簡化50簡化簡化85 簡化簡化85表面繪制表面繪制4.3 三維模型的剖切 4.3.1 模型三角面片的剖切處理 1 平面方程的確定 ax + by + cz + d = 0 2 三角面片與剖切平面的求交檢測 定義空間一點定義空間一點P P（X,Y,ZX,Y,Z）, , 定義定義“距離距離”D D： D = aX + bY +

13、 cZ + dD = aX + bY + cZ + d 則有：則有： 1 1）若）若 D D0 0，P P點處在點處在A A半空間；半空間； 2 2）若）若 D D0 0，P P點處在平點處在平面上；面上； 3 3）若）若 D D0 0，P P點處在點處在B B半空間。半空間。 圖圖 4.64.6切面與三角面片的交切面與三角面片的交 3 三角面片與剖切面的切割運算 4 表面模型的剖切 (1)邊表和頂點表均為動態(tài)鏈表結構 (2)表面模型的剖切計算 class Cedgeclass Cedge class CedgeVertexclass CedgeVertex 4.4 剖切截面的生成 4.4.1

14、 邊界多邊形包含關系檢測與確定 1 封閉環(huán)的檢出 2 封閉輪廓的包含性檢測 夾角之和檢驗法夾角之和檢驗法: : 0n1iinii12 4.4.2 剖切面區(qū)域的三角剖分 1.任意平面多邊形Delaunay三角剖分示意圖圖4.11 圖4.7對應輪廓的三角剖分 4.5 手術開窗操作 開窗操作一般是用立方體或棱柱對重建模型進行切割，模型處于剖切體之內的部分被切割掉，之外的部分被保留下來。 4.6 實驗結果分析 圖圖4.12模型的剖切與開窗模型的剖切與開窗 (a)剖切剖切 (b)開窗開窗 (c)開窗開窗 5 由基于輪廓重建的表面模型構由基于輪廓重建的表面模型構建實體幾何模型建實體幾何模型 5.1 引言

15、5.2 相關工作 （1）提取邊界輪廓線 （2）提取輪廓線上的特征點 （3）輪廓對應 （4）三維表面重建 （a a）輪廓線）輪廓線 （b b）基礎輪廓表面模型）基礎輪廓表面模型 （c c）左分支表面模型）左分支表面模型 （d d）右分支表面模型）右分支表面模型 圖圖5.3 5.3 輪廓及表面子模型輪廓及表面子模型 5.3 實體幾何模型的構建 1 邊界模型的數(shù)據結構 圖圖5.4 5.4 系統(tǒng)系統(tǒng)B- repB- rep模型的數(shù)據結構及半邊的結構示意模型的數(shù)據結構及半邊的結構示意 2 實體造型的基本操作 歐拉特征關系： 其中v、e、f、s、h分別代表頂點、邊、小面、殼和孔?；镜臍W拉操作包括如下互逆

16、的5對：MVFS，MEV，MEF，MEKR，KFMRH；KVFS，KEV，KEF，KEMR，MFKRH。其中M表示構造，K表示刪除，S、E、V、F、R、H分別表示體、邊、頂點、面、環(huán)、孔。 )(2hsfevrhsfev)( 2 3 由輪廓重建的表面模型重建實體幾何模型的方法 用圖5.10(a)的表面模型說明構建實體的主要步驟： (a)(a) (b)(b) （b b）光照圖）光照圖 圖圖5.11 5.11 實體模型實體模型 （a a）線框圖）線框圖 實體幾何模型的構建結果6 6 適用于適形放射治療規(guī)劃的醫(yī)學圖適用于適形放射治療規(guī)劃的醫(yī)學圖象三維重建系統(tǒng)的開發(fā)象三維重建系統(tǒng)的開發(fā) 圖象輸入圖象輸入

17、 二維圖象預處理二維圖象預處理 圖象分割與提取圖象分割與提取 三維重建三維重建 （CT/MRICT/MRI） （濾波、插值）（濾波、插值） （自動分割、手工勾畫）（自動分割、手工勾畫） （MCMC、MTMT表面重建）表面重建） 病變體投影輪廓照射射束設置病變體投影輪廓照射射束設置 效果顯示效果顯示 幾何操作幾何操作（由此計算光柵廓線）（由此計算光柵廓線） （放射治療規(guī)劃）（放射治療規(guī)劃） （ 顏色、半透明）顏色、半透明） （剖切、手術開窗）（剖切、手術開窗） 圖圖6.16.1三維重建過程示意圖三維重建過程示意圖 重建系統(tǒng)結構重建系統(tǒng)結構 圖圖6.26.2系統(tǒng)結構系統(tǒng)結構 系統(tǒng)程序流程 圖圖 6

18、.3 6.3 系統(tǒng)程序流程系統(tǒng)程序流程 系統(tǒng)數(shù)據結構 圖圖6.4 6.4 系統(tǒng)數(shù)據結構系統(tǒng)數(shù)據結構 系統(tǒng)界面系統(tǒng)界面 治療射束安排與光柵輪廓線計算 7 7 結論與展望結論與展望 7.1 工作總結工作總結(1) 對輸入圖象進行了濾波、斷層插值并封裝成規(guī)則體數(shù)據。定義了體數(shù)據的內存記錄方式及外存文件格式，壓縮存儲空間。(2) 提出并實現(xiàn)了三維醫(yī)學圖象交互分割的方法，交互分割的技術路線是：先分析斷層圖象，交互給定分割閾值，對圖象二值化，然后選擇適當?shù)男螒B(tài)學操作進行區(qū)域修整，最后用種子填充的方法填充出所要區(qū)域。(3)實現(xiàn)了MC算法和MT算法構造表面模型。針對MT算法，為避免體元棱邊與等值面交點的重復性插值計算，提出了相關性處理方法。采用相關性處理，加快了MT算法的重建速度。(4) 實現(xiàn)了Hoppe的邊收縮算法，重建模型經簡化90，依然能較好地保持原模型特征，基本不影響視覺效果。模型經網格簡化，繪制時間大大縮短，提高了交互