三維圖像處理技術(shù)

1、三維圖像處理技術(shù)第1頁，共42頁，2022年，5月20日，0點22分，星期日8.1 三維圖像重構(gòu)技術(shù)8.1.1三維圖像重構(gòu)原理 由物體的一組橫斷面的投影重構(gòu)物體的圖像是一種獨特的處理問題的方法。在許多應用中，唯有采用這種方法可以在不損壞物體的條件下，產(chǎn)生物體內(nèi)部的斷面圖像。重構(gòu)技術(shù)已被廣泛應用于放射學和核醫(yī)學、非破壞性工業(yè)測試和數(shù)據(jù)壓縮等許多領(lǐng)域，顯示出了它的重要價值。 圖8-1表示三維重構(gòu)的一般化問題和各種可能的解決方法。假定嵌入的兩個數(shù)只能由側(cè)面方向觀察，但是，要確定從頂部觀察兩個嵌入的數(shù)是什么數(shù)，如果把物體切成若干斷面，顯然可以很容易確定嵌入的兩個數(shù)字。但是，在許多情況下采用切片的方法來

2、了解物體內(nèi)部的狀態(tài)是不切實際的。第2頁，共42頁，2022年，5月20日，0點22分，星期日 圖8-1表示了利用能量的透射、發(fā)射和反射的性質(zhì)，搜集信息的三種方式。透射方式搜集的信息是反映物體對能量吸收的強弱特性和物體的性質(zhì)。能量源通常采用X射線束、電子束、光和熱。發(fā)射方式確定物體位置的原理是依據(jù)衰變的正電子在相反方向發(fā)射出兩束射線，通過檢測這兩個事件發(fā)生的時間來確定原有正電子的湮沒位置。采用能量反射方法可以確定物體表面的特性，能量源可以是光、電子束或超聲波。第3頁，共42頁，2022年，5月20日，0點22分，星期日 圖 8-1第4頁，共42頁，2022年，5月20日，0點22分，星期日 圖像

3、重構(gòu)在醫(yī)學上獲得的重要應用之一是利用該技術(shù)構(gòu)造了計算機層析X射線系統(tǒng)(CT)。圖8-2表示了一個X射線透射系統(tǒng)的基本部件。在普通的X射線照片中，如圖中示出的大腦血管照片，三維物體信息是以二維形式迭加在膠卷上，而計算機層析X射線系統(tǒng)所獲得的照片是物體的橫斷面圖像。在該斷面內(nèi)構(gòu)成的圖像矩陣是由預先確定了大小的正方形元素組成。在計算機層折X射線的腦圖像系統(tǒng)中，元素的尺寸是13mm的正方形。生成的矩陣必須包含需要反映的目標。例如在目標為頭部的情況下，可以使用典型的148個元素，長度近似25cm。第5頁，共42頁，2022年，5月20日，0點22分，星期日 圖 8-2第6頁，共42頁，2022年，5月2

4、0日，0點22分，星期日 為了采集形成圖像的透射數(shù)據(jù)，X射線源與檢測器安置成一直線，使并行射線為一個圖像元素的寬度。掃描裝置的橫向部分作線性運動，對148行或更多的行（每行包括148個元素或更多的元素）逐行查詢，在掃描部件橫向運動時148個數(shù)據(jù)點各自地送入計算機，掃描部件每橫向線性掃描一次之后，射線能源與檢測器的整個幾何體旋轉(zhuǎn)預先規(guī)定的角度值（例如，角度增量值為1），橫向的線性掃描運動再重新開始。如果使用180個角度的投影，送入計算機的投影數(shù)據(jù)為180l4826640。采集的數(shù)據(jù)信息是在掃描進行的同時存入計算機內(nèi)。計算機層折X射線透射圖像的信息強度是可控制的，已經(jīng)證實，掃描器可以測量百分之幾級

5、別的X射線吸收系數(shù)的變化，這相當于脂肪、肌肉和其他組織之間的微小差別。第7頁，共42頁，2022年，5月20日，0點22分，星期日第8頁，共42頁，2022年，5月20日，0點22分，星期日第9頁，共42頁，2022年，5月20日，0點22分，星期日 Fourier變換重構(gòu)方法 Fourier變換重構(gòu)圖像所依據(jù)的原理是，一個三維（二維）物體的二維（一維）投影的Fourier變換是精確地等于物體的Fourier變換的中心截面（中心直線），當投影旋轉(zhuǎn)時，其Fourier變換的中心截面（中心直線）隨之旋轉(zhuǎn)。因而重構(gòu)圖像的過程，首先由不同角度位置時的投影變換構(gòu)成物體完整的Fourier變換，然后，通過

6、取反Fourier變換重構(gòu)物體。 第10頁，共42頁，2022年，5月20日，0點22分，星期日 現(xiàn)在，說明Fourier變換重構(gòu)的理論。假定f(x,y)表示圖像函數(shù)，其二維Fourier變換 圖像在x軸上的投影為： 投影的一維Fourier變換為： 第11頁，共42頁，2022年，5月20日，0點22分，星期日而f(x, y )二維Fourier變換的中心直線F(u ,0)為： 所以 G(u,0)= F(u,0)。 由于在二重積分中變量變換時，其積分的改變中遵照以下形式： 對二重積分：如果作變換:x=x(,),y=y(,) 則可以證明，二重積分改變?yōu)椋旱?2頁，共42頁，2022年，5月20

7、日，0點22分，星期日其中 稱為Jacobi行列式，以紀念首先研究此問題的德國數(shù)學家Jacobi。 由于f(x,y)二維Fourier變換為： 作變量變換： x=xcosysiny=xsin ycos第13頁，共42頁，2022年，5月20日，0點22分，星期日將f(x,y)用f(x,y)代替,同時替換 x=xcosysin,y=xsin ycos得： 上式恰好符合頻率上的坐標旋轉(zhuǎn)公式： u= ucosvsin v=usinvcos 第14頁，共42頁，2022年，5月20日，0點22分，星期日因此，變換公式可寫為： 說明F(u,v)同F(xiàn)(u,v)是相同的。同時說明，當空域中的坐標(x,y)轉(zhuǎn)

8、動角時，在x軸上的投影經(jīng)過Fourier變換得到的頻域數(shù)值也正好旋轉(zhuǎn)角。 得到平面上F(u,v)各點的值后，進行反變換計算得到圖像函數(shù) 這些結(jié)果變可以方便地擴展到三維場合。令f(x1,x2,x3)表示一物體，三維Fourier變換 第15頁，共42頁，2022年，5月20日，0點22分，星期日變換的中心截面是 根據(jù)定義，在x1,x2軸上的投影是 注意到，令f3(x1,x2)的二維Fourier變換是完全等同于上面三維Fourier變換的中心截面的方程式的。如果取得的投影相對于u1,u2平面為角，那么，在變換空間內(nèi)其變換截面相對于u1,u2平面成相同的角度。因此，可以取不同角方向的投影變換，插入

9、到三維變換空間。為了構(gòu)造Fourier變換空間從理論上來說，需要取無數(shù)的投影變換，但實際上投影變換數(shù)總是有限數(shù)。然后，由Fourier反變換重構(gòu)圖像f(x1,x2,x3)。 第16頁，共42頁，2022年，5月20日，0點22分，星期日 8.2立體投影技術(shù)8.2.1 物體成像原理 立體投影技術(shù)是一種通過一個立體圖像對推導出物體三維形狀的技術(shù)。為此，必須首先為圖像的成像幾何建模。圖8-3中給出了一個物體，一個光源及一個攝像機系統(tǒng)。我們建立一個以透鏡系統(tǒng)的光學中心為原點的三維坐標系。攝像機的光軸與z軸重合。 對于物體是不透明的表面。依照表面的反射特性，照射在其上的一部分光線被反射，向各個方向散射。

10、一部分散射光線穿過了透鏡的光圈，在攝像機的成像面上形成了一幅物體的圖像。第17頁，共42頁，2022年，5月20日，0點22分，星期日 圖8-3第18頁，共42頁，2022年，5月20日，0點22分，星期日 如果要將圖像數(shù)字化，可以認為圖像中平面被一個像素陣列覆蓋。在圖8-3中，其中的一個像素向回投影穿過透鏡，在物體的表面上，生成了此像素的一個像。 像素與物體的相交定義了與此像素對應的物體表面區(qū)域。照射到與此像素對應區(qū)域的部分光線散射回透鏡光圈。所有這些光線被透鏡會聚，投影到給定像素上，因而確定了其灰度值。 除了亮度之外，還可以將另一個值與所考慮的像素聯(lián)系起來。從鏡頭中心到點P 的距離定義了該

11、像素的行程。需強調(diào)的是，如果有另外的表面在此物體后面，他們是不可見的。因此，一個像素的進程是從鏡頭中心到所遇見的第一個不透明表面之間的距離。我們可以通過給每個像素按與長度成正比而不是亮度成正比來賦值的方式生成一幅距離圖像。第19頁，共42頁，2022年，5月20日，0點22分，星期日8.2.2 立體投影成像 下圖示出了一對適合于立體成像放置的攝像機。一個三維坐標系以左投影機的投影中心為原點。在該例中，兩個攝像機的光軸平行，并位于xz平面上。在這種條件下，攝像機被稱為是處于平行對準狀態(tài)。z軸與左攝像機的光軸重合。兩個攝像機焦距均為f,他們之間的距離是d（圖8-4）第20頁，共42頁，2022年，

12、5月20日，0點22分，星期日8.2.2.1距離方程 假設坐標為 的點P，被放置在攝像機前方，并分別成像于兩個攝像機平面上。那么，利用zx和yz平面中的相似三角形，可以看到從點P穿過透鏡中心的直線與 (圖像）平面相交于同樣，從P穿過右攝像機的中心的直線將與圖像平面相交于第21頁，共42頁，2022年，5月20日，0點22分，星期日 現(xiàn)在在每個成像面上設置一個二維坐標系。為了方便起見將這兩個坐標系位置處旋轉(zhuǎn)180，這樣就抵消了成像過程中固有的旋轉(zhuǎn)。因此這樣一來該點在其圖像中的坐標為第22頁，共42頁，2022年，5月20日，0點22分，星期日注意兩圖中心的y坐標相同。重新整理可得:從中解出Z0得

13、到法向深度方程(8-1)第23頁，共42頁，2022年，5月20日，0點22分，星期日 這個方程將距離的法向成分Z0與兩幅圖像偏移的像素數(shù)聯(lián)系起來。值得注意的是在方程中，Z0僅是xr和xl之差的函數(shù)，而與他們單個值大小無關(guān)。由于Z0必須取正值，應有 。還要注意的是分子的值與之相比可能非常小。這就意味著對于大的Z0分母可能會非常小。因此，在兩幅圖中特征定位的微小偏差可能會導致深度計算的大誤差。 同樣在三維空間中，利用相似三角形，我們有對其加以整理用（8-1）代替Z0得（8-2）第24頁，共42頁，2022年，5月20日，0點22分，星期日 它就是實際深度的一方程。這給出了從原點到點P的總長度。對

14、于窄視野（望遠鏡）,光學系統(tǒng)，X0,Y0Z0并且xl和yl相對于都很小。因而方程（8-2）可以用方程（8-1）來近似。8.2.2.2深度計算 立體投影深度可按以下方式計算。首先，對于左圖中的每個像素，判斷右圖中的哪個像素對應于物體上的同一點。對于一個圖等于圖8-4的平行對準系統(tǒng)，可以按行對行的方式來完成，因為物體上的任一點都映射到圖像上，因而相同的垂直位置在同一掃描線上。接著計算 ，生成一個偏移圖，其中的灰度按適當?shù)谋壤硐袼仄?。然后，用方程?-1）通過偏移圖像計算每個像素的Z0，生成一個法向距離圖，最后計算每一點的x,y坐標:第25頁，共42頁，2022年，5月20日，0點22分，星期

15、日 上述過程使我們能夠計算物體上每個點的x,y,z坐標值，這些點各自對應攝像機中的一個像素。使用方程（8-2）以x和y為函數(shù)計算R則生成了一幅實際深度圖。在兩種情況下，我們成功地測繪了三維物體的可見表面。 在圖8-4中，攝像機是平行對準的。除了Z0比d大很多的情況之外，一般都有必要將攝像機會聚，以便其視野重疊在就近的物體上。在一個會聚系統(tǒng)中，光軸不再平行，而是交于xz平面中的某點。在這種情況下，所用的是相同的技術(shù)，但深度方程稍復雜些。如果兩個攝像機的光軸甚至不在同一平面的話，情況則更為復雜。有時，需要從立體圖像對決定攝像機的幾何參數(shù)。這可通過使用六個或更多的x,y,z坐標已知的點，運用最小二乘

16、擬合來決定每個攝像機的成像幾何。第26頁，共42頁，2022年，5月20日，0點22分，星期日8.3 體視圖像顯示 一個三維場景可以通過三維顯示技術(shù)重現(xiàn)給觀察者。這就是20世紀初開始流行的立體電影和體視攝影術(shù)的基礎。它還提供了顯示三維數(shù)字圖像如生物細胞的方法。8.3.1 顯示幾何 圖8-5描述了立體顯示的觀測幾何，體視圖像對（stereoscopic image pair）放置在觀察者眼睛前方距離D處，雙眼距離為S。一個位于左圖xl,yl坐標處與右圖xr,yr坐標處的小特征在觀察者看來就像放置在點P處一樣。第27頁，共42頁，2022年，5月20日，0點22分，星期日圖8-5第28頁，共42頁

17、，2022年，5月20日，0點22分，星期日 通過類似于圍繞圖8-5的幾何推導，可得出一個深度關(guān)系它是方程8-1的翻版。在二個圖像中的對應點的x坐標關(guān)系為第29頁，共42頁，2022年，5月20日，0點22分，星期日 這意味著對遠處的物體（ ），其在左右眼的坐標相同。當一個物體在右眼圖像中左移動時，它的視在位置朝觀察者方向移動。 體視攝影是一門呈現(xiàn)三維景物的技術(shù)，它使用類似于圖8-4所示的攝像機與類似于圖8-5的觀測裝置。假設圖8-5中的兩個攝像機在圖像平面上生成正的膠片，這些膠片可以繞z軸旋轉(zhuǎn)180，放置到觀察者前面，就像圖8-5所示那樣。如果滿足關(guān)系式則該景物看起來就像觀察者直接觀察到的一

18、樣。8.3.2 立體顯示生成 假如左眼圖像和法向深度圖給定，而要求生成右眼圖像以實現(xiàn)立體顯示。這要求如下形式的幾何變換。第30頁，共42頁，2022年，5月20日，0點22分，星期日（8-3） 這只是一個在水平方向有不同位移的復制操作。給定一特定景物的灰度圖像和深度圖像，可以通過生成左右眼兩幅圖像獲得更好的立體顯示效果。右眼圖像依據(jù)方程(8-3)合成，但是用所給的偏移量的一半。而左圖則通過向相反方向作相同距離的移動生成。這種技術(shù)能夠?qū)Π胸S富形狀細節(jié)的近處物體的圖像生成高質(zhì)量的顯示。第31頁，共42頁，2022年，5月20日，0點22分，星期日8.4光學切片圖像 光學顯微鏡是組織學和微解剖學

19、的一個常用工具。這些學科關(guān)注在顯微鏡度量范圍內(nèi)生理學切片的結(jié)構(gòu)功能。然而這些標本是三維的，這就給用傳統(tǒng)的光學顯微鏡進行分析提出了問題。首先，只有那些在聚焦平面或其附近的結(jié)構(gòu)才是可見的。其次，剛好位于焦平面外一點的結(jié)構(gòu)雖可見，但變得模糊了。而那些遠離焦平面的結(jié)構(gòu)是不可見的，但它們對記錄下來的圖像有影響。 這種三維的效應可以通過多重切片來克服。也就是將樣本切為一系列的薄片，然后分別研究每一部分，以了解樣本的三維結(jié)構(gòu)。多重切片方法有兩個主要的缺點：當切片各部分分開后，結(jié)構(gòu)間的對準會喪失；切片時存在不可避免的幾何形變。后者包括拉伸、卷曲、折疊和薄片的撕裂。第32頁，共42頁，2022年，5月20日，0

20、點22分，星期日 在許多應用中，獲取一個生物樣本的三維顯示是有益的。三維顯示很重要，因為對二維分割圖像的不恰當?shù)慕忉寱е聦Y(jié)構(gòu)的各種錯誤理解。通過將焦平面設置于光軸上的不同位置，對樣本進行數(shù)字化，然后處理每一層圖像。 1986年美國國立醫(yī)學圖書館于提出可視化人體項目，以供臨床醫(yī)學和生物醫(yī)學研究工作中的圖像資料收集、檢索和存取，最終成為一所電子化的生物醫(yī)學圖像圖書館。 NLM于1989年提出的計劃認為，應首先建立表達完整、正常的成年男性和成年女性身體測量數(shù)據(jù)的數(shù)字圖像圖書館。數(shù)據(jù)應采集于軀體斷面的數(shù)字化照片圖像、計算機斷層圖像（CT）和磁共振圖像（MRI）。1991年8月，這一頂目由丹佛科羅拉

21、多大學（the University of Colorado at Denver）的Victor M.Spitzer博士和David G. Whit1ock博士所領(lǐng)導的小組開始執(zhí)行。根據(jù)最初的計劃，是對男、女各一具遺體以上述三種方式每隔1mm為一斷層，將三種來源的圖像相互參照地組合為一，該計劃現(xiàn)已完成。第33頁，共42頁，2022年，5月20日，0點22分，星期日 男性遺體來自一位39歲的德克薩斯州白種人，身體健壯完好，自愿捐獻遺體供科學研究，為人類科技進步做出貢獻。數(shù)據(jù)采集步驟如下： (1)采用4mm間隔的軸向磁共振掃描全身，圖像分辨率為256256（每點具有12位灰階分辨率）。 (2)采用

22、1mm間隔作軸向CT掃描全身，分辨率為51212（每點同樣具有12位灰階分辨率）。 (3)對遺體作深冷凍后進行軸向切片解剖，每層間隔1mm，與CT斷層吻合，其斷面的圖像分辨率為2048x1216（每點具有24位灰階分辨率）。綜上，對整個男性遺體共作了1871個斷層的CT掃描和解剖斷面，所重建的男性“可視人”（圖8-7）總數(shù)據(jù)量達15GB。第34頁，共42頁，2022年，5月20日，0點22分，星期日圖8-7第35頁，共42頁，2022年，5月20日，0點22分，星期日 女性遺體來自一位59歲馬里蘭州黑種人，除心臟輕微肥大（亦因心臟病急性發(fā)作而死亡）外，全身各部分完好。數(shù)據(jù)采集方法基本同男性“可

23、視人”，僅解剖斷面所采用的間隔縮小至0.33mm，這樣形成了五千多個解剖斷面。這一女性“可視人”（圖8-8)的總數(shù)據(jù)量高達40GB。 這兩個數(shù)據(jù)人被存貯在NLM的巨型服務器中，可通過網(wǎng)絡訪問。 一系列透明的切片圖像可以從任何方位角、高度角及深度的視點觀測。切片圖像投影到一個假想的觀察平面上，在此平面上它們通過求和而疊合在一起。投影可以通過一個幾何變換完成。第36頁，共42頁，2022年，5月20日，0點22分，星期日圖8-8第37頁，共42頁，2022年，5月20日，0點22分，星期日 2002年10月23日，第三軍醫(yī)大學宣布，首例中國數(shù)字化可視人體的數(shù)據(jù)采集日前在該校完成。 首例中國數(shù)字化可

24、視人體是在國家自然科學基金的資助下，由第三軍醫(yī)大學博士生導師張紹祥教授帶領(lǐng)二十多人的課題組經(jīng)過三年多的不懈努力才得以完成的，這一成果為中國乃至整個東方人提供了一部目前最為系統(tǒng)、完整和細致的人體結(jié)構(gòu)基本數(shù)據(jù)和圖像資料。 這例經(jīng)法律程序采集的“可視人”標本為一標準的中國健康男性尸體，年齡35歲，身高170厘米，體重65公斤。該尸體標本經(jīng)處理后，被放入深低溫冰槽冷凍，然后在零下二十五攝氏度低溫實驗室中用數(shù)控銑床從頭到腳逐層切成薄片。該“可視人”全身共計被切為二千五百一十八個連續(xù)橫斷面切片，其中顱底部等重要部位的切削厚度僅為0.1毫米。 第38頁，共42頁，2022年，5月20日，0點22分，星期日部分橫截切面 第39頁，共42頁，2022年，5月20日，0點22分，星期日 另一中國數(shù)字化人是一位28歲的漢族健康男性，祖籍湖南，身高166厘米，體重58公斤，沒有任何傳染病和代謝疾病。該男子2002年4月死亡，自愿捐獻尸體作科學研究。專家發(fā)現(xiàn)其沒有任何傳染病和代謝疾病，身體健康，身高1.66米。根據(jù)中國人群的絕大部