多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究

多模態(tài)醫(yī)學(xué)影像配準(zhǔn)與融合技術(shù)研究

導(dǎo)師：高立群教授學(xué)生：葛雯多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第1頁主要內(nèi)容基于PCNN圖像融合算法總結(jié)與展望基于小波變換圖像融合算法基于BP特征級(jí)圖像融合算法醫(yī)學(xué)圖像配準(zhǔn)算法課題背景2多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第2頁一、課題背景因?yàn)獒t(yī)學(xué)圖像儀器成像機(jī)理不一樣，使得不一樣模態(tài)醫(yī)學(xué)圖像反應(yīng)人體信息不一樣，從單一源圖像是無法對(duì)病人進(jìn)行全方面診療。圖像配準(zhǔn)和融合能將多模態(tài)圖像信息進(jìn)行互補(bǔ)，融合成一幅新影像。當(dāng)前醫(yī)學(xué)圖像融合技術(shù)還處于起步階段，故本文針對(duì)多模態(tài)醫(yī)學(xué)圖像融合方法及配準(zhǔn)算法方面展開研究。3多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第3頁二、醫(yī)學(xué)圖像配準(zhǔn)算法醫(yī)學(xué)圖像配準(zhǔn)定義：是尋求兩幅圖像間幾何變換關(guān)系，經(jīng)過這一幾何變換，使兩幅醫(yī)學(xué)圖像上對(duì)應(yīng)點(diǎn)到達(dá)空間上一致，這種一致是指人體上同一解剖點(diǎn)在兩張匹配圖像上含有相同空間位置。4多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第4頁最大互信息配準(zhǔn)方法基本思想在多模醫(yī)學(xué)圖像配準(zhǔn)中，基于兩幅圖像中相同目標(biāo)在空間上對(duì)齊時(shí)相關(guān)性最強(qiáng)，對(duì)應(yīng)像素灰度互信息到達(dá)最大，從而能夠依據(jù)最大互信息位置找到最正確配準(zhǔn)。缺點(diǎn)：因?yàn)榛バ畔⒑瘮?shù)不是分布良好凸函數(shù)，從而造成誤配準(zhǔn)，同時(shí)計(jì)算量較大，耗時(shí)較長。5多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第5頁輸入圖像提取圖像邊緣特征信息計(jì)算特征點(diǎn)集合互信息歸一化處理

配準(zhǔn)提取特征圖像優(yōu)化搜索依據(jù)配準(zhǔn)參數(shù)配準(zhǔn)原圖像采取基于Canny算子和小波提升變換邊緣檢測(cè)方法采取歸一化互信息為測(cè)度采取改進(jìn)鮑威爾算法，尋找最大歸一化互信息位置改進(jìn)算法流程圖6多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第6頁仿真試驗(yàn)(a)CT圖像(b)MRI圖像(c)最大互信息配準(zhǔn)法(d)所提方法7多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第7頁CT/MRI圖像各配準(zhǔn)方法配準(zhǔn)參數(shù)及性能比較

傳統(tǒng)互信息配準(zhǔn)方法所提方法RMSE19.4315.32R0.92160.9812水平和垂直偏移量（9.028.52）（9.939.56）角度偏移量9.5979.9608多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第8頁三、基于小波變換圖像融合算法小波變換含有良好時(shí)頻局域化特征及多尺度分析能力,非常適合于圖像處理?；谛〔ㄗ儞Q影像融合算法被廣泛應(yīng)用于圖像融合處理中，其性能優(yōu)于傳統(tǒng)圖像融合方法。

9多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第9頁（一）基于可分離小波變換圖像融合算法詳細(xì)步驟：對(duì)待融合醫(yī)學(xué)源圖像分別進(jìn)行小波變換分解；對(duì)于尺度系數(shù)，使用下式合并醫(yī)學(xué)源圖像對(duì)應(yīng)尺度系數(shù)；

(3.1)10多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第10頁對(duì)于小波系數(shù)，首先使用下式確定醫(yī)學(xué)源圖像高頻分量邊緣點(diǎn)和非邊緣點(diǎn)，保護(hù)邊緣點(diǎn)對(duì)應(yīng)小波系數(shù)；(3.2)(3.3)(3.4)11多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第11頁對(duì)非邊緣點(diǎn)用式(3.5)進(jìn)行小波系數(shù)融合。然后用式(3.6)取得融合圖像小波系數(shù)。(3.5)(3.6)12多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第12頁將融合圖像小波系數(shù)和尺度系數(shù)進(jìn)行小波逆變換，即可得到重構(gòu)后醫(yī)學(xué)融合圖像。仿真試驗(yàn)(a)CT圖像(b)MRI圖像(c)拉普拉斯金字塔融合算法13多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第13頁(d)梯度金字塔融合(e)形態(tài)學(xué)金字塔融合

(f)小波變換融合算法算法算法(g)所提算法14多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第14頁CT/MRI試驗(yàn)結(jié)果質(zhì)量評(píng)價(jià)拉普拉斯金字塔融合算法梯度金字塔融合算法

形態(tài)學(xué)金字塔融合算法

小波變換融合算法

所提算法信息熵

10.911212.678512.835214.264617.5947平均交叉熵

7.83255.37265.14624.52163.2514平均梯度

31.589233.012335.542837.256739.5492相關(guān)系數(shù)

0.598450.60520.616430.640300.706715多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第15頁低頻分量融合規(guī)則(3.7)(3.8)(3.9)（二）基于不可分離小波變換圖像融合算法16多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第16頁高頻分量融合規(guī)則亮度信息細(xì)節(jié)信息

(3.10)(3.11)17多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第17頁或當(dāng)其中，，調(diào)整CT/MRI圖像占優(yōu)百分比

(3.12)(3.13)(3.14)18多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第18頁因子

調(diào)整圖像亮度

(3.17)(3.18)(3.16)(3.15)19多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第19頁經(jīng)過調(diào)整這些因子能夠消減含糊邊緣，突出細(xì)節(jié)并調(diào)節(jié)圖像亮度對(duì)比度。在臨床應(yīng)用中，為了得到強(qiáng)調(diào)不一樣特征信息圖像，醫(yī)生既能夠依據(jù)上面公式計(jì)算它們，也能夠依據(jù)經(jīng)驗(yàn)手動(dòng)設(shè)定這些參數(shù)。因子

決定圖像邊緣(3.19)20多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第20頁仿真試驗(yàn)(a)CT圖像(b)MRI圖像(c)對(duì)比度金字塔融合算法(d)基于像素融合算法(e)基于區(qū)域融合算法(f)所提算法21多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第21頁CT/MRI試驗(yàn)結(jié)果質(zhì)量評(píng)價(jià)對(duì)比度金字塔融合算法基于像素融合算法基于區(qū)域融合算法所提算法平均交叉熵6.34236.02653.46242.0598標(biāo)準(zhǔn)差12.89655.37265.146219.9356平均梯度

41.675242.125645.326948.5486相關(guān)系數(shù)

0.48410.51660.61230.796422多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第22頁基于區(qū)域含糊熵和區(qū)域亮度細(xì)節(jié)占優(yōu)融合算法設(shè)計(jì)(3.20)(3.21)23多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第23頁仿真試驗(yàn)(a)CT圖像(b)MRI圖像(c)對(duì)比度金字塔融合算法(d)基于像素融合算法24多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第24頁(g)所提算法(e)基于區(qū)域融合算法(f)含糊集和小波變換融合算法25多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第25頁CT/MRI試驗(yàn)結(jié)果質(zhì)量評(píng)價(jià)對(duì)比度金字塔融合算法基于像素融合算法

基于區(qū)域融合算法

含糊集和小波變換融合算法所提算法平均交叉熵9.01438.23266.45785.02313.4956標(biāo)準(zhǔn)差26.312428.657130.98744.521635.2587平均梯度

36.234538.562140.897237.256745.1789相關(guān)系數(shù)

0.47580.49320.52340.640300.767126多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第26頁四、基于PCNN圖像融合算法小波變換方法針對(duì)性都很強(qiáng)，依據(jù)不一樣情況采取不一樣融合規(guī)則?；谏窠?jīng)網(wǎng)絡(luò)方法對(duì)輸入不一樣類型圖像得到融合結(jié)果不會(huì)有很大差異，且其融合規(guī)則往往簡單易行，故基于神經(jīng)網(wǎng)絡(luò)融合算法適應(yīng)性要更加好一些。所以將含有生物學(xué)背景PCNN神經(jīng)網(wǎng)絡(luò)應(yīng)用到醫(yī)學(xué)圖像融合中。27多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第27頁詳細(xì)融合步驟：1、對(duì)每一幅醫(yī)學(xué)圖像分別進(jìn)行兩層小波提升分解，提取圖像近似細(xì)節(jié)、水平、垂直、對(duì)角方向小波系數(shù)矩陣。2、對(duì)低頻和高頻子圖像分別采取改進(jìn)PCNN網(wǎng)絡(luò)，PCNN網(wǎng)絡(luò)大小與對(duì)應(yīng)子圖像大小相同，每個(gè)PCNN內(nèi)全部神經(jīng)元均采取8鄰域連接方式。3、未來自醫(yī)學(xué)圖像A和B子圖像分別輸入對(duì)應(yīng)PCNN網(wǎng)絡(luò)，并按照以下步驟進(jìn)行融合處理：

28多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第28頁初始化。設(shè)和分別表示第k對(duì)子圖像中像素(i,j)灰度值，將其歸一化到0～1范圍內(nèi)，令內(nèi)部鏈接輸入矩陣、內(nèi)部行為矩陣和閾值矩陣初值分別為:，，此時(shí)，全部神經(jīng)元都處于熄火狀態(tài):，Nmax為最大迭代次數(shù)，點(diǎn)火時(shí)刻統(tǒng)計(jì)矩陣；(2)依據(jù)下式計(jì)算，，和；29多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第29頁其中：

或

(4.1)30多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第30頁(3)累計(jì)網(wǎng)絡(luò)每次迭代運(yùn)行輸出:(4)重復(fù)步驟(2)和(3)直到，此時(shí)網(wǎng)絡(luò)迭代運(yùn)行停頓；(5)依據(jù)下式選擇融合圖像小波系數(shù):(4.2)(4.3)31多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第31頁(6)為了防止出現(xiàn)某一區(qū)域與其相鄰區(qū)域分別起源于不一樣輸入源圖像情況，這里采取一致性檢測(cè)校驗(yàn)步驟(5)得到結(jié)果。即假如神經(jīng)網(wǎng)絡(luò)判定某一區(qū)域來自于圖像CT而它周圍區(qū)域來自圖像MRI，則將這個(gè)區(qū)域用圖像MRI中對(duì)應(yīng)區(qū)域像素替換。(7)最終小波提升逆變換，取得最終融合圖像。32多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第32頁仿真試驗(yàn)

(a)CT圖像(b)MRI圖像(c)梯度金字塔融合算法(d)基于區(qū)域融合算法(e)PCNN(f)所提算法33多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第33頁(a)CT圖像(b)MRI圖像(c)梯度金字塔(d)基于區(qū)域融合融合算法算法34多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第34頁(g)所提算法(e)含糊集和小波(f)PCNN變換融合算法35多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第35頁CT1/MRI1試驗(yàn)結(jié)果質(zhì)量評(píng)價(jià)梯度金字塔融合算法

基于區(qū)域融合算法

PCNN所提方法平均交叉熵5.90132.94565.25482.3487標(biāo)準(zhǔn)差31.332444.948934.567245.1435平均梯度

8.638918.257810.237818.5678相關(guān)系數(shù)

0.60810.84230.65870.845236多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第36頁梯度金字塔融合算法

基于區(qū)域融合算法含糊集和小波變換融合算法

PCNN所提方法平均交叉熵9.83769.45765.59255.14733.8271標(biāo)準(zhǔn)差29.264530.167433.980734.768439.5867平均梯度

18.974520.867524.987325.635429.3526相關(guān)系數(shù)

0.43870.48620.60710.61820.7646CT2/MRI2試驗(yàn)結(jié)果質(zhì)量評(píng)價(jià)37多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第37頁基于像素級(jí)醫(yī)學(xué)圖像融合能夠使融合后圖像包含更全方面、更準(zhǔn)確信息，不過所要處理圖像數(shù)據(jù)量大，故融合速度慢，同時(shí)對(duì)配準(zhǔn)精度要求非常高?；谔卣骷?jí)醫(yī)學(xué)圖像融合因?yàn)閷?duì)多模醫(yī)學(xué)圖像提取特征信息進(jìn)行融合，故能夠大大加緊融合速度，且對(duì)圖像配準(zhǔn)要求沒有像素級(jí)嚴(yán)格，但其融合精度比像素級(jí)融合差。

五、基于BP特征級(jí)圖像融合算法38多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第38頁將像素級(jí)和特征級(jí)融合方法有效地結(jié)合起來，利用BP神經(jīng)網(wǎng)絡(luò)優(yōu)點(diǎn)，提出了基于BP神經(jīng)網(wǎng)絡(luò)特征級(jí)圖像融合方法。詳細(xì)步驟：1、將兩幅圖像進(jìn)行圖像分割得到一組分割區(qū)域，用Ai和Bi分別表示第i個(gè)區(qū)域?qū)Α?、依據(jù)灰度共生矩陣，從每個(gè)區(qū)域抽取五個(gè)反應(yīng)圖像紋理特征。Ai和Bi特征矢量分別表示為()和()。39多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第39頁3、訓(xùn)練一個(gè)用于判斷分析Ai和Bi區(qū)域紋理特征神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)輸入是差異矢量(

)，網(wǎng)絡(luò)輸出以下式：4、用訓(xùn)練好神經(jīng)網(wǎng)絡(luò)在全部分割區(qū)域（第一步得到）上進(jìn)行檢測(cè)、判斷。融合圖像第i個(gè)區(qū)域按下式構(gòu)建：(5.1)(5.2)40多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第40頁5、采取一致性檢測(cè)來校驗(yàn)步驟(4)得到結(jié)果。假如神經(jīng)網(wǎng)絡(luò)判定某一區(qū)域來自于圖像1而它周圍區(qū)域來自圖像2，則將這個(gè)區(qū)域用圖像2中對(duì)應(yīng)區(qū)域像素替換。這么，確保在組成合成系數(shù)時(shí)，鄰域內(nèi)系數(shù)選擇基于相同規(guī)則。41多模態(tài)醫(yī)學(xué)影像配準(zhǔn)和融合技術(shù)的研究第41頁仿真試驗(yàn)

(a)CT圖像