多模態(tài)醫(yī)學(xué)影像配準(zhǔn)與融合技術(shù)的研究（葛雯）

1、多模態(tài)醫(yī)學(xué)影像配準(zhǔn)多模態(tài)醫(yī)學(xué)影像配準(zhǔn)與融合技術(shù)的研究與融合技術(shù)的研究 導(dǎo)師：高立群導(dǎo)師：高立群 教授教授 學(xué)生：葛學(xué)生：葛 雯雯東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 主要內(nèi)容基于基于PCNN的圖像融合算法的圖像融合算法總結(jié)與展望基于小波變換的圖像融合算法基于小波變換的圖像融合算法基于基于BP的特征級圖像融合算法的特征級圖像融合算法醫(yī)學(xué)圖像配準(zhǔn)算法醫(yī)學(xué)圖像配準(zhǔn)算法課題背景東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 一、課題背景由于醫(yī)學(xué)圖像儀器的成像機理的不同，使得不同模由于醫(yī)學(xué)圖像儀器的成像機理的不同，使得不同模態(tài)的醫(yī)學(xué)圖像反映人體信息不同，從單一源圖像是態(tài)的醫(yī)學(xué)圖像反

2、映人體信息不同，從單一源圖像是無法對病人進行全面診斷。圖像配準(zhǔn)和融合能將多無法對病人進行全面診斷。圖像配準(zhǔn)和融合能將多模態(tài)的圖像信息進行互補，融合成一幅新的影像。模態(tài)的圖像信息進行互補，融合成一幅新的影像。目前醫(yī)學(xué)圖像融合技術(shù)還處于起步階段，故本文針目前醫(yī)學(xué)圖像融合技術(shù)還處于起步階段，故本文針對多模態(tài)醫(yī)學(xué)圖像的融合方法及配準(zhǔn)算法方面展開對多模態(tài)醫(yī)學(xué)圖像的融合方法及配準(zhǔn)算法方面展開研究。研究。東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 二、醫(yī)學(xué)圖像配準(zhǔn)算法二、醫(yī)學(xué)圖像配準(zhǔn)算法v醫(yī)學(xué)圖像配準(zhǔn)的定義：是尋求兩幅圖像間的幾何醫(yī)學(xué)圖像配準(zhǔn)的定義：是尋求兩幅圖像間的幾何變換關(guān)系，通過這一幾何變換

3、，使兩幅醫(yī)學(xué)圖像變換關(guān)系，通過這一幾何變換，使兩幅醫(yī)學(xué)圖像上的對應(yīng)點達到空間上的一致，這種一致是指人上的對應(yīng)點達到空間上的一致，這種一致是指人體上的同一解剖點在兩張匹配圖像上具有相同的體上的同一解剖點在兩張匹配圖像上具有相同的空間位置?？臻g位置。 東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 v最大互信息配準(zhǔn)方法的基本思想最大互信息配準(zhǔn)方法的基本思想 在多模醫(yī)學(xué)圖像配準(zhǔn)中，基于兩幅圖像中的相在多模醫(yī)學(xué)圖像配準(zhǔn)中，基于兩幅圖像中的相同目標(biāo)在空間上對齊時相關(guān)性最強，對應(yīng)像素同目標(biāo)在空間上對齊時相關(guān)性最強，對應(yīng)像素灰度的互信息達到最大，從而可以根據(jù)最大互灰度的互信息達到最大，從而可以根據(jù)最大

4、互信息的位置找到最佳配準(zhǔn)。信息的位置找到最佳配準(zhǔn)。v缺點：由于互信息函數(shù)不是分布良好的凸函數(shù)，缺點：由于互信息函數(shù)不是分布良好的凸函數(shù)，從而導(dǎo)致誤配準(zhǔn)，同時計算量較大，耗時較長。從而導(dǎo)致誤配準(zhǔn)，同時計算量較大，耗時較長。 東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 輸入圖像輸入圖像提取圖像的邊緣特征信息提取圖像的邊緣特征信息計算特征點集合的互信息計算特征點集合的互信息歸一化處理歸一化處理 配準(zhǔn)提取的特征圖像配準(zhǔn)提取的特征圖像優(yōu)化搜索優(yōu)化搜索根據(jù)配準(zhǔn)參數(shù)根據(jù)配準(zhǔn)參數(shù)配準(zhǔn)配準(zhǔn)原圖像原圖像采用基于采用基于Canny算子和小波算子和小波提升變換的邊緣檢測方法提升變換的邊緣檢測方法采用歸一化互

5、信采用歸一化互信息為測度息為測度采用改進的鮑威爾算法，尋采用改進的鮑威爾算法，尋找最大歸一化互信息的位置找最大歸一化互信息的位置改進算法的流程圖改進算法的流程圖東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 v仿真實驗仿真實驗 (a)CT圖像圖像 (b)MRI圖像圖像 (c) 最大的互信息配準(zhǔn)法最大的互信息配準(zhǔn)法 (d) 所提方法所提方法東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 CT/MRI圖像各配準(zhǔn)方法的配準(zhǔn)參數(shù)及性能比較圖像各配準(zhǔn)方法的配準(zhǔn)參數(shù)及性能比較 傳統(tǒng)的互信息配準(zhǔn)方法傳統(tǒng)的互信息配準(zhǔn)方法所提方法所提方法RMSE19.4315.32R0.92160.9812水平和垂

6、直偏移量水平和垂直偏移量（9.02 8.52）（9.93 9.56）角度偏移量角度偏移量9.5979.960東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 三、基于小波變換的圖像融合算法三、基于小波變換的圖像融合算法小波變換具有良好的時頻局域化特性及多尺度分析小波變換具有良好的時頻局域化特性及多尺度分析能力能力, ,非常適合于圖像處理。基于小波變換的影像非常適合于圖像處理?；谛〔ㄗ儞Q的影像融合算法被廣泛應(yīng)用于圖像融合處理中，其性能優(yōu)融合算法被廣泛應(yīng)用于圖像融合處理中，其性能優(yōu)于傳統(tǒng)的圖像融合方法。于傳統(tǒng)的圖像融合方法。 東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 （一）基于可

7、分離小波變換的圖像融合算法（一）基于可分離小波變換的圖像融合算法具體步驟：具體步驟：l對待融合的醫(yī)學(xué)源圖像分別進行小波變換分解；對待融合的醫(yī)學(xué)源圖像分別進行小波變換分解；l對于尺度系數(shù)，使用下式合并醫(yī)學(xué)源圖像對應(yīng)的對于尺度系數(shù)，使用下式合并醫(yī)學(xué)源圖像對應(yīng)的尺度系數(shù)；尺度系數(shù)； 1 122FLLL(3.1)東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 l對于小波系數(shù)，首先使用下式確定醫(yī)學(xué)源圖像對于小波系數(shù)，首先使用下式確定醫(yī)學(xué)源圖像高頻分量的邊緣點和非邊緣點，保護邊緣點對高頻分量的邊緣點和非邊緣點，保護邊緣點對應(yīng)的小波系數(shù)；應(yīng)的小波系數(shù)；12iiEEE2()()iim,nwEPm,n(3

8、.2)(3.3)()(1BfBfMG(3.4)東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 l對非邊緣點用式對非邊緣點用式(3.5)進行小波系數(shù)融合。然后進行小波系數(shù)融合。然后用式用式(3.6)獲得融合圖像的小波系數(shù)。獲得融合圖像的小波系數(shù)。 ),(),(),(22121211jiDjiDjiDHF(3.5)2max1max2max1max22max1max12max1max21,),(,),(,),(),(),(max(),(hhhhjiDhhhhjiDhhhhjiDhhhjiDjiDjiDHFF(3.6)東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 l將融合圖像的小波系數(shù)和

9、尺度系數(shù)進行小波逆變將融合圖像的小波系數(shù)和尺度系數(shù)進行小波逆變換，即可得到重構(gòu)后的醫(yī)學(xué)融合圖像。換，即可得到重構(gòu)后的醫(yī)學(xué)融合圖像。 v仿真實驗仿真實驗 (a) CT圖像圖像 (b) MRI圖像圖像 (c)拉普拉斯金字塔拉普拉斯金字塔 融合算法融合算法東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 (d)梯度金字塔融合梯度金字塔融合 (e)形態(tài)學(xué)金字塔融合形態(tài)學(xué)金字塔融合 (f)小波變換融合算法小波變換融合算法 算法算法 算法算法(g) 所提算法所提算法東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 CT/MRI實驗結(jié)果的質(zhì)量評價實驗結(jié)果的質(zhì)量評價拉普拉斯金字拉普拉斯金字塔融合算法塔

10、融合算法梯度金字塔融梯度金字塔融合算法合算法 形態(tài)學(xué)金字塔形態(tài)學(xué)金字塔融合算法融合算法 小波變換融合小波變換融合算法算法 所提算法所提算法信息熵信息熵 10.911212.678512.835214.264617.5947平均交叉熵平均交叉熵 7.83255.37265.14624.52163.2514平均梯度平均梯度 31.589233.012335.542837.256739.5492相關(guān)系數(shù)相關(guān)系數(shù) 0.598450.60520.616430.640300.7067東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 低頻分量的融合規(guī)則低頻分量的融合規(guī)則 MRIFMRICTCTMRICT

11、MRI=+fCTfffffHHLLLHHHHMiNjijijfPPH112log11( , )/( , )MNijijPI i jI i j(3.7)(3.8)(3.9)（二）基于不可分離小波變換的圖像融合算法（二）基于不可分離小波變換的圖像融合算法東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 l高頻分量的融合規(guī)則高頻分量的融合規(guī)則 亮度信息亮度信息細(xì)節(jié)信息細(xì)節(jié)信息 MmNnNnjMmifNMjiI11)21,21(1),(1111111( , )(,)2211(,)22 MNMNmnmnMND i jf imjnMNf imjn)211,211(NnjMmif(3.10)(3.11)

12、東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 MRIMRICTCTCTFMRIMRIMRICTCT( , )( , ),( , )( , )( , )( ,j),( , )( , )HIi jIi j Di jDi jHHIi jIiDi jDi jMRIMRICTCT( , )( , ),( , )( , )Ii jIi j Di jDi j或或MRIMRICTCT( , )( , ),( , )( , )Ii jIi j Di jDi j當(dāng)當(dāng)FMRIMRICT1CT2()HHK HHK H),(),(/(),(1jiKjiKjiKKDII其中其中， ， 調(diào)節(jié)調(diào)節(jié)CT/MRI圖像的占

13、優(yōu)比例圖像的占優(yōu)比例 1K2K(3.12)(3.13)(3.14)東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 MRIMRICTCTMRIMRICTCT( , )/( , )( , )( , )( , )/( , )( , )( , )DDi jDi jDi jDi jKDi jDi jDi jDi j因子因子 調(diào)節(jié)圖像的亮度調(diào)節(jié)圖像的亮度 MRIMRICTCTCTMRIMRIMRICTCT( , )/( , )( , )( , )( , )( , )/( , )( , )( , )( , )Ii jIi jIi jIi jIi jIi jIi jIi jIi jIi j(3.17)(

14、3.18)MRIMRICTCTMRIMRICTCT( , )/( , )( , )( , )( , )/( , )( , )( , )IIi jIi jIi jIi jKIi jIi jIi jIi j(3.16)2( , )/( , )( , )DIDKKi jK i jKi j(3.15)東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 通過調(diào)整這些因子可以消減模糊邊緣，突出細(xì)節(jié)并調(diào)通過調(diào)整這些因子可以消減模糊邊緣，突出細(xì)節(jié)并調(diào)節(jié)圖像的亮度對比度。在臨床應(yīng)用中，為了得到強調(diào)節(jié)圖像的亮度對比度。在臨床應(yīng)用中，為了得到強調(diào)不同特征信息的圖像，醫(yī)生既可以根據(jù)上面公式計算不同特征信息的圖像，醫(yī)

15、生既可以根據(jù)上面公式計算它們，也可以根據(jù)經(jīng)驗手動設(shè)定這些參數(shù)。它們，也可以根據(jù)經(jīng)驗手動設(shè)定這些參數(shù)。 因子因子 決定圖像的邊緣決定圖像的邊緣MRIMRICTCTCTMRIMRIMRICTCT( , )/( , )( , )( , )( , )( , )/( , )( ,)( , )( , )Di jDi jDi jDi jDi jDi jDi jDi j)Di jDi j(3.19)東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 v仿真實驗仿真實驗 (a) CT圖像圖像 (b) MRI圖像圖像 (c)對比度金字塔融合算法對比度金字塔融合算法(d)基于像素融合算法基于像素融合算法 (e)基

16、于區(qū)域融合算法基于區(qū)域融合算法 (f)所提算法所提算法東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 CT/MRI實驗結(jié)果的質(zhì)量評價實驗結(jié)果的質(zhì)量評價對比度金字塔對比度金字塔融合算法融合算法基于像素融合基于像素融合算法算法基于區(qū)域融合基于區(qū)域融合算法算法所提算法所提算法平均交叉熵平均交叉熵6.34236.02653.46242.0598標(biāo)準(zhǔn)差標(biāo)準(zhǔn)差12.89655.37265.146219.9356平均梯度平均梯度 41.675242.125645.326948.5486相關(guān)系數(shù)相關(guān)系數(shù) 0.48410.51660.61230.7964東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院

17、 l基于區(qū)域模糊熵和區(qū)域亮度細(xì)節(jié)占優(yōu)的融合算法基于區(qū)域模糊熵和區(qū)域亮度細(xì)節(jié)占優(yōu)的融合算法設(shè)計設(shè)計 112F212( )( )( )( )KKKKLHxHxLLHxHx1( )(x )2nijijKi M j NHxSMNln(3.20)(3.21)東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 v仿真實驗仿真實驗 (a) CT圖像圖像 (b) MRI圖像圖像(c)(c)對比度金字塔融合算法對比度金字塔融合算法 (d)(d)基于像素融合算法基于像素融合算法東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 (g)所提算法所提算法(e)(e)基于區(qū)域融合算法基于區(qū)域融合算法 (f)(f)模

18、糊集和小波變換模糊集和小波變換 融合算法融合算法東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 CT/MRI實驗結(jié)果的質(zhì)量評價實驗結(jié)果的質(zhì)量評價對比度金字塔對比度金字塔融合算法融合算法基于像素融合基于像素融合算法算法 基于區(qū)域融合基于區(qū)域融合算法算法 模糊集和小波模糊集和小波變換融合算法變換融合算法 所提算法所提算法平均交叉熵平均交叉熵9.01438.23266.45785.02313.4956標(biāo)準(zhǔn)差標(biāo)準(zhǔn)差26.312428.657130.98744.521635.2587平均梯度平均梯度 36.234538.562140.897237.256745.1789相關(guān)系數(shù)相關(guān)系數(shù) 0.475

19、80.49320.52340.640300.7671東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 四、基于四、基于PCNN的圖像融合算法的圖像融合算法小波變換方法針對性都很強，根據(jù)不同情況采用小波變換方法針對性都很強，根據(jù)不同情況采用不同的融合規(guī)則?；谏窠?jīng)網(wǎng)絡(luò)方法對輸入不同不同的融合規(guī)則?；谏窠?jīng)網(wǎng)絡(luò)方法對輸入不同類型的圖像得到的融合結(jié)果不會有很大差別，且類型的圖像得到的融合結(jié)果不會有很大差別，且其融合規(guī)則往往簡單易行，故基于神經(jīng)網(wǎng)絡(luò)的融其融合規(guī)則往往簡單易行，故基于神經(jīng)網(wǎng)絡(luò)的融合算法適應(yīng)性要更好一些。因此將具有生物學(xué)背合算法適應(yīng)性要更好一些。因此將具有生物學(xué)背景的景的PCNNPCN

20、N神經(jīng)網(wǎng)絡(luò)應(yīng)用到醫(yī)學(xué)圖像融合中。神經(jīng)網(wǎng)絡(luò)應(yīng)用到醫(yī)學(xué)圖像融合中。 東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 具體融合步驟：具體融合步驟：1 1、對每一幅醫(yī)學(xué)圖像分別進行兩層小波提升分、對每一幅醫(yī)學(xué)圖像分別進行兩層小波提升分解，提取圖像的近似細(xì)節(jié)、水平、垂直、對角方解，提取圖像的近似細(xì)節(jié)、水平、垂直、對角方向的小波系數(shù)矩陣。向的小波系數(shù)矩陣。2 2、對低頻和高頻子圖像分別采用改進的、對低頻和高頻子圖像分別采用改進的PCNNPCNN網(wǎng)網(wǎng)絡(luò)，絡(luò)，PCNNPCNN網(wǎng)絡(luò)大小與相應(yīng)子圖像大小相同，每個網(wǎng)絡(luò)大小與相應(yīng)子圖像大小相同，每個PCNNPCNN內(nèi)的所有神經(jīng)元均采用內(nèi)的所有神經(jīng)元均采用8 8

21、鄰域連接方式。鄰域連接方式。3 3、將來自醫(yī)學(xué)圖像、將來自醫(yī)學(xué)圖像A A和和B B的子圖像分別輸入相應(yīng)的子圖像分別輸入相應(yīng)的的PCNNPCNN網(wǎng)絡(luò)，并按照如下步驟進行融合處理：網(wǎng)絡(luò)，并按照如下步驟進行融合處理： 東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 初始化。設(shè)初始化。設(shè) 和和 分別表示第分別表示第k對子圖像中對子圖像中像素像素(i, ,j)的灰度值，將其歸一化到的灰度值，將其歸一化到01范圍范圍內(nèi)，令內(nèi)部鏈接輸入矩陣、內(nèi)部行為矩陣和內(nèi)，令內(nèi)部鏈接輸入矩陣、內(nèi)部行為矩陣和閾值矩陣的初值分別為閾值矩陣的初值分別為: ， ，此時，所有神經(jīng)元都處于熄火狀態(tài)此時，所有神經(jīng)元都處于熄火狀態(tài)

22、: ，Nmax為最大迭代次數(shù)，點火時刻記錄矩陣為最大迭代次數(shù)，點火時刻記錄矩陣 ；(2) 根據(jù)下式計算根據(jù)下式計算 ， ， 和和 ；,kA ijI,kB ijI(0)(0)0kkijijLU(0)1kij(0)0kijY(0)0kijT( )kijL n( )kijUn( )kijn( )kijYn東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 ( )( )(1)( )( )*(1( ),:( )( )( )0,( )exp()(1)( ) kkijijkijijklklk,lkkkijijijkkijijijkijkkkijijijFnIL nMYnUnFnL nif UnnYnoth

23、erwisennV Yn1,1aii1,1bjj其中：其中： ijIK*ijIK或或 (4.1)東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 (3)累計網(wǎng)絡(luò)每次迭代運行的輸出累計網(wǎng)絡(luò)每次迭代運行的輸出:(4) 重復(fù)步驟重復(fù)步驟(2)和和(3)直到，此時網(wǎng)絡(luò)迭代運行停直到，此時網(wǎng)絡(luò)迭代運行停止；止；(5) 根據(jù)下式選擇融合圖像的小波系數(shù)根據(jù)下式選擇融合圖像的小波系數(shù): ( )(1)( )kkkijijijTnTnYn,max,max,max,max,max,max,max,max,max( , )( , ),()()2( , )( , ),()(),()()( , ),()(),()k

24、CTk MRIkkij CTij MRIkkkkk Fk CTij CTij MRIij CTij MRIkkkk MRIij CTij MRIij CTiDi jDi jTNTNDi jDi jTNTNTNTNDi jTNTNTNT且且,max()kj MRIN(4.2)(4.3)東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 (6) 為了避免出現(xiàn)某一區(qū)域與其相鄰的區(qū)域分別為了避免出現(xiàn)某一區(qū)域與其相鄰的區(qū)域分別來源于不同輸入源圖像的情況，這里采用一致性來源于不同輸入源圖像的情況，這里采用一致性檢測校驗步驟檢測校驗步驟(5)得到的結(jié)果。即如果神經(jīng)網(wǎng)絡(luò)得到的結(jié)果。即如果神經(jīng)網(wǎng)絡(luò)判定某一區(qū)域

25、來自于圖像判定某一區(qū)域來自于圖像CT而它周圍的區(qū)域來而它周圍的區(qū)域來自圖像自圖像MRI，則將這個區(qū)域用圖像，則將這個區(qū)域用圖像MRI中的對應(yīng)中的對應(yīng)區(qū)域像素替換。區(qū)域像素替換。(7) 最后小波提升逆變換，獲得最終的融合圖最后小波提升逆變換，獲得最終的融合圖像。像。東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 v仿真實驗仿真實驗 (a) CT圖像圖像 (b) MRI圖像圖像 (c)梯度金字塔融合算法梯度金字塔融合算法(d)基于區(qū)域融合算法基于區(qū)域融合算法 (e) PCNN (f)所提算法所提算法0.7東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 (a) CT圖像圖像 (b) MR

26、I圖像圖像(c)梯度金字塔梯度金字塔 (d)基于區(qū)域融合基于區(qū)域融合 融合算法融合算法 算法算法東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 (g) 所提算法所提算法 (e)模糊集和小波模糊集和小波 (f) PCNN 變換融合算法變換融合算法0.7東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 CT1/MRI1實驗結(jié)果的質(zhì)量評價實驗結(jié)果的質(zhì)量評價梯度金字塔融合梯度金字塔融合算法算法 基于區(qū)域融合基于區(qū)域融合算法算法 PCNN所提方法所提方法平均交叉熵平均交叉熵5.90132.94565.25482.3487標(biāo)準(zhǔn)差標(biāo)準(zhǔn)差31.332444.948934.567245.1435平均梯

27、度平均梯度 8.638918.257810.237818.5678相關(guān)系數(shù)相關(guān)系數(shù) 0.60810.84230.65870.84520.7東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 梯度金字塔融梯度金字塔融合算法合算法 基于區(qū)域融合基于區(qū)域融合算法算法 模糊集和小波模糊集和小波變換融合算法變換融合算法 PCNN所提方法所提方法平均交叉熵平均交叉熵9.83769.45765.59255.14733.8271標(biāo)準(zhǔn)差標(biāo)準(zhǔn)差29.264530.167433.980734.768439.5867平均梯度平均梯度 18.974520.867524.987325.635429.3526相關(guān)系數(shù)相關(guān)

28、系數(shù) 0.43870.48620.60710.61820.7646CT2/MRI2實驗結(jié)果的質(zhì)量評價實驗結(jié)果的質(zhì)量評價= 0.7東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 基于像素級的醫(yī)學(xué)圖像融合可以使融合后的圖像基于像素級的醫(yī)學(xué)圖像融合可以使融合后的圖像包含更全面、更精確的信息，但是所要處理的圖包含更全面、更精確的信息，但是所要處理的圖像數(shù)據(jù)量大，故融合速度慢，同時對配準(zhǔn)精度的像數(shù)據(jù)量大，故融合速度慢，同時對配準(zhǔn)精度的要求非常高。基于特征級的醫(yī)學(xué)圖像融合由于對要求非常高?；谔卣骷壍尼t(yī)學(xué)圖像融合由于對多模醫(yī)學(xué)圖像提取的特征信息進行融合，故可以多模醫(yī)學(xué)圖像提取的特征信息進行融合，故可

29、以大大加快融合速度，且對圖像配準(zhǔn)的要求沒有像大大加快融合速度，且對圖像配準(zhǔn)的要求沒有像素級嚴(yán)格，但素級嚴(yán)格，但其融合精度比像素級融合差其融合精度比像素級融合差 。 五、基于五、基于BP的特征級圖像融合算法的特征級圖像融合算法東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 將像素級和特征級融合方法有效地結(jié)合起來，利將像素級和特征級融合方法有效地結(jié)合起來，利用用BPBP神經(jīng)網(wǎng)絡(luò)的優(yōu)點，提出了基于神經(jīng)網(wǎng)絡(luò)的優(yōu)點，提出了基于BPBP神經(jīng)網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)的特征級圖像融合方法。特征級圖像融合方法。具體步驟：具體步驟：1、 將兩幅圖像進行圖像分割得到一組分割區(qū)將兩幅圖像進行圖像分割得到一組分割區(qū)域，用域

30、，用Ai和和Bi分別表示第分別表示第i個區(qū)域?qū)?。個區(qū)域?qū)Α?、根據(jù)灰度共生矩陣，從每個區(qū)域抽取五個反映、根據(jù)灰度共生矩陣，從每個區(qū)域抽取五個反映圖像紋理的特征。圖像紋理的特征。Ai和和Bi的特征矢量分別表示為的特征矢量分別表示為( )和和( )。 12345,iiiiiAAAAA51234,iiiiiBBBBB東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 3、訓(xùn)練一個用于判斷分析、訓(xùn)練一個用于判斷分析Ai和和Bi區(qū)域紋理特征的區(qū)域紋理特征的神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)的輸入是差異矢量神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)的輸入是差異矢量( )，網(wǎng)，網(wǎng)絡(luò)的輸出如下式：絡(luò)的輸出如下式：4、用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)在所有分割區(qū)

31、域（第一、用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)在所有分割區(qū)域（第一步得到的）上進行檢測、判斷。融合圖像的第步得到的）上進行檢測、判斷。融合圖像的第i個個區(qū)域按下式構(gòu)建：區(qū)域按下式構(gòu)建： 5112233445,iiiiiiiiiiBABABABABA1 arg0 iiiif the texture of A is better than that of Btetotherwise 0.5 iiiiA if outZB otherwise(5.1)(5.2)東北大學(xué)信息科學(xué)與工程學(xué)院東北大學(xué)信息科學(xué)與工程學(xué)院 5、采用一致性檢測來校驗步驟、采用一致性檢測來校驗步驟(4)得到的結(jié)果。得到的結(jié)果。如果神經(jīng)網(wǎng)絡(luò)判定某一區(qū)域來自于圖像如果神經(jīng)網(wǎng)絡(luò)判定某一區(qū)域來自于圖像1而它周而它周圍的區(qū)域來自圖像圍的區(qū)域來自圖像2，則將這個區(qū)域用圖像，則將這個區(qū)域用圖像2中的中的對