圖像融合報告課件

Multifocusimagefusionusingregionsegmentationandspatialfrequencyxoulongxia專業(yè)：計算機(jī)科學(xué)與技術(shù)Multifocusimagefusionusing1一研究背景二研究動態(tài)三研究內(nèi)容四文章理解五想法一研究背景二研究動態(tài)三研究內(nèi)容四文章理解五想法2研究背景定義

圖像融合（ImageFusion）是通過對源圖像間冗余信息和互補(bǔ)信息進(jìn)行處理，使得到的融合圖像可靠性增強(qiáng)，能更客觀地、更精確地和更全面地對某一場景進(jìn)行圖像描述，更加適合人眼和機(jī)器視覺感知，更加有利于圖像分割、特征提取和目標(biāo)識別等更深層次的圖像處理任務(wù)。研究背景定義3高效的圖像融合方法可以根據(jù)需要綜合處理多源通道的信息，從而有效地提高了圖像信息的利用率、系統(tǒng)對目標(biāo)探測識別地可靠性及系統(tǒng)的自動化程度。其目的是將單一傳感器的多波段信息或不同類傳感器所提供的信息加以綜合，消除多傳感器信息之間可能存在的冗余和矛盾，以增強(qiáng)圖像中信息透明度，改善解譯的精度、可靠性以及使用率，以形成對目標(biāo)的清晰、完整、準(zhǔn)確的信息描述。

高效的圖像融合方法可以根據(jù)需要綜合處理多源通道的信息，從而有4例如，對于聚集不同的多幅對準(zhǔn)圖像，如果圖像中的一些景物在其中的一幅圖像中很清晰，而在別的圖像中較為模糊的話，那么可以采取圖像融合的方法獲得一幅新的圖像，融合后的圖像比融合前的任意一幅圖像具有更多的信息量。圖一：左聚焦圖像圖二：右聚焦圖像圖三：融合圖像例如，對于聚集不同的多幅對準(zhǔn)圖像，如果圖像中的一些景物在其中5研究動態(tài)圖像融合近年來在很多領(lǐng)域都有了越來越多的應(yīng)用和發(fā)展。在醫(yī)學(xué)上，醫(yī)學(xué)圖像的配準(zhǔn)和融合為醫(yī)生提供更加豐富、可靠的圖像依據(jù)，以便更加直觀地利用這些信息并結(jié)合臨床經(jīng)驗做出準(zhǔn)確診斷；隨著遙感技術(shù)的發(fā)展，高空間分辨率、波譜分辨率和時間分辨率的圖像數(shù)據(jù)已經(jīng)問世；根據(jù)各種不同類型的多光譜數(shù)據(jù)信息之間存在著重疊和互補(bǔ)，利用圖像融合技術(shù)對遙感圖像進(jìn)行融合，近年來在土地動態(tài)監(jiān)測、防洪防災(zāi)和軍事偵察方面得到應(yīng)用。研究動態(tài)圖像融合近年來在很多領(lǐng)域都有了越來越多的應(yīng)用和發(fā)展。6

在圖像融合目標(biāo)識別方面，國外從70年以已開始研究被動微波／紅外復(fù)合的雙模(雙傳感器)尋的系統(tǒng)，進(jìn)入80年代后，更多型式的雙模(雙傳感器)尋的系統(tǒng)如：半主動雷達(dá)／紅外、主動毫米波／雷達(dá)、激光／紅外等型式的雙模尋的系統(tǒng)大量出現(xiàn)，其主要的目的就是企圖通過多種不同類型的傳感器系統(tǒng)的組合和信號的綜合利用使整個系統(tǒng)在性能上取得互補(bǔ)，以提高尋的系統(tǒng)總的性能指標(biāo)。在圖像融合目標(biāo)識別方面，國外從70年以已開始研究被動微波7研究內(nèi)容目前，國內(nèi)外學(xué)術(shù)界在圖像融合領(lǐng)域已取得了豐碩的研究成果。在理論和方法方面主要有主成分分析法、演化計算法、神經(jīng)網(wǎng)絡(luò)法、小波變換法和模糊邏輯等圖像融合方法：在融合效果客觀評價方面，有shannon提出的信息熵、交叉熵、互信息、聯(lián)合熵以及均方根誤差、均值、標(biāo)準(zhǔn)差、平均誤差、偏差、相對偏差、空間頻率、灰度標(biāo)準(zhǔn)差、相關(guān)系數(shù)、信噪比和峰值信噪比等客觀評價標(biāo)準(zhǔn)。研究內(nèi)容目前，國內(nèi)外學(xué)術(shù)界在圖像融合領(lǐng)域已取得了豐碩的研究成8一般情況下，圖像融合由低到高分為三個層次：像素級融合、特征級融合、決策級融合。像素級融合是在嚴(yán)格配準(zhǔn)的條件下，直接在傳感器采集所得的圖像原始數(shù)據(jù)層上進(jìn)行處理，可用來提高信號的靈敏度與信噪比，以利于目視觀測與特征提取。像素級圖像融合具有明顯的局限性：它要處理的圖像數(shù)據(jù)量太大，處理代價高；這種融合是在信息的最低層進(jìn)行，傳感器原始信息的不確定性、不完全性和不穩(wěn)定性要求在進(jìn)行融合時有較高的糾錯處理能力；要求各傳感器信息之間有精確到一個像素的配準(zhǔn)精度；數(shù)據(jù)通信量大，抗干擾能力差。一般情況下，圖像融合由低到高分為三個層次：像素級融合、特征級9特征級圖像融合是中間層次上的融合，它是先提取來自傳感器的原始信息的特征，產(chǎn)生特征矢量,然后對特征矢量進(jìn)行融合處理。一般來說，提取的特征信息應(yīng)該是像素信息的充分表示量或充分估計量，然后按照特征信息對多傳感器數(shù)據(jù)進(jìn)行綜合分析和處理。特征級圖像融合的主要優(yōu)點有：由于提取傳感器原始信息的特征信息，信息得到了壓縮，有利于實時處理。特征級圖像融合是中間層次上的融合，它是先提取來自傳感器的原始10決策級圖像融合是最高層次的融合，包含檢測、分類、識別和融合，在決策級圖像融合之前，每種傳感器已經(jīng)被獨立完成了決策和分類任務(wù)，融合工作實質(zhì)上是做出全局的最優(yōu)決策。決策級圖像融合的優(yōu)點主要表現(xiàn)為：它能在增加或減少一個或多個傳感器的情況下工作，對傳感器沒有特殊的要求，因此，它具有很強(qiáng)的容錯性、很好的開放性、融合中心處理代價小，較短的處理時間等特點。同時由于處理的數(shù)據(jù)量較小，信息通信量小，抗干擾能力強(qiáng)，還能有效的反映環(huán)境或目標(biāo)各個側(cè)面的不同類型信息。由于是最高級別的融合，需要以前面級別的融合結(jié)果作為輸入，所以預(yù)處理的代價非常高。決策級圖像融合是最高層次的融合，包含檢測、分類、識別和融合，11文章理解本文中，我們提出一種在空間域?qū)嵭械牟⑶疫m合多聚焦圖像的融合。直觀的想法是圖像被人們理解為區(qū)域或?qū)ο蠹墑e用來代替像素級別。這包含三個步驟：圖像的分割、區(qū)域的明確計算和融合圖像的構(gòu)建。第一步，通過簡單的求均值的方法合并兩個源圖像。第二步，被融合的圖像使用歸一化分割(Ncut)方法分割，根據(jù)這個結(jié)果圖像被劃分開。第三步，兩個源圖像相匹配的區(qū)域使用空間頻率的方法相融合。文章理解本文中，我們提出一種在空間域?qū)嵭械牟⑶疫m合多聚焦圖像12實驗方案▽1、Regionsegmentationusingnormalizedcuts（基于歸一化分割方法的區(qū)域分割）被分割的圖像是由點集組成的，節(jié)點之間的相互聯(lián)系就構(gòu)成了加權(quán)無向圖G=(V,E)。我們給出normalizedcuts（Ncut）的定義：其中，表示所有從節(jié)點A到節(jié)點B的連接，表示從節(jié)點A到所有結(jié)點的連接。實驗方案13計算流程（1）定義一個給定的圖像和權(quán)重函數(shù)的特征描述矩陣；（2）假定一個加權(quán)圖G=（V,E），計算邊緣權(quán)值，得出的W和D的信息矩陣的W表達(dá)式如下：X(i)為節(jié)點i的位置空間，F(xiàn)(i)=I(i)為強(qiáng)度值，矩陣D是N×N的對角矩陣，對角線上的d(i)=ΣW(i,j)；計算流程14（3）解答(D-W)X=λDX特征向量的最小特征值；（4）使用特征向量找出第二小的特征值，并找出劃分的點以便于把Ncut的值減小至最低范圍；（5）檢查Ncut的值，最簡單的是依據(jù)第一個計算特征向量的柱狀圖，然后計算在最大值和最小值之間的二進(jìn)特征向量的比率，在實驗中，設(shè)置一個像上述的比率閾值，小于閾值的特征向量是不穩(wěn)定的（本實驗設(shè)置閾值為0.06）。我們還可以按照第（2）進(jìn)一步的細(xì)化。（3）解答(D-W)X=λDX特征向量的最小特征值；15▽2、Spatialfrequency（空間頻率）空間頻率源于人們的目視系統(tǒng)，表明在一個圖像中的全部活動程度，一個圖像塊的空間頻率定義如下：假定一個像素為M×N的圖像，行頻率RF(rowfrequencies)，列頻率CF(columnfrequencies),則

F(m,n)是圖像F在位置(m,n)的像素灰度值圖像的總的空間頻率：▽2、Spatialfrequency（空間頻率）16▽3、Multifocusimagefusionusingregions’clarity（區(qū)域明確的多聚焦圖像融合）融合的過程（1）獲得檢錄圖像A和B的臨時融合圖像平均值；（2）使用歸一化的分割算法把臨時融合圖像分割為幾個區(qū)域；（3）使用第(2)步的結(jié)論劃分圖像A和B；（4）計算每一個劃分的A和B區(qū)域的空間頻率；（5）比較兩個源圖像相匹配的區(qū)域空間頻率，以決定哪一部分用于構(gòu)建融合圖像，是第i個區(qū)域的融合圖像，和是圖像A和B的第i個區(qū)域的空間頻率。▽3、Multifocusimagefusionusi17（6）挑選所有相融后的區(qū)域組建最后的圖像。如果有三個或更多的源圖像，使用第(2)步的結(jié)論劃分所有的源圖像，然后計算每個區(qū)域的空間頻率，選擇具有最大值的空間頻率，最后按照(6)重建所有區(qū)域相融后的圖像。

（6）挑選所有相融后的區(qū)域組建最后的圖像。18▽4、Experimentalresults（實驗處理）通過對不同源融合圖像組合的比較得出我們實驗的好壞，這里有三種方法可供我們選擇：a.wavelet-basedfusionmethod（基于小波的融合方法）b.Region-basedactivitymeasurement（基于區(qū)域的放射性活度測量）用于反映已分解系數(shù)的活動程度，系數(shù)是通過選擇最大值組合成的。c.Window-basedverification（基于窗口的驗證）本文的圖像融合是由normalizedcutsalgorithm和wavelet-basedapproach來完成的。本文設(shè)定參數(shù)為：▽4、Experimentalresults（實驗處理）19評價指標(biāo)本文使用和交互信息(mutualinformaton(MI))標(biāo)準(zhǔn)來度量實驗結(jié)果的。其中A，B為輸入的源圖像，F(xiàn)為輸出的融合圖像。（在這里對兩個性能指標(biāo)不做詳細(xì)說明）評價指標(biāo)20想法1.對SF(空間頻率)我們可以結(jié)合新的特征計算方法，提取特征更加顯著的分塊圖像，使融合后的圖像更加清晰平滑；2.在圖像分割之前我們可以先用小波進(jìn)行分解，在低頻部分進(jìn)行分割，消除塊效應(yīng)，最終達(dá)到更好的融合效果。想法1.對SF(空間頻率)我們可以結(jié)合新的特征計算方法，提取21謝謝敬請批評指正

圖像融合報告課件22Multifocusimagefusionusingregionsegmentationandspatialfrequencyxoulongxia專業(yè)：計算機(jī)科學(xué)與技術(shù)Multifocusimagefusionusing23一研究背景二研究動態(tài)三研究內(nèi)容四文章理解五想法一研究背景二研究動態(tài)三研究內(nèi)容四文章理解五想法24研究背景定義

圖像融合（ImageFusion）是通過對源圖像間冗余信息和互補(bǔ)信息進(jìn)行處理，使得到的融合圖像可靠性增強(qiáng)，能更客觀地、更精確地和更全面地對某一場景進(jìn)行圖像描述，更加適合人眼和機(jī)器視覺感知，更加有利于圖像分割、特征提取和目標(biāo)識別等更深層次的圖像處理任務(wù)。研究背景定義25高效的圖像融合方法可以根據(jù)需要綜合處理多源通道的信息，從而有效地提高了圖像信息的利用率、系統(tǒng)對目標(biāo)探測識別地可靠性及系統(tǒng)的自動化程度。其目的是將單一傳感器的多波段信息或不同類傳感器所提供的信息加以綜合，消除多傳感器信息之間可能存在的冗余和矛盾，以增強(qiáng)圖像中信息透明度，改善解譯的精度、可靠性以及使用率，以形成對目標(biāo)的清晰、完整、準(zhǔn)確的信息描述。

高效的圖像融合方法可以根據(jù)需要綜合處理多源通道的信息，從而有26例如，對于聚集不同的多幅對準(zhǔn)圖像，如果圖像中的一些景物在其中的一幅圖像中很清晰，而在別的圖像中較為模糊的話，那么可以采取圖像融合的方法獲得一幅新的圖像，融合后的圖像比融合前的任意一幅圖像具有更多的信息量。圖一：左聚焦圖像圖二：右聚焦圖像圖三：融合圖像例如，對于聚集不同的多幅對準(zhǔn)圖像，如果圖像中的一些景物在其中27研究動態(tài)圖像融合近年來在很多領(lǐng)域都有了越來越多的應(yīng)用和發(fā)展。在醫(yī)學(xué)上，醫(yī)學(xué)圖像的配準(zhǔn)和融合為醫(yī)生提供更加豐富、可靠的圖像依據(jù)，以便更加直觀地利用這些信息并結(jié)合臨床經(jīng)驗做出準(zhǔn)確診斷；隨著遙感技術(shù)的發(fā)展，高空間分辨率、波譜分辨率和時間分辨率的圖像數(shù)據(jù)已經(jīng)問世；根據(jù)各種不同類型的多光譜數(shù)據(jù)信息之間存在著重疊和互補(bǔ)，利用圖像融合技術(shù)對遙感圖像進(jìn)行融合，近年來在土地動態(tài)監(jiān)測、防洪防災(zāi)和軍事偵察方面得到應(yīng)用。研究動態(tài)圖像融合近年來在很多領(lǐng)域都有了越來越多的應(yīng)用和發(fā)展。28

在圖像融合目標(biāo)識別方面，國外從70年以已開始研究被動微波／紅外復(fù)合的雙模(雙傳感器)尋的系統(tǒng)，進(jìn)入80年代后，更多型式的雙模(雙傳感器)尋的系統(tǒng)如：半主動雷達(dá)／紅外、主動毫米波／雷達(dá)、激光／紅外等型式的雙模尋的系統(tǒng)大量出現(xiàn)，其主要的目的就是企圖通過多種不同類型的傳感器系統(tǒng)的組合和信號的綜合利用使整個系統(tǒng)在性能上取得互補(bǔ)，以提高尋的系統(tǒng)總的性能指標(biāo)。在圖像融合目標(biāo)識別方面，國外從70年以已開始研究被動微波29研究內(nèi)容目前，國內(nèi)外學(xué)術(shù)界在圖像融合領(lǐng)域已取得了豐碩的研究成果。在理論和方法方面主要有主成分分析法、演化計算法、神經(jīng)網(wǎng)絡(luò)法、小波變換法和模糊邏輯等圖像融合方法：在融合效果客觀評價方面，有shannon提出的信息熵、交叉熵、互信息、聯(lián)合熵以及均方根誤差、均值、標(biāo)準(zhǔn)差、平均誤差、偏差、相對偏差、空間頻率、灰度標(biāo)準(zhǔn)差、相關(guān)系數(shù)、信噪比和峰值信噪比等客觀評價標(biāo)準(zhǔn)。研究內(nèi)容目前，國內(nèi)外學(xué)術(shù)界在圖像融合領(lǐng)域已取得了豐碩的研究成30一般情況下，圖像融合由低到高分為三個層次：像素級融合、特征級融合、決策級融合。像素級融合是在嚴(yán)格配準(zhǔn)的條件下，直接在傳感器采集所得的圖像原始數(shù)據(jù)層上進(jìn)行處理，可用來提高信號的靈敏度與信噪比，以利于目視觀測與特征提取。像素級圖像融合具有明顯的局限性：它要處理的圖像數(shù)據(jù)量太大，處理代價高；這種融合是在信息的最低層進(jìn)行，傳感器原始信息的不確定性、不完全性和不穩(wěn)定性要求在進(jìn)行融合時有較高的糾錯處理能力；要求各傳感器信息之間有精確到一個像素的配準(zhǔn)精度；數(shù)據(jù)通信量大，抗干擾能力差。一般情況下，圖像融合由低到高分為三個層次：像素級融合、特征級31特征級圖像融合是中間層次上的融合，它是先提取來自傳感器的原始信息的特征，產(chǎn)生特征矢量,然后對特征矢量進(jìn)行融合處理。一般來說，提取的特征信息應(yīng)該是像素信息的充分表示量或充分估計量，然后按照特征信息對多傳感器數(shù)據(jù)進(jìn)行綜合分析和處理。特征級圖像融合的主要優(yōu)點有：由于提取傳感器原始信息的特征信息，信息得到了壓縮，有利于實時處理。特征級圖像融合是中間層次上的融合，它是先提取來自傳感器的原始32決策級圖像融合是最高層次的融合，包含檢測、分類、識別和融合，在決策級圖像融合之前，每種傳感器已經(jīng)被獨立完成了決策和分類任務(wù)，融合工作實質(zhì)上是做出全局的最優(yōu)決策。決策級圖像融合的優(yōu)點主要表現(xiàn)為：它能在增加或減少一個或多個傳感器的情況下工作，對傳感器沒有特殊的要求，因此，它具有很強(qiáng)的容錯性、很好的開放性、融合中心處理代價小，較短的處理時間等特點。同時由于處理的數(shù)據(jù)量較小，信息通信量小，抗干擾能力強(qiáng)，還能有效的反映環(huán)境或目標(biāo)各個側(cè)面的不同類型信息。由于是最高級別的融合，需要以前面級別的融合結(jié)果作為輸入，所以預(yù)處理的代價非常高。決策級圖像融合是最高層次的融合，包含檢測、分類、識別和融合，33文章理解本文中，我們提出一種在空間域?qū)嵭械牟⑶疫m合多聚焦圖像的融合。直觀的想法是圖像被人們理解為區(qū)域或?qū)ο蠹墑e用來代替像素級別。這包含三個步驟：圖像的分割、區(qū)域的明確計算和融合圖像的構(gòu)建。第一步，通過簡單的求均值的方法合并兩個源圖像。第二步，被融合的圖像使用歸一化分割(Ncut)方法分割，根據(jù)這個結(jié)果圖像被劃分開。第三步，兩個源圖像相匹配的區(qū)域使用空間頻率的方法相融合。文章理解本文中，我們提出一種在空間域?qū)嵭械牟⑶疫m合多聚焦圖像34實驗方案▽1、Regionsegmentationusingnormalizedcuts（基于歸一化分割方法的區(qū)域分割）被分割的圖像是由點集組成的，節(jié)點之間的相互聯(lián)系就構(gòu)成了加權(quán)無向圖G=(V,E)。我們給出normalizedcuts（Ncut）的定義：其中，表示所有從節(jié)點A到節(jié)點B的連接，表示從節(jié)點A到所有結(jié)點的連接。實驗方案35計算流程（1）定義一個給定的圖像和權(quán)重函數(shù)的特征描述矩陣；（2）假定一個加權(quán)圖G=（V,E），計算邊緣權(quán)值，得出的W和D的信息矩陣的W表達(dá)式如下：X(i)為節(jié)點i的位置空間，F(xiàn)(i)=I(i)為強(qiáng)度值，矩陣D是N×N的對角矩陣，對角線上的d(i)=ΣW(i,j)；計算流程36（3）解答(D-W)X=λDX特征向量的最小特征值；（4）使用特征向量找出第二小的特征值，并找出劃分的點以便于把Ncut的值減小至最低范圍；（5）檢查Ncut的值，最簡單的是依據(jù)第一個計算特征向量的柱狀圖，然后計算在最大值和最小值之間的二進(jìn)特征向量的比率，在實驗中，設(shè)置一個像上述的比率閾值，小于閾值的特征向量是不穩(wěn)定的（本實驗設(shè)置閾值為0.06）。我們還可以按照第（2）進(jìn)一步的細(xì)化。（3）解答(D-W)X=λDX特征向量的最小特征值；37▽2、Spatialfrequency（空間頻率）空間頻率源于人們的目視系統(tǒng)，表明在一個圖像中的全部活動程度，一個圖像塊的空間頻率定義如下：假定一個像素為M×N的圖像，行頻率RF(rowfrequencies)，列頻率CF(columnfrequencies),則

F(m,n)是圖像F在位置(m,n)的像素灰度值圖像的總的空間頻率：▽2、Spatialfrequency（空間頻率）38▽3、Multifocusimagefusionusingregions’clarity（區(qū)域明確的多聚焦圖像融合）融合的過程（1）獲得檢錄圖像A和B的臨時融合圖像平均值；（2）使用歸一化的分割算法把臨時融合圖像分割為幾個區(qū)域；（3）使用第(2)步的結(jié)論劃分圖像A和B；（4）計算每一個劃分的A和B區(qū)域的空間頻率；（5）比較兩個源圖像相匹配的區(qū)