第九章 圖像融合及應(yīng)用

第九章圖像融合及應(yīng)用第1頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月第2頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月第3頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月第4頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月第5頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月第6頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月主要內(nèi)容信息融合概述圖像融合簡(jiǎn)介圖像配準(zhǔn)方法圖像融合方法融合效果評(píng)價(jià)第7頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月主要內(nèi)容信息融合概述圖像融合簡(jiǎn)介圖像配準(zhǔn)方法圖像融合方法融合效果評(píng)價(jià)第8頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月1.什么是信息融合(informationFusion)？

數(shù)據(jù)融合技術(shù)是隨雷達(dá)信息處理及C3I系統(tǒng)的發(fā)展而發(fā)展起來(lái)的。它對(duì)各種數(shù)據(jù)源進(jìn)行綜合、過(guò)濾、相關(guān)、識(shí)別和融合，得出戰(zhàn)場(chǎng)態(tài)勢(shì)圖、進(jìn)行態(tài)勢(shì)威脅與判別，制定出作戰(zhàn)行動(dòng)方案，供指揮員決策參考。數(shù)據(jù)融合的過(guò)程就是各種信息源處理、控制及決策的一體化過(guò)程。C3I——Command（指揮），Control（控制）、Communication（通信），intelligence（情報(bào)）。Ｃ3I系統(tǒng)，1953年首先在美國(guó)研制和建立，由于其對(duì)提高軍隊(duì)指揮效能和作戰(zhàn)能力具有重要作用，因而受到世界各國(guó)高度重視。

C4I——C3I+Computers一、信息融合概述第9頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月2.什么是圖像融合？

圖像融合(ImageFusion)是用特定的算法將兩幅或多幅圖像綜合成一幅新的圖像。融合結(jié)果由于能利用兩幅(或多幅)圖像在時(shí)空上的相關(guān)性及信息上的互補(bǔ)性，并使得融合后得到的圖像對(duì)場(chǎng)景有更全面、清晰的描述，從而更有利于人眼的識(shí)別和機(jī)器的自動(dòng)探測(cè)。圖像傳感器A圖像傳感器B冗余信息互補(bǔ)信息一、信息融合概述第10頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月起源：20世紀(jì)70年代初3.圖像融合技術(shù)的研究現(xiàn)狀及發(fā)展一、信息融合概述20世紀(jì)70年代初，美國(guó)研究機(jī)構(gòu)發(fā)現(xiàn)，利用計(jì)算機(jī)技術(shù)對(duì)多個(gè)獨(dú)立的連續(xù)聲納信號(hào)進(jìn)行融合后，可以自動(dòng)檢測(cè)出敵方潛艇的位置。這一嘗試使得信息融合作為一門(mén)獨(dú)立的技術(shù)首先在軍事應(yīng)用中得到青睞。第11頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月發(fā)展：20世紀(jì)80年代－20世紀(jì)末3.圖像融合技術(shù)的研究現(xiàn)狀及發(fā)展一、信息融合概述20世紀(jì)80年代后，對(duì)信息融合技術(shù)的研究更加活躍；國(guó)際上，關(guān)于信息融合的專著論文等數(shù)量可觀；圖像融合在軍事和民用等諸多領(lǐng)域得到廣泛的應(yīng)用。第12頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月完善：20世紀(jì)末－今3.圖像融合技術(shù)的研究現(xiàn)狀及發(fā)展一、信息融合概述由于其研究領(lǐng)域覆蓋范圍的廣泛性、多傳感器數(shù)據(jù)形式的多樣性以及融合處理的多樣性和復(fù)雜性，信息融合理論至今尚未形成系統(tǒng)的理論框架和有效的通用融合模型和算法。大部分研究工作都是針對(duì)特定應(yīng)用領(lǐng)域的問(wèn)題來(lái)展開(kāi)的。第13頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月國(guó)內(nèi)出版物第14頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月參考書(shū)第15頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月國(guó)內(nèi)出版物[1]覃征等,數(shù)字圖像融合,西安交通大學(xué)出版社,2005年[2]張永生等,天基多源遙感信息融合—理論算法與應(yīng)用系統(tǒng),科學(xué)出版社,2005[3]韓崇昭等,多源信息融合,清華大學(xué)出版社,2006[4]那彥,焦李成等,基于多分辨分析理論的圖像融合方法(研究生系列教材),西安電子科技大學(xué)出版社,2007[5]李振華等,圖像融合—理論與應(yīng)用,高等教育出版社,2007[6]胡良梅等,基于信息融合的圖像理解方法研究,合肥工業(yè)大學(xué)出版社,2007.[7]郭雷,李暉暉等,圖像融合,電子工業(yè)出版社,2008[8]劉衛(wèi)光等,圖像信息融合與識(shí)別,電子工業(yè)出版社,2008第16頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月4.圖像融合的應(yīng)用領(lǐng)域一、信息融合概述近年來(lái)，圖像融合(ImageFusion)技術(shù)得到迅猛發(fā)展，在遙感探測(cè)、安全導(dǎo)航、醫(yī)學(xué)圖像分析、反恐檢查、環(huán)境保護(hù)、交通監(jiān)測(cè)、清晰圖像重建、災(zāi)情檢測(cè)與預(yù)報(bào)等領(lǐng)域都有著重大的應(yīng)用價(jià)值。第17頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月醫(yī)學(xué)圖像分析：一、信息融合概述第18頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月一、信息融合概述醫(yī)學(xué)圖像分析：PETCTFusedimage第19頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月遙感遙測(cè)：一、信息融合概述SpatialSpectral

+panchromatic&highgeometricresolutionmulti-/hyperspectralimage&lowgeometricresolutionmulti-/hyperspectral&highgeometricresolution遙感遙測(cè)第20頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月SurveillanceandTargetingNavigationSatellitesGuidance/DetectionSystems一、信息融合概述第21頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月主要內(nèi)容信息融合概述圖像融合簡(jiǎn)介圖像配準(zhǔn)方法圖像融合方法融合效果評(píng)價(jià)第22頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月1、不同成像傳感器圖像的融合電視圖像(TV/VisibleImage)紅外/紫外圖像(Infrared/UVImage)合成孔徑雷達(dá)(SyntheticApertureRadar，SAR)超聲圖像(UltrasonicImage)X-RAY,CT,PET核磁共振(Magneticresonanceimaging,MRI)二、圖像融合簡(jiǎn)介因此，紅外圖像融合包括與不同成像傳感器圖像的融合，及不同波段的紅外圖像的融合。第23頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月2、圖像融合的層次（或級(jí)）①像素（pixels)級(jí)融合

——對(duì)應(yīng)像素的融合。②特征(Feature)級(jí)融合

——對(duì)應(yīng)特征的融合③決策(decision-making)級(jí)融合

——在①、②級(jí)基礎(chǔ)上，通過(guò)分類(lèi)、識(shí)別和綜合評(píng)價(jià)，進(jìn)行的最后決策。二、圖像融合簡(jiǎn)介第24頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月像素級(jí)融合決策級(jí)融合特征級(jí)融合二、圖像融合簡(jiǎn)介第25頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月可見(jiàn)光圖像遠(yuǎn)紅外圖像融合結(jié)果一融合結(jié)果二二、圖像融合簡(jiǎn)介第26頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月可見(jiàn)光圖像紅外圖像融合結(jié)果一融合結(jié)果二二、圖像融合簡(jiǎn)介第27頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月FocusonrightpartFocusonleftpartImagetakenusingautofocusfunctionFusedimage二、圖像融合簡(jiǎn)介第28頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月3、圖像融合的基本流程圖像預(yù)處理二、圖像融合簡(jiǎn)介第29頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月主要內(nèi)容信息融合概述圖像融合簡(jiǎn)介圖像配準(zhǔn)方法圖像融合方法融合效果評(píng)價(jià)第30頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月IRMMWRADARSATIRSMRT2CTPETMRT1Multi-modalityRegistrationExamples第31頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月2圖像配準(zhǔn)簡(jiǎn)介

圖像配準(zhǔn)是是像素級(jí)圖像融合的先決條件，從不同探測(cè)器、不同時(shí)間、不同角度所獲得的兩幅或多幅圖像在空間上的最佳匹配。其中一幅是參考圖像數(shù)據(jù)，其它圖像作為待配準(zhǔn)圖像與之匹配。

圖1待配準(zhǔn)圖像圖2參考圖像三、圖像配準(zhǔn)(ImageRegistration)第32頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月三、圖像配準(zhǔn)配準(zhǔn)原理圖1與圖2之間存在一個(gè)縮放、旋轉(zhuǎn)、平移的關(guān)系，圖像配準(zhǔn)的目標(biāo)就是找到這三種變換的對(duì)應(yīng)關(guān)系。即：其中g(shù)表示二維空間坐標(biāo)變換。配準(zhǔn)的目的就是要找出最佳坐標(biāo)，灰度變換參數(shù)。第33頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月Figure3:FeatureDetectionFigure4:FeatureMatching(ImagesadaptedfromZitova,2003)ImageRegistration第34頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月ImageRegistrationFigure5:TransformationModelEstimationFigure6:ImageResamplingandTransformation(ImagesadaptedfromZitova,2003)第35頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月配準(zhǔn)步驟圖像配準(zhǔn)的過(guò)程也就是“確定空間變換模型——求解變換模型參數(shù)”的過(guò)程。

1.搜索空間2.特征空間

3.搜索策略

4.相似性度量

搜索空間是待配準(zhǔn)的圖像坐標(biāo)之間所有可能的變換關(guān)系。例如：剛體變換仿射變換投影變換非線性變換等三、圖像配準(zhǔn)第36頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月配準(zhǔn)步驟圖像配準(zhǔn)的過(guò)程也就是“確定空間變換模型——求解變換模型參數(shù)”的過(guò)程。

1.搜索空間2.特征空間

3.搜索策略

4.相似性度量

三、圖像配準(zhǔn)

從待配準(zhǔn)的圖像中提取出來(lái)用于匹配的特征，包括邊緣、輪廓、面目標(biāo)拐角、曲線上的交叉點(diǎn)和高曲率的點(diǎn)等地物特征以及人工選取的配準(zhǔn)控制點(diǎn)等外部特征。

第37頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月配準(zhǔn)步驟圖像配準(zhǔn)的過(guò)程也就是“確定空間變換模型——求解變換模型參數(shù)”的過(guò)程。

1.搜索空間2.特征空間

3.搜索策略

4.相似性度量

在搜索空間尋找最佳的變換模型參數(shù)的過(guò)程中所采用的方法。

三、圖像配準(zhǔn)第38頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月配準(zhǔn)步驟圖像配準(zhǔn)的過(guò)程也就是“確定空間變換模型——求解變換模型參數(shù)”的過(guò)程。

1.搜索空間2.特征空間

3.搜索策略

4.相似性度量

衡量搜索空間中不同的參數(shù)變換模型的優(yōu)異程度。

三、圖像配準(zhǔn)第39頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月圖像幾何變換

對(duì)圖像進(jìn)行重新采樣和插值

配準(zhǔn)實(shí)例待匹配圖像

參考圖像匹配圖像

與參考圖像的疊加效果三、圖像配準(zhǔn)第40頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月通過(guò)相關(guān)判據(jù)求出匹配點(diǎn)求解仿射變換參數(shù)

特征點(diǎn)匹配點(diǎn)三、圖像配準(zhǔn)第41頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月(c)OriginalimagesResultsExample1第42頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月OriginalimagesResultsExample2第43頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月主要內(nèi)容信息融合概述圖像融合簡(jiǎn)介圖像配準(zhǔn)方法圖像融合方法融合效果評(píng)價(jià)第44頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月簡(jiǎn)單組合式圖像融合方法邏輯濾波器法數(shù)學(xué)形態(tài)法圖像代數(shù)法空間域融合方法HIS變換PCA變換高通濾波法(HPF)塔式分解法變換域融合方法小波變換法四、圖像融合方法常用的融合方法第45頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月四、圖像融合方法1、空間域融合方法常見(jiàn)的融合規(guī)則：對(duì)應(yīng)像素取最大值對(duì)應(yīng)像素取最小值對(duì)應(yīng)像素取平均值加權(quán)平均法邏輯運(yùn)算第46頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月簡(jiǎn)單組合融合（取?。┤诤蠈?shí)例第47頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月對(duì)應(yīng)像素取平均融合實(shí)例第48頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月對(duì)應(yīng)像素加權(quán)平均融合實(shí)例第49頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月

RGB-IHS變換法。

Brovery變換法。四、圖像融合方法2、顏色空間變換法IHS(Intensity，Hue，Saturation)

第50頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月四、圖像融合方法(1)RGB-IHS變換法

IRBG

IHS柱形空間對(duì)任何3個(gè)[0,1]范圍內(nèi)的R、G、B值都可以用下面的公式轉(zhuǎn)換到對(duì)應(yīng)IHS模型中的I、H、S分量：

第51頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月（5）RGB-IHS變換法

RGB

R’G’B’

HIp’S

彩色合成

HISIHS變換Ip’代替I

IHS逆變換高空間分辨率全色影像P代替I分量。逆變換過(guò)程中可有不同的變換模式,HIS變換過(guò)程也有多種模式,因此該方法有多種模型。四、圖像融合方法(1)RGB-IHS變換法

第52頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月(2)Brovery變換法Brovery變換是一種顏色歸一化變換方法，它將RGB影像進(jìn)行多光譜波段顏色歸一化，并將高分辨率全色影像與各個(gè)波段灰度值分別相乘得到融合影像。融合后的第i個(gè)波段影像的灰度值原波段影像的灰度值高分辨率影像的灰度值四、圖像融合方法第53頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月

四、圖像融合方法3、小波變換法

首先，將已經(jīng)配準(zhǔn)后的兩幅（或多幅）圖像分別進(jìn)行小波變換，分解為小波系數(shù)；然后，將其對(duì)應(yīng)的小波系數(shù)依據(jù)一定的準(zhǔn)則進(jìn)行融合，最后，將融合的系數(shù)進(jìn)行逆變換，進(jìn)行圖像重構(gòu)，即可獲得融合后的圖像。該方法充分利用了小波分解的多尺度、多分辨特性。第54頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月低頻四、圖像融合方法小波變換示意圖第55頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月WaveletTransform小波變換示意圖第56頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月四、圖像融合方法

小波1級(jí)及2級(jí)分解圖示第57頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月小波變換圖像融合流程四、圖像融合方法第58頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月融合規(guī)則

多數(shù)融合算法都是基于這樣的假設(shè)，即圖像中的特征都表現(xiàn)在小波系數(shù)絕對(duì)值大的地方，因此出現(xiàn)了一些基本規(guī)則：四、圖像融合方法取最大值加權(quán)平均法

方差協(xié)方差準(zhǔn)則

梯度準(zhǔn)則局部能量法第59頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月小波變換圖像融合Malab代碼四、圖像融合方法[X,map]=imread('E:\Fusion_img\TV_002.bmp');X1=X;map1=map;subplot(2,2,1);image(X1);colormap(map1);title('電視圖像');[X,map]=imread('E:\Fusion_img\IR_002.bmp');X2=X;map2=map;subplot(2,2,2);image(X2);colormap(map2);title('紅外圖像');[c1,l1]=wavedec2(X1,1,'sym4');[c2,l2]=wavedec2(X2,1,'sym4');c=0.5*(1.2*c1+0.8*c2);XX=waverec2(c,l1,'sym4');subplot(2,2,3);image(XX);title('融合結(jié)果一');Csize1=size(c1);fori=1:Csize1c1(i)=0.8*c1(i);endCsize2=size(c2);forj=1:Csize2c2(j)=1.2*c2(j);endc=0.6*(c1+c2);XXX=waverec2(c,l2,'sym4');subplot(2,2,4);image(XXX);title('融合結(jié)果二');第60頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月小波單尺度分解融合舉例四、圖像融合方法第61頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月PanchromaticImageMultispectralImageRGBBasis:IHStransformandfilteringintheFourierdomain.FFTFourier

SpectrumFFTFourier

SpectrumHPFPanHPLPFILPIHSR‘G‘B‘IHS-1ILP+PanHPHSFFT-14、EhlersFusion四、圖像融合方法第62頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月OriginalpanchromaticimagePanchromaticSpectrum四、圖像融合方法4、EhlersFusion第63頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月|F(u)|Cut-offFrequencyfnFilteredPanchromaticSpectrumFiltersettingeffects第64頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月FilteredpanchromaticimageFusedimageEffectsinthespatialdomain第65頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月FilteredPanchromaticSpectrum|F(u)|Cut-offFrequencyfnFiltersettingeffects第66頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月FilteredpanchromaticimageFusedimageEffectsinthespatialdomain第67頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月FilteredPanchromaticSpectrum|F(u)|Cut-offFrequencyfnFiltersettingeffects第68頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月FilteredpanchromaticimageFusedimageEffectsinthespatialdomain第69頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月主要內(nèi)容信息融合概述圖像融合簡(jiǎn)介圖像配準(zhǔn)方法圖像融合方法融合效果評(píng)價(jià)第70頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月五、融合效果評(píng)價(jià)經(jīng)過(guò)各種方法融合后的圖像質(zhì)量，需要客觀的評(píng)價(jià)，評(píng)價(jià)方法大致可以分為：主觀評(píng)價(jià)定量評(píng)價(jià)

依靠人的主觀感覺(jué)對(duì)融合圖像效果進(jìn)行評(píng)價(jià)。由于受到人的視覺(jué)特性、心理狀態(tài)、感興趣目標(biāo)不同等因素的影響，采用主觀評(píng)價(jià)方法對(duì)圖像融合效果進(jìn)行客觀的評(píng)價(jià)十分困難。

第71頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月五、融合效果評(píng)價(jià)經(jīng)過(guò)各種方法融合后的圖像質(zhì)量，需要客觀的評(píng)價(jià)，評(píng)價(jià)方法大致可以分為：主觀評(píng)價(jià)定量評(píng)價(jià)

定量評(píng)價(jià)可以對(duì)圖像融合質(zhì)量進(jìn)行客觀定量的分析，通過(guò)不同的評(píng)價(jià)指標(biāo)來(lái)區(qū)分融合結(jié)果的優(yōu)劣。第72頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月其中：五、融合效果評(píng)價(jià)一般定量評(píng)價(jià)采用的指標(biāo)：1、熵：2、交叉熵：3、交互信息量：4、空間頻率：第73頁(yè)，課件共81頁(yè)，創(chuàng)作于2023年2月圖像融合實(shí)例

——不同小波，采用能量法：(a)可見(jiàn)光圖像(b)紅外圖像

五、融合效果評(píng)價(jià)第74頁(yè)，課件共81