圖像融合的方法研究

1、東 北 大 學(xué)研 究 生 考 試 試 卷評分考試科目： 現(xiàn)代信號處理理論和方法 課程編號： 閱 卷 人： 考試日期： 2011年11月24日 姓 名： 朱學(xué)歡 學(xué) 號： 1101139 注 意 事 項1考 前 研 究 生 將 上 述 項 目 填 寫 清 楚2字 跡 要 清 楚，保 持 卷 面 清 潔3交 卷 時 請 將 本 試 卷 和 題 簽 一 起 上 交東北大學(xué)研究生院基于MATLAB的圖像融合方法姓名：朱學(xué)歡 學(xué)號：1101139 一、圖像融合算法數(shù)字圖像融合（Digital Image Fusion）是以圖像為主要研究內(nèi)容的數(shù)據(jù)融合技術(shù)，是把多個不同模式的圖像傳感器獲得的同一場景的多幅

2、圖像或同一傳感器在不同時刻獲得的同一場景的多幅圖像合成為一幅圖像的過程。由于不同模式的圖像傳感器的成像機(jī)理不同，工作電磁波的波長不同，所以不同圖像傳感器獲得的同一場景的多幅圖像之間具有信息的冗余性和互補性，經(jīng)圖像融合技術(shù)得到的合成圖像則可以更全面、更精確地描述所研究的對象。正是由于這一特點，圖像融合技術(shù)現(xiàn)已廣泛地應(yīng)用于軍事、遙感、計算機(jī)視覺、醫(yī)學(xué)圖像處理等領(lǐng)域中。數(shù)字圖像融合是圖像分析的一項重要技術(shù)，其目的是將兩幅或多幅圖像拼接起來構(gòu)成一副整體圖像，以便于統(tǒng)一處理，該技術(shù)在數(shù)字地圖拼接、全景圖、虛擬現(xiàn)實等領(lǐng)域有著重要應(yīng)用。雖然Photoshop等圖像處理軟件提供了圖像處理功能，可以通過拖放的方

3、式進(jìn)行圖像拼接，但由于完全是手工操作，單挑乏味，且精度不高，因此，有必要尋找一種方便可行的圖像融合方法。Matlab具有強(qiáng)大的計算功能和豐富的工具箱函數(shù)，例如圖像處理和小波工具箱包含了大多數(shù)經(jīng)典算法，并且它提供了一個非常方便快捷的算法研究平臺，可讓用戶把精力集中在算法而不是編程上，從而能大大提高研究效率。在圖像融合中，參加融合的源圖像是由不同的傳感器或者是同一傳感器在不同時刻得到的，所以在進(jìn)行融合之前需要對圖像進(jìn)行配準(zhǔn)和一些預(yù)處理操作。在本實驗中所提到的參加融合的圖像都是經(jīng)過了配準(zhǔn)了的，圖像融合的過程可以發(fā)生在信息描述的不同層。 1、圖像融合算法的層次分類 圖像融合系統(tǒng)的算法按層次結(jié)構(gòu)劃分可分

4、為信號級、像素級、特征級和決策級。 信號級融合：是指合成一組傳感器信號，目的是提供與原始信號形式相同但品質(zhì)更高的信號。 像素級圖像融合：是指直接對圖像中像素點進(jìn)行信息綜合處理的過程，像素級圖像融合的目的是生成一幅包含更多信息、更清晰的圖像。像素級圖像融合屬于較低層次的融合。目前，大部分研究集中在該層次上。像素層圖像融合一般要求原始圖像在空間上精準(zhǔn)配準(zhǔn)。 特征級圖像融合： 是指從各個傳感器圖像中提取特征信息，并將其進(jìn)行綜合分析和處理的過程。提取的特征信息應(yīng)是像素信息的充分表示量或充分統(tǒng)計量，典型的特征信息由邊緣、形狀、輪廓、角、紋理、相似亮度區(qū)域、相似景深區(qū)域等。在進(jìn)行融合處理時，所關(guān)心的主要特

5、征信息的具體形式和內(nèi)容與多傳感器圖像融合的應(yīng)用目的場合密切相關(guān)。通過特征級圖像融合可以在原始圖像中挖掘相關(guān)特征信息、增加特征信息的可信度、排除虛假特征、建立新的復(fù)合特征等。特征級圖像融合是中間層次上的融合，為決策級融合做準(zhǔn)備。特征級融合對傳感器對準(zhǔn)要求不如信號級和像素級要求嚴(yán)格，因此圖像傳感器可分布于不同平臺上。特征級融合的優(yōu)點在于可觀的信息壓縮，便于實時處理。由于所提出的特征直接與決策分析有關(guān)，因而融合結(jié)果能最大限度地給出決策分析所需要的特征信息。目前大多數(shù)C4I系統(tǒng)的數(shù)據(jù)融合研究都是在該層次上展開的。 決策級圖像融合： 是指對每個圖像的特征信息進(jìn)行分類、識別等處理，形成相應(yīng)的結(jié)果后，進(jìn)行進(jìn)

6、一步的融合過程最終的決策結(jié)果是全局最優(yōu)決策。決策級融合是一種更高層次的信息融合，其結(jié)果將為各種控制或決策提供依據(jù)。為此，決策級融合必須結(jié)合具體的應(yīng)用及需求特點，有選擇地利用特征級融合所抽取或測量的有關(guān)目標(biāo)的各類特征信息，才能實現(xiàn)決策級融合的目的，其結(jié)果將直接影響最后的決策水平。由于輸入為各種特征信息，而結(jié)果為決策描述，因此決策級融合數(shù)據(jù)量最小，抗干擾能力強(qiáng)。決策級融合的主要優(yōu)點可概括為:通信及傳輸要求低，這是由其數(shù)據(jù)量少決定的；容錯性高，對于一個或若十個傳感器的數(shù)據(jù)干擾，可以通過適當(dāng)?shù)娜诤戏椒ㄓ枰韵?；?shù)據(jù)要求低，傳感器可以是同質(zhì)或異質(zhì)，對傳感器的依賴性和要求降低；分析能力強(qiáng)，能有效反映目標(biāo)及

7、環(huán)境的信息，滿足不同應(yīng)用的需要。二、圖像融合的常用方法研究1、加權(quán)平均法：最簡單的圖像融合方法是對兩幅源圖像A和B,圖像大小為N1 X N2，經(jīng)融合后得到的融合圖像為F，那么對A、B兩個源圖像的灰度加權(quán)平均融合過程可表示為：F（n1，n2）=1A（n1，n2）+2B（n1，n2）式中：W1+W2=1，W1、W2在不同類的圖像融合當(dāng)中，通過仿真確定他們的值。當(dāng)兩幅圖像很相似時，合成圖像就采用兩幅圖的平均值也就是權(quán)值分別為0.5和0.5；當(dāng)兩幅圖像差異很大是，就選擇最顯著的那一幅圖像，此時的權(quán)值為0和1。 加權(quán)平均的融合方法具有實現(xiàn)簡單，運行速度快和抑制噪聲的優(yōu)點。但是同時也會抑制源圖像中的某些顯

8、著性特征，因而融合圖像的對比度較低，有可能出現(xiàn)褪色。 可以通過選擇“最優(yōu)”權(quán)值消除這些缺點。主成分分析方法就是一種尋找使融合圖像F的強(qiáng)度方差最大的權(quán)值Wa和Wb的方法。2、HIS融合法 HIS融合法在多傳感器像素級融合方面應(yīng)用較廣，可以實現(xiàn)不同空間頻率分辨率的圖像之間的幾何信息的疊加。它首先將RGB顏色空間的3個波段的多光譜圖像轉(zhuǎn)化到HIS空間的3個量，即色調(diào)（H），亮度（I）、飽和度（S）。亮度（I）代表空間信息，色調(diào)（H）代表光譜信息。然后將高空間分辨率圖像進(jìn)行對比度拉伸，使它和亮度分量(I)有相同的直方圖；最后用拉伸后的高空間分辨率圖像代替亮度分量(I)，把它同色調(diào)(H),飽和度(S)進(jìn)

9、行HIS逆變換得到融合圖像。例如：一低分辨率三波段圖像與一高分辨率單波段圖象進(jìn)行融合處理。這種方法將三個波段的低分辨率的數(shù)據(jù)通過HIS變換轉(zhuǎn)換到HIS空間，同時將單波段高分辨率圖象進(jìn)行對比度拉伸以使其灰度的均值與方差和HIS空間中亮度分量圖像一致，然后將拉伸過的高分辨率圖象作為新的亮度分量代入HIS反變換到原始空間中。這樣獲得的高分辨率彩色圖像既具有較高空間分辨率，同時又具有與影像相同的色調(diào)和飽和度，有利于目視解譯和計算機(jī)識別。3、KL變換融合法 KL變換融合法又稱為主成分分析法。與HIS變換法類似，它將低分辨率的圖象（三個波段或更多）作為輸入分量進(jìn)行主成分分析，而將高分辨率圖象拉伸使其具有于

10、第一主成分相同的均值和方差，然后用拉伸后的高分辨率影像代替主成分變換的第一分量進(jìn)行逆變換。高空間分辨率數(shù)據(jù)與高光譜分辨率數(shù)據(jù)通過融合得到的新的數(shù)據(jù)包含了源圖像的高分辨率和高光譜分辨率特征，保留了原圖像的高頻信息。這樣，融合圖像上目標(biāo)細(xì)部特征更加清晰，光譜信息更加豐富。4、高通濾波融合法 高通濾波融合法將高分辨率圖象中的邊緣信息提取出來，加入到低分辨率高光譜圖像中。首先，通過高通濾波器提取高分辨率圖象中的高頻分量，然后將高通濾波結(jié)果加入到高光譜分辨率的圖象中，形成高頻特征信息突出的融合影像。5、小波變換融合法、 利用離散的小波變換，將N幅待融合的圖像的每一幅分解成M幅子圖象，然后在每一級上對來自

11、N幅待融合圖像的M幅子圖象進(jìn)行融合，得到該級的融合圖象。在得到所有M級的融合圖像后，實施逆變換得到融合結(jié)果。下面是依據(jù)圖像融合的方法的幾個例子，得到的結(jié)果分別如下圖所示。clearg_R=0;g_G=0;g_B=0;h_R=0;h_G=0;h_B=0;fenzi_R=0;fenzi_G=0;fenzi_B=0;fenmu_up_R=0;fenmu_up_G=0;fenmu_up_B=0;fenmu_low_R=0;fenmu_low_G=0;fenmu_low_B=0;tableR=;tableG=;tableB=;up=imread(high.jpg); %讀圖像low=imread(low

12、.jpg);figure(1)imshow(up); %讀RGB數(shù)值M,N,color=size(up);title(加權(quán)-RGB表示的高分辨率圖像);figure(2)imshow(low); title(加權(quán)-RGB表示的低分辨率圖像);r=double(up(:,:,1);g=double(up(:,:,2);b=double(up(:,:,3);r_low=double(low(:,:,1);g_low=double(low(:,:,2);b_low=double(low(:,:,3);RGB(:,:,1)=0.5*r+0.5*r_low;RGB(:,:,2)=0.5*g+0.5*g_

13、low;RGB(:,:,3)=0.5*b+0.5*b_low;R=RGB(:,:,1);G=RGB(:,:,2);B=RGB(:,:,3);RGB=uint8(round(RGB); figure(3)imshow(RGB)title(加權(quán)-RGB轉(zhuǎn)化后的圖像); % % 下面是計算平均梯度G % % for ii=1:M-1 for jj=1:N-1 g_R=g_R+sqrt(r(ii+1,jj)-r(ii,jj)2+(r(ii,jj+1)-r(ii,jj)2)/2); g_G=g_G+sqrt(g(ii+1,jj)-g(ii,jj)2+(g(ii,jj+1)-g(ii,jj)2)/2);

14、g_B=g_B+sqrt(b(ii+1,jj)-b(ii,jj)2+(b(ii,jj+1)-b(ii,jj)2)/2); endendfprintf(nn highR的清晰度為:%.4fn highG的清晰度為:%.4fn highG的清晰度為:%.4f,. g_R/(M-1)/(N-1),g_G/(M-1)/(N-1),g_B/(M-1)/(N-1); g_R=0;g_G=0;g_B=0; for ii=1:M-1 for jj=1:N-1 g_R=g_R+sqrt(r_low(ii+1,jj)-r_low(ii,jj)2+(r_low(ii,jj+1)-r_low(ii,jj)2)/2);

15、 g_G=g_G+sqrt(g_low(ii+1,jj)-g_low(ii,jj)2+(g_low(ii,jj+1)-g_low(ii,jj)2)/2); g_B=g_B+sqrt(b_low(ii+1,jj)-b_low(ii,jj)2+(b_low(ii,jj+1)-b_low(ii,jj)2)/2); endendfprintf(nn lowR的清晰度為:%.4fn lowG的清晰度為:%.4fn lowG的清晰度為:%.4f,. g_R/(M-1)/(N-1),g_G/(M-1)/(N-1),g_B/(M-1)/(N-1); g_R=0;g_G=0;g_B=0; for ii=1:M-

16、1 for jj=1:N-1 g_R=g_R+sqrt(R(ii+1,jj)-R(ii,jj)2+(R(ii,jj+1)-R(ii,jj)2)/2); g_G=g_G+sqrt(G(ii+1,jj)-G(ii,jj)2+(G(ii,jj+1)-G(ii,jj)2)/2); g_B=g_B+sqrt(B(ii+1,jj)-B(ii,jj)2+(B(ii,jj+1)-B(ii,jj)2)/2); endendfprintf(nn resultR的清晰度為:%.4fn resultG的清晰度為:%.4fn resultG的清晰度為:%.4f,. g_R/(M-1)/(N-1),g_G/(M-1)/(

17、N-1),g_B/(M-1)/(N-1); clearg_R=0; %r清晰度描述g_G=0; %g清晰度描述g_B=0; %b清晰度描述h_R=0; %熵的描述 h_G=0;h_B=0;u1=zeros(3,1);u2=zeros(3,1);v11=zeros(3,1); %高分辨率RGB值v12=zeros(3,1); %低分辨率RGB值A(chǔ)A=zeros(3,3);BB=zeros(3,3);%AA=1/sqrt(3),1/sqrt(3),1/sqrt(3); 1/sqrt(6),1/sqrt(6),-2/sqrt(6); %RGBIHS正變換矩陣 1/sqrt(2),-1/sqrt(2)

18、,0;%BB=1/sqrt(3),1/sqrt(6),1/sqrt(2); 1/sqrt(3),1/sqrt(6),-1/sqrt(2); %IHS-RGB逆變換矩陣 1/sqrt(3),-2/sqrt(6),0;%RGB_up=imread(high.jpg); %讀圖像RGB_low=imread(low.jpg); figure(1)imshow(RGB_up); title(IHS-RGB表示的高分辨率圖像);figure(2) imshow(RGB_low); title(IHS-RGB表示的低分辨率圖像);M,N,color=size(RGB_up);R_up=RGB_up(:,:,1);G_up=RGB_up(:,:,2);B_up=RGB_up(:,:,3);hang,lie,color=size(RGB_up);for i=1:hang for j=1:lie v11(1)=double(RGB_up(i,j,1); %把函數(shù)類型unit8為double型 v11(2)=double(RGB_up(i,j,2); v11(3)=double(RGB_up(i,j,3); v12(1)=double(RGB_low(i,j,1); %把函數(shù)類型unit8為double型 v12(2)=double(RGB_low