紅外圖像與可見光圖像融合筆記

1、紅外圖像與可見光圖像融合筆記圖像融合是將來自不同傳感器在同一時間(或者不同時間)對同一目標(biāo)獲取的兩幅或者多幅圖像合成為一幅滿足某種需求圖像的過程。為了獲得較好的融合效果，在研究融合算法之前，對圖像預(yù)處理理論及方法進行了研究。預(yù)處理理論主要包括圖像去噪、圖像配準和圖像增強。圖像去噪目的是為了減少噪聲對圖像的影響。圖像配準是使處于不同狀態(tài)下的圖像達到統(tǒng)一配準狀態(tài)的方法。圖像增強是為了突出圖像中的有用信息，改善圖像的視覺效果，并方便圖像的進一步融合。圖像融合評價方法：主觀評價和客觀評價。指標(biāo)如：均值、標(biāo)準差、信息熵等。針對 IHS 變換和小波變換的優(yōu)缺點，本文提出了一種基于這兩種變換結(jié)合的圖像融合方

2、法。該算法的具體實現(xiàn)步驟如下：先對彩色可見光圖像進行 IHS 變換，對紅外圖像進行增強，然后將變換后得到的 I 分量與已增強的紅外圖像進行 2 層小波分解，將獲得的低頻子帶和高頻子帶使用基于窗口的融合規(guī)則，而后對分量進行小波重構(gòu)和 IHS 逆變換，最后得到融合結(jié)果。經(jīng)仿真實驗證明，此結(jié)果優(yōu)于傳統(tǒng) IHS 變換和傳統(tǒng)小波變換，獲得了較好的融合結(jié)果，既保持了可見光圖像中的大量彩色信息又保留了紅外圖像的重要目標(biāo)信息。紅外傳感器反映的是景物溫度差或輻射差，不易受風(fēng)沙煙霧等復(fù)雜條件的影響。一般來說，紅外圖像都有細節(jié)信息表現(xiàn)不明顯、對比度低、成像效果差等缺點，因此其可視性并不是很理想?？梢姽獬上駛鞲衅髋c紅

3、外成像傳感器不同，它只與目標(biāo)場景的反射有關(guān)與其他無關(guān)，所以可見光圖像表現(xiàn)為有較好的顏色等信息，反應(yīng)真實環(huán)境目標(biāo)情況，但當(dāng)有遮擋時就無法觀察出遮擋的目標(biāo)。利用紅外傳感器發(fā)現(xiàn)煙霧遮擋的目標(biāo)或在樹木后的車輛等。在夜間，人眼不能很好的辨別場景中的目標(biāo)，但由于不同景物之間存在著一定的溫度差，可以利用紅外傳感器，它可以利用紅外輻射差來進行探測，這樣所成的圖像雖然不能直接清晰的觀察目標(biāo)，但是能夠?qū)⒛繕?biāo)的輪廓顯示出來，并能依據(jù)物體表面的溫度和發(fā)射率的高低把重要目標(biāo)從背景中分離出來，方便人眼的判讀。但由于自身成像原理以及使用條件等原因，所形成圖像具有噪聲大、對比度低、模糊不清、視覺效果差等問題。不利于人眼判讀。

4、可以將兩者圖像融合在一起，這樣可以豐富圖像信息，提高圖像分辨率，增強圖像的光譜信息，彌補單一傳感器針對特定場景表達的不全面，實現(xiàn)對場景全面清晰準確的表達。兩者的主要區(qū)別有：(1)可見光圖像與紅外圖像的成像原理不同，前者依據(jù)物體的反射率的不同進行成像，后者依據(jù)物體的溫度或輻射率不同進行成像，因此紅外圖像的光譜信息明顯不如可見光圖像。 (2)可見光圖像與紅外圖像的空間分辨率不同，一般情況下，前者的空間分辨率高于后者； (3)可見光圖像與紅外圖像對同一景物的灰度差異不同；(4)可見光圖像與紅外圖像的紋理和邊緣特征不同；(5)可見光圖像與紅外圖像的像素之間的相關(guān)性不同。圖像融合可以在以下三個不同層次進

5、行：像素級、特征級和決策級。像素級圖像融合是最低層次的融合，也是其他層次圖像融合方式的基礎(chǔ)，它是直接對兩幅或多幅圖像中的對應(yīng)像素點進行信息綜合處理。像素級圖像融合主要強調(diào)的是對有用信息的強化和豐富，充分利用了融合圖像中的有用信息，使之更符合人類的視覺特性，從而進行下一步的處理和分析。融合技術(shù)有：基于變換域、基于成像模型、基于線性加權(quán)、基于多尺度分解。特征級圖像融合是指將待融合圖像進行特征提取產(chǎn)生特征矢量，這里的特征是指邊緣、形狀，方向等，然后對特征矢量進行融合處理，從而完成特征級融合。主要方法有貝葉斯估計法，熵法、模糊聚類法。決策級圖像融合的一般步驟是先對圖像相關(guān)信息進行屬性說明，而后進行融合

6、，最后將得到場景中相關(guān)重要信息的融合屬性說明的結(jié)果作為控制決策的依據(jù)。常用的圖像融合方法包括基于空間域和基于變換域融合?；谧儞Q域：PCA在統(tǒng)計特征的基礎(chǔ)上進行的一種多維正交線性變換。將相關(guān)性變量變換為不相關(guān)變量，這樣所得結(jié)果就是由原始變量線性相加而成。PCA 圖像融合方法的原理是首先計算待融合圖像的相關(guān)系數(shù)矩陣，求出相應(yīng)的特征值和特征向量，然后通過特征值對應(yīng)的特征向量來確定圖像的加權(quán)系數(shù)，這樣便得到了融合后的圖像。高通濾波法(HPF)的圖像融合方法原理是首先采用具有較小空間的高通濾波器對待融合圖像進行濾波，這樣濾波后得到的圖像保留了大部分與空間相關(guān)的高頻分量信息，例如細節(jié)信息及紋理信息等，然

7、后將得到的高頻分量信息進行逐像素疊加到另一幅待融合圖像上，這樣便實現(xiàn)了圖像融合。IHS空間卻與RGB空間不同，它是由亮度、色度與飽和度構(gòu)成的，分別為I、H、S表示，其它顏色也是由這三個分量構(gòu)成。亮度I表示的是由其他物體反射的全部能量和圖像的空間信息；色度H表示的是色彩組成的主波長，反映的是頻譜信息；飽和度S表示的是顏色的純度，主要反映地物的光譜信息。在IHS色彩空間中，I、H、S三個分量相關(guān)性很低，因此可以利用這個特點對分量單獨進行處理。并且這種彩色空間更適于人眼的觀察，算法也很簡單，因此被廣泛的應(yīng)用到圖像融合技術(shù)。在IHS變換中，把圖像由RGB空間變換到IHS空間的變換稱為正變換，相反的，由

8、IHS空間變換到RGB模型的變換稱為反變換?；谶@種變換的圖像融合原理是對已嚴格配準兩幅圖像中的顏色信息豐富的圖像進行 IHS 正變換得到三個分量，再用另一幅圖像替換掉 I 分量，最后利用新的 I 分量和原來得到的兩個分量進行 IHS 逆變換，這樣便得出了融合圖像。小波變換的優(yōu)點表現(xiàn)為圖像分解后形成具有不同分辨率、頻率和方向特征的分量信號，而且可以將圖像的光譜特征和空間特征完全分離，這樣就可以為融合處理奠定基礎(chǔ)。這種變換的優(yōu)點還表現(xiàn)為當(dāng)利用變換進行重構(gòu)時，信息會被準確無誤的，不會有圖像信息損失的重構(gòu)。而且在分解時將圖像分解到不同的尺度上，這樣可以方便的分析圖像近似信息和細節(jié)信息，這種分解過程與

9、人類視覺系統(tǒng)的特點相類似。下面主要闡述基于小波的圖像融合原理，先對已嚴格配準的兩幅待融合圖像 A，B進行小波變換，若進行 i 層變換，便得到 3i 個高頻子帶和 1 個低頻子帶，將獲得的低頻和高頻子帶作不同融合規(guī)則處理，再將處理過的子帶實行小波逆變換，便形成了結(jié)果圖像 F。下圖表示其融合原理圖。小波融合局限性：小波分解層數(shù)的確定和小波基函數(shù)的選取。首先不同的小波基在對圖像進行分解和重構(gòu)時具有不同的特性，并且沒有一種小波基能夠?qū)λ袌D像的處理效果能優(yōu)于其它的小波基。因此，在選取小波基函數(shù)時應(yīng)根據(jù)圖像的統(tǒng)計特性進行動態(tài)的選??；對于確定小波分解層數(shù)的問題會出現(xiàn)因小波分解層數(shù)的不同產(chǎn)生時頻分辨率和小波

10、系數(shù)的變化范圍變差的現(xiàn)象。一般來說，當(dāng)分解層數(shù)不斷增加時，分解中能夠剔除大量不重要的數(shù)據(jù)，由此可以增加圖像的壓縮比和提高圖像的壓縮質(zhì)量。然而，隨著分解層數(shù)的進一步增加，這種良好的特性并不能一直的保持，而是當(dāng)分解層數(shù)達到一定值時融合效果最好，超過此值時融合效果會下降。Contourlet變換：因為小波變換只能獲得有限方向的信息，并不能獲得所有方向的信息。小波變換的二維變換基的支撐區(qū)域為矩形，它能很好的表達點的奇異性，但無法高效的表達逼近圖像固有的奇異曲線；人們經(jīng)過研究發(fā)展了一個新的方法即多尺度幾何分析法，這種分析法在表現(xiàn)高維函數(shù)上發(fā)揮了巨大的優(yōu)勢；其中 Contourlet 變換是 Do 和 V

11、etterli 在 2002 年提出的方法。這種變換是目前應(yīng)用較為廣泛的變換，它是“真正”的圖像二維表示方法。它是用非分離濾波器組構(gòu)造的，其構(gòu)造方法與小波類似。它是一種多分辨率多方向的變換，其最終是通過相當(dāng)于輪廓段來對圖像進行逼近的，它的基的支撐區(qū)間具有隨尺度而長寬比變化的“長條形結(jié)構(gòu)。它在處理信號時具有良好的方向性、多分辨率性、局部化性和各向異性等優(yōu)點，因此被廣泛的應(yīng)用于圖像融合領(lǐng)域中。Contourlet 變換主要可分為兩個步驟，一個是搜索奇異點，另一個是合并方向接近的奇異點。它采用雙重濾波器組結(jié)構(gòu)，一個是拉普拉斯金字塔濾波器，另一個是方向濾波器組，通過濾波器組來獲取多分辨率信息和方向信息

12、。Contourlet 變換的過程是先進行多分辨率分解，這里采用的是 LP 分解，經(jīng)過分解后會產(chǎn)生低頻分量和高頻分量，然后對分解得到的高頻分量使用方向濾波器組進行方向性分析，最后對低頻分量再進行 LP分解，便可以得到一系列不同尺度的低頻分量和高頻分量圖像。每一次 LP 分解都生成低頻子帶和高頻子帶，其中低頻子帶的分辨率是原圖像的一半，而高頻子帶的分辨率和原圖像相同，這里的高頻子帶為原圖像和低頻子帶上采樣濾波后的差值信號。方向濾波器組的作用是捕獲圖像的方向性高頻信息，并將分布在同方向上的奇異點合成為一個系數(shù)。它的原理是采用樹形結(jié)構(gòu)分解，在每層上將信號先通過扇形濾波器組(QFB)進行扇形方向上的頻

13、率切分，然后與旋轉(zhuǎn)重采樣操作適當(dāng)組合以實現(xiàn)圖像高頻信息方向性分析，從而捕獲圖像中的線、面等奇異性。高斯金字塔的構(gòu)成是首先對原始輸入圖像進行高斯低通濾波和隔行隔列的下采樣，這樣便得到了高斯金字塔的第一層，然后再對第一層圖像低通濾波和下采樣,得到高斯金字塔的第二層，依次類推。其構(gòu)建過程如下： 這里的l的范圍是1-N，表示高斯金字塔的層數(shù)。i，j 表示高斯金字塔對應(yīng)分解層的行數(shù)和列數(shù)。W( m, n)是一個二維可分離的5*5窗口函數(shù)，其表達公式如下：由上可見高斯金字塔的這一層圖像是由其上一層圖像先進行高斯低通濾波，然后進行隔行和隔列的采樣而得到的，這樣當(dāng)前層圖像的大小依次為前一層圖像大小的 1/4.

14、拉普拉斯金字塔分解及重構(gòu)：在對進行內(nèi)插處理，這樣便得到了放大的圖像。式中，N為拉普拉斯金字塔分解的最高層次，是拉普拉斯金字塔分解的第l層圖像，這樣一層一層的分解便生成了最終的拉普拉斯金字塔，其中的每一層圖像都是經(jīng)過高斯金字塔的當(dāng)前層圖像與其前一層圖像經(jīng)內(nèi)插放大后進行相減得到圖像的差值；采樣理論：*IHS 變換由于其運算簡單，計算速度快，并能顯著提高圖像空間分辨率等諸多優(yōu)點，被廣泛的應(yīng)用于圖像融合技術(shù)中。小波變換是一種圖像的多分辨率分析方法，能夠?qū)D像分解為相應(yīng)分辨率下的近似低頻分量和三個高頻細節(jié)分量，這三個高頻細節(jié)分量分別為水平，垂直和對角線方向的高頻細節(jié)信息?；谛〔ㄗ儞Q的分解特點，在進行圖

15、像融合時可以分別對近似低頻分量和高頻細節(jié)分量進行融合，并采用不同的融合規(guī)則，因此采用小波變換的融合算法往往能獲得更好的融合效果，也能較好地保留原始圖像的光譜信息。但是使用小波變換法實際上是對圖像進行高通濾波和低通濾波的過程，融合圖像會在一定程度上丟失邊緣信息，易出現(xiàn)模糊情況和分塊效應(yīng)，而且計算過程比 IHS 變換復(fù)雜。因此將 IHS 變換和小波變換結(jié)合起來使用，這樣既可以提高融合圖像的空間分辨率，也可以更好的保留可見光圖像的光譜信息。根據(jù)紅外圖像的成像原理，紅外圖像具有分辨率低，邊緣模糊，視覺效果較差，噪聲較大等特點。尤其在復(fù)雜背景環(huán)境中，遠距離的紅外目標(biāo)容易被復(fù)雜背景所淹沒，這將對后續(xù)的圖像

16、融合造成很大的困難，會嚴重影響融合圖像的質(zhì)量。對紅外圖像采用灰度變換的圖像增強處理方法。使用灰度變換可以提高紅外圖像的對比度，使得紅外目標(biāo)更加清晰明顯，更易于后續(xù)的融合處理，并且灰度變換算法計算簡單快速?；?IHS 和小波變換的圖像融合在融合時一定要保留紅外圖像中的目標(biāo)信息，不然融合就沒有了意義。同時，要盡力保留紅外圖像和可見光圖像的邊緣信息，否則圖像會變得模糊。基于 IHS 和小波變換的窗口融合算法，這是因為采用區(qū)域窗口的方法可以更好的保留兩幅圖像中的光譜和細節(jié)信息。與采用單個像素的融合算法相比，采用區(qū)域融合算法更滿足人類的視覺系統(tǒng)；(1)對已配準的可見光圖像和紅外圖像分別進行 IHS 變

17、換和圖形增強處理，前者得到I、H、S 三個分量圖像，后者使用灰度變換法進行圖像增強，增加圖像對比度，突出紅外熱目標(biāo)。其中灰度變換法采用的是三段線性變換法：上式中的變量都表示圖像的灰度值，三段線性變換法主要是指將圖像的灰度值拉伸為三段，變換之前的灰度范圍是 f1到 f2，變換后的范圍是 g1到 g2；(2)對所得的亮度 I 分量和已增強的紅外圖像進行小波分解，這里采用的是 2 層變換，分解后形成相應(yīng)分辨率的低頻子帶和不同方向的高頻子帶；(3)對小波分解后的低頻子帶采用基于窗口能量的圖融合規(guī)則。 (4)對小波分解后的高頻子帶采用基于窗口標(biāo)準差取大法的融合規(guī)則。 (5)對新合成的低頻子帶和高頻子帶進

18、行逐層小波重構(gòu)，得到新強度分量圖像 ，對與之前的 H、S 分量進行 IHS 逆變換得到最終融合圖像。目前采用廣泛的是基于單像素的像素級融合規(guī)則?；趩蜗袼氐娜诤纤惴ㄏ鄬唵?，運算速度快，運用一定的融合規(guī)則也能取得符合人眼視覺的融合效果。但是，單個像素難以體現(xiàn)出圖像的局部特征，而局部特征需要局部區(qū)域內(nèi)像素共同表征，并且人眼視覺感知系統(tǒng)對單一像素不如對區(qū)域內(nèi)像素敏感。因此采用基于單像素融合規(guī)則的圖像融合結(jié)果往往難以體現(xiàn)像素之間的相關(guān)性，融合效果往往不夠理想。低頻和高頻融合規(guī)則都采用基于區(qū)域窗口的融合規(guī)則，為縮短算法的計算時間，選用的是 3*3 的窗口。小波分解后的低頻分量是原圖像的近似圖像，這個近

19、似圖像包含了原圖像的主要能量信息，并且其在一定程度上也反應(yīng)了圖像的基本信息；考慮到紅外圖像的特點，在紅外圖像中感興趣的目標(biāo)區(qū)域為圖像中亮度較高的區(qū)域，這些區(qū)域的特點是灰度值較大，區(qū)域能量較大；低頻區(qū)域：該算法的基本思想是使用低頻分量的窗口能量表征低頻系數(shù)的重要程度，重要程度高的部分低頻系數(shù)獲得更高的權(quán)值；上式中各個分量的含義如下：A，B 分別表示需要融合的圖像，L 為低頻分量所處的層次， 在點(i, j)處的低頻分量的灰度值，表示權(quán)重系數(shù)。融合后低頻分量灰度值可由下式來表示：高頻區(qū)域：通過小波分解得到的高頻分量，包含了除低頻分量包含的信息以外的全部圖像信息，例如細節(jié)、紋理信息等。為了獲得好的視

20、覺效果，需要最大、最多的保留這些圖像信息；選取在高頻部分的規(guī)則為基于窗口的標(biāo)準差取大法，當(dāng)標(biāo)準差的值越大時說明灰度值越分散，紋理等信息包含越豐富。融合規(guī)則的原理是首先對兩幅待融合圖像分別選取一個窗口，而后計算兩個窗口標(biāo)準差的值，比較兩個值的大小，選取大的值的分量作為最后分量的值?？梢姽鈭D像亮度適中，可視效果好，能夠清晰的看到樹，房屋和地面等背景信息，但是圖像存在較多的煙霧，遮擋了目標(biāo)信息，因此觀察者不能讀取全部的目標(biāo)信息。在紅外圖像中，可以很容易觀察到兩個目標(biāo)人物以及發(fā)熱源，但是圖像其他背景信息例如樹木，房屋，地面等都很不明顯，紋理也不清晰，輪廓也不是較突出。在圖 4.2 中，圖(a)使用傳統(tǒng)

21、的 IHS 變換進行的圖像融合，該算法是先對可見光圖像進行 IHS 變換，形成三個分量，然后用紅外圖像替換掉其中的 I 分量，同時保持其他分量不變，最后進行 IHS 逆變換形成最終的融合圖像。圖(b)使用小波變換進行圖像融合，它是將紅外圖像與可見光圖像直接進行小波分解后，低頻和高頻分量都采用加權(quán)平均的融合規(guī)則。圖(c)采用基于 IHS 和小波變換的融合算法，其融合規(guī)則為：低頻分量選取紅外圖像的低頻部分作為最終低頻，而高頻采用基于區(qū)域的梯度取最大值的方法，將梯度值最大時的系數(shù)作為最終的高頻。主觀評價：從圖 4.2 圖(a)-圖(c)可以看出，圖(a)更接近紅外圖像，保留紅外圖像信息最多，能夠觀察

22、到紅外目標(biāo)，并且從可見光圖像中獲得了一定顏色信息，但是細節(jié)紋理信息不明顯，顏色失真較大。圖(b)整體圖像顏色偏暗，彩色信息保留較好，與可見光圖像更為接近，并且能夠看到煙霧后面的房子，但可視效果并不是很好，同時目標(biāo)信息丟失明顯，并且目標(biāo)信息不突出，不利于人眼辨別，這就失去了融合意義，因為融合圖像一定要顯示出所有的目標(biāo)信息。圖(c)與圖(a)非常接近，但是圖(c)中細節(jié)信息保留較好，例如房屋邊緣比較明顯。圖像(d)是利用本文算法融合的，圖像在整體亮度方面明顯高于其他三幅圖像，融合圖像不僅保留了可見光圖像中的背景信息，例如樹木，房子，煙霧，地面等，而且紅外圖像中的重要信息也均得到了保留，兩個目標(biāo)人物和發(fā)熱源以及煙霧后面的房屋均清晰可見。同時圖像中色彩比較鮮明并且圖像邊緣較為清晰。通過以上主觀分析可知本算法要優(yōu)于作為對比的其他三種融合算法?？陀^評價：指標(biāo)選用灰度均值、信息熵、標(biāo)準偏差和平均梯度。基于 Contourlet 變換的圖像融合IHS 變換由于其運算簡單，計算速度快，并能顯著提高圖像空間分辨率等諸多優(yōu)點，被廣泛的應(yīng)用于圖像融合技術(shù)中，但是IHS 變換融合方法存在頻譜特征的失真及小波變換不能最優(yōu)的表示二維信息等缺陷。Contourlet相比于小波變換具有多分辨率、局域化、方向性、各向異性和有效實現(xiàn)的優(yōu)點