多傳感器圖像融合方法

1、.多傳感器圖像融合方法摘要：多傳感器圖像融合是指針對多個傳感器采集的關(guān)于同一目標或場景的圖像進行適當(dāng)?shù)奶幚?，產(chǎn)生一幅新的圖像，使之更適合人眼感知或計算機后續(xù)處理。每一種傳感器是為了適應(yīng)特定的環(huán)境和適用范圍設(shè)計的，具有不同的特征或不同視點的傳感器獲取的圖像間既存在冗余性又存在互補性，通過對其融合，能有效提高系統(tǒng)的可靠性和圖像信息的利用效率。本文介紹了圖像融合基本概念，包括融合系統(tǒng)結(jié)構(gòu)、傳感器性能特點、常用融合方法，并分別從定量與定性的角度對融合圖像質(zhì)量的評價標準做了詳細的介紹。關(guān)鍵詞：圖像融合 評價標準多傳感器信息融合是指對來自多個傳感器的信息進行多級別、多方面、多層次的處理與綜合，從而獲得更豐

2、富、更精確、更可靠的有用信息。其中Edward和James LlinaSll J對信息融合給出了如下定義：信息融合就是一種多層次的、多方面的處理過程，這個過程對多源信息進行檢測、結(jié)合、相關(guān)、估計和組合以達到精確的狀態(tài)估計和身份估計，以及完整、及時的態(tài)勢評估。從八十年代初至今，多傳感器信息融合特別是多傳感器圖像融合已引發(fā)了世界范圍的廣泛興趣和研究熱潮，它在自動目標識別、計算機視覺、遙感、機器人、醫(yī)學(xué)圖像處理以及軍事應(yīng)用等領(lǐng)域有著廣泛的應(yīng)用前景。多傳感器圖像融合就是利用各種成像傳感器得到的不同圖像，綜合不同圖像的互補信息和冗余信息，以獲得更為全面更為準確的圖像描述。例如，紅外圖像和可見光圖像的融合

3、可以更好地幫助直升機飛行員進行導(dǎo)航；CT和核磁共振(MPd)圖像的融合處理為臨床診斷提供可靠的信息。一 圖像融合技術(shù)的發(fā)展與現(xiàn)狀 多傳感器圖像融合技術(shù)最早被應(yīng)用于遙感圖像的分析和處理中。1979年，Daliy等人首先把雷達圖像和LandsatMSS圖像的復(fù)合圖像應(yīng)用于地質(zhì)解釋，其處理過程可以看作是最簡單的圖像融合。到80年代中后期，圖像融合技術(shù)開始引起人們的關(guān)注，陸續(xù)有人將圖像融合技術(shù)應(yīng)用于遙感多譜圖像的分析和處理。90年代以后，隨著多顆遙感雷達衛(wèi)星JERS1，ERS1，Radarsat等的發(fā)射升空，圖像融合技術(shù)成為遙感圖像處理和分析中的研究熱點之一。近二十年來，國際上在圖像融合的不同層次上開

4、展了大量的模型與算法研究，提出了各種形式的系統(tǒng)。美國計劃在2010年研制出覆蓋射頻、可見光、紅外波段公用孔徑的有源無源一體化基于圖像與數(shù)據(jù)融合的探測器系統(tǒng)圖像融合技術(shù)無疑具有良好的發(fā)展前景。近年來，圖像融合在應(yīng)用方面有了一定的發(fā)展，2005年lO月4日，由我國和巴西聯(lián)合研制的“資源一號”衛(wèi)星發(fā)射升空，衛(wèi)星上安裝了我國自行研制的CCD相機和紅外多光譜掃描儀，這兩種航天遙感器之間可進行圖像融合，大大擴展了衛(wèi)星的遙感應(yīng)用范圍。二多傳感器圖像融合基本概念 2.1 圖像融合的定義圖像融合就是指對采用一定算法，把兩幅或多幅具有互補信息的源圖像融合成一幅新的圖像。它可使得新圖像更加適合人的視覺感知，或者滿足

5、諸如圖像處理中的分割、特征提取、目標識別的需要。圖21說明了兩傳感器的互補與冗余信息關(guān)系 由于技術(shù)的進步，不斷出現(xiàn)了多種新的傳感器，將這些成像傳感器進行適當(dāng)?shù)慕M合，將會改善整個信息處理系統(tǒng)的性能。雖然每一種傳感器在特定的工作條件和工作范圍內(nèi)，在每種程度上是最佳的，但是它卻不能獲得人或者計算機在檢測目標時所需要的全部信息。因此，對于這些具有不同特性的傳感器進行有效的集合，將會擴展其中任何一個的能力，最終合成的圖像將包含更加完整和詳細的內(nèi)容，這對于圖像處理正作將會帶來很大的幫助。2.2 多傳感器圖像融合系統(tǒng)的一般結(jié)構(gòu) 圖像融合需要前期的預(yù)處理，它包括幾個方面：配準、校正、去噪聲等，在完成幾何校正、

6、噪聲消除及圖像配準后是真正的圖像融合過程。圖像融合一般可以分為像素級融合、特征級融合和決策級融合三個級別，融合的水平依次由低到高。圖22給出了圖像融合的三個層次示意圖。 像素級融合：像素級融合是直接在采集到的原始圖像數(shù)據(jù)層上進行的融合，人眼對顏色信息的融合就是典型的像素級融合。像素級圖像融合是最低層次的圖像融合，該層次的數(shù)據(jù)融合準確性最高，能夠提供其它層次上所不具備的細節(jié)信息，但是需要處理的信息量大。像素級融合也稱數(shù)據(jù)級觸合，是高層次圖像融合的基礎(chǔ)，也是目前圖像融合研究的重點之一。本文所研究的融合方法都是像素級融合方法。特征級融合：特征級融合是在信息處理的中間過程中進行的融合，它是指在對經(jīng)過預(yù)

7、處理的數(shù)據(jù)進行特征提取的基礎(chǔ)上，進行綜合分析和處理，其輸入輸出均為特征，典型的特征有邊緣、拐點、線條等。決策級融合：決策級融合是在對采集到的數(shù)據(jù)己獨立完成了決策或分類任務(wù)的基礎(chǔ)上，模仿人的思維借助一定的規(guī)則或特定的算法對各個判別結(jié)果進行組合判斷。在決策級融合中，首先采用局部分類器對目標的各個特征進行分類，得到了各局部分類器對目標的判決，然后采用貝葉斯推理、神經(jīng)網(wǎng)絡(luò)法技術(shù)等決策融合技術(shù)對各局部決策進行融合得到目標的準確判別。表21給出了不同融合層次其性能特點的比較情況。從表中及前面所介紹的內(nèi)容可以看出，像素級圖像融合是最重要、最根本的多傳感器圖像融合方法，其獲取的信息量最多、融合性能最好。 在圖

8、23的模型中，分別對要融合的圖像進行數(shù)學(xué)變換，然后，在變換域內(nèi)對圖像數(shù)據(jù)依據(jù)某種規(guī)則進行處理，以實現(xiàn)兩者的有機組合。之后，再進行數(shù)學(xué)反變換，從而得到融合的圖像。變換域內(nèi)，圖像數(shù)據(jù)的處理規(guī)則，因融合目的的不同而有所不同。圖像像素層融合處理與特征級融合、決策級融合最大的區(qū)別是：在對兩幅圖像進行融合處理之前，首先要對其進行嚴格的配準。圖像配準是指同一目標的兩幅圖像在空間位置上的對準。圖像配準的技術(shù)過程，稱為圖像匹配，或者圖像相關(guān)。圖像配準涉及許多相關(guān)知識領(lǐng)域，如圖像預(yù)處理、圖像采樣、圖像分割、特征提取等。常用的基于灰度的圖像配準方法有：空間相關(guān)法、頻域相關(guān)法等。基于灰度的圖像配準方法具有精度高的優(yōu)點

9、，但也存在一些缺點：1)對圖像灰度變化比較敏感，在非線性光照變化時，將大大降低算法的性能。計算的復(fù)雜度高，運算所花費的時間比較多。2)對目標的旋轉(zhuǎn)，形變等沒有很好的適應(yīng)性?；谔卣鞯膱D像配準方法有兩個重要環(huán)節(jié)：特征提取和特征匹配?？梢赃x取的特征包括：點、線以及區(qū)域等。特征匹配一般采用互相關(guān)來度量，但互相關(guān)對旋轉(zhuǎn)比較困難。最小二乘法匹配算法和全局匹配的松弛算法能夠取得比較理想的結(jié)果。小波變換、神經(jīng)網(wǎng)絡(luò)和遺傳算法等新的數(shù)學(xué)方法的應(yīng)用，進一步提高了圖像配準的精度和運算速度。與基于灰度的圖像配準方法相比，基于特征的圖像配準方法有以下幾優(yōu)點：1)特征點的提取過程可以減少噪聲的影響，對灰度變化、圖像變形等

10、有較好的適應(yīng)能力。2)特征點的匹配度量對位置的變化比較敏感，可以提高匹配的精確程度。3)圖像的特征點比圖像的像素點要少的多，可以減少匹配的計算時間。2.3 融合系統(tǒng)中多傳感器的特點現(xiàn)實世界中傳感器多種多樣，它們有其自身的物理及其成像特點。任何單一傳感器成像都可以看成對輸入信號的響應(yīng)，輸出圖像或信號即是響應(yīng)結(jié)果。常用圖像融合傳感器及其特點如表22所示。各種傳感器組合及其效果如表23所示：2.4 幾種常用多傳感器圖像融合方法像素級多傳感器圖像融合方法是目前研究比較深入的，已有的融合算法種類繁多，主要分為變換域和非變換域的融合方法。常用非變換域的圖像融合方法：1)平均法或加權(quán)平均法：對源圖像進行平均

11、計算提高了融合圖像的信噪但降低了對比度。加權(quán)平均方法中，加權(quán)系數(shù)的選擇要考慮信息的冗余與互補性，可采用主分量分析法。2)偽彩色融合方法：在灰度圖像中，人眼只能同時區(qū)分出由黑到白的十種到二十幾種不同的灰度級，而人眼對彩色的分辨率可達到幾百種甚至上千種。基于人眼視覺的這一特點，可以將圖像中的各種灰度級變成不同的彩色，以便提取更多的信息。A。MWaxman等人采用偽彩色融合技術(shù)對熱紅外圖像和電視圖像進行融合，該算法利用了人眼視覺感受野的中心一周邊型模型，彩色視覺的單頡頏和雙頡頏模型。常用變換域圖像融合方法：1） 圖像金字塔(LP)法：依據(jù)融合目的，利用特征選擇規(guī)則和待融合圖像金字塔表示，來構(gòu)建一個融

12、合的金字塔表達式，對融合后的金字塔表達式進行金字塔反變換，得到一個融合后的圖像。2)小波變換法：小波變換是傅立葉變換發(fā)展的新階段，它具有緊致性、正交性、方向可選擇性，這些優(yōu)良特性是小波變換成為圖像融合的一種強有力工具和手段。小波變換的多分辨分解特性符合人類的視覺機制，與計算機視覺中由粗到細的認識過程十分相似，非常適用于圖像融合。3)Contourlet變換法：Contourlet變換是基于LP分解和方向濾波組DFB結(jié)合的圖像變換法，它解決了小波變換只能捕獲水平、垂直、對角三個方向信息的問題，是真正意義上的多尺度多方向變換，其反變換也易于實現(xiàn)，在圖像融合中有很大的發(fā)展前景。25 多傳感器圖像融合

13、方法的性能評價圖像融合效果的評價問題是一項重要而有意義的工作，如何評價融合效果，即如何評價融合圖像的質(zhì)量，是圖像融合的一個重要步驟，但目前還缺乏一種對融合效果進行系統(tǒng)，全面的評價方法，國內(nèi)外對該問題的研究相對較少，目前的融合效果評價中，主要有主觀評價法和客觀評價法兩種。融合圖像質(zhì)量的主觀評價方法假若人是圖像的觀察者，圖像質(zhì)量的含義主要包括兩個方面，是圖像的逼真度(Fidelity)，另一個是圖像的可懂度(Intelligibility)。多少年來，人們總是希望能夠給國圖像逼真度和可懂度的定量測量方法，以作為評價圖像質(zhì)量和設(shè)計圖像系統(tǒng)的依據(jù)。但是由于目前人們對人的視覺系統(tǒng)還沒有充分認識和掌握。對

14、人的心理因素還找不出定量描述的方法，因此這個問題一直沒有很好的得到解決。融合圖像質(zhì)量的客觀評價方法為了克服主觀評價中人眼視覺系統(tǒng)、心理狀態(tài)、知識背景等因素帶來的不確定性，實際融合效果評價多采用客觀評價，客觀評價通過對各融合圖像統(tǒng)計參數(shù)的計算來進行判定、比較各種融合方法的優(yōu)劣。為了定量評價融合圖像的效果和質(zhì)量，假設(shè)參加融合的兩個源圖像分別為A、B，圖像大小為MXN，經(jīng)融合處理后得到的融合圖像為F，特定義了以下幾個評價參量。1) 熵(Entropy)。 圖像的熵值是衡量圖像信息豐富程度的一個重要指標，熵值的大小表示圖像平均信息量的多少。如果融合圖像的熵越大，可以認為融合圖像的信息量增加，融合圖像所

15、含的信息越豐富，融合質(zhì)量越好。2）互信息量MI(Mutual Information)。 評價圖像融合效果的一個重要指標是看融合圖像從源圖像中獲得了多少信息。互信息量是信息論中的一個重要指標，可作為兩個變量之間相關(guān)性的度量，或一個變量包含另一個變量的信息量的量度。互信息量是反映融合效果的一種客觀指標，它的值越大表示融合圖像從源圖像中獲褥的信息越豐富，融合效果越好，它可以更準確地評價融合效果的優(yōu)劣。3）平均梯度。 平均梯度(即圖像清晰度)可敏感地反映圖像對微小細節(jié)反差的表達能力，可用來評價圖像的清晰程度，同時還反映圖像中微小細節(jié)反差和紋理變換特征。4）標準差d。 標準差反映了圖像灰度相對于灰度平均值的離散情況，在某種程度上，標準差也可用來評價圖像反差的大小。若標準差大，則圖像灰度級分布分散，圖像的反差大，可以看出更多的信息。標準差小，圖像反差小，對比度不大，色調(diào)單一均勻，看不出太多的信息。5）交叉熵(Cross entropy)亦稱相對熵(Relative entropy)。交叉熵可用來表示兩幅圖像之間的差異，交叉熵越小，表示圖像差異越小。6）相關(guān)系數(shù)C(Correlation coefficient)圖像的相關(guān)系數(shù)，又稱為相似性度量，它反映了兩幅圖像的相關(guān)程度。