遙感信息融合

遙感影像融合西南交通大學遙感信息工程系羅小軍參考書目[1]徐青，張艷，耿則勛等.遙感影像融合與分辨率增強技術(shù).科學出版社，2007一、多源遙感影像數(shù)據(jù)融合概念多源遙感影像數(shù)據(jù)融合，是將同一環(huán)境或?qū)ο蟮亩嘣催b感影像數(shù)據(jù)綜合的方法或工具的框架，以獲得滿足某種應用的高質(zhì)量信息，產(chǎn)生比單一信息源更精確、更完全、更可靠的估計和判決。數(shù)據(jù)融合基本結(jié)構(gòu)數(shù)據(jù)1數(shù)據(jù)2數(shù)據(jù)N

數(shù)據(jù)融合機信息融合輔助信息數(shù)據(jù)庫經(jīng)驗知識庫決策與估計多源遙感影像數(shù)據(jù)融合的理解（1）融合的對象不僅僅是遙感圖像，還包括其他非圖像形式的遙感數(shù)據(jù)，如數(shù)字地圖、GPS導航信息、地理信息等；（2）強調(diào)了要產(chǎn)生高質(zhì)量的信息，融合后產(chǎn)生的信息必須能夠比原始數(shù)據(jù)更好地滿足用戶的需要；（3）融合的目的，就是要產(chǎn)生比單一信源更精確、更完全、更可靠的估計和判決。多源遙感影像數(shù)據(jù)融合的優(yōu)點（1）可靠的數(shù)據(jù)來源。某些傳感器不能被利用或被干擾，或某個目標/事件不在覆蓋范圍內(nèi)時，至少有一種傳感器可以提供圖像信息。（2）增加測量維數(shù)，增加了置信度。利用對同一目標的多波段、多時相、多角度的圖像數(shù)據(jù)可以更全面地揭示目標的本質(zhì)特性，提高目標判別結(jié)果的可靠性。（3）容錯性好，性能穩(wěn)定。（4）改進探測性能，增加響應的有效性。各個傳感器信息的有效互補，對某個目標/事件產(chǎn)生更全面的響應。（5）提高了空間分辨率。（6）降低了對單個傳感器的性能要求。多源遙感影像數(shù)據(jù)融合技術(shù)分類1.增強光譜信息的圖像融合技術(shù)

高空間分辨率的影像光譜分辨率低，多光譜或高光譜影像光譜分辨率高，但空間分辨率低，兩者融合以提高多光譜或高光譜影像空間分辨率，以及高空間分辨率影像的光譜分辨率。2.增強幾何信息的圖像融合技術(shù)

即超分辨率技術(shù)，從一系列低分辨率圖像復原（或重建）出更高分辨率的圖像。多源遙感影像數(shù)據(jù)融合技術(shù)分級像素級、特征級、決策級1.像素級融合

直接在采集到的原始圖像數(shù)據(jù)層上進行，在各像元一一對應的前提下進行圖像像元級的合并處理，以改善圖像處理的效果。

像素級融合目的，圖像增強、圖像分割和圖像分類，為圖像人工判讀或更進一步的特征層融合提供良好的基礎(chǔ)數(shù)據(jù)。優(yōu)點：能保持盡可能多的現(xiàn)場數(shù)據(jù)，提供其他融合層次所不能提供的細微信息。局限性：效率低，高精度配準，分析能力差，抗干擾性差。2.特征級融合

首先對來自不同傳感器的原始信息進行特征抽取，然后對從多傳感器獲得的多個特征信息進行綜合分析和處理，以實現(xiàn)對多傳感器數(shù)據(jù)的分類、匯集和綜合。融合結(jié)果能最大限度地給出決策分析所需要的特征信息。特征信息就是像素信息的充分表示量或充分統(tǒng)計量，包括目標邊緣、方向、運動速度等。應用：在指揮、控制、通信和信息系統(tǒng)中常用。特征級融合框架數(shù)據(jù)1數(shù)據(jù)2數(shù)據(jù)N

特征提取特征提取特征提取特征級影像融合融合結(jié)果特征級融合分類（1）目標狀態(tài)數(shù)據(jù)融合：首先通過融合系統(tǒng)對傳感器數(shù)據(jù)進行預處理以完成數(shù)據(jù)校準，再實現(xiàn)主要參數(shù)的狀態(tài)向量估計。用于多傳感器目標跟蹤。（2）目標特性融合：即特征層聯(lián)合識別，就是采用模式識別等相關(guān)技術(shù)，在融合前對特征進行相關(guān)處理，從而把特征向量分類成有意義的組合。特征級融合主要方法貝葉斯估計法、Dempster-shafer推理法、聚類分析法、神經(jīng)網(wǎng)絡(luò)法。3.決策級融合

是一種高層次信息融合，其結(jié)果將為各種控制或決策提供依據(jù)。決策級融合必須結(jié)合具體的應用需求特點，有選擇的利用特征級融合所抽取或測量的有關(guān)對象的各類特征信息，才能實現(xiàn)決策級別融合的目標。特征級融合框架數(shù)據(jù)1數(shù)據(jù)2數(shù)據(jù)N

特征提取特征提取特征提取決策級影像融合融合結(jié)果

屬性說明屬性說明屬性說明方法：貝葉斯估計法以、神經(jīng)網(wǎng)絡(luò)法、模糊聚類法、專家系統(tǒng)背景：空間分辨率與光譜分辨率是一對矛盾，如何增強高空間分辨率影像的光譜信息？或者是如何增強高光譜分辨率影像的空間分辨率？屬于像素級的影像融合技術(shù)。(像素級)融合的基本思路對多源影像進行空間配準，當空間分辨率不同時，要求配準后空間分辨率保持一致。將多光譜影像按某種變換方法分解成不同級別的子影像，然后采用某種融合方法進行處理。將處理后的子影像進行逆變換，得到融合后的影像。二、增強圖像光譜信息的數(shù)據(jù)融合方法像素級融合方法代數(shù)運算法基于空間變換的方法基于金字塔式分解和重建的融合方法加權(quán)融合法比值融合法高通濾波法Brovey變換融合法IHS變換融合法PCA變換融合法YIQ變換融合法Lab變換融合法拉普拉斯金字塔融合法梯度金字塔融合法小波變換融合法像素級融合的方法一般塔式融合方法（一）代數(shù)運融合法

1.加權(quán)融合法基于像元的加權(quán)和方法對兩個波段影像進行融合：例：SPOT全色影像與其多光譜影像融合1.對兩幅影像進行配準，并將多光譜影像重采樣(與全色分辨率相同)2.計算全色波段與第j個波段影像的相關(guān)系數(shù)Rj3.將全色波段影像與第j個波段影像按下式組合：融合的效果主要與權(quán)值有關(guān)，權(quán)值選取得當，可以獲得較好的效果。金劍秋（2002）提出了一種基于人類視覺系統(tǒng)的自適應加權(quán)平均融合法，就是根據(jù)相應像元領(lǐng)域內(nèi)的能量、方差和熵來確定權(quán)值，得到具有較強真實感的融合圖像。（1）2.比值融合法對于多光譜影像而言，比值處理可將反映地物細節(jié)的反射分量擴大，不僅有利于地物的識別，還能在一定程度上消除太陽照度、地形起伏陰影和云影等的影響。比值融合算法（Munechicka,1993）

（2）（3）Resolutionenhancementofmultispectralimagedatatoimproveclassificationaccuracy3.高通濾波法就是將高空間分辨率圖像中的高頻信息（細節(jié)、邊緣）提取出來，疊加到低分辨率高光譜圖像中。

首先采用高通濾波器提取高空間分辨率圖像中空間信息的高頻分量，去掉了大部分的低頻信息；然后將高通濾波結(jié)果加入到低分辨率光譜圖像中，形成高頻特征信息突出的融合影像。高通濾波融合算法

式中，F(xiàn)k(i,j)表示第k波段像素(i,j)的融合值，

Mk(i,j)表示低分辨率多光譜影像第k波段像素(i,j)的值，HPH(i,j)表示高空間分辨率圖像在高通濾波后的高頻圖像像素(i,j)的值。（4）4.Brovey變換融合法它是為RGB影像顯示進行多光譜波段顏色歸一化，將高分辨率全色與各自相乘完成融合。融合算法方法簡單，但存在一定的光譜扭曲，同時沒辦法解決波譜范圍不一致的全色影像和多光譜影像融合的問題。（5）

（二）基于空間變換的融合方法

1.IHS變換融合法IHS變換可以把影像的亮度、色調(diào)(度)和飽和度分開，影像融合只在亮度通道上進行，影像的色調(diào)和飽和度保持不變?；緮?shù)據(jù)處理步驟：（1）

將全色影像和多光譜影像進行幾何配準，并將多光譜影像重采樣(與全色分辨率相同)。（2）將多光譜影像變換到IHS空間（RGB空間變換到IHS空間）。（3）

對全色影像和IHS空間中的亮度分量I進行直方圖匹配，得到新的全色影像I’。（4）用全色影像I’代替IHS空間的亮度分量，即得到I’HS。（5）將I’HS逆變換到RGB空間，即得到融合影像?！蛔悖号で嗽嫉墓庾V特性，產(chǎn)生了光譜退化現(xiàn)像。同時，該方法只能同時對多光譜影像的3個波段進行融合。RGB到IHS的轉(zhuǎn)換M：R、G、B中的最大值m：R、G、B中的最小值IHS到RGB的轉(zhuǎn)換m=2*I-M

2.PCA變換融合法

主成份分析(PrincipalComponentsAnalysis，PCA)—K-L變換（Karhunen-Loeve）主成份分析可以用作數(shù)據(jù)壓縮的一種方法，也可以用于影像融合。它可以將多光譜影像壓縮為較少的波段，也就是譜空間的維數(shù)可以被減少。通過主成份變換得到的各波段影像間是不相關(guān)的，更容易被解譯。主成份變換核心：將相關(guān)性較高的多波段影像數(shù)據(jù)變換為相互垂直、不相關(guān)的多波段影像數(shù)據(jù)。2個波段影像的散點圖

如果影像灰度服從正態(tài)分布，散點圖的形狀為橢圓(ellipse)；如果是3波段，則為橢球(ellipsoid)；如果是3波段以上，則為超橢球(hyper-ellipsoid)。PCA變換原理—以2個波段數(shù)據(jù)為例PCA變換——經(jīng)過坐標軸旋轉(zhuǎn)、平移操作，將每一像素在光譜空間(Spectralspace)的坐標（各波段的灰度值序列）變換到新的坐標空間。橢圓的長、短軸分別對應于第一、第二主成份，其長度、方向分別由特征值(eigenvalue)、特征向量(eigenvector)所決定。第一分量（第一主軸）對應的灰度值波動范圍最大，表明其包含最豐富的信息。主成份變換的數(shù)學實現(xiàn)坐標軸的平移、旋轉(zhuǎn)通過線性變換

(Lineartransform)實現(xiàn)。主成份變換基于多光譜影像（波段數(shù)為n）的協(xié)方差矩陣來完成。Cov：波段間的協(xié)方差矩陣；

EV：特征向量矩陣；

E：主成份變換后的協(xié)方差矩陣，是一個對角陣，對角線元素稱為特征值，它表示某個主成份的方差，非對角線元素為各主成份之間的協(xié)方差。非對角線元素均為0，這表示各主成份之間的協(xié)方差為0，即各主成份彼此間沒有關(guān)聯(lián)，相互獨立。對于像元(i,j)，在某個主成份p中的值Pi,j,p為BVi,j,k：像元(i,j)在第k個波段中的亮度值，(k=1,2,…,n)。主成份變換為線性變換過程例：有某地區(qū)landsatTM的7個波段影像12345671100.9356.679.4361.49134.2723.7290.13256.634.1446.7140.6885.2214.3355.14379.4346.7168.8369.59141.0422.9286.91461.4940.6869.59248.4330.7143.62148.55134.2785.22141.04330.71568.8478.91280.97623.7214.3322.9243.6278.9117.7842.65790.1355.1486.91148.5280.9742.65154.92方差-協(xié)方差矩陣1234567Bandk10.2050.6370.327-0.0540.249-0.611-0.07920.1270.3420.169-0.0770.0120.3960.82130.2040.4280.159-0.076-0.0750.649-0.56240.443-0.4710.7390.107-0.153-0.019-0.00450.742-0.177-0.4374-0.3000.3700.0070.01160.1060.033-0.0800.8870.4240.1220.00570.3760.179-0.309-0.312-0.769-0.1810.051Componentp特征向量(EV)矩陣12345671010.920000000131.20000000037.6000000006.7300000003.9500000002.1700000001.24Componentp特征值(λp)矩陣第一個像元(1,1)在7個波段中的值為第一個像元(1,1)在第1主成份中的值為每個主成份所占信量—依據(jù)特征值計算百分含量84.6810.993.150.560.330.180.10累計值84.6995.6798.8299.3899.7199.89100.00上例中，7個主成份所占的信息量第一主成份包含最豐富的信息。某個主成份P代表的各波段信息的貢獻量（或各波段信息分解到各主成分上的信息量）

—依據(jù)主成份P與每個波段k的相關(guān)系數(shù)計算上例中，各個主成份所代表的各波段信息的貢獻量（該矩陣又稱特征矢量矩陣）1234567Bandk10.6490.7260.199-0.0140.049-0.089-0.00820.6940.6700.178-0.0340.0040.0990.15730.7850.5920.118-0.023-0.0180.115-0.07540.894-0.3.420.2870.017-0.019-0.002-0.00050.989-0.084-0.112-0.0320.0300.0000.00060.7990.089-0.1160.5450.2000.0420.00170.9610.181-0.1520.065-0.122-0.0210.004Componentp基于主成份變換的影像融合方法（1）對多光譜影像進行主成份變換，變換后的第一主成份含有變換前各波段影像的綜合信息，而各波段中其余對應的部分，被分配到變換后的其它波段。（2）將高分辨率影像和第一主成份進行直方圖匹配，使高分辨率影像與第一主成份影像有相近的均值和方差。（3）用直方圖匹配后的高分辨率影像代替主成份中的第一主成份，然后與其余主成份一起進行主成份逆變換，最終得到融合影像。全色影像多光譜影像融合影像QuickBird影像的融合

3.YIQ變換融合法什么是YIQ？

跟IHS一樣，是一種顏色系統(tǒng)，是用于電視信號傳輸NTSC制式的彩色編碼系統(tǒng)。Y是亮度信息，通過基于人眼視覺敏感特征對圖像R、G、B波段的加權(quán)平均而獲得。I、Q分量反映了圖像與硬件相關(guān)的彩色信息。YIQ的正、反變換關(guān)系式Y(jié)IQ變換融合算法