一種新的基于視覺信息保真度的圖像融合性能度量(一)要點

1、一種基于視覺信息保真度的新的圖像融合性能度量關(guān)鍵字：圖像融合評估，融合圖像質(zhì)量，視覺信息保真度，融合視覺信息的保真度 摘要：主觀評價不適用于評估自動化系統(tǒng)，使用一個客觀圖像融合的性能指標(biāo)是評價不同的融合質(zhì)量的一種常用方法。在本文中，使用視覺信息保真度（ VIF）的多分辨率圖像融合的度量標(biāo) 準(zhǔn)是目前對融合效果的客觀評估標(biāo)準(zhǔn)。這種方法有四個階段：（1）源圖像和融合圖像被過濾并且分塊。（2）在每個無失真的信息塊中對視覺信息進行評估。（3）融合的視覺保真度（VIFF）各子帶的計算。（4）整體質(zhì)量測量是由與每個子帶的VIFF的加權(quán)決定的。在我們的實驗中提出的融合評估方法與現(xiàn)有的幾種由Petrovic提出

2、用于主觀測試數(shù)據(jù)集的融合指標(biāo)比較，我們發(fā)現(xiàn)就人類感知匹配和計算復(fù)雜性而言，VIFF會更好。1、引言 多個成像系統(tǒng)通常用于改善對復(fù)雜事件的位置的察覺，因為他們可以在不用丟失信息情況下捕捉事件，然后把來自于源圖像的有效視覺信息結(jié)合在一起而產(chǎn)生出高質(zhì)量的信息結(jié)果。這種結(jié)合的過程稱為融合，這是通過融合算法的實現(xiàn)。由于越來越多的融合方法在近年來被提 出1 ,評價融合算法的性能已成為一個重要的問題。評估融合性能的傳統(tǒng)方式是被一批訓(xùn)練有素的人來對融合圖像進行主觀地評估，這需要大量的經(jīng)濟消費，而且也不能用于自動系統(tǒng)。這就導(dǎo)致了融合的客觀度量成為主要焦點融合算法 的性能，因為它可以自動預(yù)測。由Qu等人提出的交互

3、信息（MI） 2 是對圖像融合最常用的客觀度量。hossny等人3修改了 MI度量標(biāo)準(zhǔn)，并且提出了歸一化MI （NMI）度量標(biāo)準(zhǔn)。這兩個指標(biāo)都利用信息論并且證明這一理論的重要意義。Xydeas和Petrovic 4 提出了一種基于邊緣通過計算邊緣強度和方向融合圖像的融合性能測量QE Xydeas的工作表明融合評估高性能。在圖像質(zhì)量評估性能中表現(xiàn)更好的結(jié)構(gòu)相似性指標(biāo)測量（SSIM） 8 被用來作融合性能的測量。例如，Piella 5 在每塊的源圖像和融合圖像之間利用加權(quán)SSIMS判定加權(quán)融合質(zhì)量（ WFQ和邊緣融合質(zhì)量指標(biāo)（EDFQD。Cvejic等人6改進了 Piella的研究并且確定了基于兩

4、個源融合圖像對之間的塊相似性。不像在Piella的工作中那樣考慮灰度與邊緣信息，楊等人7 指標(biāo)在圖像中只集中在灰度信息。在楊的研究中，WF是唯一一個用來預(yù)測融合性能的，而每個塊的最大 SSIM在一定的條件下利用為加權(quán)值替代。陳和 Varshney 9 提出了一種 基于人類視覺系統(tǒng)（HVS的新融合度量標(biāo)準(zhǔn)。采用的方法是對整個圖像用對比敏感度函數(shù)（CSF）,然后使用以區(qū)域為基礎(chǔ)的區(qū)域空間信息傳遞。為他們的算法和使用不同類型的圖像融合評估他們的算法，陳和 Varshney研究了最佳參數(shù)設(shè)置。陳和 Blum 10 提出了一種 基于HVS新的融合度量標(biāo)準(zhǔn)。他們的工作沒有依靠邊緣信息，而是根據(jù)在一種憑借經(jīng)

5、驗的 CSF過濾圖像中局部對比。他們使用夜視圖像測試集評估了他們度量標(biāo)準(zhǔn)，實現(xiàn)了高性能。 由于圖像的融合方案的評價與圖像質(zhì)量有很大的相關(guān)性，圖像質(zhì)量的發(fā)展對融合指標(biāo)有很大的影響。本文描述了一種基于視覺信息保真度（ VIF）新的圖像融合度量標(biāo)準(zhǔn)，具有高性能 的圖像質(zhì)量預(yù)測。預(yù)測的性能和計算復(fù)雜度在度量標(biāo)準(zhǔn)上都有所改進。第2節(jié)簡要介紹了VIF,第3節(jié)描述了融合度量算法的原理和框架。在第 4節(jié)中探討了實驗結(jié)果，把所提出的 算法性能與一些在 Petrovic的主觀測試數(shù)據(jù)庫中常用的融合度量標(biāo)準(zhǔn)做了比較11。最后，在第5節(jié)中得出結(jié)論。 2、視覺信息保真度的原理本節(jié)介紹的視覺信息的保真度，這是一個有效的基

6、于自然場景統(tǒng)計（NSS）理論的全參考圖像質(zhì)量度量。Vif的原理如圖1所示。如圖1, VIF首先把自然圖像分解為幾個子帶，又將每個子帶進行分塊。然后，在每一個塊和每一個子帶的不同模型中，VIF通過計算交互信息來測量視覺信息。最后，圖像質(zhì)量值是通過所有的模塊和所有子帶整合視覺信息來測量的。在這里，VIF介紹三種模型測量視覺信息：高斯尺度混合（GSM模型，畸變模型和 HVS莫型。GSM莫型14,15在小波域的NSS模型。一個GS娓一個隨機的字段（RF）,可以表示為兩個 獨立RFS的結(jié)果：高斯尺度13,這是表示作為在（1）中，Ci表示子帶中的參考信號的第i個RF（射頻）;si是第i個隨機正標(biāo)量，Ui為

7、第i個高斯矢量射頻，方差為 Cut A GSM莫型是一種特殊的像素機型，和射頻被認為是一個本 地的塊，在子帶中的像素集。因此，我們交替射頻塊，以幫助在下面的度量中了解其工作原理?；兡Ｐ褪怯脕砻枋鲈诤畏N程度上顯示失真算子可以干擾圖像。VIF采用的是信號衰減和相加噪聲扭曲模型。Di =giCi + Vi其中，Ci表示第i個RF（射頻）的參考信號，與（1）具有相同的意思。這意味著為（1）和Di 表示在測試圖像中的子帶對應(yīng)的射頻。Gi表示由失真Eq決定的純量值。（2） , VI是一個平穩(wěn)的相加零均值高斯噪聲方差場。VIF的量化的HVS模型的影響的信號，即流過HVS用VIF , HVS來建模，相加組分

8、中的信道的畸變。謝赫和 Bovik 13 標(biāo)志著這HVS視覺噪聲和失真模型作為一個固定的白相加零均值高斯噪聲在小波域。因此，在固定的射頻下，HVS噪聲可以建*II為噪聲 N, N,這是零均值無關(guān)多元高斯次相同的維。Ei=Ci + NFi=Di + N =giCi + Vi;其中，在EI和FI表示的參考和測試的認知輸出提取的圖像從腦，分別；他們是由轉(zhuǎn)移 CI 和DI通過HVS模型的一個子帶。VIF假設(shè)N和N是相同的協(xié)方差。為了實現(xiàn)簡單的分析和計算，VIF假設(shè)N N, UI, Si和VI是相互獨立的所有塊個子頻帶。VIF利用互信息I （CI, EI）來衡量HVS時的輸出信息，我們可以提取參照圖像來

9、觀看。另外，信息（CI, FI）是以同樣的方式測量時，測試圖像被相同的方式觀察。/(CpFi)=卜但廠 * + % + M)可 + N)其中I I表示矩陣的行列式，我的身份是馬以Cu具有相同維數(shù)的矩陣。上面的討論僅考慮第i個射頻，在子帶信息的考慮，VIF它被定義為兩個信息比率，可以寫為1/rr 工kTbjMdEbb，卜) ,工EM a其中k和b代表子帶和塊指數(shù)（RF）分別；GK, b是標(biāo)量增益字段中的第 b塊的上面的第k 子帶，并且S, K, B和Cu相應(yīng)的定義。顯而易見的是，GK b和Cu, BGI和SI的定義是廣義的，當(dāng)考慮多個個子頻帶。此實現(xiàn)的 VIF是不完全一致的的理論。據(jù)估計，模型取

10、代了理 論模型在實踐中。例如，Su從局部方差估計通過式的最大似然（MD準(zhǔn)則的基礎(chǔ)上的像素。心5 =（九）其中，/土代表源圖像L在BTHthekth子塊的標(biāo)準(zhǔn)方差，式（2）中取匕可以通過式（7）進 行近似計算。感力=唱/（成力）b可以通過式（8）進行近似計算。% =（蟾J-g葭伍J其中句鄉(xiāng)代表源圖像I和測試圖像 在bth子塊的協(xié)方差。實際上，0戶被認為是陽D在實踐中的一個功能：將參考圖像（|）和測試圖像（J）作為輸入，評估價值作為輸出。因此，MfF與源圖像和測試圖像、的輸入輸出關(guān)系可以用式（9）表示。VIF(frJd)=十3、視覺信息保真度融合（VIFF）的性能指標(biāo)在VIF中，I（Ci , Ei

11、）相當(dāng)于只考慮視覺噪聲情況下信號噪聲比（SNR）在一個環(huán)帶的電流空間位置，然而I（Ci , Fi）是另一個SNR在相同的位置且同時具有失真和視覺噪聲的副環(huán)帶。因此，VIF的原則可以被描述為以下四個步驟：第一，VIF參考圖像和測試圖像分成幾個子塊；第二，VIF在多尺度上選取局部空間信噪比不失真信息的圖像；第三，VIF把他們加在一起得到所有的信息，這在不考慮畸變的情況下反映了對HVS的整體影響；第四，VIF評估圖像信息無失真的概率?？傊植靠臻g信噪比上的失真信息與在VIF模型下的圖像質(zhì)量直接相關(guān)。局部空間信噪比上的失真信息反映了在測試圖像上有多少視覺信息與參考圖像進行比較。而“視覺信息”在這里被

12、定義為 HVS的一個好的視覺響應(yīng)。 基于這個想法，構(gòu)建一個融合指標(biāo)， 其基本原理 見圖2。融合指標(biāo)主要是測量融合圖像在源圖像中提取了多少“有效的視覺信息”（增強型 ）。其中“有效的視覺信息”被定義為所有的源融合圖像對中最大的視覺信息。在這個指標(biāo)中，VIF模型是用于從源融合圖像中提取視覺信息；EVI由從用失真信號作為一個指標(biāo)的 VIF模型中選擇的視覺信息決定的。 在我們的工作中，局部空間和光譜域中的 EVI被定義為視覺 信息融合。最后，度量值是通過把所有融合視覺信息組成融合指標(biāo)的過程中計算得到的。因為在融合評估問題中有很多圖像， 我們假定I1 , I2,In 為n個源圖像，IF是融合圖 像。源圖

13、像Ii和在bth子塊與kth子頻帶中的融合圖像IF的不失真視覺信息（VIND）定義 為式（10）。(10)源圖像Ii和在某些子塊與子頻帶中的融合圖像IF的失真視覺信息（VID）定義為式（11）16bth子塊和kth子頻帶。散在式（10）和式（11）中，下標(biāo)b,k分別表示圖像的Skb （72,和門與VIF模型中的定義相同。VIND與VID的定義基本上與在 VIF中的I(Ci , Ei)和I(Ci , Fi)相同，在融合指標(biāo)上稍有 差異，計算VIF需要一個參考圖像，而融合問題中沒有參考圖像。因為融合問題參考圖像是未知的，作為輸入的源圖像替作參考圖像，融合圖像作為測試圖像。這種替換基于假設(shè)用于VIF

14、中的I(Ci , Ei) (VIND)和I(Ci , Fi) (VID)反映與參考圖像進行對比的測試圖像的 視覺信息。因此，VIND和VID代表從源圖像提取的融合圖像的視覺信息。Sourceimage IPmVIDt計匚二：|I . 一 I二.C3”吟屈懣藩HE虬mi抬褶型 k工皿叫事工LL |v.n-.vr-.-2vn jiwiMamna-!-工 一崇那H:u 律 工工Sourceirnac 2Fused iuu驊:工F*W%5，、L5 =郎U.Sourceimage nWaveJelDecoinpcsiiion工： ：二VIFFl1 t(Jfc, /) jr1:*:E:!.! 戰(zhàn)出第士 不

15、：”：:“: 一* ，F(xiàn)t76M MM 人叫 M /)由于在融合問題中有很多源圖像，在融合圖像中首先要定義EIV (增強型)的來源。這里，一個標(biāo)量參數(shù)， Wb,被選中作為融合問題中 EVI (增強型)的源指數(shù)。我們假設(shè)在kth子頻帶中的bth子塊融合圖像的 EVI是從h圖像中提取出來的。可以根據(jù)式(12)進行計算。t = argmjn (咫Ji 屈.仙4,g3(h%)(12)在式(12)中，底/指在以1和本作為輸入的WD中標(biāo)量增益g仙的平方。Min 是融合圖像的信息選擇原則。一個較小的 鯨式卜力意味著相對其他源圖像而言，從在 kth 子頻帶中的bth子塊ith圖像提取了大量的 EVI。將源信息

16、指數(shù)標(biāo)記為失真融合視覺 (FVID) 和無失真融合視覺信息 (FVIND)作為EVI的參數(shù)，在kth子頻帶中的bth子塊定義為如下形M(/i= V叫心，哨f 1for ”d喀mjn儂毗小山)% (% 4)FViNDihGJf) = ViNDb(ftJF)FWD和凡NDk,b表示局部空間for ”日喀mjn (或M，W或行f)心體功 “)式（13）、（14）表示EVI選擇的融合算法。EVI的參數(shù)和光譜域。在kth子頻帶中，融合估計的 VIF記作VIFFi,其表達式見式（15）。叫型兒/F）工赳皿入出,h/F）(15)全千VIF通過在每個子頻帶中進行加權(quán)計算得到VIFF的融合評估值:所弧酎/f)

17、= 44)(16)其中，Pk是加權(quán)系數(shù)。根據(jù) VIF理論，高VIF產(chǎn)生高質(zhì)量的測試圖像。因此，提高 VIFF就能提高融合圖像的質(zhì)量。VIFF基于VIF, VIF模型的估計得到 VIFF。在第二部分，在實踐中，以 ML標(biāo)準(zhǔn)對集小”, gkb和喊力進行估計。這里，在VIFF中使用同樣的方法估計這些參數(shù)。VDUiF）和 WNDuQMf）按照式（17）和式（18）進行計算。VlDk.h) = log2 1 +gMLF)(wJ以J 一歐式人上）,（4J十詔VNDkMh上)=loga 1(17)(18)其中，取WJf）的近似計算為:(19)g仃俳4)=啕/Sb) 在上面方程中， 演j表示在kth子頻帶中的

18、bth子塊中源圖像 匕和融合圖像上的協(xié)方差。 在kth子頻帶中的bth子塊中， % 和成b分別代表源圖像 h和融合圖像 k的偏差?？傊?，VIFF算法用以評價有兩個已知源圖像的融合質(zhì)量，如下， L,上分別表示兩個源圖像及融合圖像。圖像 L在i行j列上的像素值記著 |由力, 其他的圖像和矩陣用相同 的方法表示。1、初始化V7FF = 0, 4值數(shù)組 P2、For k = 1 to 4FVID = 0;FV/ND = 0;檢查L, 2卜的大小尺寸，假設(shè)其大小尺寸為MX N通過k構(gòu)建二維標(biāo)準(zhǔn)濾波器 h,大小尺寸我PXK；3、For i = 1 to MFor j = I to NOl,i =0；仃=

19、0；0； (72/= 0；0；tn： =0; m2 = 0： m=0：For a = -P/2 to P/2For b = -K/2 to K/2Li 6j + -i _ qJ b小 一 qJ b，hfi - qJ - b： 仃22 = 2,2 + bl, _ nJ _ bwi 一 ,口. J _ b，hfi aj _ b; (Tf：p =仃 + d 一 口 J b) *_ o, j _ b h/i cij b；療if =療11f+ AU dJ 一 b，I# 一 nJ - b) * hfi qj - b; (Tj f = 2j- + i - QJ ，i - q. J - b hfi _ aj

20、_ b： ml=m+ Ji - aj - b) - h0- aj - b);ni = m2 + hi 一 nJ b hi - aj - b;m, = rtif + ，- Qj b) , h/i - dj b;End for (b); End for (a)九i = G.i - m1；0金=1 m2；所,f= if -叫舊戶； 療n.f =療lf _ ，m： (7f f =仃產(chǎn) 一 m* m-4、gi =g.Gi；S2 =仃zdbzj：if |gil FVIDIFViND; End for /c)8、這整個融合評估值是VIFF。9、在|1工16|中，濾波器h設(shè)置為高斯濾波器，它的大小和方差隨著k

21、 （副環(huán)帶指數(shù)）的增加而減小。在 VIFF中使用了同樣的濾波器 ho P和仃彳為已知量，在下一小節(jié)中給出了。10、第三步和第四步是 VIF的主要步驟，因為VIF通過在源代碼中使用卷積計算得到。VIFF在特定碼中的卷積得到應(yīng)用。4、驗證實驗和討論對于現(xiàn)有的圖像融合度量算法的當(dāng)前比較還存在一些問題。比如說，2,3,5-7的一些工作將它們的估計算法和讀者的主觀判斷或其他常見的客觀圖像質(zhì)量評估方法作比較（例如 PSNR。它有如下局限性：1.直接的主觀感知采用主觀的感知去評價一個融合度并不是精確的。一個精確而且準(zhǔn)確的直觀感知是要受到很多因素的影響的，比如說解釋的清楚性，觀察者的心情和學(xué)術(shù)背景。因此，不同

22、的人對于同一個圖片的主觀感知會有很大的不同，通常情況下，主觀評價一個照片采用的都是ITU建議20中提出的方法。對于一個圖片來說，只有經(jīng)過了嚴格的主觀評定之后，才可以成為有價值的主觀評價。 2.使用一個參考指標(biāo)采用其他圖像的質(zhì)量度作為參考指標(biāo)，去評價融合度顯然是不可靠的。根據(jù)圖像質(zhì)量評估研究16,18, 一些經(jīng)常作為圖片質(zhì)量度量的參數(shù)（如峰值信噪比，信噪比，嫡）對于主 觀感知也沒有一個很好地預(yù)測性能。因此，不存在適合作為參考指標(biāo)的圖像質(zhì)量度，因為它們都不夠準(zhǔn)確。3.采用一個或多個圖像采用一個或多個圖像去評估融合度看起來是不合時宜的。根據(jù)VQEG17 18提出的質(zhì)量度比較的思想，圖像質(zhì)量評估算法只

23、不過是一種統(tǒng)計的算法。因此， 基于這種算法時，考 慮樣本的大小是必須的。同樣的，在進行融合樣本評價時， 我們也需要一個大小合適的融合樣本。在我們的實驗中，由于主觀感知對于融合度的評價有很大的影響，因此，我們采用了基于VQEG勺大量樣本對比法。為了確定樣本的大小，采用了 Petrovic提出的主觀測試數(shù)據(jù)庫 對我們的度進行了測試。 這個數(shù)據(jù)庫是由151對注冊過的單色畫所構(gòu)成的，這些單色畫來源于現(xiàn)實或虛擬條件下的不同傳感器。數(shù)據(jù)庫中的120對融合圖像都經(jīng)過了 ITU建議方案的評 價。主觀評價是通過投票進行測量的，比如說對于兩幅圖片，投票的選項有“圖片1優(yōu)先”、“圖片2優(yōu)先”、“兩者都優(yōu)先”三個。測

24、試過程的細節(jié)描述可以在其他文獻中找到。對于每一個融合圖像對，根據(jù)Petrovic的構(gòu)思，對于每一個融合圖像來說，它們的主觀優(yōu)先權(quán)S表示如下：式（20）(1,0.0=卜 0,1,0I 0,0,1prefered imQgel prefered image2 equal(20)圖片1優(yōu)先意味著圖片1獲得的票數(shù)最多，類似的，客觀優(yōu)先權(quán)用 O來表示如下，它的值依賴于每對融合圖片的客觀度，式（21)(21)1.0, Of QtQ2 0=1 0,1,0/ Q2Q lO UT Qi 化 QzQ1和Q2是對兩個圖片（方案 1和方案2）的度量數(shù)值，當(dāng)操作結(jié)果大于預(yù)測值時，意味著度量結(jié)果顯示圖片 1的優(yōu)先權(quán)比較高

25、。由于指標(biāo)的范圍是連續(xù)的， 所以Q1和Q2之間的 精確的相等時不可能的。而 Q1與Q2近似相等時定義在 Q1、Q2之間的絕對誤差小于 0.001 的情形。在Petrovic 的理論中，主觀相關(guān)性（SR）和正確白排名（CR這兩個性能指標(biāo)可以客 觀的進行融合度的對比。SR用來預(yù)測主觀和客觀結(jié)果之間的相關(guān)性，在我們的理論中，SR被定義為如下表示：（式 22）(22)對于融合圖片組i來說，Qi是客觀指標(biāo)中的選擇向量， Si是主觀偏好向量，Ti是該融 合圖像組的主觀投票向量的歸一化。比如說，一個主觀投票是4,10,1,那么它歸一化的投票向量T就是4/15 , 10/15, 1/15。E是一個特殊的主觀偏

26、好向量，它對每一個選項都有 相同的偏好（最糟糕的情況是）：E=1/3 , 1/3, 1/3 。SR的值域是0,1.CR反映的是融合度的預(yù)測精度和單調(diào)性。它首先是計算主觀和客觀排名相同的圖像對的數(shù)目，然后計算出它們在所有的圖像對中的比例：CR = *SQ（23）i在這個公式里面，N是圖片對的總數(shù)。伴隨著SR和CR的增加，圖片融合度的預(yù)測性能將會提高。4.1 參數(shù)的選擇為了確定式子10中的Pk,我們對VIFF中CR的選擇采用Petrovic 數(shù)據(jù)庫中的確定最 優(yōu)算法。通過100次的實驗，我們發(fā)現(xiàn)只有當(dāng) P在0.465, 0.070,0.465的時候，才會得到 VIFF中的四個子帶的最高 CR.o根

27、據(jù)式子12,13 ,視覺噪聲叮，經(jīng)常選擇為0.1 ,（此時的圖像比例為 0-1 ）。由于VIFF和VIF并不總是相同的，所以我們測量 VIFF中受影響參數(shù) 。在實驗中，）的改變時從0.001到0.5的，且間距為0.001 。 CR被看作為次事的偏好指數(shù)，主要的結(jié)果如圖3所示：。虜Y. Han eiFW。口 E (Ml?) f27-135079D.780.77QM0 74iQ.730720.71.350.060.15C 4045D25rrT*在圖3中，X軸是）彳，變化范圍為0.001到0.5 ,（圖像比例為0-1 ）, Y軸是CR基于圖3中所顯示的結(jié)果，當(dāng) an的取值范圍在0.004,0.006

28、的時候，VIFF具有較高的預(yù)測性 能。視覺噪聲對于 VIFF的影響與其對 VIF的影響是不同的，因為VIFF中經(jīng)常使用EVI指數(shù) 原理。由于VID和VIND是由不同的數(shù)據(jù)信息構(gòu)建的（或者說是相反的），采用較低的名“作為EVI的指數(shù)的原則致使 VID和VIND的增加。換句話說，視覺信息相對來說將減少。為了t2 i 改變VID和VIND之間的相反關(guān)系，在VIFF中采用較低的視覺噪聲。在我們的實驗中，.的取值為0.005。4.2 主要的結(jié)果及分析在這個論文中，我們采用了Peetrovic的數(shù)據(jù)庫來計算融合評價指標(biāo)SR和CR結(jié)果如表1所示。在我們的實驗中， 基于SSIM的度量和Xbdeas和Petro

29、vic 提出的傳統(tǒng) 毋度量然而SR卻比2AB,中的的運作不同。在CR上，Blum的度量顯示出了比 0,更好的預(yù)測性,低。在我們白實驗中，VIFF的準(zhǔn)確率達到了 95/120。很明顯的證明了， 采用Petrovic的數(shù)據(jù)庫，VIFF可以獲得相對于其他的融合估計都要大的SR和CR這就證明了它在圖像融合估然而，仍然有25個錯誤的融合圖像。 一些圖像源不符合自然景象統(tǒng)計的條件。 象統(tǒng)計的方法。根據(jù)自然景象統(tǒng)計理論，計上的優(yōu)越性。Tab k I加占掘 CR dilTmni fusion rnttrics.QuiBt al 閭Hoss呻 et aJ.國and. Petnwic 囿國elL5|Gttjk e

30、t16修咤et alPlQfifi &聞 Vaishneir riChen and Blum|10|Our method 211北湖(LM30L711魚曬0.7000.4460.700J450.-6500.6SD0J25DJI70.6160.7170.5750.7500.792我們認為造成錯誤的原因是Petrovic數(shù)據(jù)庫中的VIFF依靠于GSM模式，這是一種用來模擬自然景自然景象圖片主要的特征是其系數(shù)分布是一個哥分布。Petrovic數(shù)據(jù)庫中的一個自然場景樣品圖片如下圖4所示。在圖4是一個包含天然場景的航拍照片。在圖4中，圖像（a） （b）是必須要被融合的兩種不同的源圖像。圖像（a）（b）分

31、別是圖像（a） （b）的系數(shù)。在曲線（a ）中，x軸和y軸分別代表著曲線值及 其發(fā)生的概率，曲線（b）類似。很明顯系數(shù)分布是哥分布。對于Petrovic數(shù)據(jù)庫中的高光譜圖像，如圖片 5所示，圖片的曲線分布并不滿足哥分 布的要求。在圖片 5中，圖像（a） （b）是必須要被融合的兩種不同的源圖像。圖像（ a） （b）分別是圖像（a） （b）的系數(shù)。在曲線（a ）中，x軸和y軸分別代表著曲線值及 其發(fā)生的概率，曲線（b）類似。這種曲線分布不是哥分布。因此，假設(shè)自然圖像統(tǒng)計模型 變得不可靠。所以，VIFF也許不能夠進行合理的假設(shè)，VIFF的融合假設(shè)在圖4中是正確的，但是在圖5中確是失敗的。根據(jù)我們的實

32、驗，VIFF在自然場景中有很好的預(yù)測性能，但是在非自然場景中其預(yù)測 性能未必好。因此，未來的研究應(yīng)該著眼于這些不自然圖像的建模。4.3 時間復(fù)雜度的討論和分析預(yù)測能力不是我們考慮的唯一標(biāo)準(zhǔn)。計算復(fù)雜性設(shè)計到實時處理。由于物理內(nèi)存和其 他硬件變得比以前任何一個時候都要便宜，空間復(fù)雜度問題似乎可以直接通過改善硬件來解決。因此，在我們的工作中，只有討論時間復(fù)雜度問題。由于數(shù)字圖像都是有矩陣模擬的，所以融合性能算法經(jīng)常是由一個復(fù)合矩陣的運算來 實現(xiàn)。執(zhí)行一個矩陣操作的時間依賴于矩陣迭代的次數(shù)，而一個算法的計算負擔(dān)很大程度上是由它所包含的最多的迭代或重復(fù)次數(shù)決定的。常見的操作（如Hadamard運算結(jié)果

33、的附加運算）相對于高復(fù)雜操作（如基于迭代的操作，卷積的傅里葉）具有較少的計算負擔(dān)。 因此,對于算法來說，高的復(fù)雜操作導(dǎo)致了一個高的運算負擔(dān)?；谝陨系姆治觯覀儨y試一個融合度的計算負擔(dān)采用以下三個步驟：1.基于融合度的原則，將其分為多個部分；根據(jù)我們的研究，每一個度量算法都可以看作為SSIM計算、邊緣計算、CSF濾波運算和對比度計算的組合。有些展開有塊局部計算的時候受到了限制，但是大多數(shù)的算法 是通過覆蓋局部塊計算（或卷積）。 Han 屋 況郵ramM所 F皿口口 14（2013） 127-135aon自然景象圖片（a和b）和它們的曲線分布（a 和b） （Petrovic 的數(shù)據(jù)庫中的第二 十

34、三個樣本）。在a 和b中，X軸代表系數(shù)，Y軸代表發(fā)生的概率。y. Hart ei aL/informuion Fusion 14 (2U13) 127-135a1_ . 八，.一非自然景象圖片（a和b）和它們的曲線分布（a 和b） （Petrovic 的數(shù)據(jù)庫中的第 五十個樣本）。在a 和b中，X軸代表系數(shù)，Y軸代表發(fā)生的概率。2.如果本地塊（UCLBC存在，在此次過程中將其轉(zhuǎn)化為覆蓋局部塊計算（CLB。;CLBC,因為塊中心與相鄰局部塊計算（LBQ是一種基于塊特征的提取圖片局部信息的通用技術(shù)。如果圖片的每 一個像素都是一個塊中心，它被定義為一個有蓋的局部塊計算（的塊之間發(fā)生了交。然而，無蓋的

35、局部塊計算（UCLBC是因為沒有交集。因此，UCLBC計算所消耗的時間要比 CLBC所消耗的時間少，因為有較少的像素需要處理。圖6描述的是當(dāng)塊的大小為3*3時，有蓋局部塊計算和無蓋局部塊計算之間的差異。Principle ofuncovered local block coinputalian(UCLBC)Principle of covered local block computation (CLBC)圖6覆蓋局部塊和裸露局部塊的塊大小為3*3原則注意，CLBC可以被編程為單個的或者多個的卷積運算的組合，其時間消耗和圖像的大小成正比。UCLBCT以先車?；癁?CLBC然后采樣，然而它的有效

36、計算是等同于CLBUE采樣樣本下的計算量。因此，UCLBC勺時間消耗量等于 CLBC在采樣圖片下的時間消耗量；通過 塊中的信息細節(jié)和其消耗來決定下載圖片。3.計算每一個CLBC度量中需要的高復(fù)雜度運營商的最小數(shù)目正如上文所述，SSIM計算、邊緣計算、對比度計算和CSF濾波運算等是許多融合度量的公用部分。根據(jù)論文8, 一個SSIM計算至少需要5次卷積操作。一個邊緣操作要求有2次卷積操作（水平和垂直 Sobel算子），而對比運算，也可以通過其定義的卷積組合實現(xiàn)。我們相信工作在頻譜空間需要傅里葉變化的CSF濾波器運算消耗的時間和卷積運算的時間是相同的。否則，由于頻譜濾波之間的一致性和空間卷積將會導(dǎo)致

37、計算的改變。最后，伴隨著度量運算中高度復(fù)雜運營（或卷積）商數(shù)目的減少，度量執(zhí)行的就會越快。以下是用度量來分析兩個源圖像融合問題的例子：對于Piella 的度量（1） 生成所有的輸入和融合圖像的邊緣圖。因為通過卷積圖片的水平和垂直Sobel,可以計算邊緣圖片，在邊緣計算中需要通過六次卷積操作（2次卷積*3幅圖片）。（2） 利用SSIM度量計算 WFQ由于一個 SSIM要進行五次卷積運算，因此對于4個SSIM來說，要進行20次卷積運算。（3） 減去在SSIM計算中的4次重復(fù)計算（對于融合圖像），搞復(fù)雜度的運營商總數(shù)是22。對于布魯姆度量：(1)通過CSF融入圖像(在光譜空間)。這種操作等同于一次高

38、度復(fù)雜操作(2)局部塊對比運算(對于每一個圖像)要求 6次卷積運算(2次卷積*3個圖像)。(3)由于余下的操作不是高度復(fù)雜運算，高度復(fù)雜運算的總數(shù)是7。對于我們的度量：(1)將這個圖像被過濾出了4個子帶，隨著子帶的變化，采樣最終得到2個樣本。另外,每個頻段有6次卷積運算。(2)由于減采樣降低了圖像面積，高度復(fù)雜操作的總數(shù)是6* (1+1/4+1/16+1/64 )。表2顯示了高度復(fù)雜的運營商在每次融合度量中使用的數(shù)字。需注意，這種想法不適用于分析Qu和Hossny的方法，因為這不是基于 LBC的運算程序。很明顯，VIFF的計算量要 比平均水平低，因為融合度量中運用了減采樣的方法。 考慮到此度量

39、的高度預(yù)測性， 這種執(zhí) 行時間是可接受的。Tihle 3Number of high rauptaify 啊刖ors used in edi fuwn mrtrk.Qu et iL情1Hcsuiy ef aLXydcit and PrlTiwic- 41CwrjiiC Jil. Yang, rt aLPIthen j nd Varahnv191Uhfn undJ SlumHOOur hod121N -522S9777.9盡管這種方法不是進行復(fù)雜分析的一種縝密方式，并且只給出了融合度量的一個最接近的估計值，我們認為這仍不失為一種在比較大部分的融合度量的時間復(fù)雜性時的一種有效方 法。因為這種方法依

40、賴于 LBC在圖像處理中被廣泛應(yīng)用的事實。我們亦認為它很可能被擴展應(yīng)用于基于LBC的計算程序的時間復(fù)雜性分析。5.總結(jié)本文中提出了一種新的信息融合度量方式，即VIFF。VIFF首先分解圖像和融合圖像，然后VIFF利用VIF (GSM莫型、失真模型、和HVS莫型)中的模型從兩個源融合對中獲取視覺 信息。利用有效視覺信息指數(shù)，VIFF測量每一個子帶中所有塊的有效的視覺信息的融合。最后，通過組合所有子帶的信息，計算出最終的評估結(jié)果。為了清楚評估度量的性能，在 Petrovic的主觀測試數(shù)據(jù)庫上進行了一次實驗。實驗結(jié)果表明，VIFF具有很好的預(yù)測性能。更重要的是，根據(jù)我們的分析，VIFF相對于其他傳統(tǒng)的融合度量，具有較低的計算復(fù)雜度。我們相信，在將來，我們的工作會為更可靠的融合度量做出貢獻。致謝感謝編輯和匿名審稿人的建議和意見。 這項工作得到了中國國家自然科學(xué)基金(61004088),上海科委(09JC1408000)和國家重點基礎(chǔ)研究發(fā)展計劃(973計劃：6131010306)基金重大基礎(chǔ)研究。參考文獻1M.I.Smith, J.P.Heather，圖像融合技術(shù)在 2005年的回顧