非負(fù)矩陣分解在圖像融合中的應(yīng)用研究1

非負(fù)矩陣分解在圖像融合中的應(yīng)用研究主要內(nèi)容1.緒論3.圖像融合的常用方法研究5.基于信息熵約束和NMF的紅外和可見光圖像融合2.圖像融合的研究?jī)?nèi)容和評(píng)價(jià)方法4.基于非負(fù)矩陣分解的圖像融合算法簡(jiǎn)介第一章緒論1.1圖像融合的概念圖像融合是一門綜合了多傳感器、圖像處理、信號(hào)處理、計(jì)算機(jī)視覺和人工智能等多種學(xué)科的現(xiàn)代高新技術(shù)。圖像融合可以將兩幅或多幅圖像的信息綜合到一幅圖像中，使一幅圖像能夠更完整、更精確地體現(xiàn)兩幅或多幅圖像中的信息，使人們能夠更加準(zhǔn)確地加以判斷或改善單一成像系統(tǒng)所形成的圖像質(zhì)量。負(fù)責(zé)人：吳俊超、劉剛1.2圖像融合的作用●圖像增強(qiáng)●特征提取●去噪●目標(biāo)識(shí)別與跟蹤1.3圖像融合的目的圖像融合不是簡(jiǎn)單的疊加，它產(chǎn)生的是新的蘊(yùn)含更多有價(jià)值信息的圖像，即達(dá)到l+1>2，甚至是遠(yuǎn)大于2的效果。圖像融合既可以融合同種傳感器得到的圖像，也可用來融合不同類型傳感器得到的圖像。第二章圖像融合的研究?jī)?nèi)容和評(píng)價(jià)方法

2.1圖像融合的層次

多傳感器圖像信息具有復(fù)雜的形式，可以在不同的信息層出現(xiàn)，這些信息抽象層次分為像素層、特征層和決策層。按照數(shù)據(jù)信息抽象層次的不同，圖像融合可以分為三級(jí)：像素級(jí)圖像融合、特征級(jí)圖像融合和決策級(jí)圖像融合。

2.1.1像素級(jí)融合處理

多個(gè)成像傳感器得到的原始圖像經(jīng)過融合處理得到一幅新的圖像。這是直接在原始數(shù)據(jù)層上進(jìn)行的融合。像素級(jí)融合的結(jié)構(gòu)如圖2.1所示。這種融合的優(yōu)點(diǎn)是能夠保持盡可能多的現(xiàn)場(chǎng)數(shù)據(jù)，提高其它融合層次所不能提供的更豐富、精確、可靠的信息。有利于對(duì)圖像的盡一步分析、處理與理解（如場(chǎng)景分析、圖像分割、特征提取、目標(biāo)識(shí)別、圖像恢復(fù)等）。

負(fù)責(zé)人：賴火炬、張忠遠(yuǎn)

2.1.2特征級(jí)圖像融合

特征級(jí)圖像融合屬于中間層次，它先對(duì)來自各傳感器的原始信息進(jìn)行特征提?。ㄌ卣骺梢允沁吘?、方向等），然后對(duì)特征信息進(jìn)行綜合分析與處理。提取的特征信息一般應(yīng)是像素信息的充分統(tǒng)計(jì)量，然后按特征信息對(duì)多傳感器圖像數(shù)據(jù)進(jìn)行分類、匯集和綜合。典型的特征信息有線型、邊緣、紋理、光譜、相似亮度區(qū)域、相似景深區(qū)域等，最后實(shí)現(xiàn)特征的融合與分類。特征級(jí)融合處理的結(jié)構(gòu)如圖2.2所示。

2.1.3決策級(jí)圖像融合

決策級(jí)圖像融合是一種高層次融合，其結(jié)果為指揮控制決策提供依據(jù)。在這一層次的融合過程中，首先對(duì)每幅傳感器圖像分別建立對(duì)同一目標(biāo)的初步判決和結(jié)論，然后對(duì)來自各傳感器的決策進(jìn)行相關(guān)處理，最后進(jìn)行決策級(jí)的融合處理，從而獲得最終的聯(lián)合判決。決策級(jí)圖像融合結(jié)構(gòu)圖圖2.3所示。

融合層次及性能比較

對(duì)圖像的觀察者而言，圖像的含義主要包括兩個(gè)方面：一是圖像的逼真度，另一個(gè)是圖像的可懂度。所謂圖像的逼真度是描述被評(píng)價(jià)圖像與標(biāo)準(zhǔn)圖像的偏離程度，通常使用歸一化均方差來度量，而圖像的可懂度則是表示圖像能向人們提供信息的能力。

2.2.1基于圖像自身特性的評(píng)價(jià)指標(biāo)

為了定量評(píng)價(jià)融合圖像的效果和質(zhì)量，在許多時(shí)候，由于沒有標(biāo)準(zhǔn)圖像，需要對(duì)單個(gè)圖像的效果進(jìn)行估計(jì)，以下三個(gè)評(píng)價(jià)指標(biāo)可以定量評(píng)價(jià)融合圖像的效果和質(zhì)量。

2.2圖像融合的性能評(píng)價(jià)2.2.2基于于融合圖像和源圖像之間關(guān)系的評(píng)價(jià)指標(biāo)

在融合時(shí)，存在有參與融合的源圖像或者有標(biāo)準(zhǔn)的參考圖像，這就可以通過融合圖像和源圖像或者標(biāo)準(zhǔn)圖像之間的一些關(guān)系來評(píng)價(jià)融合圖像的效果。

評(píng)價(jià)圖像融合效果的指標(biāo)還有：2）互換信息量MI（MutualInformation）3）均方誤差MSE（MeanSquareError）4)均方根誤差RMSE（RootMeanSquareError）5)信噪比PSNR(Signal-to-NoiseRatio)評(píng)價(jià)指標(biāo)的選取圖像融合效果指標(biāo)的選取主要是根據(jù)融合目的進(jìn)行選取，圖像融合的目的主要有：去噪、提高分辨率、提高信息量、提高清晰度?；谟谌诤蠄D像和源圖像之間關(guān)系的評(píng)價(jià)指標(biāo)第三章圖像融合的常用方法性能比較●簡(jiǎn)單的圖像融合方法●基于塔形分解的圖像融合方法●基于小波變換的圖像融合方法3.1圖像融合方法分類負(fù)責(zé)人：徐功浩、白志君3.1.1簡(jiǎn)單的圖像融合方法加權(quán)平均法像素灰度值選大(小)圖像融合算法3.1.2基于塔形分解的圖像融合方法基于拉普拉斯塔形分解的圖像融合方法圖像的對(duì)比度金字塔變換和比率金字塔變換3.1.3基于小波變換的圖像融合方法實(shí)驗(yàn)結(jié)果與分析1)多聚焦圖像的融合2)醫(yī)學(xué)圖像融合3)紅外與可見光圖像融合多聚焦圖像的融合多聚焦圖像的融合多聚焦圖像的融合多聚焦圖像的融合實(shí)驗(yàn)結(jié)果表明基于塔形分解和小波變換的融合圖像的清晰度要好于基于簡(jiǎn)單圖像融合方法的融合圖像，而且綜合性能指標(biāo)也比較好。其中拉普拉斯塔形分解融合方法圖像熵值明顯高于其它融臺(tái)方法，其標(biāo)準(zhǔn)差、平均梯度等性能也很好。采用小波變換融合方法其綜合性能指標(biāo)與拉普拉斯塔形分解融合方法的性能較為接近，融合的效果也比較好。因此，對(duì)多聚焦圖像采用拉普托斯塔形分解融合方法及小波變換融臺(tái)方法效果較好。醫(yī)學(xué)圖像融合醫(yī)學(xué)圖像融合醫(yī)學(xué)圖像融合醫(yī)學(xué)圖像融合實(shí)驗(yàn)結(jié)果表明采用像素灰度值選大融合方法顯示圖像信息熵值明顯高于其它融合方法，其均值、標(biāo)準(zhǔn)差等性能也較好，同時(shí)試驗(yàn)數(shù)據(jù)也顯示采用比率塔形分解融合方法、拉普拉斯塔形分解融合方法其綜合性能指標(biāo)與像素灰度值選大融合方法的性能較為接近，但對(duì)比度塔形分解、比率塔形分解融合算法有明顯抖動(dòng)現(xiàn)象，圖像變得模糊，效果較差。因此，對(duì)醫(yī)學(xué)圖像采用像素灰度值選大以及拉普拉斯塔形分解等融合方法效果較好。紅外與可見光圖像融合紅外與可見光圖像融合紅外與可見光圖像融合紅外與可見光圖像融合實(shí)驗(yàn)結(jié)果表明采用比率塔形分解融合方法、小波變換融合方法顯示圖像信息熵、均值、標(biāo)準(zhǔn)差和平均梯度等性能都比較好。另外，實(shí)驗(yàn)數(shù)據(jù)也顯示采用灰度值選大融合方法均值明顯高于其它融合方法，但其它三個(gè)指標(biāo)卻低于比率塔形與小波變換分解融合方法。因此，對(duì)紅外和可見光圖像融合采用比率塔形分解融合方法、小波變換融合方法綜合性能指標(biāo)高，圖像融合效果較好。第四章基于非負(fù)矩陣分解的圖像融合算法簡(jiǎn)介4.1非負(fù)矩陣分解的理論基礎(chǔ)非負(fù)矩陣分解(Non-negativeMatrixFactorization)是目前國際上提出的一種新的矩陣分解方法。它是在矩陣中所有的元素均為非負(fù)數(shù)約束條件之下的矩陣分解方法。該方法在各個(gè)科學(xué)研究領(lǐng)域中都得到非常重視，這是因?yàn)椋阂环矫?，科學(xué)研究中的很多大規(guī)模數(shù)據(jù)分析方法需要通過矩陣形式進(jìn)行有效處理，而NMF思想則為人類處理大規(guī)模數(shù)據(jù)提供了一種新的途徑；另一方面，NMF算法相較于傳統(tǒng)的一些算法而言，具有實(shí)現(xiàn)上的簡(jiǎn)便性，分解形式和分解結(jié)果上的可解釋性，以及占用存儲(chǔ)空間少等諸多優(yōu)點(diǎn)。

在科學(xué)文獻(xiàn)中，討論利用矩陣分解來解決實(shí)際問題的分析方法很多，如PCA(主成分分析)、ICA(獨(dú)立成分分析)、SVD(奇異值分解)、VQ(矢量量化)等。在所有這些方法中，原始的大矩陣V被近似分解為低秩的V=WH形式。這些方法的共同特點(diǎn)是，因子和日中的元素可為正或負(fù)，即使輸入的初始矩陣元素是全正的，傳統(tǒng)的秩削減算法也不能保證原始數(shù)據(jù)的非負(fù)性。在數(shù)學(xué)上，從計(jì)算的觀點(diǎn)看，分解結(jié)果中存在負(fù)值是正確的，但負(fù)值元素在實(shí)際問題中往往是沒有意義的。例如圖像數(shù)據(jù)中不可能有負(fù)值的像素點(diǎn)；在文檔統(tǒng)計(jì)中，負(fù)值也是無法解釋的。正是如此，NMF方法在解決實(shí)際問題時(shí)受到特別的關(guān)注。負(fù)責(zé)人：李帆、陳浩宇

NMF是一個(gè)很有效的算法，它力圖在大規(guī)模的矩陣數(shù)據(jù)中發(fā)現(xiàn)具有解釋功能的關(guān)系，相比當(dāng)前的其它算法來說，使用NMF算法是非常精確和快速的。在眾多應(yīng)用中，NMF能被用于發(fā)現(xiàn)數(shù)據(jù)庫中的圖像特征，便于快速自動(dòng)識(shí)別應(yīng)用，下面是一些具體描述：文本聚類語音處理機(jī)器人控制生物醫(yī)學(xué)工程和化學(xué)工程圖像分析此外，NMF算法在環(huán)境數(shù)據(jù)處理、信號(hào)分析與復(fù)雜對(duì)象的識(shí)別方面都有著很好的應(yīng)用。4.2.1非負(fù)矩陣分解理論描述己知非負(fù)矩陣V，尋找非負(fù)矩陣因子W和H，使得：

即給定n維數(shù)據(jù)向量的集合，其中m為集合中數(shù)據(jù)樣本的個(gè)數(shù)，這個(gè)矩陣可以分解為矩陣，和矩陣的乘積。一般情況下r的選擇要滿足(n+m)r<nm，從而W和H將會(huì)小于原始矩陣V,這樣就得到原始數(shù)據(jù)矩陣的一個(gè)壓縮模型。如果假設(shè)和是矩陣V和H所對(duì)應(yīng)的列向量，則上式還可以寫成列向量的形式：。也就是說，每一個(gè)樣本可近似地看作非負(fù)矩陣W的列向量的非負(fù)線性組合，組合系數(shù)是的分量。所以矩陣形可以看作對(duì)數(shù)據(jù)矩陣V進(jìn)行線性逼近的一組基，而H則是樣本集V在基W上的非負(fù)投影系數(shù)。通?？梢杂蒙倭康幕蛄拷M來表征大量的數(shù)據(jù)向量，如果我們尋找合適的基向量組，使其能夠代表數(shù)據(jù)之間潛在的結(jié)構(gòu)關(guān)系，則會(huì)獲得很好的逼近與表示效果。4.2.2目標(biāo)函數(shù)對(duì)于NMF問題的求解常用的兩種目標(biāo)函數(shù)分別為：式可解釋為在上加上泊松噪聲／高斯噪聲從而產(chǎn)生了，即NMF迭代算法可表示成：((其中

代表了噪聲)，選取離散possion噪聲作為占的具體表達(dá)形式，得出迭代算法為：其中式4一(4)(b)是對(duì)W的列的歸一化，以避免矩陣分解中的Scaling問題。算法使得經(jīng)過迭代趨于零，從而得到了。在每步迭代過程中采用交替梯度投影方法，即，首先固定H，對(duì)目標(biāo)函數(shù)W針對(duì)緲采用梯度下降法進(jìn)行迭代；然后變換W和H的角色，固定W,對(duì)目標(biāo)函數(shù)針對(duì)H采用梯度下降法進(jìn)行迭代，同時(shí)在算法中引入懲罰函數(shù)，以保持W的每一列的元素和為l。該算法的收斂性在已有文獻(xiàn)中已經(jīng)得到證明。由于這種算法是收斂的，且較易設(shè)計(jì)開發(fā)，實(shí)際應(yīng)用效果很好。在算法的每一步迭代過程中，W和H的新值是通過當(dāng)前值與一些因子的乘積來獲得的。在實(shí)際應(yīng)用中，只要根據(jù)迭代規(guī)則重復(fù)迭代，算法一定會(huì)保證收斂到某個(gè)局部最優(yōu)解。4.3

基于非