圖像相似度計(jì)算

1、圖像相似度計(jì)算圖像相似度計(jì)算主要用于對于兩幅圖像之間內(nèi)容的相似程度進(jìn)行打分，根據(jù)分?jǐn)?shù)的高低來判斷圖像內(nèi)容的相近程度。    可以用于計(jì)算機(jī)視覺中的檢測跟蹤中目標(biāo)位置的獲取，根據(jù)已有模板在圖像中找到一個與之最接近的區(qū)域。然后一直跟著。已有的一些算法比如BlobTracking，Meanshift，Camshift，粒子濾波等等也都是需要這方面的理論去支撐。   還有一方面就是基于圖像內(nèi)容的圖像檢索，也就是通常說的以圖檢圖。比如給你某一個人在海量的圖像數(shù)據(jù)庫中羅列出與之最匹配的一些圖像，當(dāng)然這項(xiàng)技術(shù)可能也會這樣做，將圖像抽象為幾

2、個特征值，比如Trace變換，圖像哈?；蛘逽ift特征向量等等，來根據(jù)數(shù)據(jù)庫中存得這些特征匹配再返回相應(yīng)的圖像來提高效率。   下面就一些自己看到過的算法進(jìn)行一些算法原理和效果上的介紹。    (1)直方圖匹配。       比如有圖像A和圖像B，分別計(jì)算兩幅圖像的直方圖，HistA，HistB，然后計(jì)算兩個直方圖的歸一化相關(guān)系數(shù)（巴氏距離，直方圖相交距離）等等。       這種思想是

3、基于簡單的數(shù)學(xué)上的向量之間的差異來進(jìn)行圖像相似程度的度量，這種方法是目前用的比較多的一種方法，第一，直方圖能夠很好的歸一化，比如通常的256個bin條的。那么兩幅分辨率不同的圖像可以直接通過計(jì)算直方圖來計(jì)算相似度很方便。而且計(jì)算量比較小。       這種方法的缺點(diǎn):          1、直方圖反映的是圖像像素灰度值的概率分布，比如灰度值為200的像素有多少個，但是對于這些像素原來的位置在直方圖中并沒有體現(xiàn)，所以圖像的骨架，

4、也就是圖像內(nèi)部到底存在什么樣的物體，形狀是什么，每一塊的灰度分布式什么樣的這些在直方圖信息中是被省略掉得。那么造成的一個問題就是，比如一個上黑下白的圖像和上白下黑的圖像其直方圖分布是一模一樣的，其相似度為100%。          2、兩幅圖像之間的距離度量，采用的是巴氏距離或者歸一化相關(guān)系數(shù)，這種用分析數(shù)學(xué)向量的方法去分析圖像本身就是一個很不好的辦法。          3、就信息量的道理來說

5、，采用一個數(shù)值來判斷兩幅圖像的相似程度本身就是一個信息壓縮的過程，那么兩個256個元素的向量（假定直方圖有256個bin條）的距離用一個數(shù)值表示那么肯定就會存在不準(zhǔn)確性。    下面是一個基于直方圖距離的圖像相似度計(jì)算的Matlab Demo和實(shí)驗(yàn)結(jié)果.%計(jì)算圖像直方圖距離%巴氏系數(shù)計(jì)算法M=imread('1.jpg');N=imread('2.jpg');I=rgb2gray(M);J=rgb2gray(N);Count1,x=imhist(I);Count2,x=imhist(J);Sum1=sum(Count1);

6、Sum2=sum(Count2);Sumup = sqrt(Count1.*Count2);SumDown = sqrt(Sum1*Sum2);Sumup = sum(Sumup);figure(1);subplot(2,2,1);imshow(I);subplot(2,2,2);imshow(J);subplot(2,2,3);imhist(I);subplot(2,2,4);imhist(J);HistDist=1-sqrt(1-Sumup/SumDown)       通過上圖可以看到這種計(jì)算圖像相似度的方法確實(shí)存在很

7、大的弊端。然而很多人也對于這種方法進(jìn)行了修改，比如FragTrack算法，具體可以參見這篇論文。其中對圖像分成橫縱的小塊，然后對于每一個分塊搜索與之最匹配的直方圖。來計(jì)算兩幅圖像的相似度，融入了直方圖對應(yīng)位置的信息。但是計(jì)算效率上很慢。  還有一種是計(jì)算一個圖像外包多邊形，一般得到跟蹤圖像的前景圖后計(jì)算其外包多邊形，根據(jù)外包多邊形做Delauny三角形分解，然后計(jì)算每個三角形內(nèi)部的直方圖，對于這兩個直方圖組進(jìn)行相似距離計(jì)算。這樣就融入了直方圖的位置信息。 (2)數(shù)學(xué)上的矩陣分解   圖像本身就是一個矩陣，可以依靠數(shù)學(xué)上矩陣分解的一些知

8、識來獲取矩陣中一些代表這個矩陣元素值和分布的一些魯棒性特征來對圖像的相似度進(jìn)行計(jì)算。    最常用的一般是SVD分解和NMF分解。   下面簡單介紹下SVD分解的一些性質(zhì)，如果需要探究的更深入一點(diǎn)網(wǎng)上有一些相關(guān)文獻(xiàn)，讀者可以去探究的更清楚： <1> 奇異值的穩(wěn)定性 <2> 奇異值的比例不變性 <3> 奇異值的旋轉(zhuǎn)不變性 <4> 奇異值的壓縮性     

9、0;      綜上所述，可以看出奇異值分解是基于整體的表示。圖像奇異值特征向量不但具有正交變換、旋轉(zhuǎn)、位移、鏡像映射等代數(shù)和幾何上的不變性,而且具有良好的穩(wěn)定性和抗噪性，廣泛應(yīng)用于模式識別與圖像分析中。對圖像進(jìn)行奇異值分解的目的是：得到唯一、穩(wěn)定的特征描述；降低特征空間的維數(shù)；提高抵抗干擾和噪聲的能力。但是由于奇異值分解得到的奇異矢量中有負(fù)數(shù)存在所以不能很好的解釋其物理意義。  非負(fù)矩陣分解(NMF):    NMF的主要思想是將非負(fù)矩陣分解為可以體現(xiàn)圖像主要信息的基矩陣與

10、系數(shù)矩陣，并且可以對基矩陣賦予很好的解釋，比如對人臉的分割，得到的基向量正是人的“眼睛”，“鼻子”等主要概念特征，源圖像表示為這些特征的加權(quán)組合。所以NMF算法也在人臉識別等場合中發(fā)揮著巨大的作用。   下面一個實(shí)驗(yàn)說明了SVD+NMF數(shù)學(xué)上的這些分解在圖像相似度判定方面的應(yīng)用，這個跟我目前的課題有關(guān)細(xì)節(jié)方面就不再透露更多了。當(dāng)然基于數(shù)學(xué)上的矩陣特征值計(jì)算的還有很多方法比如Trace變換，不變矩計(jì)算等等，當(dāng)然如果有需要這方面資料的同學(xué)可以找我，我可以進(jìn)行相關(guān)的幫助。（3）基于特征點(diǎn)的圖像相似度計(jì)算    每一幅圖像都有自己的

11、特征點(diǎn)，這些特征點(diǎn)表征圖像中比較重要的一些位置，比較類似函數(shù)的拐點(diǎn)那種，通常比較常用的有Harris角點(diǎn)和Sift特征點(diǎn)。那么將得到的圖像角點(diǎn)進(jìn)行比較，如果相似的角點(diǎn)數(shù)目較多，那么可以認(rèn)為這兩幅圖像的相似程度較高。這里主要介紹基于Sift算子。   對于Sift的原理和代碼可以參見David Lower的網(wǎng)站。David G Lowe Sift網(wǎng)站   那么我們就可以通過找到匹配點(diǎn)的個數(shù)來判斷兩幅圖像是否一致，這個算法的好處是對于一個物體，兩個不同角度下得到的照片依然可以找到很多的匹配點(diǎn)，我也一直認(rèn)為是一個綜合來說結(jié)果相對較為準(zhǔn)確的方法，但是由于每個特征點(diǎn)需要計(jì)算一個長度不小的特征值，也造成了該算法的時間消耗比較大。所以不常用于實(shí)時的視頻處理。這個算法還有一個好處就是可以通過找到的匹配特征點(diǎn)進(jìn)行圖像校正。關(guān)于使用Sift做圖像校正請參見我的另外一篇博文。   我當(dāng)時對于比如左邊圖像，找到50個特征點(diǎn)，如果其中有6