簡(jiǎn)論置信基于彩色圖像分割的置信傳播快速立體匹配算法學(xué)術(shù)論文下載

1、簡(jiǎn)論置信基于彩色圖像分割的置信傳播快速立體匹配算法學(xué)術(shù)論文下載    摘要：本文采用了一種基于彩色圖像分割和置信傳播相結(jié)合的快速立體匹配算法。對(duì)于已經(jīng)校準(zhǔn)好的兩幅圖像，首先采用均值漂移算法對(duì)彩色圖像進(jìn)行圖像分割，然后采用區(qū)域匹配算法進(jìn)行快速初始立體匹配，再采用左右一致性校驗(yàn)法濾除誤匹配點(diǎn)，得到初始視差圖以及各個(gè)區(qū)域的視差平面模板。最后采用置信傳播算法對(duì)獲得的視差平面模板進(jìn)行全局優(yōu)化，得到各個(gè)區(qū)域最優(yōu)視差平面模板，從而得到最終視差圖。實(shí)驗(yàn)結(jié)果表明，采用區(qū)域匹配與全局優(yōu)化算法相結(jié)合，不僅提高了立體匹配速度，同時(shí)也保證了匹配質(zhì)量。關(guān)鍵詞：圖像分割 均值漂移算法

2、 置信傳播 立體匹配1007-9416（2013）01-0115-031 引言立體匹配是雙目立體視覺系統(tǒng)中最重要也是最困難的一部分，是三維重建的核心技術(shù)。立體匹配實(shí)際上是對(duì)左右兩臺(tái)攝像機(jī)從不同視點(diǎn)看同一景物，在左右兩幅圖像重疊區(qū)域?qū)ふ覍?duì)應(yīng)點(diǎn)的過程。它利用空間物體點(diǎn)在左右攝像機(jī)中的成像模型來(lái)獲取成像偏差的過程。按照約束方式的不同，立體匹配算法可分為區(qū)域匹配算法和全局匹配算法。按照匹配基元的不同，立體匹配算法分為基于區(qū)域的匹配算法、基于特征的匹配算法和基于相位的匹配算法。然而，基于區(qū)域的匹配算法對(duì)光照強(qiáng)度和對(duì)比度的變化非常敏感，同時(shí)匹配窗口的選取也是一個(gè)難點(diǎn)，當(dāng)圖像存在紋理特征重復(fù)和遮擋現(xiàn)象比較嚴(yán)

3、重的情況下，會(huì)引起匹配混淆，錯(cuò)誤匹配概率較高。基于全局的匹配算法，如圖割算法、置信度擴(kuò)展34和動(dòng)態(tài)規(guī)劃5等算法能夠?qū)φ麄€(gè)圖像進(jìn)行有效的約束，匹配結(jié)果也較局部匹配算法精確，但是實(shí)時(shí)性不好，匹配時(shí)間過長(zhǎng)。本文主要是針對(duì)局部匹配算法和全局匹配算法的缺點(diǎn)和不足，采用了一種基于區(qū)域匹配與全局匹配算法相結(jié)合的算法，來(lái)提高雙目立體匹配的效率，增強(qiáng)立體匹配算法的實(shí)時(shí)性。首先，利用均值漂移算法6對(duì)左右兩幅圖像進(jìn)行彩色圖像分割，再使用NCC相似度測(cè)量計(jì)算相關(guān)度，得到初始匹配視差圖；其次，引入置信度的概念，針對(duì)大的遮擋區(qū)域和低紋理區(qū)域中置信度低的區(qū)域，取鄰域相關(guān)系數(shù)最大的視差值；最后，對(duì)邊緣像素進(jìn)行修正，并對(duì)整個(gè)視

4、差圖進(jìn)行濾波從而得到效果精確的視差圖，用來(lái)檢驗(yàn)匹配算法的精確性。2 基于均值漂移算法的彩色圖像分割在雙目立體匹配中，圖像分割對(duì)獲取視差平面方程有著重要作用。圖像分割主要是根據(jù)圖像中的顏色信息，將顏色相同或者相似的相鄰像素點(diǎn)劃分為同一個(gè)區(qū)域，從而將整幅圖像分割成顏色相同或者近似的區(qū)域，并將同一個(gè)區(qū)域內(nèi)所有像素點(diǎn)的視差分布用某個(gè)視差平面方程來(lái)表示，以此得到圖像的視差圖。Fukunaga7首先提出了均值漂移算法，Cheng8改進(jìn)了均值漂移算法中的核函數(shù)和權(quán)重函數(shù)，并將其應(yīng)用于聚類和全局優(yōu)化，從而擴(kuò)大了該算法的應(yīng)用范圍。近年來(lái)，均值漂移算法也被廣泛應(yīng)用于圖像分割和追蹤等計(jì)算機(jī)視覺領(lǐng)域，并取得了較好的效

5、果。均值漂移算法是結(jié)合圖像像素點(diǎn)的顏色信息和周圍空間的分布特性之間的關(guān)系，沿著平均梯度方向找出每個(gè)像素點(diǎn)的相似顏色收斂點(diǎn)，根據(jù)收斂點(diǎn)的不同而劃分不同的區(qū)域，從而實(shí)現(xiàn)圖像分割。改進(jìn)的均值漂移定義如下：（1）其中，為不同樣本點(diǎn)到中心樣本點(diǎn)的不同距離對(duì)偏移向量的不同貢獻(xiàn)而引入的核函數(shù)權(quán)值，（2）H為一個(gè)對(duì)角矩陣，（3）即 （4）從而，（1）式可以變?yōu)椋?）為體現(xiàn)樣本點(diǎn)重要性的權(quán)重系數(shù)，；為核函數(shù)，它決定了采樣點(diǎn)與核中心x之間的相似性度量；本文采用單位高斯核函數(shù)，令（6）前面（5）式可以變?yōu)槿缦?，?）其中 （8）Mh（x）表示加權(quán)平均偏移向量，指向概率密度梯度方向，則mh（x）可以看成是樣本點(diǎn)沿著概

6、率密度梯度方向偏移后的樣本點(diǎn)。在已知G（x）和w（xi）的情況下，根據(jù)式（8）進(jìn)行迭代會(huì)收斂到待漂移樣本點(diǎn)附近的概率分布密度峰值處。迭代步驟如下：（1）首先，在特征空間中任意選擇初始搜索區(qū)域圓，設(shè)置其搜索半徑和誤差閾值；（2）根據(jù)式（8）計(jì)算圓中采樣點(diǎn)的均值mh（x），判斷是否滿足| mh（x）-x|<，則停止循環(huán)，否則進(jìn)入步驟3）；（3）令x=mh（x），繼續(xù)返回第一步開始循環(huán)。采用均值漂移算法對(duì)圖像進(jìn)行分割之后的效果圖如圖1所示。3 區(qū)域匹配區(qū)域匹配算法主要是以一幅圖像中某一個(gè)待匹配點(diǎn)的灰度鄰域作為匹配模板，然后在另外一幅待匹。    當(dāng)于通過

7、置信傳播算法求取圖像的精確稠密視差圖。采用置信傳播算法就是采用消息傳輸機(jī)制實(shí)現(xiàn)置信度最大化，即實(shí)現(xiàn)馬爾科夫隨機(jī)場(chǎng)最大概率分布，即是實(shí)現(xiàn)全局能量函數(shù)的最小化。定義全局能量函數(shù)為：（13）其中d表示整幅圖像的視差分配，N表示圖像中所有像素的四鄰域點(diǎn)集，dp表示點(diǎn)p所分配的視差值，平滑項(xiàng)V（dp，dq）表示兩配的圖像中搜索具有相似灰度值分布的對(duì)應(yīng)點(diǎn)鄰域，從而完成兩幅圖像的匹配。區(qū)域匹配效率高，而且實(shí)現(xiàn)也比較簡(jiǎn)單。但在匹配的過程中也需要考慮匹配窗口的大小，而且搜索過程也需要滿足一定的閾值條件。區(qū)域匹配中代價(jià)函數(shù)是用來(lái)計(jì)算圖像間像素的相似性的源于：畢業(yè)設(shè)計(jì)論文網(wǎng)測(cè)量函數(shù)。常用的代價(jià)函數(shù)主要有絕對(duì)灰度差和

8、SAD（sum of absolute difference），歸一化互相關(guān)NCC（normalized cross correlation），灰度平方差和SSD（sum of square difference）等。對(duì)于立體圖像對(duì)，假設(shè)I1和I2分別表示左右圖像對(duì)的灰度函數(shù)，I1（x，y）和I2（x，y） 分別表示左右圖像坐標(biāo)為（x，y）的像素點(diǎn)的灰度值，（x，y）為左圖像中心像素點(diǎn)，d表示該點(diǎn)的視差值，那么，上述相似性度量函數(shù)公式為：絕對(duì)灰度差和SAD（9）歸一化互相關(guān)NCC（10）灰度平方差和SSD（11）經(jīng)過實(shí)驗(yàn)結(jié)果對(duì)比，決定選用NCC作為區(qū)域匹配的測(cè)度函數(shù)。各代價(jià)函數(shù)求得的視察效果圖

9、如圖2所示。     區(qū)域匹配中，匹配窗口的大小難以選擇，所以本文采用自適應(yīng)窗算法，該算法詳細(xì)步驟如下：（1）設(shè)定初始匹配窗口的大小為3*3；（2）將窗口的沿上、下、左、右四個(gè)方向分別向外擴(kuò)展一個(gè)像素點(diǎn)的大小，判斷此時(shí)窗口內(nèi)包含的像素點(diǎn)是否超過規(guī)定閾值，若超過，則停止，否則繼續(xù)執(zhí)行下一步；（3）記錄此時(shí)窗口的大小，以左圖像的該像素區(qū)域窗口作為模板，在右圖像中進(jìn)行匹配，記錄此時(shí)得到的視差值為d1，之后再以右圖像的該像素區(qū)域窗口作為模板，在左圖像中進(jìn)行匹配，記錄此時(shí)得到的視差值為d2；（4）比較d1和d2的大小，若d1=-d2，則記錄此像素點(diǎn)視差值為d=d1

10、，否則令d=0。4 置信播算法進(jìn)行模板視差最優(yōu)分配通過區(qū)域匹配得到的視差平面模板不夠精確，只考慮了模板內(nèi)像素點(diǎn)之間的影響，而沒有考慮到區(qū)域塊間的相互影響。本文采用全局匹配算法置信傳播算法對(duì)初始視差平面模板進(jìn)行全局優(yōu)化，從而得到更加精確稠密的視差圖。置信傳播算法主要是利用消息傳輸和置信度傳輸機(jī)制來(lái)實(shí)現(xiàn)全局能量函數(shù)的最小化的。4.1 置信傳播算法原理將馬爾科夫隨機(jī)場(chǎng)應(yīng)用于立體圖像對(duì)中，將立體圖像對(duì)中的參考圖看成是一個(gè)無(wú)向圖V，每個(gè)像素點(diǎn)看成一個(gè)節(jié)點(diǎn)X，每個(gè)像素點(diǎn)的視差值看成是該像素點(diǎn)的狀態(tài)，即無(wú)向圖的勢(shì)函數(shù)，建立圖像的馬爾科夫隨機(jī)場(chǎng)模型。此時(shí)，求取立體圖像的最優(yōu)視差分布即可看成是求馬爾科夫隨機(jī)場(chǎng)的

11、最大概率分布。通過對(duì)立體匹配過程中不同區(qū)域視差規(guī)律的分析，利用貝葉斯定理得到的馬爾科夫隨機(jī)場(chǎng)后驗(yàn)概率分布可簡(jiǎn)寫為：（12）其中D為圖像的視差分布，I為立體圖像對(duì)，E為全局能量函數(shù)。由（12）可知，求取馬爾科夫隨機(jī)場(chǎng)的最大概率分布的過程即是求立體匹配全局能量函數(shù)最小化的過程。即求馬爾科夫隨機(jī)場(chǎng)分布最大后驗(yàn)概率就相當(dāng)于通過置信傳播算法求取圖像的精確稠密視差圖。采用置信傳播算法就是采用消息傳輸機(jī)制實(shí)現(xiàn)置信度最大化，即實(shí)現(xiàn)馬爾科夫隨機(jī)場(chǎng)最大概率分布，即是實(shí)現(xiàn)全局能量函數(shù)的最小化。定義全局能量函數(shù)為：（13）其中d表示整幅圖像的視差分配，N表示圖像中所有像素的四鄰域點(diǎn)集，dp表示點(diǎn)p所分配的視差值，平滑

12、項(xiàng)V（dp，dq）表示兩相鄰像素點(diǎn)p和點(diǎn)q分配視差dp和dq時(shí)的視差不連續(xù)懲罰量，P表示圖像中像素點(diǎn)的集合，數(shù)據(jù)項(xiàng)Dp（dp）表示p點(diǎn)視差為dp時(shí)非相似性測(cè)度。若某個(gè)視差分配使該全局能量函數(shù)最小，則該視差分配即為圖像的最終視差圖。置信傳播算法的消息迭代傳輸：（14）mtpq（dq）表示第t次迭代時(shí)點(diǎn)p傳輸給視差值為dp的鄰域點(diǎn)q的消息，表示視差搜索空間范圍，N（p）表示點(diǎn)p的四鄰域集， N（p）q表示點(diǎn)p的三鄰域集，它不包括接收消息的點(diǎn)q。經(jīng)過T次迭代后，消息傳輸趨于穩(wěn)定，此時(shí)可通過置信度傳輸計(jì)算圖像中各個(gè)像素點(diǎn)的置信度，計(jì)算點(diǎn)p置信度的公式為：（15）圖中各個(gè)像素點(diǎn)的最佳視差可以通過最小化置

13、信度獲得，計(jì)算點(diǎn)p的最佳視差d*p的公式為：（16）4.2 置信傳播算法的改進(jìn)多，數(shù)量龐大，也大大增加了算法計(jì)算量。而且圖像中可能存在單個(gè)像素點(diǎn)畸變，如果使用這些畸變像素點(diǎn)進(jìn)行消息傳輸，會(huì)大大降低算法的精度。本文引入圖像分割的思想，采用基于分割區(qū)域之間的置信度傳播，用每個(gè)分割區(qū)域代替單個(gè)像素點(diǎn)，顯著提高了立體匹配的速度。5 實(shí)驗(yàn)結(jié)果本文實(shí)驗(yàn)所采用的立體圖像對(duì)來(lái)自于美國(guó)Middlebury大學(xué)計(jì)算機(jī)視覺研究中心提供的立體圖像數(shù)據(jù)庫(kù)。其中主要對(duì)384x288的Tsukuba測(cè)試圖像進(jìn)行求取視差圖的仿真實(shí)驗(yàn)。計(jì)算機(jī)硬件條件為：雙核CPU，主頻為1.99GHz，內(nèi)存為2G。軟件編譯環(huán)境為VC2008和

14、Matalb2008。本文采用BM（Block Matching）、SGBM（Semi-global BM）以及GC（Graph Cut）算法求得的視差圖分別與本文算法所求得的視差圖效果以及時(shí)間上進(jìn)行比較，視差效果圖對(duì)比如圖3所示，匹配耗費(fèi)時(shí)間對(duì)比列于表1。BM、SGBM速度快，但視差圖效果不好，GC視差效果好，但熬時(shí)多，本文匹配算法結(jié)合各種匹配算法的優(yōu)缺點(diǎn)，在精度和速度之間進(jìn)行權(quán)衡，得出的視差圖更加精確，且速度與單獨(dú)使用全局匹配算法GC圖割算法相比，有了很大的提高。6 結(jié)語(yǔ)本文采用的是區(qū)域匹配與全局匹配相結(jié)合的立體匹配算法，解決了區(qū)域匹配算法存在的一些問題，如匹配窗口的大小難以選擇、若左右兩

15、幅圖像存在重復(fù)結(jié)構(gòu)的紋理特征或者存在遮擋現(xiàn)象引起的匹配混淆等。采用改進(jìn)的置信傳播算法，用分割的區(qū)域塊代替原始的像素點(diǎn)之間的匹配計(jì)算，減少了匹配所用的時(shí)間，同時(shí)也可以得到精確稠密的視差圖。參考文獻(xiàn) Pedro F. Felzenszwalb ， Ramin Zabih， Dynamic Programming and Graph Cut Algorithms in Computer VisionJ. In IEEE Transactions on Pattern Analysis and Machine.Intelligence， 2011：721-740.3 Q. Yang， L. Wang，

16、 R. Yang， H. Stewenius， and D. Nister，“Stereo matching with color-weighted correlation， hierarchical belief propagation， and occlusion handling，”J.IEEE Transactions on Pattern Analysis and Machine Intelligence， 2008（31）： 492-504.4 Klaus，A. Sormann，M. Karner，K. Segment-Based Stereo Matching Using Bel

17、ief Propagation and a Self-Adapting Dissimilarity Measure. Pattern Recognition，2006. ICPR2006.18th International Conference， 2006：15-18.6 Comaniciu D， Meer P. Mean shift analysis and applicationsC. International Conference on Computer Vision， 1999： 1197-1203.    （1）： 32-408 Cheng Y Z. M