改進(jìn)加權(quán)融合在消除圖像拼接重影中的運(yùn)用.doc

改進(jìn)加權(quán)融合在消除圖像拼接重影中的運(yùn)用 圖像拼接是計(jì)算機(jī)視覺(jué)與圖像處理領(lǐng)域一個(gè)研究熱點(diǎn)，其目的是把含有重疊區(qū)域的同一場(chǎng)景的兩幅或者多幅圖像合成為一幅具有較高分辨率的全景圖像1。由于待拼接圖像的重疊部分內(nèi)容不僅隨時(shí)間的變化會(huì)發(fā)生變化，而且可能受到幾何變換、配準(zhǔn)與運(yùn)動(dòng)物體的影響，兩幅圖像間的重疊部分便容易存在差異，此時(shí)若直接對(duì)重疊區(qū)域進(jìn)行融合處理，拼接結(jié)果將會(huì)產(chǎn)生重影現(xiàn)象，圖像融合2-4技術(shù)消除重影現(xiàn)象是圖像拼接重要的環(huán)節(jié)。 圖像融合是生成一幅寬視覺(jué)圖像的最后一步，它既解決了圖像的畫質(zhì)問(wèn)題又能消除連接縫、光度和色度的影響。文獻(xiàn)5提出的直接平均值法是基于配準(zhǔn)圖像重疊區(qū)域的像素灰度值，容易造成融合圖像出現(xiàn)帶狀問(wèn)題，甚至影響拼接圖像的視覺(jué)效果。最大值法6是指重疊區(qū)域并不是對(duì)兩幅待拼接的圖像進(jìn)行平均，而是采用比較待拼接圖像對(duì)應(yīng)點(diǎn)像素值大小進(jìn)行融合，容易出現(xiàn)重疊區(qū)域不流暢等問(wèn)題。加權(quán)平均法7與直接平均法一樣均是利用圖像的像素灰度值，該算法包含帽子函數(shù)加權(quán)平均法8和漸進(jìn)漸出加權(quán)平均法9，該算法融合后容易出現(xiàn)重影等問(wèn)題。 針對(duì)上述問(wèn)題，本文在基于SURF算法的圖像配準(zhǔn)基礎(chǔ)上，對(duì)圖像融合進(jìn)行了改進(jìn)，提出了改進(jìn)加權(quán)融合算法，通過(guò)實(shí)驗(yàn)驗(yàn)證，該方法能有效的消除圖像重影等問(wèn)題。 2重影產(chǎn)生的因素(Factorsofghosting) 圖像拼接在實(shí)際應(yīng)用中，極易產(chǎn)生重影現(xiàn)象，本文將分別從拍攝因素與算法因素兩方面分析圖像拼接產(chǎn)生原因。 2.1拍攝因素 在處理圖像的技術(shù)領(lǐng)域中，不管是對(duì)圖像進(jìn)行怎樣的處理，都首先要通過(guò)拍攝設(shè)備拍取圖像，作為后續(xù)圖像處理的第一步，圖像的拍攝方式，對(duì)圖像拼接有著十分重要的影響。按照相機(jī)的拍攝情況，可以將拍攝圖像的方式分為三類。 (1)旋轉(zhuǎn)相機(jī)獲得。旋轉(zhuǎn)相機(jī)拍攝是將照相機(jī)繞著相機(jī)的垂直軸旋轉(zhuǎn)，然后每旋轉(zhuǎn)一定的角度拍攝一張圖片。此外拍攝的圖片必須要包含超過(guò)一定比例的重疊區(qū)域，當(dāng)重疊區(qū)域過(guò)小時(shí)，圖像會(huì)由于匹配的特征點(diǎn)對(duì)不足，而導(dǎo)致拼接失敗。當(dāng)重疊區(qū)域過(guò)大時(shí)，則需要多張圖像進(jìn)行拼接才能獲取到更寬視野的圖像，影響拼接的實(shí)時(shí)性。一般情況下，重疊區(qū)域占整幅圖像的40%50%，圖像能夠找到足夠配準(zhǔn)的特征點(diǎn)對(duì)，但由于該方法采集的圖像都不在同一個(gè)平面上，需要采用投影變換將圖像變換在同一個(gè)平面內(nèi)，這導(dǎo)致圖像會(huì)存在變形，影響拼接圖像的質(zhì)量。 (2)水平移動(dòng)相機(jī)獲得。水平移動(dòng)相機(jī)拍攝的情況是在確定要拍攝的平面后，保持相機(jī)的姿態(tài)，平行于該平面進(jìn)行移動(dòng)。通過(guò)這種拍攝方式拍攝出的圖片都位于同一平面上，拍攝時(shí)相機(jī)距離拍攝的目標(biāo)越遠(yuǎn)，則目標(biāo)越小。由于采用水平移動(dòng)相機(jī)的方式對(duì)拍攝的要求非?？量蹋虼嗽诂F(xiàn)實(shí)應(yīng)用中很少有采用這種拍攝方進(jìn)行拍攝。 (3)通過(guò)手持相機(jī)進(jìn)行拍攝。手持相機(jī)進(jìn)行拍攝在我們實(shí)際操作過(guò)程中是被采用最多的方式，但這種方式是最難以進(jìn)行配準(zhǔn)與拼接的。這種拍攝方式既包含了旋轉(zhuǎn)照相機(jī)又包含了水平移動(dòng)相機(jī)。在拍攝時(shí)，站在原地不動(dòng)，通過(guò)旋轉(zhuǎn)的方式進(jìn)行拍攝的話，相機(jī)并不能確保是圍繞同一垂直軸，導(dǎo)致最終采集的圖像并不在同一個(gè)平面上；通過(guò)平移的方式進(jìn)行拍攝時(shí)，拍攝目標(biāo)與相機(jī)之間的距離很難控制，不能保證距離完全不變。因此此種拍攝方式對(duì)配準(zhǔn)與拼接也是極為不利的。 理想情況下，無(wú)論何種拍攝方式，相鄰圖像的重疊區(qū)域都應(yīng)該具有相同的特征，但是實(shí)際操作過(guò)程中，一方面由于拍攝圖像的存在一定的時(shí)間差，且相機(jī)的軌跡很難控制，使得圖像間光照強(qiáng)度可能存在差異，另一方面，拍攝圖像過(guò)程中相機(jī)存在視差，圖像重疊區(qū)域中目標(biāo)并不能完全重合，此外，若拍攝場(chǎng)景中存在運(yùn)動(dòng)目標(biāo)，由于拍攝時(shí)存在時(shí)間差，圖像間重疊區(qū)域中必然存在差異。在圖像拼接過(guò)程中，不管是何種原因?qū)е铝说膱D像重疊區(qū)域存在不同，這必然使得最終的拼接結(jié)果存在重影現(xiàn)象。 2.2算法因素 圖像拼接過(guò)程中，拍攝條件與拍攝環(huán)境是我們無(wú)法改變的，但巧妙的拼接算法能夠提高拼接圖像的質(zhì)量，消除客觀因素對(duì)拼接的影響。線性漸變?nèi)诤戏椒ㄊ菆D像拼接中廣泛應(yīng)用的融合方法，其基本原理如下： 假設(shè)和分別為待拼接的圖像序列，為融合后的圖像，和分別為待拼接圖像的權(quán)值，該算法的公式表達(dá)如式(1)所示。 (1) 式中，和計(jì)算方法如下：設(shè)當(dāng)前重疊區(qū)域的像素橫坐標(biāo)為，重疊區(qū)域左、右邊界的橫坐標(biāo)分別為和，那么，由此可以看出的計(jì)算與重疊區(qū)域?qū)挾扔嘘P(guān)，且，。圖像重疊區(qū)域中，權(quán)值從1緩慢變化到0，則由0緩慢變化到1，這樣就實(shí)現(xiàn)了兩幅待拼接圖像、之間的平滑過(guò)渡。權(quán)值的變化如圖1所示。 圖1權(quán)值變化示意圖 Fig.1Schematicdiagramofweightchange 通過(guò)文獻(xiàn)分析及實(shí)驗(yàn)分析，個(gè)別融合算法易產(chǎn)生重影現(xiàn)象，由此可知此種圖像拼接方法在實(shí)際拼接中存在很大的局限性，為了消除實(shí)際拼接中存在的重影問(wèn)題，必須改進(jìn)當(dāng)前拼接融合方法或提出新的消除重影方法。 3改進(jìn)加權(quán)融合(Improvedweightedfusion) 本文基于運(yùn)動(dòng)目標(biāo)設(shè)置兩幅圖像的加權(quán)系數(shù)，加權(quán)系數(shù)的具體求取方法如式(2)所示。 (2) 其中，為圖像重疊區(qū)域任一點(diǎn)像素的橫坐標(biāo)，為重疊區(qū)域左邊界x坐標(biāo)最小值，為重疊區(qū)域右邊界x坐標(biāo)最大值，為虛擬拼接線到重疊區(qū)域中心點(diǎn)橫坐標(biāo)的距離，在權(quán)值函數(shù)中引入?yún)?shù)能夠使虛擬拼接線避開(kāi)運(yùn)動(dòng)目標(biāo)的干擾。改進(jìn)的融合權(quán)值函數(shù)如圖2所示。 圖2權(quán)值取值函數(shù) Fig.2Weightvaluefunction 圖2中橫軸為像素點(diǎn)橫坐標(biāo)，縱軸為權(quán)值大小，和分別代表左側(cè)和右側(cè)圖像權(quán)值取值函數(shù)。本文設(shè)計(jì)的兩權(quán)值函數(shù)皆為非線性函數(shù)，兩權(quán)值具有較大的差異，目的是較大程度地消除兩幅圖像的相互影響。圖2中間的虛線為本文融合算法將會(huì)產(chǎn)生的虛擬拼接線，且虛擬拼接線所在的位置直接關(guān)系到是否能夠消除運(yùn)動(dòng)目標(biāo)的干擾。虛擬拼接線的自適應(yīng)調(diào)整方法如圖3所示，分別為重疊區(qū)域中心線在運(yùn)動(dòng)目標(biāo)右側(cè)，重疊區(qū)域中心線在運(yùn)動(dòng)目標(biāo)左側(cè)，重疊區(qū)域中心線穿過(guò)運(yùn)動(dòng)目標(biāo)左半部分，重疊區(qū)域中心線穿過(guò)運(yùn)動(dòng)目標(biāo)有半部分。為了能使虛擬拼接線完全避免運(yùn)動(dòng)目標(biāo)的干擾，本文將運(yùn)動(dòng)目標(biāo)的范圍左右邊界分別擴(kuò)充50。由此可得具體求解如下： 當(dāng)或時(shí)，； 當(dāng)且時(shí)，； 當(dāng)且時(shí)， 其中，為運(yùn)動(dòng)目標(biāo)左邊界，為運(yùn)動(dòng)目標(biāo)右邊界。將值帶入公式(2)求得加權(quán)系數(shù)后，通過(guò)公式(3)對(duì)圖像進(jìn)行融合，即可消除運(yùn)動(dòng)目標(biāo)對(duì)拼接的影響。 (3) 圖3運(yùn)動(dòng)目標(biāo)在重疊區(qū)域的位置示意圖 Fig.3Thelocationofmovingtargetsinoverlappingregions 4討論(Discussion) 本文采用AMDA8-5500BAPU3.19GHz、3.21GB內(nèi)存的計(jì)算機(jī)，采用vsxx編程環(huán)境下，對(duì)加權(quán)融合、動(dòng)態(tài)規(guī)劃尋找拼接線法10、文獻(xiàn)11中方法，以及本文所提方法進(jìn)行對(duì)比分析。 采用圖4(a)和圖4(b)對(duì)拼接算法進(jìn)行分析驗(yàn)證，四種方法的融合結(jié)果如圖5所示。其中圖5(a)運(yùn)用加權(quán)融合算法雖然能夠消除圖像的拼接縫，但因運(yùn)動(dòng)目標(biāo)的干擾產(chǎn)生了重影；動(dòng)態(tài)規(guī)劃拼接線法是將圖像分解為多幅尺度圖像進(jìn)行拼接后再合成為最后的融合圖像，可實(shí)現(xiàn)整幅圖像平滑過(guò)渡，并能夠降低對(duì)配準(zhǔn)誤差的敏感度，消除重影，但該方法限制了拼接線的搜索方向，使拼接線不能避開(kāi)目標(biāo)的邊緣，產(chǎn)生穿越現(xiàn)象，最終仍然產(chǎn)生重影，運(yùn)用動(dòng)態(tài)規(guī)劃拼接線法如圖5(b)所示；圖5(c)為選用文獻(xiàn)11方法，該方法運(yùn)算量小，能夠消除運(yùn)動(dòng)目標(biāo)的干擾，但圖5(c)圖像由于光照差異存在拼接痕跡；如圖5(d)所示，本文融合算法拼接效果優(yōu)于其他算法的拼接效果。為了體現(xiàn)本文所提融合算法的實(shí)用性和可靠性，采用客觀指標(biāo)對(duì)其融合效果進(jìn)行評(píng)價(jià)12,13。 (a)待拼接圖像左圖(b)待拼接圖像右圖 (a)Leftmosaicimage(b)Rightmosaicimage 圖4測(cè)試圖像 Fig.4Testimage (a)加權(quán)融合(b)動(dòng)態(tài)規(guī)劃拼接線拼接 (a)Weightedfusion(b)Dynamicprogrammingsplicing (c)文獻(xiàn)11中方法(d)本文融合算法 (c)Methodofreference(d)Improvedfusionalgorithm 圖5圖像融合效果對(duì)比 Fig.5Comparisonofimagefusion 表1給出了基于灰度標(biāo)準(zhǔn)差、空間頻率信息熵加權(quán)、清晰度加權(quán)質(zhì)量評(píng)價(jià)結(jié)果，測(cè)試圖像為圖5四種算法的拼接結(jié)果。測(cè)試結(jié)果中可以看出，本文拼接算法拼接后的圖像灰度標(biāo)準(zhǔn)差、空間頻率信息熵加權(quán)、清晰度加權(quán)值相比其他三種算法均有所提高，而灰度標(biāo)準(zhǔn)差值、空間頻率值越大說(shuō)明融合圖像的灰度分布越分散，信息熵加權(quán)、清晰度加權(quán)值越大則表明融合后的圖像過(guò)渡更加平滑，融合算法方案更優(yōu)，同時(shí)，重影拼接的實(shí)時(shí)性較好。 表1測(cè)試結(jié)果 Tab.1Resultoftest 評(píng)價(jià) 方法 融合 方法融合時(shí)間（ms） 加權(quán)融合124.115618.34470.55340.5788101.34 動(dòng)態(tài)規(guī)劃123.281320.63840.64560.6643235.42 文獻(xiàn)11124.131718.35640.78430.7964131.11 本文算法124.358220.69940.81530.8278140.81 5結(jié)論(Conclusion) 本文在研究圖像拼接中的融合方法的基礎(chǔ)上，提出了基于改進(jìn)加權(quán)融合算法實(shí)現(xiàn)圖像拼接，從而消除圖像拼接中產(chǎn)生的重影。該方法通過(guò)求取差異圖像確定運(yùn)動(dòng)目標(biāo)區(qū)域，并基于其邊界求取加權(quán)系數(shù)，實(shí)驗(yàn)表明該融合算法能自適應(yīng)的消除運(yùn)動(dòng)目標(biāo)的干擾，灰度標(biāo)準(zhǔn)差、信息熵加權(quán)、清晰度加權(quán)評(píng)價(jià)指標(biāo)相比其他融合拼接算法均有所提高，即融合圖像的質(zhì)量與清晰度得到改善。同時(shí)，提高了圖像去重影拼接的實(shí)時(shí)性。 參考文獻(xiàn)(Reference) 1祝繼華,等.基于圖像配準(zhǔn)的柵格地圖拼接方法J.自動(dòng)化學(xué)報(bào),xx,41(2):285-294. 2桂振文,等.一種融合多傳感器信息的移動(dòng)圖像識(shí)別方法J.自動(dòng)化學(xué)報(bào),xx,41(8):1395-1404. 3潘榮江,等.一種基于LCS的物體碎片自動(dòng)拼接方法J.計(jì)算機(jī)學(xué)報(bào),xx,28(3):350-356. 4賀行政,康榮學(xué),任貴文.安全生產(chǎn)監(jiān)控中的紅外圖像融合技術(shù)研究J.中國(guó)安全生產(chǎn)科學(xué)技術(shù),xx,12(S1):268-271. 5雷飛,等.基于改進(jìn)SURF的實(shí)時(shí)視頻拼接方法J.計(jì)算機(jī)技術(shù)與發(fā)展,xx,25(3):32-35. 6漆昇翔,等.面向機(jī)載應(yīng)用的多傳感器圖像融合技術(shù)綜述J.航空電子技術(shù),xx(14):5-11. 7RichardSzeliski,Heung-YeungShum.CreatingfullviewpanoramicimagemosaicsandenvironmentmapsC.In:ComputerGraghicsProeding,AnnualConferenceSeries,ACMSIGGRAPH,LosAngeles,California, 1997:251-258. 8HNicolas.NewMethodsforDynamicMosaickingJ.IEEETransactionsonImageProcessing,xx,10(8):1239-1251. 9葛仕明,等.基于梯度場(chǎng)的拼接縫消除方法J.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),xx,19(2):227-232. 10SmithSM,BradyJM.SUSAN-anewapproachtolowlevelimageprocessingJ.InternationalJournalofComputerVision,1997,23(9):45-78. 11YangY,etal.Aresearchonregistrationandde-ghostingalgorithminimagemosaicC.WirelessC