序列圖像縮放系數(shù)的一種實(shí)時(shí)估計(jì)算法

序列圖像縮放系數(shù)的一種實(shí)時(shí)估計(jì)算法【摘要】照相機(jī)在靠近或遠(yuǎn)離目標(biāo)景物的運(yùn)動(dòng)過程中，如保持聚焦中心點(diǎn)不變，則前后兩幀圖像間存在一致的縮放關(guān)系。此時(shí)，可根據(jù)尺度變化下圖像灰度累積投影曲線的特點(diǎn)，分別計(jì)算參考幀和當(dāng)前幀的投影曲線上一對(duì)極大—極小值點(diǎn)的坐標(biāo)差值，以它們的比值作為縮放系數(shù)，實(shí)現(xiàn)實(shí)時(shí)求取。最后以實(shí)例驗(yàn)證了本算法。

【關(guān)鍵詞】徑向運(yùn)動(dòng)；縮放系數(shù)；灰度投影；圖像序列

Real-timeestimationofscalechangeinsequenceimages

Abstract:Whenacameramovestowardstheobjects,thetargetimagesacquiredlookliketobeenlarged.Toestimatethescalechangeofimagesequenceinreal-time,anovelspatial-domainmethodisproposed.Accordingtothecharacteristicsofthegrayprojectioncurves,apairofmaximumandminimumpointsarefoundnearthecentralpositionofeachgrayprojectioncurve.Thedifferencesinpositionarecalculatedrespectivelyandthescalechangeparameterisobtainedastheratioofbothdifferences.Experimentalresultsshowedthatthismethodisfeasibleandefficient.

Keywords:radialmotion;scalechange;imagegrayprojection;imagesequences

在日常生活中，我們都有這樣的體驗(yàn)：當(dāng)我們駕駛汽車目光正視，向正前方快速行進(jìn)時(shí)，前方的目標(biāo)將迅速變大撲面而來。此種相向或相離運(yùn)動(dòng)被稱為徑向運(yùn)動(dòng)。

在照相機(jī)和目標(biāo)間存在徑向運(yùn)動(dòng)的情況下，如保持聚焦中心不變，則相機(jī)所拍攝的連續(xù)兩幀圖像間存在一致的尺度縮放，即圖像在各個(gè)方向上的尺度變換因子相同。對(duì)圖像序列縮放系數(shù)的估計(jì)是運(yùn)動(dòng)估計(jì)中的一項(xiàng)重要內(nèi)容，在圖像配準(zhǔn)、視頻穩(wěn)像和實(shí)時(shí)跟蹤等領(lǐng)域都需要用到此類運(yùn)動(dòng)參數(shù)。

目前，用于確定各種運(yùn)動(dòng)參數(shù)的方法有傅里葉梅林變換法［1,2］、基于空間域的互相關(guān)方法［3］、光流場法［4］和灰度投影法［5］等等。

基于傅里葉梅林變換的圖像配準(zhǔn)算法是一種經(jīng)典的基于非特征的圖像配準(zhǔn)方法，可對(duì)兩幅近似滿足相似變換的圖像進(jìn)行配準(zhǔn)。通過對(duì)圖像傅立葉變換后的幅值譜作對(duì)數(shù)極坐標(biāo)變換，將兩幅圖像在笛卡爾坐標(biāo)空間的旋轉(zhuǎn)和縮放關(guān)系轉(zhuǎn)化為其幅值譜在對(duì)數(shù)極坐標(biāo)空間的平移關(guān)系。然后通過互功率譜的逆傅立葉變換檢測出圖像的旋轉(zhuǎn)角和縮放因子。再將圖像按所得參數(shù)進(jìn)行矯正，最后通過相位相關(guān)技術(shù)得到校正圖像的平移參數(shù)。由于采用了二維對(duì)數(shù)極坐標(biāo)變換和兩步相位相關(guān)法，該算法復(fù)雜度高，計(jì)算量大，效率低，很難滿足實(shí)時(shí)計(jì)算的要求。

基于空間域的互相關(guān)法是一種最基本的基于灰度統(tǒng)計(jì)的方法，它通常被用來進(jìn)行模板匹配和模式識(shí)別。它是一種匹配度量，給出了模板圖像與基準(zhǔn)圖像之間的相似度值。

光流法采用在兩幀運(yùn)動(dòng)圖像間估計(jì)光流場，然后基于光流場進(jìn)行目標(biāo)檢測。光流法的優(yōu)點(diǎn)在于光流不僅攜帶了運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)信息，而且還攜帶了有關(guān)景物三維結(jié)構(gòu)的豐富信息，它能夠在不知道場景的任何信息的情況下檢測出運(yùn)動(dòng)對(duì)象，但是大多數(shù)光流法的計(jì)算方法相當(dāng)復(fù)雜，計(jì)算耗時(shí)，實(shí)時(shí)性和適用性都較差。

灰度投影算法原理簡單，計(jì)算效率高，實(shí)時(shí)性好，它利用圖像的行列灰度投影曲線做一次相關(guān)運(yùn)算，就可以準(zhǔn)確地獲取圖像的運(yùn)動(dòng)矢量。但是大多數(shù)灰度投影算法只能用于實(shí)現(xiàn)平移參數(shù)的估計(jì)，無法實(shí)現(xiàn)尺度變化下的圖像序列的運(yùn)動(dòng)參數(shù)估計(jì)。

本文通過分析尺度變化下圖像灰度投影矢量的特點(diǎn)，提出了一種新的空域?qū)崟r(shí)估計(jì)算法，實(shí)現(xiàn)了縮放參數(shù)的求取，并通過大量實(shí)驗(yàn)對(duì)算法進(jìn)行了驗(yàn)證。

1灰度投影法的基本思想

灰度投影把一幀輸入的M×N圖像的灰度值映射成兩個(gè)獨(dú)立的一維波形：G(x)=Ny=1f(x,y),(1)

G(y)=Mx=1f(x,y).(2)其中f(x,y)表示圖像上(x,y)點(diǎn)的灰度值，G(x)表示第x行像素的投影值，即圖像第x行像素灰度值的累加和；G(y)表示第y列像素的投影值，即圖像第y列像素灰度值的累加和。

為了消除光照不同造成的誤差，需對(duì)公式(1)、(2)中的投影矢量做中心化處理：(x)=G(x)-(x)，(3)

(y)=G(y)-(y).(4)其中(x)=1MMx=1G(x)、(y)=1NNy=1G(y)分別是行、列投影曲線均值。(x)是中心化后的行投影值，(y)是中心化后的列投影值。

圖1分別給出參考幀圖像及其行、列投影曲線a0、a1、a2，當(dāng)前幀圖像及其行、列投影曲線b0、b1、b2。

圖像的灰度投影中保留了盡可能多的圖像灰度信息，反映出圖像的整體特征，具有抑制噪聲的性能，且運(yùn)算量小，速度快，易于實(shí)現(xiàn)。

2從投影曲線到縮放系數(shù)

假定參考幀上某點(diǎn)(x,y)處灰度值為f(x,y,t)，徑向運(yùn)動(dòng)后為(x′,y′)，對(duì)應(yīng)的灰度值為f(x′,y′,t′)。根據(jù)縮放的瞬時(shí)運(yùn)動(dòng)的特點(diǎn)，可假設(shè)圖像的幾何形狀做線性連續(xù)縮放而原始像素的灰度值不變，即f(x′,y′,t′)=f(x,y,t)，而對(duì)于圖像的聚焦中心點(diǎn)(x0,y0),還有x′0=x0，y′0=y0。同樣，可以對(duì)圖像的行或列灰度投影矢量作類似的假設(shè)。

設(shè)G1(x)表示參考幀第x行的投影值，徑向運(yùn)動(dòng)后，其在當(dāng)前幀G2(x)中的對(duì)應(yīng)行為x′，投影值為G2(x′)，則G1(x)=G2(x′)，對(duì)于聚焦中心點(diǎn)x0，還有x′0=x0。如果是放大變換，G2(x)將損失部分信息，如果是縮小變換，那么G2(x)中將引入新的圖像信息。

縮放系數(shù)的估計(jì)

設(shè)M×N圖像聚焦中心點(diǎn)所在列為y0=N/2，第y列的投影矢量值為G(y)，經(jīng)過縮放后變?yōu)镚(y′)，則列y和y′為“對(duì)應(yīng)列”。如σ為放大因子，則：y′－y0=σ(y－y0).(5)因此，確定σ的關(guān)鍵就在于找到“對(duì)應(yīng)列”y和y′。注意到圖1中的行投影曲線對(duì)(a1、b1)，a1的最大值是，對(duì)應(yīng)的橫坐標(biāo)為97，b1的最大值是，對(duì)應(yīng)的橫坐標(biāo)為90，這兩點(diǎn)都是曲線上波峰的最大值點(diǎn)，都位于中心點(diǎn)的左側(cè)，所以，這兩個(gè)峰值點(diǎn)的橫坐標(biāo)正是我們要找的“對(duì)應(yīng)列”。

然而，在實(shí)際處理中，由于相機(jī)的抖動(dòng)或者噪聲等原因，往往造成聚焦中心點(diǎn)發(fā)生小的偏移，導(dǎo)致y0處未必正好是圖像中心列，這就可能使得基于聚焦中心點(diǎn)的公式(5)計(jì)算出來的縮放因子有較大的誤差。但是，無論該中心點(diǎn)偏向哪一側(cè)，它始終落在兩個(gè)極值點(diǎn)之間，而兩個(gè)極值點(diǎn)的相對(duì)位置不大會(huì)發(fā)生改變，因此，我們可在投影曲線的中心點(diǎn)兩側(cè)各找出一對(duì)“對(duì)應(yīng)列”來消除這一誤差，于是得到改進(jìn)的σ估計(jì)公式：σ′≈y′max-y′minymax－ymin(ymax≠ymin).(6)根據(jù)前文的分析，縮放后，圖像內(nèi)容的改變使投影曲線的兩端有較大差異，因此，我們不在曲線端點(diǎn)附近搜索“對(duì)應(yīng)列”。

而圖1中行投影曲線相對(duì)簡單的波形和列投影曲線的復(fù)雜波形也暗示我們可以根據(jù)曲線變化的劇烈程度來選擇行投影還是列投影。

圖1目標(biāo)景物圖像及其行、列投影曲線

投影曲線的平滑預(yù)處理

為了去除曲線中小的“毛刺”和可能的噪聲干擾，我們對(duì)投影曲線做樣條平滑［9］。曲線上波峰和波谷保留的個(gè)數(shù)跟樣條平滑的次數(shù)有關(guān)，平滑后的曲線波形仍然保持著原始曲線的大致形狀和我們所需要的主要波峰、波谷等信息，便于我們通過比較平滑曲線上波峰、波谷的個(gè)數(shù)來判斷選擇行投影曲線還是列投影曲線。如圖2，平滑后的行投影曲線中保留的波峰、波谷個(gè)數(shù)少于列投影曲線。因此，選擇行投影曲線作參數(shù)估計(jì)，計(jì)算結(jié)果見表1。表1圖3仿真圖像實(shí)驗(yàn)結(jié)果及誤差

算法步驟

具體步驟

對(duì)圖像做行、列灰度投影；

平滑投影曲線；

尋找平滑后行投影與列投影曲線的波峰、波谷較少者進(jìn)一步處理。

分別找到兩幅圖像投影曲線波峰波谷中的最大值、最小值，根據(jù)其坐標(biāo)判斷是否為“對(duì)應(yīng)列”，如是，將最大值與最小值坐標(biāo)之差的比值作為結(jié)果輸出，若不是，則尋找次大值或次小值，直至找到符合條件的為止，并輸出結(jié)果。

若中并未搜索到合適的“對(duì)應(yīng)列”，則選擇另一種投影曲線作處理。

圖2平滑后的投影曲線

3實(shí)驗(yàn)分析

實(shí)驗(yàn)選取了人工仿真的圖像序列圖3(A、B)和圖4(C、D)以及真實(shí)拍攝的圖像序列圖5(E、F)進(jìn)行估計(jì)，實(shí)驗(yàn)環(huán)境為IntelCore雙核處理器，主頻GHz，內(nèi)存1GDDR2。圖3~5中，圖像大小為256×256。本文與基于傅立葉梅林變換的文獻(xiàn)［1］和基于分層搜索法的文獻(xiàn)［7］進(jìn)行了比較，比較結(jié)果、誤差和計(jì)算時(shí)間見表1、表2、表3。實(shí)驗(yàn)結(jié)果表明，本算法在滿足精度要求的同時(shí)，在計(jì)算時(shí)間上具有較大優(yōu)勢。表2圖4仿真圖像實(shí)驗(yàn)結(jié)果及誤差表3圖5實(shí)拍圖像實(shí)驗(yàn)結(jié)果及誤差

4結(jié)論

本文提出了一種圖像序列縮放參數(shù)實(shí)時(shí)估計(jì)的空域算法，實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)的時(shí)域、頻域方法相比，本算法實(shí)現(xiàn)簡單，計(jì)算結(jié)果有較高的精度，能夠很好的滿足實(shí)時(shí)計(jì)算的要求，具有較高的應(yīng)用價(jià)值。但是，如果由于圖像本身成像質(zhì)量較差，灰度投影曲線波形的峰、谷值不太明顯，則可能會(huì)出現(xiàn)搜索不到合適的“對(duì)應(yīng)列”的情況，從而導(dǎo)致本文算法估計(jì)失敗。此時(shí)，可以考慮先將圖片進(jìn)行預(yù)處理，再作進(jìn)一步的研究。

【參考文獻(xiàn)】

［1］SReddyS,ChatterjiBN.AnFFT-basedtechniquefortranslation,rotation,andscale-invariantimageregistration［J］.IEEETrans.ImageProcessing,1996,5(8):1266-1270.

［2］ChenQS，DefriseM,DeconinckF.Symmetricphase-onlymatchedfilteringofFourier-Mellintransformsforimageregistrationandrecognition［J］.IEEETransPatternAnalysisMachineIntel,1994,16(12):1156-1168.

［3］WolbergG,ZokaiS.RobustimageregistrationusingLog-polartransform［A］.ProcIEEEIntConImageProcessing［C］.2000.493-496.［4］DFedorovD,FonsecaLMG,KenneyC,etal.Automaticregistrationandmosaickingsystemforremotelysensedimagery［A］.SPIE9thIntSympRemoteSensing［C］.Greece:Crete,2002.22-27.

［5］CrawfordAJ,DenmanH，KellyF.Gradientbaseddominantmotionestimationwithintegralprojectionsforrealtimevideostabilization［J］.IEEEICIP2004,5:3371-3374.

［6］KuglinCD,HinesDC.Thephasecorrelationimagealignmentmethod［A］.ProcCybernticsSociety［C］.SanFrancisco,USA:［unknownpublisher］,1975:163-165.

［7］BergenJR,AnandanP,HannaKJ,etal.Hierarchicalmodel-basedmotionestimation［A］.ProcEurConfComputerVision［C］.SantaMargheritaLigure