《計(jì)算機(jī)視覺(jué)-王偉強(qiáng)》Course11

運(yùn)動(dòng)跟蹤

董秋雷

中國(guó)科學(xué)院自動(dòng)化研究所

qldong@nlpr.

運(yùn)動(dòng)分析的一般流程

運(yùn)動(dòng)檢測(cè)

運(yùn)動(dòng)跟蹤

運(yùn)動(dòng)表述

行為識(shí)別

運(yùn)動(dòng)表述

識(shí)別與理解

什么是跟蹤(Tracking)?

什么是跟蹤（Tracking）?

□所謂跟蹤，就是指在圖像序列中持續(xù)地估計(jì)出

感興趣的運(yùn)動(dòng)目標(biāo)所在區(qū)域（位置），形成運(yùn)

動(dòng)目標(biāo)的運(yùn)動(dòng)軌跡；有時(shí)還需要估計(jì)出運(yùn)動(dòng)目

標(biāo)的某些運(yùn)動(dòng)參數(shù)（比如速度、加速度等）。

跟蹤問(wèn)題分類

□場(chǎng)景中運(yùn)動(dòng)目標(biāo)的數(shù)目：?jiǎn)芜\(yùn)動(dòng)目標(biāo)VS.多

運(yùn)動(dòng)目標(biāo)

■在多目標(biāo)跟蹤過(guò)程中，必須考慮到多個(gè)目標(biāo)在場(chǎng)景

中會(huì)互相遮擋(Occlusion),合并(Merge),分離

(SpIit)等情況。

■多目標(biāo)跟蹤中的數(shù)據(jù)關(guān)聯(lián)問(wèn)題(DataAssociation)o

跟蹤問(wèn)題分類

□攝像機(jī)的數(shù)目：?jiǎn)螖z像機(jī)VS.多攝像機(jī)

■使用多攝像機(jī)有望解決因相互遮擋導(dǎo)致的運(yùn)動(dòng)目標(biāo)

丟失問(wèn)題，但多攝像機(jī)的信息融合是一個(gè)關(guān)鍵性問(wèn)

題。

□攝像機(jī)是否運(yùn)動(dòng)：攝像機(jī)靜止VS.攝像機(jī)運(yùn)動(dòng)

■攝像機(jī)的運(yùn)動(dòng)形式，一種是攝像機(jī)支架固定，但攝像

機(jī)可以偏轉(zhuǎn)(Pan),俯仰(Ti11)以及縮放(Zoom)；另一

種是攝像機(jī)裝在某個(gè)移動(dòng)的載體上，如移動(dòng)的車(chē)輛

或飛行的飛機(jī)。

■攝像機(jī)的運(yùn)動(dòng)增加了運(yùn)動(dòng)目標(biāo)檢測(cè)的難度。

跟蹤問(wèn)題分類

跟蹤問(wèn)題分類

跟蹤問(wèn)題分類

跟蹤問(wèn)題分類

跟蹤問(wèn)題分類

□場(chǎng)景中運(yùn)動(dòng)目標(biāo)的類型：剛體VS.非剛體

■交通車(chē)輛一剛體；人一非剛體。

□傳感器的種類：可見(jiàn)光圖像VS.紅外圖像

■白天使用可見(jiàn)光圖像；晚上使用紅外圖像。

□運(yùn)動(dòng)目標(biāo)的表示方法

□具體介紹常用的跟蹤方法

□多目標(biāo)跟蹤的數(shù)據(jù)關(guān)聯(lián)問(wèn)題

□多攝像機(jī)跟蹤

運(yùn)動(dòng)目標(biāo)的表示方法

□基于點(diǎn)的跟蹤

□基于區(qū)域的跟蹤

□基于輪廓的跟蹤

□基于模型的跟蹤

基于點(diǎn)的跟蹤

□質(zhì)心或一組特征點(diǎn)集

□運(yùn)動(dòng)輪廓的角點(diǎn)

基于點(diǎn)的跟蹤

□將運(yùn)動(dòng)目標(biāo)表示成點(diǎn)比較適合跟蹤那些在圖像上所占

區(qū)域比較小的目標(biāo)

□做簡(jiǎn)單剛體運(yùn)動(dòng)的目標(biāo)（特征點(diǎn)集）

基于區(qū)域的跟蹤

□將運(yùn)動(dòng)目標(biāo)用比較簡(jiǎn)單的幾何形狀表示，比如矩形或

橢圓等

□適合于表示簡(jiǎn)單的剛體或非剛體運(yùn)動(dòng)目標(biāo)。

□相較于后面要介紹的活動(dòng)輪廓等表示方法精度較差。

基于輪廓的跟蹤

ContourSilhouette

□Contour表示運(yùn)動(dòng)目標(biāo)的外部輪廓

□SiIhouette表示運(yùn)動(dòng)目標(biāo)外部輪廓內(nèi)的區(qū)域

□適用于表示復(fù)雜的非剛體運(yùn)動(dòng)目標(biāo)

基于輪廓的跟蹤

主動(dòng)輪廓ActiveContour

利用封閉的曲線輪廓來(lái)表示運(yùn)動(dòng)目標(biāo)，并且該輪廓能夠

自動(dòng)連續(xù)地更新

*YILMAZ,A.,LI,X.,ANDSHAH,M.2004.Contourbasedobjecttrackingwithocclusionhandling

invideoacquiredusingmobilecameras.IEEETrans.Patt.Analy.Mach.Intell.26,11,1531-1536.

基于模型的跟蹤

二維形狀模型

SkeletalArticulatedModel

立體模型VolumetricModel

/I

運(yùn)動(dòng)目標(biāo)的表示方法

口基于點(diǎn)的跟蹤

由

□基于區(qū)域的跟蹤

簡(jiǎn)

口基于輪廓的跟蹤到

繁

口基于模型的跟蹤

V

□采用上述的哪種方法來(lái)表示運(yùn)動(dòng)目標(biāo)和不同的

應(yīng)用場(chǎng)合、運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)特性'以及對(duì)跟蹤

算法的精度要求等密切相關(guān)。

□運(yùn)動(dòng)目標(biāo)的表示方法

□具體介紹常用的跟蹤方法

□多目標(biāo)跟蹤的數(shù)據(jù)關(guān)聯(lián)問(wèn)題

□多攝像機(jī)跟蹤

跟蹤問(wèn)題的兩種解決思路*

□自底向上(Bottom-up)的處理方法

■又稱為數(shù)據(jù)驅(qū)動(dòng)(Date-driven)的方法，不依賴于

先驗(yàn)知識(shí)

□自頂向下(Top-down)的處理方法

■又稱為模型驅(qū)動(dòng)(Model-driven)的方法，依賴于所

構(gòu)建的模型或先驗(yàn)知識(shí)

*ComanniciuD,RameshV,MeerP.Kernel-basedobjecttracking.IEEE

TransactionsonPatternAnalysisandMachineIntelligence,2003,25(5):564-577

跟蹤問(wèn)題的兩種解決思路*

□自底向上(Bottom-up)的處理方法

個(gè)模板匹配(TemplateMatch)

->均值漂移(MeanShift)

□自頂向下(Top-down)的處理方法

個(gè)卡爾曼濾波器(KalmanFiIter)

個(gè)粒子濾波器(ParticleFiIter)

自底向上(Bottom-up)的處理方法

□模板匹配法(TemplateMatching)

■在前一幀圖像中目標(biāo)位置(或模板T位置)

為：(3)

■在當(dāng)前幀搜尋位置

(九'，)=(尤++dy)

使得

argmaxdxdycov(T(x/y)J(d+dx,y-\-dy))

概念上相對(duì)比較簡(jiǎn)單

?：?進(jìn)行窮盡的搜索計(jì)算量非常大

□在前一幀目標(biāo)位置附近的一個(gè)小區(qū)域內(nèi)搜索

?：?FIEGUTH,P.ANDTERZOPOULOS,D.1997.Color-basedtrackingof

headsandothermobileobjectsatvideoframerates.InIEEE

ConferenceonComputerVisionandPatternRecognition(CVPR).21-27

??5?A

?X

XPredkcle-3.ocaUon

?TestedHypotheses

Figure2Theninelatticepointswfilcndeter-

minethelocalnypoch?868toDetestedfor

eacnobjectateachTrama

□使用模板匹配的快速算法

SCHWEITZER,H.,BELL,J.W.,ANDWU,F.2002.Veryfast

templatematching.InEuropeanConferenceonComputerVision

(ECCV).358-372.

自底向上(Bottom-up)的處理方法

□均值漂移法(MeanShift)

□原理:在圖像分割中已經(jīng)做過(guò)介紹

□核心思想:找到概率密度梯度為零的采樣點(diǎn)，并以此作為特

征空間聚類的模式點(diǎn).

均值漂移IntuitiveDescription

Regionof

interest

Centerof

mass

MeanShift

vector

均值漂移IntuitiveDescription

Regionof

interest

Centerof

mass

MeanShift

vector

均值漂移IntuitiveDescription

Regionof

interest

Centerof

mass

MeanShift

vector

均值漂移IntuitiveDescription

Regionof

interest

Centerof

mass

MeanShift

vector

均值漂移IntuitiveDescription

Regionof

interest

Centerof

mass

MeanShift

vector

均值漂移IntuitiveDescription

Regionof

interest

Centerof

mass

MeanShift

vector

均值漂移IntuitiveDescription

Regionof

interest

Centerof

mass

MeanShift跟蹤算法

?利用目標(biāo)的灰度(或彩色)分布來(lái)描述這個(gè)物體，假設(shè)目

標(biāo)中心位于X。,則該物體可以表示為

@u=c2匕MII寧『)況/陽(yáng)S)-U]

■候選的目標(biāo)可以描述為

Pu(y)=力比/[等『)仇心/)—〃]

■目標(biāo)跟蹤過(guò)程轉(zhuǎn)化為尋找令瓦(y)與面相似度最高的解的

過(guò)程。

MeanShift跟蹤算法

?相似度量：瓦(y)三p[p(y),q]=2上，匹。)牝

泰勒展開(kāi)：

Qu

p[p(y),q]|1VP(7o)Qu+11Pu(y)dPu(yo)

1mCn/

p[p(y),q]-Jp(yo)q〃+號(hào)｛卬＞(y一/2

h

u=li=l'

其中”=?上電8)一可底5

自底向上(Bottom-up)的處理方法

口均值漂移法(MeanShift)

?(b)(c)

(d)(e)⑴

Fig.12Mean-shifttrackingiterations,(a)estimatedobjectlocationattime￡-1,(b)frameattime

twithinitiallocationestimateusingthepreviousobjectposition,(c),(d),(e)locationupdateusing

mean-shiftiterations,(f)finalobjectpositionattimet.

自底向上(Bottom-叩)的處理方法

□均值漂移法(MeanShift)——通常只需要經(jīng)過(guò)4—5次迭代

Figure2:ThenumberofmeanshiftiterationsfunctionofthenameindexfortheFootballse-

quence.Themeannumberofiterationsis4.19perframe.

ComanniciuD,RameshV,MeerP.Kernel-basedobjecttracking.IEEE

TransactionsonPatternAnalysisandMachineIntelligence,2003,25(5):564-577

自頂向下(Top-down)的處理方法

□通過(guò)建立狀態(tài)空間模型，把跟蹤問(wèn)題表示為動(dòng)態(tài)

系統(tǒng)的狀態(tài)估計(jì)問(wèn)題。

□思路是將目標(biāo)跟蹤問(wèn)題轉(zhuǎn)換為在貝葉斯

(Bayesian)理論框架下已知目標(biāo)狀態(tài)的先驗(yàn)概率,

在獲得的測(cè)量值(Measurement)后不斷求解目標(biāo)

狀態(tài)的后驗(yàn)概率的過(guò)程。

狀態(tài)空間模型(StateSpaceModel)

□動(dòng)態(tài)系統(tǒng)由狀態(tài)轉(zhuǎn)移方程和觀測(cè)方程組成。

□狀態(tài)轉(zhuǎn)移方程：

xk-

/：在很多跟蹤問(wèn)題中可能是非線性的

Xk，Xk—:當(dāng)前時(shí)刻和前一時(shí)刻的狀態(tài)

以t：系統(tǒng)噪聲，通常是非高斯的

狀態(tài)空間模型(StateSpaceModel)

6

?M?

=xk-l+vk-l

XPredicted.ocation

?TestedHypotheses

Figure2,Theninelatticepointswtilcndeter-

minethelocalhypotb?8G€toDetesteditx

sacnobjectateachframe

狀態(tài)空間模型(StateSpaceModeI)

□觀測(cè)方程

"=hk(xkfnk)

h:在很多跟蹤問(wèn)題中可能是非線性的

歟：測(cè)量值

二左?狀態(tài)

以：測(cè)量噪聲，通常是非高斯的

貝葉斯遞歸濾波器(RecursiveFiIters)

□狀態(tài)轉(zhuǎn)移方程：xk~vk-l)-P（&l&-1）

□測(cè)量方程：=h式&，秋)一p（y/ck/c）

□已知信息：yi：K=(y?！?yQ，P（%0）

□要求的是：p(&M：Q

貝葉斯遞歸濾波器(RecursiveFiIters)

□步驟：

■預(yù)測(cè)一測(cè)量一更新(Predict-Measurement-Update)

■預(yù)測(cè)：p%—1隊(duì)左-1)-p%lyihi)

■更新：pMyi,kXyk-p(&lyi：Q

測(cè)量

預(yù)測(cè)一測(cè)量一更新

□復(fù)習(xí)一下貝葉斯準(zhǔn)則(BayesRule):

p(%ly)0cp(yMpM

/I\

PosteriorlikelihoodPrior

預(yù)測(cè)一測(cè)量一更新

□預(yù)測(cè)：(usingChapman-KoImogoroffequation)

=Jp%%—IP%—也：

□更新：(usingBayesRuIe)

p(y/clxQp(xMyi火一i)

p(y/clyi：k-i)

j)=j)d&

□上述推導(dǎo)給出了理論上解的形式，實(shí)際中往往無(wú)法得到

解析表達(dá)

□在特定假設(shè)下可以獲得最優(yōu)解一一基于線性、高斯假設(shè)

■卡爾曼濾波器

□對(duì)任意概率密度函數(shù)—概率密度函數(shù)多峰情況

■粒子濾波器

R.E.Kalman

?Bom1930inHungary

?StudiedatMIT/Columbia

?Developedfilterin1960/61

卡爾曼濾波器(KaImanFiIter)

基本假設(shè)：

□后驗(yàn)概率分布p（4_ilyi火t）為高斯分布

□動(dòng)態(tài)系統(tǒng)是線性的

Xk=儀-1+BUkT+Q/c-1

yk=Hxk+rk

□系統(tǒng)噪聲和測(cè)量噪聲都是高斯分布的，協(xié)方差矩陣分別

為Q/c-i和

Kalmanfilter-KF

Whenandwhere?

KFdescription

usingvectorsandmatrices

parameters

noise

(i^)a=HU

1j+!xJJ=!X:OSTOU]U0ui0jnse0p\[?

!r-!

(xbb)a=f)<=b+xv=\:OSTOUui回s^s?

???

(%%)日(匕％)3[=(g)H=d

[…(^l9)a

XIJ)EIUOJirepiEAOJOSWN

加=(夕)3[UUBTSSHB93：9SIO^[

0S!（）N

KFalgorithm

Xi=Ax「1+q

yi=HXj+r

—minimizethedifferencex-x

A-AA

?Prediction:七二Axji+q

?Correction:x^x^+KCyi-HXj-)

Kalmangainmatrix

'Kl—H=:(U9SI0UJUOUIOJnSBOUI?9SI0UUIOJSKS-

僅二!Xu9SI0UJU9UI9JnSE9UI?9SI0UUIOJsXs-

-VV,

:Sjpu口?

0+iVl!av二Jd?！菇星?/p>

Y(H+iH-dH)iH_d=X

Moqso]XSPQsi?

xe

<=(1%)H(b%)H=(s)H=d-x-x=3

0=-1—JLi

aeV

(…(％1)H(9呵

JOJJ0p^podxooq]QZTUITUTPJ?

XU3UUIure§ueui[?x

?時(shí)間更新

八_

Xk=/月一1+切"1

p;=APk_/+Q

?狀態(tài)更新

T

Kk二：P-H\HP-H+A)-1

/X

xK

k~工+Syk-H江)

Pk二(I一KRP；

實(shí)例

■測(cè)量電壓：假設(shè)我們可以測(cè)量這個(gè)常數(shù)的幅值，但觀

測(cè)幅值中摻入了幅值均方根為0.1伏的白噪聲。

?方程描述：

xx

k~^k-\+BUk_i+qk_x=x*+qk_x

Yk=k=乂卜…

?過(guò)程的狀態(tài)不隨時(shí)間變化，A=1；沒(méi)有控制輸入，u

二0；包含噪聲的觀測(cè)值是狀態(tài)變量的直接體現(xiàn)，H二

1O

實(shí)例

++noisymeasurements

aposteriestimate

truthvalue

8

6

8

B

-4

o0.

>0.

0.2

0.

-0.2

-0.4

05101520253035404550

Iteration

卡爾曼濾波器的擴(kuò)展

□ExtendedKalmanFilter(EKF)

□UnscentedKalmanFilter(UKF)

■同樣基于高斯分布的假設(shè)；

■狀態(tài)轉(zhuǎn)移方程和測(cè)量方程為非線性函數(shù)；

■沿用KalmanFiIter的框架；

■將非線性函數(shù)局部線性化。

為處理更為一般的概率密度函數(shù)(比如，多峰情況)，我們

需要適應(yīng)性更強(qiáng)的方法——粒子濾波器。

粒子濾波器(ParticleFiIter)

□粒子濾波器的一系列別名：

■CondensationAlgorithms

■Sequentialsampling-importancere-sampling(SIR)

■BootstrapFiltering

■Interactingparticleapproximations

■Survivalofthefittest

兩個(gè)問(wèn)題

?兀是多少？怎么求？

?3.14159265358979323846264338327950288419716939937510582097944

592307816406286208998628034825342117067982148086513282306764

709384460955058223172535940812848111745028410270193852110955

596446229489549303819644288109756659334461284756482337867831

652712019091456485669234603486104543266482133936072602491412

737245870066063155881748815209209628292540917153643678925903

600113305305488204665213841469519415116094330572703657595919

530921861173819326117931051185480744623799627495673518857527

248912279381830119491298336733624406566430860213949463952247

371907021798609437027705392171762931767523846748184676694051

320005681271452635608277857713427577896091736371787214684409

012249534301465495853710507922796892589235420199561121290219

608640344181598136297747713099605187072113499837297804995105

973173281609631859502445945534690830264252230825334468503526

193118817101000313783875288658753320838142061717766914730359

825349042875546873115956286388235378201667315642315632318742

3187323128423128323658323

兩個(gè)問(wèn)題

投針實(shí)驗(yàn)

試驗(yàn)者時(shí)間（年）針長(zhǎng)投針次數(shù)相交次數(shù)乃問(wèn)*計(jì)電

Wolf18500.80500025323.15956

Smith18550.60320412183.15665

Fox18840.7510304893.15951

Lazzarini19250.83340818083.14159292

d

MonteCarIo方法

?研究問(wèn)題：某隨機(jī)事件A出現(xiàn)的概率。

?基本思想：通過(guò)某種“實(shí)驗(yàn)”的方法，得出A事件

出現(xiàn)的頻率，以此估計(jì)出A事件出現(xiàn)的概率。

MonteCarIo方法

?隨機(jī)生成1000000個(gè)點(diǎn)，結(jié)果為0.3328。

歷史

?Firstattempts-simulationsofgrowingpolymers

-M.N.RosenbluthandA.W.Rosenbluth,^MonteCarlocalculationoftheaverageextensionof

molecularchains,"JournalofChemicalPhysics,vol.23,no.2,pp.356-359,1956.

?Firstapplicationinsignalprocessing-1993

-N.J.Gordon,D.J.Salmond,andA.F.M.Smith,“Novelapproachtononlinear/non-Gaussian

Bayesianstateestimation,"IEEProceedings-F,vol.140,no.2,pp.107—113,1993.

?Books

-A.Doucet,N.deFreitas,andN.Gordon,Eds.,SequentialMonteCarloMethodsinPractice,

Springer,2001.

-B.Ristic,S.Arulampalam,N.Gordon,BeyondtheKalmanFilter:ParticleFiltersforTracking

Applications,ArtechHousePublishers,2004.

?Tutorials

-M.S.Arulampalam,S.Maskell,N.Gordon,andT.Clapp,"Atutorialonparticlefiltersfor

onlinenonlinear/non-gaussianBayesiantracking,"IEEETransactionsonSignalProcessing,

vol.50,no.2,pp.174-188,2002.'

粒子濾波器(ParticleFiIter)

□基于貝葉斯準(zhǔn)則的序貫蒙特卡羅算法(SequentiaI

MonteCarIo)

□通過(guò)尋找一組隨機(jī)樣本對(duì)任意概率密度函數(shù)進(jìn)行

近似，也即：用一組離散樣本點(diǎn)來(lái)近似連續(xù)的概

率密度函數(shù)。

MonteCarIo方法

■例子：估計(jì)如下積分值s為高斯分布函數(shù)）

+00

p=JX2p（x）dx

—00

?MonteCarIo方法：

1.模擬M個(gè)隨機(jī)變量（符合高斯分布）

X（m）?MO,CT2）

2.計(jì)算均值

V=吟

重要性采樣(ImportancesampIing)

計(jì)算積分

￡(/(/))=Jf〈x)p(x)dx=jf(x)

欣X)

?MonteCarlo方法：

1.模擬M個(gè)隨機(jī)變量(兀(x))

(加

A?欣X)

2.計(jì)算均值E(f(x))」X"f(")

兀(x*

屋w)

重要性采樣

計(jì)算積分E(&(%))=jg,(%)P(XoJ%)d%

E(M(%，)=Jg,(%J(%"W)4,

x

^\o.iIy\t)

?MonteCarlo方法：N

_________1/匕(瑞)(0,(瑞)

1.模擬N個(gè)隨機(jī)變量(q(x))E3(％J)=出~^

1/N%超)

id

N

2.計(jì)算均值=￡&(蟠)田(瑞)

/=1

力卜O/KJ=￡6'%>(')

/=|

Sequentialimportancesampling

p（”,）=夕（/）nvi\尸（wi均卜np（，/XJ）

7=>〃

1.ParticlegenerationX?）?P（XkIX"1）

2a.Weightcomputation

“加二心I土）

沙*（加

2b.Weightnormalization心加=“k

3.Estimatecomputation/故仔|7：））=￡g（x?（）w（：）

勿=i

重采樣ResampIing

?sis的問(wèn)題

?重采樣(Resampling)

>M

?（/）

1

，Xk,M>

>m=\

Resampling

uw

~1

X

A7ooo

+1

X

OAA

,7YM

、<7f

S1X?

XAooo8oo8o

一

"o

1A?

一1

一I-

I

2磷

Lf/1

Posteiior9k

attimek-1

——\

Predictedstate1iVJl\.U/diffuse'

attimek-O-e?COQ-@)匕tJ

observation<S；

density?LLJJ,、、、.

41;

(rt\

粒子濾波器(ParticleFiIter)

優(yōu)點(diǎn)

1.通過(guò)隨機(jī)采樣近似復(fù)雜的、無(wú)法解析表達(dá)的概率密度函數(shù)

2.適應(yīng)性廣

不足：

1.高計(jì)算復(fù)雜度

2.粒子數(shù)目

3.重要性密度函數(shù)的選擇

實(shí)驗(yàn)BouncingBaII

KalmanFiltervs.ParticleFilter性能比較

KaImanFiIter

TheestimatedpositionfromtheKalmanfilter(red)iscompared

againsttheactualgroundtruthposition(green).

KaImanFiIter

KalmanElterFailures:

14:BOUNCEOVERSHOOT1G:SLOWCATCHUP

59:GRAVITYPLTLLSDOWNATREST

ParticIeFiIter

Thepredictedpositionfromtheparticlefilter(red)iscompared

againsttheactualgroundtruthposition(green).

ParticIeFiIter

EXAMPLEOFSAMPLINGEFFECTS

l\c(l:fiiialestiiiiiiteCrieen:(lata

Yellow：BOUNCEBluc:STOPBlack:E4LL

運(yùn)動(dòng)跟蹤中的一些難點(diǎn)問(wèn)題

□運(yùn)動(dòng)跟蹤所面臨的主要難點(diǎn)可以歸結(jié)為對(duì)跟蹤

算法在三個(gè)方面的要求，即對(duì)算法的魯棒性'

準(zhǔn)確性和快速性的要求。

運(yùn)動(dòng)跟蹤中的一些難點(diǎn)問(wèn)題

口魯棒性要求跟蹤算法能夠在各種環(huán)境條件下實(shí)現(xiàn)對(duì)運(yùn)動(dòng)

目標(biāo)持續(xù)穩(wěn)定的跟蹤。影響視覺(jué)跟蹤算法魯棒性的主要

原因在于：

■被跟蹤運(yùn)動(dòng)目標(biāo)的姿態(tài)變化；

■運(yùn)動(dòng)目標(biāo)所處環(huán)境的變化（比如，光照條件等）；

■部分遮擋引起的運(yùn)動(dòng)目標(biāo)不規(guī)則變形和全部遮擋引起的運(yùn)動(dòng)目

標(biāo)的暫時(shí)消失。

運(yùn)動(dòng)跟蹤中的一些難點(diǎn)問(wèn)題

□準(zhǔn)確性的要求包括兩個(gè)方面：

■對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)的準(zhǔn)確性;

■對(duì)運(yùn)動(dòng)目標(biāo)分割的準(zhǔn)確性;

□快速性的要求在于：在保證所要求的跟蹤精度的前提下

實(shí)現(xiàn)實(shí)時(shí)地跟蹤。

□運(yùn)動(dòng)目標(biāo)的表示方法

□具體介紹常用的跟蹤方法

□多目標(biāo)跟蹤的數(shù)據(jù)關(guān)聯(lián)問(wèn)題

□多攝像機(jī)跟蹤

多目標(biāo)跟蹤中的數(shù)據(jù)關(guān)聯(lián)

口數(shù)據(jù)關(guān)聯(lián)-DataAssociation

口類似于在兩幅圖像中找對(duì)應(yīng)點(diǎn)(Correspondence)的問(wèn)題

多目標(biāo)跟蹤中的數(shù)據(jù)關(guān)聯(lián)

多目標(biāo)跟蹤中的數(shù)據(jù)關(guān)聯(lián)

□一

如何確定哪一個(gè)觀測(cè)對(duì)應(yīng)

于哪一個(gè)跟蹤目標(biāo)？

多目標(biāo)跟蹤中的數(shù)據(jù)關(guān)聯(lián)

□貝葉斯遞歸濾波器

■預(yù)測(cè)一測(cè)量一更新

■預(yù)測(cè)：p（沖-ilyi業(yè)—1）-p（^|yi：k-i）

■更新：p（x\y\y-P（打lyi火）

k1±kJ卜

測(cè)量

rA

數(shù)據(jù)關(guān)聯(lián)

預(yù)測(cè)更新

\確__定_哪_一_個(gè)_測(cè)__量_最__為_(kāi)匹_配/

多目標(biāo)跟蹤中的數(shù)據(jù)關(guān)聯(lián)

□一些常用的基本約束

Fig.10Differentmotionconstraints.(a)proximity,(b)maximumvelocity(rdenotesradius),(c>small

velocity-change,(d)commonmotion,(e)rigidityconstraints.△denotesobjectpositionatframet—2,

odenotesobjectpositionatframe/—1,andfinallyxdenotesobjectpositionatframet.

多目標(biāo)跟蹤中的數(shù)據(jù)關(guān)聯(lián)

□典型的數(shù)據(jù)關(guān)聯(lián)方法

■最近鄰方法(NN,NearestNeighbor)

■聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)方法(JPDA,JointProbabiIity

DataAssociation)

■多假設(shè)跟蹤方法(MHT,MultiHypothesis

Tracking)

Gating

gating

region2

track1

track2observations

口一

□縮小范圍

□在每一個(gè)gatingregion中運(yùn)用數(shù)據(jù)關(guān)聯(lián)算法

最近鄰方法（NN）

□單目標(biāo)

trackl1口

口，

Z

/

/

□

GIobaINearestNeighbor(GNN)

□多目標(biāo)

trackl

□

GIobaINearestNeighbor(GNN)

□假定有N個(gè)跟蹤目標(biāo)，當(dāng)前幀有M個(gè)測(cè)量值。因此我們可

以獲得一個(gè)MXN的矩陣，矩陣中的元素表示了測(cè)量和目

標(biāo)之間的匹配程度。此處.暫時(shí)假設(shè)兇=%

12345

10.950.760.620.410.06

20.230.460.790.940.35

30.610.020.920.920.81

40.490.820.740.410.01

50.890.440.180.890.14MaxScore:4.26

尋找一對(duì)一的對(duì)應(yīng)，使得匹配程度總和達(dá)到最大值。

□快速算法：SoftAssign

■J.KosowskyandA.Yuille.Theinvisiblehandalgorithm:Solving

theassignmentproblemwithstatisticalphysics.NeuralNetworks,

7:477-490,1994.

GIobaINearestNeighbor(GNN)

□在絕大多數(shù)情況下，M往往不等于NMatches

1□A

□有的觀測(cè)可能找不到與之匹配的目標(biāo)

2?B

■噪聲、出現(xiàn)的新目標(biāo)3□?C

4□?D

□有的目標(biāo)可能找不到與之匹配的觀測(cè)5□

■匹配錯(cuò)誤、目標(biāo)消失

GIobaINearestNeighbor(GNN)

Introduceonerowandonecolumnof“slackvaiiables“toabsorb

anyoutliermismatches.

GIobaINearestNeighbor(GNN)

MatchesABCDslack

1□Ai00001

2?B

3LJ>c210000

4□?D

5□300100

400010

500001

slack01000

最近鄰方法評(píng)價(jià)

優(yōu)點(diǎn)：

易實(shí)現(xiàn)

計(jì)算量少

缺點(diǎn)：

只適用于信噪比高、目標(biāo)密度小的環(huán)境，對(duì)目

標(biāo)密度較大的情況容易產(chǎn)生關(guān)聯(lián)錯(cuò)誤

運(yùn)動(dòng)目標(biāo)的表示方法

具體介紹常用的跟蹤方法

多目標(biāo)跟蹤的數(shù)據(jù)關(guān)聯(lián)問(wèn)題

多攝像機(jī)跟蹤

多攝像機(jī)跟蹤

在跟蹤過(guò)程中需要使用多個(gè)攝像機(jī)主要基于

以下的兩個(gè)原因：

可以通過(guò)選擇最好的視點(diǎn)來(lái)解決遮擋問(wèn)題；應(yīng)

該說(shuō)，解決遮擋問(wèn)題最有實(shí)際意義的潛在方法

應(yīng)該是基于多攝像機(jī)的跟蹤系統(tǒng)。

可以擴(kuò)大跟蹤的有效區(qū)域，單個(gè)攝像機(jī)的視野

范圍畢竟是有限的。

多攝像機(jī)跟蹤一個(gè)例子

Fig.1.Fourmiagesfroma6-perspectivesequencearaparticulartimeinstant.Theboxesshow

thepositionsfoundbythealgontlini.

MITTAL,A.ANDDAVIS,L.M2tracker:Amultiviewapproachtosegmentingand

trackingpeopleinaclutteredscene.IJCV,200351,3,189-203

多攝像機(jī)跟蹤一個(gè)例子

n

v

J

s

Introduction

?WhatisSLAM?

-SimultaneousLocalizationandMap-Building

-SLAMisatechniqueusedbyrobotsand

autonomousvehiclestobuildupamapwithinan

unknownenvironmentwhileatthesametime

keepingtrackoftheircurrentposition.

Introduction

Introduction

?TheSLAMpr