機(jī)器視覺—運(yùn)動(dòng)場和光流

1、機(jī)器視覺 運(yùn)動(dòng)場與光流研發(fā)部培訓(xùn)講義 2016-05-18導(dǎo) 論 序列圖像視頻 當(dāng)攝影機(jī)和被攝影物體之間存在相對運(yùn)動(dòng)時(shí)，在物體所成的圖像序列中，可以觀測到的亮度模式的明顯變化稱為光流。 主要內(nèi)容 運(yùn)動(dòng)場和光流 光流約束方程 變分光流原理 差分化求解 研究現(xiàn)狀分析1. 運(yùn)動(dòng)場和光流 運(yùn)動(dòng)場的定義：攝影機(jī)和空間環(huán)境存在相對運(yùn)動(dòng)；圖像中的每一個(gè)點(diǎn)都對應(yīng)于一個(gè)空間點(diǎn)；每一個(gè)空間點(diǎn)相對于攝影機(jī)的速度向量都可以投影為像平面上一個(gè)點(diǎn)上的二維速度向量，圖像上每個(gè)像素的二維速度向量就構(gòu)成運(yùn)動(dòng)場。iroripoPtvotvi221zrzvrzrrzvvzrvfzrrzrrfrdtrdvanddtrdvToooTo

2、oTooToiTooooiiioofzBACCABCBArvzzrvzvroooooo1. 運(yùn)動(dòng)場和光流 物體在圖像上所產(chǎn)生的亮度模式的變化稱為光流。 光流和運(yùn)動(dòng)場不總是一致的！運(yùn)動(dòng)場不為0，光流為0！運(yùn)動(dòng)場為0，光流不為0！1. 運(yùn)動(dòng)場和光流 從序列圖像中能夠提取出來的是光流，而不是運(yùn)動(dòng)場。 必須假設(shè)：大多數(shù)情況下，光流和運(yùn)動(dòng)場的區(qū)別不是很大。只有這樣才能夠根據(jù)光流來估計(jì)物體和相機(jī)之間的相對運(yùn)動(dòng)。通過圖像的局部信息不能夠唯一確定光流2. 光流約束方程 亮度一致性假設(shè)：假設(shè)3D場景中攝影目標(biāo)上每個(gè)點(diǎn)的亮度值在微小時(shí)空間隔內(nèi)保持恒定。ttyxtyxIuIIvuIIIvIuIdtdItIdtdyy

3、IdtdxxItyxIettIyyIxxItyxItyxIttyyxxI,000,uvTyxIIn,0tyxIvIuI沿著灰度梯度方向的光流分量可以確定！但是垂直于灰度梯度方向上的光流分量無法確定！孔徑問題孔徑問題3. 變分光流原理 根據(jù)光流約束方程無法唯一確定光流信息！必須引入假設(shè)。 光滑性假設(shè)：運(yùn)動(dòng)場在圖像中的大部分區(qū)域是連續(xù)變化的。 衡量光流“不光滑”的程度： 光流約束方程的偏差： 變分問題：dxdyvvuudxdyvueyxyxs222222dxdyIvIuIetyxd2平滑項(xiàng)數(shù)據(jù)項(xiàng)dseemin3. 變分光流原理 ytyxxtyxyvxvyuxuytyxvxtyxutyxyxyxII

4、vIuIvIIvIuIuyvvyFyxvvxFxyuuyFyxuuxFxIIvIuIFIIvIuIFIvIuIvvuuFyxyx2222222222222222222222222偏微分方程的定解條件 第一類邊界條件：給定邊界點(diǎn)的函數(shù)值 第二類邊界條件：給定邊界點(diǎn)的法向?qū)?shù)yxuu,0yxuunn,3. 變分光流原理 對于亮度均勻的區(qū)域：已知邊界上的光流值，或者已知邊界上光流的法向?qū)?shù)，區(qū)域內(nèi)的光流都可以唯一的確定！ 變分的自然邊界條件：讓解在邊界上自由變化 光流場的法向?qū)?shù)在邊界上為零！0,; 0,0, ; 0,;,minnvvnuunFFnFFdsdxdsdyndsdxFdsdyFdsdxF

5、dsdyFdxdyvvuuvuFyxyxvvuuTuuuuyxyxyxyxyxyx4. 差分化求解 平滑項(xiàng)： 數(shù)據(jù)項(xiàng)： 最優(yōu)化：尋找一組ui,j, vi,j，使得21,2,1,2, 1,2, 121,2,1,2, 1,2, 1,41jijijijijijijijijijijijijijijijijivvvvvvvvuuuuuuuus2,jitjijiyjijixjiIvIuIdijjijidse,min1,1, 1, 1,1,1, 1, 1,41;412222jijijijijijijijijijijiyjitjijiyjijixjijijijixjitjijiyjijixjijijivvvv

6、vuuuuuIIvIuIvvveIIvIuIuuue4. 差分化求解 方程組系數(shù)矩陣的行列式值為： 方程組的解：jitjiyjijitjixjijijijiyjiyjixjiyjixjixIIvIIuvuIIIIII,2,2,112,2,2,2,111jiyjixjiyjiyjixjiyjixjixIIIIIIII2,2,2,2,2,2,1111jiyjixjitjiyjijixjijiyjixjijiyjixjitjixjijiyjixjijiyjiIIIIvIuIIvIIIIvIIuIu4. 差分化求解 迭代解形式： 灰度偏導(dǎo)數(shù)：jiyjiyjixjitnjijiynjijixnjinjijixjiyjixjitnjijiynjijixnjinjiIIIIvIuIvvIIIIvIuIuu,2,2,)(,)(,)(,)1(,2,2,)(,)(,)(,)1(,11kjikjikjikjikjikjikjikjitkjikjikjikjikjikjikjikjiykjikjikjikjikjikjikjikjixIIIItIIIItIIIIIyIIIIyIIIIIxIIIIxI, 1, 1, 1, 1,1, 1, 11, 11, 1,1,1, 1, 11,1, 1