光流綜述實(shí)用PPT學(xué)習(xí)教案

1、會(huì)計(jì)學(xué)1光流綜述實(shí)用光流綜述實(shí)用三維場中P點(diǎn)的運(yùn)動(dòng)投影到二維平面后形成的M點(diǎn)的二維運(yùn)動(dòng)場 第1頁/共25頁 光流場則是指圖像灰度模式的表面運(yùn)動(dòng)，它是一種像素級的運(yùn)動(dòng)，理想情況下，光流場和二維運(yùn)動(dòng)場互相吻合，但實(shí)際上并不經(jīng)常如此。 第2頁/共25頁 這里我們可以認(rèn)為光流場實(shí)際就是在時(shí)間序列上幀與幀之間圖像的像素級運(yùn)動(dòng)，后面的部分，我們將討論如何求出視頻中運(yùn)動(dòng)物體的光流場，而運(yùn)動(dòng)場和光流場的不一致問題，則不在我們此次討論范圍內(nèi) 。第3頁/共25頁第4頁/共25頁第5頁/共25頁 上圖表示兩幅圖像某區(qū)域 R的匹配， F(x) 和 G(x)分別表示兩幅圖像在相應(yīng)坐標(biāo)下的像素灰度值，我們的目標(biāo)是找到相應(yīng)

2、的向量h，使得在感興趣的區(qū)域 R中，F(xiàn)(x+h) 和 G(x)的差別最小，這里的差別也就是：1R()( ).xLnormF xhG x第6頁/共25頁 一維坐標(biāo)下兩條曲線的匹配我們的算法是基于 F(x) 上在 x 鄰域上具有線性性質(zhì)的假設(shè) 當(dāng) h 較小時(shí)，我們可以得出： ()( )( )( )( ).F xhF xF xhG xF xh( )( ).( )G xF xhF x1R()( ).xLnormF xhG x第7頁/共25頁 牛頓迭代法是一種求方程根的方法，如圖所示藍(lán)色曲線是我們要求的方程，所求目標(biāo)便是圖中所示的曲線與x軸的交點(diǎn)，是經(jīng)過n次迭代后的結(jié)果，在收斂的情況下，它是不斷向正確的

3、值逼近的。1()0()nnnnf xyfxxxx1()()nnnnf xxxfx由 可以得到： ( )( )()f hG xF xh( )()fhF xh 于是我們令：1()( )()( )()()()()kkkkkkkkkkf hG xF xhG xF xhhhhhfhFxhFxh第8頁/共25頁1( ).( )( )w xG xF x1( ) ( )()( )()kkkxxkw x G xF xhhhw xFxh第9頁/共25頁 這里有個(gè)問題就是在曲線為平的時(shí)候， 為零時(shí)，作為分母，h的求取會(huì)出現(xiàn)無意義的情況。 于是我們做一個(gè)小變換， ，將它代入使兩曲線的E最小，這里我們使用差的平方來判斷

4、兩者差異大小，有：( )F x()( )( )F xhF xhF x2 ()( )xEF xhG x為了使誤差E最小，我們對E求h的導(dǎo)數(shù)：20 ( )( )( )2 ( ) ( )F(x)-G(x)xxEF xhFxG xhhFx F xh2( ) ( )( )( )xxFx G xF xhFx12( ) () ( )()( ) ()kkxkkkxw x FxhG xF xhhhw x Fxh第10頁/共25頁20 ( )( )( )2 ( ) ( )( )( )xxEhF xhFxG xhFx F xhFxG x由一維擴(kuò)展到多維：20 ( )( )2 ( )( )xxEhFF xhG xhx

5、FFF xhG xxx() ( )( )() ()TxTxFG xF xxhFFxx12.Tnxxxx第11頁/共25頁( )sin ,( )()sin().F xxG xF xhxhh第12頁/共25頁( , , )(,)I x y tI xdx ydy tdt第13頁/共25頁( , , )(,)I x y tI xdx ydy tdtLK算法基于以下三個(gè)假設(shè)： 1）亮度恒定 2）時(shí)間連續(xù)或者是運(yùn)動(dòng)是“小運(yùn)動(dòng)” 3）空間一致，臨近點(diǎn)有相似運(yùn)動(dòng)，保持相鄰第14頁/共25頁 之前的匹配中我們對F(x+h）進(jìn)行一階展開：使得F(x+h)=F(x)+hF(x)，然后代入相關(guān)公式中計(jì)算。(,)I x

6、dxydy tdt，(,)( , , )IIII xdx ydy tdtI x y tdxdydtxyt0 xytI dxI dyI dt對t求導(dǎo)，令 分別表示水平方向、垂直方向的光流速度， 表示某方向的梯度，用一階差分代替一階微分，于是光流基本計(jì)算公式有一般形式：,dxdyuvdtdt*IXytI uI vI 第15頁/共25頁XytI uI vI xytuIIIv 111222.xytxytIIIIIIuv 假設(shè)在一個(gè)小窗口內(nèi)的像素光流是一致的：Aub第16頁/共25頁使用最小二乘法解 里的向量u:Aub1()TTuA AA b22xxyTxyyII IA AI II圖三情況下，在紋理密集的地方可以求得u。考慮矩陣的可逆性：第17頁/共25頁第18頁/共25頁第19頁/共25頁1111111111( , )(2 ,2 )41(21,2 )(21,2 )(2 ,21)(2 ,21)81(21,21)(21,21)(21,21)(21,21)16LLLLLLLLLLIx