第三章二維運(yùn)動(dòng)估計(jì)之一

1、第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 第三章第三章 二維運(yùn)動(dòng)估計(jì)二維運(yùn)動(dòng)估計(jì) 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 運(yùn)動(dòng)估計(jì)涉及運(yùn)動(dòng)估計(jì)涉及: 圖像平面運(yùn)動(dòng)圖像平面運(yùn)動(dòng)(二維運(yùn)動(dòng)二維運(yùn)動(dòng)) 和空間物體運(yùn)動(dòng)和空間物體運(yùn)動(dòng)(三維運(yùn)動(dòng)三維運(yùn)動(dòng)),運(yùn)運(yùn) 動(dòng)分析與估計(jì)是數(shù)字視頻處理的基本問(wèn)題之一動(dòng)分析與估計(jì)是數(shù)字視頻處理的基本問(wèn)題之一, 也是數(shù)字視頻處理的難也是數(shù)字視頻處理的難 點(diǎn)和熱點(diǎn)。點(diǎn)和熱點(diǎn)。 運(yùn)動(dòng)分析與估計(jì)廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)、目標(biāo)跟蹤、工業(yè)監(jiān)視和視頻運(yùn)動(dòng)分析與估計(jì)廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)、目標(biāo)跟蹤、工業(yè)監(jiān)視和視頻 壓縮等場(chǎng)合壓縮等場(chǎng)合 不同應(yīng)用場(chǎng)合對(duì)運(yùn)動(dòng)估計(jì)要求不同，有如下區(qū)分：不

2、同應(yīng)用場(chǎng)合對(duì)運(yùn)動(dòng)估計(jì)要求不同，有如下區(qū)分： 真實(shí)運(yùn)動(dòng)估計(jì)：要求估計(jì)獲得的物體運(yùn)動(dòng)和實(shí)際運(yùn)動(dòng)基本真實(shí)運(yùn)動(dòng)估計(jì)：要求估計(jì)獲得的物體運(yùn)動(dòng)和實(shí)際運(yùn)動(dòng)基本 一致。如計(jì)算機(jī)視覺(jué)、目標(biāo)跟蹤、工業(yè)監(jiān)視。一致。如計(jì)算機(jī)視覺(jué)、目標(biāo)跟蹤、工業(yè)監(jiān)視。 非真實(shí)運(yùn)動(dòng)估計(jì)：在不被察覺(jué)的情況下允許有估計(jì)誤差，非真實(shí)運(yùn)動(dòng)估計(jì)：在不被察覺(jué)的情況下允許有估計(jì)誤差， 從而最大限度降低信息量和傳輸帶寬。如廣播電視中的視從而最大限度降低信息量和傳輸帶寬。如廣播電視中的視 頻壓縮。頻壓縮。 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 幾個(gè)基本概念幾個(gè)基本概念 1.時(shí)間序列圖像：隨時(shí)間而變化的一系列圖像稱為時(shí)間序列圖像或運(yùn)動(dòng)時(shí)間序列圖像：

3、隨時(shí)間而變化的一系列圖像稱為時(shí)間序列圖像或運(yùn)動(dòng) 圖像。圖像。 2.運(yùn)動(dòng)物體特征：指物體形狀或表面特征，如尖銳點(diǎn)、邊緣線等。運(yùn)動(dòng)物體特征：指物體形狀或表面特征，如尖銳點(diǎn)、邊緣線等。 可以通過(guò)運(yùn)動(dòng)物體的特征來(lái)觀察分析物體的運(yùn)動(dòng)?？梢酝ㄟ^(guò)運(yùn)動(dòng)物體的特征來(lái)觀察分析物體的運(yùn)動(dòng)。 3.運(yùn)動(dòng)估計(jì)的基本問(wèn)題運(yùn)動(dòng)估計(jì)的基本問(wèn)題 運(yùn)動(dòng)估計(jì)研究的是視頻序列圖像中投影坐標(biāo)在像平面上的變化，獲取運(yùn)動(dòng)估計(jì)研究的是視頻序列圖像中投影坐標(biāo)在像平面上的變化，獲取 運(yùn)動(dòng)參數(shù)，但是投影會(huì)造成信息丟失（不可逆），導(dǎo)致估計(jì)誤差。運(yùn)動(dòng)參數(shù)，但是投影會(huì)造成信息丟失（不可逆），導(dǎo)致估計(jì)誤差。 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 特

4、征對(duì)應(yīng)：運(yùn)動(dòng)物體上的特征與其在二維平面上的投影坐標(biāo)的對(duì)應(yīng)關(guān)特征對(duì)應(yīng)：運(yùn)動(dòng)物體上的特征與其在二維平面上的投影坐標(biāo)的對(duì)應(yīng)關(guān) 系。見(jiàn)下圖示：系。見(jiàn)下圖示： 設(shè)t1t2時(shí)，物體由P運(yùn)動(dòng)至P，即： 空空 間間：P(X,Y,Z) P(X,Y,Z) 像平面像平面： p(x,y) p(x,y) 二維位移（x, y ）稱為二維運(yùn)動(dòng)矢 量，標(biāo)記為d(x,t1;t2)。 對(duì)于一組點(diǎn)，二維空間位移記為 d(xi,t1;t2),i=1,2,。 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 運(yùn)動(dòng)估計(jì)的基本問(wèn)題基本問(wèn)題 是估計(jì)運(yùn)動(dòng)前后相鄰 兩幀圖像上對(duì)應(yīng)點(diǎn)的 坐標(biāo)pi(xi,yi)和pi (xi,yi)， i=1,2,3。

5、即像平面 上對(duì)應(yīng)的二維運(yùn)動(dòng)矢 量di(xi,t1;t2)。 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 4.運(yùn)動(dòng)分析方法：主要有兩種運(yùn)動(dòng)分析方法：主要有兩種 .根據(jù)時(shí)間相鄰的兩幅或多幅圖像求解物體的運(yùn)動(dòng)參數(shù)和三維結(jié)構(gòu)信息。根據(jù)時(shí)間相鄰的兩幅或多幅圖像求解物體的運(yùn)動(dòng)參數(shù)和三維結(jié)構(gòu)信息。 圖像序列的光流分析法。圖像序列的光流分析法。 運(yùn)動(dòng)信息包括：物體的一階（位移）、二階（速度）、三階（加速度）等。運(yùn)動(dòng)信息包括：物體的一階（位移）、二階（速度）、三階（加速度）等。 研究?jī)?nèi)容包括：運(yùn)動(dòng)目標(biāo)檢測(cè)與分割、運(yùn)動(dòng)參數(shù)估計(jì)等。研究?jī)?nèi)容包括：運(yùn)動(dòng)目標(biāo)檢測(cè)與分割、運(yùn)動(dòng)參數(shù)估計(jì)等。 光流：指視覺(jué)觀察到的圖像中產(chǎn)生

6、的光強(qiáng)變化。它一般對(duì)應(yīng)物體的運(yùn)動(dòng)，但也光流：指視覺(jué)觀察到的圖像中產(chǎn)生的光強(qiáng)變化。它一般對(duì)應(yīng)物體的運(yùn)動(dòng)，但也 有不一致的情況。有不一致的情況。 換句話說(shuō)，在視頻圖像序列運(yùn)動(dòng)估計(jì)中，觀察到的二維運(yùn)動(dòng)叫光流。換句話說(shuō)，在視頻圖像序列運(yùn)動(dòng)估計(jì)中，觀察到的二維運(yùn)動(dòng)叫光流。 或定義：視頻序列空間坐標(biāo)關(guān)于時(shí)間的變化率稱為光流，即或定義：視頻序列空間坐標(biāo)關(guān)于時(shí)間的變化率稱為光流，即 (vx,vy)T=(dx/dt,dy/dt)T,其對(duì)應(yīng)于像素的瞬時(shí)速度矢量。其對(duì)應(yīng)于像素的瞬時(shí)速度矢量。 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 綱要 v2-D 運(yùn)動(dòng)和光流運(yùn)動(dòng)和光流 v光流方程解決運(yùn)動(dòng)估計(jì)的一般方法光流方程

7、解決運(yùn)動(dòng)估計(jì)的一般方法 運(yùn)動(dòng)表示運(yùn)動(dòng)表示 運(yùn)動(dòng)場(chǎng)參數(shù)化運(yùn)動(dòng)場(chǎng)參數(shù)化 最優(yōu)化準(zhǔn)則的公式化最優(yōu)化準(zhǔn)則的公式化 尋找最優(yōu)化參數(shù)尋找最優(yōu)化參數(shù) v運(yùn)動(dòng)估計(jì)算法運(yùn)動(dòng)估計(jì)算法 基于光流的運(yùn)動(dòng)估計(jì)基于光流的運(yùn)動(dòng)估計(jì) 基于像素的運(yùn)動(dòng)估計(jì)基于像素的運(yùn)動(dòng)估計(jì) 基于塊的運(yùn)動(dòng)估計(jì)（基于塊的運(yùn)動(dòng)估計(jì)（EBMA） 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 3-D運(yùn)動(dòng)運(yùn)動(dòng) - 2-D運(yùn)動(dòng)運(yùn)動(dòng) 3-D MV 2-D MV 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 2.1 2-D 運(yùn)動(dòng)運(yùn)動(dòng) vs. 光流光流 v2-D 運(yùn)動(dòng)運(yùn)動(dòng): 3-D 運(yùn)動(dòng)的投影運(yùn)動(dòng)的投影, 取決于取決于3D 物體運(yùn)動(dòng)和投影物體運(yùn)動(dòng)和投影 操作。操作

8、。 v光流光流: 觀測(cè)的或表現(xiàn)的二維運(yùn)動(dòng)。觀測(cè)的或表現(xiàn)的二維運(yùn)動(dòng)。 不僅可以由物體運(yùn)動(dòng)引起，還可以由攝像機(jī)運(yùn)動(dòng)或照明條件不僅可以由物體運(yùn)動(dòng)引起，還可以由攝像機(jī)運(yùn)動(dòng)或照明條件 變化引起。注：不等同于真實(shí)的二維運(yùn)動(dòng)。變化引起。注：不等同于真實(shí)的二維運(yùn)動(dòng)。 v左邊是一個(gè)具有均勻平坦表面 的球在恒定的環(huán)境光下轉(zhuǎn)動(dòng)。 每一個(gè)點(diǎn)都反射相同的彩色， 人們感覺(jué)不到球的任何變化， 認(rèn)為球是靜止的。 v右邊是一個(gè)靜止的球，被一個(gè) 繞著球轉(zhuǎn)動(dòng)的點(diǎn)光源照明。光 源的運(yùn)動(dòng)引起球上反射光點(diǎn)的 運(yùn)動(dòng)，人眼認(rèn)為球在運(yùn)動(dòng)。 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 光流方程光流方程 v如果照明條件未知，那么所能得到的最精確

9、估如果照明條件未知，那么所能得到的最精確估 計(jì)就是光流。計(jì)就是光流。 v恒定亮度假設(shè)恒定亮度假設(shè) 光流方程光流方程 又運(yùn)用泰勒展開(kāi)式，當(dāng)又運(yùn)用泰勒展開(kāi)式，當(dāng)dx,dy,dt很小時(shí)，很小時(shí)， 比較上面兩個(gè)式子，得到光流方程：比較上面兩個(gè)式子，得到光流方程： ),(),(tyxdtdydx tyx tyxtyx d t d y d x tyxdtdydx ),(),( 000 tt v y v x d t d y d x T yxtyx v T yx , 其中 空間梯度矢量空間梯度矢量 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 其中： 為圖像空間梯度方向 上的單位矢量 v光流v的分解 將光流v

10、分解為兩個(gè)正交的分量： n e 0 t v T tn eev tn vv 為切線方向上的單位矢量 t e 0 t vn n e n v t e t v v 只能確定圖像空間梯度方向上的分量（法向流） 即：孔徑問(wèn)題 n v 光流方程光流方程 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 圖圖6.3 運(yùn)動(dòng)估計(jì)中的孔徑（用一個(gè)恒定亮度假設(shè)的小窗口）運(yùn)動(dòng)估計(jì)中的孔徑（用一個(gè)恒定亮度假設(shè)的小窗口） 問(wèn)題問(wèn)題: 在在x1 處估計(jì)運(yùn)動(dòng)使用孔徑處估計(jì)運(yùn)動(dòng)使用孔徑1，但是不可能確定運(yùn)動(dòng)，但是不可能確定運(yùn)動(dòng) 是向上的還是垂直于邊緣的，因?yàn)樵谶@個(gè)孔徑中只有一是向上的還是垂直于邊緣的，因?yàn)樵谶@個(gè)孔徑中只有一 個(gè)空間梯

11、度方向?？梢詼?zhǔn)確地估計(jì)個(gè)空間梯度方向?？梢詼?zhǔn)確地估計(jì)x2的運(yùn)動(dòng)，因?yàn)樵诳讖降倪\(yùn)動(dòng)，因?yàn)樵诳讖?2中，圖像有兩個(gè)不同方向的梯度。中，圖像有兩個(gè)不同方向的梯度。 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 運(yùn)動(dòng)估計(jì)中的不確定問(wèn)題運(yùn)動(dòng)估計(jì)中的不確定問(wèn)題 v孔徑問(wèn)題：光流方程只確孔徑問(wèn)題：光流方程只確 定了法向的投影定了法向的投影vn， ，在切線 在切線 的投影是不確定的，任何的投影是不確定的，任何 vt 的值都滿足光流方程。的值都滿足光流方程。 v一個(gè)方程有兩未知數(shù)一個(gè)方程有兩未知數(shù) 要施加附加條件：最通常要施加附加條件：最通常 的約束是流矢量在空間平的約束是流矢量在空間平 滑變化。使我們可以利用

12、滑變化。使我們可以利用 x周圍一個(gè)小的鄰域亮度周圍一個(gè)小的鄰域亮度 變化去估計(jì)變化去估計(jì)x處的運(yùn)動(dòng)。處的運(yùn)動(dòng)。 v運(yùn)動(dòng)估計(jì)僅在有亮度變化運(yùn)動(dòng)估計(jì)僅在有亮度變化 區(qū)域可靠。區(qū)域可靠。 0| t v vv n ttnn eev 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 v參考幀：參考幀： 1(x, t1) v當(dāng)前幀當(dāng)前幀: 2(x, t2) v前向運(yùn)動(dòng)估計(jì)前向運(yùn)動(dòng)估計(jì) /后向運(yùn)動(dòng)估計(jì)：后向運(yùn)動(dòng)估計(jì)： t2 t1 / t2 重點(diǎn)重點(diǎn) v三個(gè)關(guān)鍵問(wèn)題：三個(gè)關(guān)鍵問(wèn)題： Q1：怎樣將運(yùn)動(dòng)場(chǎng)參數(shù)化：怎樣將運(yùn)動(dòng)場(chǎng)參數(shù)化 Q2：用什么樣的準(zhǔn)則來(lái)估計(jì)這些參數(shù)：用什么樣的準(zhǔn)則來(lái)估計(jì)這些參數(shù) Q3：怎樣搜索這些最

13、優(yōu)參數(shù)：怎樣搜索這些最優(yōu)參數(shù) 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 2.2.1 運(yùn)動(dòng)表示法（運(yùn)動(dòng)表示法（Q1） 整體（全整體（全 局）局）: 整體運(yùn)動(dòng)整體運(yùn)動(dòng) 由若干整由若干整 體參數(shù)表體參數(shù)表 示。示。 基于塊：基于塊： 把圖像域把圖像域 固定分成固定分成 許多小的許多小的 方塊，每方塊，每 個(gè)塊用一個(gè)塊用一 個(gè)簡(jiǎn)單的個(gè)簡(jiǎn)單的 模型表征。模型表征。 基于像素：基于像素： 每個(gè)象素都每個(gè)象素都 指定運(yùn)動(dòng)矢指定運(yùn)動(dòng)矢 量量 基于區(qū)域：基于區(qū)域： 將圖像幀分將圖像幀分 為多個(gè)區(qū)域，為多個(gè)區(qū)域， 每個(gè)區(qū)域用每個(gè)區(qū)域用 一個(gè)參數(shù)化一個(gè)參數(shù)化 模型表征。模型表征。 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二

14、維運(yùn)動(dòng)估計(jì)之一 2.2.2 運(yùn)動(dòng)估計(jì)準(zhǔn)則運(yùn)動(dòng)估計(jì)準(zhǔn)則1： （Q2） 基于位移幀差準(zhǔn)則基于位移幀差準(zhǔn)則 v最常用的運(yùn)動(dòng)估計(jì)準(zhǔn)則是參考幀最常用的運(yùn)動(dòng)估計(jì)準(zhǔn)則是參考幀 1與當(dāng)前幀與當(dāng)前幀 2 之間每個(gè)對(duì)應(yīng)點(diǎn)對(duì)之間亮度值之差的和。之間每個(gè)對(duì)應(yīng)點(diǎn)對(duì)之間亮度值之差的和。 v回憶回憶 1中的中的x移動(dòng)到移動(dòng)到 2 中的中的w(x; a) ，則目標(biāo)函，則目標(biāo)函 數(shù)寫(xiě)為：數(shù)寫(xiě)為： min| )();(|)( 12 p DFD wExaxa x vp 是一個(gè)正數(shù)，當(dāng)是一個(gè)正數(shù)，當(dāng) p = 1, 上面的誤差稱為平均上面的誤差稱為平均 絕對(duì)差絕對(duì)差 (MAD), 當(dāng)當(dāng)p = 2,稱為均方差稱為均方差(MSE) v誤差

15、圖像誤差圖像e(x; a) = 2(w(x, a) ) - 1(x) 一般稱為一般稱為 位移幀差位移幀差(DFD) 圖像圖像 v使使 最小的必要條件是它的梯度最小的必要條件是它的梯度=0 )(a DFD E 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 2.2.2 運(yùn)動(dòng)估計(jì)準(zhǔn)則運(yùn)動(dòng)估計(jì)準(zhǔn)則2： 基于光流方程準(zhǔn)則基于光流方程準(zhǔn)則 min| )()();()( |)( 121 p Ax T OF Exxaxdxa v光流方程光流方程 0 tyx d t d y d x v如果如果 dt 很小，令很小，令 )()( 12 xxd t t 0, 0 12112 11 dord y d x T yx v

16、這個(gè)光流方程的離散形式更經(jīng)常用在數(shù)字視頻的運(yùn)動(dòng)估這個(gè)光流方程的離散形式更經(jīng)常用在數(shù)字視頻的運(yùn)動(dòng)估 計(jì)中，求解符合方程的計(jì)中，求解符合方程的x問(wèn)題可以轉(zhuǎn)化成用以下目標(biāo)函數(shù)問(wèn)題可以轉(zhuǎn)化成用以下目標(biāo)函數(shù) （EOF）表示的最小化問(wèn)題：）表示的最小化問(wèn)題： 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 v運(yùn)動(dòng)估計(jì)是一個(gè)不適定（病態(tài)）問(wèn)題運(yùn)動(dòng)估計(jì)是一個(gè)不適定（病態(tài)）問(wèn)題 恒定亮度假定不總是成立恒定亮度假定不總是成立 在平面紋理區(qū)域，不同運(yùn)動(dòng)估計(jì)可以滿足恒定亮度在平面紋理區(qū)域，不同運(yùn)動(dòng)估計(jì)可以滿足恒定亮度 假設(shè)或光流方程。假設(shè)或光流方程。 v在嚴(yán)格數(shù)學(xué)意義上，我們不可能對(duì)不適定問(wèn)題進(jìn)行求在嚴(yán)格數(shù)學(xué)意義上，我

17、們不可能對(duì)不適定問(wèn)題進(jìn)行求 解并得到答案，只能通過(guò)先驗(yàn)知識(shí)找到近似解。解并得到答案，只能通過(guò)先驗(yàn)知識(shí)找到近似解。 v正則化過(guò)程：即用一組與原不適定問(wèn)題相近的適定問(wèn)正則化過(guò)程：即用一組與原不適定問(wèn)題相近的適定問(wèn) 題去逼近原問(wèn)題的解。題去逼近原問(wèn)題的解。 v在基于像素和基于塊運(yùn)動(dòng)估計(jì)中很重要。在基于像素和基于塊運(yùn)動(dòng)估計(jì)中很重要。 2.2.2 運(yùn)動(dòng)估計(jì)準(zhǔn)則運(yùn)動(dòng)估計(jì)準(zhǔn)則3 平滑約束正則化平滑約束正則化 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 2.2.2 運(yùn)動(dòng)估計(jì)準(zhǔn)則運(yùn)動(dòng)估計(jì)準(zhǔn)則3 平滑約束正則化平滑約束正則化 v常用的正則化方法是增加一個(gè)表示平滑變化的常用的正則化方法是增加一個(gè)表示平滑變化的 代

18、價(jià)項(xiàng)來(lái)測(cè)量鄰近像素代價(jià)項(xiàng)來(lái)測(cè)量鄰近像素MV的差：的差： v總的最小化準(zhǔn)則寫(xiě)成：總的最小化準(zhǔn)則寫(xiě)成： AxNy s x aydaxdaE 2 );();()( min)()(aEwaEE ssDFD 。以免模糊系數(shù)應(yīng)該減小來(lái)選擇，物體邊界的權(quán) 運(yùn)動(dòng)平滑的重要性根據(jù)與預(yù)測(cè)誤差有關(guān)的權(quán)系數(shù) )( s w 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 不同準(zhǔn)則之間的關(guān)系 v基于光流方程準(zhǔn)則基于光流方程準(zhǔn)則OF 只有當(dāng)運(yùn)動(dòng)比較小的時(shí)候效果較好。只有當(dāng)運(yùn)動(dòng)比較小的時(shí)候效果較好。 當(dāng)當(dāng)p=2時(shí)最小值函數(shù)是時(shí)最小值函數(shù)是MV的二次函數(shù)。如果運(yùn)動(dòng)參的二次函數(shù)。如果運(yùn)動(dòng)參 數(shù)關(guān)于數(shù)關(guān)于MV線性，則函數(shù)具有唯一的最

19、小值，容易線性，則函數(shù)具有唯一的最小值，容易 求解。求解。 v當(dāng)運(yùn)動(dòng)比較大，可以對(duì)基于光流方程準(zhǔn)則當(dāng)運(yùn)動(dòng)比較大，可以對(duì)基于光流方程準(zhǔn)則OF 進(jìn)行迭代求解，以滿足基于位移幀差（進(jìn)行迭代求解，以滿足基于位移幀差（DFD） 準(zhǔn)則。準(zhǔn)則。 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 2.2.3 優(yōu)化方法（對(duì)誤差函數(shù)進(jìn)行最小化）優(yōu)化方法（對(duì)誤差函數(shù)進(jìn)行最小化） Q3 v窮盡搜索窮盡搜索 通常用在通常用在DFD準(zhǔn)則中當(dāng)準(zhǔn)則中當(dāng)p=1(MAD)的情況的情況 保證全局最優(yōu)保證全局最優(yōu) 計(jì)算量太大計(jì)算量太大 快速算法可以得到次優(yōu)解?？焖偎惴梢缘玫酱蝺?yōu)解。 v基于梯度搜索基于梯度搜索 通常用在通常用在 DFD

20、 或或 OF 準(zhǔn)則，當(dāng)準(zhǔn)則，當(dāng) p=2 (MSE)的情況的情況 可以計(jì)算出梯度可以計(jì)算出梯度 運(yùn)用運(yùn)用OF準(zhǔn)則時(shí)應(yīng)該可以獲得一個(gè)閉合解析式。準(zhǔn)則時(shí)應(yīng)該可以獲得一個(gè)閉合解析式。 通過(guò)先驗(yàn)知識(shí)獲得一個(gè)好的初始解，搜索出局部最優(yōu)的點(diǎn)通過(guò)先驗(yàn)知識(shí)獲得一個(gè)好的初始解，搜索出局部最優(yōu)的點(diǎn) v多分辨率搜索多分辨率搜索 從粗分辨率搜索到細(xì)分辨率，比窮盡搜索快。從粗分辨率搜索到細(xì)分辨率，比窮盡搜索快。 避免陷入局部最優(yōu)避免陷入局部最優(yōu) 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 2.3 基于光流的運(yùn)動(dòng)估計(jì)基于光流的運(yùn)動(dòng)估計(jì) v光流方程 亮度守恒假設(shè)：運(yùn)動(dòng)物體點(diǎn)的亮度（或色度）在其運(yùn) 動(dòng)軌跡上保持不變，變化的是

21、物體的位置。 ),(),( tyx dtdydxtyx tyxtyx d t d y d x tyxdtdydx ),(),( 0 tyx d t d y d x 0 t v y v x yx 或0 t v T 其中 為空間梯度向量， 為光流場(chǎng)。 T yx ,),( yx vvv 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 圖像梯度的計(jì)算 v光流方程的要求：亮度函數(shù)可微 v數(shù)字視頻：有限差分法近似 m,nm+1,n m,n+1m+1,n+1 )1, 1,() 1, 1, 1( ) 1,() 1, 1(), 1,( ), 1, 1(),(), 1( 4 1 knmknm knmknmknm k

22、nmknmknm x )1, 1() 1, 1, 1( ) 1,() 1, 1,(), 1( ), 1, 1(),(), 1,( 4 1 knmknm knmknmknm knmknmknm y ), 1, 1() 1, 1, 1( ), 1,() 1, 1,(), 1( ) 1, 1(),() 1,( 4 1 knmknm knmknmknm knmknmknm t 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 2.3.1 多點(diǎn)鄰域約束 v光流方程 一個(gè)方程，兩個(gè)未 知數(shù) v多點(diǎn)鄰域約束 假設(shè) 的鄰域 內(nèi)所有像素具有相同的光流矢量，光流 方程在領(lǐng)域 上的誤差定義為： )( i x 2 )(

23、Bx yx t v y v x wE x i x 其中 為分配給 的權(quán)重。令 可得： )( i x )(xwx0 yx v E v E 0)( xt v y v x xw Bx yx 0)( yt v y v x xw Bx yx 0 t v y v x yx 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 v多點(diǎn)鄰域約束 則光流矢量的估計(jì)值為： Bx Bx BxBx BxBx y x ty xw tx xw yy xw yx xw yx xw xx xw v v )( )( )()( )()( 1 2.3.1 多點(diǎn)鄰域約束 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 2.3.2 運(yùn)動(dòng)平滑約束

24、 運(yùn)動(dòng)場(chǎng)的平滑性 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 v運(yùn)動(dòng)平滑約束 由Horn和Schunck提出，對(duì)整個(gè)運(yùn)動(dòng)場(chǎng)或局部窗施加全局 平滑約束。 目標(biāo)誤差函數(shù)為： x ssof dxeweE)()()( 22 vvv 其中 為運(yùn)動(dòng)估計(jì)的定義域，可以是整幅圖像或一個(gè)局部窗。 2 2 )( t v y v x e yxof v 222 2 2 2 2 )( y v x v y v x v vve yy xx yxs v )( 2 v s e為光流空間梯度光流空間梯度的平方函數(shù)，它反映了光流矢量隨像素 變化的快慢程度 為光流方程誤差的平方函數(shù) 2.3.2 運(yùn)動(dòng)平滑約束 第三章二維運(yùn)動(dòng)估計(jì)之一

25、第三章二維運(yùn)動(dòng)估計(jì)之一 對(duì) 求關(guān)于 和 的偏微 分，并令其為0，可得： )(vE x v y v v運(yùn)動(dòng)平滑約束 最小化 施加光流 約束 最小化 施加運(yùn)動(dòng) 平滑約束 )( 2 v of e ty vwv y wv yx tx vwv yx v x w ysysx xsyxs 2 2 )( 2 v s e 2 2 )()( )()1( 2 2 )()( )()1( yx w t v y v x y vv yx w t v y v x x vv s l y l x l y l y s l y l x l x l x 表示對(duì)像素鄰域（不包括當(dāng) 前像素）求平均。 表示迭代次數(shù)，初始光流矢 量 可設(shè)為零

26、。 )0( v l v 2.3.2 運(yùn)動(dòng)平滑約束 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 2.4 基于像素的運(yùn)動(dòng)估計(jì)基于像素的運(yùn)動(dòng)估計(jì) v最優(yōu)化方法最優(yōu)化方法1：多鄰域方法：多鄰域方法 假設(shè)像素假設(shè)像素xn 周圍的小范圍內(nèi)各個(gè)像素的運(yùn)動(dòng)向量（周圍的小范圍內(nèi)各個(gè)像素的運(yùn)動(dòng)向量（MV）一致。）一致。 最小化鄰域上的預(yù)測(cè)誤差。最小化鄰域上的預(yù)測(cè)誤差。 v最優(yōu)化方法最優(yōu)化方法2：像素遞歸方法：像素遞歸方法 當(dāng)前像素的當(dāng)前像素的MV是在已經(jīng)編碼的鄰近像素的是在已經(jīng)編碼的鄰近像素的MV上更新的。根上更新的。根 據(jù)同樣的更新規(guī)則，據(jù)同樣的更新規(guī)則，MV不用編碼。不用編碼。 應(yīng)用在較早幾代的視頻編碼器中

27、。應(yīng)用在較早幾代的視頻編碼器中。 v準(zhǔn)則準(zhǔn)則平滑約束正則化：平滑約束正則化：Horn-Schunck 方方 法法 光流方程準(zhǔn)則光流方程準(zhǔn)則 + 運(yùn)動(dòng)平滑準(zhǔn)則運(yùn)動(dòng)平滑準(zhǔn)則 )()()( 2 2 2 yxsyx A vvw t v y v x vE x x 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 2.4 基于像素的運(yùn)動(dòng)估計(jì)基于像素的運(yùn)動(dòng)估計(jì) v與光流法一樣，估計(jì)每個(gè)像素的運(yùn)動(dòng)矢量 v位移幀差 像素x從t1時(shí)刻到t1+dt時(shí)刻的位移幀差為： ),(),(),( 11 tdte t xdxdx T yx dd,d 為為x處的位移矢量處的位移矢量 tyxt d t d y d x tdt ),()

28、,( 11 xdx tyx d t d y d x e ),(dx 由亮度守恒假設(shè)由亮度守恒假設(shè) ，即：，即：0),(dxe 0 tyx d t d y d x 兩邊同時(shí)除以兩邊同時(shí)除以dt，可得：，可得：0 t v y v x yx （光流方程）（光流方程） 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 多點(diǎn)鄰域約束 l假設(shè) 的鄰域 內(nèi)所有像素具有相同的運(yùn)動(dòng)矢量， 領(lǐng)域 上的誤差函數(shù)為： 2 )( 12 )()()( 2 1 )( i Bx ii wE x xdxxd )( 2 )(),()()( i Bx ii i i ew E E x xd dxdxx d d )( i x )( i x

29、 i x 其中，w(x)為分配給x的權(quán)重。誤差函數(shù)關(guān)于運(yùn)動(dòng)矢量di的 梯度為： 使用基于一階梯度下降一階梯度下降的方法求解運(yùn)動(dòng)矢量di： )( )()1( i l i l i E ddd d 為更新步長(zhǎng)。 也可以使用窮盡搜索法尋找di。 2.4.1 多點(diǎn)鄰域約束多點(diǎn)鄰域約束 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 像素遞歸法 l沿圖像掃描方向逐個(gè)估計(jì)像素的運(yùn)動(dòng)矢量。 l新像素的運(yùn)動(dòng)矢量由已估計(jì)像素的運(yùn)動(dòng)矢量進(jìn)行預(yù)測(cè) l使用基于位移幀差函數(shù)最小化的方法更新運(yùn)動(dòng)矢量 l像素的位移矢量無(wú)需編碼 解碼器端使用同樣的預(yù)測(cè)更新機(jī)制 l估計(jì)精度較低，預(yù)測(cè)誤差較大 );,();,();,( ttpt d

30、tdtdtxuxdxd 局部平滑約束 光流約束 2.4.2 像素遞歸法像素遞歸法 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 基于梯度下降的算法 v基于梯度下降的算法(Netravali-Robbins) 最小化位移幀差函數(shù) 迭代方程： 為更新步長(zhǎng)； 為關(guān)于d的梯度。 關(guān)于位移矢量的梯度計(jì)算關(guān)于圖像梯度的計(jì)算 終止迭代條件：更新項(xiàng)或位移幀差小于某閾值 收斂速度取決于 的選取 同樣存在孔徑問(wèn)題 2 12 2 )()(),(),(xdxdxdx i eE ),(),( )()()() 1(llll eedxdxdd d ),( )(l edx d )(),( )( 2 )()()1(llll e

31、dxdxdd x 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 多點(diǎn)鄰域約束的像素遞歸法 v使用多點(diǎn)鄰域約束的像素遞歸法 目標(biāo)誤差函數(shù)為： xx xdxdxdx 2 12 2 )()(),(),(eE 1234 56x 16為已經(jīng)估計(jì)的像素 x為當(dāng)前像素 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 v將圖像分成一個(gè)個(gè)規(guī)則的圖像塊，對(duì)每個(gè)塊進(jìn)行運(yùn)動(dòng)估計(jì)。 v廣泛應(yīng)用于各種視頻壓縮編碼標(biāo)準(zhǔn)中。 v塊運(yùn)動(dòng)模型 塊平移模型 假定每個(gè)塊只做平移運(yùn)動(dòng) 優(yōu)點(diǎn)：實(shí)現(xiàn)簡(jiǎn)單 缺點(diǎn)：1、不能表征旋轉(zhuǎn)、縮放和局部變形；2、物體邊界和塊邊界通常 不一致，導(dǎo)致塊失真；3、同一塊可能包含多個(gè)運(yùn)動(dòng)物體。 可變形塊模型 可以

32、對(duì)物體的旋轉(zhuǎn)、縮放、變形建模 三種模型：投影運(yùn)動(dòng)、仿射運(yùn)動(dòng)、雙線性運(yùn)動(dòng) v方法：相位相關(guān)法、塊匹配法 2.5 基于塊的運(yùn)動(dòng)估計(jì)基于塊的運(yùn)動(dòng)估計(jì) 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 塊平移模型 a) 非重疊塊 b) 重疊塊 6.4 基于塊的運(yùn)動(dòng)估計(jì)基于塊的運(yùn)動(dòng)估計(jì) 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 2.5 基于塊的運(yùn)動(dòng)估計(jì)（塊匹配算法）基于塊的運(yùn)動(dòng)估計(jì)（塊匹配算法） v假設(shè)把圖像域分割成互不重疊的小區(qū)域（塊），假設(shè)把圖像域分割成互不重疊的小區(qū)域（塊）， 每個(gè)塊內(nèi)像素運(yùn)動(dòng)一致。每個(gè)塊的運(yùn)動(dòng)參數(shù)可每個(gè)塊內(nèi)像素運(yùn)動(dòng)一致。每個(gè)塊的運(yùn)動(dòng)參數(shù)可 獨(dú)立搜索。獨(dú)立搜索。 v塊匹配算法塊匹配

33、算法 (BMA): 假設(shè)塊進(jìn)行平移運(yùn)動(dòng)，每假設(shè)塊進(jìn)行平移運(yùn)動(dòng)，每 個(gè)塊規(guī)定一個(gè)向量個(gè)塊規(guī)定一個(gè)向量 窮盡塊匹配算法窮盡塊匹配算法 (EBMA) 快速算法快速算法 v可變形塊匹配算法可變形塊匹配算法(DBMA): 允許更多復(fù)雜的運(yùn)允許更多復(fù)雜的運(yùn) 動(dòng)（仿射，雙線性）動(dòng)（仿射，雙線性） 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 2.5 基于塊的運(yùn)動(dòng)估計(jì)基于塊的運(yùn)動(dòng)估計(jì) v基本思路：基本思路： 假設(shè)塊內(nèi)各個(gè)像素都進(jìn)行平移運(yùn)動(dòng)，用一個(gè)假設(shè)塊內(nèi)各個(gè)像素都進(jìn)行平移運(yùn)動(dòng)，用一個(gè) MV表表 示示 用最小化塊的位移幀差用最小化塊的位移幀差DFD來(lái)獨(dú)立估計(jì)每個(gè)塊的運(yùn)來(lái)獨(dú)立估計(jì)每個(gè)塊的運(yùn) 動(dòng)向量動(dòng)向量 v最小化

34、函數(shù)最小化函數(shù) v 最優(yōu)化方法：最優(yōu)化方法： 窮盡搜索法窮盡搜索法 (適用于一次搜索一個(gè)運(yùn)動(dòng)矢量的情況，適用于一次搜索一個(gè)運(yùn)動(dòng)矢量的情況， p=1的的MAD準(zhǔn)則準(zhǔn)則) 快速算法快速算法 整數(shù)整數(shù) vs.分?jǐn)?shù)精度搜索分?jǐn)?shù)精度搜索 min| )()(|)( 12 p m B mDFD m Exdxd x 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 窮盡塊匹配算法窮盡塊匹配算法 (EBMA) 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 整數(shù)像素精度整數(shù)像素精度 EBMA的復(fù)雜度的復(fù)雜度 v假設(shè)假設(shè) 圖像尺寸圖像尺寸: M M 塊尺寸塊尺寸: N N 每個(gè)方向的搜索范圍每個(gè)方向的搜索范圍: (-R

35、,R) 搜索步長(zhǎng)搜索步長(zhǎng): 1 pixel (假設(shè)整數(shù)假設(shè)整數(shù)MV) v運(yùn)算次數(shù)運(yùn)算次數(shù) (1 次運(yùn)算次運(yùn)算=1 “-”, 1 “+”, 1 “| |”): 每個(gè)塊的候選匹配塊總數(shù)：每個(gè)塊的候選匹配塊總數(shù)： (2R+1)2 每個(gè)候選估計(jì)的每個(gè)候選估計(jì)的MAD運(yùn)算數(shù)：運(yùn)算數(shù)：N2 估計(jì)每個(gè)塊的估計(jì)每個(gè)塊的MV運(yùn)算數(shù)：運(yùn)算數(shù)： (2R+1)2 N2 整個(gè)幀整個(gè)幀 的的MV運(yùn)算數(shù)：運(yùn)算數(shù)：(M/N)2(2R+1)2 N2 = M2(2R+1)2 和塊的大小和塊的大小N無(wú)關(guān)無(wú)關(guān) v如：如： M=512, N=16, R=16, 30 fps（幀率）（幀率） 總的運(yùn)算量：總的運(yùn)算量： 2.85 108

36、/frame =8.55 109/second v結(jié)構(gòu)規(guī)整，可用模塊化設(shè)計(jì)，有利于結(jié)構(gòu)規(guī)整，可用模塊化設(shè)計(jì)，有利于VLSI設(shè)計(jì)應(yīng)用設(shè)計(jì)應(yīng)用 v純軟件實(shí)現(xiàn)有難度純軟件實(shí)現(xiàn)有難度 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 6.4.2 分?jǐn)?shù)精度分?jǐn)?shù)精度 EBMA v現(xiàn)實(shí)的運(yùn)動(dòng)矢量不一定是整數(shù)像素倍數(shù)。為了更精確現(xiàn)實(shí)的運(yùn)動(dòng)矢量不一定是整數(shù)像素倍數(shù)。為了更精確 的運(yùn)動(dòng)表示，需要分?jǐn)?shù)像素精度。的運(yùn)動(dòng)表示，需要分?jǐn)?shù)像素精度。 v半像素精度搜索：步長(zhǎng)半像素精度搜索：步長(zhǎng)=1/2 像素像素 v難點(diǎn)：難點(diǎn)： 目標(biāo)幀只有整數(shù)像素目標(biāo)幀只有整數(shù)像素 v解決方法解決方法: 為了實(shí)現(xiàn)為了實(shí)現(xiàn)1/2像素步長(zhǎng)，目標(biāo)幀必須

37、先進(jìn)行像素步長(zhǎng)，目標(biāo)幀必須先進(jìn)行2倍內(nèi)插。倍內(nèi)插。 通常使用雙線性插值法通常使用雙線性插值法 v復(fù)雜度：復(fù)雜度： 搜索點(diǎn)總數(shù)等于整數(shù)像素精度搜索的四倍，加上內(nèi)插所需的搜索點(diǎn)總數(shù)等于整數(shù)像素精度搜索的四倍，加上內(nèi)插所需的 額外運(yùn)算量，復(fù)雜性大于額外運(yùn)算量，復(fù)雜性大于4倍倍 v快速算法：快速算法： 先用整像素精度搜索，然后用半像素精度在小范圍內(nèi)細(xì)化。先用整像素精度搜索，然后用半像素精度在小范圍內(nèi)細(xì)化。 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 v真實(shí)運(yùn)動(dòng)未必是整 數(shù)值 v分?jǐn)?shù)精度搜索可提 高運(yùn)動(dòng)估計(jì)的精度 v半像素精度 MPEG- 1、 MPEG-2、 H.263 v1/4和1/8像素精度 M

38、PEG-4、H.264 分?jǐn)?shù)精度分?jǐn)?shù)精度 EBMA 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 分?jǐn)?shù)精度 原始參考圖像 線性內(nèi)插 內(nèi)插后的參考圖像 M N 2M 2N 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 EBMA的優(yōu)缺點(diǎn)的優(yōu)缺點(diǎn) v塊效應(yīng)塊效應(yīng)(塊邊界不連續(xù)塊邊界不連續(xù)) 塊位移模型不精確塊位移模型不精確 解決方法：可變形塊匹配算法解決方法：可變形塊匹配算法 v運(yùn)動(dòng)域是隨機(jī)的運(yùn)動(dòng)域是隨機(jī)的 塊和塊之間的運(yùn)動(dòng)矢量估計(jì)是獨(dú)立的塊和塊之間的運(yùn)動(dòng)矢量估計(jì)是獨(dú)立的 解決方法解決方法1: 基于網(wǎng)格的運(yùn)動(dòng)估計(jì)基于網(wǎng)格的運(yùn)動(dòng)估計(jì) 解決方法解決方法2：提

39、高正則化的光滑約束：提高正則化的光滑約束 v平滑區(qū)域產(chǎn)生錯(cuò)誤的平滑區(qū)域產(chǎn)生錯(cuò)誤的MV 當(dāng)光梯度接近當(dāng)光梯度接近0時(shí)無(wú)法估計(jì)出運(yùn)動(dòng)。時(shí)無(wú)法估計(jì)出運(yùn)動(dòng)。 v基于塊的運(yùn)動(dòng)估計(jì)廣泛應(yīng)用在視頻編碼中基于塊的運(yùn)動(dòng)估計(jì)廣泛應(yīng)用在視頻編碼中 基于它的簡(jiǎn)單性和預(yù)測(cè)誤差最小化基于它的簡(jiǎn)單性和預(yù)測(cè)誤差最小化 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 BMA快速算法快速算法 v基本想法：基本想法： 減小搜索候選塊的個(gè)數(shù)：減小搜索候選塊的個(gè)數(shù)： 只搜索那些有可能產(chǎn)生誤差的塊只搜索那些有可能產(chǎn)生誤差的塊 基于前期搜索結(jié)果，預(yù)測(cè)剩下的候選塊。基于前期搜索結(jié)果，預(yù)測(cè)剩下的候選塊。 簡(jiǎn)化差錯(cuò)度量簡(jiǎn)化差錯(cuò)度量(DFD) ，以

40、減小計(jì)算量。，以減小計(jì)算量。 v經(jīng)典的快速算法經(jīng)典的快速算法 二維對(duì)數(shù)搜索法二維對(duì)數(shù)搜索法 三步搜索法三步搜索法 新三步搜索法新三步搜索法 菱形搜索法菱形搜索法 v更多的快速搜索算法更多的快速搜索算法 有些是針對(duì)軟件應(yīng)用的，有些針對(duì)有些是針對(duì)軟件應(yīng)用的，有些針對(duì)VLSI應(yīng)用。應(yīng)用。 第三章二維運(yùn)動(dòng)估計(jì)之一第三章二維運(yùn)動(dòng)估計(jì)之一 二維對(duì)數(shù)搜索法二維對(duì)數(shù)搜索法 v從零位移的位置開(kāi)從零位移的位置開(kāi) 始搜索始搜索 v每一步搜索每一步搜索5個(gè)菱形個(gè)菱形 排列的點(diǎn)。排列的點(diǎn)。 v下一步，把中心移下一步，把中心移 到前一步找到的最到前一步找到的最 佳匹配點(diǎn)并重復(fù)菱佳匹配點(diǎn)并重復(fù)菱 形搜索。形搜索。 v當(dāng)最佳匹配點(diǎn)是中當(dāng)最佳匹配點(diǎn)是中 心點(diǎn)或是在最大搜心點(diǎn)或是在最大搜 索區(qū)域的邊界上時(shí)，索區(qū)域的邊