基于Zynq的光流法軟硬件協(xié)同設(shè)計(jì)與實(shí)現(xiàn)

基于Zynq的光流法軟硬件協(xié)同設(shè)計(jì)與實(shí)現(xiàn)本項(xiàng)目采用的光流算法是基于Horn-Schunck[5]的模型,與Lucas-Kanade[2]光流算法相比，它算出的光流更稠密，能夠精確到每一個(gè)像素點(diǎn)；但是它因需要求解歐拉-拉格朗日方程需要成大量的迭代，因此計(jì)算光流的時(shí)間相當(dāng)耗時(shí)，比如在Zedboard的單核ARM上處理640x480的圖片序列需要24.14s才能完成，這表明在傳統(tǒng)單架構(gòu)的嵌入式平臺(tái)上很難滿足光流場(chǎng)實(shí)時(shí)計(jì)算的要求。1.基于Horn-Schunck模型的光流算法1.1光流的約束條件

光流15wx鈮?ux,vx,ht)">的假設(shè)條件認(rèn)為圖像序列,在時(shí)間t15t">的某一像素點(diǎn)與在時(shí)間15t+1">t+1的這一像素點(diǎn)的偏移量15(x+u,y+v)">保持不變，即。這就是灰度值守恒假設(shè)，通過Taylor展開，就能得到光流的約束條件(OFC):，其中下標(biāo)表示圖像的梯度。1.2Horn-Schunck模型

1981年，Horn和Schunck根據(jù)同一個(gè)運(yùn)動(dòng)物體的光流場(chǎng)具有連續(xù)、平滑的特點(diǎn),提出一個(gè)附加約束條件，將光流場(chǎng)的整體平滑約束轉(zhuǎn)換為一個(gè)變分的問題。它的能量方程如下：

其中數(shù)據(jù)項(xiàng)表示灰度值守恒約束，平滑項(xiàng)表示光流平滑約束。1.3Euler-Lagrange方程

根據(jù)Horn-Schunck能量方程，可以推導(dǎo)出離散的歐拉-拉格朗日方程如下：

其中，表示圖像像素點(diǎn)的坐標(biāo)，表示一個(gè)像素點(diǎn)的上下左右四個(gè)方向的相鄰的像素點(diǎn)，當(dāng)然，在圖像的邊界會(huì)少于四個(gè)元素。1.4超松弛迭代（SOR）

根據(jù)上面的歐拉-拉格朗日方程，不難推到出迭代方程。這里選用收斂速度最快的超松弛算法（SOR），光流的初始值是，迭代方程如下：

其中，w是迭代的權(quán)重因子,k是迭代的次數(shù)，是光流的計(jì)算的權(quán)值，表示第個(gè)像素點(diǎn)的上和左的相鄰像素點(diǎn)，表示第個(gè)像素點(diǎn)的下和右的相鄰像素點(diǎn)。2工作流程介紹根據(jù)上面的理論分析，可以把光流法的計(jì)算劃分為四個(gè)階段：預(yù)處理階段（P1）、梯度計(jì)算階段（P2）、運(yùn)動(dòng)模型構(gòu)造階段（P3）和迭代階段（P5），如圖2所示。2.1預(yù)處理階段（P1）

這一階段是平滑處理的圖像序列，它的作用是用來減少圖像噪音和外部的影響，通常用卷積來實(shí)現(xiàn)的。這一階段是一個(gè)通用的圖像操作。2.2梯度計(jì)算階段（P2）

這一階段是用來計(jì)算平滑好的圖像的梯度，包括水平梯度、垂直梯度和時(shí)間梯度。計(jì)算梯度通常也是通過卷積來實(shí)現(xiàn)的。2.3運(yùn)動(dòng)模型構(gòu)造階段（P3）

這一階段是根據(jù)計(jì)算出來的梯度來構(gòu)造運(yùn)動(dòng)模型的信息。根據(jù)超松弛公式可以推出需要構(gòu)造五個(gè)運(yùn)動(dòng)模型的信息，即J11、J12、J13、J22、J23。它的操作就是矩陣乘法。2.4迭代階段（P4）

這一階段就是通過超松弛算法計(jì)算光流的結(jié)果，每一次迭代完了需要把光流的信息更新一遍，再作為初始值進(jìn)行下一次迭代。這一階段的操作是根據(jù)迭代公式來實(shí)現(xiàn)的。

2.3軟件的執(zhí)行時(shí)間軟件的實(shí)驗(yàn)平臺(tái)是在Zedboard上ARMCortex-A9處理器上來測(cè)試的，其中包括2個(gè)32KB一級(jí)緩存和512KB的共享二級(jí)緩存，以及512MB的內(nèi)存空間，采用的測(cè)試集下載自。Horn-Schunck光流算法是通過ANSIC實(shí)現(xiàn)的。其中迭代的次數(shù)設(shè)為100次。基于Horn-Schun