視頻穩(wěn)定算法demo說明

視頻穩(wěn)定算法說明撰寫人:譚海富（Haiku）公司:興天實業(yè)-影像組時間：2016.08.31_目錄TOC\o"1-5"\h\z\o"CurrentDocument"視頻穩(wěn)定算法說明 1\o"CurrentDocument"一、背景與目的 3\o"CurrentDocument"二、測試平臺工具 3\o"CurrentDocument"三、算法簡要說明 3\o"CurrentDocument"四、應(yīng)用說明 5、背景與目的視頻抖動是指拍攝過程中由于攝像機存在不一致的運動噪聲而造成視頻序列的抖動和模糊。為了消除這些抖動，需要提取攝像機的真實全局運動參數(shù)，然后采用合適的變換技術(shù)補償攝像機的運動，使視頻畫面流暢而穩(wěn)定，這項技術(shù)通常稱為視頻去抖動或視頻穩(wěn)定。目前已有的視頻去抖動技術(shù)分為如下兩類：特征法和光流法。特征法在提取每幀圖像的特征點的基礎(chǔ)上，在相鄰幀之間進行特征匹配，然后根據(jù)匹配的結(jié)果計算攝像機的全局運動參數(shù)，最后用濾波后的全局運動變換對原始序列進行補償。該方法的效果很大程度上取決于特征匹配的精度，當場景中存在移動目標或者紋理特征不明顯時，該方法的應(yīng)用將受到限制。光流法首先計算相鄰幀之間的光流，然后根據(jù)光流信息，通過運動分析獲得全局運動參數(shù)隨后也是根據(jù)濾波后的運動參數(shù)來補償原始序列，該方法的優(yōu)點是可以獲得每個像素的運動矢量；然而如果場景中存在不一致的運動區(qū)域，通常要結(jié)合視頻分割來完成全局運動的估計而這類方法由于要對每一像素點進行分析，一般需要相當大的計算量，此外光流計算固有的孔徑問題也是該方法所必須要考慮的。本文在上面兩種方法的基礎(chǔ)上，結(jié)合兩種方法各自的優(yōu)缺點，做一個折中的視頻去抖動算法測試，為后面無人機航拍去抖動做算法層面的技術(shù)儲備。二、測試平臺工具筆記本電腦(帶較高配置的NVIDIA顯卡) 一臺三、算法簡要說明該視頻穩(wěn)定算法主要基于Harris特征點檢測及稀疏金字塔光流法(Lucas-Kanade)來進行運動估算。算法流程圖如下：

關(guān)鍵函數(shù)說明：vx_nodenvxHarrisTrackNode(vx_graphgraph,//輸入圖表vx_imageinput,//輸入圖像vx_arrayoutput,//輸出檢測的特征點vx_imagemask,//掩碼區(qū)域vx_arraytracked_points,//跟蹤的特征點vx_float32k,//可信度vx_float32threshold,//閾值vx_uint32cell_size,//算法運算單元大小vx_scalarnum_corners//檢測的特征點數(shù)量)該函數(shù)完成檢測和跟蹤輸入圖像的Harris特征點。檢測出的特征點可用于下一步運動估圖：算法流程圖圖：算法流程圖計跟蹤操作。vx_nodeVX_API_CALLvxOpticalFlowPyrLKNode(vx_graphgraph,vx_pyramidold_images,vx_pyramidnew_images,vx_arrayold_points,//vx_graphgraph,vx_pyramidold_images,vx_pyramidnew_images,vx_arrayold_points,//參照圖表//上一幀圖像的金字塔//當前幀圖像的金字塔//上一幀圖像的金字塔vx_arraynew_points_estimates,//當前估算特征點vx_arraynew_points,//當前幀算法計算出的特征點vx_enumtermination,//算法結(jié)束條件vx_scalarepsilon,//誤差vx_scalarnum_iterations,//算法迭代計算次數(shù)vx_scalaruse_initial_estimate,vx_sizewindow_dimension//算法運行窗口大小)上面函數(shù)完成Lucas-Kanade算法跟蹤檢測的Harris特征點，以得到對象的運動軌跡。下面只要通過特征對象的運動軌跡，彎曲，移動圖像，減緩相鄰多幀圖像相對位置的變化，以達到減緩抖動的效果。四、應(yīng)用說明由于特征檢測，光流法跟蹤估計運動等算法需要很大的計算量，為了得到實時的處理效果，借助NVIDIA顯卡強大的GPU性能及其加