基于視頻的人體運(yùn)動(dòng)捕捉

1、基于視頻的人體運(yùn)動(dòng)捕捉video-based human motion capture 2005-11-10提綱研究背景及意義研究現(xiàn)狀結(jié)合運(yùn)動(dòng)模型和多種測(cè)量的人體運(yùn)動(dòng)跟蹤總結(jié)1.1 研究背景在競(jìng)技體育運(yùn)動(dòng)中，對(duì)運(yùn)動(dòng)員的動(dòng)作進(jìn)行定量的運(yùn)動(dòng)分析是提高訓(xùn)練水平的重要科學(xué)手段自動(dòng)描繪出運(yùn)動(dòng)員的重心軌跡和動(dòng)作線(xiàn)條圖，獲得技術(shù)動(dòng)作的基本生物力學(xué)參數(shù)。1.2 研究意義定義從一個(gè)或多個(gè)已同步視角的圖像序列中恢復(fù)出人體姿態(tài)參數(shù)(如關(guān)節(jié)角度、關(guān)節(jié)點(diǎn)位置等)的過(guò)程 1.2 研究意義（續(xù)）廣泛的應(yīng)用需求智能監(jiān)控：gait recognition、 elder care、 abnormal behavior detec

2、tion人機(jī)交互：posture recognition gesture recognition運(yùn)動(dòng)分析：sports and rehabilitation medicine虛擬現(xiàn)實(shí)：video game、teleconferencing動(dòng)畫(huà)和影視制作視頻標(biāo)注和檢索1.3 研究意義（續(xù)）重要的學(xué)術(shù)價(jià)值涉及到計(jì)算機(jī)視覺(jué)中的許多基本問(wèn)題如運(yùn)動(dòng)檢測(cè)和分割、目標(biāo)定位和識(shí)別、剛體和非剛體跟蹤、場(chǎng)景恢復(fù)與表示、多攝像機(jī)數(shù)據(jù)融合等融合了圖像處理、計(jì)算機(jī)圖形學(xué)、人體運(yùn)動(dòng)學(xué)、最優(yōu)化和機(jī)器學(xué)習(xí)等多學(xué)科的理論，是很具挑戰(zhàn)性的研究工作研究熱點(diǎn)IJCV 、PAMI 、CVPR、ICCV2.研究現(xiàn)狀難點(diǎn)問(wèn)題主要方法典型系

3、統(tǒng)2.1 難點(diǎn)問(wèn)題最早的工作J. ORourke and N. I. Badler, Model-based image analysis of human motion using constraint ropagation, IEEE Transactions on PAMI,1980, 2(6): 522-536 D. Hogg, Model-based vision: A program to see a walking person, Image and Vision Computing, 1983,1(1): 5-20魯棒性、準(zhǔn)確性、速度2.1 難點(diǎn)問(wèn)題（續(xù)）2.2 主要方法自頂向

4、下（Top-down）自底向上（Bottom-up）自頂向下與自底向上相結(jié)合（ Top-down / Bottom-up ）2.2.1 Top-downModel-based Human Body Tracking預(yù)測(cè)匹配修正使用各種約束和先驗(yàn)知識(shí)，處理遮擋2.2.1 Top-down（contd）自頂向下的基于模型的人體運(yùn)動(dòng)跟蹤處理框架優(yōu)化方法局部?jī)?yōu)化法:梯度法、動(dòng)力學(xué)法、局部搜索概率搜索法：Kalman濾波、粒子濾波2.2.1 Top-down（contd）2.2 Bottom-up形狀分析識(shí)別法概率推理2.2.1形狀分析法通過(guò)啟發(fā)式知識(shí)，對(duì)輪廓/骨架等特征進(jìn)行分析，得到身體主要關(guān)節(jié)點(diǎn)/特

5、征點(diǎn)形狀分解2.2.2 識(shí)別法模板匹配運(yùn)動(dòng)庫(kù)檢索函數(shù)影射通過(guò)訓(xùn)練數(shù)據(jù)建立底層特征與姿態(tài)參數(shù)的映射關(guān)系映射方法：NN，SVM，RVM，Bayesian、HMM2.2.3 概率推率法身體部分的檢測(cè)人臉檢測(cè)、膚色區(qū)域檢測(cè)、矩形擬合、基于模板的肢體檢測(cè)等 人體結(jié)構(gòu)配置的推理通過(guò)貝葉斯推理求解滿(mǎn)足約束的最大后驗(yàn)概率 推理方法：DP，BP，MCMC，MFMC2.2.3 概率推率法（續(xù)）2.3 Top-down/Bottom-up Top-down 優(yōu)點(diǎn)：可使用各種約束和先驗(yàn)知識(shí)，處理遮擋；跟蹤結(jié)果精確缺點(diǎn)：需要初始化，跟蹤失??；速度慢Bottom-up優(yōu)點(diǎn)：不需要初始化，速度快缺點(diǎn)：結(jié)果不夠精確，難于處理

6、遮擋問(wèn)題2.3 Top-down/Bottom-up(contd)函數(shù)映射和基于模型的跟蹤相結(jié)合關(guān)鍵幀匹配和基于模型的跟蹤相結(jié)合困難在于如何結(jié)合2.4 典型系統(tǒng)3.結(jié)合運(yùn)動(dòng)模型和多種測(cè)量的人體運(yùn)動(dòng)跟蹤目的在首幀初始化后通過(guò)自動(dòng)跟蹤獲得人體主要關(guān)節(jié)點(diǎn)運(yùn)動(dòng)參數(shù)，用于運(yùn)動(dòng)分析。方法Model-based TrackingHuman body modelDynamical modelObservation modelParticle filtering3.結(jié)合運(yùn)動(dòng)模型和多種測(cè)量的人體運(yùn)動(dòng)跟蹤(續(xù))Human body model2D SPM模型包含關(guān)節(jié)角度和肢體長(zhǎng)度變化因子Dynamical model由前面已知的狀態(tài)預(yù)測(cè)當(dāng)前狀態(tài)二階自回歸模型(ARP)3.結(jié)合運(yùn)動(dòng)模型和多種測(cè)量的人體運(yùn)動(dòng)跟蹤(續(xù))Observation model模型與圖像數(shù)據(jù)的匹配度量Region (color histogram)Shape (edge Chamfer matching)Particle filteringAnnealed particle filtering3.結(jié)合運(yùn)動(dòng)模型和多種測(cè)量的人體運(yùn)動(dòng)跟蹤(續(xù))