基于人機(jī)界面的三維運(yùn)動(dòng)數(shù)據(jù)提取

基于人機(jī)界面的三維運(yùn)動(dòng)數(shù)據(jù)提取

人體運(yùn)動(dòng)分析是人類工作的研究重點(diǎn)。為了合理確定工作模式、科學(xué)任務(wù)計(jì)劃以及良好的人工項(xiàng)目設(shè)計(jì)提供了理論依據(jù)和實(shí)驗(yàn)數(shù)據(jù)。如果你不需要專門的運(yùn)動(dòng)數(shù)據(jù)來進(jìn)行處理，一種簡單的方法是識(shí)別運(yùn)動(dòng)圖像和圖像序列。該方法不僅不會(huì)干擾正常的工作，而且無需安裝特殊設(shè)備。這些圖像資料很多，易于獲得。在這項(xiàng)工作中，我們提出了使用虛擬機(jī)方法提取人體運(yùn)動(dòng)數(shù)據(jù)的方法，組織了一系列實(shí)驗(yàn)，并提供了數(shù)據(jù)加工、處理和轉(zhuǎn)換的過程。1計(jì)算機(jī)軟件平臺(tái)從普通圖像資料中提取人體運(yùn)動(dòng)數(shù)據(jù)有兩種方法:手工方法和計(jì)算機(jī)自動(dòng)識(shí)別方法.手工方法是將圖像序列每次一幀投影到屏幕或數(shù)字化板上,手工進(jìn)行測算.它的精度依賴于操作者的視覺和圖像的質(zhì)量以及相隔幀的變化量.利用計(jì)算機(jī)視覺自動(dòng)地對運(yùn)動(dòng)圖像進(jìn)行分析,這種方法將運(yùn)動(dòng)的圖片或圖像輸入計(jì)算機(jī),經(jīng)過一定的算法處理,能夠提取出感興趣的特征.該過程對圖像質(zhì)量要求極高,這種技術(shù)尚有待發(fā)展,現(xiàn)階段主要用來分析二維運(yùn)動(dòng)特征.從圖像中提取人體運(yùn)動(dòng)數(shù)據(jù)的人機(jī)交互方法主要是由計(jì)算機(jī)圖形學(xué)來提供的.計(jì)算機(jī)圖形技術(shù)的飛速發(fā)展已經(jīng)能夠提供逼真人體曲面造型環(huán)境仿真和動(dòng)畫制作.多媒體技術(shù)也已能夠?qū)浵褓Y料的模擬信號(hào)轉(zhuǎn)化為計(jì)算機(jī)可以接受并處理的數(shù)字信號(hào),并且可以在普通的計(jì)算機(jī)屏幕上繪制和剪取.用戶在計(jì)算機(jī)中將運(yùn)動(dòng)圖像與計(jì)算機(jī)制作的人體圖形重疊在一起,憑借自己對圖像中人的姿態(tài)的判斷識(shí)別,調(diào)節(jié)計(jì)算機(jī)圖形模擬人的姿態(tài),計(jì)算機(jī)軟件平臺(tái)顯示出模擬人姿態(tài)的數(shù)據(jù),包括各個(gè)關(guān)節(jié)角度等,并存儲(chǔ)下來.運(yùn)動(dòng)數(shù)據(jù)可以以任何速度播放,并且可以暫停.由于可以變換播放速度,在某一點(diǎn)上可以調(diào)整運(yùn)動(dòng)數(shù)據(jù)重放,并對不合適的地方進(jìn)行修改,這就使得用戶對在單幅圖像上并不明顯的運(yùn)動(dòng)特征可以進(jìn)行數(shù)值化.用戶自身的感官機(jī)能在確保數(shù)值化精度上起了決定性作用.有時(shí),運(yùn)動(dòng)畫面的單幀是很模糊的,不易識(shí)別,所以動(dòng)畫播放就很重要.人機(jī)交互方法要求軟件平臺(tái)具有良好的編輯功能,它允許用戶調(diào)制各個(gè)數(shù)據(jù)點(diǎn),來回播放,直到滿意為止.人機(jī)交互方法是人的視覺感知與計(jì)算機(jī)模擬之間相互合作、相互校正的過程.在圖1中左為某一標(biāo)準(zhǔn)姿態(tài)的背景圖,右為調(diào)節(jié)后的姿態(tài)圖.與手工方法和計(jì)算機(jī)自動(dòng)化方法相比,人機(jī)交互方法具有如下優(yōu)點(diǎn):1)手工方法所提取的二維數(shù)據(jù)在向三維轉(zhuǎn)化時(shí)具有相當(dāng)?shù)碾y度,而人機(jī)交互方法是識(shí)別關(guān)節(jié)處的三個(gè)旋轉(zhuǎn)角,本身就是三維的;2)與手工方法相比,人機(jī)交互方法明顯地提高了數(shù)據(jù)提取效率;與計(jì)算機(jī)自動(dòng)化方法相比,人機(jī)交互方法不需要對軟、硬件進(jìn)行大量的投資,所使用的都是成熟技術(shù),而且便于操作;3)由于大部分工作場景和航天員活動(dòng)的錄像都是使用普通方式攝制的,人體本身與背景對比沒有鮮明的特點(diǎn),而且有時(shí)錄像資料也很模糊,這對于依賴關(guān)節(jié)中心點(diǎn)的手工方法和依賴顯著人體特征的計(jì)算機(jī)自動(dòng)識(shí)別方法是很困難的.而人機(jī)交互方法依賴于人的視覺感官和模擬技術(shù),它是從總體上對人體姿態(tài)進(jìn)行識(shí)別的,不存在這方面困難;4)由于人的長期生活經(jīng)歷,對人體姿態(tài)的感性認(rèn)識(shí)已具有智能化的特點(diǎn),這是任何人造設(shè)備所不能比擬的,而人機(jī)交互方法正是利用了人的這種優(yōu)勢,并與計(jì)算機(jī)逼真的圖形仿真技術(shù)相結(jié)合.2人體姿態(tài)視覺感知能力試驗(yàn)在近20年中,計(jì)算機(jī)輔助工效分析已經(jīng)在工程中廣為利用.計(jì)算機(jī)輔助工效分析軟件要求輸入人體的姿態(tài)量,它依賴于觀察人員對人體姿態(tài)判斷的準(zhǔn)確性.研究發(fā)現(xiàn)～,對人體上臂角度的判斷,通過直接觀察與錄象資料對比,精確度在±5°.在對人體肩部伸縮角的試驗(yàn)中發(fā)現(xiàn):真實(shí)角AT與視覺感知角AP的關(guān)系為實(shí)驗(yàn)方法是試驗(yàn)者通過指揮計(jì)算機(jī)圖形系統(tǒng)生成的模擬人去模擬圖片上的真實(shí)人體姿態(tài),經(jīng)過對比后所得到的誤差基本在15°以內(nèi).這些研究和實(shí)驗(yàn),證明了人的視覺感知能力可以用于人體姿態(tài)的測定.以上這些研究還不夠充分,對人體運(yùn)動(dòng)姿態(tài)的識(shí)別還需要進(jìn)一步的探討.首先,這些研究是針對靜態(tài)圖片的,沒有使用動(dòng)態(tài)的研究方法.其次,在試驗(yàn)中所使用的圖片,攝影角度都很正規(guī),一般是與人體矢狀面成角見圖一般情況下攝像鏡頭很難判斷鏡頭的位置.再次,實(shí)驗(yàn)中沒有使用人體空中姿態(tài)的圖片,不利于分析航天員、跳水運(yùn)動(dòng)員等的運(yùn)動(dòng).最后,所使用的測試軟件交互性也不夠好.基于上述原因,本文進(jìn)行了人體各種姿態(tài)視覺感知能力試驗(yàn).實(shí)驗(yàn)在Poser軟件平臺(tái)上進(jìn)行.Poser是由FractalDesignCorporation設(shè)計(jì)的人體姿態(tài)制作軟件.它以6自由度定義人體空間方位.以腕、肘、肩、踝、膝、胯、頸、胸、腰、髖等關(guān)節(jié)的3個(gè)旋轉(zhuǎn)角定義人體姿態(tài),并具有人體生理約束機(jī)制.可以通過鼠標(biāo)或旋扭調(diào)節(jié)人體的姿態(tài)、方位、幾何尺寸、視點(diǎn)、光照、深度索引等,并顯示調(diào)節(jié)數(shù)據(jù).該軟件附有人體姿態(tài)庫,庫中有幾十種已定義好的各種人體姿態(tài).所生成的姿態(tài)可以作為背景圖存儲(chǔ),并能夠通過多媒體軟件連續(xù)播放.實(shí)驗(yàn)分為靜態(tài)1g姿態(tài)識(shí)別、靜態(tài)0g姿態(tài)識(shí)別、靜態(tài)1g圖像識(shí)別、靜態(tài)0g圖像識(shí)別和動(dòng)態(tài)圖像序列識(shí)別共5個(gè)步驟進(jìn)行.1)靜態(tài)1g姿態(tài)識(shí)別.從人體姿態(tài)庫中任意選取10種姿態(tài),見圖3.記錄下每種姿態(tài)的方位角和各個(gè)關(guān)節(jié)的旋轉(zhuǎn)角,并將姿態(tài)作成背景圖固定,然后讓實(shí)驗(yàn)者從直立的人體姿態(tài)向目標(biāo)姿態(tài)調(diào)節(jié),可以憑視覺判斷也可以與背景圖重疊對照,直到認(rèn)為滿意為止.記錄下各種姿態(tài)數(shù)據(jù),并與先前記錄下的標(biāo)準(zhǔn)姿態(tài)數(shù)據(jù)比較,計(jì)算每個(gè)關(guān)節(jié)旋轉(zhuǎn)角的平均誤差.2)靜態(tài)0g姿態(tài)識(shí)別.從姿態(tài)庫中任選10種姿態(tài),將它們隨意調(diào)到任意方位,盡量模仿諸如航天員、跳水運(yùn)動(dòng)員的姿態(tài).然后進(jìn)行模擬識(shí)別,計(jì)算平均誤差.3)靜態(tài)1g圖像識(shí)別.在地面的工作場景中,測定好工作人員的姿態(tài)并拍攝下照片輸入到計(jì)算機(jī)中作為Poser的背景圖進(jìn)行識(shí)別,并與預(yù)先測定好的姿態(tài)數(shù)據(jù)進(jìn)行比較.4)靜態(tài)0g圖像識(shí)別.對于航天員等特殊工況的人體姿態(tài),采用間接的辦法獲得用來模擬姿態(tài)對照的真實(shí)姿態(tài)數(shù)據(jù).航天員的錄像資料中存在大量的處于松弛姿態(tài)的片段,人在完全放松時(shí)的姿態(tài)在各種文獻(xiàn)公布的數(shù)據(jù)中幾乎一樣,采用NASA的數(shù)據(jù).當(dāng)航天員在艙內(nèi)滾動(dòng)時(shí),航天員不受外力矩作用而只擁有初始轉(zhuǎn)動(dòng)慣量,如果不記艙內(nèi)的空氣流動(dòng),可以視其為勻速圓周運(yùn)動(dòng),將圖像序列以每秒24幀的間隔截取,那么就很近似地得到其姿態(tài)方位角了.5)動(dòng)態(tài)圖像序列識(shí)別.截取一段航天員雙腳蹬艙壁實(shí)現(xiàn)漂移的錄像片段,作為動(dòng)態(tài)校正的樣本.此時(shí)航天員的姿態(tài)可以看作是平面二維的,很容易估算其關(guān)節(jié)角度.隔一定時(shí)間間隔制作模擬圖像,使用關(guān)鍵幀動(dòng)畫播放,并調(diào)節(jié)不合適的地方,直到認(rèn)為可以后,在任意插值時(shí)間結(jié)點(diǎn)記錄數(shù)據(jù),并與原先估算的數(shù)據(jù)進(jìn)行比較.一組實(shí)驗(yàn)人員(3人)通過上述5步實(shí)驗(yàn)記錄下的誤差數(shù)據(jù)見表1.在試驗(yàn)過程中發(fā)現(xiàn):1)試驗(yàn)精度與受試者對姿態(tài)的熟悉程度有關(guān).訓(xùn)練時(shí)間越長,操作越熟練,精度亦高;2)對質(zhì)量大的部位(如胸、腰、胯、大腿、小腿)識(shí)別的精度較高;3)末端肢體(手、足、頭)旋轉(zhuǎn)角度的視覺感知較差,而且對上臂、前臂、小腿的旋扭方向角識(shí)別困難;4)試驗(yàn)精度與受試者的個(gè)人特點(diǎn)以及耐心程度有關(guān).3推進(jìn)三彎矩?cái)M合條函數(shù)插值所提取的各個(gè)關(guān)節(jié)角度數(shù)據(jù)一般是非均勻的,變化快的區(qū)間所提取的樣本就密集,變化慢的區(qū)間采集的樣本就稀疏.每一個(gè)時(shí)間區(qū)間的中間過程可以使用任意分劃的三次樣條函數(shù)進(jìn)行插值,這樣可以避免在求解加速度時(shí)由兩次差分導(dǎo)致的較大誤差.假設(shè)在時(shí)間區(qū)間[a,b]內(nèi),采集數(shù)據(jù)的時(shí)刻為a=x0<x1<…<xn-1<xn=b,相應(yīng)的所采集的某一關(guān)節(jié)角度為{yi}.利用三彎矩方法構(gòu)造三次樣條插值函數(shù)對于第2種邊界條件,即利用追趕法可以解得Mi.在區(qū)間[xi-1,xi]內(nèi)的一階導(dǎo)數(shù)和二階導(dǎo)數(shù),就是角速度和角加速度.再由相應(yīng)的運(yùn)動(dòng)學(xué)關(guān)系可以推算出人體質(zhì)心位置和肢體質(zhì)心的線速度、線加速度,從而進(jìn)行關(guān)節(jié)內(nèi)力以及肌肉施加力矩的計(jì)算.4合理