（控制理論與控制工程專業(yè)論文）家庭環(huán)境下人的行為理解系統(tǒng)研究.pdf

捅要 隨著機(jī)器人技術(shù)的發(fā)展，機(jī)器人進(jìn)入民用領(lǐng)域條件日趨成熟。人的行為理 解是服務(wù)機(jī)器人進(jìn)入家庭環(huán)境，為人提供自主服務(wù)的前提。由于家庭環(huán)境下人 體目標(biāo)行為模式的多樣性、所處環(huán)境的復(fù)雜性，使得家庭環(huán)境下行為理解成為 一個(gè)極富挑戰(zhàn)性的課題。依靠機(jī)器人自身有限的感知和計(jì)算能力，更加難以實(shí) 時(shí)的完成行為理解任務(wù)。因而，本文借助家庭助理機(jī)器人綜合平臺(tái)，利用了智 能空間技術(shù)使得家庭服務(wù)機(jī)器人的感知能力和計(jì)算能力得到了極大的外延。 家庭環(huán)境下行為理解問(wèn)題被定義為“利用機(jī)器視覺(jué)技術(shù)結(jié)合智能空間信息 系統(tǒng)的數(shù)據(jù)庫(kù)、知識(shí)庫(kù)對(duì)人的行為和意圖進(jìn)行分析 。主要的研究?jī)?nèi)容如下： 1 、從處理流程上闡述行為理解的一般框架，分析了其中涉及到的關(guān)鍵技術(shù)。 并借助家庭助理機(jī)器人實(shí)驗(yàn)平臺(tái)，提出家庭監(jiān)護(hù)系統(tǒng)的行為理解方案。 2 、運(yùn)動(dòng)人體檢測(cè)是行為理解初級(jí)階段需要解決的問(wèn)題。本文對(duì)基于g m m 背景模型的運(yùn)動(dòng)檢測(cè)算法做了如下改進(jìn)：在背景初始化階段，采用動(dòng)態(tài)學(xué)習(xí)率 提高了背景模型的準(zhǔn)確性；在背景更新階段，提出運(yùn)動(dòng)人體檢測(cè)的結(jié)果指導(dǎo)背 景更新的策略，使得復(fù)雜運(yùn)動(dòng)形式的人體運(yùn)動(dòng)不被背景吸收；在后期處理階段。 將基于g m m 的運(yùn)動(dòng)檢測(cè)算法與邊緣差分相結(jié)合，消除運(yùn)動(dòng)檢測(cè)中的斷裂、孔 洞現(xiàn)象。 3 、提出復(fù)雜環(huán)境下基于特征融合的日常動(dòng)作、突發(fā)異常( 摔倒) 檢測(cè)方法。 利用人的姿態(tài)、姿態(tài)變化速率特征、人的位置變化特征表征人的運(yùn)動(dòng)狀態(tài)，通 過(guò)合成簡(jiǎn)單的姿態(tài)事件并結(jié)合特征來(lái)表達(dá)具有復(fù)雜時(shí)空關(guān)系的運(yùn)動(dòng)事件。 4 、在智能空間技術(shù)平臺(tái)的支撐下，提出了一種新的基于場(chǎng)景信息的行為理 解方法。利用機(jī)器視覺(jué)技術(shù)，并結(jié)合家庭智能空間平臺(tái)提供的環(huán)境信息，實(shí)現(xiàn) 了正確理解人的意圖、準(zhǔn)確識(shí)別人的反常習(xí)慣行為和突發(fā)異常事件。首先利用 運(yùn)動(dòng)目標(biāo)檢測(cè)方法，提取運(yùn)動(dòng)人體在環(huán)境中的坐標(biāo)，然后結(jié)合場(chǎng)景劃分出不同 區(qū)域，建立人體在環(huán)境中的位置狀態(tài)關(guān)聯(lián)矩陣和時(shí)空關(guān)聯(lián)矩陣；通過(guò)馬爾科夫 模型統(tǒng)計(jì)出人體在空間中的位置狀態(tài)轉(zhuǎn)移概率矩陣及其狀態(tài)持續(xù)時(shí)間矩陣，構(gòu) 建日常行為模板。根據(jù)當(dāng)前行為與日常行為模板的相似度檢測(cè)反常習(xí)慣行為和 突發(fā)異常事件，并根據(jù)不同區(qū)域的行為模式分析人的意圖。實(shí)驗(yàn)表明該方法在 實(shí)踐中可行，在意圖識(shí)別、異常行為理解方面有廣泛的應(yīng)用前景。 山東人學(xué)碩十學(xué)位論文 i i 5 、行為理解作為機(jī)器人獲取環(huán)境信息的一種方式，有其它傳感器無(wú)法比擬 的優(yōu)勢(shì)。本文的最后一節(jié)講述了基于觀察人行為的信息獲取模式在機(jī)器人導(dǎo)航 中的應(yīng)用，集中體現(xiàn)了智能空間系統(tǒng)的信息共享。 關(guān)鍵詞：家庭服務(wù)機(jī)器人，智能空間，運(yùn)動(dòng)人體檢測(cè)，動(dòng)作識(shí)別，高層行 為理解，基于觀察人的信息獲取 n mi n c r e a s i n gd e v e l 。p m e n to f r o b o tt e c h n i q u e s m a k e np o s 曲m 嘶陽(yáng)讎? d e v e l 。p r v i c c r o b o t s 蛋骶c i v i la p p l i c a t i 。i l s h u m a n b e h a v l o f r e c o g n i t i o n 1 s a p r e r e q 二s i t et 0r o b 。t s 撇m 。i i s s e r v i c e s h 。w e v e r ，h l h n a l lb e h a v i o r r e c o g n i t l o i 二，l s ：孟l e n g i i l g 州e c tb e c a u s c 。f m cv a r i e t y0 fh 眥a i l b e 州餌p a n c m 8 竺 c o m p l 咖。fm eb a c k g r 0 吼d 觚dm er o l i m i t e dc a p 撕夠缸髂嘟竺 c 二咖p 。w e r 咖，w e b u i l d 鋤a s s i s 伽tp l a t f o r m 汕l p 砒舢刪1 e t c s e r v ：c c 協(xié)豳i n t e l l i g c ms p a c et e c h n o l o g yi su s e d ，w h i c h i se x p e c t e dt 0h e l p 鰳n n c e r o b o t st ow o r ki nc o m p l e xe n v i r o n m e n t m o r ee a s i l ya n de 仃e 嘶e l y m a c v i s i o nt c 加l o g yc o m b i n e dw i t hi n t e l l i g e n ts p a c e 幽s 側(cè) i n0 r d e rt 0r e c 。薩i z e h l r n a nb e h a v i 。r a n dr e a l i z eh u m a i li i l t e n t i 。n l nh o 。n e e n v i r o n m e n t t h em a i n c o n t r i b u t i o n sa r e a sf o l l o w s ：。 1 f i r s t l y ，w ei n 仰d u c et h eg e n e r af r a m e w o r k f o rh u m a i lb 幽w 1 凹豫唑 趾d 刪y s i so f k e yt e 加l 。g i e s 撇，w e i n t r o d u c tt h ea s s i s 協(xié)tp l 砒f o m f o r b o t a n dd e s c r i b eh u m a n b e h a v i o rr e c o g n i t i o np l a n 2 h 啪a 1 1 枷。nd e t e m g i s t l l ep r i m a r ys t a g eo f h u m a i l 蝴灑礎(chǔ)c 。：0 1 1 i m p r o v eg m m b 砌刪o n d e t e c t i o na l g o r i t h m 必1 1 0 w s 岫m m 粵e ：舢n 三 r a t ew 硒a d o p tt 0i m p r o v et h ea c c u r a c y 。f b a c k g r o u n dm o d e l 1 1 1 ep 抓b k 舢d u p d a t e s t r a t e g y 棚i a b n t r s o 。d 舭u c d e di n t o t os l m c o v eb t a c k h e 伊p r 。o 吼d p l e m m t h 。d e a t l 。b m j e c t s g s m t o m p m m o o v t i i n 。g n t e m p o r a r i l ym a yb e a b s o f l ) e di i l t o l cb a c k 莎。眥l o l u 婀l “ 。：。 d e t e l c t i o na l 鯽也m 觚de d g e d i f f e r e n c ea l g 。r i 蜘w e r e c 。m b i n c d 幻代m 0 v e h r e a k i n qa n dh o l e si nt h ef o r e g r o u n d 3 。an o v e lm e m o di sp r 。p 。s e dt 0d e t e c th n a i ld a i l y a c t i v i t i e s 觚d 腳1o v e r b e h a v i 。r b a s e d 。nf e 黼s 錙0 n 刪o n s 眥d e s c r i b e d b ya 鰍甜p ? 舢懿刪 f e 狐l r e s 。fp o s t u r e sc h a n g ev e l o c i t y a n dp o s r i 。nc h a n g e s ，m 鼬s i m p l ep o s t u r e s e v e n t sa i l df e a t u r e sa r e c o m b i n e dt oe x p r e s sc o m p l e x h u m a n a c t m 骼州e n t s ，| 4 an o v e lm e t h o di sp r o p o s e di nt h i sp 印e r t o r e c o g n i z eh u m 舢e 叭甜b 冀陽(yáng) 。ns c e n ek n 。w l e d g ei nt h ep l a t f o r m o fi n t e l l i g e n ts p a c e u 豇n gm a c m n ：v l s l 。： t e c h n o l 。g yc 。m b i n e d 謝t hi n t e l l i g e n t s p a c ei n f o r m a t i ?，攚 ec a l ld ，t c c t ，b n 鋤a l h a b i t sb e h a v i 。r 趾df e 批i m eu n e x p e c t e da c c i 觸，r e c o g n 汰脅州刪0 n f i r s t ， w ee x t r a c tt h el o c a t i 。n0 f t h eh 啪紐b o d y i nt h ee n v i r o n m e n tv i a m o t i o n 訾c t i o n ： t h e n , d u et od i f f e r e n ts c e n e r u l e sf o rd i f f e r e n tb e h a v i o r s ，w e d i 譏d e h e e n v l r 0 鯽蘭： i n t od i 仃盯e n ts 眥s 觚di n t r o d u c e 咖e 船e d m a t r i xa n ds t a t e - t 妣m a t n xt 。m 。d e l i i i 山東人學(xué)碩十學(xué)位論文 t h o s eb e h a v i o r s a tt h es a m et i m e ，t h es t a t et r a n s i t i o np r o b a b i l i t ya n di t sd u r a t i o n t i m ed i s t r i b u t i o na r eg o t t e nb a s e do nm a r k o vm o d e la st h eh u m a nd a i l yb e h a v i o r t e m p l a t e s a b n o r m a lb e h a v i o r sc a nb ef o u n db yc a l c u l a t i n gt h el i k e h o o do fc u r r e n t a c t sw i t hd a i l yt e m p l a t e s t h i sm e t h o dr e q u i r e sl o wc o m p u t a t i o nc o m p l e x i t yt h u sc a n b ew i d e l yu s e df o ra b n o r m a lb e h a v i o rd e t e c t i o na n dh u m a ni n t e n t i o nr e c o g n i t i o n 5 h u m a nb e h a v i o rr e c o g n i t i o na saw a yf o rr o b o tt oa c c e s st oe n v i r o n m e n t a l i n f o r m a t i o nh a v ei n c o m p a r a b l ea d v a n t a g e so v e ro t h e rs e n s o r si nt h ef i n a lc h a p t e r , h u m a nb e h a v i o ri n f o r m a t i o ni su s e di nr o b o t s n a v i g a t i n g ，w h i c he m b o d i e s i n f o r m a t i o ns h a r i n gc o n c e p ti ni n t e l l i g e n ts p a c es y s t e m k e y w o r d s ：h o m es e r v i c er o b o t s ；i n t e l l i g e n ts p a c e ；h u m a nm o t i o nd e t e c t i o n ； a c t i o nr e c o g n i t i o n ；h i g h - l e v e lb e h a v i o rr e c o g n i t o n ；i n f o r m a t i o na c q u i s i t i o nf o r r o b o t sb yh u m a nb e h a v i o rr e c o g n i t o n i v 原創(chuàng)性聲明 本人鄭重聲明：所呈交的學(xué)位論文，是本人在導(dǎo)師的指導(dǎo)下， 獨(dú)立進(jìn)行研究所取得的成果。除文中已經(jīng)注明引用的內(nèi)容外，本 論文不包含任何其他個(gè)人或集體已經(jīng)發(fā)表或撰寫(xiě)過(guò)的科研成果。 對(duì)本文的研究作出重要貢獻(xiàn)的個(gè)人和集體，均已在文中以明確方 式標(biāo)明。本聲明的法律責(zé)任由本人承擔(dān)。 論文作者簽名：查盈魚(yú)疊 e l 關(guān)于學(xué)位論文使用授權(quán)的聲明 本人完全了解山東大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定，同意 學(xué)校保留或向國(guó)家有關(guān)部門(mén)或機(jī)構(gòu)送交論文的復(fù)印件和電子版， 允許論文被查閱和借閱；本人授權(quán)山東大學(xué)可以將本學(xué)位論文的 部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫(kù)進(jìn)行檢索，可以采用影印、縮印或 其他復(fù)制手段保存論文和匯編本學(xué)位論文。 ( 保密論文在解密后應(yīng)遵守此規(guī)定) 論文作者簽名：玨導(dǎo)師簽名：拓h 司；日期：丞寫(xiě)乙碰 第1 章緒論 1 1 課題背景 隨著社會(huì)的進(jìn)步和科技的發(fā)展，智能的服務(wù)機(jī)器人日益受到人們的重視【l 】。 中華人民共和國(guó)國(guó)家統(tǒng)計(jì)局2 0 0 5 年全國(guó)1 抽樣調(diào)查報(bào)告顯示我國(guó)6 5 以上的人 口占總?cè)丝诘? 6 9 ，按照國(guó)際標(biāo)準(zhǔn)我國(guó)已經(jīng)進(jìn)入老年型社會(huì)?？紤]我國(guó)人口 老齡化、空巢老人的社會(huì)問(wèn)題和一大批行動(dòng)不方便的殘疾人的需要，開(kāi)發(fā)家庭 服務(wù)機(jī)器人很有必要。同時(shí)，研究智能的服務(wù)機(jī)器人也是我國(guó)科技發(fā)展的戰(zhàn)略 要求，機(jī)器人發(fā)展對(duì)我國(guó)的綜合國(guó)力，可持續(xù)發(fā)展具有深遠(yuǎn)的影響。服務(wù)機(jī)器 人成為8 6 3 計(jì)劃先進(jìn)制造技術(shù)領(lǐng)域中的一個(gè)重點(diǎn)研究項(xiàng)目得到了相當(dāng)?shù)闹匾暎?可見(jiàn)服務(wù)機(jī)器人有著廣闊的發(fā)展前景【2 】。 人的行為理解是服務(wù)機(jī)器人實(shí)現(xiàn)自主服務(wù)、人機(jī)交互的基礎(chǔ)，也是智能監(jiān) 控領(lǐng)域研究的重要課題。主動(dòng)的識(shí)別、理解人的行為，對(duì)人的需求做出預(yù)測(cè)和 判斷，服務(wù)機(jī)器人就能主動(dòng)的給人提供各種有用的信息和服務(wù)，對(duì)異常情況采 取實(shí)時(shí)的處理措施，可以避免危險(xiǎn)情況的發(fā)生實(shí)現(xiàn)智能監(jiān)護(hù)。人的行為理解近 年來(lái)成為被廣泛關(guān)注的熱點(diǎn)，現(xiàn)有的行為理解可以分為基于視覺(jué)傳感器和基于 非視覺(jué)傳感器的行為理解。其中，基于非視覺(jué)的方式主要有兩種：一，在人身 上放置很多傳感器，利用傳感器傳回的數(shù)據(jù)來(lái)理解人的行為【3 】。這種在人體上 放置傳感器的方法，具有侵犯性，增加了人身體和心理的負(fù)擔(dān)，其應(yīng)用范圍非 常有限；二，在人活動(dòng)的空間中安裝多個(gè)傳感器感知人的行為 4 1 ，這種方法無(wú) 法感知人的具體動(dòng)作，同時(shí)增加了研究的成本。數(shù)據(jù)表明，人類約有7 5 的信 息來(lái)自于視覺(jué)，這些信息構(gòu)成了人類感知和理解環(huán)境的基礎(chǔ)，隨著機(jī)器視覺(jué)的 發(fā)展，人們?cè)絹?lái)越關(guān)注基于視覺(jué)信息的行為理解【5 。9 j 。 單獨(dú)依靠服務(wù)機(jī)器人自身所帶的視覺(jué)傳感器，視角較小，所能觀察到的范 圍窄，所能獲取的人體行為信息有限，同時(shí)機(jī)器人還要實(shí)時(shí)的完成自身的導(dǎo)航、 定位等功能，因而無(wú)法并行處理復(fù)雜的視覺(jué)行為理解以及基于行為理解的服務(wù) 任務(wù)。智能空間，作為一種新的技術(shù)，將機(jī)器人本體上需要攜帶的傳感設(shè)備分 布到環(huán)境中，有效的解決了許多機(jī)器人自身無(wú)法完成的工作，使得服務(wù)機(jī)器人 能夠借助智能空間的信息和工具更好的服務(wù)用戶。我們構(gòu)建的智能空間，采用 了知識(shí)分布和智能分布的思想，將多種傳感器設(shè)備分布于環(huán)境中并基于無(wú)線網(wǎng) 1 山東大學(xué)碩十學(xué)何論文 絡(luò)技術(shù)，使得機(jī)器人本身能夠“輕裝上陣”，利用環(huán)境中的信息，完成復(fù)雜環(huán)境 下人體行為識(shí)別以及各種服務(wù)任務(wù)。行為理解，作為一種信息獲取模式，又將 是對(duì)智能空間信息庫(kù)的一種補(bǔ)充，行為理解獲取的信息，將進(jìn)一步的用于服務(wù) 機(jī)器人對(duì)環(huán)境的認(rèn)知，從而真j 下的構(gòu)建了一個(gè)智能空間信息共享系統(tǒng)。本文研 究重點(diǎn)是家庭環(huán)境下人的行為理解。 1 2行為理解應(yīng)用及研究現(xiàn)狀 1 2 1 行為理解主要應(yīng)用 基于視覺(jué)人體檢測(cè)、運(yùn)動(dòng)分析以及行為理解在智能監(jiān)控、感知接口、體育 運(yùn)動(dòng)分析、動(dòng)畫(huà)生成、人機(jī)交互、視頻會(huì)議、醫(yī)療診斷等方面具有廣闊的應(yīng)用 前景 8 , 1 0 , i i 】，因此它吸引了越來(lái)越多的研究者的興趣。 ( 1 ) 智能監(jiān)控( i n t e l l i g e n ts u r v e i l l a n c e ) 視覺(jué)監(jiān)控是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)重要應(yīng)用方向。智能監(jiān)控主要來(lái)自于銀 行、停車場(chǎng)、商店、軍事基地等敏感場(chǎng)合的需求8 , 1 2 , 1 3 】。傳統(tǒng)意義上的視覺(jué)監(jiān)控 是指：在需要監(jiān)控的場(chǎng)合安裝上攝像機(jī)，保存攝像機(jī)輸出的結(jié)果，當(dāng)異常情況 發(fā)生的時(shí)，工作人員通過(guò)查看已經(jīng)保存的結(jié)果觀察已經(jīng)發(fā)生的事實(shí)。智能監(jiān)控 不僅用攝像機(jī)代替人眼，而且利用計(jì)算機(jī)分析攝像機(jī)獲得的數(shù)據(jù)，對(duì)異常情況 實(shí)時(shí)的做出反應(yīng)，代替或者輔助人完成監(jiān)視和控制任務(wù)。智能監(jiān)控具有實(shí)時(shí)的 分析能力，當(dāng)盜竊等異常行為發(fā)生時(shí)能夠向工作人員實(shí)時(shí)的發(fā)出報(bào)警信號(hào)，避 免了犯罪的發(fā)生，同時(shí)減少人力、物力、財(cái)力的投入。9 1 1 事件以后，人們反 恐意識(shí)不斷增強(qiáng)，基于視覺(jué)的智能監(jiān)控顯得尤為重要，各國(guó)紛紛將其列入重要 研究計(jì)劃。 ( 2 ) 高級(jí)感知接口( a d v a n c e dp e r c e p t u a li n t e r f a n c e s ) 我們希望與未來(lái)的機(jī)器人交流能夠像與人交流一樣容易、便捷，視覺(jué)信息 ( 手勢(shì)、頭部姿勢(shì)、面部表情) 為我們提供了更高級(jí)的人機(jī)交互接口。在場(chǎng)景 中安裝視覺(jué)傳感器，通過(guò)運(yùn)動(dòng)人體檢測(cè)、步態(tài)識(shí)別1 4 1 和面部識(shí)別，計(jì)算機(jī)可以 感知人的存在，并且識(shí)別人的身份；手勢(shì)分析【1 5 1 可以方便地給計(jì)算機(jī)下命令， 對(duì)人的行為分析，可以感知用戶的意圖，處理一些突發(fā)的異常情況，為機(jī)器人 更好的為人服務(wù)提供一個(gè)智能的交互接口。 ( 3 ) 運(yùn)動(dòng)分析( m o t i o n a n a l y s i s ) 2 第1 章緒論 在體育運(yùn)動(dòng)、舞蹈訓(xùn)練、醫(yī)療站起協(xié)助等領(lǐng)域中，我們往往需要知道人體 某個(gè)部分的關(guān)節(jié)運(yùn)動(dòng)，這就需要分析人體運(yùn)動(dòng)、解釋人體運(yùn)動(dòng)行為的機(jī)制，從 而對(duì)提高人體的運(yùn)動(dòng)性能起到積極的推動(dòng)作用。在體育運(yùn)動(dòng)【1 6 】中，可以利用視 覺(jué)技術(shù)分析運(yùn)動(dòng)員的視頻序列，恢復(fù)運(yùn)動(dòng)員運(yùn)動(dòng)過(guò)程中的人體姿態(tài)和運(yùn)動(dòng)參數(shù)， 進(jìn)行科學(xué)分析，找出運(yùn)動(dòng)缺陷，為下次訓(xùn)練提供建議；醫(yī)學(xué)步態(tài)分析【1 7 , 1 s j 在 提供診斷和治療的支持，提供正常的步態(tài)模型，開(kāi)發(fā)生物反饋系統(tǒng)分析病人步 態(tài)，分析腿部的畸變程度和受傷情況，從而做出積極的整形補(bǔ)償和有效的治療。 利用視覺(jué)分析人體腿部的關(guān)節(jié)力矩，開(kāi)發(fā)更好的協(xié)助人站起的服務(wù)機(jī)器人平臺(tái) 1 1 9 1 o 1 2 2 行為理解研究現(xiàn)狀 鑒于人體行為理解具有廣泛的應(yīng)用前景和潛在的經(jīng)濟(jì)價(jià)值，從而激發(fā)了世 界上廣大科研工作者及相關(guān)商家的濃厚興趣。美國(guó)國(guó)防高級(jí)研究項(xiàng)目署設(shè)立了 以卡內(nèi)基梅隆大學(xué)為首、麻省理工學(xué)院等高校參與的視覺(jué)監(jiān)控重大項(xiàng)目v s a m ( v i s u a ls u r v e i l l a n c ea n dm o n i t o r i n g ) ，主要研究用于戰(zhàn)場(chǎng)及普通民用場(chǎng)景進(jìn)行監(jiān) 控的自動(dòng)視頻理解技術(shù)【2 0 l ；英國(guó)的雷丁大學(xué)機(jī)器視覺(jué)組開(kāi)展的對(duì)車輛和行人的 跟蹤研究，提出了基于時(shí)間識(shí)別系統(tǒng)，對(duì)目標(biāo)的動(dòng)態(tài)活動(dòng)進(jìn)行了文字描述【2 l 】； 實(shí)時(shí)識(shí)別跟蹤人體運(yùn)動(dòng)，分析人是否攜帶物體、放置物體、交換物體等簡(jiǎn)單行 為的4 w 系統(tǒng)【2 2 1 ，這里的w 4 是指：干什么( w h a t ) 、在哪里( w h e r e ) 、什么時(shí)候( w h e n ) 以及誰(shuí)( w h o ) 。美國(guó)麻省理工大學(xué)【2 3 】的p e r s o nf i n d e r 系統(tǒng)，它在攝像機(jī)固定的情 況下，能實(shí)時(shí)地發(fā)現(xiàn)和跟蹤單人的任意運(yùn)動(dòng)。國(guó)內(nèi)發(fā)展比較前沿的主要是中國(guó) 科學(xué)院自動(dòng)化研究所，清華大學(xué)的視覺(jué)研究組和微軟亞洲研究院視覺(jué)計(jì)算研究 組。中科院自動(dòng)化研究所在運(yùn)動(dòng)檢測(cè)、人臉跟蹤、步態(tài)識(shí)別和人體跟蹤等方面 展開(kāi)了研究，建立了相關(guān)的演示系統(tǒng)，并且申請(qǐng)了相關(guān)技術(shù)的專利【2 4 1 。清華大 學(xué)設(shè)計(jì)了一個(gè)智能教室系統(tǒng)【2 5 1 ，并提出了混合人體模型( 包括頭部，雙手以及雙 肘關(guān)節(jié)) ，通過(guò)p c h m m 來(lái)進(jìn)行動(dòng)作識(shí)別，該系統(tǒng)可以識(shí)別教師從課桌上拿物體、 放回物體、指向?qū)W生、指向黑板及喝水等七個(gè)動(dòng)作行為。微軟亞洲研究院視覺(jué) 計(jì)算研究組在人臉識(shí)別、指紋識(shí)別【2 6 】方面的研究處于國(guó)際領(lǐng)先水平，在人行為 識(shí)別與理解方面的進(jìn)展相對(duì)較小，這其中有機(jī)器視覺(jué)本身存在的固有原因，也 有今年來(lái)研究工作的側(cè)重點(diǎn)和方向問(wèn)題。在學(xué)術(shù)方面，一些國(guó)際權(quán)威期刊如 i ij 爾大學(xué)碩十學(xué)位論文 p a m i ( p a t t e r na n a l y s i sa n dm a c h i n ei n t e l l i g e n c e ) 、i j c v ( i n t e r n a t i o n a lj o u m a lo f c o m p u t e rv i s i o n ) 、c v i u ( c o m p u t e rv i s i o na n di m a g eu n d e r s t a n d i n g ) 、i v c ( i m a g e a n dv i s i o nc o m p u t i n g ) 和重要的學(xué)術(shù)會(huì)議如c v p r ( c o m p u t e rv i s i o na n dp a t t e m r e c o g n i t i o n ) 、i c c v ( i n t e r n a t i o n a lc o n f e r e n c eo nc o m p u t e rv i s i o n ) 等將智能化 視頻監(jiān)控技術(shù)研究，尤其是人運(yùn)動(dòng)視覺(jué)分析作為主題內(nèi)容之一，這些期刊為該 領(lǐng)域的研究人員提供了更多的交流機(jī)會(huì)。 1 3行為理解相關(guān)技術(shù) 如何解決人體行為分析問(wèn)題，往往隨著應(yīng)用領(lǐng)域而不同。實(shí)際的應(yīng)用系統(tǒng) 中由于不同的目的，需要獲取的運(yùn)動(dòng)信息隨之不同，從而解決的方法也不同， 存在著多種分類方法。 根據(jù)研究對(duì)象的不同，可以是人臉、手勢(shì)等小尺度的局部的行為識(shí)別，也 可以是大尺度的肢體、全身運(yùn)動(dòng)行為分析。前者，主要是識(shí)別特定的姿勢(shì)，并 以此來(lái)傳遞信息；后者，主要是獲得人體全局性的運(yùn)動(dòng)參數(shù)，并以此為基礎(chǔ)理 解人的行為。根據(jù)應(yīng)用場(chǎng)合的不同，可以分為監(jiān)控系統(tǒng)的行為分析和體育運(yùn)動(dòng) 中的行為分析。監(jiān)控系統(tǒng)中研究對(duì)象往往處于復(fù)雜的自然場(chǎng)景，所關(guān)注的一般 是人的整體行為與位置，不需要人體各個(gè)肢體部分的詳盡信息，研究的重點(diǎn)是 確定人體的位置、基本姿態(tài)，運(yùn)動(dòng)方向。體育運(yùn)動(dòng)分析中研究重點(diǎn)在于如何從 運(yùn)動(dòng)恢復(fù)人體結(jié)構(gòu)。根據(jù)采用攝像機(jī)的數(shù)目，可以分為基于單目的方法和基于 多目的方法。多目的方法可以獲得深度信息，但是需要復(fù)雜的標(biāo)定，往往需要 在實(shí)驗(yàn)室下進(jìn)行。根據(jù)運(yùn)動(dòng)形式不同，可以分為一般的步行、跳躍、奔跑運(yùn)動(dòng) 以及特殊的體育運(yùn)動(dòng)。要提出一個(gè)一般的技術(shù)處理框架來(lái)容納所有的人體行為 類型、達(dá)到普遍的適用性還不現(xiàn)實(shí)。不同的行為，往往有不同的運(yùn)動(dòng)模式，從 中可以總結(jié)獲得不同的運(yùn)動(dòng)模型，這些運(yùn)動(dòng)模型可以在特殊的人體行為研究中 作為先驗(yàn)知識(shí)，起到關(guān)鍵的指導(dǎo)作用。 從處理流程上劃分，人的行為分析可以分為底層視覺(jué)模塊、中層視覺(jué)模塊、 高層視覺(jué)模塊。本文將按照這個(gè)整體的處理流程，介紹其中涉及到的相關(guān)技術(shù)。 不同應(yīng)用場(chǎng)所的行為分析有不同的技術(shù)步驟，并不是所有的行為理解系統(tǒng)都包 括上面的三個(gè)層次，但是從整體來(lái)說(shuō)，仍然可以在這個(gè)整體的技術(shù)框架下描述。 4 第1 章緒論 圖l - 1 行為理解的一般性框架 1 3 1 運(yùn)動(dòng)檢測(cè) 運(yùn)動(dòng)目標(biāo)檢測(cè)是目標(biāo)識(shí)別、跟蹤和行為理解等后續(xù)工作的重要基礎(chǔ)。運(yùn)動(dòng) 目標(biāo)檢測(cè)的成功與否直接關(guān)系到整個(gè)系統(tǒng)的性能，但是開(kāi)發(fā)出適應(yīng)所有的場(chǎng)合 的檢測(cè)算法也是非常困難的。當(dāng)前運(yùn)動(dòng)目標(biāo)檢測(cè)方法有光流法( o p t i c a lf l o w ) 、時(shí) 間差分法( t e m p o r a ld i f f e r e n c e ) 和背景減除法( b a c k g r o u n ds u b t r a c t i o n ) 。 ( 1 ) 光流法【2 7 2 8 】 基于光流方法的運(yùn)動(dòng)檢測(cè)，是利用運(yùn)動(dòng)物體隨時(shí)間變化在圖像中表現(xiàn)為速 度場(chǎng)的特性，根據(jù)一定的約束條件估算出運(yùn)動(dòng)所對(duì)應(yīng)的光流。光流的概念是仿 照流體動(dòng)力學(xué)產(chǎn)生的，它是與圖像的光強(qiáng)度變化緊密聯(lián)系在一起的二維速度場(chǎng)， 是三維空間運(yùn)動(dòng)物體的被觀測(cè)表面的像素點(diǎn)運(yùn)動(dòng)的瞬時(shí)速度場(chǎng)。光流中既包括 目標(biāo)的運(yùn)動(dòng)信息，同時(shí)也記錄了目標(biāo)的結(jié)構(gòu)信息。 總的來(lái)說(shuō)，光流法的優(yōu)勢(shì)在于在無(wú)需預(yù)先知道場(chǎng)景的任何信息的情況下， 能檢測(cè)出獨(dú)立的運(yùn)動(dòng)目標(biāo)。無(wú)論是由運(yùn)動(dòng)目標(biāo)還是攝像機(jī)引起的運(yùn)動(dòng)，都可以 檢測(cè)出來(lái)。但是它易受噪聲、遮擋、陰影、光源等因素的影響，使得計(jì)算出的 光流場(chǎng)分布的可靠性和精確性降低，而且光流計(jì)算方法需要多次的迭代運(yùn)算， 復(fù)雜的運(yùn)算導(dǎo)致時(shí)間消耗比較大，沒(méi)有特殊的硬件支持下速度緩慢。當(dāng)只是需 要從靜止背景下提取運(yùn)動(dòng)目標(biāo)時(shí)，性價(jià)比不高，所以很少采用光流場(chǎng)方法進(jìn)行 運(yùn)動(dòng)檢測(cè)。 ( 2 ) 時(shí)間差分法【2 9 】 時(shí)間差分法的基本思路：利用連續(xù)的圖像序列前后幾個(gè)相鄰圖像之間，基 于像素的時(shí)間差分并且閾值化來(lái)提取出圖像中的運(yùn)動(dòng)區(qū)域。時(shí)間差分法本質(zhì)上 是背景減除法，它的背景參考圖像是當(dāng)前幀或前某幀。當(dāng)計(jì)算相鄰兩幀的差分 時(shí)，時(shí)間差分法又叫做幀間差分法( f r a m ed i f f e r e n c e ) 。在幀間差分法中，可以 選擇計(jì)算連續(xù)兩幀的差分，也可以計(jì)算三幀的差分。 時(shí)間差分法對(duì)于動(dòng)態(tài)環(huán)境具有較強(qiáng)的適應(yīng)性，無(wú)需獲得背景圖像，但在目 l i j 爾大學(xué)碩十學(xué)位論文 標(biāo)運(yùn)動(dòng)比較緩慢時(shí)，差分后的運(yùn)動(dòng)目標(biāo)區(qū)域容易產(chǎn)生“空洞”，從而不能提取所 有相關(guān)的特征象素點(diǎn)。一種改進(jìn)的方法是利用三幀差分代替，或者使用自適應(yīng) 背景獲取法與三幀差分相結(jié)合的混合算法，或采用后處理的方法如形態(tài)濾波、 區(qū)域連通或參數(shù)模型的方法提取完整的運(yùn)動(dòng)目標(biāo)信息。 ( 3 ) 背景減除法【3 0 】 背景減除法是利用當(dāng)前圖像與背景圖像的差分來(lái)檢測(cè)運(yùn)動(dòng)目標(biāo)的技術(shù)?；?本原理是將當(dāng)前幀中的像素與背景模型中對(duì)應(yīng)位置的像素做差，將差值較大的 像素標(biāo)為前景像素，所有的前景像素構(gòu)成了運(yùn)動(dòng)目標(biāo)。 背景減除法是當(dāng)前檢測(cè)運(yùn)動(dòng)目標(biāo)最常用的方法。背景模型的建立和更新成 為了背景減除算法的核心問(wèn)題。當(dāng)前最簡(jiǎn)單易行的背景建模方法是時(shí)間平均法， 但它需要獲取一段沒(méi)有運(yùn)動(dòng)物體的視頻來(lái)訓(xùn)練初始背景，有一定的局限性。目 前大部分研究人員致力于開(kāi)發(fā)魯棒的背景模型，希望能夠適應(yīng)多種場(chǎng)景下的擾 動(dòng)，已有的背景模型包括單高斯背景模型【2 3 1 、混合高斯背景模型【3 1 1 以及自適應(yīng) 背景模型圈等。 1 3 2 人體檢測(cè)與跟蹤 1 3 2 1人體檢測(cè) 人體檢測(cè)在監(jiān)控系統(tǒng)智能化中起到“大腦”的作用，是監(jiān)控系統(tǒng)是否智能 化的主要的標(biāo)志之一。雖然人體檢測(cè)相當(dāng)重要，但是由于人體對(duì)象的顏色、紋 理的多樣性，姿態(tài)的不確定性以及視覺(jué)的不確定性，研究還處于探索階段，目 前還沒(méi)有形成一種統(tǒng)一、成熟的理論和技術(shù)，具有實(shí)用性能的產(chǎn)品更是非常罕 見(jiàn)。國(guó)內(nèi)大多數(shù)監(jiān)控系統(tǒng)都回避了人體檢測(cè)模塊或只是把它當(dāng)作一種輔助手段 提供給用戶，相比之下，國(guó)外這方面的成果多一些，但大部分研究也不單獨(dú)設(shè) 立人體檢測(cè)模塊，而是把它和目標(biāo)跟蹤一起組成專門(mén)的“人的跟蹤 模塊。人 體檢測(cè)的方法主要有： 1 己知背景模型特征情況下進(jìn)行的人體檢測(cè)。在己知背景模型下對(duì)運(yùn)動(dòng)目 標(biāo)檢測(cè)，利用形狀、運(yùn)動(dòng)信息分類出人體。例如，v s a m 3 3 】采用區(qū)域的分散度、 面積、寬高比等作為特征，利用三層神經(jīng)網(wǎng)絡(luò)方法將運(yùn)動(dòng)目標(biāo)劃分為人、人群、 車和背景干擾；c u t l e r 與d a v i s l 3 4 1 利用人體運(yùn)動(dòng)具有周期性特征，通過(guò)跟蹤感興 趣的運(yùn)動(dòng)目標(biāo)，計(jì)算出目標(biāo)隨著時(shí)間變化的自相關(guān)性，而人的周期性運(yùn)動(dòng)使得 6 第1 章緒論 其自相關(guān)性也是周期性的，因此通過(guò)時(shí)頻化的方法分析目標(biāo)是否存在周期性的 運(yùn)動(dòng)特性，將人檢測(cè)出來(lái)。對(duì)于已知背景模型的人體檢測(cè)問(wèn)題，國(guó)內(nèi)外的研究 重點(diǎn)主要是怎么樣應(yīng)對(duì)光照變化以及人體重疊時(shí)的檢測(cè)問(wèn)題。 2 利用統(tǒng)計(jì)學(xué)習(xí)的方法對(duì)人體進(jìn)行檢測(cè)。p o g g i o 3 5 1 教授將人體分為頭、左 臂、右臂、腿等不同的部分，然后通過(guò)大量的圖片作為訓(xùn)練樣本，利用s v m 的 方法對(duì)不同的樣本進(jìn)行學(xué)習(xí)，分別建立頭、左臂、右臂、腿四個(gè)不同的分類器， 然后運(yùn)用這些統(tǒng)計(jì)分類器構(gòu)建一個(gè)聯(lián)合的s v m 分類器。應(yīng)用在人體姿態(tài)比較固 定( 都是正立姿態(tài)) 情況下，能夠得到較好的檢測(cè)結(jié)果。 3 利用人體模型進(jìn)行匹配的檢測(cè)方法是另外一種國(guó)際上較為流行的人體 檢測(cè)方法。由于基于統(tǒng)計(jì)學(xué)習(xí)的方法對(duì)于姿態(tài)各異的人體不能進(jìn)行很好的檢測(cè)， 很多研究者基于這個(gè)缺點(diǎn)，提出了另外一種基于模型的人體檢測(cè)方法。其本質(zhì) 在于為人體建立一個(gè)模型將人體看作是各個(gè)不同模塊組成的部分，然后再 利用算法將人體匹配到模型上，匹配得最好的結(jié)果，就是人體的最終檢測(cè)結(jié)果 3 6 1 。這種方法由于匹配算法過(guò)于復(fù)雜，在復(fù)雜背景下難以達(dá)到很好的檢測(cè)效果， 一般用于3 d 動(dòng)畫(huà)、體育運(yùn)動(dòng)視頻分析中。 針對(duì)需要實(shí)時(shí)處理的任務(wù)要求，必須降低算法的復(fù)雜度。鑒于此，本文認(rèn) 為，充分利用運(yùn)動(dòng)檢測(cè)提取出來(lái)的二值圖像中的目標(biāo)區(qū)域的物理屬性及其運(yùn)動(dòng) 屬性，能夠大大降低人體識(shí)別的運(yùn)算代價(jià)。 1 3 2 2運(yùn)動(dòng)人體跟蹤 跟蹤等價(jià)于在連續(xù)的圖像幀間創(chuàng)建基于位置、速度、形狀、紋理、色彩等 有關(guān)特征的對(duì)應(yīng)匹配問(wèn)題，常用的數(shù)學(xué)工具有卡爾曼濾波 3 7 1 ( k a l m a nf i l t e r i n g ) ， 均值漂移算法【3 引( m e a ns h i f t ) ，粒子濾波算法也稱為蒙特卡洛方法( s e q u e n t i a l m o n t ec a r l om e t h o d s ) 3 9 ，4 川等。本文依據(jù)不同的跟蹤方法來(lái)加以分類介紹。 一、基于模型的跟蹤 基于模型的人體運(yùn)動(dòng)跟蹤方法【4 1 1 ，首先根據(jù)應(yīng)用的需要建立人體形狀模型， 然后在人體運(yùn)動(dòng)的跟蹤過(guò)程中，將模型投影到圖像空間中，通過(guò)某種評(píng)價(jià)方法 或函數(shù)，計(jì)算模型與實(shí)際圖像數(shù)據(jù)間的相似度。在模型的參數(shù)空間中，尋找參 數(shù)使得模型與實(shí)際圖像數(shù)據(jù)相吻合，當(dāng)相似度滿足某種標(biāo)準(zhǔn)后停止尋找過(guò)程， 就可以獲得人體運(yùn)動(dòng)姿態(tài)的參數(shù)。該過(guò)程實(shí)際上是一個(gè)合成、比較的循環(huán)過(guò)程。 包括模型的選取和基于模型的跟蹤兩個(gè)步驟。 7 山東人學(xué)碩十學(xué)位論文 二、基于特征的跟蹤 基于特征的跟蹤包括特征的選取和特征的對(duì)應(yīng)兩個(gè)過(guò)程。首先定義特征， 然后在連續(xù)幀間匹配特征完成跟蹤。常用特征點(diǎn)包括點(diǎn)、角點(diǎn)、邊緣、線、塊 以及更為復(fù)雜的結(jié)構(gòu)特征。簡(jiǎn)單的特征易于提取和判別，但不利于跟蹤，復(fù)雜 的特征提取較為困難，但易于定位與跟蹤，隨著應(yīng)用領(lǐng)域的不同所選的特征往 往不同。p o l a n a 與n e l s o n 的文章就是一個(gè)很好的點(diǎn)特征跟蹤的例子【4 2 1 ，文中將 每個(gè)行人用一個(gè)矩形框封閉起來(lái)，封閉框的質(zhì)心被選擇作為跟蹤的特征，用以 代表人體的位置，前一幀的質(zhì)心位置被用于估計(jì)下一幀中人體質(zhì)心的位置。在 跟蹤過(guò)程中若兩人出現(xiàn)相互遮擋時(shí)，只要質(zhì)心的速度能被區(qū)分開(kāi)來(lái)，跟蹤仍能 被成功地執(zhí)行。該方法的優(yōu)點(diǎn)是實(shí)現(xiàn)簡(jiǎn)單，并能利用人體運(yùn)動(dòng)來(lái)解決遮擋問(wèn)題， 但是它僅僅考慮了平移運(yùn)動(dòng)，如果結(jié)合紋理、彩色及形狀等特征可能會(huì)進(jìn)一步 提高跟蹤的魯棒性。 三、基于區(qū)域的跟蹤 基于區(qū)域的跟蹤方法目前已有較多的應(yīng)用，例如w r e n 等利用小區(qū)域特征 進(jìn)行室內(nèi)單人的跟蹤。文中將人體看作由頭、軀干、四肢等身體部分所對(duì)應(yīng)的 小區(qū)域塊所組成，利用高斯分布建立人體和場(chǎng)景的模型，屬于人體的像素被規(guī) 劃于不同的身體部分，通過(guò)跟蹤各個(gè)小區(qū)域塊來(lái)完成整個(gè)人的跟蹤?；趨^(qū)域 跟蹤的難點(diǎn)是處理運(yùn)動(dòng)目標(biāo)的影子和遮擋，這或許可利用彩色信息以及陰影區(qū) 域缺乏紋理的性質(zhì)來(lái)加以解決。 四、基于活動(dòng)輪廓的跟蹤 基于活動(dòng)輪廓的跟蹤是利用封閉的曲線輪廓來(lái)表達(dá)運(yùn)動(dòng)目標(biāo)1 4 3 1 ，且該輪廓 能夠自動(dòng)連續(xù)地更新。相對(duì)于基于區(qū)域的跟蹤方法，輪廓表達(dá)有減少計(jì)算復(fù)雜 度的優(yōu)點(diǎn)，如果開(kāi)始能夠合理地分開(kāi)每個(gè)運(yùn)動(dòng)目標(biāo)并實(shí)現(xiàn)輪廓初始化，即使在 有部分遮擋存在的情況下也能連續(xù)地進(jìn)行跟蹤，然而初始化通常是很困難的。 1 3 3行為理解 行為理解( 也稱為行為識(shí)別) 屬于機(jī)器視覺(jué)中的高層處理階段，直接面向 應(yīng)用層次，是近年來(lái)被廣泛關(guān)注的研究熱點(diǎn)。行為理解問(wèn)題可以簡(jiǎn)單地看作是 時(shí)變特征數(shù)據(jù)的分類問(wèn)題，即將測(cè)試序列與預(yù)先標(biāo)定的代表典型行為的參考序 列進(jìn)行匹配，其關(guān)鍵問(wèn)題是如何從學(xué)習(xí)樣本中獲取參考行為序列以及如何度量 8 第1 章緒論 參考序列與測(cè)試序列之間的相似性。人體行為理解主要使用模板匹配法和狀態(tài) 空間法。 一、模板匹配方法 模板匹配方法先將圖像序列轉(zhuǎn)換為一組靜態(tài)形狀模式，然后從給定的序列 圖像中提取相關(guān)特征，并和預(yù)先存儲(chǔ)的行為模式進(jìn)行比較。例如b o b i c k 與 d a v i s 4 4 】采用運(yùn)動(dòng)能量圖像m e i ( m o t i o ne n e r g yi m a g e s ) 和運(yùn)動(dòng)歷史圖像m h i ( m o t i o nh i s t o r yi m a g e s ) 來(lái)解釋圖像序列中人的運(yùn)動(dòng)。序列中的運(yùn)動(dòng)圖像首先經(jīng) 差分運(yùn)算并二值化，然后這些包含運(yùn)動(dòng)區(qū)域的二值化運(yùn)動(dòng)圖像隨著時(shí)間累加形 成m e i ，最后m e i 增強(qiáng)為m h i ，m h i 中每個(gè)像素的值與該位置的持續(xù)運(yùn)動(dòng)時(shí) 間成比例。每個(gè)行為由不同視角下圖像序列的m e i 和m h i 所組成，從m h i 圖 像中可以提取出基于矩的行為特征，采用馬氏距離度量測(cè)試序列與模板之間的 相似性。其優(yōu)點(diǎn)是計(jì)算代價(jià)低，但對(duì)運(yùn)動(dòng)持續(xù)時(shí)間的變化和噪聲比較敏感。 二、基于狀態(tài)空間的運(yùn)動(dòng)識(shí)別 狀態(tài)空間法把每一種靜態(tài)姿勢(shì)定義為一種狀態(tài)【4 5 1 ，這些狀態(tài)通過(guò)概率聯(lián)系 起來(lái)，由靜態(tài)姿勢(shì)所組成的任何運(yùn)動(dòng)序列可以看成是這些不同狀態(tài)之間的一次 遍歷過(guò)程，在遍歷過(guò)程中計(jì)算聯(lián)合概率并將最大值作為行為分類的標(biāo)準(zhǔn)。目前， 狀態(tài)空間模型已經(jīng)被廣泛地應(yīng)用于時(shí)間序列的預(yù)測(cè)、估計(jì)和檢測(cè)，最有代表性 的是h m m s 4 6 1 。狀態(tài)空間方法雖然能克服模板匹配的缺點(diǎn)，但通常涉及到復(fù)雜 的迭代運(yùn)算。 近年來(lái)，采用狀態(tài)空間法開(kāi)展人體行為識(shí)別的研究較多，但是越來(lái)越多的 研究者把目光投向了使用自然語(yǔ)言對(duì)人體的靜態(tài)姿勢(shì)定義，通過(guò)事件語(yǔ)義方式 識(shí)別行為。該方法通過(guò)合成簡(jiǎn)單事件來(lái)自然地表達(dá)客觀世界中具有復(fù)雜時(shí)空關(guān) 系的一般事件，根據(jù)運(yùn)動(dòng)物體的屬性直接定義原子事件，具有連續(xù)性的一系列 原子事件形成了一個(gè)事件線程，定義為單線程組合事件。具有時(shí)間、空間以及 邏輯關(guān)系的一系列事件組合成為多線程事件。采用這種方法建立起一個(gè)透明的 層次事件結(jié)構(gòu)，這種層次化的事件結(jié)構(gòu)表達(dá)方式形成了事件的自然語(yǔ)言描述。 比如k o j i m a 等m 7 1 提出了一種新的方法，用于產(chǎn)生實(shí)時(shí)視頻圖像中人的行為的自 然語(yǔ)言描述：首先，從每幀圖像中提取出代表整個(gè)人體的頭部區(qū)域，并利用基 于模型的方法，估計(jì)其三維姿勢(shì)和位置。然后，這些參數(shù)軌跡被分解為單一運(yùn) 動(dòng)的基元，評(píng)估每個(gè)基元的諸如姿勢(shì)和位置的變化度、與環(huán)境中其它一些目標(biāo) 9 山東人學(xué)碩十學(xué)位論文 的相對(duì)距離等概念特征，并且選擇最合適的詞語(yǔ)和其它語(yǔ)義元素。最后，利用 機(jī)器翻譯技術(shù)，產(chǎn)生人行為描述的自然語(yǔ)言文本。 1 3 4 行為理解的難點(diǎn) 盡管近年來(lái)利用機(jī)器學(xué)習(xí)工具構(gòu)建人行為的統(tǒng)計(jì)模型、理解人行為的研究 有了一定的進(jìn)展，但由于動(dòng)態(tài)場(chǎng)景中運(yùn)動(dòng)的快速分割、寬松的著裝、遮擋、陰 影和光照變化、運(yùn)動(dòng)的非剛性和高自由度、行為發(fā)生的場(chǎng)景和人運(yùn)動(dòng)的模糊性， 例如不同的運(yùn)動(dòng)場(chǎng)景，不同的運(yùn)動(dòng)形式等因素的影響，使得行為理解成為一個(gè) 復(fù)雜且極具挑戰(zhàn)性的任務(wù)。相對(duì)于檢測(cè)、跟蹤等技術(shù)的顯著發(fā)展，行為理解的 研究進(jìn)展比較緩慢。目前行為理解的研究仍處于初級(jí)階段，仍然集中在人體標(biāo) 準(zhǔn)姿勢(shì) 4 8 , 4 9 , 5 0 , 5 1 , 5 2 】、簡(jiǎn)單行為的識(shí)別與理解5 3 , 5 4 】。從另一個(gè)角度看，由于行為理 解廣泛的應(yīng)用前景，在不久的將來(lái)，行為理解技術(shù)將深入到我們生活的各個(gè)領(lǐng) 域，極大地提高我們的生活水平。 1 4智能空間技術(shù) 家庭服務(wù)機(jī)器人自身的感知和計(jì)算能力有限，難以實(shí)時(shí)的完成家庭環(huán)境下 行為理解任務(wù)，借助智能空間技術(shù)則能夠使得家庭服務(wù)機(jī)器人的感知能力和計(jì) 算能力得到了極大的外延。1 9 9 6 年日本東京大學(xué)的h a s h i m o t o 實(shí)驗(yàn)室率先提出 了“智能空間”的概念，它將p c 機(jī)、c c d ( c h a r g ec o u p l e dd e v i c e ) 攝像機(jī)、麥 克風(fēng)、顯示器等設(shè)備通過(guò)網(wǎng)絡(luò)連接到一塊，構(gòu)建出了智能空間【5 引。 智能空間的建立主要是通過(guò)在室內(nèi)環(huán)境安放傳感器、服務(wù)p c 機(jī)、可觸摸顯 示器、網(wǎng)絡(luò)系統(tǒng)以及數(shù)據(jù)庫(kù)等軟硬件設(shè)施，使普通的室內(nèi)環(huán)境具備觀測(cè)能力并 能夠?yàn)榉?wù)機(jī)器人下達(dá)命令，使機(jī)器人準(zhǔn)確進(jìn)行導(dǎo)航、定位工作，同時(shí)完成抓 取、運(yùn)送等各種家政服務(wù)岡。在智能空間的支持下，服務(wù)機(jī)器人能在未知或半 未知的動(dòng)態(tài)環(huán)境中，自主的連續(xù)長(zhǎng)時(shí)間穩(wěn)定的進(jìn)行家政服務(wù)工作，同時(shí)能夠完 成對(duì)需要服務(wù)的用戶進(jìn)行監(jiān)護(hù)和交流及時(shí)為其提供所需的服務(wù)。 目前國(guó)際上對(duì)智能空間的研究開(kāi)展的相當(dāng)廣泛，如麻省理工學(xué)院人工智能 實(shí)驗(yàn)室( m i ta il a b ) 的i n t e l l i g e n tr o o m 、斯坦福( s t a n f o r d ) 大學(xué)的i n t e r a c t i v e w o r k s p a c e 等。智能空間思想應(yīng)用廣泛，但根據(jù)目前的資料表明，服務(wù)機(jī)器人的 研究過(guò)程少有采用智能空間技術(shù)，因此本文提出將智能空間思想應(yīng)用于服務(wù)機(jī) 器人系統(tǒng)【5 6 1 ，研究在智能空間平臺(tái)的支持下，識(shí)別人的行為，引導(dǎo)服務(wù)機(jī)器人 l o 第1 蘋(píng)緒論 完成服務(wù)任務(wù)，同時(shí)通過(guò)觀察人的行為使得機(jī)器人獲得更多的環(huán)境的信息。 1 5本文主要研究工作 本文針對(duì)家庭環(huán)境中的人的行為理解問(wèn)題進(jìn)行了研究，家庭環(huán)境下行為理 解問(wèn)題被定義為“利用計(jì)算機(jī)視覺(jué)技術(shù)結(jié)合智能空間信息系統(tǒng)的數(shù)據(jù)庫(kù)、知識(shí) 庫(kù)對(duì)人的行為和意圖進(jìn)行分析。本文所做的工作及研究成果如下： 1 ) 闡述行為理解的一般性框架，分析行為理解過(guò)程中涉及的技術(shù)。介紹 了本文的實(shí)驗(yàn)平臺(tái)，并提出了適用于本文的家庭監(jiān)護(hù)系統(tǒng)的行為理解 方案。 2 _ ) 運(yùn)動(dòng)人體檢測(cè)是行為理解初級(jí)階段需要解決的問(wèn)題，對(duì)基于g m m 運(yùn) 動(dòng)檢測(cè)算法進(jìn)行改進(jìn)，在背景初始化階段采用動(dòng)態(tài)學(xué)習(xí)率，提高了背 景模型的準(zhǔn)確性。在背景更新階段提出基于區(qū)域的背景更新策略，利 用人體檢測(cè)的結(jié)果指導(dǎo)背景重建，使得復(fù)雜形式的人體運(yùn)動(dòng)不被背景 吸收。針對(duì)復(fù)雜環(huán)境人體檢測(cè)的斷裂、孔洞的影響，提出將基于g m m 的運(yùn)動(dòng)檢測(cè)算法與邊緣差分相結(jié)合的運(yùn)動(dòng)檢測(cè)算法。 3 ) 提出復(fù)雜環(huán)境下基于特征融合的日常動(dòng)作、突發(fā)異常( 摔倒) 檢測(cè)方 法。利用人的姿態(tài)，姿態(tài)變化速率特征、人的位置變化特征表征人的 運(yùn)動(dòng)狀態(tài)，通過(guò)合成簡(jiǎn)單的姿態(tài)事件并結(jié)合特征來(lái)表達(dá)具有復(fù)雜時(shí)空 關(guān)系的運(yùn)動(dòng)事件。 4 ) 提出利用智能空間信息的行為理解的框架。主要內(nèi)容包括運(yùn)動(dòng)人體在 室內(nèi)定位；提出通過(guò)建立人體在場(chǎng)景中和物品區(qū)域位置關(guān)系的位置關(guān) 聯(lián)矩陣以及時(shí)間上的時(shí)空關(guān)聯(lián)矩陣分析人的意圖、理解人的行為習(xí)慣 的方法。實(shí)驗(yàn)表明該方法在實(shí)踐中具有可行性，在意圖識(shí)別、異常行 為理解方面有廣泛的應(yīng)用前景。 5 ) 人的行為理解利用了智能空間的信息，同時(shí)行為理解的結(jié)果也是對(duì)智 能空間信息的補(bǔ)充，在本文的最后一節(jié)講述了基于觀察人行為的信息 獲取模式在機(jī)器人導(dǎo)航中的應(yīng)用。 1 6 本文結(jié)構(gòu) 第1 章，簡(jiǎn)介論文。介紹了論文的研究背景、研究現(xiàn)狀，行為理解的一般 性處理流程以及涉及的相關(guān)技術(shù)。 l j i 東人學(xué)碩+ 學(xué)位論文 第2 章，給出了本文的總體技術(shù)框架，主要包括家庭助理機(jī)器人綜合實(shí)驗(yàn) 平臺(tái)的介紹和家庭環(huán)境下行為理解系統(tǒng)的整體設(shè)計(jì)。 第3 章，提出改進(jìn)的基于g m m 背景模型的運(yùn)動(dòng)人體檢測(cè)算法，檢測(cè)家庭 環(huán)境下的運(yùn)動(dòng)人體。 第4 章，提出了一種基于多特征融合的動(dòng)作識(shí)別方法。采用分層的運(yùn)動(dòng)識(shí) 別模型，簡(jiǎn)化動(dòng)作識(shí)別的過(guò)程，識(shí)別系統(tǒng)架構(gòu)便于擴(kuò)展。 第5 章，提出基于智能空間的高層行為識(shí)別方法，同時(shí)，在最后一節(jié)介紹 了行為理解信息在機(jī)器人獲取環(huán)境信息中的應(yīng)用。 1 2 第6 章，對(duì)整個(gè)論文進(jìn)行了總結(jié)，給出下一步研究?jī)?nèi)容。 第2 章系統(tǒng)技術(shù)框架 本文要實(shí)現(xiàn)的目的是家庭助理機(jī)器人為人提供智能服務(wù)，研究的重點(diǎn)是人 的行為的理解。本章首先介紹了“以人為中心”家庭助理機(jī)器人綜合平臺(tái)的搭 建，然后闡述了在此平臺(tái)下的行為理解框架，最后引入了行為理解與家庭助理 機(jī)器人綜合平臺(tái)的信息交互，即基于行為理解的家庭助理機(jī)器人綜合平臺(tái)信息 獲取。 2 1 家庭助理機(jī)器人綜合平臺(tái) 本節(jié)將討論家庭助理機(jī)器人綜合平臺(tái)的系統(tǒng)結(jié)構(gòu)設(shè)計(jì)，包括設(shè)計(jì)原則、硬 件體系結(jié)構(gòu)