人體行為識(shí)別概述課件

人體行為識(shí)別概述機(jī)器視覺團(tuán)隊(duì)：歐陽寒人體行為識(shí)別概述行為識(shí)別現(xiàn)狀VSAM(VisualSurveillanceandMonitoring)1997IVPL實(shí)驗(yàn)室(TheImageandVideoProcessingLaboratory)AIRVL實(shí)驗(yàn)室(ArtificialIntelligence，Robotics，andVisionLaboratory)LPAC實(shí)驗(yàn)室(LaboratoryforPerception，ActionandCognition)KNIGHT系統(tǒng)ISCAPs(IntegratedSurveillanceofCrowdedAreasforPublicSecurity)REASON(RobustMethodsforMonitoringandUnderstandingPeopleinPublicspaces)CANTATA(ContentAwareNetworkedsystemsTowardsAdvancedandTailoredAssistance)中國科學(xué)院自動(dòng)化所的生物識(shí)別與安全技術(shù)研究中心CBSR微軟亞洲研究院參考文獻(xiàn)：監(jiān)控視頻中的人體異常行為檢測研究2人體行為識(shí)別概述行為識(shí)別前景high-levelvideoindexingandretrieval“smart”videosurveillancesystems

自動(dòng)檢測異常行為，輔助檢索一個(gè)特定的事件。Theanalysisofsportvideos

幫助教練進(jìn)行戰(zhàn)略分析。識(shí)別不同的游泳風(fēng)格。Handgesturerecognition

虛擬現(xiàn)實(shí)Human-ComputerInteraction(HCI)systems

kidsRoom、Smartroom、Facialaction用于分析精神病病人的情感行為。roboticsmedicalarea

輔助診斷病人的運(yùn)動(dòng)問題。另一個(gè)是對老年人提供遠(yuǎn)程協(xié)助。參考文獻(xiàn)：ActionRecognitioninVideos:fromMotionCaptureLabstotheWeb3人體行為識(shí)別概述行為識(shí)別的流程參考文獻(xiàn)：運(yùn)動(dòng)人體行為分析視頻中的人體運(yùn)動(dòng)分析及其應(yīng)用研究

目標(biāo)的運(yùn)動(dòng)特征，可以用于運(yùn)動(dòng)表述，是行為理解等高層部分的基礎(chǔ)。常見的運(yùn)動(dòng)表述方法有：運(yùn)動(dòng)軌跡、時(shí)空圖表述和光流。4人體行為識(shí)別概述行為識(shí)別的流程。5人體行為識(shí)別概述目錄目標(biāo)檢測01目標(biāo)分類02特征提取04行為理解05目標(biāo)跟蹤036人體行為識(shí)別概述運(yùn)動(dòng)目標(biāo)檢測參考文獻(xiàn)：視頻中的人體運(yùn)動(dòng)分析及其應(yīng)用研究.nh運(yùn)動(dòng)目標(biāo)跟蹤算法研究綜述.pdf對于不依賴先驗(yàn)知識(shí)的目標(biāo)跟蹤來講，運(yùn)動(dòng)檢測是實(shí)現(xiàn)跟蹤的第一步運(yùn)動(dòng)檢測即為從序列圖像中將變化區(qū)域從背景圖像中提取出來。7人體行為識(shí)別概述目標(biāo)檢測——時(shí)間差分法在連續(xù)的圖像序列中兩幅或三幅相鄰幀之間采用基于像素的時(shí)間差分，并對差分結(jié)果進(jìn)行閾值化處理以提取圖像中的前景運(yùn)動(dòng)區(qū)域。缺點(diǎn)：前景、背景區(qū)域的確定與閾值的選取有很大的關(guān)系當(dāng)灰度圖像序列對比度較低時(shí)，由于相鄰兩幀的差(前景與背景之差)的范圍很小，閾值難以選取，影響前景目標(biāo)的分割結(jié)果。區(qū)域灰度值變化較為平坦時(shí)，容易在人體二值圖像內(nèi)產(chǎn)生空洞現(xiàn)象，給后續(xù)的目標(biāo)分類、跟蹤和識(shí)別造成不便。優(yōu)點(diǎn)：對于動(dòng)態(tài)環(huán)境有較強(qiáng)的自適應(yīng)性8人體行為識(shí)別概述目標(biāo)檢測——光流法基于光流法的運(yùn)動(dòng)檢測，是利用運(yùn)動(dòng)物體隨時(shí)間變化在圖像中表現(xiàn)的光流特性，通過計(jì)算位移向量光流場來提取運(yùn)動(dòng)目標(biāo)。光流是空間運(yùn)動(dòng)物體在觀測成像面上對應(yīng)像素運(yùn)動(dòng)的瞬時(shí)速度，是空間物體可見點(diǎn)的三維速度矢量在成像平面上的投影，它攜帶了豐富的運(yùn)動(dòng)和結(jié)構(gòu)信息。優(yōu)點(diǎn)：即使在攝像機(jī)運(yùn)動(dòng)的情況下也能檢測出獨(dú)立的運(yùn)動(dòng)目標(biāo)。缺點(diǎn)：由于噪聲、多光源、陰影和遮擋等原因，計(jì)算出的光流場分布并不十分可靠和準(zhǔn)確。多數(shù)光流法計(jì)算復(fù)雜、耗時(shí)，在實(shí)際的系統(tǒng)中沒有特殊的硬件支持時(shí)，很難實(shí)現(xiàn)實(shí)時(shí)檢測。9人體行為識(shí)別概述目標(biāo)檢測——背景減除法最常用且有效的是背景減除法。背景減除法最簡單的實(shí)現(xiàn)方法是預(yù)先選取不含前景運(yùn)動(dòng)目標(biāo)的背景圖像，然后將當(dāng)前圖像幀與背景圖像相減得到前景目標(biāo)。背景減除法通常在攝像機(jī)固定的情況下使用，關(guān)鍵是建立隨場景變化不斷更新的背景模型。有兩類常用的背景更新方法:1、建立背景模型并采用自適應(yīng)方法對模型參數(shù)進(jìn)行調(diào)整，從而獲得新背景圖像;2、從過去的一組觀測圖像中按一定的假設(shè)選擇像素值構(gòu)成當(dāng)前背景圖像。10人體行為識(shí)別概述目標(biāo)分類參考文獻(xiàn)：視頻中的人體運(yùn)動(dòng)分析及其應(yīng)用研究11人體行為識(shí)別概述人體描述參考文獻(xiàn)：HumanMotion:ModelingandRecognitionofActionsandInteractions

?12人體行為識(shí)別概述運(yùn)動(dòng)跟蹤參考文獻(xiàn)：運(yùn)動(dòng)目標(biāo)跟蹤算法研究綜述運(yùn)動(dòng)目標(biāo)的跟蹤，即通過目標(biāo)的有效表達(dá)，在圖像序列中尋找與目標(biāo)模板最相似候選目標(biāo)區(qū)位置的過程。就是在序列圖像中為目標(biāo)定位。范例13人體行為識(shí)別概述四種跟蹤方法的比較。14人體行為識(shí)別概述運(yùn)動(dòng)目標(biāo)的特征參考文獻(xiàn)：自動(dòng)目標(biāo)識(shí)別與跟蹤技術(shù)研究綜述15人體行為識(shí)別概述運(yùn)動(dòng)表征。16人體行為識(shí)別概述行為識(shí)別人的行為理解與描述是指對人的運(yùn)動(dòng)模式進(jìn)行分析和識(shí)別,并用自然語言等加以描述.可以簡單地認(rèn)為是時(shí)變數(shù)據(jù)的分類問題，即將測試序列與預(yù)先標(biāo)定的代表典型行為的參考序列進(jìn)行匹配.行為理解的關(guān)鍵問題是如何從學(xué)習(xí)樣本中獲取參考行為序列,并且學(xué)習(xí)和匹配的行為序列能夠處理在相似的運(yùn)動(dòng)模式類別中空間和時(shí)間尺度上輕微的特征變化.17人體行為識(shí)別概述行為識(shí)別方法18人體行為識(shí)別概述基于模板匹配的方法首先將圖像序列轉(zhuǎn)換成一組靜態(tài)形狀模式然后在識(shí)別過程中用輸入圖像序列提取的特征與在訓(xùn)練階段預(yù)先存儲(chǔ)的動(dòng)作行為模板進(jìn)行相似度比較，在比較數(shù)據(jù)可以有輕微變化下識(shí)別人體行為。MHV(MotionHistoryVolumes)19人體行為識(shí)別概述基于模板匹配的方法之DTWDTW（dynamictimewarping）——?jiǎng)討B(tài)時(shí)間規(guī)整DTW是一種時(shí)變數(shù)據(jù)序列匹配方法DTW優(yōu)點(diǎn)：概念簡單、算法魯棒，能夠?qū)D像序列進(jìn)行分類。DTW缺點(diǎn)：算法計(jì)算量較大，缺乏考慮相鄰時(shí)序之間的動(dòng)態(tài)特性，而在實(shí)際中，運(yùn)動(dòng)序列中相鄰序列在時(shí)間和空間上有高度的相關(guān)性。

20人體行為識(shí)別概述基于狀態(tài)空間的方法將圖像序列中的每個(gè)靜態(tài)姿勢或運(yùn)動(dòng)狀態(tài)作為一個(gè)狀態(tài)節(jié)點(diǎn)，這些狀態(tài)節(jié)點(diǎn)之間由給定的概率聯(lián)系起來。任何的動(dòng)作序列可以認(rèn)為是這些靜態(tài)動(dòng)作在不同狀態(tài)節(jié)點(diǎn)中的一次遍歷過程，計(jì)算這個(gè)遍歷過程的聯(lián)合概率，取其最大值作為分類標(biāo)準(zhǔn)?；跔顟B(tài)空間的方法已經(jīng)被廣泛應(yīng)用于預(yù)測、估計(jì)和檢測時(shí)間序列。21人體行為識(shí)別概述基于狀態(tài)空間的方法——HMM隱馬爾可夫模型的基本結(jié)構(gòu)22人體行為識(shí)別概述基于狀態(tài)空間的方法——DBNs動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)(dynamicBayesiannetworks，DBNs)由于HMMs不能有效處理三個(gè)或三個(gè)以上獨(dú)立的過程，作為HMMs的推廣方法。是一種對隨機(jī)過程描述的有向圖解利用先驗(yàn)知識(shí)建立視覺特征之間的因果關(guān)系來處理視頻處理中固有的不確定性問題。優(yōu)點(diǎn)：可以任意改變拓?fù)浣Y(jié)果或增刪變量以反映變量間各種不同的關(guān)聯(lián)關(guān)系，而不影響訓(xùn)練算法本身，因此具有良好的可解釋性，其拓?fù)浣Y(jié)構(gòu)具有精確及易于理解的概率語義。相比馬爾可夫鏈，貝葉斯網(wǎng)絡(luò)訓(xùn)練比較復(fù)雜。23人體行為識(shí)別概述基于狀態(tài)空間的方法——ANN人工神經(jīng)網(wǎng)絡(luò)是由人工建立的以有向圖為拓?fù)浣Y(jié)構(gòu)的動(dòng)態(tài)系統(tǒng)，它通過對連續(xù)或斷續(xù)的輸入作狀態(tài)響應(yīng)而進(jìn)行信息處理，在分析時(shí)變數(shù)據(jù)時(shí)具有很大的優(yōu)勢。缺點(diǎn)：需要用大量的數(shù)據(jù)來訓(xùn)練網(wǎng)絡(luò)TDNN(time-delayneuralnetwork)——時(shí)延神經(jīng)網(wǎng)絡(luò)是在多層前饋感知器神經(jīng)網(wǎng)絡(luò)模型中引入時(shí)延單元使得神經(jīng)網(wǎng)絡(luò)增加記憶功能；時(shí)變序列的前述值被用來預(yù)測下一個(gè)值。由于大量數(shù)據(jù)集成為可能，時(shí)延神經(jīng)網(wǎng)絡(luò)的重點(diǎn)就可以放在時(shí)分信息的表達(dá)這樣由此導(dǎo)出的神經(jīng)網(wǎng)絡(luò)模型適合應(yīng)用于處理序列數(shù)據(jù)。24人體行為識(shí)別概述基于狀態(tài)空間的方法——SVM支持向量機(jī)(supportvectormachine，SVM)優(yōu)點(diǎn)：能夠較好地解決常見的非線性分類問題中的小樣本、非線性、高維數(shù)和局部極小點(diǎn)等實(shí)際問題可以避免神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇和局部極小點(diǎn)問題25人體行為識(shí)別概述兩種方法比較模板匹配方法的優(yōu)點(diǎn)是計(jì)算復(fù)雜度低、操作和實(shí)現(xiàn)簡單，但缺乏考慮運(yùn)動(dòng)序列中相鄰時(shí)序之間的動(dòng)態(tài)特性，對于噪聲和運(yùn)動(dòng)時(shí)間間隔的變化相當(dāng)敏感。狀態(tài)空間方法雖然能克服模板匹配的缺點(diǎn)，但通常涉及到復(fù)雜的迭代運(yùn)算，算法的步驟較為復(fù)雜，難以應(yīng)用到實(shí)際工作中。26人體行為識(shí)別概述基于語義的描述方法用一種形式化的語法格式：主語（人）、謂語（人的動(dòng)作）、賓語（實(shí)物），將場景中人的活動(dòng)情況用填空的形式填入語法格式中，產(chǎn)生對場景的自然語言描述?；谡Z義描述的方法是對在一段持續(xù)時(shí)間內(nèi)場景內(nèi)容的分析過程目前還處于對場景中人體行為的簡單語義解釋對復(fù)雜場景中人體復(fù)雜行為有效的充分的語義描述還有相當(dāng)艱巨的工作要做27人體行為識(shí)別概述行為的分層模型常用的概念pose、actions、activitiesaction/motorprimitivesHumanactionrecognitionMotionanalysisActiondetectionAutomaticTargetRecognitionBehaviorunderstandingvisualanalysis28人體行為識(shí)別概述行為識(shí)別難點(diǎn)運(yùn)動(dòng)分割（MotionSegmentation）人體建模遮擋問題多攝像機(jī)的使用運(yùn)動(dòng)特征選擇與表達(dá)行為識(shí)別高層行為與場景理解性能評估29人體行為識(shí)別概述行為識(shí)別的熱點(diǎn)音頻與視覺相結(jié)合的多模態(tài)接口行為理解與生物特征識(shí)別相結(jié)合人的運(yùn)動(dòng)分析向行為理解與描述高層處理的轉(zhuǎn)變30人體行為識(shí)別概述常用數(shù)據(jù)庫KTHhumanmotiondatasetWeizmannhumanactiondatasetINRIAXMASmulti-viewdatasetUCFsportsactiondatasetHollywoodhumanactiondatasetCASIA31人體行為識(shí)別概述頂級會(huì)議ICCV(IEEEInternationalConferenceOnComputerVision)ICPR(IEEEConferenceonComputerVisionandPatternRecognition)ECCV(EuropeanConferenceonComputerVision)IJCV(International30umalofComputerVision)PAMI(IEEETransactionsonPatternAnalysisandMachineIntelligence)IEEEInternationalWorkshopPerformanceEvaluationofTrackingandSurveillance每年還提供PETS數(shù)據(jù)庫用來評估智能監(jiān)控系統(tǒng)的性能。智能視覺監(jiān)控學(xué)術(shù)會(huì)議模式識(shí)別會(huì)議等參考文獻(xiàn)：監(jiān)控視頻中的人體異常行為檢測研究32人體行為識(shí)別概述參考文獻(xiàn)Asurveyofadvancesinvision-