基于異常排斥點和互信息的人群異常檢測方法.doc

基于排斥點和互信息的人群異常行為探測方法 111Mutual Information for the Detection of Abnormal Crowd Behavior 摘要摘要 快速探測人群場景中的異常行為 能夠及時預(yù)警 減少其危險性并降低由此帶來的損害 在大規(guī)模偵測 預(yù)防踩踏等群體 事件中具有很高的實用性 本文提出一種基于異常排斥點的人群異常行為檢測方法 定義了人群異常場景中異常排斥點的概念 揭示了異常排斥點在人群異常探測中的重要作用 并通過融合異常排斥點信息與場景互信息擴展了人群異常檢測在不同場景中的 適用性 大幅度提高了異常檢測的準確性和靈敏度 關(guān)鍵詞關(guān)鍵詞 互信息 排斥點 人群異常探測 光學(xué)流 0 引言引言 人群狀態(tài)檢測是智能視頻監(jiān)控和智能環(huán)境的主要內(nèi)容 也是實現(xiàn)自動人群管理的基本要求 利用計算機視覺技術(shù) 對監(jiān)控視頻的內(nèi)容進行分析并理解在公共管理 國防 反 恐 銀行 公共安全等方面具有不可替代的作用 近年來 頻繁的群體性事件造成了大量的人員傷亡和財產(chǎn)損失 如 果在異常行為開始時 系統(tǒng)能夠及時警報并進一步采取應(yīng) 對措施 就可以有效降低相應(yīng)事件所帶來的危害 所以 異常行為探測在我國的當(dāng)前社會 經(jīng)濟環(huán)境下具有廣泛的 實用價值 然而 在實際應(yīng)用過程中 由于監(jiān)控使用場景 廣泛 視頻量龐大以及人群行為復(fù)雜等 人工視頻監(jiān)控和 傳統(tǒng)視頻監(jiān)控往往需要耗費大量的人力 物力 且效率低 下 通用性差 人群異常行為識別嚴重滯后 為此 智能 視頻監(jiān)控技術(shù)得以迅速發(fā)展 從而將人們從大量的低效率 的工作中解脫出來 目前 智能視頻監(jiān)控主要面臨兩大挑戰(zhàn) 一方面是監(jiān) 控場景范圍廣 人群異常行為模式復(fù)雜 隨著監(jiān)控設(shè)備的 普及和技術(shù)的成熟 監(jiān)控場景的范圍原來越廣泛 從公共 廣場到建筑內(nèi)部 不同場景的人群活動具有不同的異常行 為模式 其中人群的疏散和聚集是其中最具代表性的兩類 如廣場中某處發(fā)生騷亂 人群四處逃散 或向一側(cè)出口逃 散 或者廣場上某一區(qū)域發(fā)生聚集 面對如此復(fù)雜的異常 行為模式 研究其共有的特性以提高監(jiān)控的普適性就變得 尤為重要 另一方面 異常模式探測困難 計算量大 對 于智能視頻監(jiān)控來說 及時地探測出人群的異常行為是衡 量方法有效性的重要標準之一 及時的探測有助于警報的 發(fā)出和人群的疏散和逃生 從而能夠?qū)⑽ｋU造成的損失降 到最低 為此 有效簡化異常探測模型 降低數(shù)據(jù)預(yù)處理 的計算量和計算復(fù)雜度 滿足異常行為檢測的高速乃至實 時要求是當(dāng)前人群異常檢測的核心內(nèi)容 傳統(tǒng)人群異常探測技術(shù)在計算量以及適用范圍上難于 滿足需求 為此 提出了一種基于排斥點和互信息的人群 異常行為探測方法 方法揭示了不同場景下人群異常行為 模式的公共特點 并進一步提出了 排斥點 的概念 結(jié) 合互信息理論 方法對不同的監(jiān)控場景具有良好的適應(yīng)性 提高了人群異常行為探測的及時性和準確性 1 相關(guān)工作相關(guān)工作 當(dāng)前流行的人群異常探測方法主要包含兩種 一種是基 于整體的方法 一種則面向個體追蹤 前者往往通過構(gòu)建 場景模型 5 6 用學(xué)習(xí)算法估計模型參數(shù)后用該模型進行異 常檢測 Helbing 等 3 將牛頓力學(xué)定律引入人群動力學(xué)分析 中 稱之為 社會力 Social force Mahadevan 等在文 獻 4 中先通過使用動態(tài)紋理的混合物建立了正常的人群行 為模型 然后使用這個模型來判斷異常點 Mehran 等 2 對 社會力模型進行了拓展 將其應(yīng)用到相對稀疏的人群行為建 模上 為避免對每個局部目標跟蹤而產(chǎn)生大量計算 使用 了質(zhì)點平流傳送的整體分析方法 在平流傳送的基礎(chǔ)上建 立力學(xué)模型 對社會力流構(gòu)建語料庫后用隱含狄利克雷分配 La tent Dirichlet allocation LDA 訓(xùn)練并發(fā)現(xiàn)人群行為標 題 再利用詞袋法 Word bag WB 進行模式分析以檢測人 群事件 LDA 訓(xùn)練和詞袋模型的 EM 近似算法導(dǎo)致該方法 的計算量偏大 對于實時監(jiān)控系統(tǒng)來說 這樣的計算量對 系統(tǒng)來說無疑是個沉重的負擔(dān) 更無法應(yīng)用于大量的攝像 頭監(jiān)控系統(tǒng) 并且此方法適用于密度較高的人群場景 當(dāng) 人群密度較小 人群中個體之間的相互作用力較小 這樣 對人群的異常行為的探測影響非常大 并且 該文章沒有 考慮到在室內(nèi)場景中 個體與建筑物的相互作用力 如人 與墻的排斥力沒有考慮到 其適用范圍收到一定的限制 第二種方法更傾向于對場景中個體的追蹤 7 8 Harding 1 提出了一種基于互信息的探測人群異常行為的方 法 該方法指出 人群在正常情況下的運動是有序的 場 景中人群的位置和方向有關(guān) 都是均勻分布的 這樣 人 群中個體的位置和方向的相關(guān)度較高 所以計算得到的互 信息值較高 在異常行為下的人群會向安全的地方運動 這樣在人群異常行為開始時刻 人群位置分布仍會很平均 但人群中個體會向著安全方向運動 如此一來 人群中個 體的位置和方向的相關(guān)度較低 所以計算得到的互信息值 較低 例如 在室內(nèi)的酒店中 正常情況下 人群分布均 勻 個體的方向分布也均勻 所得的互信息值就相對較高 但假設(shè)酒店中失火 此時人群分布仍舊比較均勻 但人群 一般都是朝向出口的方向運動 這樣計算得到的互信息值 NoTR 2012 06 007 2012 ZZU 2ZZU CS ITSG RESEARCH GROUP TECHNICAL REPORT NO TR 2012 06 007 就很低 此方法與上述社會力探測方法 3 相比 其計算量 顯著降低 但是其適用范圍更加狹窄 一般使用于具有單 一出口的封閉空間場景 如單一逃生出口的室內(nèi) 對于 那些出口較多或開放式場景中 由于人群逃生運動方向較 為發(fā)散 此方法的適用性將大受限制 隨著各種商業(yè) 文化 體育 娛樂 宗教以及交通運輸 等方面的迅速發(fā)展 越來越多的人群聚集現(xiàn)象出現(xiàn)在大量 復(fù)雜場景中 傳統(tǒng)人群異常檢測方法在當(dāng)前監(jiān)控數(shù)據(jù)量規(guī) 模龐大 場景復(fù)雜且預(yù)警時限要求高的現(xiàn)狀下進行高效地 智能化地監(jiān)控已經(jīng)難于實現(xiàn) 然而 在大多數(shù)群體事件中 一般都具備引起人群異常的具體誘因和發(fā)源地點 這成為 很多人群異常場景的共性所在 為此 揭示異常排斥點在 群體事件中的作用和特征 結(jié)合異常排斥點與互信息偵測 人群異常 將大幅度提高智能監(jiān)控適用范圍 降低相關(guān)技 術(shù)的計算量 本文揭示了異常排斥點的原理和在人群異常檢測中的重 要作用 定義了異常排斥點的概念 并結(jié)合互信息的理論 基礎(chǔ)提出了一種新的人群異常檢測方法 基于異常排斥點的 人群異常檢測方法 方法將異常排斥點概念引入人群監(jiān)控 中 從而擴展了相應(yīng)技術(shù)的應(yīng)用范圍 提高了監(jiān)控有效性 和及時性 本文第三節(jié)描述了本文的具體方法 第四節(jié)進 行算法的實驗分析 最后給出結(jié)論和下一步工作 2 方法方法 基于異常排斥點的人群異常檢測方法其核心在于異常 排斥點的確定以及與互信息的融合 在大部分人群場景中 無論是在室內(nèi)還是在室外 當(dāng) 出現(xiàn)異常事件如火災(zāi) 騷亂等時 每個個體 人 為了躲 避這些危險 一定會盡量向遠離這些危險的方向運動 這 樣每個人才能盡量短時間內(nèi)逃向安全的地方 而這些危險 發(fā)生的地方定為排斥點 因此 異常排斥點定義如下 定義定義 1 異常排斥點是指在人群異常場景下 所有個 體微粒運動反方向區(qū)域所覆蓋最為集中的位置點 L L p p max I1 I2 In 1 In 其中 p 表示場景中的位置 Ii則表示第 i 個個體微粒 的運動反方向區(qū)域 而信息論的核心則在于通過場景中個體運動的有序程 度來探測人群的異常行為 互信息是信息論里一種有用的 信息度量 它是指兩個事件集合之間的相關(guān)性 在人群場 景中 正常的人群中個體的運動方向是隨機的 異常的人 群中個體的運動方向是受異常情況的影響 總體的運動趨 勢是背離危險源運動 是無序的 所以 正常的人群中個 體的坐標和運動的方向是無相關(guān)性的 反之 異常情況下 則有相關(guān)性 結(jié)合異常排斥點與互信息理論 基于異常排斥點的人 群異常檢測方法的基本步驟如圖 1 所示 首先將輸入視頻 分為幀 第一步計算每幀中的速度場 在計算速度場中 我們將微粒網(wǎng)格布滿每一幀的圖像 使用微粒代替場景中 的個體 計算每個微粒運動 這樣避免了追蹤個體的典型 問題 第二步 通過統(tǒng)計每個微粒速度的反方向 我們知 道人群總體背離危險源運動 從而可以找出可能存在的危 險源的位置 本文將危險源稱為排斥點 第三步 我們引 入信息論 通過計算互信息 得到微粒坐標與微粒背離排 斥點運動的無序程度 無序程度高 說明此場景屬于異常 人群行為 通過以上步驟 可以高效的探測出視頻中人群 的異常行為 3 1 計算速度場計算速度場 將輸入視頻分為幀 將微粒網(wǎng)格布滿每一幀的畫面 以微粒的運動代替場景中每一個個體的運動 這樣可以避 免因人群密度大等復(fù)雜場景對于個體跟蹤產(chǎn)生的問題 并 且可以節(jié)省個體跟蹤的計算量 計算視頻中連續(xù)兩幀的光 流 得到每個微粒的水平和垂直的速度分量 通過兩個方 向的分量得到每個微粒的速度方向 ij x y 算法算法 1 計算速度場 輸入 連續(xù)兩幀的圖像 輸出 網(wǎng)格中每個微粒的速度方向 ij x y 算法步驟 1 使用 Lucas k rp 計算反方向覆蓋的網(wǎng)格 k rp end for return argmax k rp 3 將 k 網(wǎng)格的中心點坐標定為排斥點坐標 r x y 為進一步降低排斥點計算量 算法采用基于運動方向 的方法計算并獲取排斥點 算法以微粒運動方向作為輸入 參數(shù) 而無需其它諸如速度 加速度等參數(shù) 因為在人群 密集的情況下 個體速度不能反映真實危急的情況 而個 體的運動方向其適用范圍則更廣 實驗證明上述算法可以 有效反映出場景中人群運動的無序性 擁有足夠的精確度 偵測出異常點 在正常的人群行為的場景中 排斥點的選 取本身尚不能反映人群運動的無序 為此需要進一步計算 基于異常排斥點的互信息來確定人群的有序性 3 3 計算互信息計算互信息 大量研究文獻指出 在正常的情況下 人群的運動是 高度有序的 方向和速度的一個特定的個體與他們當(dāng)前的 位置相關(guān) 人群的運動受到很小的外界干擾 總體運動方 向是跟隨自己的意愿運動 在異常情況下 人群的慌亂會 打破這種有序性 人群會因為危險改變自己的運動方向 為了盡快的躲避危險源 背離危險源方向運動 這樣會呈 現(xiàn)出人群運動的無序性 基于異常排斥點可以更加準確和 高效地計算這種無序性 融合異常排斥點信息和互信息的 方法 可以巧妙地計算出運動個體的位置和運動方向的相 關(guān)度 從而得到人群總體的有序性 互信息公式有兩個變量A和B 互信息定義為 2 log ij ij i j ij p a b I A Bp a b p a p b MERGEFORMAT 2 2 其中 和分別是的邊緣概率分布 i p a j p b A B 是的聯(lián)合概率分布 互信息實際上測量的是 ij p a b A B 兩個變量的獨立性 算法中互信息用于測量人群中個體的 位置和個體背離排斥點的運動角度 一個有序的人群有較 高的互信息值 當(dāng)人群發(fā)生異常行為時 會進入無序狀態(tài) 計算得到的互信息值會較低 所以 我們可以通過互信息 值的變化 探測異常行為的開始時刻 及時探測到人群的 異常行為 結(jié)合互信息理論與異常排斥點概念 算法定義個體運 動背離排斥點運動的角度 MERGEFORMAT 3 3 其中是微粒運動的速度方向 圖3中紅色箭頭 ij x y 是微粒坐標到排斥點坐標的方向 圖3中黃色箭頭 ij x y 定義如下 tan j ij i yy x ya xx MERGEFORMAT 4 4 是微粒的坐標 是排斥點的坐標 算法使用 ij x y r x y 三個變量來計算互信息 其中一個變量是基于排斥點的 i 另兩個是微粒的笛卡爾坐標 為了討論人群的有序 ij x y 程度 我們使用公式 4 計算互信息 2 2 log log 2 ij ij i j ij ij ij i j ij p x I Xp x p x p p y I Yp y p y p I XI Y I MERGEFORMAT 5 5 圖 3 圖中是兩幅異常人群行為的場景圖 圖中紅色箭頭表示個 體速度矢量 藍色圓點代表排斥點 黃色箭頭代表個體到排斥 點的方向 左圖是人群水平背離排斥點運動 右圖是人群背離 排斥點四散運動 圖2 圖像被白線分割成網(wǎng)格 右圖中紅色箭頭代表微粒的運動 方向 左圖綠色區(qū)域是微粒運動方向覆蓋的區(qū)域 左圖紅色區(qū) 域是運動反方向覆蓋的區(qū)域 右圖中藍色點是計算得到的排斥 點 4ZZU CS ITSG RESEARCH GROUP TECHNICAL REPORT NO TR 2012 06 007 通過計算笛卡爾坐標x y方向與的平均互信息值 我們可以獲取人群的有序程度 從而判定該場景是否是異 常人群行為場景 算法算法 3 計算互信息 輸入 每個微粒速度方向 排斥點的坐標 ij x y r x y 輸出 每個互信息值 算法步驟 1 構(gòu)造空數(shù)組存放每個微粒坐標到排斥點坐標的方向 ij x y 2 構(gòu)造空數(shù)組存放微粒背離排斥點運動的角度 ij x y 3 for all tan j ij i yy x ya xx ijijij x yx yx y end for 4 通過公式 4 互信息公式計算互信息的值 3 4 人群異常行為的檢測人群異常行為的檢測 我添加的 內(nèi)容較少 我添加的 內(nèi)容較少 是否有必要加強 是否有必要加強 在獲取場景相應(yīng)互信息之后 接下來就是建立互信息 模型 檢測人群的異常行為 具體來說 構(gòu)建并分析正常 場景下的互信息分布 從互信息值的分布圖可清晰的看到 人群正常行為時 場景中人群分布比較平均 速度方向分 布同樣表現(xiàn)的比較平均 此時互信息值比較高 當(dāng)人群剛 開始出現(xiàn)異常行為時 場景中人群分布仍會比較均勻 此 時傳統(tǒng)檢測方法往往難于及時發(fā)現(xiàn)異常情況 但因為場景 中人群速度方向都是背離排斥點運動的 所以排斥點方法 計算的互信息值會快速降低 持續(xù)走低一段時間后 隨著 場景中行人的數(shù)量減少 場景中人群位置將分布在場景中 的某些特定位置 同樣速度方向也變得單一 所以互信息 會再次升高 通過分析上述人群異常行為場景的互信息變 化規(guī)律 算法可以及時發(fā)現(xiàn)異常行為的發(fā)生時刻 具體方法包括 計算正常人群行為的互信息的平均值 設(shè)定異常行為的互信息警戒值小于正常時的平均值 當(dāng)連 續(xù)多幀的值低于警戒值時 我們就判定該時刻人群已經(jīng)進 入了異常行為狀態(tài) 基于這個簡單的原理算法能快速 有 效的探測多場景下的人群異常行為 算法的偽碼和形式 化描述 3 實驗和討論實驗和討論 監(jiān)控視頻處理以及人群異常檢測實驗基于實驗室服務(wù) 器進行 服務(wù)器主要配置包括 Intel Core TM i5 2 50GHZ 處理器 4GB 內(nèi)存和 NVIDIA GeForce GT 540M 獨立顯卡 實驗數(shù)據(jù)集來自明尼蘇達大學(xué)的正常和異常人 群行為的視頻 數(shù)據(jù)集包含三個不同的室內(nèi)和室外場景 在微粒運動及劃分方面 實驗每隔 10 個像素確定為一 個微粒點 微粒網(wǎng)格的密度為源圖像的 1 為了計算異常 排斥點 算法將視頻圖像進行劃分 其中網(wǎng)格大小的寬度 定為 20 像素 為了更加高效地計算互信息 算法將坐標劃 分的大小設(shè)置為 30 像素 的劃分大小為 20 度 在后續(xù) 實驗中發(fā)現(xiàn) 上述參數(shù)設(shè)置是合理且高效的 4 1 實驗結(jié)果實驗結(jié)果 圖 4 展示了使用基于異常排斥點的人群異常檢測方法 對三個真實場景進行異常檢測的結(jié)果 其中前兩個是室外 場景 最后一個是室內(nèi)場景 當(dāng)出現(xiàn)異常時 第一個場景 人群呈四散逃離狀 第二個場景則表現(xiàn)為人群向廣場一側(cè) 逃離 第三個場景呈現(xiàn)人群向上下兩個方向 針對畫面 逃離 這些場景基本包含人群異常行為時的大部分場景 說明場 景具有廣泛的代表性 而本文提出的方法在上述場景能夠 高效 準確的檢測出人群異常 也正因此證明了方法的廣 泛適應(yīng)性 下面是對每個場景的具體分析 第一個是室外的場景 正常時人群位置在場景的偏上方 人群逃離時呈現(xiàn)四散逃 離狀 人群在正常行為時互信息比較穩(wěn)定 波動不大 所 以異常行為前 互信息值保持在 0 53 左右 當(dāng)人群處于異 常行為時 互信息會立即降低 圖 4 場景一中右圖 人群 剛呈現(xiàn)異常行為時 得到的互信息值已經(jīng)降低到平均值以 下 并且持續(xù)走低一段時間 此時互信息值在 0 36 左右 當(dāng)場景中人數(shù)減少 互信息值會重新升高到平均值 0 43 左 右 我們把警戒值定為 0 40 遠低于正常時刻的值 當(dāng)人 群異常行為發(fā)生后 0 51 秒后 系統(tǒng)探測到視頻中發(fā)生異常 行為 第二個場景同樣是室外場景 但人群平均分布整個場 景中 人群逃離時是向場景中一側(cè)逃離 實驗結(jié)果與場景 一情況相似 正常時刻互信息值是 0 43 左右 人群剛呈現(xiàn) 異常行為時 得到的互信息值已經(jīng)降低到平均值以下 并 且持續(xù)較低 平均互信息值在 0 26 左右 遠低于正常時刻 隨后互信息值回升到 0 46 附近 當(dāng)人群異常行為發(fā)生后 0 09 秒后 系統(tǒng)探測到視頻中發(fā)生異常行為 第三個場景是室內(nèi)場景 相對于室外場景 室內(nèi)場景 有多處不同 例如 個體的運動速度相對較慢 人群中個 體數(shù)量相對較少 并且在本實驗的場景三中 監(jiān)控拍到的 視頻中 被吊頂遮擋住一部分 三分之一的畫面都是墻壁 沒有運動的個體 人群只分布在畫面中間的長廊里 所以 對于排斥點的選取和互信息的計算 這些都是干擾 所以 在正常人群行為時 得到的互信息值會有比較大的波動 但是這些波動都不會影響對人群異常行為的探測 在正常 情況時得到的互信息值會比上面兩種場景中得到的值高 約在 0 92 左右 當(dāng)出現(xiàn)異常行為時 互信息值仍會迅速降 低 降至 0 35 左右 隨后互信息值重新升至 0 67 附近 當(dāng) 人群異常行為發(fā)生后 0 54 秒后 系統(tǒng)探測到視頻中發(fā)生異 常行為 那么不采用異常排斥點的互信息檢測表現(xiàn)如何 對比一下才有意義吧 應(yīng)該體現(xiàn)出本算法的廣泛適應(yīng)性和 及時高效性 設(shè)計實驗 驗證本方法比傳統(tǒng)方法可以用更 少時間偵測到 在某些場景下本方法也使用而傳統(tǒng)的方法 已經(jīng)基本失效或者效果非常差 ZZU CS ITSG RESEARCH GROUP TECHNICAL REPORT NO TR 2012 06 007 表 2 報警響應(yīng)時間 場景一場景二場景三 0 51s0 09s0 54 以上三個場景包涵了實際社會 商業(yè)等活動中 人群 異常行為的多種情況 其中包含了室內(nèi)室外場景 還包含 了人群分布在場景中的一部分區(qū)域和人群布滿整個場景的 兩種情況 以及異常發(fā)生后人群向一側(cè)逃離和多方向分散 逃離的情況 所以實驗場景具有廣泛的代表性 而實驗結(jié) 果也證明異常排斥點方法在上述各種場景下均表現(xiàn)良好具 有廣泛的適用性 在報警響應(yīng)時間上 三個場景的實驗得 到的結(jié)果都低于 1 秒 證明了方法的高效性和極高的靈敏 度 綜上所述 基于異常排斥點的人群異常檢測方法具備 廣泛的場景適應(yīng)性和準確 高效和高靈敏度的特征 4 2 討論討論 基于異常排斥點的人群異常檢測方法不僅僅適用于人 群分散 亦可以用于探測人群聚集場景的異常行為 當(dāng)人 群聚集時 在圖像上一般會出現(xiàn)吸引點 吸引點與排斥點 相對 在計算吸引點的時候 不再尋找個體顆粒運動反方 向區(qū)域覆蓋度最高的位置 而是沿著運動方向計算運動方 向區(qū)域覆蓋度最高的位置 并據(jù)此獲取吸引點 而在計算 互信息的時候 算法亦無需大的改變不需改變 僅需將個 體運動背離排斥點運動的角度替換為個體運動朝向聚集 點運動的角度即可 如此一來 算法即可以探測人群的聚 集異常行為 這增強了方法對廣泛場景人群異常行為探測 的適應(yīng)性 4 總結(jié)總結(jié) 本文提出了一種基于異常排斥點的人群異常檢測方法 該方法提出了異常排斥點的概念 揭示了異常排斥點在人 群異常檢測中的重要作用 方法通過將排斥點信息融合進 場景互信息計算 擴展了人群異常檢測方法對于不同人群 場景的適用性 提高了方法的準確性和靈敏度 參 考 文 獻 1 Harding P S Gwynne and M Amos Mutual information for the detection of crush PloS one 6 12 p e28747 2 Mehran R A Oyama and M Shah Abnormal crowd behavior detection using social force model 2009 Ieee 3 Helbing D and P Molnar Social force model for pedestrian dynamics Physical review E 1995 51 5 p 4282 4 Mahadevan V Li W Bhalodia V et al Anomaly Detection in Crowded Scenes C Computer Vision and Pattern Recognition CVPR 2010 IEEEConference on IEEE 2010 1975 1981 5 Thijs G Lescot M Marchal K et al A Higher o