智能分析技術(shù)原理及現(xiàn)狀分析

5/5智能分析技術(shù)原理及現(xiàn)狀分析傳統(tǒng)視頻監(jiān)控系統(tǒng)只提供視頻的捕獲、保存、傳輸、顯示畫(huà)面等功能，而視頻內(nèi)容的分析識(shí)別等需要人工實(shí)現(xiàn)，工作量巨大且容易出錯(cuò)。智能監(jiān)控系統(tǒng)是指在特定的監(jiān)控區(qū)域內(nèi)實(shí)時(shí)監(jiān)控場(chǎng)景內(nèi)的永久或是臨時(shí)的物體，通過(guò)對(duì)視頻傳感器獲取的信息進(jìn)行智能分析來(lái)實(shí)現(xiàn)自動(dòng)的場(chǎng)景理解、預(yù)測(cè)被觀(guān)察目標(biāo)的行為以及交互性行為。本文就視頻智能分析技術(shù)的原理和現(xiàn)狀進(jìn)行介紹。一、引言在傳統(tǒng)視頻監(jiān)控系統(tǒng)中，視頻內(nèi)容的分析識(shí)別等需要人工實(shí)現(xiàn)，由于勞動(dòng)強(qiáng)度高，工作量巨大且容易出錯(cuò)，因此視頻監(jiān)控系統(tǒng)正朝著智能化的方向發(fā)展。新一代的智能化監(jiān)控系統(tǒng)采用了智能視頻分析技術(shù)，克服了傳統(tǒng)監(jiān)控系統(tǒng)人眼識(shí)別的缺陷，具備實(shí)時(shí)對(duì)監(jiān)控范圍內(nèi)的運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)跟蹤的功能；并且把行為識(shí)別等技術(shù)引入到監(jiān)控系統(tǒng)中，形成新的能夠完全替代人為監(jiān)控的智能型監(jiān)控系統(tǒng)。智能視頻分析技術(shù)涉及到模式識(shí)別、機(jī)器視覺(jué)、人工智能、網(wǎng)絡(luò)通信以及海量數(shù)據(jù)管理等技術(shù)。視頻智能分析通?？梢苑譃閹撞糠郑哼\(yùn)動(dòng)目標(biāo)的識(shí)別、目標(biāo)跟蹤與行為理解。二、智能分析技術(shù)原理一般情況下，視頻智能化分析的基本過(guò)程是從給定的視頻中讀取每幀圖像，并對(duì)輸入圖像進(jìn)行預(yù)處理，如濾波、灰度轉(zhuǎn)換等，然后判斷輸入圖像中是否有運(yùn)動(dòng)目標(biāo)，接下來(lái)判斷運(yùn)動(dòng)目標(biāo)是否為監(jiān)控目標(biāo)，最后對(duì)該目標(biāo)根據(jù)需求進(jìn)行監(jiān)控、跟蹤或是行為理解等分析。1、目標(biāo)檢測(cè)技術(shù)運(yùn)動(dòng)檢測(cè)(MotionDetection)。運(yùn)動(dòng)檢測(cè)是把視頻中變化的區(qū)域與背景圖像精確分離出來(lái)，即正確分割出運(yùn)動(dòng)目標(biāo)區(qū)域或輪廓，這是任何系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)首先要考慮的問(wèn)題，它的效果好壞或成敗與否直接影響后續(xù)的跟蹤和行為理解等后期處理效果。目標(biāo)檢測(cè)是從圖像序列中將變化區(qū)域從背景圖像中提取出來(lái)，從而檢測(cè)出運(yùn)動(dòng)的目標(biāo)，目標(biāo)檢測(cè)十分重要，它將影響目標(biāo)對(duì)象的分類(lèi)、行為識(shí)別等后期處理。目標(biāo)檢測(cè)分析多個(gè)差圖像中區(qū)域之間的關(guān)系，并在原圖像中驗(yàn)證，得到運(yùn)動(dòng)的目標(biāo)和其運(yùn)動(dòng)軌跡。比如，如果已經(jīng)知道3個(gè)不同時(shí)刻的二值差圖像，若存在一個(gè)運(yùn)動(dòng)目標(biāo)的話(huà)，該目標(biāo)在這3個(gè)差圖像中的大小基本不變，其運(yùn)動(dòng)方向和運(yùn)動(dòng)速度基本不變，在3個(gè)差圖像對(duì)應(yīng)的原圖像中的區(qū)域，有基本相同的灰度分布等等。幾種常用的動(dòng)態(tài)視頻目標(biāo)檢測(cè)方法簡(jiǎn)介如下：背景減除，背景減除（BackgroundSubtraction）方法是目前運(yùn)動(dòng)檢測(cè)中最常用的一種方法，它是利用當(dāng)前圖像與背景圖像的差分來(lái)檢測(cè)出運(yùn)動(dòng)目標(biāo)的一種技術(shù)。它一般能夠提供相對(duì)來(lái)說(shuō)比較全面的運(yùn)動(dòng)目標(biāo)的特征數(shù)據(jù)，但對(duì)于動(dòng)態(tài)場(chǎng)景的變化，如光線(xiàn)照射情況和外來(lái)無(wú)關(guān)事件的干擾等也特別敏感。由于該模型是固定的，一旦建立之后，對(duì)于該場(chǎng)景圖像所發(fā)生的任何變化都比較敏感，比如陽(yáng)光照射方向，影子，樹(shù)葉隨風(fēng)搖動(dòng)等。時(shí)間差分，時(shí)間差分（TemporalDifference又稱(chēng)相鄰幀差）方法充分利用了視頻圖像的特征，從連續(xù)得到的視頻流中提取所需要的動(dòng)態(tài)目標(biāo)信息。在一般情況下采集的視頻圖像，若仔細(xì)對(duì)比相鄰兩幀，可以發(fā)現(xiàn)其中大部分的背景像素均保持不變。只有在有前景移動(dòng)目標(biāo)的部分相鄰幀的像素差異比較大。時(shí)間差分方法就是利用相鄰幀圖像的相減來(lái)提取出前景移動(dòng)目標(biāo)的信息的。但在目標(biāo)運(yùn)動(dòng)緩慢時(shí)，差分后的運(yùn)動(dòng)目標(biāo)區(qū)域內(nèi)會(huì)產(chǎn)生空洞，從而不能完全提取出所有相關(guān)的特征像素點(diǎn)，一般不能夠完整地分割運(yùn)動(dòng)對(duì)像，不利于進(jìn)行相關(guān)分析，因此差分法很少被單獨(dú)使用。光流，基于光流方法（OpticalFlow）的運(yùn)動(dòng)檢測(cè)采用了運(yùn)動(dòng)目標(biāo)隨時(shí)間變化的光流特性，如Meyer等通過(guò)計(jì)算位移向量光流場(chǎng)來(lái)初始化基于輪廓的跟蹤算法，從而有效地提取和跟蹤運(yùn)動(dòng)目標(biāo)。該方法的優(yōu)點(diǎn)是在所攝場(chǎng)所運(yùn)動(dòng)存在的前提下也能檢測(cè)出獨(dú)立的運(yùn)動(dòng)目標(biāo)。然而大多數(shù)的光流計(jì)算方法相當(dāng)復(fù)雜，且抗噪性能差，如果沒(méi)有特別的硬件裝置則不能被應(yīng)用于全幀視頻流的實(shí)時(shí)處理。2、目標(biāo)跟蹤技術(shù)目標(biāo)跟蹤(ObjectTracking)就是通過(guò)對(duì)攝像頭采集到的圖象序列進(jìn)行計(jì)算分析，計(jì)算出目標(biāo)在每幀圖像上的二維位置坐標(biāo)，并根據(jù)不同的特征值，將圖像序列中不同幀中同一運(yùn)動(dòng)目標(biāo)關(guān)聯(lián)起來(lái)，得到各個(gè)運(yùn)動(dòng)目標(biāo)完整的運(yùn)動(dòng)軌跡，也就是在連續(xù)的視頻序列建立運(yùn)動(dòng)目標(biāo)的對(duì)應(yīng)關(guān)系。可采用MeanShift算法和ParticleFilter算法實(shí)現(xiàn)目標(biāo)跟蹤。MeanShift算法本質(zhì)上是最優(yōu)化理論中的最速下降法（亦稱(chēng)梯度下降法，牛頓法等），即沿著梯度下降方法尋找目標(biāo)函數(shù)的極值。在跟蹤中，就是為了尋找到相似度值最大的候選目標(biāo)位置。MeanShift方法就是沿著概率密度的梯度方向進(jìn)行迭代移動(dòng)，最終達(dá)到密度分布的最值位置。其迭代過(guò)程本質(zhì)上是最速下降法，下降方向?yàn)橐浑A梯度方向，步長(zhǎng)為固定值。但是，MeanShift沒(méi)有直接求取下降方向和步長(zhǎng)，它通過(guò)模型的相似度匹配函數(shù)的一階Talor展開(kāi)式進(jìn)行近似，直接推到迭代的下一個(gè)位置。由此，沿著梯度方向不斷迭代收斂到目標(biāo)相似度概率目標(biāo)分布的局部極大值。MeanShift算法在目標(biāo)運(yùn)動(dòng)過(guò)快或背景過(guò)于復(fù)雜時(shí)，迭代尋找的局部極值并不是目標(biāo)在下一幀中的最佳匹配位置。另外，MeanShift作為最速下降法的一種，它的收斂速度并不快，且在接近最優(yōu)值時(shí)，存在鋸齒現(xiàn)象。ParticleFilter算法本質(zhì)上是蒙特卡羅仿真，即通過(guò)采樣粒子來(lái)近似描述概率密度分布。跟蹤中，不可能求取下一幀中所有位置的相似度，即無(wú)法獲取相似度概率密度分布。而ParticleFilter就是通過(guò)粒子采樣來(lái)近似描述這樣的分布，有了該分布就可以獲取目標(biāo)的相似度最大位置。一般是根據(jù)粒子自身的匹配程度來(lái)確定概率密度的最值。ParticleFilter沒(méi)有迭代過(guò)程，它通過(guò)播散大量的粒子，通過(guò)這些粒子來(lái)獲取最值位置。另外，因?yàn)榱Ｗ硬蓸邮潜椴颊麄€(gè)相似度概率密度空間的，故其具有全局最優(yōu)性。還可以使用如基于塔型結(jié)構(gòu)的匹配跟蹤、多子模板匹配、Kalman濾波器、光流法等方法實(shí)現(xiàn)目標(biāo)跟蹤。3、行為識(shí)別技術(shù)行為識(shí)別(BehaviorUnderstanding)是近年來(lái)被廣泛關(guān)注的研究熱點(diǎn)，它是指對(duì)目標(biāo)的運(yùn)動(dòng)模式進(jìn)行分析和識(shí)別，并用自然語(yǔ)言等加以描述。同目標(biāo)識(shí)別與跟蹤技術(shù)相比，行為動(dòng)作識(shí)別技術(shù)是監(jiān)控領(lǐng)域的較高研究層次，在計(jì)算機(jī)視覺(jué)中是一個(gè)極具有吸引力及挑戰(zhàn)性的課題。是近年來(lái)計(jì)算機(jī)視覺(jué)領(lǐng)域和智能監(jiān)控領(lǐng)域研究的熱點(diǎn)也是難點(diǎn)，但仍處于未成熟的初級(jí)階段。目前的視頻智能監(jiān)控系統(tǒng)中，盡管對(duì)于一些動(dòng)作細(xì)節(jié)還不能做到準(zhǔn)確識(shí)別，但是已經(jīng)能夠識(shí)別出物體的整體行為，比如可以識(shí)別物體的形狀、顏色、體積、運(yùn)動(dòng)軌跡、運(yùn)動(dòng)速度、速度變化等，對(duì)這些數(shù)據(jù)進(jìn)行進(jìn)一步挖掘和分析就能夠?qū)崿F(xiàn)監(jiān)控領(lǐng)域的一些特定需求，可以應(yīng)用在禁區(qū)報(bào)警、數(shù)量統(tǒng)計(jì)、醫(yī)療監(jiān)護(hù)以及環(huán)境檢測(cè)等領(lǐng)域。在視頻行為動(dòng)作識(shí)別中，通常是預(yù)先規(guī)定好若干動(dòng)作類(lèi)型（此過(guò)程由目標(biāo)數(shù)據(jù)庫(kù)所決定），然后，利用數(shù)據(jù)庫(kù)的訓(xùn)練樣本對(duì)各種動(dòng)作類(lèi)型進(jìn)行特征建模，在必要的時(shí)候還要加入訓(xùn)練的部分，構(gòu)成一個(gè)動(dòng)作模型庫(kù)。也可以使用自然語(yǔ)言描述人的行為，實(shí)現(xiàn)對(duì)行為的識(shí)別和理解，近幾年，更多研究者傾向于使用語(yǔ)義描述來(lái)分析人體動(dòng)作行為，此方面的研究得到了一定的進(jìn)展。自然語(yǔ)言描述的核心思想是：模仿人類(lèi)語(yǔ)言的表達(dá)方式，通過(guò)有限的詞匯的不同組合來(lái)表示具有不同意義的句子、段落與文章。在行為分析與理解領(lǐng)域中，可以把某個(gè)的圖像看成是一個(gè)視覺(jué)詞匯，或叫做視覺(jué)單詞，把視覺(jué)詞匯進(jìn)行組合就可以得到視頻的自然語(yǔ)言描述，由于不同行為有不同的描述，因此可以通過(guò)不同描述來(lái)區(qū)分不同的行為。行為理解的推理中廣泛采用了基于圖像模型的推理方法，如隱馬爾科夫模型(HMM)，動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)(DBN)，條件隨機(jī)場(chǎng)(CRF)等；也有的研究采用其他的推理方法，如使用基于規(guī)則的決策樹(shù)來(lái)對(duì)一系列表示動(dòng)作及對(duì)象的三元表達(dá)式進(jìn)行分類(lèi)；采用模板匹配的方法，將檢測(cè)到的運(yùn)動(dòng)特征與訓(xùn)練好的樣本逐個(gè)匹配，匹配的結(jié)果即為對(duì)行為識(shí)別的結(jié)果；還可以使用有限狀態(tài)自動(dòng)機(jī)，每個(gè)狀態(tài)表示當(dāng)前人體的位置，來(lái)對(duì)人的軌跡進(jìn)行分類(lèi)，識(shí)別異常事件。三、智能視頻分析技術(shù)現(xiàn)狀近年來(lái)，研究者在智能化監(jiān)控技術(shù)的運(yùn)動(dòng)檢測(cè)、目標(biāo)跟蹤、視頻分割、行為識(shí)別等領(lǐng)域進(jìn)行了很多研究并取得了很多成果。智能視頻監(jiān)控系統(tǒng)正成為學(xué)術(shù)界、工業(yè)界新興的研究熱點(diǎn)和開(kāi)發(fā)方向，美國(guó)、英國(guó)和法國(guó)等研究機(jī)構(gòu)都進(jìn)行了智能監(jiān)控項(xiàng)目中的目標(biāo)跟蹤、異常行為監(jiān)測(cè)與報(bào)警等的研究。許多業(yè)界知名公司也對(duì)智能監(jiān)控進(jìn)行了深入的研究，如Intel、Microsoft、IBM等；國(guó)內(nèi)很多大學(xué)與研究機(jī)構(gòu)也開(kāi)展了視頻智能分析理解研究。目前智能視頻分析技術(shù)在各種視頻監(jiān)控領(lǐng)域都有應(yīng)用，并取得了比較好的監(jiān)控效果，天地偉業(yè)在智能交通、智慧城市、公安監(jiān)所、金融等很多行業(yè)和領(lǐng)域都應(yīng)用了自己的視頻分析技術(shù)，取得了很好的市場(chǎng)業(yè)績(jī)。1、智能交通：智能交通監(jiān)控系統(tǒng)作為智能交通系統(tǒng)的一個(gè)組成部分，在保證城市交通安全、暢通方面發(fā)揮著巨大的作用?？梢宰鳛榱私饨煌顩r和治安狀況的一個(gè)窗口，是公安交通指揮系統(tǒng)不可缺少的子系統(tǒng)。建立視頻圖像監(jiān)控系統(tǒng)目的就是及時(shí)準(zhǔn)確地掌握所監(jiān)視路口、路段周?chē)能?chē)輛、行人的流量、交通治安情況等。附圖是我司針對(duì)道路監(jiān)控開(kāi)發(fā)的交通事件智能檢測(cè)系統(tǒng)截圖，該系統(tǒng)通過(guò)對(duì)道路監(jiān)控視頻的實(shí)時(shí)分析，可以實(shí)現(xiàn)車(chē)輛停駛、車(chē)輛慢行、車(chē)輛超速、車(chē)輛逆行、交通擁堵和拋灑物等事件檢測(cè)，同時(shí)可以實(shí)現(xiàn)車(chē)輛間距、隊(duì)列長(zhǎng)度、車(chē)輛平均速度、車(chē)道占有率和車(chē)流量統(tǒng)計(jì)等路況信息數(shù)據(jù)的統(tǒng)計(jì)。2、智能樓宇監(jiān)控通過(guò)對(duì)樓宇大廈的各個(gè)出入口，大廳、大堂、電梯轎廂、通道、停車(chē)場(chǎng)等主要部位的智能監(jiān)控，可以對(duì)大樓出入人員進(jìn)行有效的監(jiān)測(cè)從而保證大樓內(nèi)部的人員和財(cái)產(chǎn)的安全。通過(guò)對(duì)停車(chē)場(chǎng)的智能監(jiān)控，可以識(shí)別車(chē)牌號(hào)碼，對(duì)人為對(duì)車(chē)輛以及設(shè)施的破壞進(jìn)行及時(shí)報(bào)警。附圖分別是常用的行人運(yùn)動(dòng)軌跡的檢測(cè)、物品遺留丟失檢測(cè)及運(yùn)動(dòng)車(chē)輛檢測(cè)跟蹤等智能分析功能。3、醫(yī)療看護(hù)通過(guò)對(duì)病人行為的識(shí)別，及時(shí)判斷病人的實(shí)時(shí)狀況，預(yù)防危急情況的發(fā)生。4、異常行為識(shí)別通過(guò)對(duì)人員行為的分析，可以預(yù)警出異常行為，防范危險(xiǎn)情況的發(fā)生。例如對(duì)監(jiān)獄關(guān)押人員的異常行為如打架等進(jìn)行自動(dòng)識(shí)別并報(bào)警。5、特殊場(chǎng)景識(shí)別例如，通過(guò)對(duì)某企業(yè)上方的煙霧識(shí)別，可以判斷該企業(yè)的廢氣排放是否超標(biāo)；通過(guò)對(duì)森林、林場(chǎng)等地方的煙火識(shí)別，可以及時(shí)發(fā)現(xiàn)森林火險(xiǎn)并報(bào)警，防止火勢(shì)擴(kuò)大。四、總結(jié)和展望智能監(jiān)控系統(tǒng)是采用圖像處理、模式識(shí)別和計(jì)算機(jī)視覺(jué)技術(shù)，通過(guò)在監(jiān)控系統(tǒng)中增加智能視頻分析模塊，借助計(jì)算機(jī)強(qiáng)大的數(shù)據(jù)處理能力過(guò)濾掉視頻畫(huà)面無(wú)用的或干擾信息、自動(dòng)識(shí)別不同物體，分析抽取視頻源中關(guān)鍵有用信息，快速準(zhǔn)確的定位事故現(xiàn)場(chǎng)，判斷監(jiān)控畫(huà)面中的異常情況，并以最快和最佳的方式發(fā)出警報(bào)或觸發(fā)其它動(dòng)作，從而有效進(jìn)行事前預(yù)警，事中處理，事后及時(shí)取證的全自動(dòng)、全天候、實(shí)時(shí)監(jiān)控的智能系統(tǒng)。智能視頻分析技術(shù)目前已經(jīng)取得了很大進(jìn)展，現(xiàn)在已經(jīng)能夠進(jìn)行各種領(lǐng)域的視頻智能分析，例如：監(jiān)獄管理、智能交通、森林防火、金融安全、校園安全等。但鑒于實(shí)際應(yīng)用場(chǎng)景中現(xiàn)場(chǎng)的復(fù)雜性，智能視頻分析技術(shù)也存在諸多難以克服