視頻內(nèi)容分析在智能交通監(jiān)控系統(tǒng)中的應用

1、視頻內(nèi)容分析在智能交通監(jiān)控系統(tǒng)中的應用摘要：視頻檢測技術在智能交通方面的應用，代表著道路交通檢測技術的一種新的發(fā)展趨勢。本文提出了一種高性能、多功能的道路交通視頻檢測方法，采用背景消除、多目標跟蹤、定制檢測虛擬線等手段來檢測和處理在道路多車道上的車輛通行情況，并及時統(tǒng)計和分析道路交通的狀況，為智能交通提供基本信息；運用動態(tài)圖像理解技術分析道路上的車輛事故、車輛違章等事件，為交通管理提供了一種有效、靈活、性價比高的道路交通監(jiān)控手段。關鍵詞：智能交通，道路視頻監(jiān)控，視頻內(nèi)容分析1引言嵌入式計算、無線通信和傳感器技術的迅速發(fā)展和結(jié)合，使人們能幾乎是無所不在地采集、傳輸和存儲道路視音頻數(shù)據(jù)。如果對這些

2、海量的視頻數(shù)據(jù)能進行及時準確的分析和理解，就能實時獲取交通基本數(shù)據(jù)，對交通擁堵和交通事故進行預測，在智能交通領域發(fā)揮重要作用。但是目前對各種交通事件和異常情況的視頻監(jiān)控主要還是依靠人工判斷，使得這些數(shù)據(jù)難以得到充分的利用。因此基于動態(tài)圖像理解的智能交通監(jiān)控技術開發(fā)高效的系統(tǒng)已經(jīng)成為目前計算機視覺領域極富有挑戰(zhàn)性的科學問題之一。當前，交通信息檢測的方式主要有磁頻車輛檢測、波頻車輛檢測和視頻車輛檢測三種。磁頻車輛檢測如環(huán)形線圈檢測器需要安裝特定的裝置，也許首次的投資少，但維護費用大且麻煩；波頻車輛檢測則容易受到干擾；而視頻檢測作為交通參數(shù)采集的一個新的檢測方式，它與其他的車輛檢測方式相比具有以下的

3、優(yōu)點：(1)檢測手段完備；(2)檢測區(qū)域較大；(3)安裝無需接觸公路實體。隨著計算機軟硬件技術和圖像處理、人工智能、模式識別等技術不斷發(fā)展，視頻檢測的實時性和正確率已達到了較滿意的程度，被認為是最有發(fā)展前途的檢測方式之一，目前受到交通經(jīng)營、管理部門和研究人員越來越密切關注1-2。2論文概述2.1研究結(jié)果本文利用視頻圖像處理的方式對道路的情況進行視頻監(jiān)控，通過動態(tài)圖像的理解獲取道路基本信息，包括交通流量、車輛速度以及占有率等重要交通流數(shù)據(jù)；此外通過圖像高級語義來分析車輛的違規(guī)行為，如超速、占用車道及逆向行駛；在線檢測車道上的異常情況，如交通堵塞、交通事故的發(fā)生。實驗結(jié)果表明，本文所開發(fā)的系統(tǒng)具有

4、準確性高、實時性好的特點。2.2相關的國內(nèi)外研究狀況在智能交通視頻檢測方面由于有諸多優(yōu)點，近年來已成為國內(nèi)外學者關注的熱點3,4,5,6。目前絕大多數(shù)的研究方式都是先進行視頻采集，然后對視頻文件進行處理和分析，然后把結(jié)果進行顯示，或者傳輸給其他處理分析程序使用或者存儲以備下次處理分析使用。而動態(tài)圖像理解屬于人工智能學科中一個非常重要的分支。人工智能是模仿人類思維行為的一門學科，那么是否可以將人類的思維方式應用到我們的視頻檢測中去呢?Mubarak Shah等學者在國際計算機視覺權威雜志“International Journal of Computer Vision”期刊上撰文7指出：21世紀

5、的計算機視覺研究將從今天的靜態(tài)圖像研究轉(zhuǎn)向動態(tài)圖像序列分析或者說是動態(tài)圖像理解。對動態(tài)視頻監(jiān)控主要的目標任務是實現(xiàn)監(jiān)控對象的行為進行語義化描述，即被專家學者們稱之為“逆好萊塢問題”(Inverse Hollywood problem)12。Kojima等學者8指出：要在動態(tài)圖像語義鴻溝之間用架橋的方式(bridge a semantic gap)來解決“逆好萊塢問題”。動態(tài)圖像序列的語義理解是智能視覺監(jiān)控的關鍵理論和方法，是實現(xiàn)智能交通的重要途徑，國內(nèi)外許多學者發(fā)表了各個領域中的研究成果5,6。2.3系統(tǒng)的理論架構(gòu)從以上研究成果中，可以知道世界各國學者們把注意力集中在現(xiàn)存的、比較容易采集到的動

6、態(tài)視頻圖像理解方面，因此大多數(shù)的論文都是集中在道路車輛的監(jiān)控、智能安保等領域。本文中提出了一個對所關心的對象的行為、事件及情景等通過高級語義進行描述的系統(tǒng)理論構(gòu)架，并通過該框架來解析道路視頻監(jiān)控一些問題。動態(tài)圖像理解問題從高層語義的角度來看可以認為是解釋一個情景語義問題，以人的思考方式來說，人們從視頻圖像中首先關心是獲取關心的對象信息，然后通過解析獲取所關心對象的狀態(tài)或者事件信息，最后通過對其一個個狀態(tài)或者事件信息進行分析和抽象得到我們所需要的理解結(jié)果。本文的目的也是希望機器也能具備與人的思考方式一樣管理著道路交通以及交通安全與調(diào)度。其中關鍵問題是如何將對象跟狀態(tài)或者事件進行關聯(lián)，再將狀態(tài)或者

7、事件跟對象行為語義進行關聯(lián)，最后對視頻情景作出語義解釋。本文根據(jù)“解決逆好萊塢問題”的視頻處理思路將圖像的語義分為：底層特征層、對象層和概念層；將圖像理解和處理中分為四個階段，分別是：視覺感知處理、概念化處理、形式化處理和行為語義處理，在這個四個階段處理研究中所獲得的一些方法我們就稱為中間件，分別是基礎中間件、應用中間件、面向高層中間件和情景動作規(guī)則中間件，如圖1所示。除以上三部分以外，還有很重要的一部分即為層與層之間的語義關聯(lián)算法，這也是我們要重點研究的一部分。2.3.1底層特征層底層特征層主要涉及到基于對象的一些基本屬性，如顏色、形狀、紋理和空間關系等。在這個層面上的知識和信息獲取手段屬于

8、低級視覺感知處理，本文中將實現(xiàn)各種視覺感知處理的一些算法歸屬于基礎中間件。2.3.2對象層從圖l中可以看出對象層處在底層特征層與概念層之間，起到承上啟下的作用，因此在不同層次之間或者層內(nèi)之間必須建立語義映射關系。在對象層中我們關心的有對象(Object)和事件(Event)兩類。對象又可以分為可以看作是靜態(tài)對象的場景對象和可以看作是動態(tài)對象的前景對象，而事件(Event)則是對象之間發(fā)生了新的動態(tài)聯(lián)系。如本文所關心的靜態(tài)對象是道路，活動對象是車和交通信號燈，利用相關關聯(lián)模型我們就可以得到在某幀圖像中諸如車輛處于哪條車道上，車輛現(xiàn)在的所處的位置等等事件或者狀態(tài)。這個層面上需要經(jīng)過概念化和形式化兩

9、個處理步驟，前者主要的任務是要識別出所關心的前景對象，并從底層特征層所得到的屬性與前景對象進行關聯(lián)；后者主要的任務是獲取該對象的一些事件或者狀態(tài)，為提取所關心對象的行為語義作好準備。前景對象的事件或者狀態(tài)必須通過動態(tài)過程才能展現(xiàn)出來，因此在前者與后者之間必須建立一種動態(tài)關聯(lián)。在這個層次上，本文中將概念化處理的各種算法歸屬于應用中間件；將形式化處理的各種算法歸屬于面向高層應用的中間件。底層特征層顏色、形狀、紋理、區(qū)域?qū)ο髮訉ο笈c對象之間的關系概念層對象的行為語義基礎中間件分割變化區(qū)域應用中間件識別對象面向高層的應用中間件提取對象語義情景動作規(guī)則提取對象行為語義視覺感知處理概念化處理形式化處理行為

10、語義化處理圖1 系統(tǒng)理論結(jié)構(gòu)2.3.3概念層概念層主要解決圖像通過道路場景、車輛行為等所表達的意義。這個層的知識和信息獲取手段屬于行為語義化處理。在這個層面上是采用一些用于提取對象行為語義的情景動作規(guī)則中間件來實現(xiàn)的。通過上述的劃分，主要目的是能通過中間件的方式來實現(xiàn)開發(fā)高效的視頻監(jiān)控系統(tǒng)，容易的跨越語義鴻溝。3統(tǒng)理論構(gòu)架中各分層設計3.1系統(tǒng)底層特征層的分析與描述本文研究的是道路上的視頻監(jiān)控，場景對象是道路，前景對象是車輛。因此首先要在底層特征層將道路背景中把前景車輛分離出來。在這一層中文本所用到的基礎中間件主要由自適應背景消減、陰影抑制和連通區(qū)域標識三個部分組成，其處理順序圖如圖2所示：自

11、適應背景消減陰影抑制連通區(qū)域標識圖2 基礎中間件處理過程1）自適應背景消減對于非運動的視頻傳感器。背景建模是解決實時分割動態(tài)目標的有效方法。我們采用的是基于混合高斯分布模型的自適應背景消除算法，它的基本思想是：使用混合高斯分布模型來表征圖像幀中每一個像素點的特征：當獲得新的圖像幀時，更新混合高斯分布模型；在每一個時間段上選擇混合高斯分布模型的子集束表征當前的背景：如果當前圖像的像素點與混合高斯分布模型相匹配，則判定該點為背景點，否則判定該點為前景點9。2）陰影抑制由于運動對象之間的遮擋和光照的不均勻等原因，經(jīng)常產(chǎn)生陰影現(xiàn)象。這樣通過背景消減所得到的前景目標區(qū)域中含有很大部分陰影區(qū)域，為運動對象

12、的正確分割和提取造成嚴重的影響。在彩色顏色模型空間中，任何顏色部可由YCrCb表示。陰影和道路的區(qū)別在于顏色分量CrCb相同(相近)，亮度分量Y較小。我們可以先學習道路的顏色分量CrCb和亮度分量Y，當碰到前景點時，我們判斷該點的顏色分量CrCb是否和道路相近，亮度分量Y是否比道路低。這樣就可以判斷出是否屬于陰影。3）連通區(qū)域標識連通區(qū)域標識的方法很多，本文中采用的是八連通區(qū)域提取算法。另外連通區(qū)域標識受初始數(shù)據(jù)中的噪聲影響很大，一般需要先進行去噪處理，去噪處理可以通過形態(tài)學運算實現(xiàn)，本文中利用腐蝕和膨脹算予分別去除孤立的噪聲前景點和填補目標區(qū)域的小孔通過這種目標分割算法既能保持目標的完整性同

13、時也避免了噪聲前景點的影響，還保留了目標的邊緣細節(jié)部分。經(jīng)過以上三步我們就可以從靜態(tài)的車道背景中將動態(tài)的前景車輛分割出來，并且可以得到基于對象的一些初始信息，如對象的火小和形狀等等。3.2系統(tǒng)對象層的分析與描述對象層主要考慮的是圖像中的對象、對象的活動時間序列及空間刈題、相關事件。要正確、快速的理解某一個對象的語義，知道該前景對象所處的情景(場景的語義)對用機器來理解圖像非常有利。情景的內(nèi)容包括：關心的前景對象，干擾對象和場景對象。在這一層我們要首先在概念化處理階段得到對象，然后在形式化處理階段束獲取研究對象的一些狀態(tài)和事件信息，以提供給概念層進行情景規(guī)則動作計算使用。3.2.1概念化處理階段

14、概念化處理階段是獲取對象的階段，就是在基礎中間件獲得的動態(tài)前景區(qū)域基礎上，分離出我們關心的研究對象。在本系統(tǒng)中，我們要研究的對象有兩個，一個是場景對象車道，一個是前景對象車輛。對于車輛對象獲取，關系到底層特征層與對象層的關聯(lián)。我們知道，在底層特征層中我們獲取了動態(tài)前景對象的大小、顏色、形狀等信息，那么如何通過這些信息，將得到的動態(tài)前景區(qū)域跟我們所研究的車輛對象關聯(lián)起來呢?由于本文中關心的活動對象是車輛，那么就可以從動態(tài)前景區(qū)域的大小來判斷其是否為車輛。具體作法是設定一個閩值，如果連通區(qū)域的外接矩形的面積在這個閩值范圍內(nèi)的連通區(qū)域，我們就判定其為車輛，否則判定為否，這樣我們就得到了我們要關心的對

15、象了，實現(xiàn)底層特征層與對象層的關聯(lián)。3.2.2形式化處理階段在這個階段，我們要實現(xiàn)對象與事件的關聯(lián)，即要描述對象正在處于一個什么事件或者狀態(tài)之中，這里要關心的對象分為車道對象和車輛對象兩部分。車道對象：對于車道對象，在這一層中我們主要關心的是車道的流量和車道占有率兩個狀態(tài)：1)車道流量要獲取一個車道的車流量是一個動態(tài)圖像序列的理解問題，我們在對每輛車進行跟蹤的同時，當它第一次進行車道的第區(qū)域時，我們就依其所處的車道ID號來統(tǒng)計對應車道的車流量。2)車道占有率車道占有率有空間占有率和時間占有率之分，在本文中我們著重關心空間占有率的計算，空間占有率即指在觀測路段長度內(nèi)，行駛車輛總長度占該路段長度的

16、比例稱為空間占有率，即可以用公式(1)進行計算： (1)式中，為第輛車的長度；為觀測路段長度。根據(jù)公式(1)，我們可以將在跟蹤隊列中的車輛對象，根據(jù)車道RoadWayNo來確定其是否在該車道，如果是就將其長度加入到車輛總長度上去，車輛長度可根據(jù)外接矩形的高度來獲取，然后除以車道長度即可獲得空間占有率。車輛對象：在本文中我們所關心的對象車輛，我們可以使用以下一個對象來描述其特征：Car(CarlD，RoadwayNo，StartPositionStartTime，EndPosition，EndTime，CarType)。在車道第1區(qū)域我們要獲得CarID和RoadwayNo；在車道第區(qū)域我們要獲

17、得StartTime和StartPosition：在車道第區(qū)域我們要獲得EndTime和EndPosition。通過這三個區(qū)域數(shù)據(jù)的獲得就可以得到某個車輛對象Car的完整信息，直接用于后續(xù)的相關情景計算。這里關鍵問題是要在對象與事件之間建立種動態(tài)的關聯(lián)，就是處理動態(tài)圖像序列上對象的一致性，而這個動態(tài)的關聯(lián)需要由跟蹤算法來完成。通過前面基礎中間件和應用中間件的處理，已經(jīng)獲得當前攝像裝置監(jiān)控區(qū)域中的所關心運動對象、對象目標的大小和位置信息。接著通過跟蹤算法對所關心的對象進行實時跟蹤。本文中采用基于目標顏色特征跟蹤算法，該算法是對MEANSHIFT算法10的進一步改進。與MEANSHIFT算法只能處

18、理靜態(tài)分布相比，基于目標顏色特征跟蹤算法需要處理動態(tài)變化的分布。而原有的目標顏色特征跟蹤算法，CamShift算法11，在圖像跟蹤方面需要人工干預，即要通過人為的選定跟蹤對象的外接矩形(對象的顏色特征)才能實現(xiàn)對目標對象的跟蹤。由于上述的基礎中間件和應用中間件處理中可以得到的車輛目標對象的方位以及大小，然后將處理結(jié)果提交給目標顏色特征跟蹤算法，以實現(xiàn)自動跟蹤。3.3系統(tǒng)概念層分析與描述通過系統(tǒng)對象層，當一輛車最后出現(xiàn)在第區(qū)域時我們可以得到一個完整車輛對象信息：Car(CarID，RoadwayNo，StartPosition，StartTime，EndPosition，EndTime，CarT

19、ype)。所以在概念層的可以對車輛的情景問題進行分析，將對象的狀態(tài)或者事件與對象的行為語義相關聯(lián)起來，來得到我們所關心的情景。下面我們主要來介紹在概念層中如何將上述的狀態(tài)與具體的情景行為語義進行關聯(lián)。3.3.1車輛行駛速度以及超速在現(xiàn)實中是沒有直接獲得速度的機器，要判斷某一輛車是否發(fā)生超速行為，首先我們要計算出該車輛的速度。一般可以根據(jù)公式(2)進行計算： （2）式中，是車輛的速度；是車輛在某一時間內(nèi)行駛的距離；是車輛經(jīng)過某一段距離所花費的時間；為測量終點，對應于車輛對象信息中的EndPosition；為測量始點，對應于車輛對象信息中的StartPosition；為測量終了時間，對應于車輛對象

20、信息中的EndTime；為測量起始時間，對應于車輛對象信息中的StartTime。從車輛速度這個行為語義這個角度來看，與其相關聯(lián)的車輛狀態(tài)或者事件即為我們在對象層中所提到的車輛對象在車道的第區(qū)域和第區(qū)域所關心的兩個事件。根據(jù)這兩個車輛事件信息我們知道，要計算某一輛車的速度，就像是解這樣的一道計算題：一輛汽車在公路上行駛，在StartTime的時間它處在StartPosition；而在EndTime時它處在EndPosition，問汽車的速度是多少?那么我們只要計算這兩個距離間隔長度與時間間隔的商就可以根據(jù)公式(2)計算得到車輛的速度。關于車輛超速這個違規(guī)行為，只要設定一個速度閾值，如果車輛的速

21、度超過了這個閾值，則可判定為超速。對于判定為超速車輛，系統(tǒng)自動記錄視頻的全過程，同時通知另一臺攝像裝置對該違章車輛的車牌部位進行抓拍，然后通過圖像識別技術對其車牌號碼識別，將識別結(jié)果與剛才所記錄的視頻圖像自動打包保存，并發(fā)送給有關部門進行處理。3.3.2擁塞城市快速道路擁擠度的判別是與路段的行駛速度、車輛密度、實際交通量與最大服務交通量之比等3個交通指標密切有關的13。根據(jù)這一定義，我們知道，車道擁塞這個車道對象的行為語義是與行駛速度、車輛密度、實際交通量與最大服務交通量之比這三個對象狀態(tài)或者事件相關聯(lián)的。行駛速度我們通過上面超速部分所提到的算法可以獲得，而車輛密度也就是車道的車道占有率，實際

22、交通量為車道的車流量，這兩個值我們在對象層車道對象的研究中已經(jīng)獲得，另外最大服務交通量是先驗知識，可以向有關部門獲得。得到以上基本交通數(shù)據(jù)后，根據(jù)有關部門定制的擁塞等級來發(fā)布車道的擁塞情況，及時采取相應的措施來控制擁塞的發(fā)生，疏導道路的車輛流向以保證交通流暢。3.3.3違章占道停車、車輛故障、交通事故、違章變道、逆向行駛、違反標志標線等對于違章占道停車、車輛故障、交通事故、違章變道、逆向行駛等情況檢測，在計算機視覺中都可以認為是一種道路的異常事件。發(fā)生這種異常事件的主體是車輛，判斷異常事件的依據(jù)是車輛與道路的關系是否符合道路交通法規(guī)。這些違規(guī)行為我們都可以在對象層中對底層特征層信息的關聯(lián)將其檢

23、測出來。4實驗結(jié)果及討論在底層特征層處理中，本文采用自適應背景消減和陰影抑制方法，得到了前景對象的二值圖；在對象層處理中，首先對前景對象的連通區(qū)域面積閾值進行判斷，如果判斷結(jié)果是車輛就對視頻圖上的該區(qū)域進行標識一個矩形框；然后對進入車道第區(qū)域的所有車輛添加一個對象信息，即CarID、RoadwayNo和CarType，并將該車輛跟蹤對象(矩形框)信息提交給目標顏色特征跟蹤算法進行跟蹤處理；實驗表明，對每輛進入車道第區(qū)域的車輛在后續(xù)的第區(qū)域及第區(qū)域的視頻圖像中都能實現(xiàn)良好的跟蹤效果。在概念層中，主要針對進入車道第m區(qū)域的車輛進行計算處理，由于這時每輛車的基信息：Car(CarID，Roadway

24、No，StartPosition，StartTime，EndPosition,EndTime，CarType)已經(jīng)全部得到，我們就可以根據(jù)這些基本數(shù)據(jù)實現(xiàn)對高層語義的描述。如果我們對高速公路上行駛的車輛速度進行限制，如定為15米秒，那么如果檢測到的車輛超過該速度的話就將該車的外接矩形顏色設為紅色，表示該車輛超速。雖然本文中在各層中實現(xiàn)的各種中間件都能嵌入到其他應用系統(tǒng)中去，為了驗證各種算法正確性以及處理效果，我們設計了系統(tǒng)定制界面以及視頻監(jiān)控檢測結(jié)果顯示界面。在速度和車型的在線視頻檢測方面，根據(jù)底層特征層及概念層處理的結(jié)果實時地將通過檢測區(qū)域的車輛速度以及通過的大型車和小型車的數(shù)量，其中顯示的

25、速度為最新一輛檢測出速度的車的速度；在道路車流量統(tǒng)計方面，可以統(tǒng)計總的車流量也可以統(tǒng)計分車道的分流量；此外本文中設計了每個車道的占有率曲線圖，通過該車道占有率曲線可以一目了然地把握目前道路上的車流量，在線的展示每個車道上的占有率。由于每經(jīng)過檢測區(qū)域的車輛都會產(chǎn)生一個記錄Car(CarID，RoadwayNo，StartPosition，Start Time，EndPositon，EndTime，CarType)，根據(jù)這些基本數(shù)據(jù)可以滿足各種智能交通系統(tǒng)的需要。5結(jié)束語綜上所述，視頻交通信息聚集技術有很多優(yōu)點，拍攝區(qū)域廣，可獲得一個區(qū)域交通圖像信息，可對交通狀況做出更全面了解與把握，測量信息更準

26、確：本文提出的交通檢測算法不但能同時檢測和處理在道路上多車道的車輛通行情況，統(tǒng)計和分析道路交通的狀況，為智能交通提供基本信息，同時也能用于檢測道路上的車輛事故、車輛違章等，為交通管理提供了一種有效、靈活、性價比高的道路交通監(jiān)控手段。此外，本文提出了通過使用行為語義描述的理論構(gòu)架來研究道路檢測的方法，將圖像語義劃分底層特征層、對象層和概念層三層，來進行圖像的理解，圓滿地解釋了許多交通擁堵和交通事故等事件，為實現(xiàn)區(qū)域交通狀態(tài)的評價、預報和預警，建立區(qū)域交通系統(tǒng)狀態(tài)的集成應用系統(tǒng)提供了新的解決方案。通過基礎中間件、應用中間件、面向高層中間件和情景動作規(guī)則中間件來實現(xiàn)相關層次之問的關聯(lián)，為快捷、方便地

27、跨越語義鴻溝，高效的開發(fā)各種智能視頻監(jiān)控系統(tǒng)提供了一種新的思路。參考文獻1王偉,李志鵬,劉允才.交通信息實時視頻檢測系統(tǒng)的實現(xiàn).微型電腦應用.2006.22(9)25282 】曹江中,蜮青西,譚志標,邸磊.基于視頻的高速公路車輛檢測和跟蹤算法J計算機虛用，2006,26(2):496-5003 Harini Veeraraghavan, Nathaniel Bird, Stefan Atev and Nikolaos Papanikolopoulos. Classifiers for driver activity monitoring. Transportation Research Part C: Emerging Technologies.2007.4 Leone A, Distante C. Shadow detection for moving objects based on texture analysis. Third International Conference on Information Technology and Applications Sydney. SW,Australia,2005: 1222-1233.5 王偉,李志