目標身份感知網(wǎng)絡(luò)流量技術(shù)的結(jié)構(gòu)化學習方法

目標身份感知網(wǎng)絡(luò)流量技術(shù)的結(jié)構(gòu)化學習方法

0總結(jié)多目標跟蹤（mot）。1基于定常性的目標身份感知網(wǎng)絡(luò)流量的求解假設(shè)已知前幾幀中進入場景的目標初始邊界框(通過標注或利用目標檢測算法獲得),本文方法首先通過結(jié)構(gòu)化學習為每個對象訓練一個模型,并將目標跟蹤問題建模為拉格朗日松馳優(yōu)化問題,然后提出一種目標身份感知網(wǎng)絡(luò)流量技術(shù)(targetidentity-awarenetworkflow,TINF)進行結(jié)構(gòu)化學習的推理。在學習期間,通過搜索使目標身份感知網(wǎng)絡(luò)流量代價函數(shù)最小化的一組軌跡,確定最被違反約束和序列在下個時間段的最優(yōu)軌跡,推斷出視頻片斷中所有目標的最佳位置。具體過程如圖1所示,其中,圖1(a)表示本文方法對多個視頻幀采用的密集候選窗口的并集;圖1(b)表示傳統(tǒng)方法2中邊界框基模型已知包括τ個訓練圖像的一組圖像集式中:w={w根據(jù)真實標簽Y和估計值珚Y之間的重疊度,可確定如下?lián)p失函數(shù)由于Υ中邊界框的可能組合呈幾何數(shù)量級,所以對式(2)中的約束進行窮盡搜索不具有可行性。然而,文獻3ow,tinf已知模型參數(shù)w和每個視頻幀的密集重疊邊界框后,本文的目標是為每個目標尋找可使式(1)最大化的一個候選窗口序列(稱為軌跡)。該問題屬于一種全局數(shù)據(jù)關(guān)聯(lián)問題,本文首先通過對連續(xù)幀中的候選施加某種時域一致性約束來降低其指數(shù)級的搜索空間,然后提出一種目標身份感知網(wǎng)絡(luò)流量技術(shù)(targetidentity-awarenetworkflow,TINF),如圖2所示,并通過拉格朗日松馳策略對TINF進行高效優(yōu)化,最終實現(xiàn)對軌跡的準確推斷。在圖2中,大的圓圈表示每個幀中的所有候選位置(密集分布在整個幀內(nèi))。通過k條觀察邊相連的一對節(jié)點可表示各個候選位置,一條觀察邊對應(yīng)一種身份。網(wǎng)絡(luò)中有k個源節(jié)點和k個匯點,每個源節(jié)點或匯點屬于一個目標。每個身份用一種單獨顏色表示。進入各個節(jié)點的流量只能取3條觀察邊中的某一條,具體視其所隸屬的源節(jié)點(身份)而定。與其它幀的節(jié)點相連的過渡邊表示一個目標從某一位置到另一位置的可能移動,且每次移動均關(guān)聯(lián)一個轉(zhuǎn)移成本。在起始/匯節(jié)點和圖中其它每個節(jié)點之間存在一條邊,這是為了考慮人體進入或離開場景這一情況。出于簡便考慮,我們只給出了部分進入/離開邊。網(wǎng)絡(luò)流量是一個二元指示量,當節(jié)點為軌跡一部分時為1,否則為0。利用每個源節(jié)點推入單位流量,通過使分配給流量的成本最小化來確定所有目標的軌跡。此外,我們將稍后證明,如果為經(jīng)過邊界框觀察邊的流量設(shè)置上限,便可保證一個候選位置最多只屬于一條軌跡。在下面小節(jié)中,我們首先將上述問題建模為拉格朗日松馳優(yōu)化問題,然后給出用于代替目標檢測算法非最大貪婪抑制策略的空間約束。3.1確定同邊分配成本首先構(gòu)建圖形G(V,E)。對幀t中的每個候選窗口,考慮通過k條不同觀察邊相連的一對節(jié)點,這些觀察邊分別對應(yīng)于一種身份。對幀t中的每個節(jié)點v根據(jù)跟蹤期間目標的不同特征,為圖中的不同邊分配成本。利用k個目標模型,為表示候選窗口的每對節(jié)點分配k個不同成本。將w對于將連續(xù)幀中的兩個候選窗口y式中:構(gòu)建完G(V,E)后,我們的目標是通過每個源節(jié)點推入單位流量,進而確定k個流量(軌跡),使下面代價函數(shù)最小化,便可確定f經(jīng)過這些邊的流量必須滿足一定約束,才可以切實保證它可以表示真實世界中的軌跡。針對G(V,E)定義的一組約束如下式(8)中的約束為供應(yīng)/需求約束,要求到達節(jié)點的流量之和等于離開該節(jié)點的流量之和。式(10)中的約束將經(jīng)過各個節(jié)點的流量之和的上限設(shè)置為1,來規(guī)定不同身份的軌跡不會共享同一節(jié)點。依據(jù)文獻3.2拉格朗日乘子的確定本文采用的拉格朗日松馳方法的核心思想是對硬性約束進行放松,并將其放到目標函數(shù)中,進而獲得一種簡單近似。我們首先對式(10)中的約束條件進行松弛,引入非負拉格朗日乘子λ對其進一步簡化后,我們有條件為對各種拉格朗日乘子來說,式(12)中的第2項均是常數(shù),因此可將其忽略。新的目標函數(shù)中,每個流量變量f(1)對拉格朗日乘子的固定值,我們可以求解成本系數(shù)為c(2)根據(jù)式(15)更新拉格朗日乘子式中:λ3.3行人軌跡混淆的消除本文跟蹤算法與其它數(shù)據(jù)關(guān)聯(lián)跟蹤算法的主要區(qū)別在于,本文跟蹤算法的輸入是密集候選窗口,而不是人體檢測結(jié)果。當外觀和運動特征類似的行人并肩行走時,跟蹤結(jié)果很可能出現(xiàn)ID混淆問題。同時,當行人被部分遮擋時,針對該行人的跟蹤算法有可能選擇與周圍其它行人嚴重重疊的候選人體,如圖3所示,在上面一行中,兩個行人由于外觀相似,導致軌跡發(fā)生混淆。文獻式中:y我們發(fā)現(xiàn),對高度重疊的兩個節(jié)點進行懲罰,有時會導致某一軌跡邊界框的精度較低。因此,我們根據(jù)式(1)中的得分函數(shù),只對軌跡得分較低的觀察節(jié)點進行懲罰。綜上所述,集成了空間約束的拉格朗日松馳方法如算法1所示。算法1:TINF的拉格朗日松馳解4實驗結(jié)果與分析本文采用目前常用的ParkingLot1-2序列、TUDCrossing序列、PET序列、以及目標發(fā)生大幅關(guān)節(jié)運動的兩個新型數(shù)據(jù)序列(Running序列和Dancing序列)等利用目前典型的CLEARMOT指標(MOTA-MOTP)為了明確展示本文空間約束的影響,我們分別對包含空間約束和不包含空間約束的數(shù)據(jù)集運行本文算法,實驗結(jié)果見表2。從表2可以看到,當包含空間約束時,本文算法在幾種數(shù)據(jù)集中的性能都有不同程度地提升。對于目標發(fā)生重疊的數(shù)據(jù)序列,算法增益更為明顯。在初始化時,除了人工標注外,我們還可以采用文獻[8]中的預(yù)訓練人體檢測算法進行目標的自動初始化。對每個視頻段,如果連續(xù)視頻幀中發(fā)生至少4次嚴重重疊的高置信度檢測并且未與任何其它軌跡相關(guān)聯(lián),則對新軌跡初始化。我們采用人體檢測效果顯著的ParkingLot1-2序列和TUDCrossing序列測試了目標自動初始化情況下的本文算法性能,實驗結(jié)果見表3。從表3可以看到,采用自動初始化策略時,本文方法的性能并沒有顯著變化,MOTA、MOTP和MT等性能反而略有下降。這主要是因為,與人工標注方法相比,部分序列的部分軌跡起始時間較晚,由于虛警現(xiàn)象增加,MOTA等性能出現(xiàn)下降。最后,為了比較采用IP或LP時本文拉格朗日松馳方法的復(fù)雜性,我們分別部署了本文方法的IP和LP版本。采用文獻5實驗結(jié)果與分析針對現(xiàn)有的目標跟蹤算法的不足,本文提出了一種綜合了結(jié)構(gòu)化學習和全局數(shù)據(jù)關(guān)聯(lián)的跟蹤算法。本文方法的核心是為每個目標學習一個模型的結(jié)構(gòu)化學習過程。將推理