基于多攝像機的目標交接與數(shù)據(jù)融合

1、精品畢業(yè)設計運動捕獲系統(tǒng)中基于多攝像機的目標跟蹤算法摘要：基于標記點的光學運動捕獲系統(tǒng)中，由于標記點特征相同，易出現(xiàn)遮擋，使得跟蹤難度加大。為了解決這些問題，本文提出一種新的基于多攝像機的目標跟蹤算法，包括雙目立體跟蹤和多目數(shù)據(jù)融合算法。雙目跟蹤過程中，使用外極限約束和三維立體匹配約束踢出錯誤的候選目標，提高匹配精度。同時為了提高新標記點識別率，本文提出了基于可變閾值的最鄰近數(shù)據(jù)融合算法。實驗結(jié)果表明，本文提出的跟蹤算法可以準確跟蹤到各個標記點。關鍵詞：光學運動捕獲系統(tǒng) 雙目立體跟蹤 多目數(shù)據(jù)融合 abstract: in the marker-based motion capture sys

2、tem, the tracked multiple markers images are quite similar and occluded frequently. these make tracking become very difficult. this paper proposes a novel multiple cameras based tracking algorithm, which includes binocular stereo tracking and multi-camera data fusing. in the procedure of tracking, t

3、he epipolar geometry restriction and 3d stereo matching restriction are used to eliminate the incorrect matching to improve matching precision and a nearest neighbor data fusion algorithm based on adaptive association threshold is proposed in order to identify the new markers more accurately. experi

4、ments show that the proposed algorithm can track multiple markers exactly.keywords: motion capture system, binocular stereo tracking, multi-camera data fusing1引言基于標記點的光學運動捕獲系統(tǒng)1通過捕獲人體上的標記點來重建人體的三維運動，已經(jīng)成功地應用于影視特效、動畫制作、虛擬現(xiàn)實、模擬訓練等研究領域。現(xiàn)有的捕獲系統(tǒng)通常采用基于特征匹配的跟蹤方法2-4。文獻2以不同的色塊作為標記點，提出一種基于色塊的跟蹤方法。文獻3使用少量彩色色帶作為標

5、記點，以人體結(jié)構(gòu)約束信息為輔助進行跟蹤?；陬伾卣鞯母櫵惴ǜ欇^準確，且一定程度上可以解決標記點的自遮擋問題。但因為平面色塊在三維視覺中易發(fā)生形變，在不同的攝像頭間存在成像色調(diào)的差異，導致跟蹤不準確，且當標記點數(shù)量增多時，可明顯區(qū)分的顏色有限。文獻4利用標記點的輪廓特征進行跟蹤，取得了較好的跟蹤結(jié)果，但是其標記點制作特殊，極大地限制了算法的應用。在本文開發(fā)的運動捕獲系統(tǒng)中，標記點特征相同，數(shù)量多，且運動復雜，易出現(xiàn)遮擋等問題，使得這種基于特征匹配的跟蹤算法失效。為了解決上述問題，本文提出了一種新的多攝像機多目標跟蹤?？蚣苋鐖D1，主要包含雙目立體跟蹤和多目數(shù)據(jù)融合這兩個模塊。圖1 算法框架首

6、先每個雙目獨立檢測和跟蹤各個標記點。由于基于卡爾曼濾波的跟蹤算法5跟蹤精度高，運算量小，對一些復雜運動目標能進行連續(xù)穩(wěn)定的跟蹤，本文在跟蹤過程中利用卡爾曼濾波器對標記點進行狀態(tài)預測。此外，如果在某個標記點的預測區(qū)域內(nèi)出現(xiàn)多個候選點，使用外極限約束6和三維立體匹配約束踢出錯誤的候選點，提高匹配精度。然后多目數(shù)據(jù)融合模塊將各個雙目的跟蹤結(jié)果進行融合，最終得到每個標記點的三維軌跡。盡管各個雙目的坐標系已經(jīng)統(tǒng)一，但是由于圖像噪聲、標定誤差、二維匹配誤差等因素的影響使得同一標記點在不同雙目下的三維位置并不完全相同甚至相差較大，增加了新標記點識別的困難度。為了提高各個雙目中的新標記點的識別率，本文提出了基

7、于可變閾值的最鄰近數(shù)據(jù)融合算法。2雙目立體跟蹤算法針對標記點無明顯特征區(qū)別，數(shù)量多，易遮擋等特點，本文提出了一種新的雙目立體跟蹤算法，流程如圖2。 圖2 雙目立體跟蹤流程2.1 擴展kalman預測假設當前時刻為第時刻，記、為標記點在第時刻的位置、速度、加速度。在跟蹤過程中，二維和三維擴展kalman濾波器同時被用來進行時刻的狀態(tài)預測(、)，如式(1)-(3)。(1)(2)(3)(4)利用式(4)預測標記點的搜索范圍。如果在預測區(qū)域內(nèi)檢測到標記點，則利用的新息更新各個狀態(tài)變量的預測誤差(、)，如式(5)-(7)。 (5) (6)(7)2.2 踢出錯誤的候選點如果在標記點的預測區(qū)域內(nèi)檢測到多個候

8、選標記點，則需要利用外極限約束和三維立體匹配約束踢出錯誤的候選點。假設標記點在左圖象的候選點個數(shù)為，在右圖象的候選點個數(shù)為。如果，則利用外極限約束踢出錯誤的候選點。如果，則首先利用外極限約束踢出錯誤的候選匹配，得到一個滿足外極限約束的候選匹配集，然后利用三維立體匹配約束踢出錯誤的候選匹配，得到最佳匹配。2.2.1 外極線約束假設()為標記點在左(右)圖象上的位置坐標， 為此雙目的基礎矩陣，則利用式(8)求出其對應的外極線()。 (8) (9)外極線約束原理為：像點()的位置就在與()相關聯(lián)的外極線()上，這樣，對()的搜索就被限制在()上而非整個圖像，兩者的關系滿足式(9)。實際應用中，由于各

9、種噪聲及計算誤差的影響，實際檢測到的點并不嚴格滿足外極線約束，本文利用候選點與外極線之間的距離作為約束準則，距離越短，二維匹配程度越高，如式(10)。 (10)其中為左(右)圖象上候選點在右(左)圖象上的外極線系數(shù)。為右(左)圖象上的第個候選點的二維位置坐標。 2.2.2 三維立體匹配約束 用近似表示時刻標記點在三維空間上的位置坐標，取值如式(11)。 (11)其中，表示時刻標記點的三維預測位置，表示時刻標記點的三維位置。為加權(quán)系數(shù)。一般情況下，但是如果時刻標記點的三維位置預測誤差過大，說明上一時刻預測精度下降，當前時刻就要削弱預測值對的影響，使得更加接近真實值，令。本文將候選匹配點與的距離作

10、為約束，距離越短，三維匹配程度越高。 (12)其中表示第個候選匹配點的三維位置坐標。3多目數(shù)據(jù)融合模塊 此模塊負責融合所有雙目的跟蹤結(jié)果，對于雙目跟蹤上的標記點，僅通過對多個雙目跟蹤結(jié)果加權(quán)平均，獲得其最終軌跡；對于雙目中新出現(xiàn)的標記點，需要確定它的標識。在辨識新標記點過程中，由于圖像噪聲、標定誤差、二維匹配誤差等因素的影響使得同一標記點在不同雙目下的三維位置坐標并不完全相同甚至相差較大，增加了辨認的難度，針對這個問題，本文提出了基于可變閾值的最鄰近數(shù)據(jù)融合算法。它的基本思想一是：如果新標記點在標記點的相關閾值范圍內(nèi)，且唯一，則認為此新標記點的標識為。如果不唯一，則取與新標記點的距離最小的那個

11、標記點。傳統(tǒng)的最鄰近數(shù)據(jù)融合算法，其閾值是固定不變的。為了提高新標記點的辨識率，本文改進了閾值的取值，使其隨著標記點的跟蹤誤差而變化，有 (13)其中為標記點的半徑，為標記點在時刻的三維位置的搜索區(qū)域。它的基本思想二是：如果新標記點不在標記點的相關閾值范圍內(nèi)，首先選取與距離最小的那個標記點，記其與的三維位置誤差為，如果滿足，則擴大的范圍，直至上屆，如果在的范圍內(nèi)，則認為此新標記點的標識為，否則此新標記點為干擾噪聲點。新標記點一旦被識別出來，且連續(xù)出現(xiàn)4幀以上，則初始化它的濾波器，進行后續(xù)幀的跟蹤。4實驗結(jié)果本文設計了基于6個相機，17個標記點的關于一個跑步運動的室內(nèi)實驗。4.1 雙目立體跟蹤結(jié)

12、果以兩個點a和b在雙目a中的二維跟蹤結(jié)果為例進行說明，如圖3。這兩個點在雙目a中的情況是：在第16到27幀，第45到55幀，第71幀到83幀等時間段發(fā)生相互遮掩，然后又彼此分開。從圖3中可以看出，本文提出的雙目立體跟蹤算法在a、b點遮掩發(fā)生時能夠準確的跟蹤到它們，在彼此分開時，也就是在各自的預測區(qū)域內(nèi)有2個候選目標的情況下，也可以準確的跟蹤。圖3 點a和點b的二維跟蹤結(jié)果4.2 數(shù)據(jù)融合模塊結(jié)果以點c在雙目c的三維跟蹤結(jié)果為例進行說明，如圖4。點c在雙目c中的情況是：從第30幀開始丟失，在第35幀重新出現(xiàn)直到第56幀；從第57幀開始丟失，在62幀重新出現(xiàn)直到第82幀；在第83幀開始丟失，在89

13、幀重新出現(xiàn)直至第109幀；從第110幀開始丟失，在第116幀重新出現(xiàn)直到最后。當點c重新出現(xiàn)時，需要將它識別出來，“三維跟蹤軌跡a”是經(jīng)過可變閾值的最鄰近數(shù)據(jù)融合算法處理得到的軌跡，“三維跟蹤軌跡b”是經(jīng)過傳統(tǒng)的固定閾值（設為）的最鄰近數(shù)據(jù)融合算法處理得到的軌跡。從圖中可以看出來，傳統(tǒng)的算法的識別率極低，本文的算法僅在第63、64、119幀這三幀中沒有識別出來，與傳統(tǒng)的算法相比，識別率提高了很多。圖4. 新標記點的識別對比整個人體的運動跟蹤結(jié)果如圖5。從圖5中可以看出，本文提出的基于多攝像機的目標跟蹤算法可以較逼真的重建人體三維運動。圖5 多個攝像機跟蹤到的人體原地踏步運動5總結(jié)及展望 針對于

14、運動捕獲系統(tǒng)中標記點特征相同，易遮擋等問題，本文提出了基于擴展卡爾曼預測的雙目立體跟蹤算法，利用外極限約束和三維立體匹配約束踢出錯誤的候選點，提高了匹配精度。同時提出了基于可變閾值的最鄰近數(shù)據(jù)融合算法，提高了新標記點的識別率。實驗結(jié)果表明，本文提出的基于多攝像機的目標跟蹤算法，可以同時精確跟蹤多個標記點。在以后的工作中，將實現(xiàn)更多標記點、更復雜的人體運動目標跟蹤以及進一步提高新標記點的識別率。參考文獻1 thomas b. moeslund, adrian hilton, volker kru¨ger . “a survey of advances in vision-based h

15、uman motion capture and analysis”, computer vision and image understanding 104 (2006) 90126.2 朱強,莊越挺,陳家實,潘云鶴.基于色塊的人體運動跟蹤j.模式識別與人工智能, 2001,4(14):487-492.3 ukida, hiroyuki, kaji, seiji, tanimoto, yoshio, yamamoto, hideki. “human motion capture system using color markers and silhouette”, proceedings of

16、 the ieee on instrumentation and measurement technology conference, pp. 151-156, 2006.4 barca, j.c.; rumantir, g.; koon li, r.; “a new illuminated contour-based marker system for optical motion capture”, innovations in information technology, 2006. nov. 2006 page(s):1 - 5 digital object identifier 10.1109/innovations.2006.301980.5 bahari, m.h.; karsaz, a.; khaloozadeh, h.; high maneuver target tracking based on combined kalman filter and fuzzy logic. information, decision and co