（計(jì)算機(jī)軟件與理論專業(yè)論文）用于消防領(lǐng)域的視頻穩(wěn)像算法的研究與實(shí)現(xiàn).pdf

中文摘要 視頻穩(wěn)像技術(shù)是近年來(lái)的計(jì)算機(jī)圖像處理研究的熱點(diǎn)。隨著多媒體技術(shù)的日 益成熟，各種各樣的視頻應(yīng)用層出不窮，傳統(tǒng)的視頻穩(wěn)像技術(shù)由于存在較大的時(shí) 間延遲，已經(jīng)不能很好的適應(yīng)現(xiàn)有的各種應(yīng)用環(huán)境，如何能快速完成對(duì)視頻數(shù)據(jù) 的修復(fù)和處理顯得至關(guān)重要。目前，視頻穩(wěn)像技術(shù)已被廣泛應(yīng)用在地質(zhì)勘探、航 空航天等領(lǐng)域，取得了不錯(cuò)的效果。本文將主要研究視頻穩(wěn)像技術(shù)在火災(zāi)救難現(xiàn) 場(chǎng)的應(yīng)用。 在我國(guó)，隨著近年來(lái)在消防領(lǐng)域的投入不斷增大，各種基于火災(zāi)現(xiàn)場(chǎng)的視頻 采集系統(tǒng)被陸續(xù)部署到各個(gè)消防部門中，并在火災(zāi)救難行動(dòng)中取得了很好的效 果。隨之而來(lái)的問(wèn)題是如何能在現(xiàn)場(chǎng)及時(shí)的獲取穩(wěn)定的視頻圖像，并據(jù)此做出正 確的作戰(zhàn)指令，保護(hù)國(guó)家和人民的生命財(cái)產(chǎn)安全， 視頻穩(wěn)像技術(shù)主要針對(duì)攝像平臺(tái)的非正常移動(dòng)造成的圖像模糊，使用多種算 法，包括視頻對(duì)象提取和特征點(diǎn)提取與匹配等，這些算法是實(shí)現(xiàn)一個(gè)高效的視頻 電子穩(wěn)像系統(tǒng)的基礎(chǔ)和關(guān)鍵。系統(tǒng)提取其運(yùn)動(dòng)特征向量，取得特征向量。最后根 據(jù)特征向量進(jìn)行動(dòng)態(tài)預(yù)測(cè)和動(dòng)態(tài)補(bǔ)償，獲得穩(wěn)定清晰的視頻圖像。本文針對(duì)火災(zāi) 現(xiàn)場(chǎng)的視頻特征，設(shè)計(jì)并實(shí)現(xiàn)了視頻電子穩(wěn)像系統(tǒng)，不僅參考借鑒了傳統(tǒng)的視頻 穩(wěn)像技術(shù)，同時(shí)還能夠在較小的時(shí)間延遲下完成視頻穩(wěn)像的任務(wù)。本文中提出的 對(duì)視頻中的各種對(duì)象根據(jù)其信息價(jià)值的高低分別進(jìn)行不同程度的處理，能有效地 減小傳統(tǒng)穩(wěn)像算法中浪費(fèi)在背景等信息含量不高的對(duì)象上的時(shí)間，同時(shí)本文還針 對(duì)火災(zāi)現(xiàn)場(chǎng)的視頻特點(diǎn)對(duì)系統(tǒng)做出了優(yōu)化處理。 通過(guò)本系統(tǒng)，能幫助消防現(xiàn)場(chǎng)指揮系統(tǒng)在火災(zāi)救難現(xiàn)場(chǎng)較好較快的取得火場(chǎng) 內(nèi)部的視頻信息，以更好地支持消防工作。 關(guān)鍵詞：火災(zāi)現(xiàn)場(chǎng)，視頻穩(wěn)像技術(shù)，運(yùn)動(dòng)補(bǔ)償，視頻對(duì)象 a b s t r a c t v i d e os t a b i l i z a t i o nt e c h n o l o g yi st h eh o ts p o ti nt h el a t e s tr e s e a r c ho nc o m p u t e r i m a g ep r o c e s s i n g w i t ht h ep o p u l a r i t yo fm u l t i m e d i at e c h n o l o g y , v i d e os t a b i l i z a t i o n s y s t e me m e r g e d t h et r a d i t i o n a lv i d e oi m a g es t a b i l i z a t i o nt e c h n o l o g yc a i ln o tr e d u c e t h ed e l a yc a u s e db yt h ev i d e os t a b i l i z a t i o na l g o r i t h m h o wt or e c o v e rt h ev i d e oi na s h o r tt i m e s p a nh a sb e c o m ee x t r e m e l yi m p o r t a n t r e c e n t l y , v i d e o s t a b i l i z a t i o n t e c h n o l o g ym a i n l yc o n c e n t r a t e do ng e o l o g i c a ls u r v e ya n d a e r o n a u t i c sa n da s t r o n a u t i c s a n dr e c e i v e dg o o da c h i e v e m e n t t h i sp a p e rm a i n l yf o c u s e so nd i g i t a lv i d e o s t a b i l i z a t i o na tf i r e f i g h t i n g r e c e n ty e a r s ，w i t ht h ei n v e s t m e n ti nf i r e - f i g h t i n gi n c r e a s e dr a p i d l yi no u r c o u n t r y , v a r i o u sr e a l t i m ev i d e os t a b i l i z a t i o ns y s t e m sw e r ed e p l o y e da n dg e ts o m e a c h i e v e m e n t s b u tt h e s ea l s oi n t r o d u c eas e r i o u sp r o b l e mt h a ti sh o wt og e tt h e s t a b i l i z e dv i d e oa n dm a k et h er i g h td e c i s i o nb a s e do ni ta n dr e s c u et h el i v e sa n dt h e p r o p e r t y t h ev i d e os t a b i l i z a t i o nm a i n l ys o l v e st h eb l u r r e dv i d e oc a u s e db yt h eu n e x p e c t e d m o v e m e n to ft h ec a m e r ap l a t f o r m t h i sc o u r s ei n c l u d e sah a n do fa l g o r i t h m so fv i d e o o b j e c t se x t r a c t i o na n df e a t u r ep o i n t se x t r a c t i o na n dm a t c h t h e s ea r ek e ys t e p sf o r i m p l e m e n t i n gad i g i t a lv i d e os t a b i l i z a t i o ns y s t e m s e c o n d l y , i tn e e d s t og e tt h em o t i o n v e c t o ro ft h ev i d e oo b j e c t s f i n a l l y , t h es y s t e ms h o u l dg i v eap i e c eo fs t a b l ea n dc l e a r v i d e ob yu s i n gs o m em o t i o np r e d i c t i o na n dc o m p e n s a t i o na l g o r i t h m s t h i sp a p e r f o c u s e do nt h ef e a t u r e so ft h ev i d e oc a p t u r e do nt h es c e n eo ff u e ，d e s i g n e da n d r e a l i z e dav i d e os t a b i l i z a t i o ns y s t e mb a s e do nf i r e f i g h t i n g t h es y s t e mr e f e r r e d t r a d i t i o n a lv i d e os t a b i l i z a t i o nt e c h n o l o g ya n ds h r u n kt h ed e l a yo ft h es y s t e m s p e c i a l l y , t h i sp a p e rp r o p o s e d a na l g o r i t h mt r e a t st h ed i f f e r e n tv i d e oo b j e c t s r e s p e c t i v e l yb a s e d0 1 1t h e i ra m o u n to fi n f o r m a t i o n , w h i c hc a nr e d u c et h et i m ew a s t e d a tt h el e s si n f o r m a t i o n a lv i d e oo b j e c t se f f e c t i v e l y w h a t sm o r e ，t h i sp a p e ra l s od o e s s o m eo p t i m i z a t i o nw o r kf o rt h ef e a t u r e so fv i d e oc a p t u r e db yf 訛s c e n e t h i ss y s t e mc a nh e l pf i r e - f i g h t i n gc o m m a n d e rt os e e kd e s i r e di n f o r m a t i o nf r o m t h ec o r eo ft h ef a es i t eq u i c k l ya n de f f e c t i v e l y k e yw o r d s ：s c e n eo ff i r e ，v i d e os t a b i l i z a t i o nt e c h n o l o g y , m o t i o n c o m p e n s a t i o n ，v i d e oo b j e c t 獨(dú)創(chuàng)性聲明 本人聲明所呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作和取得的 研究成果，除了文中特別加以標(biāo)注和致謝之處外，論文中不包含其他人已經(jīng)發(fā)表 或撰寫(xiě)過(guò)的研究成果，也不包含為獲得叁盜盤堂或其他教育機(jī)構(gòu)的學(xué)位或證 書(shū)而使用過(guò)的材料。與我一同工作的同志對(duì)本研究所做的任何貢獻(xiàn)均已在論文中 作了明確的說(shuō)明并表示了謝意。 學(xué)位論文作者簽名：王乏挖 簽字同期： 沙。7 年 、， y 一i 完成特征點(diǎn)匹配 圖3 5 特征點(diǎn)匹配算法流程圖 匹配后的特征點(diǎn)對(duì)中可能存在錯(cuò)誤的匹配，這種錯(cuò)誤是無(wú)法避免的。對(duì)于這 種錯(cuò)誤的匹配結(jié)果，本系統(tǒng)采用簡(jiǎn)單的r a n s a c 算法進(jìn)行篩選和糾錯(cuò)。如文獻(xiàn) 2 2 1 1 2 3 中所述，系統(tǒng)利用r a n s a c 算法找出錯(cuò)誤的匹配結(jié)果，并將這些錯(cuò)誤的 匹配點(diǎn)對(duì)刪除，匹配點(diǎn)對(duì)中的特征點(diǎn)被重新與對(duì)應(yīng)的不同尺度空間下的特征點(diǎn)組 成正確的特征點(diǎn)匹配對(duì)。在完成這一系列的操作之后，系統(tǒng)將繼續(xù)執(zhí)行特征點(diǎn)提 取與匹配算法的運(yùn)算。 第三章視頻穩(wěn)像系統(tǒng)的分析與總體設(shè)計(jì) 3 2 4 運(yùn)動(dòng)估計(jì)與補(bǔ)償子系統(tǒng)的設(shè)計(jì) 3 2 4 1 運(yùn)動(dòng)估計(jì) 在完成對(duì)特征點(diǎn)的提取和匹配之后，視頻圖像序列中的各幀畫(huà)面之間就被建 立了對(duì)應(yīng)關(guān)系。為了能夠最終對(duì)視頻圖像序列進(jìn)行穩(wěn)像處理，首先要計(jì)算各幀之 間的差異。對(duì)于視頻圖像序列，可以通過(guò)減少時(shí)間冗余來(lái)提高視頻編碼的效率。 目前運(yùn)動(dòng)估計(jì)的主流算法主要是基于塊匹配的運(yùn)動(dòng)估計(jì)算法，但是這類算法要對(duì) 搜索區(qū)內(nèi)的所有點(diǎn)進(jìn)行檢測(cè)，因而計(jì)算復(fù)雜度很高。為了保證系統(tǒng)的實(shí)時(shí)性，必 須要使用效率更高的運(yùn)動(dòng)估計(jì)算法。 本系統(tǒng)利用一種新的搜索算法，即線性正方形搜索算法來(lái)進(jìn)行運(yùn)動(dòng)估計(jì)。這 種算法基于運(yùn)動(dòng)矢量和絕對(duì)差和( s u mo fa b s o l u t ed i f f e r e n c e ，s a d ) 的空間分布特 性采用線性正方形搜索算法，簡(jiǎn)稱為l s s ( l i n e s q u a r es e a r c h ) 算、法【2 4 1 。這種新型 算法在計(jì)算性能和準(zhǔn)確程度上都強(qiáng)于其它同類算法。由于線性正方形搜索算法對(duì) 于不重要的搜索區(qū)域使用簡(jiǎn)單的線性搜索減少算法的運(yùn)算復(fù)雜度，而對(duì)于重要的 搜索區(qū)域使用精度和效率很高的正方形搜索算法，這種思想與火場(chǎng)視頻穩(wěn)像中對(duì) 于重要信息物體進(jìn)行高度處理，而對(duì)不重要的背景物體進(jìn)行簡(jiǎn)略處理的思想不謀 而合。線性正方形搜索算法按照絕對(duì)差和的空間方向性設(shè)計(jì)了線性搜索算法及正 方形搜索模板。算法的正方形搜索模板如圖3 _ 6 2 4 所示。 l s s 算法的正方形搜索模板上共有九個(gè)稱為內(nèi)模板的搜索點(diǎn)，以及八個(gè)稱為 外模板的模擬搜索點(diǎn)。在進(jìn)行精確搜索的時(shí)候使用內(nèi)模板，而在確定線性搜索的 方向的時(shí)候使用外模板。圖3 7 【2 4 】中表示了八種有可能的線性搜索方向。 內(nèi)較板 一j外橫板 - 霉7 5 _ 3 - 2 l0l235670 4 i ? 、，j x z xx x l 弋，、v 圖3 - 6l s s 算法的正方形搜索模板 4 4 4 弗o d 4 o o ，2 3 第三章視頻穩(wěn)像系統(tǒng)的分析與總體設(shè)計(jì) 內(nèi)撰板 ? ：外模板 j4 5 - 3 2 - ioi2345670 j 。，。 、，、 ，x x x 7 粉x 。 o ， 、y ，? 、 z 、 過(guò) 圖3 7 八種有可能的線性搜索方向 線性正方形搜索算法將位于正方形模板中心位置的點(diǎn)稱為中心點(diǎn)，將絕對(duì)差 和最小的搜索點(diǎn)稱為線搜索點(diǎn)，將中心點(diǎn)與線搜索點(diǎn)之間確定的矢量的方向作為 線性搜索的方向。 3 2 4 2 運(yùn)動(dòng)補(bǔ)償 通過(guò)運(yùn)動(dòng)估計(jì)算法，視頻穩(wěn)像系統(tǒng)得到了視頻圖像序列中相鄰兩幀之間的差 異并取得了對(duì)應(yīng)的運(yùn)動(dòng)矢量。根據(jù)這些信息，系統(tǒng)就可以對(duì)視頻圖像序列進(jìn)行補(bǔ) 償和重建。 運(yùn)動(dòng)補(bǔ)償?shù)牟襟E如下： ( 1 ) 將視頻圖像分割為靜止部分和運(yùn)動(dòng)部分。 ( 2 ) 按照運(yùn)動(dòng)估計(jì)得到的運(yùn)動(dòng)矢量取得前一幀的圖像數(shù)據(jù)。 ( 3 ) 通過(guò)使用預(yù)測(cè)濾波器，得到前一幀圖像數(shù)據(jù)的預(yù)測(cè)差異塊。 ( 4 ) 將上一幀圖像的靜止部分與預(yù)測(cè)差異塊組合在一起，重新組成一幅新的 圖像。 3 2 5 用戶界面設(shè)計(jì) 友好的用戶界面能夠使用戶將系統(tǒng)的性能發(fā)揮到最大，能夠大幅度的提高用 戶的工作效率，并且使用戶耗費(fèi)在系統(tǒng)操作上的時(shí)間大大降低。這一因素在爭(zhēng)分 奪秒的火災(zāi)救難行動(dòng)中更是顯得尤為突出。在本小節(jié)中將對(duì)本系統(tǒng)的主要用戶界 面進(jìn)行詳細(xì)說(shuō)明。 第三章視頻穩(wěn)像系統(tǒng)的分析與總體設(shè)計(jì) 3 251 用戶接口設(shè)計(jì) 本系統(tǒng)可以按照用戶視頻采集設(shè)備配置的不同，向用戶提供不同視頻來(lái)源的 穩(wěn)像操作。圖3 - 8 所示的是系統(tǒng)為用戶提供的選取視頻源的界面，其中包含一個(gè) 下拉菜單，下拉菜單中的各個(gè)子項(xiàng)為各種視頻源的格式，在用戶選取之后系統(tǒng)就 可以按照用戶選定的視頻數(shù)據(jù)格式對(duì)視頻數(shù)據(jù)進(jìn)行穩(wěn)像操作。 圖3 - 8 用戶選擇視頻源界面 在用戶選擇了視頻數(shù)據(jù)的格式之后，系統(tǒng)又為用戶提供了特定物體輪廓篩選 界面。本系統(tǒng)考慮到消防救難行動(dòng)中對(duì)于特定形狀物體的高度關(guān)注，以及火災(zāi)現(xiàn) 場(chǎng)視頻的特點(diǎn)，能夠提取不同輪廓的物體，并對(duì)這些物體進(jìn)行高度處理，因此視 頻中具有用戶在這一界面選擇的特定輪廓的物體都將被提取出來(lái)進(jìn)行精細(xì)的處 理，以便為現(xiàn)場(chǎng)指揮人員提供火災(zāi)現(xiàn)場(chǎng)的有效信息。特定輪廓篩選界面如圖3 - 9 所示。 3 - 9 特定輪廓篩選界面 在選擇了特定輪廓之后，系統(tǒng)就進(jìn)入視頻穩(wěn)像處理階段，視頻處理界面如圖 3 一1 0 所示。在這一界面中為用戶提供了兩個(gè)視頻圖像顯示區(qū)域位于窗口左側(cè)的 是原始視頻圖像顯示區(qū)域，位于窗1 ：3 右側(cè)的是經(jīng)過(guò)穩(wěn)像處理的視頻圖像顯示區(qū) 第三章視頻穩(wěn)像系統(tǒng)的分析與總體設(shè)計(jì) 域。在這兩個(gè)視頻圖像顯示區(qū)域上方顯示的是視頻穩(wěn)像系統(tǒng)已處理時(shí)間，這為現(xiàn) 場(chǎng)指揮人員記錄消防員在特定時(shí)間的具體位置提供了極大的方便。 山_ 山_ 圖3 1 0 視頻處理界面 3 2 52 系統(tǒng)參數(shù)設(shè)計(jì) 在視頻穩(wěn)像系統(tǒng)的實(shí)際應(yīng)用中，用戶對(duì)于視頻穩(wěn)像系統(tǒng)的性能和效率的要求 隨著不同的火災(zāi)現(xiàn)場(chǎng)環(huán)境的改變而改變，因而必須按照用戶的特點(diǎn)使用不同的參 數(shù)或者算法來(lái)對(duì)視頻數(shù)據(jù)進(jìn)行處理，從而保證用戶的需求被很好的滿足，也使得 系統(tǒng)具有更好的適應(yīng)性和魯棒性。而且，因?yàn)橛脩舻囊曨l采集設(shè)備的配置情況無(wú) 法統(tǒng)一，因此系統(tǒng)需要為不同的硬件環(huán)境提供不同的運(yùn)行參數(shù)。 針對(duì)消防戰(zhàn)斗中使用的視頻采集設(shè)備的配置情況和消防現(xiàn)場(chǎng)指揮員的指揮 信息需求，本系統(tǒng)能夠處理的視頻數(shù)據(jù)的格式類型包括a v i 、符合m p e g - 1 、 m p e g 一2 和m p e g 4 標(biāo)準(zhǔn)的視頻等，并且在特定輪廓提取方面為用戶預(yù)先設(shè)置六 種特定的物體輪廓供用戶選擇，包括人體、油桶、氣( 汽) 罐、樹(shù)木、車輛和電 器等對(duì)火災(zāi)現(xiàn)場(chǎng)指揮人員具有重要指揮意義的物體的輪廓。 本系統(tǒng)將系統(tǒng)的運(yùn)行參數(shù)保存在單獨(dú)的文件中，這些運(yùn)行參數(shù)針對(duì)用戶的不 同需求而設(shè)置。并且用戶也可以按照自己的需求的變佬而隨時(shí)更改這些參數(shù)的設(shè) 置。系統(tǒng)在運(yùn)行前會(huì)從參數(shù)文件中讀出相應(yīng)的運(yùn)行參數(shù)，對(duì)視頻穩(wěn)像系統(tǒng)進(jìn)行初 始化設(shè)置。 第三章視頻穩(wěn)像系統(tǒng)的分析與總體設(shè)計(jì) 3 3 本章小結(jié) 本章主要介紹了消防視頻穩(wěn)像系統(tǒng)的需求分析和總體設(shè)計(jì)，其中3 1 節(jié)重點(diǎn) 分析了火場(chǎng)視頻的特點(diǎn)和系統(tǒng)需要實(shí)現(xiàn)的功能，3 2 節(jié)針對(duì)視頻穩(wěn)像系統(tǒng)的幾個(gè) 主要處理算法分別展開(kāi)討論，對(duì)本系統(tǒng)的總體構(gòu)架進(jìn)行了設(shè)計(jì)。 第四章視頻穩(wěn)像系統(tǒng)的詳細(xì)設(shè)計(jì) 第四章視頻穩(wěn)像系統(tǒng)的詳細(xì)設(shè)計(jì) 4 1 視頻對(duì)象分割模塊的詳細(xì)設(shè)計(jì) 視頻對(duì)象分割模塊是視頻穩(wěn)像運(yùn)算的重要步驟。在前文中提出為了保證系統(tǒng) 的實(shí)時(shí)性而對(duì)重要和非重要的視頻對(duì)象進(jìn)行不同程度的處理。為了保證這一思想 能夠順利實(shí)施，首先要將這兩種視頻對(duì)象進(jìn)行分割。在本節(jié)中，主要針對(duì)視頻對(duì) 象分割進(jìn)行模塊的詳細(xì)設(shè)計(jì)。視頻對(duì)象分割操作可被分為三個(gè)步驟t 建立指定輪 廓，搜索視頻對(duì)象和視頻對(duì)象提取【2 5 ，2 6 2 7 1 。該算法的流程如圖4 1 所示。 開(kāi)始 4 1 1 圖像分塊 丫 一 讀取用戶設(shè)置的特 定物體輪廓 v 一一 預(yù)處理視頻數(shù)據(jù) 丫 提取預(yù)設(shè)輪廓邊 界，與視頻中物體 輪廓進(jìn)行比較 v j l ，：= 二者相符嗎? 一， n v 分離視頻對(duì)象與背 景對(duì)象并分別保存 一v 一 結(jié)束 圖4 1 視頻對(duì)象提取模塊流程圖 在進(jìn)行輪廓匹配比較的階段中，系統(tǒng)參考了m p e g 4 視頻編碼標(biāo)準(zhǔn)的視頻編 碼方式【2 8 1 。盡管在之前的操作中已經(jīng)對(duì)原始的視頻數(shù)據(jù)進(jìn)行了歸一化和降噪處 理，但這無(wú)法保證所有的圖像噪聲造成的影響都被消除掉。為了避免圖像噪聲的 干擾，系統(tǒng)將視頻圖像進(jìn)行分塊，分出的每一塊被稱為宏塊。在每一幀圖像的搜 3 0 第四章視頻穩(wěn)像系統(tǒng)的詳細(xì)設(shè)計(jì) 索區(qū)域左上角的宏塊作為基準(zhǔn)宏塊，在搜索區(qū)域的周圍進(jìn)行宏塊搜索以尋找符合 的寵塊。在搜索的過(guò)程中系統(tǒng)采取不同太小的宏塊來(lái)進(jìn)行搜索，算法在選取較 大的宏塊時(shí)準(zhǔn)確率會(huì)出現(xiàn)下降的情況，但為了保證算法在時(shí)間復(fù)雜度和運(yùn)算準(zhǔn)確 率之間達(dá)到較好的平衡，因此系統(tǒng)將選取性能較為優(yōu)秀的分塊情況并應(yīng)用到實(shí)際 視頻處理中“。 在視頻應(yīng)用中，如果視頻圖像的分辨率比2 0 x 2 0 小，那么視頻的很多信息 都很難被表現(xiàn)出柬。因此本系統(tǒng)在選取宏塊大小的時(shí)候?qū)⒁源朔直媛首鳛楹陦K大 小的上限，在這種情況下本系統(tǒng)使用的分辨率為3 2 0 x 2 4 0 的視頻圖像被分為2 0 1 5 塊。與此相對(duì)，視頻圖像的分塊的下限是2 2 ，即把視頻圖像分割成分辨 率為1 6 0 1 2 0 的四塊。 分塊大小對(duì)視頻對(duì)蒙搜索的影響如圖4 - 2 所示。為了保證算法的速度，本系 統(tǒng)采用半像索作為步進(jìn)單位進(jìn)行搜索，盡管這會(huì)在一定程度上降低視頻圖像的清 晰度，但是這種程度的降低對(duì)于人眼能夠識(shí)別的分辨率而言是微不足道的。 it 8 x 8 1 6 x 1 6 # m$ a & t # h ( t # )e m 圖4 - 2 宏塊分塊大小對(duì)視頻對(duì)象提取準(zhǔn)確度的影響 圖4 _ 2 表示在實(shí)驗(yàn)室條件下，在與其他條件無(wú)關(guān)的情況下，按照不同大小的 宏塊進(jìn)行運(yùn)算所消耗的運(yùn)算時(shí)間，以及其對(duì)視頻對(duì)象提取準(zhǔn)確度的影響。從圖 4 2 中可以看出，分塊的數(shù)目越多，算法的時(shí)間復(fù)雜度越大，匹配準(zhǔn)確度也隨之 增大，但由于當(dāng)宏塊大小較小的時(shí)候鄰接宏塊的灰度信息會(huì)減少，因此會(huì)使準(zhǔn)確 度有所降低，這就說(shuō)明了1 6 1 6 分塊情況下準(zhǔn)確率小于8 8 分塊情況下的準(zhǔn)確 率的原因。 第四章視頻穩(wěn)像系統(tǒng)的詳細(xì)設(shè)計(jì) 4 1 2 搜索視頻對(duì)象的基本流程 本文使用視頻圖像的幀間仿射來(lái)識(shí)別視頻圖像序列中的視頻對(duì)象。視頻圖像 的幀間仿射是利用視頻對(duì)象在幀間的連續(xù)性，通過(guò)從前一幀中獲得的信息來(lái)彌補(bǔ) 當(dāng)前幀，并且確定它們之間的相關(guān)性。 在本文中假設(shè)上一幀的灰度模板為i 一將當(dāng)前幀的二值化圖像記為b ，幀 間的位移為d ，。算法通過(guò)下列步驟獲得當(dāng)前幀的灰度模板i 3 1 3 2 ，3 3 1 。 ( 1 ) 幀間仿射 根據(jù)當(dāng)前的幀間位移，將上一幀的灰度模板仿射到當(dāng)前的模板上，形成一個(gè) 仿射關(guān)系d 耐。根據(jù)幀間位移d ，當(dāng)前幀中的任意坐標(biāo)點(diǎn)p ( x ，y ) 都能確定它在上 一幀中的位置p ( x ，y ) ，二者之間的對(duì)應(yīng)關(guān)系是尸= 尸一d ，。如果p 在上一幀圖 像中，且這一點(diǎn)在兩幀圖像中的灰度差小于某一閾值，則認(rèn)為p 點(diǎn)屬于新的對(duì)象。 ( 2 ) 獲取當(dāng)前幀的灰度模板 首先修正當(dāng)前幀的二值化圖像e ，然后使之與d 。，進(jìn)行并操作，從而得到當(dāng) 前模板z 。 ( 3 ) 獲取視頻對(duì)象 通過(guò)當(dāng)前幀的灰度模板和前一幀的灰度模板，可以利用差分操作來(lái)獲取兩幀 中對(duì)應(yīng)像素點(diǎn)之間的關(guān)系，并確定視頻圖像中視頻對(duì)象的輪廓，進(jìn)而由此將視頻 對(duì)象與背景對(duì)象區(qū)分開(kāi)來(lái)。 最后，視頻對(duì)象和背景對(duì)象被分別進(jìn)行存儲(chǔ)，同時(shí)被記錄下來(lái)的還有它們?cè)?其所在的視頻圖像中的位置信息等。 4 1 3 視頻對(duì)象匹配的基本流程 在確定了視頻物體的輪廓特征和視頻圖像序列中的視頻對(duì)象之后，視頻穩(wěn)像 系統(tǒng)將采用戶選擇的視頻物體的輪廓與采集到的視頻圖像序列中的視頻物體的 輪廓進(jìn)行比較和匹配。算法從基準(zhǔn)宏塊開(kāi)始進(jìn)行z 字形搜索，z 字形搜索掃描的 順序如圖4 - 3 8 】所示。 圖4 3z 字搜索掃描順序 3 2 第四章視頻穩(wěn)像系統(tǒng)的詳細(xì)設(shè)計(jì) 搜索從位于搜索區(qū)域左上角的基準(zhǔn)宏塊開(kāi)始，先向該宏塊的右側(cè)宏塊進(jìn)行搜 索，對(duì)基準(zhǔn)宏塊和該宏塊的紋理和灰度信息進(jìn)行比較。當(dāng)匹配成功之后，轉(zhuǎn)向下 方宏塊，進(jìn)行上述比較。依此類推，搜索的過(guò)程在圖4 3 中表示。 在對(duì)宏塊進(jìn)行匹配中，匹配區(qū)域的選擇非常重要，匹配區(qū)域選擇的過(guò)大將會(huì) 影響算法的空間復(fù)雜度和時(shí)間復(fù)雜度，而匹配區(qū)域過(guò)小又會(huì)使得算法的準(zhǔn)確程度 下降。為了保證視頻穩(wěn)像系統(tǒng)能夠及時(shí)的完成任務(wù)，因此本文選用運(yùn)算復(fù)雜度較 小且性能相對(duì)較好的半像素級(jí)作為步進(jìn)單位進(jìn)行運(yùn)算。 4 1 4 視頻對(duì)象和背景對(duì)象的確定 在進(jìn)行視頻物體輪廓匹配之后，各個(gè)與用戶指定的物體輪廓相匹配的圖像區(qū) 域都被選定了。由用戶特定輪廓圍起的區(qū)域就是被篩選出的視頻對(duì)象，而從原始 視頻圖像中除去視頻物體之后的部分就是背景對(duì)象。被提取出來(lái)的重要視頻對(duì)象 和背景視頻對(duì)象都被系統(tǒng)分別進(jìn)行存儲(chǔ)和處理。 在一幅視頻圖像中可能有多個(gè)重要視頻對(duì)象，在保存它們的時(shí)候需要保留它 們?cè)谠紙D像中的位置信息。由于各個(gè)視頻物體之間可能存在互相遮擋的情況， 因此系統(tǒng)還要對(duì)視頻對(duì)象進(jìn)行進(jìn)一步處理以更加精確的確定每個(gè)視頻對(duì)象。 對(duì)于整體運(yùn)動(dòng)的視頻對(duì)象來(lái)說(shuō)，即剛體視頻對(duì)象，由于其外形固定，在遮擋 的情況下很少出現(xiàn)匹配不準(zhǔn)的問(wèn)題。而對(duì)于非整體運(yùn)動(dòng)的視頻對(duì)象，即非剛體視 頻對(duì)象，由于非剛體的運(yùn)動(dòng)速度慢，而且不是整體運(yùn)動(dòng)，因此如果兩幀之間對(duì)應(yīng) 視頻對(duì)象的位移較小，則對(duì)于視頻物體的匹配效果會(huì)很差。 本文使用視頻圖像序列中視頻物體邊緣的相關(guān)性來(lái)對(duì)視頻對(duì)象進(jìn)行精確處 理，即利用中間一幀與前一幀和后一幀圖像邊緣重合的區(qū)域作為中間一幀中視頻 對(duì)象的邊緣 3 1 , 3 3 。這種辦法不但能夠解決剛體視頻對(duì)象之間相互遮擋的問(wèn)題，如 堆積在一起的油桶等，也能夠很好的解決非剛體視頻對(duì)象，如人體之間遮擋的問(wèn) 題。 另一方面，由于系統(tǒng)對(duì)于背景視頻對(duì)象的處理程度較低，且背景視頻對(duì)象通 常較重要視頻對(duì)象而言不會(huì)出現(xiàn)相互遮擋的情況，故此僅僅將背景視頻對(duì)象簡(jiǎn)單 保存就可以了。 第四章視頻穩(wěn)像系統(tǒng)的詳細(xì)設(shè)計(jì) 始 建立基準(zhǔn)老塊 搜索基準(zhǔn)宏塊的d 側(cè)宏塊 有豐搜索左塊? 疆j 舀宙話i 瓢 的左下宏塊 y 當(dāng)前搜索生塊還 有左下宏塊嗎? 擅索當(dāng)前搜索右執(zhí) 的下方宏塊 一 n r 甫未搜索宏塊? _ + y 孺女辦女i 甄 的右上老塊 v， 前嬰索址，i ，。z n “j7 k 、 t 1 二覆棼t 啦! n “口， t 圖4 4 搜索視頻對(duì)象模塊流程圖 第四章視頻穩(wěn)像系統(tǒng)的詳細(xì)設(shè)計(jì) 4 2 特征提取與匹配模塊的詳細(xì)設(shè)計(jì) 4 2 1 消除邊緣響應(yīng)點(diǎn) 如前文中所描述的，對(duì)視頻圖像序列中的特征點(diǎn)的提取首先要建立高斯圖像 金字塔和高斯差分金字塔，之后通過(guò)精確定位空間極值點(diǎn)等步驟獲得特征點(diǎn)和特 征點(diǎn)的特征向量。在這一系列運(yùn)算中，對(duì)于空間極值點(diǎn)的定位是重中之重，其結(jié) 果直接影響到特征點(diǎn)提取和匹配算法結(jié)果的精度【3 2 】。由于火場(chǎng)內(nèi)部環(huán)境復(fù)雜，因 此在火災(zāi)現(xiàn)場(chǎng)采集到的原始視頻數(shù)據(jù)中常常有大量的噪聲干擾，這會(huì)使得算法在 計(jì)算過(guò)程中產(chǎn)生大量不穩(wěn)定的邊緣響應(yīng)點(diǎn)，降低算法的性能。 本文采用擬合三維二次函數(shù)來(lái)減少不穩(wěn)定的邊緣響應(yīng)點(diǎn)的數(shù)目，并對(duì)特征點(diǎn) 進(jìn)行精確定位，從而達(dá)到增強(qiáng)算法穩(wěn)定性，提高算法抗噪聲干擾的能力州。本文 中使用的去除邊緣響應(yīng)點(diǎn)的辦法如下【3 2 】： ( 1 ) 首先計(jì)算一個(gè)空間極值點(diǎn)的主曲率，該主曲率通過(guò)一個(gè)二階矩陣求出。 肚匱。d x 蜘y 。 其中d 是上文所述的高斯差分算子。 d 。= d x + l ，y 】+ d x 一1 ，y 一2 d x ，y 】 ( 4 - 2 ) d 。= d x l ，y + 】+ d 【x ，y 一1 - 2 d x ，y ( 4 - 3 ) d n = o 2 5 d x + l ，y + 1 - d x + l ，y - 1 - d x l ，y 1 + d x - l ，y - l 】 ( 4 4 ) ( 2 ) 空間極值點(diǎn)的主曲率與矩陣h 的特征值成正比，令口，盧分別為矩陣h 的最大特征值和最小特征值，令丁( h ) = d 。+ d 。= 口+ ， e ( h ) = d 。d 。- ( d 。) 2 = q 矽，口= 歷，貝0 有： t ( h ) 2 ：! 竺旦：蟛：1 2 型( 4 5 ) 一= 一= = 一= = 一 一? j e o h 、)僅p印2， 其中，當(dāng)口與相等時(shí)立! 蔓的值最小，而隨著y 值的增大立垡也增大。 ( 3 ) 因此，在檢查空間極值點(diǎn)的主曲率是否在閾值y 的范圍內(nèi)，只需要檢驗(yàn) 下列不等式是否成立。 三盟 t o t a l ； 建立特征描述算子 f o r ( i = o ；i o c t v d d a t a 一 i n w l ，d d a t a - r ， d d a t a - c ，f e a t - o r i ，d d a t a 一 s c lo c t v , d ，n ) ； h i s t t o d e s c r ( h i s t ，d ，瑪f e a t ) ； r e l e a s e d e s c r h i s t ( & h i s t ，d ) ； ) ) 建立特征描述算子之后開(kāi)始對(duì)特征點(diǎn)進(jìn)行提取。代碼中i m g 是視頻圖像幀的 指針，f e a t 是特征點(diǎn)集，n 是特征點(diǎn)的數(shù)目。 v o i dd r a w _ f e a t u r e s ( i p l l m a g e 木i m g ，s t r u c tf e a t u r e 宰f e a t ，i mn ) h a tt y p e ； t y p e 決定了特征點(diǎn)的提取方式 本文使用兩種特征點(diǎn)提取方式，一種是由牛津大學(xué)提出的v g g 改進(jìn)算 法，另一種是s i f t 算法原作者d a v i dl o w e 提出的算法。 i f ( ! f e a t ) 如果無(wú)法找到特征點(diǎn) f p r i n t f ( s t d e r r , ”w a r n i n g ：n of e a t u r e st od r a w , sl i n e d n ”) ； 輸出錯(cuò)誤提示信息 r e t u r n ； ) s w i t c h ( t y p e ) 判斷特征點(diǎn)的提取方式 c a s ef e a t u r e o x f d ： d r a w _ o x f d _ f e a t u r e s ( i m g ，f e a t ，n ) ； b r e a k ； c a s ef e a t u r e l o w e ： d r a w _ l o w e _ f e a t u r e s ( i m g ，f e a t ，1 1 ) ； b r e a k ； d e f a u l t ： f p r i n t f ( s t d e r r , ”w a r n i n g ：d r a w f e a t u r e s 0 ：u n r e c o g n i z e df e a t u r e ”t t y p e ，s ，l i n e d n ”) ； b r e a k ； ) 4 3 第五章視頻穩(wěn)像系統(tǒng)的實(shí)現(xiàn) j 至此，特征點(diǎn)提取階段結(jié)束。接下來(lái)要對(duì)提取到的特征點(diǎn)進(jìn)行匹配。在特征 點(diǎn)匹配運(yùn)算中，本文首先讀取視頻圖像序列中前后兩幀圖像的特征點(diǎn)，之后通過(guò) 判斷這些特征點(diǎn)對(duì)應(yīng)的尺度，再對(duì)這些特征點(diǎn)進(jìn)行匹配。 ( i p l l m a g e * i m 9 1 宰i m