（電路與系統(tǒng)專業(yè)論文）基于光流的日側(cè)極光圖像分類研究.pdf

摘要 摘要 極光是太陽風攜帶的高能帶電粒子與地球高空大氣層中的中性氣體碰撞后產(chǎn) 生的地球物理現(xiàn)象。對其形態(tài)和演變的系統(tǒng)觀測可以獲得磁層和日地空間電磁活 動的大量信息，日側(cè)極光是太陽風與地球磁層相互作用產(chǎn)生的電離層蹤跡，更能 反映太陽風磁層在日側(cè)的相互作用，對研究空間天氣和太陽風磁層相互耦合具有 重要意義。 本文分析了極光分類研究的現(xiàn)狀，嘗試通過運動信息對極光圖像和極光圖像 序列進行分類研究。 針對極光圖像的非剛體性質(zhì)，首次把專門針對流體運動的光流算法應(yīng)用到極 光圖像，并根據(jù)極光圖像序列之間位移大的特性提出了多尺度流體光流算法。 針對光流信息冗余度高，提出了用分塊l b p 進行表征光流信息的設(shè)想，用“ 近鄰分類器實現(xiàn)極光圖像分類。在北極黃河站的極光圖像數(shù)據(jù)庫上所做的分類實 驗表明了算法的有效性。 在上述基礎(chǔ)上提出基于光流場特征的極光圖像序列檢測算法。因為圖像序列 具有時間信息，將光流場的l b p 直方圖特征順序連接描述圖像序列，檢測實驗結(jié) 果表明了算法的有效性。 關(guān)鍵字：日側(cè)極光光流特征局部二值模式流體運動 a b s t r a c t a b s t r a c t n l ea u r o r a lp h e n o m e n ai sf o r m e db ys o l a rw i n dc o l l i d e sw i t ht h ea t o m si nt h e u p p e ra t m o s p h e r eo v e rt h ee a r t h t h er e s e a r c ho fs p a t i a ls t r u c t u r ea n dt e m p o r a l e v o l u t i o no ft h ea u r o r a lc a no b t a i nm a n yi n f o r m a t i o no ft h es o l a rw i n d m a g n e t o s p h e r e i n t e r a c t i o na n dt h ep h y s i c so ft h em a g n e t o s p h e r e i o n o s p h e r ei n t e r a c t i o n d a y s i d e a u r o r a li st h ei o n o s p h e r et r a c kg e n e r a t e db yt h es o l a rw i n d m a g n e t o s p h e r ei n t e r a c t i o r t , r e f l e c t st h ei n t e r a c t i o no fs o l a rw i n da n dm a g n e t o s p h e r ei nd a y s i d e i na d d i t i o ni ti so f g r e a ti m p o r t a n c et ot h es t u d yo fs p a c ew e a t h e ra c t i v i t y ，i o n o s p h e r ea n di t sd y n a m i c f e a t u r e s i nt h i sp a p e r ，w ea n a l y s i st h el a t e s ta c h i e v e m e n ti na u r o r a lc l a s s i f i c a t i o n w et r yt o c l a s st h ea u r o r a li m a g e sa n da u r o r ai m a g es e q u e n c e sb vt 1 1 e i rm o t i o ni n f o r m a t i o n a c c o r d i n gt ot h en o n r i g i df e a t u r eo fd a y s i d ec o r o n aa u r o r a , w ep r o p o s e do p t i c a l f l o wf o rt h ef l u i dm o t i o nt oc o m p u t et h e a u r o r a li m a g em o t i o n t h e ni n t r o d u c ea m u l t i r e s o l u t i o ns c h e m ei no p t i c a lf l o wt or e s o r tt h er a p i d l yc h a n g eo fa u r o r a li m a g e a c c o r d i n gt ot h el a r g ed a t ao fo p t i c a lf l o wi n f o r m a t i o n ，w ei n t r o d u c el o c a lb i n a r y p a t t e r na l g o r i t h mb a s eo no p t i c a lf l o wf i l e dp a r t i t i o n t h e n 孫淪tc l a s s i f i e r sa r e e m p l o y e dt or e a l i z et h ec l a s s i f i c a t i o no fa u r o r a f i n a l l yw ed e s i g n e dt h ee x p e r i m e n t so n t h ea u r o r a ld a t af r o mh u a n g h es t a t i o n , t h er e s u l t si l l u s t r a t et h ee f f e c t i v e n e s sa n d f e a s i b i l i t yo ft h ep r o p o s e da l g o r i t h m b a s e do nt h ea b o v ew ep r o p o s e dad e t e c t i o nm e t h o do fa u r o r ai m a g es e q u e n c e s b a s e do nt h eo p t i c a lf l o wf i e l df e a t u r e b e c a u s et h ei m a g es e q u e n c e sw i t ht i m e i n f o r m a t i o n ，w ec o n n e c tt h el o c a lb i n a r yp a t t e r nf p a t u r eo fo p t i c a lf l o wf i e l di nt o d e s c r i b et h ei m a g es e q u e n c e ，t h ee x p e r i m e n t a lr e s u l t si l l u s t r a t et h ee f f e c t i v e n e s sa n d f e a s i b i l i t yo ft h ep r o p o s e da l g o r i t h m k e y w o r d s ：d a y s i d e a u r o r a o p t i c a lf l o wf e a t u r e l o c a lb i n a r yp a t t e r n f l u i dm o t i o n 創(chuàng)新性聲明 本人聲明所呈交的論文是我個人在導師指導下進行的研究工作及取得的研究 成果。盡我所知，除了文中特別加以標注和致謝中所羅列的內(nèi)容以外，論文中不 包含其他人已經(jīng)發(fā)表或撰寫過的研究成果；也不包含為獲得西安電子科技大學或 其它教育機構(gòu)的學位或證書而使用過的材料。與我一同工作的同志對本研究所做 的任何貢獻均已在論文中做了明確的說明并表示了謝意。 申請學位論文與資料若有不實之處，本人承擔一切相關(guān)責任。 本人簽名： 關(guān)于論文使用授權(quán)的說明 本人完全了解西安電子科技大學有關(guān)保留和使用學位論文的規(guī)定，即：研究 生在校攻讀學位期間論文工作的知識產(chǎn)權(quán)單位屬西安電子科技大學。本人保證畢 業(yè)離校后，發(fā)表論文或使用論文工作成果時署名單位仍然為西安電子科技大學。 學校有權(quán)保留送交論文的復印件，允許查閱和借閱論文；學?？梢怨颊撐牡娜?部或部分內(nèi)容，可以允許采用影印、縮印或其它復制手段保存論文。( 保密的論文 在解密后遵守此規(guī)定) 本人簽名：趔日期 。沁小s 導師簽名：鎏幺日期2 翌z 竺：l 立 第一章緒論 第一章緒論 1 1 研究背景及意義 極光是出現(xiàn)在地球南北兩極附近地區(qū)高空中的形狀多變、色彩繽紛、綺麗無 比的現(xiàn)象。長期以來，極光都是人們猜測和探索的天象之謎，愛斯基摩人以為那 是鬼神引導死者靈魂上天堂的火炬。1 3 世紀時，人們則認為那是格陵蘭冰原反射 的光。到了1 7 世紀，人們才稱它為北極光北極曙光( 在南極所見到的同樣的 光稱為南極光) 。但其成因機理一直未能得到滿意的解釋。直到2 0 世紀6 0 年代，現(xiàn) 代科學的發(fā)展將地面觀測結(jié)果與衛(wèi)星和火箭探測到的資料結(jié)合起來，才逐步形成 了極光的物理性描述，現(xiàn)在的理論認為極光是太陽風與地球磁層相互作用產(chǎn)生的 發(fā)光現(xiàn)象。 太陽風( 太陽噴射出的帶電粒子) 是一束可以覆蓋地球的強大的帶電亞原子 顆粒流。太陽風在地球上空環(huán)繞地球流動，以大約每秒4 0 0 公里的速度撞擊地球磁 場。地球磁場形如漏斗，尖端對著地球的南北兩個磁極，太陽發(fā)出的帶電粒子在 進入地球的兩極地區(qū)時就會沿著地磁場這個“漏斗”沉降。兩極的高層大氣中的 中性氣體( 氧原子、氧分子、氮分子等) ，受到太陽風的撞擊后會發(fā)出光芒，形 成極光。極光現(xiàn)象主要發(fā)生在距離地面1 0 0 至u 3 0 0 公里、以南北磁極為中心的橢圓 帶狀區(qū)域中，該區(qū)域被稱為極光卵。由此可見，形成極光的條件是大氣、磁場和 太陽風，缺一不可。長期觀測統(tǒng)計結(jié)果表明，極光最經(jīng)常出現(xiàn)的地方是在南北磁 緯度6 7 度附近的兩個環(huán)帶狀區(qū)域內(nèi)，分別稱作南極光區(qū)和北極光區(qū)。 極光是唯一能夠用肉眼看得見的反映極區(qū)特征的地球物理現(xiàn)象，是極區(qū)日地 物理過程( 特別是磁層電離層相互作用) 的最具有代表性的表現(xiàn)形式，對其形態(tài) 和演變的系統(tǒng)觀測可以獲得磁層和日地空間電磁活動的大量信息，有助于了解空 間天氣過程的變化規(guī)律，并且可以深入研究太陽活動對地球的影響方式與程度。 同時，極光現(xiàn)象是太陽系中有磁星體( 例如木星和土星) 普遍具有的現(xiàn)象，因此 研究地球極光過程可以為其它行星的研究提供基礎(chǔ)，具有十分普遍的科學研究意 義和實際應(yīng)用價值。 由于以上原因，極光研究已成為世界各國極地高空大氣物理研究領(lǐng)域的重要 主題之一，極光的綜合觀測也成為各國極地科學考察活動的重要科考項目。挪威、 瑞典、美國、加拿大等北極圈國家都建設(shè)有各種規(guī)模的地面極光成像觀測系統(tǒng)【l 】， 日本、英國、美國和澳大利亞的南極考察站也建有許多類似的觀測設(shè)備。我國地 處中低緯地區(qū)，開展極區(qū)空間物理觀測的時間比較短。但是自1 9 9 5 年中國南極中 基十光流的目倒楹光圈像分類研究 山站和2 0 0 3 年北極黃河站的高空大氣綜合觀測系統(tǒng)建成以來，我國在這一領(lǐng)域的 研究中己取得了長足的進步。2 0 0 3 年1 1 月，中國黃河站安裝了一套三波段極光全 天空成像系統(tǒng)，該系統(tǒng)由三套配置相同的單色全天空成像觀測儀組成，通過使用 不同的窄帶濾光片，實現(xiàn)在三個波段( 4 2 7g r i m ，5 5 77 r i m 和6 3 00 r i m ) 上的單色極 光觀測( 圖11 ：0 該系統(tǒng)獲取的一組觀測圖像) ，率先在國際上實現(xiàn)了對極光的多 波段、高時空分辨率的全天空觀測。2 0 0 3 年1 2 月至2 0 0 4 年2 月，黃河站的全天空成 像系統(tǒng)進行了首次越冬極光觀測，獲得了1 2 0 0 多個小時的三波段極光觀測圖像。 正常情況下，黃河站的全天空觀測圖像的數(shù)量將以每年一百多萬幀的幅度逐年遞 增，而美國珈拿大聯(lián)合極光觀測項n t h e i v h s t 2 1 每年獲取的全天空圖像數(shù)量更是多 這幾千萬幅。面對如此龐大的數(shù)據(jù)量，如何有效利用和自動分析這些全天空投光 圖像已成為各國極光研究人員亟待解決的問題。本文對極光的研究就是基于中國 北極黃河站的全天空極光觀測圖像中的0 波段極光( 5 5 77 r i m ) 。 ( 吣4 2 7 咖( b ) 5 5 7 ，皿( c ) 6 3 0 , 0 a m 圖11 中國北授黃河站的多波段全天空極光觀測圖像 1 2 極光分類研究進展及現(xiàn)狀 早期的極光分類依據(jù)的大多是靜態(tài)極光照片，而且是建立在肉眼觀察的手工標 記和分類的基礎(chǔ)上。1 9 5 5 年，c a r ls t o r m 爿p 1 將極光分成放射狀結(jié)構(gòu)( f o r m s w i t h r a y s t r u c t u r e ) 、無放射狀結(jié)構(gòu)( f o r m s w i t h o u t r a ys u - u c t u r e ) 以及火焰狀( f l a m i n g a u r o r a ) 三 個大類，同時對這三個大類進行了詳細的劃分，開創(chuàng)了極光分類的先河。1 9 6 4 年， a k a s o f u f 4 l 將極光基于過程分為赤道向擴展、點亮、西行浪涌、赤道向恢復等不同 的類型。1 9 9 9 年，h u 等p 1 將極光分為四個類型來進行分析，分別為具有射線狀結(jié) 構(gòu)的冕狀極光、帶狀極光、極光浪涌以及向日投光弧等。s a n d h o l t 等人舊在特定極 光事件( 長度為2 4 , 時) 分析的基礎(chǔ)上根據(jù)形態(tài)對日倒極光進行了定性的分類。 隨著計算機科學的發(fā)展，圖像處理和模式識別技術(shù)正成為極光分類研究的新 手段。s y l j a s u o 等a 1 7 - 1 0 1 嘗試利用計算機視覺的方法進行極光圖像自動分類和檢索： 第一章緒論 他們首先對加拿大c a n o p u s ( c a n a d i a na u r o r an e t w o r kf o rt h eo p e np r o g r a m u n i f i e ds t u d y ) 項目的全天空極光圖像進行分析后歸納出四種典型極光形態(tài)：弧型 ( a u r o r aa r c s ) ，斑塊型( p a t c h ya u r o r a s ) ，歐米伽型( o m e g a b a n d s ) 和南北結(jié)構(gòu)型 ( n o r t h s o u t hs t r u c t u r e s ) ，然后采用對圖像分割后的極光區(qū)域進行f o u r i e r 描述的方法 來表征極光圖像【3 - 9 1 ，但這種方法僅適用于形狀簡單的弧狀極光的描述；隨后又引 入了基于灰度氛圍矩陣( g r a yl e v e la u r am a t r i c e s ) t 1 1 】的圖像紋理描述方法，大大提 高了分類正確率。但是，s y r j 瓠u o 等人的工作只是基于視覺觀察的經(jīng)驗分類結(jié)果， 而且是在很小的極光數(shù)據(jù)集的基礎(chǔ)上進行的，所得到的結(jié)果對于圖像表征和分類 算法的推廣能力并沒有進行驗證。w a i l g 等【1 2 】于2 0 0 7 年提出基于表象的極光分類方 法研究，使用主成分分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) t 1 3 - 1 4 j 直接提取極光圖 像的灰度特征，取得了的極光研究的一定進展。 上述研究都是基于極光圖像的靜態(tài)形態(tài)分類，對于極光圖像運動信息分析以 及根據(jù)運動信息進行分類的研究還很少。上述研究的極光圖像分析所用的亮度、 形狀、紋理等特征只能表示空間靜態(tài)信息，卻忽略了運動信息，而極光動態(tài)過程 與其物理發(fā)生機制有著密切的關(guān)系，基于典型極光事件的極光動態(tài)過程分析是極 光物理研究的重要方法。b l i x t 【1 5 】第一次將光流法( o p t i c a lf l o w ) t 1 睨0 1 用于極光圖像 序列分類，具有一定的意義。但b l i x t 采用的計算極光圖像序列的光流場的方法， 是基于傳統(tǒng)的h o r n s c h u n c k 光流場計算方法改進而來的，并不適合具有非剛體性質(zhì) 的極光圖像，另一方面b l i x t 只是做了兩段特定的極光圖像序列的分析，并沒有應(yīng) 用模式識別技術(shù)做大量數(shù)據(jù)的統(tǒng)計分析。目前國內(nèi)外還沒有基于極光圖像運動信 息進行極光圖像統(tǒng)計分析和分類及對極光圖像序列進行極光動態(tài)過程統(tǒng)計分析和 分類的研究報道。 本文結(jié)合國家自然科學基金項目“基于全天空圖像的日側(cè)極光分類方法研 究 ，針對我國北極黃河站高分辨率的多波段全天空極光觀測圖像，綜合應(yīng)用圖 像處理和模式識別技術(shù)，研究基于極光圖像運動信息的統(tǒng)計分類方法。其分類主 要依據(jù)中國極地研究中心對北極黃河站的極光觀測圖像進行的分析，中國極地研 究中心的研究成果如下： 中國極地研究中心對北極黃河站的極光觀測圖像進行了初步分析【2 1 1 。目前所 采用的分析方法為：對于每一波段的全天空極光圖像，抽取每一幀極光圖像中沿 地磁南北方向上的磁子午面極光強度數(shù)據(jù)，以世界時( u t ) 時間為序列，排列成極 光活動圖( k e o g r a m ) 。初步分析結(jié)果表明，日側(cè)極光卵主要存在五個重復出現(xiàn)的具 有明顯不同特征的極光活動區(qū)，分別為午前極光弧區(qū)( 0 5 3 0 - 0 6 3 0 u t ) 、帷幔冕狀極 光區(qū)( 0 6 3 0 0 9 0 0 u t ) 、放射冕狀極光區(qū)( 0 9 0 0 1 0 0 0 u t ) 、熱點冕狀極光區(qū) ( 1 0 0 0 1 2 3 0 u t ) 、午后極光弧區(qū)( 1 2 3 0 1 4 0 0 u t ) 。 盡管k e o g r a r n 羽在一定程度上可以反應(yīng)出極光卵在地磁緯度上的活動變化，不 4 基于光流的日側(cè)極光圖像分類研究 同波段上極光強度的時空變化，以及極光卵的光譜變化，但是并沒有充分利用全 天空極光觀測圖像的全部信息，不能反映出極光的形態(tài)特征。隨后結(jié)合各個極光 活動區(qū)域的極光形態(tài)特點進一步分析表明，黃河站觀測到的極光形態(tài)可以分為兩 大類：弧狀和冕狀，每個大類可以進一步細分成不同子類。根據(jù)目前經(jīng)驗，弧狀 極光可細分為單弧、多重弧和南北弧等類型；冕狀極光可細分為輻射型、帷幔型 和極光熱點等類型。弧狀極光是最為常見的極光形態(tài)，持續(xù)時間從幾分鐘到幾個 小時不等，總體上講，極光弧上極光強度分布比較均勻，極光弧比較穩(wěn)定，但是 當?shù)卮呕顒觿×視r，極光弧會出現(xiàn)大的扭曲、褶皺、彎曲和渦旋結(jié)構(gòu)?；顦O光 的形態(tài)特征和發(fā)生機理已相對比較清楚， 模型和動態(tài)物理模型進行三維極光模擬， 像。 b a r a n o s k i 等人利用弧狀極光的統(tǒng)計形狀 可以生成具有較強真實感的模擬極光圖 形狀復雜多變的冕狀極光概念由中國極地研究中心楊惠根博士瞄】于2 0 0 0 年首 次提出，他利用南極中山站的全天空電視攝像數(shù)據(jù)對午后極光進行概要統(tǒng)計，第 一次用地面觀測數(shù)據(jù)證實了衛(wèi)星探測發(fā)現(xiàn)的磁地方時1 5 0 0 m l t 附近的“極光熱點 和0 9 0 0 m l t 附近的“午前極光峰 ；同時發(fā)現(xiàn)，衛(wèi)星觀測所謂的1 2 0 0 m l t 附近的 “正午空白區(qū) 一說并不成立，這個區(qū)域是一種強度較弱、形態(tài)多變、移動迅速 的極光的高發(fā)區(qū)，并將這種極光命名為日側(cè)冕狀極光( d a y s i d ec o r o n a ) 。冕狀極光往 往成片出現(xiàn)，帶有隨機出現(xiàn)或消失的小尺度分離結(jié)構(gòu)，這些結(jié)構(gòu)具有射線狀、塊 狀、帷幔狀特征，它們的形狀、位置和亮度變化非常迅速。由于極光現(xiàn)象的南北 極共軛對稱特性，北極黃河站也同樣觀測到大量的冕狀極光現(xiàn)象，在正午 ( 1 2 0 0 m l t ) 前后都有發(fā)生。 中國極地研究中心最近的研究成果表明極光圖像可以分為兩大類、四小類， 分為兩大類時第一類是弧狀( a r e ) 極光、第二類為冕狀極光。分為四小類時把冕狀 極光又細分為三小類分別是帷幔冕狀( d r a p e r y ) 極光、放射冕狀( r a d i a l ) 極光、熱點 冕狀( h o t s p o t ) 極光。四小類分法也是本文研究極光圖像分類的依據(jù)，圖1 2 為四類 極光的典型形態(tài)。 圖1 2 ( a ) 為弧狀極光，其主要特征為經(jīng)度方向上( 東西向) 拉伸，南北跨度窄 的分立極光弧，射線結(jié)構(gòu)不明顯。其特點是輪廓明顯，弧間很干凈，趨勢穩(wěn)定。 圖1 2 ( b ) ，( c ) ，( d ) 為冕狀極光，其主要特征為具有射線狀結(jié)構(gòu)。 其中圖1 2 ( b ) 為d r a p e r y 極光，其主要特征是射線結(jié)構(gòu)明顯，并且呈東西向的多 層排列特征，極光圖像背景存在“雜點”。特點是平穩(wěn)，區(qū)域分布多，存在射線 狀結(jié)構(gòu)，輪廓不清晰，強度均勻。 圖1 2 ( c ) 為r a d i a l 極光，其主要特征是射線結(jié)構(gòu)明顯從中心指向各個方向。特 點是爆炸型，菊花型，射線方向強調(diào)四周。 圖1 2 ( d ) 為h o t s p o t 極光，其主要特征是射線狀的分立冕狀極光和不規(guī)則區(qū)域的 第一章緒論 極光強度增強( 渦旋，斑塊) 以及類似弧狀的分立極光的混合形態(tài)。特點是一束 亮斑，冕狀的強度斑，變化快，連續(xù)兩幀亮度突變，熱點有東西向。 圈12 日側(cè)板光典型圖像：( 時弧狀極光c a r e ) ：( b ) 椎幢冕狀( d r a p c r y ) 極光 0 ) 放射冕抗( r a d i m ) 極光；u 熱點冕狀呻。姊眥) 極光 本文針對目前國內(nèi)外的研究現(xiàn)狀，結(jié)合中國極地研究中心的最新研究成果， 采用光流法研究極光圖像運動信息，希望運動信息能作為靜態(tài)空間信息的有利補 充來實現(xiàn)對極光圈像更加精確的分類。主要研究極光圖像運動信息計算、運動信 息特征提取以期通過運動信息來實現(xiàn)對極光圖像以及極光圖像序列分類檢測。 但是從前面的分析也可以看到極光圖像形態(tài)復雜、變化多樣，要想精確的計算其 運動信息是非常困難的，但本文仍是有益的可貴的嘗試，并得到了不錯的結(jié)果， 為以后的研究提供了基礎(chǔ)。 1 3 論文的研究內(nèi)容及安排 本文結(jié)合國家自然科學基金項目4 基于全天空圖像的日側(cè)極光分類方法研 究”，針對我國北極黃河站高分辨率的多波段全天空授光觀測圖像，綜合應(yīng)用圖 6基于光流的日側(cè)極光圖像分類研究 像處理和模式識別技術(shù)，研究基于極光圖像運動信息的統(tǒng)計分類方法。目前國內(nèi) 外還沒有基于大量連續(xù)觀測的日側(cè)極光數(shù)據(jù)進行極光運動信息統(tǒng)計分析和分類的 研究報道。本文研究成果不僅可以用于驗證現(xiàn)有經(jīng)驗分類結(jié)果，發(fā)現(xiàn)新的極光模 式，為進一步研究極光發(fā)生機制及其與磁層邊界層動力學過程的對應(yīng)關(guān)系也將有 極大的促進作用。 本文的主要研究內(nèi)容如下： 針對極光圖像的非剛體性質(zhì)，首次把專門針對流體運動的光流算法應(yīng)用到極光 圖像，并根據(jù)極光圖像序列之間差異大的特性引入了多尺度流體光流算法。 針對光流信息冗余度高，提出了用分塊l b p 進行表征光流信息的設(shè)想，用k 近鄰分類器實現(xiàn)極光圖像分類。在北極黃河站的極光圖像數(shù)據(jù)庫上所做的分類實 驗表明了算法的有效性。 在上述基礎(chǔ)上提出基于光流場特征的極光圖像序列檢測算法。因為圖像序列 具有時間信息，將光流場的l b p 直方圖順序連接描述圖像序列，檢測實驗結(jié)果表 明了算法的有效性。 本文的內(nèi)容安排如下： 第一章介紹極光分類的研究背景和研究現(xiàn)狀，主要包括圖像模式識別技術(shù)和 計算機技術(shù)在極光圖像分類研究中的應(yīng)用，中國極地研究中心最近的研究成果。 第二章介紹光流場技術(shù)的基本理論，光流場和運動場的關(guān)系，光流場計算方 法分類，隨后著重介紹了基于梯度方法，并給出了兩種經(jīng)典的梯度方法。最后針 對極光圖像序列之間變化大等特性，引入了多尺度微分光流方法模型。 第三章針對第二章中的光流算法的缺陷，本章采用流體連續(xù)性方程建模得到 光流約束方程，并采用散度旋度正則化保持了極光圖像的散度旋度。由于光流場 的高冗余性，隨后介紹了l b p 特征提取方法，并在此基礎(chǔ)上構(gòu)建逝鄰( 七n e a r e s t n e i g h b o r , k - n n ) 分類器進行極光圖像分類。 第四章介紹圖像序列分析方法，采用均勻序列方法進行設(shè)計極光圖像序列分 類實驗。 第五章全面總結(jié)本文研究成果以及存在的不足，指出后續(xù)研究工作的方向及 該領(lǐng)域研究的發(fā)展趨勢。 第二章光流場計算方法 7 第二章光流場計算方法 光流的概念是g i b s o n 于1 9 5 0 年首先提出來的，光流是指圖像中灰度模式運動 速度。物體在光源照射下，其表面的灰度呈現(xiàn)一定的空間分布，稱之為灰度模式。 當人的眼睛觀察運動物體時，物體的景象在人眼的視網(wǎng)膜上形成一系列連續(xù)變化 的圖像，這一系列連續(xù)變化的信息不斷“流過 視網(wǎng)膜( 即圖像平面) ，好像是一 種光的流，故稱為光流。 光流法己經(jīng)成為圖像運動估計的主要技術(shù)，在極光圖像運動信息分析中應(yīng)用 光流是值得深入研究的。本章首先介紹了光流場的基本概念，并對光流場與運動 場關(guān)系做了討論，接著介紹了光流場計算方法分類，隨后著重介紹了基于梯度計 算方法，并針對極光圖像的特殊性引入了多尺度微分光流方法。 2 2 光流場 光流對應(yīng)于瞬時的像素速度矢量，而定義了光流函數(shù)的二維圖像坐標平面域 稱為光流場。所以光流場是一種二維瞬時像素速度場，其不僅包含了被觀察物體 的運動信息，而且攜帶有光景物三維結(jié)構(gòu)的信息，因此對光流場的研究一直被視 為是解決運動分析的有效途徑之一。 2 2 1 光流場與運動場 從光流場的定義可以看出光流場表征了運動場，但光流場并不等同于運動場。 任何空間的物體可由一個三維速度場來表示其運動，三維速度場在二維圖像平面 的投影，構(gòu)成了二維速度場即運動場。當物體運動時，在圖像上對應(yīng)物體的亮度 模型也在運動。光流場指的則是圖像灰度模式的表觀運動。使用“表觀運動”這 個概念的主要原因是光流無法由運動圖像的局部信息唯一地確定。比如，亮度比 較均勻的區(qū)域或亮度等值線上的點都無法唯一地確定其點的運動對應(yīng)性。 物體的空間運動投影到成像平面，如果給圖像中的每個像素點賦予一個速度 矢量，就形成了圖像運動場( m o t i o nf i e l d ) 。物體的運動一般會導致圖像灰度的變化， 而二維圖像灰度變化的原因是多種多樣的，主要有以下幾種： ( 1 ) 景物本身發(fā)生了變換：物體發(fā)生了變形( 擴大或縮小) 或運動( 旋轉(zhuǎn)、平 基于光流的日側(cè)桎光圈像分類研究 移) ； ( 2 ) 攝像頭與景物發(fā)生了相對運動：攝像頭的平移、旋轉(zhuǎn)使圖像內(nèi)容發(fā)生了改 變： ( 3 ) 照度變換：照射景物的光源發(fā)生變換導致物體亮度改變： “) 上述幾種情況的組合。 運動可能導致灰度的時變。然而灰度的時變卻不一定就是由運動引起的。照 度和環(huán)境光反射的改變同樣會引起灰度的對變。 q 二 附 圖2l 光流場與運動場示意圖 在理想情況下，光流場等于運動場，但這一命題在某些情況是不成立的。如 圖21 所示是一個質(zhì)地非常均勻的球體，由于球的表面是曲面，因此在某個光源的 照射下，亮度呈現(xiàn)一定的空間分布或明暗模式。圖21 ( a ) 所示，當球體在攝像機前 圍繞中心軸旋轉(zhuǎn)時，明暗模式并不隨著表面運動而變純，所以圖像沒有變化，此 時球體上任意地方的光流為零，然而運動場卻不等于零。圖2 1 徹所示，球體沒有 運動而是光源在動，則球體的明暗模式將醚光源運動，此時的球體的先流場為不 為零，而球體的運動場卻為零。一般情況下，可以認為光流場和運動場沒有區(qū)別， 因此允許根據(jù)圖像運動來估計相對運動。 2 2 2 光流場計算方法 光流場的計算最初是由h o m 和s c h u n c k 【l o 于1 9 8 1 年提出的，它是一種以平滑 約束假設(shè)和亮度恒定約束假設(shè)為基礎(chǔ)的求解運動信息的有效方法。在序列凰像中 光流通常被描述成圖像灰度模式的表觀運動，光流為3 d 速度場估計、物體運動分 析、圖像分割、估計3 d 照相機的運動參數(shù)、恢復圖像中物體的3 d 結(jié)構(gòu)等提供很 重要的信息。因此在其后的2 0 多年里出現(xiàn)了很多新思想、新方法這些方法可以 大概的分為四類：基于梯度方法( 微分法) 、基于區(qū)域方法( 匹配法) 、基于能量 方法( 能量法) 、基于相位方法( 相位法) 。近年來結(jié)構(gòu)張量方法受到了越來越多 學者的重視。 基于梯度的方法又稱為時空梯度法，也稱微分法，它是利用圖像序列灰度的 第二章光流場計算方法 9 時空微分( 即時空梯度函數(shù)) 來計算圖像上每一像素點的光流。由于計算簡單和 較好的效果，該方法得到了廣泛應(yīng)用和研究。典型的代表是h o r n s c h u n c k 的光流 計算方法，該方法在光流基本約束方程的基礎(chǔ)上附加了全局平滑假設(shè)，從而計算 出光流場?；诖怂枷?，大量的改進的算法不斷提出。n a g e l t l 7 】采用有條件的平滑 約束，即通過加權(quán)矩陣的控制對梯度進行不同平滑處理；b l a c k 和a n a n d a n l l 8 針對 多運動的估計問題，提出了分段平滑的方法。雖然很多基于梯度的光流估計方法 取得了較好的光流估計，但是由于在計算光流時涉及到可調(diào)參數(shù)的人工選取、可 靠性評價因子的選擇困難，以及預處理對光流計算結(jié)果的影響，在應(yīng)用光流對目 標進行實時檢測與自動跟蹤時仍存在很多問題。 上述算法能夠得到相當精確的光流，但這種技術(shù)存在缺陷。首先，圖像灰度 的一致性假設(shè)對于許多真實圖像序列都不合適，在圖像的遮擋邊緣處或當運動速 度較高時，基于灰度一致性假設(shè)的基本等式存在著較大誤差。其次，采用微分技 術(shù)求灰度值沿五舅t 三個方向的偏導數(shù)，這意味著需對圖像數(shù)據(jù)進行時空預平滑 以避免混疊效應(yīng)，如果處理不當，會對最終的光流估計產(chǎn)生不良影響。 基于區(qū)域方法1 1 9 1 實質(zhì)上是在圖像序列的順序圖像對之間實施一種對應(yīng)，因而 它也叫匹配法。它將光流定義為使得不同時刻圖像區(qū)域之間產(chǎn)生最佳擬合的位移。 給定兩幀順序圖像，對于其中一幀圖像中的每個像素點伍，以此像素點為中心 形成一個大小為口甩+ 肜口行+ d 的相關(guān)窗口。圍繞令一幀圖像中的對應(yīng)像素點似 建立一個尺寸為口行+ 川口”+ 的搜索窗口，搜索范圍可根據(jù)兩圖像間最大可能位 移的先驗知識來確定，因此可以快速搜索到最大相關(guān)或最小誤差的匹配位置。 對于這種匹配方法，有幾個問題值得討論，首先在特征選取以及搜索范圍給 定方面都需要有先驗知識，如果先驗知識不準確將會對最后的光流估計造成嚴重 影響，其次基于特征的這種方法忽略了大量的運動信息。因此基于匹配的方法雖 然計算簡單，但是計算精度不高。 基于能量的方法有先要對輸入圖像序列進行時空濾波處理，這是一種時間和 空間整合。由于速度調(diào)諧濾波器是在f o u r i e r 域中設(shè)計的，因而這類技術(shù)也稱為基 于頻率的方法。對于均勻的流場，要獲得正確的速度估計，這種時空整合是非常 必要的。然而這樣做會降低光流估計的空間和時間分辨率。尤其是當時空整合區(qū) 域包含幾個運動成分( 如運動邊緣時) ，估計精度將會惡化。此外，基于能量的光 流技術(shù)還存在高計算負荷的問題。此方法涉及大量的濾波器，目前這些濾波器是 主要的計算消費。然而，可以預期，隨著相應(yīng)硬件的發(fā)展，在不久的將來，濾波 將不再是一個嚴重的限制因素，所有這些技術(shù)都可以在幀速下加以實現(xiàn)。 時空能量方法是基于生物視覺系統(tǒng)而提出的運動感知模型，它模擬了生物視 覺通路上視覺皮層細胞感受野的時空特性，因此有一定的生物合理性。 f l e e t 和j e p s o n l 2 0 1 ，首次從概念上提出了相位信息用于光流計算的問題。因為 l o 基于光流的日側(cè)極光圖像分類研究 速度是根據(jù)帶通濾波器輸出的相位特性確定的，所以稱為相位法。他們根據(jù)與帶 通速度調(diào)諧濾波器輸出中的等相位輪廓相垂直的瞬時運動來定義分速度。帶通濾 波器按照尺度、速度和定向來分離輸入信號。 基于相位的光流技術(shù)的綜合性能是比較好的：速度估計比較精確且具有較高 的空間分辨率，對圖像序列的適用范圍也比較寬。同時，這里仍有幾個問題值得 討論：首先，與基能量的光流技術(shù)一樣，基于相位的模型既有一定的生物合理性， 又有較高的計算復雜性；其次，盡管相位技術(shù)用兩幀圖像就可以計算光流，但要 獲得足夠的估計精度，就必須有一定的整合時間，這個延遲將會降低邊緣處運動 估計的時間分辨率；最后基于相位的方法對輸入圖像序列的時間混疊比較敏感。 除了以上方法之外，結(jié)構(gòu)張量法因為其對噪聲不敏感的特性也受到了越來越 多的關(guān)注，另外專門針對流體運動提出的新的光流方法【2 3 】應(yīng)用也很廣泛，這種方 法基于流體連續(xù)性方程，相比傳統(tǒng)方法更適合于流體圖像光流場計算。 2 2 3 光流場的基本等式 在眾多的光流場計算方法中應(yīng)用比較廣泛的方法有基于梯度方法( 微分法) 、 基于區(qū)域方法( 匹配法) ，基于梯度方法基于圖像灰度變化，直接從灰度中估計光 流，可以獲得盡量多的圖像速度場信息；基于區(qū)域方法基于景物特征，利用能直 接確定唯一矢量的特征來計算光流，此方法結(jié)果取決于特征的選擇，會丟掉很多 信息。極光圖像形態(tài)多樣，結(jié)構(gòu)復雜，沒有突出的特征點并且特征點難于選取， 并不適合用基于區(qū)域方法求解。相比之下基于梯度的方法能獲得大量的圖像運動 信息，雖然會造成較高的冗余信息，但在后面加上特征提取的步驟完全可以避免， 只是計算代價較高。 基于梯度的方法，它根據(jù)圖像灰度對時間和空間的導數(shù)來得到的，因此假設(shè) 圖像區(qū)域在時間和空間上連續(xù)的，或者是可導的。這個關(guān)系被稱為基本等式，它 構(gòu)成了光流計算的一個重要約束。1 9 8 1 年h o r n 和s c h u n e k 首次提出了計算光流場 的基本等式。考慮一個圖像序列，它的亮度用鰍彭0 來表示。假定在時刻f 的一 個像素點化糾在時刻f + 出移動到點伍+ d x , y + d y ) 。若間隔時間出足夠小，根據(jù)上文 提出的恒定亮度假設(shè)，可以認為物體在不同時刻的圖像具有相同的灰度，因此： e ( x + d x ，y + d y ，t + d t ) = e ( x ，y ，r ) ( 2 1 ) 當毗幽d t 很小時，應(yīng)用泰勒展開公式左邊有： e ( 毛y ，r ) + 蕓妄+ 等等+ 詈+ 。( 確= e ( ) ( 2 - 2 ) 其中o ( a 2 ) 是關(guān)于武咖西的二階和二階以上的項，可以略去。上式兩邊相互 第二章光流場計算方法 抵消之后得到： 一8 e “+ 絲v + 絲：0 蘇 砂 西 上式即為空間和時間梯度與速度分量之間的關(guān)系：可簡寫為 e + e 七e t = 0 ( 2 - 3 ) ( 2 _ 4 ) 或?qū)懗墒噶啃问?v e v + 層= 0 ( 2 5 ) 其中巨，e 。，巨分別為圖像中像素點似的灰度值e 伍另砂沿五男，三個方向的 偏導數(shù)。v e = ( e ，毛) 為圖像灰度的空間梯度，v = ( 材，v ) 7 為光流。 基本等式是e ，e ，巨，與光流v = ( “，v ) 7 之間的約束關(guān)系。光流有兩個變量， 基本等式只有一個方程，因此只能求出光流沿梯度方向的值，不能求出兩個分量u 和1 ，。因此利用基本等式求解光流是一個不適定問題，這將在下- - d , 節(jié)介紹。 2 2 4 運動估計的不適定問題 前面對光流估計的原理進行了介紹，同時給出了光流估計的基本假設(shè)公式。 光流估計的基本假設(shè)在缺乏附加約束的情況下，僅依據(jù)于兩幀圖像進行光流的二 維運動估計問題是一種不適定的問題。二維光流估算具有解的存在性，解的唯一 性和解的連續(xù)性等問題： ( 1 ) 解的存在性：即遮擋問題，覆蓋和顯露的背景像素不能建立對應(yīng)關(guān)系。 ( 2 ) 解的唯一性：如果每一個像素的位移( 或速度) 分量被當作獨立分量，那 么未知量的個數(shù)是已知量的兩倍，這將導致“孔徑”問題。 ( 3 ) 解的連續(xù)性：運動估算對圖像中出現(xiàn)的噪聲是非常敏感的，一個極小的噪 聲也可能引起運動估計中很大偏差。 對于不存在唯一的解或不連續(xù)的解，主要依賴于圖像數(shù)據(jù)。實際的計算過程 中主要體現(xiàn)為“遮擋問題 和“孔徑問題 以及“對應(yīng)問題 。下面分別詳述這幾 種問題： 孔徑問題：孔徑問題即解的唯一性問題。問題產(chǎn)生的根本原因是基本等式中 未知數(shù)的個數(shù)是方程個數(shù)的兩倍，且未知數(shù)之間相互獨立。這樣的方程有無窮多 解。如圖2 2 所示，表面光滑的物體以速度v 向右運動。在孔徑a 處，其中包含了 真正的二維結(jié)構(gòu)，這樣孔徑中的運動矢量的兩個分量才可以可靠的估計。如果從 1 2 基于光流的日側(cè)極光圖像分類研究 孔徑c 觀察物體的運動，那么孔徑中觀察的運動v 可能是任意的一個方向，但只 有亮度梯度方向( 垂直于物體邊緣) 的運動分量可以被可靠的估計出來。孔徑b 處由于紋理與運動方向一致所以這里不存在光流，也無法估計出它的光流場。同 理孔徑d ，在運動物體內(nèi)部，由于物體表面光滑無法估計物體的運動。 圖2 2 孔徑問題不意圖 從以上的分析中可以看出為了盡量避免孔徑問題，可以盡量擴大觀察孔徑， 使得盡可能多的包含運動信息。但同時過大的觀察孔徑中更可能包含多個運動物 體，產(chǎn)生了許多運動估計計算難以解決的問題。這一問題被j e p s o n h 和b l a c k 稱為 不適定孔徑問題。 遮擋問題：遮擋問題即解的存在性問題，是運動物體與背景的覆蓋( o c c l u d e d r e g i o n ) 、顯露( u n c o v e r e dr e g i o n ) n 題，由運動物體的平移、縮放等因素所引起。由 于被顯露、覆蓋的背景像素無法為它們建立對應(yīng)，即無法計算合適的光流，此時 運動估計是無解的。 對應(yīng)問題：所觀察到的或者說是估算出來的運動其實與真實的運動是不同的。 特別是當一個區(qū)域擁有光滑的結(jié)構(gòu)或呈周期性變化的結(jié)構(gòu)，此時很難估算出幀間 的信息是如何相關(guān)的，即難以找出兩幀之間光流所對應(yīng)的點。 2 3 基于梯度方法 光流場計算的微分法分為全局方法和局部方法。全局方法能夠得到1 0 0 的致 密的光流場，而局部方法大多數(shù)只能得到稀疏的光流場，但是局部方法在噪聲情 況下具有更好的魯棒性。全局方法中，h o r n 和s c h u n c k 利用光流對時間和空間的 偏導構(gòu)成光流約束方程，并附加速度場整體平滑約束，得到一組有關(guān)速度的迭代 方程組，最后用高斯西塔迭代法求得一個致密的光流場。局部方法中，l u c a s 和k a n a d e 2 4 j 在當前像素點的鄰域內(nèi)，通過對鄰域內(nèi)各點按某一特定窗口函數(shù)，進 行加權(quán)平方求和，并求其極小值來估計光流速度。 第二章光流場計算方法 如果違背了亮度恒常性和速度平滑性假設(shè)，那么光流計算就會出現(xiàn)錯誤。不 幸的是，在實際圖像中，這種違背情況是相當常見的。典型的是，光流在如下情 況下會發(fā)生劇烈的變化：高紋理區(qū)域、在移動邊界周圍、深度不連續(xù)處等等。光 流計算的全局松弛方法的主要優(yōu)點是能夠全局性地傳播局部約束性。可是不但約 束性信息而且所有的光流估計誤差在解中都被傳播開了。所以在光流場中即使是 很少數(shù)量的問題區(qū)域也會造成誤差的廣泛的分布和糟糕的光流估計。 由于全局誤差傳播是全局光流計算方案的最大問題，所以作為對該困難的自 然的解決方案，局部光流估計就應(yīng)運而生了。局部估計是基于同樣的亮度和平滑 性假設(shè)，其思想就是將圖像分割成假設(shè)成立的小區(qū)域。這就解決了誤差傳播的問 題，但是另外一個問題也就出現(xiàn)了一在空間梯度發(fā)生緩慢變化的區(qū)域中，光流估 計變成一個病態(tài)問題，因為缺少運動信息，它不能被正確的檢測出來。如果全局 方法被應(yīng)用于這個相同區(qū)域，即使它自身的局部信息并不充分，來自鄰近圖像區(qū) 域的信息也會傳播過來并構(gòu)成其光流計算的基礎(chǔ)。這種對比的結(jié)論就是，在約束 共享中信息的全局共享是有益的，但是對于誤差傳播它是有害的。 處理平滑違背問題的一個方法就是檢測遵守平滑性約束的區(qū)域。h o r n 和 s c h u n k 的文獻中介紹了兩種啟發(fā)式方法來確定鄰近約束性方程，它們在流值( f l o w v a l u e ) 方面存在很大的不同。主要的問題就是閾值的選擇，以確定哪個流值差別應(yīng) 該被當作是實質(zhì)性的一如果閾值設(shè)得太低，那么就有許多點被認為是位于沿著流 值的不連續(xù)區(qū)域；如果閾值設(shè)得太高，一些違背了平滑性約束的點仍然被作為計 算網(wǎng)的一部分。平滑子網(wǎng)之間的邊界不是封閉的，它們之間的通路是存在的，誤 差傳播問題沒有得到解決。 k e a m e y 介紹了一個對誤差進行連續(xù)調(diào)整地方法。正如使用基本的全局松弛方 法，通過將局部平均流向量和信度約束方程相結(jié)合迭代的確定光流。然而不同的 是，對每個流向量基于正確性的啟發(fā)式判斷賦予了一個置信度，并通過置信度進 行加權(quán)平均來計算局部平均流向量。這樣就阻止了帶有誤差的估計傳播。 2 3 1h o r n s c h u n c k 方法 h o r n 等人在相鄰圖像的間隔時間很短，圖像灰度變化很小的前提下，導出了 灰度圖像光流場計算的基本等式： e 一專e + e t = 0 或?qū)懗墒噶啃问?v e v + e = 0 前面已經(jīng)提過基本等式不適定問題，為求解v 的兩個分量，必須附加另外的約 1 4 基于光流的日側(cè)極光圖像分類研究 束條件。在許多情況下觀察物體的速度矢量是局部平滑的，u 和，隨著像素點以糾 的改變而緩慢變化，在局部區(qū)域變化足夠小。特別地，在目標作無變形剛體運動 時，相鄰像素點具有相同的運動速度，此時在局部區(qū)域速度的空間變化率為零。 h o r n 將基本等式和光流場整體平滑約束組合在一起求解光流v = ( “，v ) 。，得到了一 個“稠密 的光流場。h o m 附加約束條件的基本思想是要求光流本身盡可能平滑， 即引入了對光流的平滑性約束使平滑約束項極小化。即極小化 e = ( 黔斟懵硝卜 仁6 ， e = f j ( e 甜+ e ，1 ，+ 巨) a x a y ( 2 7 ) 這樣求光流場就轉(zhuǎn)化為求全局能量泛函，的最小化問題，f 如下式所示。 嘲慢= 扣坶訓2 + 口餅緇餅 2 姍 其中a 是一參數(shù)，反映了對圖像數(shù)據(jù)及約束條件的可信度，它是上述兩種誤 差( 一種是偏離光滑性要求的誤差晟，另一種是偏離基本等式的誤差e ) 之間的 權(quán)重。當圖像數(shù)據(jù)本身含有較大的噪聲時，原始圖像數(shù)據(jù)的可信度較低，需要更 多地依賴光滑性約束條件，這時口應(yīng)該選取較大的值；反之，當圖像數(shù)據(jù)的測量 是精確的，則偏離基本等式的