（信號與信息處理專業(yè)論文）基于agent的多目視覺人臉特征提取.pdf

北京交通大學碩士學位論文中文摘要 中文摘要 摘要：人臉識別技術是當前模式識別和人工智能領域一個重要的研究課題，它的研 究跨越了圖像處理，模式識別，計算機視覺和人工神經(jīng)網(wǎng)絡等等學科。隨著計算機技術 的快速發(fā)展與商業(yè)和軍事等應用領域的需求，關于人臉識別技術的研究將會不斷的深入 和完善，在未來將會應用到日常生產(chǎn)生活的各個方面。 人臉特征提取是人臉識別中復雜且極具挑戰(zhàn)性的環(huán)節(jié)，對人臉的識別率起著至關重 要的作用。傳統(tǒng)的人臉特征提取方法由于受到光照，姿態(tài)等復雜環(huán)境的干擾，識別率會 產(chǎn)生一定的影響。在最近的研究發(fā)展中，提出了許多具有較強魯棒性的人臉特征提取方 法，但大部分都是從矩陣算法角度去改善特征提取的效果來提高識別率。本文研究的重 點是利用多目視覺在感知階段最大程度地獲取人臉的信息，并通過構建一個a g e n t 框架 對多目視覺進行調(diào)度和控制來實現(xiàn)提取出比較好的人臉特征。本文做的工作主要有： ( 1 ) 對傳統(tǒng)的人臉特征提取方法進行深入地探討，主要研究了基于a s m 的特征提取方 法，并對其經(jīng)典算法進行實現(xiàn)，通過實驗總結(jié)這種算法的優(yōu)點和弊端。 ( 2 ) 提出了一種利用多目視覺解決因為角度和姿態(tài)等原因引起的人臉信息匱乏的方 法，利用多個攝像機從不同的角度去感知人臉的環(huán)境，極大豐富了所得到的人臉 信息，為下一步人臉特征提取奠定基礎。 ( 3 ) 提出了一種基于a g e n t 的多目視覺人臉特征提取框架。利用a g e n t 的協(xié)作性和智 能性對每個攝像頭進行代理，每個a g e n t 通過感知環(huán)境得到要代理的人臉姿態(tài)的 參數(shù)，并對環(huán)境進行反應，通過一定的規(guī)則計算出人臉姿態(tài)參數(shù)，而多個a g e n t 之間通過競爭機制去成為最優(yōu)的人臉姿態(tài)目標，由最優(yōu)的人臉姿態(tài)圖像得到最終 的人臉特征，從而滿足整個a g e n t 系統(tǒng)對人臉特征較好提取的要求。 ( 4 ) 用多目視覺系統(tǒng)采集多組人臉圖片，利用o r l 人臉庫進行識別率對比試驗表明 本文方法能較好地從每組圖片中提取出較好人臉姿態(tài)的圖片，并從中提取人臉特 征，解決了由于角度問題帶來的誤識別問題，由于a g e n t 平臺的并行性，在處理 時間上也有很大的優(yōu)勢。 關鍵詞：人臉特征提取；a g e n t 理論；a s m 算法；多目視覺；人臉姿態(tài)參數(shù)；a g e n t 交 互機制；并行處理 分類號：t p 3 9 1 4 a b s t r a c t a b s t r a c t ：f a c er e c o g n i t i o nt e c h n o l o g yh a sa l w a y sb e e na ni m p o r t a n tr e s e a r c ht o p i c i nt h ef i e l do fc u r r e n tp a t t e mr e c o g n i t i o na n da r t i f i c i a l i n t e l l i g e n c e ，i t sr e s e a l c ha c r o s st 1 1 e 1 m a g ep r o c e s s i n g ，p a t t e r nr e c o g n i t i o n ，c o m p u t e rv i s i o na n da r t i f i c i a ln e u r a ln e t w o r ka 1 1 do t l l e r s u b j e c t s w i t ht h er a p i dd e v e l o p m e n to fc o m p u t e rt e c h n o l o g y ，t h ei n c r e a s i n g n e e d so f c o m m e r c i a la n dm i l i t a r ya p p l i c a t i o n s ，t h er e s e a r c ho ft h ef a c er e c o g n i t i o nw i l lb em o r ea i l d m o r ed e p t h ，i t sm o r el i k e l yt ob e a p p l i e dt oa l la s p e c t so fd a i l yp r o d u c t i o na i l dl i f e fa c ef e a t u r ee x t r a c t i o ni sac o m p l e xa n dc h a l l e n g i n gi s s u ei nf a c er e c o g n i t i o n i th a s 1 m p o r t a n ta f f e c to nr e c o g n i t i o nr a t e b e c a u s et r a d i t i o n a lm e t h o d so ff a c ef e a t l l r e e x t r a c t i o n u s u a l l ya f f e c t e db yl i g h t ，g a z eo ft h ef a c ea n do t h e rc o m p l e x e n v i r o n m e n t ，t h er e c o 星皿i t i o nr a t e m a yn o ta c c u r a t e i nr e c e n tr e s e a r c h ，m a n yr o b u s tf a c ef e a t u r ee x t r a c t i o nm e t h o d s h a v eb e e l l p r o p o s e d ，w h i l em o s to ft h e ma r ei m p r o v e df r o mm a t r i xa l g o r i t h ma s p e c tt o i m p r o v et h e r e c o g n i t i o nr a t e t h er e s e a r c hp u r p o s eo ft h ep a p e ri st os o l v et h ep e r c e p t i o np r o b l 鋤b y m u l t lc a m e r as y s t e m ，a n de x t r a c tf a c ef e a t u r ew i t ha s y s t e mo fm u l t ic a m e r am a n a g e db ya n a g e n tf r a m e w o r k t h ew o r ko ft h ep a p e ri n c l u d e s ： f i r s t l y , w eh a v ead e e ps t u d yo ft h et r a d i t i o n a lf a c ef e a t u r ee x t r a c t i o nm e t h o d ，e s p e c i a l l y t h ea s m m e t h o d ，a n dr e a l i z et h ec l a s s i c a la s m a l g o r i t h m ，t h r o u g ht h ee x p e f i e i l c eo ft w o t a c ef e a t u r ee x t r a c t i o n ，w es u m m a r yt h ev i r t u e sa n d d e f e c t so ft h i sa l g o r i t h m s e c o n d l y , p r o p o s eam e t h o do fm u l t ic a m e r as y s t e mw h i c hc a ns o l v et h ep r o b l e mo fl a c k o ff a c ei n f o r m a t i o nc a u s e db ya n g l e sa n dg a z e w eu s es e v e r a lc a m e r a st op e r c e i v eh u m a l l f a c ee n v i r o n m e n tf r o md i f f e r e n t a n g l e s ，w h i c hc a ne n r i c ht h ef a c ei n f o r m a t i o n ，a n d1 a va f o u n d a t i o no ff a c ef e a t u r ee x t r a c t i o n in i r d l y , an o v e la p p r o a c hw a sp r o p o s e dt oe x t r a c t f a c ef e a t u r eb a s eo na g e n t sw i t h m u l t i c a m e r as y s t e m a c c o r d i n gt ot h ea b i l i t yo f c o o p e r a t i o na n di n t e l l i g e n c eo ft h ea g e n t ， w ec a ng i v ee a c hc a m e r aa na g e n t ，e a c ha g e n t g e tt h efeaturetries t o p o s ep a r a m e t e r so ff a c e t i o mt h ee n v i r o n m e n t ，a l s ot h ea g e n t w i l lr e a c tt oe n v i r o n m e n t ，w h i c hw i l lc o m p u t et h ef a c i a l p o s ep a r a m e t e r s t h o s ea g e n t sa l s oc o m p e t ew i t he a c ho t h e r ，i no r d e rt ob e c o m et h eb e s t f a c i a lo b j e c t i nt h i sw a yt h ef a c ef e a t u r ec a nb eb e t t e re x t r a c t e dw i t ht h ea g e n t s v s t e m f i n a l l y , w ec o l l e c tac o u p l eo ff a c ep i c t u r e sf r o mt h em u l t ic a n l e r as y s t e m 。a i l dh a v ea f a c er e c o g n i t i o nt e s tw i t ht h eo r lf a c ed a t a b a s ew h i c hr e c o g n i t i o nr a t ee x p e r i m e n ts h o w s t h a tt h em e t h o dc a nb e r e re x t r a c tt h ef a c ef e a t u r e f r o mt h ee x p e r i e n c ew e a l s os o l v et h ee n _ 0 r i d e n t i f i c a t i o np r o b l e mc a u s e db yf a c ea n g l e s ，d u et ot h ep a r a l l e l i s mo ft h ea g e n t p l a t f o 鋤， 北京交通大學碩士學位論文 a b 孓【r a c t t h ep r o c e s s i n gt i m ea l s oh a v eab i ga d v a n t a g e k e y w o r d s ：f a c ef e a t u r ee x t r a c t i o n ；a g e n tt h e o r y ；a s ma l g o r i t h m ；m u l t ic a m e r as y s t e m ； f a c ep o s ep a r a m e t e r s ；a g e n ti n t e r a c t i o nm e c h a n i s m ；p a r a l l e lp r o c e s s i n g c l a s s n o ：t p 3 9 1 4 致謝 這篇論文是在我的導師阮秋琦教授的認真指導下完成的，阮秋琦教授對科研工作的 嚴謹態(tài)度和在學習方法上的耐心引導在學術上給了我很大的影響。開始進入實驗室的時 候?qū)D像方面知識都不太懂，阮教授不僅在科研環(huán)境給我創(chuàng)造了條件，更在學習上對我 有很大的幫助，在暑期期間，阮教授還給我們科研實踐的機會，參與了實驗室的科研項 目，在學習生活上都給了我很大的幫助，在這里對阮秋琦老師這兩年來的教誨和關心表 示衷心的謝意。 在實驗室工作的這兩年，實驗室的師兄師姐們也給了我很大的幫助，他們熱情的關 懷和耐心地指導在心靈和學習上都給了我很大的動力。在這個課題的研究以及這篇論文 的撰寫中，阮成雄、李小利等學長對我實驗設計和研究方向的把握給了很大的幫助，在 這里也向他們表示真心的感謝。 最后我要感謝我的家人，是你們一直以來對我的鼓勵支持和關心才讓我在學業(yè)上能 走到今天，是你們對我的教誨讓我樹立了自己的目標，感謝你們。 北京交通大學碩士學位論文 序 序 隨著計算機網(wǎng)絡的飛速發(fā)展和信息化進程的日益加快，公共安全和信息安全越來越 顯示出其前所未有的重要性。人臉識別技術是當前模式識別和人工智能領域一個重要的 研究課題，它的研究跨越了圖像處理，模式識別，計算機視覺和人工神經(jīng)網(wǎng)絡等等學科。 在安全應用上它廣泛應用于國家安全、公安系統(tǒng)和城市的公共安全等各個方面。雖然經(jīng) 過了許多年的發(fā)展，但是由于人臉是一個非剛性物體，并容易受到光照、自身姿態(tài)和表 情等因索的影響，因此要實現(xiàn)一個高識別率、高魯棒性的全自動的人臉識別系統(tǒng)仍然是 一個極具挑戰(zhàn)性的課題。 特征提取是人臉識別研究中的最基本問題之一，是人臉識別中復雜且極具挑戰(zhàn)性的 環(huán)節(jié)，對人臉的識別率起著至關重要的作用。在這一領域的研究中，提出了許多經(jīng)典的 算法，如線性鑒別分析方法，基于子空間的主分量分析方法，獨立成分分析方法以及在 基于核技巧的非線性特征提取方法等。對于特征提取問題的深入研究在很大程度上促進 了人臉識別領域的發(fā)展。 現(xiàn)有的很多人臉特征提取算法都具有較強魯棒性，但是他們大部分都是從數(shù)學方法 上改善了特征提取的質(zhì)量來提高識別率。本文研究的重點是利用多目視覺在感知階段最 大程度地獲取人臉的信息，并通過構建一個a g e n t 框架對多目視覺系統(tǒng)進行調(diào)度和控制。 在各個a g e n t 的交互和相互合作中通過一系列的行為屬性提取出比較好的人臉特征。 本課題受到國家自然科學基金項目( n o 6 0 9 7 3 0 6 0 ) 的資助。 北京交通大學碩士學位論文 緒論 1 緒論 1 1 課題來源和研究意義 本課題是國家自然科學基金項目基于多目視覺的形體語言感知與識別研究中的 一個重要研究內(nèi)容。著重研究在智能代理( a g e n t ) 的基礎上實現(xiàn)多目視覺的協(xié)同工作， 建立基于智能代理的多目感知框架，在理論和技術上解決形體語言感知中的遮擋和方位 帶來的誤識別問題。 人臉識別技術【l 】是當前模式識別和人工智能領域一個重要的研究課題，它的研究跨 越了圖像處理，模式識別，計算機視覺，人工神經(jīng)網(wǎng)絡和生物醫(yī)學等等學科。隨著計算 機技術的快速發(fā)展與商業(yè)和軍事等應用領域的需求，人臉識別技術研究得到了愈來愈廣 泛的關注和參與。人臉識別雖然有許多其它識別方法無法比擬的優(yōu)點，但是直到現(xiàn)在還 沒有一種很完美的人臉識別系統(tǒng)，人臉識別的準確率目前為止還很難達到我們的要求， 對許多場合的應用還不能滿足【2 】。雖然對于人類而言可以很容易的從復雜的環(huán)境中識別 出人臉，但是對于計算機識別系統(tǒng)來說，這是一個巨大的挑戰(zhàn)。歸根結(jié)底是由下面幾個 因素造成的。 1 人臉結(jié)構的相似性，不同人臉之間的區(qū)別并不是很大，所有的人臉都是由幾個 相同的部分組成，外形結(jié)構相似。這是計算機能夠自動識別人臉的主要原因，但是這種 相似性對于區(qū)分不同的個體來實現(xiàn)人臉識別是不利的。 2 人臉具有極強的不穩(wěn)定性，首先人臉具有豐富的表情，不同表情下采集的人臉 圖像會有變化，其次觀察人臉的角度不同，得到的人臉的覺圖像差距也會很大。另外， 光照強度的影響，角度的變化、遮擋等多方面因素都會人臉識別產(chǎn)生影響。 3 人臉識別屬于一個大類別的識別問題，全球人口數(shù)量是非常龐大的，而且還在不 斷的增長中，因此識別的類別數(shù)很多，因此識別的難度也會相應的增大。 人臉識別的研究具有很高的理論和應用價值，但是同時又是一項非常具有挑戰(zhàn)性的 工作，在大類別，復雜的背景，有局部遮擋，人臉角度變化等復雜條件下的人臉識別的 正確率，可靠性和穩(wěn)定性方面還需要很大的改進和深入的研究。人臉識別的一般過程由 三部分組成，分別為人臉檢測【3 1 ，特征提取，分類識別，如圖1 1 所示。人臉特征提取 是指抽取表示可分離性而言最有效的特征，即從人臉中提取出用于區(qū)分不同個體的判別 特征。提取要求對于同樣的個體具有穩(wěn)定性，對于不同的個體具有差異性。特征提取是 人臉識別中最為重要的一個部分，它的效率直接決定最終的識別性能。到目前為止，人 們己經(jīng)給出了許多種特征提取方法，如主分量分析，線分析以及非線性投影方法等，這 北京交通大學碩士學位論文 緒論 些方法都在人臉識別中被廣泛使用并取好的特征提取效果。特征提取是模式識別中的一 個關鍵問題，在模式識別等領域有著廣泛的應用。本文主要針對人臉特征提取進行研究， 以此來解決因為角度等問題對人臉識別帶來的問題。 1 2 研究現(xiàn)狀 圖1 - 1 人臉識別流程圖 f i g 1 - 1t h ef l o wo ft h ef a c er e c o g n i t i o n 到目前為止，國內(nèi)外各個研究機構和人員對人臉識別的研究正在如火如荼地展開， 美國等西方國家成立專門從事人臉識別研究的小組，軍方，大的國際公司和高校對人臉 識別技術的研究使得近些年來人臉識別技術取得了重大的發(fā)展。國外比較有名的有： m i t c m u ，u c l a ，u n i v e r s i t yo f m a n c h e s t e r , u m d 等。國內(nèi)的中國科學院計算的所，自 動化所，清華大學，南京理工大學，北京交通大學等單位都在人臉識別研究方面取得了 不少的成果。人臉特征提取在人臉識別中起著不可或缺的作用，特征提取又稱人臉描述， 是在基于人臉檢測定位的基礎上進行的人臉各特征提取的過程，也是對人臉進行特征建 模的過程。特征提取是人臉識別中最為重要的一個部分，它的效率直接決定最終的識別 性能。 在過去的幾十年內(nèi)，研究者們提出了很多用于人臉識別的方法，大致可以分為兩類： 一類是基于統(tǒng)計學習的特征提取方法，一類是基于知識的特征提取方法【4 1 。其中通過基 于統(tǒng)計學習提取的特征稱為代數(shù)特征，基于知識的特征提取方法提取的特征為幾何特 征?；诖鷶?shù)特征提取的方法又可以分為兩類，分別是線性和非線性特征提取方法，線 性方法有主成分分析( p c a ) ，獨立成分分析( i c a ) ，線性鑒別分析( l d a ) 等，非線性方法 有核方法，流形學習方法，張量方法等。 1 基于代數(shù)方法 主成分分析( p c a ) 的基本思想是利用一組包含了較多信息量的特征去盡可能精確地 北京交通大學碩士學位論文緒論 表示原始樣本的分布情況。f u k u n a g a 和y o u n g 等人對p c a 方法做了深入的研剄引，討 論了p c a 作為線性特征提取方法的穩(wěn)定性。k i r b y 等人【6 】討論了利用p c a 進行人臉圖像 的最優(yōu)表示問題，然后t u r k 和p e n t l a n d 7 】討論了這種表示的物理意義。p c a 有兩個方面 的優(yōu)勢，首先它從2 階上消除了模式和樣本間的相關性，第二它實現(xiàn)了對原始樣本的維 數(shù)的降低。p c a 只是在最小平方誤差意義下給出的模式樣本的最優(yōu)表示，但是不能從高 階上消除特征之間的相關性。獨立成分分析( i c a ) 【8 】方法是根據(jù)最小化相互信息準則或 者最大化非高斯線性準則提出的從線性混合的信號中恢復出獨立信號源的算法，b a r t l e t t 等人【9 】采用i n f o m a x 算法來實旋i c a ，提出了利用獨立分量分析進行圖像表示的兩種架 構，這兩種架構被眾多的研究人員應于人臉識別問題。線性鑒別分析( l d a ) t l o j 的基本思 想是基于一個與分類相關的特征提取準則，即f i s h e r 準則【l ，目的是為了選定一組最優(yōu) 的鑒別矢量，并且使得原始數(shù)據(jù)在該鑒別矢量上的投影達到最佳的分類效果。近來 z h u a n g 等人【1 2 】提出了逆f i s h e r 鑒別分析，并且成功地應用于人臉識別的應用。逆f i s h e r 鑒別分析有以下優(yōu)勢：1 原始數(shù)據(jù)總體散布的矩陣的小的特征值對應的特征向量參與了 選擇。2 考慮了類內(nèi)散布矩陣的零空間信息。 基于核方法【1 3 】特征提取的主要思想是通過適當?shù)姆蔷€性映射將非線性可分的原始 樣本變換到某一個線性可分的高維的特征空間，核技術最早是由v v a p n i k t l 4 】提出并應用 于向量機中。m i k a 等人【1 5 1 6 】利用核方法將f i s h e r 線性鑒別分析進一步推廣到了非線性 情況，提出了一種核f i s h e r 鑒別方法，這種方法解決了兩類模式的分類問題。y a n g 1 7 1 等人提出了完備的核鑒別分析應用框架。徐勇等人【l8 】從所有訓練樣本中選取少量顯著的 樣本，使得核投影方法的特征提取效率有了很大的提高。與基于核技術的非線性特征提 取方法不同，流形學習【1 9 】的目的是期望找出產(chǎn)生數(shù)據(jù)集的內(nèi)在規(guī)律性，即從觀察數(shù)據(jù)中 找出本質(zhì)，在高維的輸入空間中找出其內(nèi)嵌的低維流形，在低維空間中恢復數(shù)據(jù)集內(nèi)的 集合特征。s e u n g 2 0 】提出了感知是以流形方式存在的，并且通過實驗證明了人腦中的確 存在穩(wěn)定的流形。當前比較流行的流形學習方法有i s o m a p 2 q , l l e 2 2 , l a p l a c i a ne i g e m a p 等。這些學習方法僅定義在樣本上，但是不知道如何去評價樣本，所以無法應用于模式 識別領域。近來，x h e 等人【2 3 2 4 】提出了一種局部保持性的投影方法( l o c a l i t yp r e s e r v i n g p r o j e c t i o n ，l p p ) 并成功地將其應用于人臉識別。與l a p l a c i a ne i g e m a p 方法不同，l p p 是 一個線性投影算法，但是它在某些方面保留了樣本點在觀察空間內(nèi)的局部的領域信息。 基于l p p 方法又相繼提出了m f a ，l d e 等相關的學習方法。二維主成分分析，二維鑒別 分析和二維l p p 等方法是近些年來提出的針對圖像模式的特征提取方法，該類方法直接 在圖像矩陣上計算散布矩陣，矩陣的維數(shù)等于圖像的行數(shù)或者列數(shù)，使得計算起來很方 便。z h e n g 等人【2 5 】在分析了基于向量和基于矩陣的線性鑒別方法，指出根據(jù)偏置估計觀 念，2 d l d a 可能會好于1 d l d a 方法。 2 基于幾何方法 北京交通大學碩士學位論文 緒論 我們的人臉由幾個特征器官構成，比如眉毛，眼睛，鼻子，嘴巴等，并且他們在人 臉上的位置相對來說是比較確定的，但是同時又不都是完全一樣，因此我們每一個人的 臉才會不一樣?；趲缀蔚姆椒ā? 6 】要求我們由人臉的特征器官點建立一個相似的并且可 以用參數(shù)去改變它的模型，在檢測的時候，可以規(guī)定一條準則來判定這個模型和實際人 臉的相似度，只有當滿足這個判定條件的時候才會認為這個模型和檢測的人臉匹配。雖 然幾何方法相對會簡單一些，但也有它的弊端，它對環(huán)境的要求會比較高，比較復雜的 環(huán)境下這種方法的效果不是很好。s n a k e s 方法【2 7 2 8 】同樣使用一個準則去判定是否和實際 的檢測人臉相似，它使用一條閉合的曲線去檢測，這條曲線不斷去逼近人臉的形狀，并 且在逼近的過程中由這個準則來監(jiān)督，當滿足準則條件的時候，表示曲線的形狀已經(jīng)和 人臉特征相似。b l e d s o e t 2 9 】利用特征器官之間的關系，比如他們之間的距離等建立了 一個人臉識別系統(tǒng)。文獻【3 0 】使用了一個3 5 維的人臉矢量，這個矢量可以用積分投影法 得到，矢量包含眼睛和眉毛之間的距離，眉毛的彎曲程度，厚度，嘴巴的彎曲程度和厚 度和鼻子到嘴巴和眼睛的距離，下巴的形狀等等。c o o t e s 等人【3 l 】提出了a s m ( a c t i v e s h a p em o d e l ) 的方法，a s m 的思想是首先對比較有特點的一類目標進行統(tǒng)計，然后進行 建立一個能反應目標的形狀在二維空間上的變化規(guī)律的模型和一個能反應目標的特征 點的灰度分布規(guī)律的灰度模型。由這兩個模型相互呼應和相互間的調(diào)整來進行特征點定 位。y u i l l e 等人【3 2 】提出了參數(shù)化的可變形模板法，這種方法對于人臉特定位有很好的效 果。對于人臉中眼睛的檢測，該方法根據(jù)眼睛形狀的先驗知識，定義1 1 個參數(shù)的模型， 通過搜索能量參數(shù)極小化來確定參數(shù)。h a l l i n a i l t 【3 3 】提出了一種基于統(tǒng)計學檢測正面姿態(tài) 下人的眼睛的算法。該算法采用了一個模板，它擁有不同亮度的兩塊區(qū)域，一塊是虹膜 區(qū)域，另一塊是眼睛的白色區(qū)域，算法根據(jù)分布的不同來構造模型。p e n t l a n d 等畔j 擴展 了其“特征臉”的概念，提出了“特征臉”、“特征鼻”等算法來檢測人臉特征。r e i s f e l d 等【3 5 】提出了一種采用一般對稱性算子尋找眼睛和嘴巴的算法。該算法首先利用先驗知識 假設人的整個臉部相對于鼻子的垂線是對稱的，并且相應的五官也是這樣，在這個前提 下，對稱算子可以去定位對稱性最高的點，并根據(jù)這個條件去檢測眼睛和嘴巴。 1 3 本文主要研究內(nèi)容 本文主要討論了人臉識別中特征提取的方法，首先我們對傳統(tǒng)的人臉特征提取方法 進行深入地探討，我們主要研究了基于a s m 的特征提取方法，并進行算法的實現(xiàn)，然 后總結(jié)其優(yōu)點和弊端，利用多目視覺在感知階段最大程度地獲取人臉的信息，根據(jù)一定 的規(guī)則計算估計出每個人臉的姿態(tài)，并通過a g e n t 框架對多目視覺進行調(diào)度和控制以此 來實現(xiàn)提取出比較好的人臉特征。這就是我們提出的一種基于a g e n t 的多目視覺人臉特 征提取方法。 4 北京交通大學碩士學位論文緒論 傳統(tǒng)的單目和雙目視覺感知在計算機視覺中已有多年的研究，主要集中在中心投影 攝像機模型指導下的感知研究，在該模型下解決形體語言感知的問題尚有諸多難以解決 的限制。因此我們準備從多攝像機系統(tǒng)解決感知問題，從感知階段最大限度的解決由于 遮擋、姿態(tài)等復雜環(huán)境帶來的難點，進而提高感知的精確性，為后續(xù)的識別與分析打下 良好的基礎。在多目視覺的基礎上，感知的能力有了很大的提高，如何從更多的信息量 中篩選出對我們有用的信息，對信息進行決策，從而得到比較好的，有利于識別的人臉 特征，以此滿足我們對人臉特征提取方法的優(yōu)化。本文采用了a g e n t 方法，在智能代理 ( a g e n t ) 的基礎上實現(xiàn)多目視覺的協(xié)同工作，建立基于智能代理的多目感知框架，在 理論和技術上解決形體語言感知中的遮擋和方位帶來的誤識別問題。智能代理研究方案 如圖1 2 所示。 圖1 - 2 基于智能代理多目視覺協(xié)l 司工作原理框圖 f i g 1 - 2t h ef r a m e w o r ko fm u l t ic a m e r as y s t e mb a s e do na g e n t 本文主要研究了在基于a g e n t 的框架中如何協(xié)調(diào)多目視覺的協(xié)同工作，建立一種可 行的a g e n t 合作通信機制，以及a g e n t2 _ l 自j 的交互規(guī)則。結(jié)合a s m 人臉特征提取和人 臉姿態(tài)估計等算法，使得多目視覺在經(jīng)過a g e n t 系統(tǒng)后，提取的人臉特征的準確性得到 很大的改善，并通過識別率體現(xiàn)出來，同時a g e n t 系統(tǒng)的并行特性使得處理的速度得到 好的提高。 1 4 論文的章節(jié)安排 本文一共分為5 章，各章的主要內(nèi)容如下： 第一章緒論。本章主要介紹了人臉特征提取的研究背景、本文研究的主要內(nèi)容和意 義。詳細介紹了在人臉特征提取領域各種算法的發(fā)展。 第二章a s m 特征提取方法。本章主要介紹了基于a s m 的特征提取方法，對a s m 北京交通大學碩士學位論文 緒論 理論進行了詳細的描述，并對經(jīng)典的a s m 算法進行實現(xiàn)，通過實驗分析總結(jié)其優(yōu)點和 弊端。 第三章a g e n t 系統(tǒng)理論。本章主要介紹了a g e n t 體系的基本理論和多a g e n t 體系的 結(jié)構。對a g e n t 的特性和體系結(jié)構進行了總結(jié)，并分析了不同體系結(jié)構的優(yōu)缺點。然后 分析了在多a g e n t 系統(tǒng)中的幾個核心的問題，如a g e n t 之間的通信語言的制定，a g e n t 之問傳遞消息的機制和多個a g e n t 之間如何協(xié)調(diào)合作來達到共同的系統(tǒng)目標。 第四章基于a g e n t 多目視覺人臉特征提取系統(tǒng)。本章主要介紹了如何實現(xiàn)基于a g e n t 的多目視覺人臉特征提取系統(tǒng)。首先詳細介紹了丌發(fā)a g e n t 的平臺j a d e 。然后介紹了 整個系統(tǒng)的大致流程圖，各個不同功能的a g e n t 如何構造，他們之間如何交互，交互的 規(guī)則等關鍵問題。本章還介紹了a g e n t 系統(tǒng)下的關鍵代碼并展示了系統(tǒng)的實驗界面。 第五章實驗結(jié)果與分析。本章主要用多目視覺采集了多組圖片進行實驗。利用o r l 人臉庫進行識別率計算，通過和單目視覺的識別率進行對比得到結(jié)論，在準確率和速度 上進行分析。 第六章總結(jié)與展望。針對本文的研究內(nèi)容進行總結(jié)，并且針對以后的研究方向和內(nèi) 容予以展望。 6 北京交通大學碩士學位論文 asm 特征提取 2a s m 特征提取 2 1 引言 人臉面部的特征點，比如眉毛，鼻子和嘴巴的定位是人臉識別，模式識別中的一個 重要研究課題，是后續(xù)的姿態(tài)估計，人臉識別，人臉跟蹤和三維重建等課題研究的基礎。 近年來對人臉特征點提取的研究正在如火如荼地展開。人臉特征提取是指利用計算機技 術在人臉中自動定位出人的眼睛，嘴巴，鼻子，耳朵等精確的位置并且能描述出其形狀 的特征，以此來確定輸入的人臉模式。在目前的研究中，研究人員重點的研究方向是對 特征點定位的準確性和定位的魯棒性的提高。目前的人臉特征定位技術還很薄弱，在復 雜的環(huán)境下，例如人臉表情的變化，周圍環(huán)境的影響，人臉姿態(tài)的變化等都會使人臉特 征定位邊的很困難。 經(jīng)典的主動形狀模型f 3 糾( a c t i v es h a p em o d e l ，a s m ) 最早是由c o o t e s 和t a y l o r 提出的 一種基于統(tǒng)計學的并且灰度和形狀可分離的模型。簡單來說，經(jīng)典的a s m 模型的特點 主要表現(xiàn)在它對一維輪廓上每一個特征標記點運用了馬哈拉諾比斯距離，并且提出了一 個線性點分布模型。在經(jīng)典a s m 模型方法中，訓練決定了輪廓特征點的分布模型。a s m 最初主要用于對醫(yī)學圖像的結(jié)構定位。由于a s m 的一般性，它可以為各種不同的模式 建立形狀模型。 a s m ( a c t i v es h a p em o d e l ) 方法是通過對訓練集中所要進行描述的各種目標形狀進 行統(tǒng)計，以此來建立一個能夠反映這個目標的形狀變化情況和灰度分布情況變化規(guī)律的 模型。在進行目標搜索的時候，首先用訓練中的局部灰度模型進行搜索，然后利用形狀 模型對之前灰度模型搜索到的區(qū)域進行相似性比對，利用一定的規(guī)則對比對的結(jié)果進行 判定，當其滿足判定的條件時，即這時是理想的匹配，當不滿足時，表明匹配不理想， 此時對不合理的形狀進行調(diào)整，在調(diào)整的時候注意保證形狀在統(tǒng)計意義上的合理性，通 過多次的迭代循環(huán)，可以得到理想的匹配。利用a s m 我們可以得到目標圖像的輪廓， 即使在目標圖像由于各種原因會有一定變化的時候，只要保證所遇到的變化的目標模式 包含于我們的訓練庫中，此時a s m 也可以保證能對目標進行準確地定位。 a s m 的優(yōu)點在于它能夠?qū)ξ覀兯斎氲母鞣N各樣的模式進行模式的建立，這是由 于我們所需要的關于模式的知識都可以在訓練的過程中得到。在訓練的過程中，我們需 要對模式進行手工的標定，這雖然會使我們的工作變得復雜一些，但是這種方法能夠?qū)?各種不同的模式來進行建模，尤其是臉部的眼睛，眉毛，鼻子等不是很規(guī)則的形狀。和 變形模板相比，主動統(tǒng)計對象模型的優(yōu)勢在于主動統(tǒng)計對象模型中的所有參數(shù)均是從訓 7 北京交通大學碩士學位論文 asm 特征提取 練的過程中得到的，是統(tǒng)計參數(shù)，各個參數(shù)之間的相互關系十分明確，而變形模板中的 參數(shù)都是人為自己設計的，并且主動統(tǒng)計對象模型的匹配也是通過訓練學習得到的。主 動統(tǒng)計對象模型的方法屬于基于統(tǒng)計學方法，并且得到了廣泛的應用。 在對主動統(tǒng)計對象模型的研究中，研究人員主要致力于對主動統(tǒng)計對象模型方法兩 個方面的改進，即對主動統(tǒng)計對象模型方法中的特征的擴展，還有就是對收斂效率的提 高。t f c o o t e s 3 7 】等在a s m 的基礎上進行了改進和擴展提出了一種a a m ( 主動外觀模型) 來改進a s m 在定位方面的準確性。a a m 在繼承了a s m 特性的同時還增加了一種灰度 紋理模型，這兩種模型相結(jié)合組成了一個組合的模型。在進行特征點定位的時候，我們 通過改變這個組合的參數(shù)就可以來獲得形狀和紋理模型，圖像的紋理可以從形狀模型提 取，最優(yōu)匹配的條件可以設定為模型紋理和圖像紋理之間差值的最小值。由于在a a m 中加入了圖像的紋理信息，因此a a m 的效果會比a s m 好，但是同時由于更容易受到 光照的影響，速度上會有劣勢。在提高a s m 方法的精確性和速度方面，t e c o o t e s 掣3 8 j 提出了m r a s ( m u l t i r e s o l u t i o na c t i v es h a p em o d e l s ) 的方法。m r a s m 方法首先會在 比較粗糙的圖像中尋找目標，并且在尋找的過程中會有很大的跨度，即對圖像先有一個 大致的掃描，在尋找的過程中逐步地減小搜尋的范圍，使得越到后來，搜索的圖像范圍 愈發(fā)清晰，因此定位的準確性也會提高，在多次迭代后會逐漸將制定的模型定位到圖像 中的目標位置。這種方法的另一個好處就是即使開始的形狀和要搜尋的目標形狀相距比 較遠，由于在搜尋過程中式跨度式搜尋，因此即使初始形狀位置距離目標較遠，m r a s m 也會很快速地定位。 g h a m a r n e h 等【”】將s n a k e 模型加入到a s m 方法中，由于s n a k e 模型能產(chǎn)生光滑、 不間斷邊界的優(yōu)點，在分割人的左心室圖像的時候，利用a s m 的能產(chǎn)生于和訓練集相 似的目標形狀的優(yōu)點，使得分割的效果得到很大改善，s n a k e 模型對約束的光滑性使得 這種方法的準確性相對傳統(tǒng)a s m 方法而言得到了很大的提高，但是在處理速度上會有 一定的損失。 z u o 4 0 】等用h a a r 特征去檢測是否滿足紋理的相似，用梯度變換初始化模型，這兩種 方法的結(jié)合提高了在搜索的過程中匹配的精度。t a f a r u q u i e 等利用主動統(tǒng)計對象模型 方法檢測嘴唇的輪廓，并且將彩色信息加入進去，在嘴唇輪廓描述方法它使用了五條曲 線，這使得參數(shù)的維數(shù)額達到了降低，匹配的效果得到了改善。將彩色信息加入a s m ， 并用五條曲線代表嘴唇的輪廓，大大降低參數(shù)的個數(shù)，獲得了更好的匹配效果。y a n l 4 l j 等提出了t c a s m ( t e x t u r e c o n s t r a i n e da c t i v es h a p em o d e l ) ，在這種方法中，由于使用了 全局的紋理信息，因此在對形狀模型進行約束的時候，不會使得模型產(chǎn)生不合理的形變。 t u 4 2 】等使用f i s h e r 特征代替p c a 分析得到的統(tǒng)計特征，這種替換使得當樣本數(shù)量很小 的時候，分類器也會有比較良好的性能，并且在搜索的準確性和速度方面也有很好的性 能。j i a o 4 3 】和z h a n 刪等在紋理建模時分別使用g a b o r 小波特征和h a a r 特征，由于小波 北京交通大學碩士學位論文 asm 特征提取 變換包含的豐富的紋理信息，因此建模的效果得到很大的改善。z h a o 等在進行目標搜 索的過程中引入了局部紋理信息的加權值，在此引導下，這種方法對邊緣形狀的定位比 傳統(tǒng)的a s m 方法要好。 2 2 建立a s m 模型 為了定位到一個我們感興趣的結(jié)構，我們首先必須為這個結(jié)構建立一個模型。為了 建立一個統(tǒng)計模型的外觀，我們需要一系列典型實例的注解圖像。我們必須首先決定一 系列合適的標記點，這些標記點描述了我們所要搜尋的目標圖像的形狀并且這些標記的 特征點在每個訓練的圖像中都能找到。 2 2 1 特征點標記 對于特征點標記來說比較好的選擇就是指向目標邊界清晰的角落，比如在邊界連接 處的t 形交叉點和很容易找到的生物特征點。然而，這些比較好的特征點遠遠達不到我 們需要的數(shù)量來達到我們對目標形狀的一個大致的描述。因此，我們增加了一些在我們 定義的比較好的特征點之間沿著邊緣等間距排列的點( 如圖2 1 所示) 。 圖2 1 定義的比較好的特征點 f i g 2 - 1t h ed e f i n i t i o no fg o o dl a n d m a r k s 為了描繪出目標的輪廓，我們必須還要記錄那些標記點如何在圖像中形成邊緣的連 接定義。這就允許我們通過一個給定的點來決定邊界的方向。假設某條曲線上的標記點 標志為 ( ，y 。) ，( x 2 ，y ：) ，( _ ，y 。) ) 。對于一個二維圖像來說，我們可以將這n 個標記點 表示為( x ，j o ) ，舉一個簡單的例子，對n 個標記點需要2 n 個元素的向量x ，其中 x = ( x ix 29 - - ，x n 饑yy 2 ，y 。) ( 2 - 1 ) 如果我們有s 個訓練樣本，我們用類似上面的向量x ，來生成樣本s 。在我們對這些 9 北京交通大學碩士學位論文 asm 特征提取 向量進行統(tǒng)計分析之前，保證所要描述的模型在同一個坐標框架內(nèi)是十分重要的。目標 的形狀一般相對于它的位置，方向和大小來說是獨立的。就好比一個正方形，無論將它 翻轉(zhuǎn)，改變大小還是移動它，它依舊是一個正方形。 d r y d e n 等介紹了如何將一系列訓練的樣本形狀在同一坐標框架內(nèi)排列，將每一個樣 本形狀翻轉(zhuǎn)，平移和改變大小使得樣本形狀距離和均值距離之間差的平方的和 ( d = k x l ) 最小。 2 2 2 形狀模型 假設我們現(xiàn)在有在同一坐標框架內(nèi)排列的s 個由點t 組成的集合，這些向量在他們 所在的二維空間中形成某個分布。如果我們可以對這種分布進行建模，我們就可以生成 新的類似于原始訓練樣本的例子，并且我們可以來檢查新的形狀是否是合理的例子。 為了使問題簡單化，我們首先需要將二維數(shù)據(jù)的維數(shù)降低到某個我們比較容易處理 的層次，一種比較有效的方法就是在數(shù)據(jù)分析中引入主成分分析方法( p c a ) 。數(shù)據(jù)在2 n 維空間中形成云狀點，盡管需要在一個( 2 n - 4 ) 維的復制空間中排列這些點所在的位置。 p c a 計算這些云狀點的主軸心，并且允許我們使用一個少于2 n 個參數(shù)的模型來近似任 何一個原始的點。p c a 算法如下： 1 計算訓練集中的平均形狀和協(xié)方差： 1l x ：y x ( 2 - 2 ) n 葛一 1n s = i 之( 工一x ) ( x 1 一x ) 。 ( 2 3 ) r1 厶一、l 7、 jv li = l 其中，n 表示訓練集中圖像的個數(shù)，x 是第i 個訓練圖像的形狀向量。 2 計算特征值和特征向量 計算得到s 的特征值和特征向量，然后將特征向量按照對應的特征值的大小進行排 列：辦，政，么，他們的特征值為：a ，五，以，其中以丑+ 。，我們只要前t 個的特 征值，保證丑- 9 8 。 i = l ，= i 根據(jù)p c a 的相關算法，可以計算得到一個矩陣c i ) = 辦，攻，諺 。因為較大的特征 向量諺已經(jīng)體現(xiàn)了一些重要的形狀，因此和它相對應的前面的t 個特征向量完全可以表 示大多數(shù)形狀向量x 。 如果我們在數(shù)據(jù)中引入了p c a ，那么我們可以對任何一個樣本集x 進行近似， x x + p b ( 2 4 ) 其中，p = ( p 1p 2 | - 1r ) ，它包含了協(xié)方差矩陣的t 個特征向量，b 是一個t 維的 1 0 北京交通大學碩士學位論文 asm 特征提取 矢量，定義為： b = p 7 ( x x )( 2 - 5 ) 矢量b 定義了一個可變形模型中的一些參數(shù)，通過改變b 中的元素，通過公式( 2 4 ) 我們就可以來改變形狀，b 中第i 個變化的參數(shù)包在訓練集中由元表示。我們規(guī)定生成 的模型如果和變化的參數(shù)龜相差在3 五以內(nèi)，則就可以認為它和訓練樣本集中的例子 相近似。 如果是某個模型的變化正好相對于第i 個參數(shù)包，那么我們就稱它為第i 個模型。 特征向量p 定義了