（信號與信息處理專業(yè)論文）新生兒疼痛表情識別方法的研究.pdfVIP

南京郵電大學碩士研究生學位論文 中文摘要 摘要 近年來，有關新生兒疼痛的研究證實，反復的疼痛刺激會對新生兒產生一系列近期和 遠期的不良影響；又由于新生兒不能自述疼痛的感受，由此產生了一些針對新生兒疼痛的 評估工具，其中面部表情是被廣泛認同的一種最有效、可靠的評估指標，所以需要開發(fā)一 種有效的新生兒疼痛面部表情自動識別評估系統(tǒng)，這是非常有意義的。 本文在研究了當前幾種常見的多分類支持向量機( s v m s ) 算法的基礎上，深入研究 決策樹方法，提出了對二叉樹多分類s v m 方法( b t - s v m s ) 的改進，并利用多分類支持向 量機的方法，對新生兒的疼痛表情進行多類識別。本文的主要工作包括：( 1 ) 研究了兩類 支持向量機的基本理論，通過對三組數(shù)據(jù)集的實驗對其核函數(shù)及其參數(shù)的選擇過程進行了 分析；( 2 ) 對當前常見的6 種多分類s v m 方法進行了系統(tǒng)的研究，從訓練和預測兩方面分 析比較了這些多分類s v m 方法的性能，實現(xiàn)了幾種常用的多分類s v m 分類器，并通過相同 的數(shù)據(jù)庫對其實驗結果進行了比較；( 3 ) 在深入研究基于決策樹算法的基礎上，針對二 叉樹算法的誤差累積效應問題，首先用聚類方法中的類間距離設計了二叉樹結構，分析其 缺點后，接著進一步提出了基于最優(yōu)分類面的類間分離度，用其對二叉樹多分類s v m 方法 的改進，同時通過實驗證明了改進后算法的合理性以及可行性；( 4 ) 根據(jù)二叉樹多分類 s v m 方法設計了新生兒面部表情識別多類分類器，并采用一對一s v m s 、一對多s v m s 、決 策導向無環(huán)圖s v m s ( d d a g s v m s ) 、b t - s v m s 與改進后的b t - s v m s 方法分別對新生兒的 4 類表情( 安靜、哭、輕度疼痛和劇烈疼痛) 進行實驗，根據(jù)每種多類算法選擇s v m s 分類 器最佳核函數(shù)，交叉驗證結果顯示改進后的b t - s v m s 方法獲得了最好的識別率為8 6 1 2 ， 其訓練時間也相對較短；折衷考慮訓練時間和識別率兩方面的要求，選擇改進后的 b t - s v m s 方法較合理。通過對實驗結果的分析得出如下結論：本文使用的多分類s v m 表情 識別方法針對新生兒疼痛面部表情的多類識別能夠獲得期望的性能。 關鍵詞：新生兒疼痛，面部表情識別，支持向量機，多分類算法 南京郵電大學碩士研究生學位論文a b s t r a c t a b s t r a c t i nr e c e n ty e a r s ，s t u d i e so nn e o n a t a lp a i ns u g g e s tf r e q u e n tp a i nh a san e g a t i v ei m p a c to n c h i l d k i n d so f a s s e s s m e n tt o o l so fn e o n a t a lp a i nh a sb e e nd e v e l o p e da sn e o n a t e sa ren o tc a p a b l e o fd e s c r i b i n gt h e i rs u b je c t i v ee x p e r i e n c e a b o v ea l l ，t h ec h a n g eo ff a c i a le x p r e s s i o n si sr e g a r d e d a st h em o s te f f e c t i v e ，r e l i a b l ea s s e s s m e n ti n d i c a t o r t h e r e f o r er e s e a r c ho nf a c i a l e x p r e s s i o n r e c o g n i t i o ni sn e e d e da n dv e r ym e a n i n g f u lf o rt h ed e v e l o p m e n to fa ne f f e c t i v ea u t oa s s e s s m e n t s y s t e mo fn e o n a t a lp a i n i nt h i st h e s i s ，s e v e r a lp o p u l a rm u l t i c l a s s i f i c a t i o ns v m ( s v m s ) a l g o r i t h m sa n dt h e i r c h a r a c t e r i s t i c sa r ea n a l y s e d a f t e rt h o r o u g h l y r e s e a r c h i n gt h ed e c i s i o n m a k i n ga l g o r i t h m ，a i m p r o v e da l g o r i t h mi sp r o p o s e df o rb i n a r yt r e es v m s0 3 t - s v m s ) t h e nm u l t i c l a s s i f i c a t i o n s v ma l g o r i t h mi su t i l i z e df o rr e c o g n i z i n gn e o n a t a lp a i ne x p r e s s i o n t h em a i nw o r ki n c l u d e s ： ( 1 ) t h ec h o i c eo fb i n a r ys v m sk e r n e lf u n c t i o na n dp a r a m e t e r si sa n a l y z e db ye x p e r i m e n t i n gi n s a m ed a t a b a s e s ( 2 ) i ts t u d i e se x h a u s t i v e l yo nt h em u l t i c l a s ss v ma l g o r i t h m ，a n a l y z e sa n d c o m p a r e st h et r a d i t i o n a lm e t h o d s p e r f o r m a n c ei nt h et r a i n i n ga n dt e s t i n gp r o c e s s e s s e v e r a l s t a n d a r dm u l t i c l a s s i f i c a t i o ns v mc l a s s i f i e r sa r ei m p l e m e n t e d ，a n ds o m ec o m p a r i s o nr e s u l t si n t w oo p e n i n gd a t a b a s e sa r eg o t 0 ) i nt h ed e c i s i o n - m a k i n g a l g o r i t h m ，d u et ot h ec u m u l a t i n ge r r o r p r o b l e mo fb i n a r yt r e e ，t h ed i s t a n c eb e t w e e nc l a s s e so fc l u s t e r i n gi su s e dt od e s i g nb i n a r yf r e e s v m s f o ri m p r o v e i n gi t ，am e a s u r eo fs e p a r a b i l i t yb e t w e e nc l a s s e si sp r o p o s e db a s e do nb e s t c l a s s i f y i n gs u r f a c eo fs v m t h er a t i o n a l i t ya n dt h ef e a s i b i l i t yo ft h em e t h o di sd e m o n s t r a t e db y e x p e r i m e n t s ( 4 ) b t - s v m sa l g o r i t h mw a su s e dt om a k eam u l t i c l a s sc l a s s i f i e rf o rr e c o g n i z i n g n e o n a t a lp a i ne x p r e s s i o n o u re x p e r i m e n t sr e c o g n i z i n g4k i n d sn e o n a t a lf a c i a le x p r e s s i o n s ( q u i e t ， c r y , l o w - g r a d ep a i na n da c u t ep a i n ) c o m p a r e sd i v e r s i f i e dm u l t i c l a s s i f i c a t i o ns v ma l g o r i t h m w i t hb t - s v m sa l g o r i t h ma n di t s i m p r o v e da l g o r i t h m ，i n c l u d i n go n e a g a i n s t o n es v m s ， o n e - a g a i n s t 。r e s ts v m sa n dd i c i s i o nd i r e c t e da c y c l i cg r a p hs v m s ( d d a g s v m s ) t h eb e s t r e c o g n i t i o nr a t e ( 8 6 12 ) w a so b t a i n e df r o mt h ei m p r o v e db t - s v m se x p e n d i n gal i t t l el e s s r t m t i m e ，b e t t e rt h a no t h e rm u l t i c l a s s i f i c a t i o ns v m a l g o r i t h m t ot a k ei n t oa c c o u n tt h et r a i n i n g t i m ea n dt h er e c o g n i t i o nr a t e ，i ti sr e a s o n a b l et oc h o o s et h ei m p r o v e db t - s v m s a n a l y s i so f e x p e r i m e n t sr e s u l t sg e tt h ef o l l o w i n gc o n c l u s i o n ：t h ep r o p o s e ds v m sa l g o r i t h mh a so b t a i n e d i i 南京郵電大學碩士研究生學位論文absn隊ct w e l lp e r f o r m a n c ef o rn e o n a t a lm u l t i - e x p r e s s i o n sr e c o g n i t i o n k e y w o r d s ：n e o n a t a lp a i n ，f a c i a le x p r e s s i o nr e c o g n i t i o n ，s u p p o r tv e c t o rm a c h i n e ， m u l t i c l a s s i f i c a t i o na l g o r i t h m i i i 南京郵電大學學位論文獨創(chuàng)性聲明 本人聲明所呈交的學位論文是我個人在導師指導下進行的研究 工作及取得的研究成果。盡我所知，除了文中特別加以標注和致謝的 地方外，論文中不包含其他人已經發(fā)表或撰寫過的研究成果，也不包 含為獲得南京郵電大學或其它教育機構的學位或證書而使用過的材 料。與我一同工作的同志對本研究所做的任何貢獻均已在論文中作了 明確的說明并表示了謝意。 研究生簽名：蟄墅日期：巡：生：! ! 南京郵電大學學位論文使用授權聲明 南京郵電大學、中國科學技術信息研究所、國家圖書館有權保留 本人所送交學位論文的復印件和電子文檔，可以采用影印、縮印或其 他復制手段保存論文。本人電子文檔的內容和紙質論文的內容相一 致。除在保密期內的保密論文外，允許論文被查閱和借閱，可以公布 ( 包括刊登) 論文的全部或部分內容。論文的公布( 包括刊登) 授權 南京郵電大學研究生部辦理。 研究生簽名： 至p 叟 導師簽名：夕1 | 功3日期：眇- s 夠，廠 南京郵電大學碩士研究生學位論文 第一章緒論 1 1 課題背景 第一章緒論 早期大部分麻醉學者認為新生兒不會有疼痛的感覺，所以新生兒疼痛一直未予重視和 正確處理。近年來，有關新生兒疼痛的研究證實，反復的疼痛刺激會對新生兒( 尤其對早 產兒和危重兒) 產生一系列近期和遠期的不良影響，因此醫(yī)療系統(tǒng)正致力于開發(fā)出較好的 嬰兒疼痛管理協(xié)議和疼痛評估工具。 事實上病人的看護質量取決于疼痛的處理性質【啦】。臨床上，將疼痛定義為一種主觀的 體驗，認為評估疼痛的最可靠的方法是通過自我評估報告【3 】。大多數(shù)成年人都能用語言來 描述疼痛的部位、時間和強度及疼痛的經歷，但新生兒不能自述自己的疼痛的經歷，只有 通過診斷或其它方法來評估疼痛。通過研究證明，忽視疼痛可能導致新生兒中樞神經系統(tǒng) 的緩慢變化，經常性疼痛會帶來負面影響和其它顯著的長期性影響【4 5 l 。 在評估新生兒疼痛時，專家認為僅靠生理變化來評估疼痛是遠遠不夠的，因為其它非 疼痛的刺激也可引起類似生理反應【6 】，例如恐懼和興奮。新生兒疼痛的行為反應包括軀體 活動、哭泣、睡眠和飲食模式以及面部表情的改變。其中面部表情被視為是一種最好的疼 痛評估指標【7 】，而身體活動與哭泣對于指示疼痛不是很具體，它們在其它的情形下也會發(fā) 生，如饑餓、恐懼和不安嗍。另外，新生兒疼痛的反應并不總是哭泣和活動【9 】。 在研究新生兒疼痛時，目前使用的各種疼痛評估工具的測量指標各不相同，但都將面 部表情作為其中最有效的一項。國際上對新生兒疼痛的評估都是由受過專i l j t l 練并熟悉各 項評估技術指標的醫(yī)護人員進行人工評估，這帶來了一些實際問題，如需要花費大量的時 間精力，而且評估結果往往受到主觀因素的影響。因此，開發(fā)一種客觀、快速、有效的新 生兒疼痛自動評估系統(tǒng)是非常有意義和價值的。但目前還沒有見到公開的相關報道及研究 成果。 本文所選課題的研究內容是新生兒疼痛面部表情自動識別理論和方法，主要研究基于 s v m 的新生兒面部疼痛表情識別分類算法。其研究可為醫(yī)護人員客觀、可靠、有效地評估 疼痛提供科學的依據(jù)，以便在臨床上及時采取相應的治療措施，以減輕新生兒的疼痛。 南京郵電大學碩士研究生學位論文 第一章緒論 1 2 相關領域的研究現(xiàn)狀及問題 1 2 1 國內外研究現(xiàn)狀 1 新生兒疼痛研究 在國外新生兒疼痛的相關研究已倍受關注，在國際上目前常用的評估工具有以下4 種： 早產兒疼痛評分( p r e m a t u r ei n f a n tp a i np r o f i l e ，p i p p ) 【1 0 1 、新生兒疼痛評分( n e o n a t a li n f a n t p a i ns c a l e ，n i p s ) il l 、c r i e s ( c r y i n g ，r e q u i r e d0 2f o rs 0 2 9 5 ，i n c r e a s e dv i t a ls i g n s ， e x p r e s s i o n ，s l e e p l e s s n e s s ) 量表f 1 2 1 、新生兒面部編碼系統(tǒng)【1 3 】( n e o n a t a lf a c i a lc o d i n gs y s t e m ， n f c s ) 。上述4 種不同新生兒疼痛評估工具的觀測指標有所不同，信度、效度和可行性 等的比較見表1 - 1 。其中“”表示有此項觀測指標；“+ ”表示好；_ 表示無或未驗證。由 下表可看出，面部表情是所有評估工具都采用的一項測評指標，而且在n f c s 中還作為單 一的測評指標。 表1 1 新生兒疼痛評估工具的比較 p i p p n i p sc r 【e sn f c s 面部表情 睡眠覺醒狀態(tài) 生理指標 哭鬧 肢體 孕周 測量者間信度 + + + 內部一致性 + 同期標準效度 + + 結構效度 + + + 可行性 + + + 目前對成人的表情識別的研究工作比較多，而針對新生兒疼痛表情的研究還沒有見到 公開的相關報道和研究成果。 2 表情識別技術 在計算機面部表情識別方面，國際上研究的主要有美國的麻省理工大學( m i t ) ，卡耐 基梅隆大學( c m u ) ，馬里蘭大學【1 5 ( m a r y l a n d ) ，伊利諾大學香檳分校1 7 1 ( u i u c ) ，日本 的名古屋大學l s l ( n a g o y a ) 、城螟大學【1 9 ( s e i k e i ) 、東京大學【2 0 2 1 1 ( t o k y o ) 和a t r 研究所，瑞 士的戴爾莫爾感知人工智能研究所陋 ( i d i a p ) 等。 m i t 提出的一個新的高技術前沿研究方向情感計算，是關于、產生于和影響于情 2 南京郵電大學碩士研究生學位論文 第一章緒論 感方面的計算，它賦予計算機識別、理解、表達和適應人情感的能力表情識別的研究是 其中的核心內容。m a s e 等人【1 8 】的表情分析思想分為從上至下和從下至上兩個方向，在這兩 種情況下，焦點都是在計算臉部肌肉的運動，而不是特征的運動。y a c o o b 矛l d a v i s ”】基于 f a c s 編碼，集中分析人臉上嘴、眼睛和眉毛邊緣的相關運動，在八方向上檢測運動，在 一張臉上預定義、手工初始化的六個矩形區(qū)域，使用簡化的f a c s 規(guī)則識別六種表情；同 時建立了一個時間模型：b e g i n n i n g a p e x e n d i n g ，規(guī)定每種表情的整個過程以中性表情作 為開始和結束；并定義了變化中每個階段的開始與結束的規(guī)則來檢測各個階段。r o s e m b l u m 和y a c o o b 等人i z 剮用r b f n ( r a d i a lb a s i sf u n c t i o nn e t w o r k ) 結構，學習臉部特征與人類情緒 之間的相關性，在最高一級識別情緒，在中間一級決定臉部特征運動，在低一級恢復運動 方向；特征提取中不關注臉部的肌肉運動模型，而是關注特征部件邊緣的運動。s a k a g u c h i 等人【1 9 1 利用小波變換提取臉部圖像眉眼區(qū)域和嘴部區(qū)域的頻率域特征，并采用離散隱馬爾 可夫模型( h i d d e nm a r k o vm o d e l ，簡稱h m m ) 來刻畫表情出現(xiàn)時臉部動態(tài)時間信息，進而識 別六種基本的面部表情；但是因為在建立離散隱馬爾可夫模型時需對觀察矢量采取矢量量 化操作，因此不可避免的引入了量化誤差。美國c m u 的l i e n j j 【1 4 】運用離散隱馬爾可夫模 型分析人臉表情的細微變化，自動區(qū)別各種基于f a c s 表情活動單元a u 的細微面部表情： 文中提出了一種構造離散隱馬爾可夫模型拓撲結構的方法，對后人學習如何訓練離散隱馬 爾可夫模型具有參考價值。c o h e n 等人【1 6 】根據(jù)隱馬爾可夫模型的基本理論和算法設計了一 個人臉表情識別系統(tǒng)，結果表明h m m 是一種非常有效的基于統(tǒng)計的識別表情的方法，缺 點是離散余弦變換雖然具有壓縮比高且能較好地保持原始圖像信息的優(yōu)點，但是在人臉表 情識別系統(tǒng)中作為人臉表情特征向量，數(shù)據(jù)量仍然太大，影響系統(tǒng)速度。h a it a o 和t h o m a s h u a n g j 基于分段b e z i e r 體積形變模型( p i e c e v d s eb 色z i e rv o l u m ed e f o r m a t i o nm o d e l ，簡稱 p b v d ) ，提出了一種基于解釋的臉部運動跟蹤算法。p b v d 模型適合合成和分析臉部圖像， 它是線性和獨立的臉部網絡結構。 在國內，中科院計算所，自動化所，清華大學，中國科學技術大學，哈爾濱工業(yè)大學， 華中科學技術大學等都對表情識別做了研究。哈爾濱工業(yè)大學的金輝和高文1 2 7 1 等通過對若 干類面部表情圖像的分析，建立了基于部件分解組合的人臉圖像模型。他們在對動態(tài)表情 圖像序列的時序分析的基礎上，提出了對混合表情的識別系統(tǒng)；此外他們基于隱馬爾可夫 模型進行了面部表情圖像序列的分析與識別【2 4 1 。北京自動化所研究了一種增強的基于嵌入 式隱馬爾可夫的實時表情識別方法【2 5 1 。清華大學的王玉波等采用了擴展的a d a b o o s t 算法構 造強分類器進行實時的表情識別【2 6 1 。中國科技大學的尹星云【2 8 】等用隱馬爾可夫模型的基本 理論和方法設計了人臉表情識別系統(tǒng)。天津大學的左坤隆、劉文耀1 2 9 】等利用活動外觀模板 3 南京郵電大學碩士研究生學位論文 第一章緒論 ( a 6 峋提取的人臉表情特征來進行人臉表情- i , r 另u ( f e r ) 。 在面部表情識別的研究中大多算法采用i 主i k a n a d e 和c o h n 等建立的d f a t 5 0 4 人臉表 情數(shù)據(jù)庫作為訓練和測試樣本【3 0 1 ，都是針對普通成年人，采用e k m a n 提出的情感分類方法， 定義“高興、憤怒、厭惡、恐懼、悲傷、驚奇 六種“典型 的面部表情，但至今還未見 到有關針對像“疼痛這種特定的面部表情的識別算法。 1 2 2 面部表情識別系統(tǒng) 從九十年代起，人工智能與模式識別技術得到很快的發(fā)展，面部表情識別作為其中的 一個領域也發(fā)揮著越來越重要的作用。面部表情識別是研究如何讓機器能夠辨識出入臉面 部表情變化的一項工作。由于面部表情攜帶的是信息序列，所以面部表情是除了語言交流 以外非常重要的交流方式。面部表情識別己經應用于社會生活的各個領域，如公共場合安 全監(jiān)控、心理學研究、精神病學、自然和諧的人機交互、遠程教育、安全駕駛等方面。 一般面部表情識別是指基于視覺信息，將臉部的運動或者特征的形變進行分類。面部 表情自動識別系統(tǒng)主要包括以下四個主要包括：圖像獲取、人臉檢測、面部表情特征提取 和面部表情的情感分類( 如圖1 1 ) 。其中后三部分是核心環(huán)節(jié)，人臉檢測是在臉部圖像或 圖像序列中定位人臉，是后續(xù)部分的準備工作；面部表情特征提取是從臉部圖像中提取所 需的面部運動或面部特征形變信息；面部表情分類是將輸入的面部圖像歸入某個具體類 中，即給出一個類別標記。 建立 圖像庫 圖像 獲取 人臉 檢測 人臉 檢測 圖像 預處理 圖像 預處理 表情特 征提取 表情特 征提取 訓練 識別 情 - 吩- 類 圖l 一1 表情識別系統(tǒng)框圖 ( 1 ) 圖像的獲?。涸撃K從外界獲取圖像，作為人臉識別系統(tǒng)的輸入。該模塊可以 是一個攝像頭或者是掃描儀等設備。 ( 2 ) 人臉的檢測：處理分析從圖像獲取模塊輸入的圖像，檢測出人臉的存在并確定 其位置，并且將人臉從背景圖像中分離出來。對于視頻圖像，不僅要求檢測出人臉位置， 還要求能夠跟蹤人臉。不同的圖像輸入條件，對該模塊的設計提出了不同的要求。近年人 臉檢測和跟蹤己經作為一個獨立的研究課題受到很多研究者的重視。 4 南京郵電大學碩士研究生學位論文 第一章緒論 人臉檢測的眾多方法都是建立在對各種面部的特征信息進行分析的基礎上的。它們從 分析處理各種特征信息的角度給出了不同的人臉檢測思路。這些待分析的特征包括膚色特 征、輪廓特征、灰度分布特征、鑲嵌圖劃分特征、對稱性結構特征等。建立在對這些特征 信息進行分析基礎上的解決人臉檢測問題的方法包括：基于邊緣的方法【3 1 , 3 2 1 、基于顏色信 息( 或灰度信息) 的方法【3 3 - 3 5 、基于運動信息的方法1 3 6 , 3 7 1 、基于形變模型的方法【3 o l 、基于 線性空間的方法【4 1 , 4 2 、基于機器學習的方法 4 3 , 4 4 】等。 基于形變模型方法需要使用者為它提供較接近實際人臉區(qū)域的初始位置，這種對于初 始位置的敏感性使得它的應用受到了一些限制。線性空間方法采用矩陣分析理論處理人臉 檢測問題，但是由于它無法體現(xiàn)人臉圖像中各個器官之間的拓撲關系以及入臉五官的灰度 信息特征使得該類方法存在一些欠缺。近些年來，機器學習在模式分類、信號估計與檢測、 函數(shù)擬合方面取得了較大的進展。 ( 3 ) 面部表情特征提取：即采取何種表示方式表示己被檢測出的表情圖像或數(shù)據(jù)庫 中的面部表情圖像，包括預處理和特征提取兩部分。預處理的主要對檢測到的人臉圖像進 行歸一化、校正等處理，為后面的特征提取創(chuàng)造條件。人臉表情特征提取是根據(jù)人臉描繪 方法不同而采用不同的特征提取方法進行的面部表情信息的提取，提取出的內容被用來進 行后續(xù)的表情分類。特征提取通常會縮減輸入空間的維數(shù)，縮減程序應該保留本質的信息， 并擁有較高的判別能力和穩(wěn)定性?；趲缀蔚?、運動的、統(tǒng)計的或者空間變換的特征常用 來作為在分類前的面部表情的可供選擇的表示方法【4 5 1 。 人臉表情特征提取的方法按其所使用圖像的類型不同可分為兩類：一類是靜態(tài)圖像中 的人臉表情特征數(shù)據(jù)提取，另一類是序列圖像中的人臉表情特征提取。靜態(tài)圖像中人臉表 情特征數(shù)據(jù)提取方法包括全局人臉特征提取和人臉局部特征提取，全局人臉特征提取方法 包括基于點分布模型的方法( p d m ) 、基于混沌調制矢量的方法( c m v ) 、基于小波分析的 方法、p c a 分析以及使用支持向量機( s u p p o r tv e c t o rm a c h i n e ) 的方法?；诰植刻卣鞯?人臉表情特征提取方法一般根據(jù)瞳孔和上人中的幾何關系，使用圖像處理的手段對突出特 征如眉毛、眼睛、鼻子、嘴、輪廓和皺紋等特征進行檢測。圖像序列具有良好的時空特性， 因此圖像運動的局部參數(shù)模型( p m l p ) 可以用來進行特征提取。基于特征點的光流模型、 基于密度流的像素跟蹤模型、p c a 分析方法、勢網格模型、特征臉方法、局部特征區(qū)域跟 蹤等方法都得到了應用。 ( 4 ) 面部表情的情感分類：也可稱為分類器設計。此過程結束后將生成可用于識別 的參數(shù)，也就是可用于分類識別的分類器。事實上，模式識別問題可以看成是一個分類問 題，即把待識別的對象歸到某一類中。在表情識別問題中就是把輸入的不同的表情歸入某 s 南京郵電大學碩士研究生學位論文 第一章緒論 一類。這部分的基本方法是在樣本訓練集基礎上確定某個判決規(guī)則，使按這種判決規(guī)則對 被識別對象進行分類所造成的錯誤識別率最小或引起的損失最小。最后根據(jù)訓練所得的參 數(shù)完成表情的判別工作，給出最后的識別結果，并做出相應的判斷。這一過程也是表情識 別的研究重點，核心是選擇與所用的表情描述方式適合的分類策略。 目前用于表情分類的方法可以分為兩類：時域空域方法( s p a t i o t e m p o r a la p p r o a c h e s ) 和空域方法( s p a t i a la p p r o a c h e s ) 。時域空域方法：考慮了表情隨時間的變化，即時域上和 空間上的表情變化信息：可用隱馬爾可夫模型、自回歸神經網絡【2 5 l ( r e c u r r e n tn e u r a l n e t w o r k s ) 、時空運動能量模板 4 6 ( s p a t i o t e m p o r a lm o t i o n e n e r g yt e m p l a t e s ) 等方法對表情動態(tài) 信息進行建模。空域方法：只使用特征向量不使用時間信息的分類方法，包括神經網絡方 法【4 7 銣】、基于規(guī)則推理的方法【5 1 , 5 2 】、子空間方法【5 4 1 、支持向量機方法【5 3 , 5 4 1 等。此外還有最 近鄰類器( n e a r e s t n e i g h b o r ，n n ) t 5 5 1 ，m o g h a d d m a t 5 6 】提出一種基于貝葉斯的人臉識別方法， c a l d e r 等人【5 7 】使用主成分分析進行表情識別，c h e n 和h u a n g t 5 8 】貝u 采用聚類( c l u s t e 血g ) 方法 構造分類器。 。 1 2 3 基于支持向量機的表情識別 作為最有效的模式識別算法之一，支持向量機( s u p p o r tv e c t o rm a c h i n e ，s v m ) 是近幾 年來發(fā)展起來的一種強有力的分類工具，在人臉識別中得到了大量應用，很多研究表明， 使用支持向量機進行人臉識別能夠獲得很高地識別率。支持向量機是貝爾實驗室研究人員 v v p a n i k 等人在對統(tǒng)計學習理論進行了三十多年研究的基礎上提出的一種全新的機器學習 算法，它使統(tǒng)計學習理論第一次對實際應用產生了重大影響，伴隨s v m 在模式識別領域的 成功應用使核技術也獲得了廣泛的應用。 對于計算機來說，模式識別是一項非常困難的任務。其難點主要來源于以下兩個困難： ( 1 ) 維數(shù)災難，即模式的高維度和訓練機的小規(guī)模所引發(fā)的困境。模式的維數(shù)越高，所 需訓練樣本越多。在現(xiàn)實應用中，我們能夠擁有的訓練樣本數(shù)往往遠遠少于所需樣本數(shù)； ( 2 ) 訓練樣本缺乏代表性，即訓練樣本的有限性和未知測試樣本的無限性所引發(fā)的困境。 這導致分類器要么過擬和，要么擬和不足，難以獲得令人滿意的泛化性能。而s v m 基于統(tǒng) 計學習理論的結構風險最小化原則，將基于最大化邊界m a r g i n 獲得的分類超平面思想與基 于核技術的方法結合在一起，表現(xiàn)出了很好的泛化能力。s v m 具有組特殊的稱為支持向 量的樣本，可以通過尋找一個超平面使待分類的樣本盡可能分開，且分類間隔最大。由于 s v m 有統(tǒng)計學習理論作為堅實的數(shù)學基礎，所以它可以很好地克服維數(shù)災難和過擬合等傳 6 南京郵電大學碩士研究生學位論文第一章緒論 統(tǒng)算法所不可避免的問題。對于人臉識別來講，s v m 已經成為一種有效的分類工具。 盡管如此，目前在s v m 的訓練和實現(xiàn)技術方面仍然存在一些困難和問題：s v m 中核函 數(shù)的選擇將影響分類器的性能，如何根據(jù)待解決問題的先驗知識和實際樣本數(shù)據(jù)，選擇和 構造合適的核函數(shù)、確定核函數(shù)的參數(shù)等問題都缺乏相應的理論指導；如何解決大規(guī)模數(shù) 據(jù)集的訓練速度與規(guī)模之間的矛盾。測試速度與支持向量數(shù)目之間的矛盾：雖然多類s v m 的訓練算法己被提出，但用于多分類問題的有效算法、多類s v m 的優(yōu)化設計仍是需要進一 步研究的問題。 1 3 本文的研究內容 本文重點是多分類支持向量機算法及其在新生兒疼痛面部表情識別領域的應用，針對 這些問題本文主要研究內容有： ( 1 ) 研究了兩類支持向量機的基本理論，通過對三組數(shù)據(jù)集的實驗對其核函數(shù)及其 參數(shù)的選擇過程進行了分析； ( 2 ) 對當前常見的6 種多分類s v m 方法進行了系統(tǒng)的研究，從訓練和預測兩方面分析 比較了這些多分類s v m 方法的性能，實現(xiàn)了幾種常用的s v m 多分類器，并通過相同的數(shù)據(jù) 庫對其實驗結果進行了比較； ( 3 ) 在深入研究基于決策樹算法的基礎上，針對二叉樹算法的誤差累積效應問題， 首先用聚類方法中的類間距離設計了二叉樹結構，分析其缺點后，接著進一步提出了基于 最優(yōu)分類面的類間分離度，用其對二叉樹s v m 多分類( b t - s v m s ) 方法進行改進，同時通 過實驗證明了改進的合理性以及可行性； ( 4 ) 根據(jù)二叉樹s v m 多分類方法設計了新生兒面部表情識別多類分類器，并采用一 對一s v m s 、一對多s v m s 、d d a g s v m s 、b t - s v m s 與改進后的b t s v m s 方法分別對新生 兒的4 類表情( 安靜、哭、輕度疼痛和劇烈疼痛) 進行實驗，根據(jù)每種多類算法選擇s v m 多類分類器最佳核函數(shù)，交叉驗證各種算法的識別率，在考慮訓練時間和識別率兩方面的 要求后，選擇其中最理想的多分類算法作為新生兒疼痛面部表情的多類識別模型。 1 4 本文的章節(jié)安排 本課題主要是使用支持向量機( s v m ) 的方法來識別出新生幾的不同程度疼痛與非疼 痛等多種面部表情，主要內容如下： ( 1 回顧了新生兒疼痛與表情識別系統(tǒng)的研究狀況，簡要介紹了表情識別系統(tǒng)的三 7 南京郵電大學碩士研究生學位論文第一章緒論 個核心環(huán)節(jié)，在機器學習和統(tǒng)計學習的理論基礎上詳細介紹了s v m 方法的理論和算法。 ( 2 ) 詳細的研究和分析了多分類s v m 算法，尤其對基于二叉樹結構的多分類s v m 方 法做了進一步的研究，并針對其結構上易產生誤差累積的缺點，根據(jù)類間距離構造二叉樹 結構，并提出了基于最優(yōu)分類面的類間分離度的方法對其改進，通過實驗證明了改進算法 的合理性以及可行性。 ( 3 ) 采集新生兒圖像，建立一個具有4 0 0 幅新生兒圖像的面部表情庫。 ( 4 ) 針對s v m 模型選擇難的問題，本文使用交叉驗證與網格搜索相結合的方法來確 定s v m 的模型。 ( 5 ) 分別對新生兒的安靜、哭、疼痛時表現(xiàn)出的表情進行了多類識別與分析。通過 對實驗結果的分析得出如下結論：本文使用的s v m 多分類方法針對新生兒疼痛面部表情多 類識別能夠獲得很好的識別率。 本文的章節(jié)安排： 第一章緒論。綜述課題的選題依據(jù)與研究意義，國內外關于新生兒疼痛和表情識別 方面的研究現(xiàn)狀及發(fā)展趨勢，以及基于s v m 的表情識別，并介紹本文的主要研究內容和 總體組織結構。 第二章支持向量機的相關理論。簡要介紹了機器學習的基本問題與方法、統(tǒng)計學習 理論的基礎；詳細介紹支持向量機的理論：支持向量機在線性與非線性情形下獲得最優(yōu)分 類面的理論知識、在線性不可分的情況下使用的核函數(shù)類型，以及算法的實現(xiàn)；并通過實 驗說明二分類s v m 選擇核函數(shù)與參數(shù)的過程。 第三章多分類s v m 算法研究。本章深入研究了現(xiàn)有的多種多分類s v m 方法，分析 各種算法的優(yōu)缺點，對各個性能進行比較；詳細介紹了基于決策樹的多分類方法，并且針 對基于二叉樹結構的多分類s v m 方法進行了有效的改進，最后通過仿真結果與真實數(shù)據(jù) 證明了改進的合理性。 第四章基于多分類s v m 的新生兒疼痛表情多類識別。本章將多分類s v m 方法運用 到實際的新生兒疼痛表情識別與等級分類問題當中，應用二叉樹多分類s v m 方法及其改 進算法建立了一個新的疼痛表情多類識別模型，在實驗中與其它常見的多分類s v m 方法 相比，獲得了更好的性能，通過實驗數(shù)據(jù)證明了該結論。 第五章總結與進一步展望。對本文工作進行歸納總結并展望了課題的進一步研究方 向。 8 南京郵電大學碩士研究生學位論文 第二章人臉表情識別系統(tǒng)的相關理論 第二章支持向量機的相關理論 2 1 統(tǒng)計學習理論 機器學習一直是一個非常熱門的話題。而機器學習領域中的核心問題就是如何讓機器 有效的模仿人類的學習以及推理能力。換句話說，機器學習最主要的任務就是研究如何從 已知數(shù)據(jù)( 即樣本集) 中尋找規(guī)律，并利用這些規(guī)律對未知的或者無法觀測的數(shù)據(jù)進行有 效和準確的預i 9 l , t j z 5 9 1 。 傳統(tǒng)統(tǒng)計學是絕大多數(shù)機器學習方法的重要理論基礎。但在實際應用問題中，這些基 于傳統(tǒng)統(tǒng)計學的機器學習方法并沒有取得令人信服的結果，主要有兩個原因： ( 1 ) 由于傳統(tǒng)統(tǒng)計學假定樣本的分布形式是已知的，僅僅利用已知數(shù)據(jù)對給定形式 的參數(shù)進行簡單的預測，而在許多實際問題中，樣本的分布形式是未知的，因此預測值與 真實值之間可能有很大的偏差； ( 2 ) 傳統(tǒng)統(tǒng)計學的另一個核心思想是漸近理論，它需要足夠多的樣本數(shù)目，這在實 際當中往往也難以辦到，所以進一步導致了預測結果的不理想。 因此產生了一種新的理論統(tǒng)計學習理論，它是一種專門研究有限樣本( 甚至是小 樣本) 情況下機器學習規(guī)律的理論，不再需要先假定樣本的分布形式。由于這兩個特點， 使統(tǒng)計學習理論在許多實際問題中表現(xiàn)出了優(yōu)于傳統(tǒng)統(tǒng)計學的性能，從而迅速成為了研究 有限樣本情形下機器學習問題的最主要工具。在此基礎上發(fā)展出一種新的模式識別方法一 一支持向量機( s u p p o r t v e c t o r m a c h i n e ，簡稱s v 加【6 0 ，6 ，該方法最早的出現(xiàn)是為了解決模 式識別中的二值分類問題，而它在解決小樣本、非線性及高維模式識別問題中表現(xiàn)出的許 多特有的優(yōu)勢，使其成為了當前研究的熱點。 s v m 應用涵蓋了三類問題：模式識別、回歸分析和密度估計。本文主要研究模式識別 問題，本章下面的幾節(jié)將分別從機器學習、支持向量機理論及其算法實現(xiàn)幾個方面來討論。 2 1 1 機器學習問題的表示 機器學習的目的是利用有限數(shù)量的觀測樣本來估計一個系統(tǒng)的輸入輸出之間的依賴 關系，使它能夠對未知輸出做出盡可能準確的預測。這種依賴關系稱作機器學習，它能夠 9 南京郵電大學碩士研究生學位論文第二章人臉表情識別系統(tǒng)的相關 星堡 實現(xiàn)一定的函數(shù)集f ( x ，緲) ，緲甲，甲為參數(shù)集合。 輸入戈與輸出y 之間的未知依賴關系可以看作是一個未知的聯(lián)合概率分布f ( x ，y ) 。根 據(jù)聯(lián)合分布f ( x ，y ) 隨機抽取z 個獨立同分布的觀測樣本 ( 五，咒) ，( 屯，y 2 ) ，( 而，乃) ( 2 1 ) 組成訓練集t 。學習問題就是在給定的函數(shù)集合 o 所對應的樣本滿足式( 2 8 ) 中的等式約束，這就是支持向量。支持向量距最 優(yōu)超平面最近，通常只是全體樣本中的很少的一部分，是對分割兩類非常重要的樣本點。 求得最優(yōu)解= ( 口1 ，) t ，則 國。= 呸y i x t ， 選擇口的一個正分量q ，據(jù)此計算分類閾值礦： 6 ：乃一國_ = 乃一n 咒( 葺) ； 得到的最優(yōu)分類決策函數(shù)為： 1 6 ( 2 1 6 ) ( 2 1 7 ) 南京郵電大學碩士研究生學位論文第二章人臉表情識別系統(tǒng)的相關理論 m ) = 聊( ( 國“) = 聊陲q 地訓“) c 9 s g n ( x ) = ! 1 x x 。o ，式中的求和實際上只對支持向量求和。 ( 2 1 8 ) 2 線性不可分的最優(yōu)分類面 若訓練數(shù)據(jù)集線性不可分，即某些樣本不能滿足( 2 8 ) 式的條件，可以在條件( 2 8 ) 中增加一個松弛項毒0 ，f = 1 ，2 ，玎，約束條件( 2 8 ) 變?yōu)椋?只( ( 砂蔫) + 6 ) k l - 考, ，= 】 z 葉瑪 ( 2 1 9 ) 顯然，當戔充分大，樣本點( 葺，以) 當總可以滿足上述約束條件。但應該避免參取太大 的值。所以需在目標函數(shù)里對它們進行懲罰，比如在目標函數(shù)中加入含有毒的一項，這 f 導致最優(yōu)問題改為： 魄：圭1 1 國1 1 2 + c 喜最 s u b j e c t t o ：y f ( c a ) + 6 】1 一磊，i = l ，2 ，力， 魯0 ，i = 1 ，2 ，挖 其中，c 0 是一個懲罰參數(shù)，控制對錯分樣本懲罰的程度。 引入l a 舒鋤g e 函數(shù)有： 三( 國，6 ，毒嗎，) = 丟。國1 1 2 + c 窆六一窆【咒( 國葺+ 6 ) 一1 + 毒卜窆磊 其中，：為l a g m g e 乘子，0 ，o ，由此得到 罷一喜= 。 蓋一喜一。 娑：c q 一，；：o 將( 2 2 4 ) 。( 2 2 5 ) ( 2 2 6 ) 代入( 2 2 3 ) ，對口求極大，得對偶問題： 1 7 ( 2 2 0 ) ( 2 2 1 ) ( 2 2 2 ) ( 2 2 3 ) ( 2 2 4 ) ( 2 2 5 ) ( 2 2 6 ) 南京郵電大學碩士研究生學位論文 第二章人臉表情識別系統(tǒng)的相關理論 啞n ：丟喜喜口，哆只乃e ，一喜鬈， s u b j e c t t o ：只= o 0 q c ，i = l ，2 ，刀 ( 2 ，2 7 ) ( 2 2 8 ) ( 2 ，2 9 ) 最優(yōu)化求解得到的嘭可能的值是：q = 0 0 a t c q 。二c ，后兩者所對應的 毛為支持向量。由( 2 1 6 ) 式可知只有支持向量對緲有貢獻，也就是對最優(yōu)超平面、決策 函數(shù)有貢獻，對應的學習方法稱之為支持向量機。在支持向量中，所對應的毛稱為邊界 支持 - 量( b o u n d a r ys u p p o r tv e c t o r , b s v ) ，實際上是錯分的訓練樣本點，所對應的毛稱為 標準支持向量( n o r m a ls u p p o r tv e c t o r , n s v ) 。 計算國= z 咒毛 l = l 選擇口的一個正分量0 哆 c ，據(jù)此計算 b 。= 乃一窆西m ( 再x j ) ， ( 2 3 0 ) ( 2 3 1 ) 由此求得決策函數(shù)廠( x ) = 聊( 沏x ) + 礦) 。 但是這種方法并不適用于所有的線性不可分情況。當不滿足約束條件( 2 6 ) 的