面部表情識別

面部表情識別第一頁，共五十五頁，2022年，8月28日研究現(xiàn)狀國際上對人臉面部表情識別的研究現(xiàn)在逐漸成為科研熱點。國內(nèi)外很多機構(gòu)都在進行這方面的研究,尤其美國、日本。進入90年代,對人臉表情識別的研究變得非?；钴S,吸引了大量的研究人員和基金支持,EI可檢索到的相關(guān)文獻就多達數(shù)千篇。美國、日本、英國、德國、荷蘭、法國等經(jīng)濟發(fā)達國家和發(fā)展中國家如印度、新加坡都有專門的研究組進行這方面的研究。其中MIT、CMU、Maryland大學、Standford大學、日本城蹊大學、東京大學、ATR研究所的貢獻尤為突出。國內(nèi)國內(nèi)的清華大學、哈爾濱工業(yè)大學、中科院、中國科技大學、南京理工大學、北方交通大學等都有人員從事人臉表情識別的研究

第二頁，共五十五頁，2022年，8月28日目前面部表情識別的主要方法：基于模板匹配的面部表情識別方法基于神經(jīng)網(wǎng)絡(luò)的面部表情識別方法基于規(guī)則的人臉面部表情識別方法基于隨機序列模型的面部表情識別方法其他方法，比如支持向量機，小波分析等第三頁，共五十五頁，2022年，8月28日論文主要工作介紹了信息融合在面部表情識別應(yīng)用的三個層次模型探索了基于單特征單分類器的面部表情識別將支持向量機理論和信息融合理論結(jié)合在一起，提出基于基于SVM的多特征多分類器融合的面部表情識別將徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)用于面部表情特征的融合上，提出基于RBF網(wǎng)絡(luò)的多特征融合的面部表情識別第四頁，共五十五頁，2022年，8月28日面部表情識別：一般可描述為給定一個靜止人臉圖像或者動態(tài)的人臉圖像序列，利用已有的人臉表情數(shù)據(jù)庫確定圖像中的一個人或者多個人的面部表情，研究內(nèi)容包括以下三方面：人臉檢測:即從各種不同的場景中檢測出人臉的存在并確定其位置.面部表情特征提取:即確定表示檢測出的人臉表情和數(shù)據(jù)庫中的已有的人臉面部表情的描述方式。通常的表示方式包括幾何特征、代數(shù)特征、固定特征模板、云紋圖、3D網(wǎng)格等。面部表情識別：就是將待識別的人臉面部表情和數(shù)據(jù)庫中的已知人臉面部表情比較，得出相關(guān)信息。這一過程是選擇適當?shù)娜四樏娌勘砬楸硎痉绞脚c匹配策略

第五頁，共五十五頁，2022年，8月28日論文主要工作介紹了信息融合在面部表情識別應(yīng)用的三個層次模型探索了基于單特征單分類器的面部表情識別將支持向量機理論和信息融合理論結(jié)合在一起，提出基于基于SVM的多特征多分類器融合的面部表情識別將徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)用于面部表情特征的融合上，提出基于RBF網(wǎng)絡(luò)的多特征融合的面部表情識別第六頁，共五十五頁，2022年，8月28日信息融合與面部表情分析信息融合就是把來自多個信息源的目標信息合并歸納為一個具有表示形式輸出的推理過程,其基本的出發(fā)點是通過對這些信息源所提供的信息的合理支配和使用,利用多個信源在時間或空間上的冗余性和互補性對這些信息進行綜合處理,以獲得對被測對象具有一致性的解釋和描述,使得該信息系統(tǒng)獲得比它得各個組成部分更優(yōu)越的性能。人臉面部表情識別包含大量的變量,反映待識別目標各要素的非度量形式允許許多類型的表示技術(shù),每一種技術(shù)又可以采用不同的方法進行計算。

第七頁，共五十五頁，2022年，8月28日基于信息融合面部表情識別的三個模型基于像素層融合的面部表情識別

基于特征層融合的面部表情識別

基于決策層融合的面部表情識別第八頁，共五十五頁，2022年，8月28日基于像素層融合的面部表情識別這種方法對每幅圖像預處理之前進行像素層融合后,得到一個融合的人臉圖像數(shù)據(jù),并在此基礎(chǔ)上再進行特征提取和面部表情識別。第九頁，共五十五頁，2022年，8月28日基于特征層融合的面部表情識別這種方法對每個傳感器的觀測數(shù)據(jù)進行特征的抽取以得到一個特征向量,然后把這些特征向量融合起來并根據(jù)融合后得到的特征向量進行面部表情識別及判定。

第十頁，共五十五頁，2022年，8月28日基于決策層融合的面部表情識別這種方法對每個傳感器都執(zhí)行面部表情特征提取和面部表情識別，然后對多個識別結(jié)果進行信息融合從而得出一個面部表情判決結(jié)果,再融合來自每個傳感器的面部表情判決。

第十一頁，共五十五頁，2022年，8月28日論文主要工作介紹了信息融合在面部表情識別應(yīng)用的三個層次模型探索了基于單特征單分類器的面部表情識別將支持向量機理論和信息融合理論結(jié)合在一起，提出基于基于SVM的多特征多分類器融合的面部表情識別將徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)用于面部表情特征的融合上，提出基于RBF網(wǎng)絡(luò)的多特征融合的面部表情識別第十二頁，共五十五頁，2022年，8月28日基于單特征單分類器的面部表情識別基于神經(jīng)網(wǎng)絡(luò)級聯(lián)的面部表情識別基于幾何特征的面部表情識別基于均值主元分析的面部表情識別第十三頁，共五十五頁，2022年，8月28日基于神經(jīng)網(wǎng)絡(luò)級聯(lián)的面部表情識別網(wǎng)絡(luò)級聯(lián)的面部表情識別結(jié)構(gòu)BP網(wǎng)絡(luò)的算法流程網(wǎng)絡(luò)級聯(lián)的面部表情識別的實驗結(jié)果第十四頁，共五十五頁，2022年，8月28日網(wǎng)絡(luò)級聯(lián)的面部表情識別結(jié)構(gòu)第十五頁，共五十五頁，2022年，8月28日網(wǎng)絡(luò)級聯(lián)的面部表情識別流程第十六頁，共五十五頁，2022年，8月28日網(wǎng)絡(luò)級聯(lián)的面部表情識別的實驗結(jié)果在兩個數(shù)據(jù)庫上進行實驗，從耶魯大學的YaleFace數(shù)據(jù)庫中選取60幅人臉圖像，共15個人，4幅/人，其中訓練樣本56幅，14個人，4幅/人，測試樣本為剩下的4幅圖像，1個人，4/人，通過隨機變換訓練樣本和測試樣本，我們重復15次這樣的實驗。從日本女性表情數(shù)據(jù)庫中（JAFFE）選取120幅圖像，共10個人，12幅/人，其中84幅圖像作為訓練樣本，7個人，12幅/人，測試樣本為36幅圖像，3個人，12幅/人。通過隨機變換訓練樣本和測試樣本，我們重復10次這樣的實驗。

第十七頁，共五十五頁，2022年，8月28日日本女性表情數(shù)據(jù)庫上的實驗SOFM權(quán)值向量圖BP網(wǎng)絡(luò)性能圖表情類型識別結(jié)果Happy76.7%Normal73.3%Sad70%Surprise80%第十八頁，共五十五頁，2022年，8月28日YaleFace數(shù)據(jù)庫上的實驗SOFM權(quán)值向量圖BP網(wǎng)絡(luò)性能圖表情類型實驗結(jié)果Happy66.7%Normal73.3%Sad60%Surprise80%第十九頁，共五十五頁，2022年，8月28日基于單特征單分類器的面部表情識別基于神經(jīng)網(wǎng)絡(luò)級聯(lián)的面部表情識別基于幾何特征的面部表情識別基于均值主元分析的面部表情識別第二十頁，共五十五頁，2022年，8月28日基于幾何特征的面包表情識別面部特征點幾何特征向量的形成識別流程實驗結(jié)果第二十一頁，共五十五頁，2022年，8月28日面部特征點第二十二頁，共五十五頁，2022年，8月28日幾何特征的形成第二十三頁，共五十五頁，2022年，8月28日基于幾何特征的面部表情識別流程1.在人臉圖像上標記24個面部特征點.2.按照上表得到12個測量距離,對測量距離按上面的公式進行歸一化處理得到12維局部特征3.讀入人臉庫。讀入每一個人臉圖像幾何特征數(shù)據(jù)并轉(zhuǎn)化為一維的向量，對于一個表情的人臉圖像，選擇一定數(shù)量的圖像構(gòu)成訓練集，其余的構(gòu)成測試集。4.把所有測試圖像和訓練圖像進行比較，確定待識別的樣本的所屬類別。本文采用最近距離分類器進行識別

第二十四頁，共五十五頁，2022年，8月28日兩個數(shù)據(jù)庫上的實驗結(jié)果YaleFace數(shù)據(jù)庫日本女性表情數(shù)據(jù)庫表情類型實驗結(jié)果Happy73.3%Normal66.7%Sad60%Surprised73.3%表情類型識別結(jié)果Happy76.7%Normal70%Sad73.3%Surprised80%第二十五頁，共五十五頁，2022年，8月28日基于單特征單分類器的面部表情識別基于神經(jīng)網(wǎng)絡(luò)級聯(lián)的面部表情識別基于幾何特征的面部表情識別基于均值主元分析的面部表情識別第二十六頁，共五十五頁，2022年，8月28日基于均值主元分析的面部表情識別主元分析主元分析的改進：均值主元分析面部表情識別流程實驗結(jié)果第二十七頁，共五十五頁，2022年，8月28日主元分析考慮維圖像空間的個人臉圖像,每個樣本屬于類中的一類,考慮將維特征空間投影到維特征空間的線性變換。用表示列向量正交的矩陣。變換后的新的向量,由下式線性變換定義:

總離散度矩陣:

其中是所有樣本的平均值，經(jīng)過線性變換得到的新的特征向量的離散度是。PCA選擇最優(yōu)的投影變換:

是按照降序排列的前個特征值對應(yīng)的特征向量，這種變換變化就稱為主元分析。由所組成的空間就是面部表情特征空間。第二十八頁，共五十五頁，2022年，8月28日主元分析的改進：均值主元分析傳統(tǒng)的主元分析的產(chǎn)生矩陣是協(xié)方差矩陣,也叫總體離散布矩陣,總體離散布矩陣是有兩部分組成:類間離散布矩陣和類內(nèi)離散布矩陣，而改進算法只考慮類間離散度矩陣。設(shè)訓練樣本集共有N個訓練樣本,分為c類,為第i樣本的數(shù)目,其中是表示第個人臉圖像的列向量。每一類的均值為：

總均值為：

類間離散度矩陣：

相對于傳統(tǒng)的主元分析,其基本區(qū)別是以每一類的平均值代替類內(nèi)的具體圖像,我們稱為MPCA。由于每一類平均值是類內(nèi)圖像的一個線性疊加,因此每一類的平均值必然保留了相當?shù)母骶唧w圖像的變化特征,換句話說,對各圖像的變化特征進行了一定程度的壓縮處理，而且保留的特征更有利于表情模式的識別。關(guān)于這一點我們將在后面的實驗中加以說明，用每一類的平均值代替類內(nèi)的具體圖像的另一個明顯的好處就是訓練時間明顯降低。第二十九頁，共五十五頁，2022年，8月28日面部表情識別流程1.人臉圖像預處理。主要包括幾何歸一化和灰度歸一化。2.讀入人臉庫。讀入每一個二維的人臉圖像數(shù)據(jù)并轉(zhuǎn)化為一維的向量，對于一個表情的人臉圖像，選擇一定數(shù)量的圖像構(gòu)成訓練集，其余的構(gòu)成測試集，假定圖像的大小是w*h（w和h分別維圖像的寬度和高度），用于訓練的人臉個數(shù)是n1，測試的圖像個數(shù)是n2，令m=w*h，則訓練集m*n1是一個的矩陣，測試集是m*n2的矩陣。第幅人臉可以表示為：3.計算每一類的均值、總均值和類間離散度矩陣。4.取類間離散度矩陣為KL變換生成矩陣，進行KL變換。5.計算生成矩陣的特征值和特征向量，構(gòu)造特征子空間。首先把特征值從大到小進行排序，同時，其對應(yīng)的特征向量的順序也作相應(yīng)的調(diào)整。然后選取其中一部分構(gòu)造特征子空間。特征向量具體選取多少，本文采取實驗的方法進行確定。6.把訓練圖像和測試圖像投影到上一步驟構(gòu)造的特征子空間中。每一幅人臉圖像投影到特征子空間以后，就對應(yīng)于子空間中的一個點。同樣，子空間中的任一點也對應(yīng)于一幅圖像。7.把投影到子空間中的所有測試圖像和訓練圖像進行比較，確定待識別的樣本的所屬類別。本文采用最近鄰距離分類器進行識別。第三十頁，共五十五頁，2022年，8月28日實驗結(jié)果YaleFace數(shù)據(jù)庫MPCA和PCA比較日本女性表情數(shù)據(jù)庫表情類型PCA識別結(jié)果MPCA識別結(jié)果Happy66.7%73.3%Normal73.3%73.3%Sad60%66.7%Surprised73.3%80%比較項目MPCAPCA主元數(shù)目3842訓練時間0.090.25表情類型PCA識別結(jié)果MPCA識別結(jié)果Happy76.7%80%Normal73.3%76.7%Sad70%73.3%Surprised80%83.3%第三十一頁，共五十五頁，2022年，8月28日論文主要工作介紹了信息融合在面部表情識別應(yīng)用的三個層次模型探索了基于單特征單分類器的面部表情識別將支持向量機理論和信息融合理論結(jié)合在一起，提出基于基于SVM的多特征多分類器融合的面部表情識別將徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)用于面部表情特征的融合上，提出基于RBF網(wǎng)絡(luò)的多特征融合的面部表情識別第三十二頁，共五十五頁，2022年，8月28日基于基于SVM的多特征多分類器融合的面部表情識別基于SVM信息融合的面部表情識別結(jié)構(gòu)支持向量機和最優(yōu)超平面SVM融合原理SVM融合函數(shù)以及融合模型幾種常用的核函數(shù)基于SVM信息融合的面部表情識別流程實驗結(jié)果第三十三頁，共五十五頁，2022年，8月28日基于SVM信息融合的面部表情識別結(jié)構(gòu)本文結(jié)合整體特征建模、局部特征建模和多分類器信息融合的優(yōu)勢，提出一種基于支持向量機（SVM）的信息融合方法進行人臉表情識別。為了提高識別系統(tǒng)的識別率和識別系統(tǒng)的魯棒性，充分的利用人臉的圖像的各種信息，我們對預前處理后的人臉圖像提取局部表情特征和整體表情特征，然后對不同的類型的特征采用不同的分類器對人臉表情進行初步的分類，最后構(gòu)造一個3階多項式的支持向量機來對多個分類器的輸出進行信息融合，以便到達人臉表情識別的目的。識別結(jié)構(gòu)如下：第三十四頁，共五十五頁，2022年，8月28日第三十五頁，共五十五頁，2022年，8月28日基于基于SVM的多特征多分類器融合的面部表情識別基于SVM信息融合的面部表情識別結(jié)構(gòu)支持向量機和最優(yōu)超平面SVM融合原理SVM融合函數(shù)以及融合模型幾種常用的核函數(shù)基于SVM信息融合的面部表情識別流程實驗結(jié)果第三十六頁，共五十五頁，2022年，8月28日支持向量機和最優(yōu)超平面支持向量機(SVM)是一種基于結(jié)構(gòu)風險最小化原則的學習方法,它可以用來解決三大問題:模式識別、函數(shù)的回歸估計及分布密度函數(shù)的估計。本課題應(yīng)用支持向量機來探索多特征多分類器融合的面情識別問題,即從有限的訓練樣本中提取融合規(guī)則,使得該規(guī)則對于獨立的測試樣本具有較小的誤差。

假定訓練數(shù)據(jù)，，可以被一個超平面分開,該平面的方程為:

如果訓練集沒有被錯誤地劃分,而且離超平面最近的向量與超平面之間的距離最大,則稱該超平面為最優(yōu)超平面,如下圖5所示。

第三十七頁，共五十五頁，2022年，8月28日先對參數(shù)和施加約束條件:

對于全體訓練樣本,則下列不等式成立

最優(yōu)超平面使得下式取得最小的超平面通過對上式的優(yōu)化問題求解，可得一組解,并且該解滿足下列各式:只有支持向量的系數(shù)才可能為非零值，所以可以表示為：并且，對于任意的支持向量，都有：

第三十八頁，共五十五頁，2022年，8月28日基于基于SVM的多特征多分類器融合的面部表情識別基于SVM信息融合的面部表情識別結(jié)構(gòu)支持向量機和最優(yōu)超平面SVM融合原理SVM融合函數(shù)以及融合模型幾種常用的核函數(shù)基于SVM信息融合的面部表情識別流程實驗結(jié)果第三十九頁，共五十五頁，2022年，8月28日SVM融合原理假設(shè)有個分類器，若已經(jīng)取得個決策樣本值以及實際的決策值：其中表示對于第i個輸入樣本圖像，這n個分類器作出的決策矢量,是對應(yīng)第輸入樣本圖像的標簽.要求能根據(jù)這組樣本值，找到一個適當?shù)娜诤虾瘮?shù)，使得對于確定的損失函數(shù)具有最小的期望風險,從信息變換的角度來看，多分類器起到把輸入的人臉圖像映射到?jīng)Q策空間的作用。為了很好的識別人臉表情，基于支持向量機的決策融合應(yīng)作如下處理：首先，將多種分類器的決策通過非線性映射映射到一個高維空間中去,然后，在高維空間中進行線性回歸。綜合上述兩個過程，得到融合后的決策為：

5.12其中，為普通的向量內(nèi)積運算。第四十頁，共五十五頁，2022年，8月28日SVM融合函數(shù)以及融合模型

融合函數(shù)可表示為

其中是屬性空間向量內(nèi)積形式：

第四十一頁，共五十五頁，2022年，8月28日幾種常用的核函數(shù)

線性函數(shù)

P多項式核函數(shù)

高斯徑向基函數(shù)(RBF)核函數(shù)多層感知器(MLP)核函數(shù)第四十二頁，共五十五頁，2022年，8月28日基于SVM信息融合的面部表情識別流程1.在人臉圖像上標記24個面部特征點.2.按照29頁表得到12個測量距離,對測量距離按29頁的公式進行歸一化處理得到12維局部特征3.對人臉圖像進行純臉切割,縮放,形狀歸一化和灰度歸一化

4.基于神經(jīng)網(wǎng)絡(luò)級聯(lián)的面部表情識別結(jié)果為分類器1的結(jié)果，5.基于幾何的特征的面部表情識別結(jié)果為分類器2的結(jié)果6.基于均值主元分析的面部表情識別結(jié)果為分類器四的結(jié)果7.構(gòu)造一個三階多項式支持向量機,即用式5.20作為核函數(shù),其中取3，利用一對多原則進行表情識別,支持向量機的輸入對應(yīng)分類器1,2,3,4的輸出。結(jié)果對于四種表情的二進制編碼，即00-----Happy,01----Normal,10------Sad,11------Surprised。

第四十三頁，共五十五頁，2022年，8月28日實驗結(jié)果在兩個數(shù)據(jù)庫上進行實驗，從耶魯大學的YaleFace數(shù)據(jù)庫中選取60幅人臉圖像，共15個人，4幅/人，其中訓練樣本56幅，14個人，4幅/人，測試樣本為剩下的4幅圖像，1個人，4/人，通過隨機變換訓練樣本和測試樣本，我們重復15次這樣的實驗。從日本女性表情數(shù)據(jù)庫中（JAFFE）選取120幅圖像，共10個人，12幅/人，其中84幅圖像作為訓練樣本，7個人，12幅/人，測試樣本為36幅圖像，3個人，12幅/人。通過隨機變換訓練樣本和測試樣本，我們重復10次這樣的實驗。第四十四頁，共五十五頁，2022年，8月28日YaleFace數(shù)據(jù)庫上的實驗結(jié)果表情類型分類器1分類器2分類器3分類器4SVM信息融合Happy66.7%73.3%73.3%80%86.7%Normal73.3%66.7%73.3%80%80%Sad60%60%66.7%66.7%73.3%Surprised80%73.3%80%86.7%93.3%第四十五頁，共五十五頁，2022年，8月28日日本女性表情數(shù)據(jù)庫上的實驗結(jié)果表情類型分類器1分類器2分類器3分類器4SVM信息融合Happy76.7%76.7%80%83.3%86.7%Normal73.3%70%76.7%80%83.3%Sad70%73.3%73.3%76.7%80%Surprised80%80%83.3%86.7%90%第四十六頁，共五十五頁，2022年，8月28日論文主要工作介紹了信息融合在面部表情識別應(yīng)用的三個層次模型探索了基于單特征單分類器的面部表情識別將支持向量機理論和信息融合理論結(jié)合在一起，提出基于基于SVM的多特征多分類器融合的面部表情識別將徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)用于面部表情特征的融合上，提出基于RBF網(wǎng)絡(luò)的多特征融合的面部表情識別第四十七頁，共五十五頁，2022年，8月28日基于徑向基函數(shù)網(wǎng)絡(luò)多特征融合的面部表情識別基于RBF網(wǎng)絡(luò)的多特征融合的面部表情識別結(jié)構(gòu)徑向基神經(jīng)網(wǎng)絡(luò)基于RBF網(wǎng)絡(luò)融合的面部表情識別流程實驗第四十八頁，共五十五頁，2022年，8月28日基于RBF網(wǎng)絡(luò)的多特征融合的面部表情識別結(jié)構(gòu)

第四十九頁，共五十五頁，2022年，8月28日徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)（RBF)徑向基函數(shù)網(wǎng)絡(luò)是一種兩層前向網(wǎng)絡(luò),如圖所示。其輸出是由隱節(jié)點基函數(shù)的線性組合計算得到。隱節(jié)點的基函數(shù)只對輸入空間中的一個很小區(qū)域產(chǎn)生非零響應(yīng)。隱層神經(jīng)元將輸入空間映射到一個新的空間,輸出層在該空間中實現(xiàn)線性組合。第五十頁，共五十五頁，2022年，8月28日徑向基函數(shù)常采用高斯函數(shù)作為非線性映射函數(shù),不失一般性,對于單個網(wǎng)絡(luò)輸出的RBF網(wǎng)絡(luò)來說,其第個單元對應(yīng)的輸出為其中:

-------歐幾里德范數(shù)

----