語(yǔ)音信號(hào)處理第8章-語(yǔ)音信號(hào)情感處理課件

第8章語(yǔ)音信號(hào)情感處理情感的聲學(xué)特征分析實(shí)用語(yǔ)音情感的識(shí)別算法概述情感理論與情感誘發(fā)實(shí)驗(yàn)應(yīng)用與展望第8章語(yǔ)音信號(hào)情感處理情感的聲學(xué)特征分析實(shí)用語(yǔ)音情感的識(shí)別何為情感？何為情感？語(yǔ)音信號(hào)處理第8章-語(yǔ)音信號(hào)情感處理課件語(yǔ)音信號(hào)處理第8章-語(yǔ)音信號(hào)情感處理課件吃驚眉毛向上挑眼睛圓睜嘴唇無(wú)意識(shí)地張開(kāi)吃驚恐懼雙眉上揚(yáng)，聚攏上眼皮上揚(yáng)眼袋緊繃雙唇向兩耳水平方向略微拉伸恐懼語(yǔ)音信號(hào)處理第8章-語(yǔ)音信號(hào)情感處理課件語(yǔ)音信號(hào)處理第8章-語(yǔ)音信號(hào)情感處理課件語(yǔ)音信號(hào)處理第8章-語(yǔ)音信號(hào)情感處理課件悲傷上層眼皮下垂兩眼無(wú)光兩側(cè)嘴角微微下拉悲傷情感行為識(shí)別：面部表情識(shí)別語(yǔ)音情感識(shí)別姿態(tài)識(shí)別生理模式識(shí)別：皮膚電反應(yīng)呼吸心率體溫腦電波等多模態(tài)情感識(shí)別情感行為識(shí)別：多模態(tài)情感識(shí)別8.1概述計(jì)算機(jī)要能夠更加主動(dòng)的適應(yīng)操作者的需要，首先必須能夠識(shí)別操作者的情感，而后再根據(jù)情感類型來(lái)調(diào)整交互對(duì)話的方式。對(duì)于情感信息處理技術(shù)的研究包括多個(gè)方面，主要有情感特征分析、情感識(shí)別（如肢體情感識(shí)別、面部情感識(shí)別和語(yǔ)音情感識(shí)別等）、情感模擬（如情感語(yǔ)音合成等）。近年來(lái)，語(yǔ)音情感的研究進(jìn)展可以大致分為四個(gè)方面：一、情感特征的選擇和優(yōu)化；二、建模算法的研究；三、自然情感數(shù)據(jù)庫(kù)的建立；四、關(guān)注情感模型適應(yīng)能力的環(huán)境自適應(yīng)方法，如上下文信息、跨語(yǔ)言、跨文化，和性別差異等。8.1概述計(jì)算機(jī)要能夠更加主動(dòng)的適應(yīng)操作者的需要，首先必須MITCMU東京大學(xué)早稻田大學(xué)日內(nèi)瓦大學(xué)情緒研究實(shí)驗(yàn)室伯明翰大學(xué)國(guó)內(nèi)外研究現(xiàn)狀MIT國(guó)內(nèi)外研究現(xiàn)狀中科院計(jì)算所：研究帶有表情和動(dòng)作的虛擬人。中科院自動(dòng)化所：基于生物特征的身份驗(yàn)證。中科院心理學(xué)所、生物所：情緒心理學(xué)、生理學(xué)研究中科院軟件所：智能用戶界面浙江大學(xué)：虛擬人物、情緒系統(tǒng)構(gòu)造北京工業(yè)大學(xué)：多功能感知機(jī)同情感計(jì)算的融合研究。東南大學(xué)：語(yǔ)音情感識(shí)別南京航空航天大學(xué)：語(yǔ)音情感計(jì)算。中國(guó)科技大學(xué)：基于內(nèi)容的交互式感性圖像檢索的研究中科院計(jì)算所：研究帶有表情和動(dòng)作的虛擬人。重慶大學(xué)：智能服務(wù)、增強(qiáng)現(xiàn)實(shí)、環(huán)境感知、智能手表等，注重軟件方面的研究。海南大學(xué)：軍用無(wú)線局域網(wǎng)結(jié)構(gòu)中的可穿戴計(jì)算機(jī)。哈工大：“具有六種面部表情及視覺(jué)的類人頭像型機(jī)器人及行為研究”，于2004年研制出具有八種面部表情的仿人頭像機(jī)器人系統(tǒng)，并進(jìn)行了表情實(shí)驗(yàn)，實(shí)現(xiàn)了喜、怒、哀、樂(lè)、悲傷、嚴(yán)肅、吃驚、自然(中性)等8種表情。重慶大學(xué)：智能服務(wù)、增強(qiáng)現(xiàn)實(shí)、環(huán)境感知、智能手表等，注重軟件索尼公司的AIBO狗：第一個(gè)實(shí)現(xiàn)規(guī)模商品化的寵物機(jī)器人（2006年生產(chǎn)6萬(wàn)只，收益10億美元），QRIO、SDR-4X等寵物機(jī)器人。為有情感交互能力的機(jī)器人及相關(guān)的研究打開(kāi)了想象的空間。典型應(yīng)用索尼公司的AIBO狗：第一個(gè)實(shí)現(xiàn)規(guī)模商品化的寵物機(jī)器人（2Pepper是一款人形機(jī)器人，由日本軟銀集團(tuán)和法國(guó)AldebaranRobotics研發(fā)，可綜合考慮周圍環(huán)境，并積極主動(dòng)地作出反應(yīng)。機(jī)器人配備了語(yǔ)音識(shí)別技術(shù)、呈現(xiàn)優(yōu)美姿態(tài)的關(guān)節(jié)技術(shù)，以及分析表情和聲調(diào)的情緒識(shí)別技術(shù)，可與人類進(jìn)行交流。Pepper是一款人形機(jī)器人，由日本軟銀集團(tuán)和法國(guó)Aldeb8.2

情感理論與情感誘發(fā)實(shí)驗(yàn)1）基本情感論8.2.1情感的心理學(xué)理論基本情感論認(rèn)為，人類的復(fù)雜的情感是由若干種有限的基本情感構(gòu)成的，基本情感按照一定的比例混合構(gòu)成各種復(fù)合情感?；厩楦姓撜J(rèn)為情感可以用離散的類別模型來(lái)描述，目前大部分的情感識(shí)別系統(tǒng)，都是建立在這一理論體系之上的。在心理學(xué)領(lǐng)域?qū)厩楦蓄悇e的定義還沒(méi)有一個(gè)統(tǒng)一的結(jié)論，然而在語(yǔ)音情感識(shí)別的文獻(xiàn)中，較多的研究者采用的是六種基本情感狀態(tài)：“喜悅”、“生氣”、“驚訝”、“悲傷”、“恐懼”和“中性”。8.2情感理論與情感誘發(fā)實(shí)驗(yàn)1）基本情感論8.2.1情感人類情緒的基本類型

快樂(lè)憤怒恐懼悲哀人類情緒的基本類型快樂(lè)憤怒1.快樂(lè)：追求并達(dá)到所盼望的目的?！鞓?lè):盼望的目的達(dá)到后繼之而來(lái)的緊張解除時(shí)的情緒體驗(yàn)。1.快樂(lè)：追求并達(dá)到所盼望的目的?！鞓?lè):盼望的目的達(dá)到后繼※憤怒:愿望不能達(dá)到或事與愿違，并一再受到妨礙的情況下產(chǎn)生的情緒體驗(yàn)?！鶓嵟?愿望不能達(dá)到或事與愿違，并一再受到妨礙的情況下產(chǎn)生的恐懼：由于缺乏處理或擺脫可怕的情景或事物的能力引起的情緒體驗(yàn)?？謶郑河捎谌狈μ幚砘驍[脫可怕的情景或事物的能力引起的情緒體驗(yàn)悲傷：與失去所熱愛(ài)的事物或所盼望的東西有關(guān)的體驗(yàn)。

悲傷：與失去所熱愛(ài)的事物或所盼望的東西有關(guān)的體驗(yàn)。8.2.1情感的心理學(xué)理論2）維度空間論維度模型，是由效價(jià)度和喚醒度組成的二維空間：1）效價(jià)度或者快樂(lè)度，其理論基礎(chǔ)是正負(fù)情感的分離激活，主要體現(xiàn)為情感主體的情緒感受，是對(duì)情感和主體關(guān)系的一種度量；2）喚醒度或者激活度，指與情感狀態(tài)相聯(lián)系的機(jī)體能量激活的程度，是對(duì)情感的內(nèi)在能量的一種度量。8.2.1情感的心理學(xué)理論2）維度空間論維度模型，是由效價(jià)8.2.2實(shí)用語(yǔ)音情感數(shù)據(jù)庫(kù)的建立1）概述語(yǔ)音情感數(shù)據(jù)庫(kù)的建立，是研究語(yǔ)音情感的必需的研究基礎(chǔ)，具有極為重要的意義。目前國(guó)際上流行的語(yǔ)音情感數(shù)據(jù)庫(kù)有AIBO（ArtificialIntelligenceRobot）語(yǔ)料庫(kù)、VAM（TheVeraamMittag）數(shù)據(jù)庫(kù)、丹麥語(yǔ)數(shù)據(jù)庫(kù)（DanishEmotionalSpeech，DES）、柏林?jǐn)?shù)據(jù)庫(kù)、SUSAS（SpeechunderSimulatedandActualStress）數(shù)據(jù)庫(kù)等。8.2.2實(shí)用語(yǔ)音情感數(shù)據(jù)庫(kù)的建立1）概述語(yǔ)音情感數(shù)據(jù)庫(kù)8.2.2實(shí)用語(yǔ)音情感數(shù)據(jù)庫(kù)的建立2）實(shí)用語(yǔ)音情感數(shù)據(jù)庫(kù)的需求情感語(yǔ)料可以分為自然語(yǔ)音、誘發(fā)語(yǔ)音和表演語(yǔ)音三類。表演語(yǔ)料的優(yōu)點(diǎn)是容易采集，缺點(diǎn)是情感表現(xiàn)夸張，與實(shí)際的自然語(yǔ)音有一定的差別。早期基于表演語(yǔ)料的識(shí)別系統(tǒng)，它的情感模型在實(shí)驗(yàn)室條件下是符合樣本數(shù)據(jù)的，在實(shí)驗(yàn)測(cè)試中也能獲得較高的識(shí)別率，但是在實(shí)際條件下，系統(tǒng)的情感模型與真實(shí)的情感數(shù)據(jù)不能符合的很好，導(dǎo)致應(yīng)用中的技術(shù)瓶頸。面向?qū)嶋H應(yīng)用的需求，實(shí)用語(yǔ)音情感數(shù)據(jù)庫(kù)必須要保證語(yǔ)料的真實(shí)可靠，不能采用傳統(tǒng)的表演方式采集數(shù)據(jù)。通過(guò)實(shí)驗(yàn)心理學(xué)中的方法來(lái)誘發(fā)實(shí)用語(yǔ)音情感數(shù)據(jù)，可盡可能的使訓(xùn)練數(shù)據(jù)接近真實(shí)的情感數(shù)據(jù)。8.2.2實(shí)用語(yǔ)音情感數(shù)據(jù)庫(kù)的建立2）實(shí)用語(yǔ)音情感數(shù)據(jù)庫(kù)8.2.2實(shí)用語(yǔ)音情感數(shù)據(jù)庫(kù)的建立3）建立過(guò)程和一般規(guī)范參考國(guó)內(nèi)外著名語(yǔ)料庫(kù)及其相關(guān)的規(guī)范，實(shí)用語(yǔ)音情感數(shù)據(jù)庫(kù)建立的流程主要包含五個(gè)步驟：制定情感誘發(fā)方式、情感語(yǔ)音采集、數(shù)據(jù)檢驗(yàn)與補(bǔ)錄、語(yǔ)句切分與標(biāo)注和聽(tīng)辨測(cè)試。8.2.2實(shí)用語(yǔ)音情感數(shù)據(jù)庫(kù)的建立3）建立過(guò)程和一般規(guī)范8.2.2實(shí)用語(yǔ)音情感數(shù)據(jù)庫(kù)的建立4）數(shù)據(jù)檢驗(yàn)錄音過(guò)程通常在安靜的實(shí)驗(yàn)室內(nèi)進(jìn)行。每次錄音后，應(yīng)進(jìn)行數(shù)據(jù)的檢驗(yàn)與補(bǔ)錄，及時(shí)對(duì)語(yǔ)音文件進(jìn)行人工檢驗(yàn)，以排除錄音過(guò)程中可能出現(xiàn)的錯(cuò)誤。例如，查看并剔除語(yǔ)音中的信號(hào)過(guò)載音段、不規(guī)則噪聲（如咳嗽等）和非正常停頓造成的長(zhǎng)時(shí)靜音等。對(duì)于錯(cuò)誤嚴(yán)重的錄音文件，必要時(shí)進(jìn)行補(bǔ)錄。8.2.2實(shí)用語(yǔ)音情感數(shù)據(jù)庫(kù)的建立4）數(shù)據(jù)檢驗(yàn)錄音過(guò)程通8.2.3情感語(yǔ)料的誘發(fā)方法1）通過(guò)計(jì)算機(jī)游戲誘發(fā)情感語(yǔ)料因?yàn)槿祟惵曇糁刑N(yùn)含的情感信息受到無(wú)意識(shí)的心理狀態(tài)變化的影響，以及社會(huì)文化導(dǎo)致的有意識(shí)的說(shuō)話習(xí)慣的控制，所以實(shí)用語(yǔ)音情感數(shù)據(jù)庫(kù)的建立需要考慮語(yǔ)音中情感的自然流露和有意識(shí)控制。通過(guò)計(jì)算機(jī)游戲誘發(fā)情感的方法的優(yōu)勢(shì)在于通過(guò)游戲中畫(huà)面和音樂(lè)的視覺(jué)、聽(tīng)覺(jué)刺激，能提供一個(gè)互動(dòng)的、具有較強(qiáng)感染力的人機(jī)交互環(huán)境，能夠有效的誘發(fā)出被試的正面情感與負(fù)面情感。8.2.3情感語(yǔ)料的誘發(fā)方法1）通過(guò)計(jì)算機(jī)游戲誘發(fā)情感語(yǔ)8.2.3情感語(yǔ)料的誘發(fā)方法2）通過(guò)認(rèn)知作業(yè)誘發(fā)情感語(yǔ)料除了游戲誘發(fā)以外，通過(guò)認(rèn)知作業(yè)可誘發(fā)包括煩躁、疲勞和自信等心理狀態(tài)下的情感。在一個(gè)重復(fù)的、長(zhǎng)時(shí)間的認(rèn)知作業(yè)中，采用噪聲誘發(fā)、睡眠剝奪等手段可輔助誘發(fā)負(fù)面情緒。認(rèn)知作業(yè)現(xiàn)場(chǎng)的情感識(shí)別具有重要的實(shí)際意義，特別是在航天、航空、航海等長(zhǎng)時(shí)間的、高強(qiáng)度的工作環(huán)境中，對(duì)工作人員的負(fù)面情感的及時(shí)檢測(cè)和調(diào)控具有非常重要的意義。煩躁、疲勞和自信等心理狀態(tài)對(duì)認(rèn)知過(guò)程有重要的影響，是評(píng)估特殊工作人員的心理狀態(tài)和認(rèn)知作業(yè)水平的一個(gè)重要因素。8.2.3情感語(yǔ)料的誘發(fā)方法2）通過(guò)認(rèn)知作業(yè)誘發(fā)情感語(yǔ)料8.2.4情感語(yǔ)料的主觀評(píng)價(jià)方法為了保證所采集的情感語(yǔ)料的可靠性，需要進(jìn)行主觀聽(tīng)辨評(píng)價(jià)，每條樣本由10名未參與錄音的人員進(jìn)行評(píng)測(cè)。一般認(rèn)為人類區(qū)分信息等級(jí)的極限能力為7

2，故可以引入九分位的比例標(biāo)度來(lái)衡量信息等級(jí)。例如，采用標(biāo)度1、3、5、7、9表示情感的五種強(qiáng)度，對(duì)應(yīng)極弱，較弱，一般，較強(qiáng)，極強(qiáng)五個(gè)等級(jí)。由于采取多人評(píng)測(cè)，為了得到第

條情感樣本的評(píng)價(jià)結(jié)果，需要將所有聽(tīng)辨人的測(cè)評(píng)結(jié)果進(jìn)行融合，采用加權(quán)融合的準(zhǔn)則得到該條情感樣本的評(píng)判結(jié)果為：8.2.4情感語(yǔ)料的主觀評(píng)價(jià)方法為了保證所采集的情感語(yǔ)料8.3

情感的聲學(xué)特征分析8.3.1情感特征提取用于語(yǔ)音情感識(shí)別的聲學(xué)特征大致可歸納為韻律學(xué)特征、基于譜的相關(guān)特征和音質(zhì)特征三種類型：1）韻律是指語(yǔ)音中凌駕于語(yǔ)義符號(hào)之上的音高、音長(zhǎng)、快慢和輕重等方面的變化，是對(duì)語(yǔ)音流表達(dá)方式的一種結(jié)構(gòu)性安排。最常用的韻律特征有時(shí)長(zhǎng)、基頻、能量等。2）基于譜的相關(guān)特征被認(rèn)為是聲道形狀變化和發(fā)聲運(yùn)動(dòng)之間相關(guān)性的體現(xiàn)，使用的譜特征一般有線性預(yù)測(cè)系數(shù)、線性預(yù)測(cè)倒譜系數(shù)、美爾倒譜系數(shù)等。3）聲音質(zhì)量是人們賦予語(yǔ)音的一種主觀評(píng)價(jià)指標(biāo)，用于衡量聲音質(zhì)量的聲學(xué)特征一般有：共振峰頻率及其帶寬、頻率微擾和振幅微擾、聲門參數(shù)等。8.3情感的聲學(xué)特征分析8.3.1情感特征提取用于語(yǔ)音8.3.1情感特征提取8.3.1情感特征提取8.3.2特征降維算法由于受到訓(xùn)練樣本規(guī)模的限制，特征空間維度不能過(guò)高，需要進(jìn)行特征降維。在具體的算法訓(xùn)練當(dāng)中，幾乎所有的算法都會(huì)受到計(jì)算能力的限制，特征數(shù)量的增加，最終會(huì)導(dǎo)致“維度災(zāi)難”的問(wèn)題。常用的特征降維方法：LDA（LinearDiscriminantAnalysis）、PCA（PrincipalComponentsAnalysis）、FDR（FisherDiscriminantRatio）、SFS（SequentialForwardSelection）等。8.3.2特征降維算法由于受到訓(xùn)練樣本規(guī)模的限制，特征空8.3.2特征降維算法1）LDA降維原理LDA用來(lái)特征降維的具體步驟如下：（1）中心化訓(xùn)練樣本，并計(jì)算其類內(nèi)離散度矩陣

和類間離散度矩陣。（2）計(jì)算樣本的協(xié)方差矩陣，并對(duì)其特征值分解，將特征向量按照其特征值的大小進(jìn)行降序排列，取前若干個(gè)特征向量組成投影矩陣。（3）計(jì)算投影到投影矩陣上的樣本的類內(nèi)離散度矩陣和類間離散度矩陣。8.3.2特征降維算法1）LDA降維原理LDA用來(lái)特征降8.3.2特征降維算法1）LDA降維原理（4）對(duì)

進(jìn)行特征值分解，并將其特征向量按其特征值大小進(jìn)行降序排列，取前c-1個(gè)特征值對(duì)應(yīng)的特征向量組成新的投影矩陣。（5）將訓(xùn)練樣本按照新的投影矩陣進(jìn)行投影。（6）對(duì)測(cè)試樣本進(jìn)行中心化處理，并按照新的投影矩陣進(jìn)行投影。（7）選擇合適的分類算法進(jìn)行分類。8.3.2特征降維算法1）LDA降維原理（4）對(duì)8.3.2特征降維算法2）PCA降維原理PCA是經(jīng)常使用的特征獲取方法之一，被稱作是模式分類中的著名算法之一，是一種使用相當(dāng)廣泛的降低數(shù)據(jù)維度方法。PCA的目的就是利用一組向量基去再次表征獲得的信息量，使新的信息量能夠盡可能表達(dá)初始信息之間的關(guān)聯(lián)，最后從中獲取“主分量”，很大程度上減小多余信息的干擾。為了使得重構(gòu)信號(hào)誤差最小，需要選取特征矩陣特征值較大的特征矢量，而用該特征矢量重構(gòu)系數(shù)作為信號(hào)的低維特征。8.3.2特征降維算法2）PCA降維原理PCA是經(jīng)常使用8.4

實(shí)用語(yǔ)音情感的識(shí)別算法8.4實(shí)用語(yǔ)音情感的識(shí)別算法8.4.1K近鄰分類器K近鄰（KNN）分類算法，是一種較為簡(jiǎn)單直觀的分類方法，但在語(yǔ)音情感識(shí)別中表現(xiàn)出的性能卻很好。KNN算法分為如下四步：1）提取訓(xùn)練樣本的特征向量，構(gòu)成訓(xùn)練樣本特征向量集合{X1,X2,…,Xn}；2）設(shè)定算法中K的值。K值的確定沒(méi)有一個(gè)統(tǒng)一的方法（根據(jù)具體問(wèn)題選取的K值可能有較大的區(qū)別）。一般方法是先確定一個(gè)初始值，然后根據(jù)實(shí)驗(yàn)結(jié)果不斷調(diào)試，最終達(dá)到最優(yōu)。3）提取待測(cè)樣本的特征向量X，并計(jì)算X與

中每一樣本的歐式距離D(X,Xl)。4）統(tǒng)計(jì)D(X,Xl)中K個(gè)最近鄰的類別信息，給出X的分類結(jié)果。8.4.1K近鄰分類器K近鄰（KNN）分類算法，是一種較8.4.2支持向量機(jī)支持向量機(jī)是由Cortes和Vapnik等人提出的一種機(jī)器學(xué)習(xí)的算法，它是建立在統(tǒng)計(jì)學(xué)習(xí)理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小化的基礎(chǔ)之上的。支持向量機(jī)在諸多模式分類應(yīng)用領(lǐng)域中具有優(yōu)勢(shì)，如解決小樣本問(wèn)題、非線性模式識(shí)別問(wèn)題以及函數(shù)擬合等。SVM算法是統(tǒng)計(jì)學(xué)習(xí)理論的一種實(shí)現(xiàn)方式。最基本思路就是要找到使測(cè)試樣本的分類錯(cuò)誤率達(dá)到最低的最佳超平面，也就是要找到一個(gè)分割平面，使得訓(xùn)練集中的訓(xùn)練樣本距離該平面的距離盡量的遠(yuǎn)以及平面兩側(cè)的空白區(qū)域最大。8.4.2支持向量機(jī)支持向量機(jī)是由Cortes和Vapn8.4.2支持向量機(jī)在n維空間Rn中，對(duì)于兩類問(wèn)題進(jìn)行分類時(shí)，設(shè)輸入空間中的一組樣本為(xi,yi)，yi∈{+1,-1}是類別標(biāo)號(hào)?！蕒+1,-1}在線性可分的情況下，存在多個(gè)超平面將兩類樣本分開(kāi)，其中可以使得兩個(gè)類別離超平面最近的樣本與它的距離最大的那個(gè)超平面，稱為最優(yōu)超平面。8.4.2支持向量機(jī)在n維空間Rn中，對(duì)于兩類問(wèn)題進(jìn)行分8.4.2支持向量機(jī)設(shè)超平面方程為

使得推得則分類函數(shù)就是g(x)=wx+b，且分類函數(shù)歸一化以后，兩類中的所有樣本都滿足|g(x)|≥1，距離分類超平面最近的樣本滿足|g(x)|=1，分類間隔即為2/||w||。當(dāng)||w||最小時(shí)，分類間隔最大。8.4.2支持向量機(jī)設(shè)超平面方程為8.4.2支持向量機(jī)尋找最優(yōu)分類面的問(wèn)題就簡(jiǎn)化成一個(gè)簡(jiǎn)單的優(yōu)化問(wèn)題，即當(dāng)約束條件為

，使得

最小。引入拉格朗日算子

α，原問(wèn)題變成了一個(gè)約束條件下的二次優(yōu)化問(wèn)題：通過(guò)對(duì)系數(shù)w和b求導(dǎo)，并代入上式，則當(dāng)約束條件為使得8.4.2支持向量機(jī)尋找最優(yōu)分類面的問(wèn)題就簡(jiǎn)化成一個(gè)簡(jiǎn)單8.4.2支持向量機(jī)引入非線性映射后，假設(shè)Φ是低維輸入空間Rn到高維特征空間F的一個(gè)映射，核函數(shù)k對(duì)應(yīng)高維特征F中向量?jī)?nèi)積運(yùn)算，即最優(yōu)分類問(wèn)題轉(zhuǎn)化為一個(gè)約束條件

下的二次優(yōu)化問(wèn)題：得到最佳分類函數(shù)為8.4.2支持向量機(jī)引入非線性映射后，假設(shè)Φ是低維輸入空8.4.2支持向量機(jī)1）多項(xiàng)式形式的核函數(shù)：2）徑向基形式的核函數(shù)：3）S形核函數(shù)：8.4.2支持向量機(jī)1）多項(xiàng)式形式的核函數(shù)：8.4.2支持向量機(jī)上面介紹的是兩類樣本的分類問(wèn)題，如果需要對(duì)

類問(wèn)題進(jìn)行分類，則需要對(duì)SVM進(jìn)行組合。組合的策略有“一對(duì)一”和“一對(duì)多”。“一對(duì)多”的思想是在該類樣本和不屬于該類的樣本之間構(gòu)建一個(gè)超平面，假設(shè)總共有k個(gè)類別，則需要構(gòu)建k個(gè)分類器，每個(gè)分類器分別用第

類的樣本作為正樣本，其余的樣本作為負(fù)樣本。該方法的缺點(diǎn)是樣本數(shù)目不對(duì)稱，負(fù)樣本比正樣本要多很多，故分類器訓(xùn)練的懲罰因子很難選擇?！耙粚?duì)一”的方式是每?jī)深悩颖鹃g構(gòu)造一個(gè)超平面，一共需要訓(xùn)練k(k-1)/2個(gè)分類器，最后識(shí)別樣本時(shí)采用后驗(yàn)概率最大法選定待識(shí)別樣本的類型，“一對(duì)一”的方法的缺點(diǎn)是訓(xùn)練的分類器比較多。8.4.2支持向量機(jī)上面介紹的是兩類樣本的分類問(wèn)題，如果8.4.3人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)（ANN）是一種由大量簡(jiǎn)單處理單元構(gòu)成的并行分布式數(shù)學(xué)模型。人工神經(jīng)網(wǎng)絡(luò)主要從兩方面模仿大腦工作：從外界環(huán)境中學(xué)習(xí)和用突觸權(quán)值存儲(chǔ)知識(shí)。神經(jīng)元是神經(jīng)網(wǎng)絡(luò)處理信息的基本單位，是由突觸權(quán)值、加法器、激活函數(shù)三部分構(gòu)成的非線性模型。8.4.3人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)（ANN）是一種由大量8.4.3人工神經(jīng)網(wǎng)絡(luò)對(duì)于多層感知器，通常采用著名的BP算法來(lái)修正連接權(quán)值。下面簡(jiǎn)單介紹用于MLP訓(xùn)練的BP算法。訓(xùn)練分兩步：第一步是計(jì)算MLP的輸出值；第二步是用BP算法更新網(wǎng)絡(luò)的連接權(quán)值。8.4.3人工神經(jīng)網(wǎng)絡(luò)對(duì)于多層感知器，通常采用著名的BP8.4.3人工神經(jīng)網(wǎng)絡(luò)具體步驟如下：1）設(shè)置初始權(quán)值及閾值，即設(shè)所有的權(quán)值及節(jié)點(diǎn)的閾值為一個(gè)小的隨機(jī)數(shù)。2）給定新的輸入值x1,…,xN及相應(yīng)的理想輸出信號(hào)d1,…,dM。

3）計(jì)算當(dāng)輸入x1,…,xN通過(guò)網(wǎng)絡(luò)時(shí)的實(shí)際輸出值y1,…,yM。對(duì)于網(wǎng)絡(luò)中任一節(jié)點(diǎn)j，它的輸出的計(jì)算步驟為：

8.4.3人工神經(jīng)網(wǎng)絡(luò)具體步驟如下：8.4.3人工神經(jīng)網(wǎng)絡(luò)4）修正每個(gè)權(quán)值和閥值。從輸出節(jié)點(diǎn)開(kāi)始逐步向前遞推，直到第一層。

當(dāng)節(jié)點(diǎn)j是輸出節(jié)點(diǎn)時(shí)，理想輸出明確，δj可表示為

當(dāng)節(jié)點(diǎn)j是隱含節(jié)點(diǎn)時(shí)，理想輸出不明確，δj定義為

5）轉(zhuǎn)移到第2步重復(fù)進(jìn)行，直到各

，

穩(wěn)定為止。8.4.3人工神經(jīng)網(wǎng)絡(luò)4）修正每個(gè)權(quán)值和閥值。從輸出節(jié)點(diǎn)8.4.3人工神經(jīng)網(wǎng)絡(luò)MLP的訓(xùn)練屬于用LMS準(zhǔn)則使某目標(biāo)函數(shù)極小的搜索程序。當(dāng)輸入信號(hào)未到來(lái)時(shí)，所有輸出節(jié)點(diǎn)的值都為低值(0或<0.1)