多模態(tài)情感分析方法研究

多模態(tài)情感分析方法研究目錄TOC\o"1-3"\h\u1引言 摘要：在社交媒體和互聯(lián)網(wǎng)興起的時代，人們在日常生活中產(chǎn)生的大量文本、圖像、音頻和視頻等蘊含著豐富的情感信息的數(shù)據(jù)，通過這些數(shù)據(jù)來分析用戶的情感狀態(tài)便具有了重要意義。而在情感計算領域，多模態(tài)情感分析是一個重要研究方向，旨在通過綜合文本、聲音和視頻等多種模態(tài)信息來更準確地理解和識別人類情感。本文提出了一種基于文本、聲音、視頻的多模態(tài)情感分析框架。首先，我們利用自然語言處理技術、聲學特征提取方法和圖像處理技術分別從文本、聲音和視頻中提取情感相關特征。然后，通過深度學習模型實現(xiàn)多模態(tài)數(shù)據(jù)的融合，并構建情感分類器進行情感識別。實驗結果表明，與單一模態(tài)對比，多模態(tài)融合對于情感分析的準確性有很大地提升。本研究的成果可應用于社交媒體分析、人機交互、情感驅動的推薦系統(tǒng)等領域，具有廣泛的應用前景。關鍵詞：多模態(tài)；情感分析；1引言1.1情感分析研究目的和研究意義長期以來，人們致力于讓計算機有效地與人類進行智能交互，就像許多科幻電影中的人工智能機器人，例如電影《鋼鐵俠》中的奧創(chuàng)機器人一樣，不僅能擁有自我意識，甚至能在價值問題上也有了自己獨立的見解。雖然目前這樣的的機器人尚未完全實現(xiàn)，但是現(xiàn)實的人工智能已經(jīng)有了飛速的發(fā)展，為此，計算機不僅需要識別自然語言，還需要通過這些語言準確地分析出其中蘊含的情感信息，因此，情感分析也成為了如今人工智能領域的熱門方向[1]。情感分析，也稱為情緒分析或意見挖掘，是自然語言處理（NLP）、文本挖掘和計算語言學的一個分支，其主要步驟包括對原始數(shù)據(jù)的情感特征提取，獲取特征與情感標簽之間的映射關系，預測數(shù)據(jù)中的情感類別并根據(jù)預測結果進行判斷[2]，旨在識別和提取文本中的主觀信息。情感分析的重要性體現(xiàn)在其能夠幫助人們理解個體或群體的情緒傾向、情感狀態(tài)和意見，進而在商業(yè)智能、市場研究、公共關系、政治分析等領域發(fā)揮重要作用。早期的情感分析大多數(shù)是基于單模態(tài)或者雙模態(tài)，并且主要聚焦于文本數(shù)據(jù)，如今，在許多行業(yè)中，基于文本的情感分析已經(jīng)成為了一種常見的解決方案。它被廣泛應用于電影票房業(yè)績預測、股市業(yè)績預測、選舉結果預測等領域，但依靠文本數(shù)據(jù)是不能完全提取人類表達的所有情感，例如在模型對單一文本模態(tài)中“干得漂亮”一詞的分析通常是積極的，但是如果加上夸張或帶有諷刺的表情，就很可能變成消極的情緒，這時候多模態(tài)情感分析就被提出來解決這個問題[3]。多模態(tài)數(shù)據(jù)中蘊含著復雜的情感信息，應用傳統(tǒng)單一模態(tài)的情感分析技術難以正確判別，需要將文本、聲音、視頻等不同類型的數(shù)據(jù)，經(jīng)過提取模態(tài)特征和利用特征融合對模態(tài)進行處理，進而得到多模態(tài)特征并進一步分析獲得情感極性分類。因此依靠多模態(tài)技術進行對復雜情感進行正確分析顯得至關重要。傳統(tǒng)多模態(tài)情感分析普遍應用的技術是分別提取單模態(tài)的低級特征，然后將特征表示經(jīng)過特征融合獲得多模態(tài)信息的聯(lián)合表示，最后通過分類獲得情感極性[4]。該做法保證了多模態(tài)數(shù)據(jù)的信息完整度，但是由于多模態(tài)的異質性，模態(tài)貢獻度存在差異，模態(tài)各自含有的噪聲信息以及模態(tài)融合后的冗余信息會對最終的分類結果造成干擾。2015年發(fā)布的一項多模態(tài)情感分析調查報告顯示，多模態(tài)系統(tǒng)始終比最好的單模態(tài)系統(tǒng)更準確。在如今社交媒體、在線評論和數(shù)字通信興起的時代，情感分析成為了一種重要的數(shù)據(jù)分析工具，能夠幫助企業(yè)和組織洞察消費者情緒、監(jiān)測品牌聲譽、改進產(chǎn)品和服務，以及制定更有效的營銷策略。1.2國內外研究現(xiàn)狀情感分析一直是熱門的研究課題，在語音識別（ASR）、自然語言處理（NLP）、計算機視覺（CV）等領域都有著很高的研究價值。但是基于單模態(tài)的情感分析難以應用復雜的多媒體環(huán)境，因此需要綜合多種模態(tài)進行融合分析。本節(jié)通過介紹目前單模態(tài)與多模態(tài)在國內外的研究情況，梳理情感分析發(fā)展至多模態(tài)的脈絡。1.2.1基于單模態(tài)研究現(xiàn)狀首先，模態(tài)是指人接受信息的方式[5]，在單模態(tài)情感分析領域，國內外諸多學者已經(jīng)做了非常多的工作，文本、語音、圖像模態(tài)的情感分析研究碩果累累，目前大多數(shù)情感分析的相關工作是以單一模態(tài)信息作為研究對象[6],且大多都基于傳統(tǒng)的機器學習和深度學習來實現(xiàn)。單模態(tài)情感分析不需要考慮與其他情感信息的聯(lián)系，因此獲取數(shù)據(jù)相對容易且有針對性，但單一模態(tài)的識別準確性可能會略有遜色，且自身信息的噪聲影響和被攻擊帶來的信息缺失也難以克服[7]。（1）文本情感分析原理文字是人們生活日常抒發(fā)情感最常用也是最基本的表達方式，中華文化博大精深，有著五千多年的歷史文化，其中流傳著許多的詩詞歌賦，正是通過這些富有情感意義的詩詞，將詩人筆下所描繪情感與意境在現(xiàn)代藝術中依然能展現(xiàn)出當時人們的思想情感與藝術魅力，因此，文本模態(tài)中所蘊含著的情感信息數(shù)據(jù)是龐大的，在情感分析領域，文本情感分析一直是最早和最成熟的研究方向之一。在早期的研究階段，基于詞典和規(guī)則的方法是使用頻率較高的文本分析方法，利用匹配情感詞典中的詞匯來判斷文本的情感傾向，由于需要人為地創(chuàng)建情感詞典庫，因此規(guī)模大都在幾千詞范圍，規(guī)模小。情感詞典庫中包括積極和消極情感詞的詞典，或者是包含厭惡、恐懼、喜悅、憤怒、內疚、悲傷、羞恥等情感詞的詞典，英文情感詞典庫主要有WordNet-Affect。在目前研究階段來看，機器學習算法方面，例如支持向量機、貝葉斯等方法。在深度學習方面，有著卷積神經(jīng)網(wǎng)絡、長短期記憶網(wǎng)絡、注意力機制甚至是基于Transformer的預訓練模型（如BERT、GPT等）等方法，這些方法都能夠更好地捕捉文本的語義和情感信息，使得在自然語言處理領域發(fā)展迅速（2）聲音情感分析原理聲音情感分析旨在識別和分析人聲中的情感特征，與文本的固定表達情感的方式不同，聲音所蘊含的情感信息會受到不同程度因素的影響，例如人聲的高低起伏、語速的快慢、音質差異甚至是方言等難以統(tǒng)一的因素，對于情感分析任務來說是一個艱難的挑戰(zhàn)。甚至有時語音數(shù)據(jù)并不是那么完美，往往參雜了各種雜音和噪聲，這使得機器識別起來更加復雜，在聲音情感分析方法上，主要依賴于聲學特征提取，如基頻、能量、聲譜特征等。早期研究人員利用隱藏半連續(xù)馬爾可夫模型、遺傳算法和高斯混合模型等機器學習和最優(yōu)化算法進行語音情感判斷并得到了較高的準確率。這些研究方法雖然擴寬了語音數(shù)據(jù)的特征提取角度，語音情感分析得以起步發(fā)展，但這些方法仍然沒有擺脫繁瑣的特征構建問題。隨著機器學習和深度學習技術的興起與運用，卷積神經(jīng)網(wǎng)絡和循環(huán)神經(jīng)網(wǎng)絡等神經(jīng)網(wǎng)絡模型相繼被用作聲音情感分析，這些模型能夠更有效地處理聲音信號，并從中提取情感相關的特征。使得聲音情感分析的準確性得到了顯著提升。（3）視頻情感分析原理視頻情感分析綜合考慮了視覺和聽覺兩個模態(tài)的信息，旨在識別視頻內容中的情感表達。成語“喜怒形于色”，形容一個人的情緒都寫在臉上，這個成語具體指人內心的喜怒哀樂等情緒都會通過面部表情來表現(xiàn)出來，無法隱藏。因此，在視覺方面，表情是最能直觀地體現(xiàn)一個人的情緒表現(xiàn)方法，在進行視頻情感分析時，主要考慮人類面部表情的細微變化，也就是針對視覺方面進行分析。在早期的研究當中，研究人員提出了尺度不變特征變換、基于Gabor特征相位和定向梯度直方圖等方法提取圖片特征。在傳統(tǒng)機器學習方面，Datta等人[13]將幾何和紋理特征串聯(lián)作為輸入，通過SVM實現(xiàn)面部表情的分類，實驗證明了聯(lián)合特征的有效性。Liu等人[14]基于表情單元進行建模，提取密集的低層特征形成的時空流形提升判斷效果。視頻情感分析的關鍵挑戰(zhàn)在于如何有效地提取和融合視覺特征（如面部表情、肢體動作）和聲音特征。深度學習技術的發(fā)展，為計算機視覺領域提供了新能源，在視頻情感分析中得到了廣泛應用。特別是卷積神經(jīng)網(wǎng)絡（CNN）和循環(huán)神經(jīng)網(wǎng)絡（RNN）的結合模型對于圖像特征能夠有效地處理數(shù)據(jù)，并從中提取情感相關的特征，大大地提高了情感分析的準確率。1.2.2基于多模態(tài)研究現(xiàn)狀由于人的情感表達是多種多樣的，具有多種模態(tài)的，倘若只通過單一模態(tài)進行分析，一定會存在局限性，相同的文字，加上不同的面部表情和聲音語調，得到的情感反饋往往可能大不相同?；诂F(xiàn)實生活中，不同的場景有不同的需要，研究者將通過聯(lián)合文本、聲音、視頻三種模態(tài)，利用不同模態(tài)特征的多樣性，構建情感分析模型，挖掘接近現(xiàn)實的真實情感。相較于單模態(tài)方法，多模態(tài)情感分析通過整合更多樣化的信息源，能夠更全面地捕捉情感細節(jié)，從而提升情感識別的精確度與魯棒性。因此，在多模態(tài)情感分析領域，全球許多知名機構進行了深入研究。例如，麻省理工學院的MIT媒體實驗室專注于研究人機交互、媒體技術以及多模態(tài)感知等方面，涵蓋了多模態(tài)情感分析的相關研究。斯坦福大學在自然語言處理、計算機視覺和機器學習等領域具有強大的研究實力，其中也包括多模態(tài)情感分析。牛津大學的計算語言學小組和計算機視覺小組等團隊在多模態(tài)情感分析領域開展了研究。在國內，有一些機構也在多模態(tài)情感分析領域進行了研究，例如中國科學院自動化研究所在智能語音與語言理解實驗室、清華大學計算機科學與技術系的多媒體實驗室、上海交通大學計算機科學與工程系、北京大學計算機科學技術研究所的自然語言處理與人機對話實驗室，都在不同程度上對文本、聲音和視頻等多模態(tài)數(shù)據(jù)情感分析進行研究。多模態(tài)情感分析是指綜合運用文本、聲音、視頻等類型不一的模態(tài)信息數(shù)據(jù)進行情感的識別和分析。隨著多媒體技術的發(fā)展及智能設備的普及化，人們在社交平臺上使用文本、圖片和視頻等多種模式表達情緒的情況日益增多。與單一模態(tài)的區(qū)別在于，多模態(tài)分析能夠統(tǒng)合不同模態(tài)的信息，如圖文結合、視聽結合，往往涉及兩種或更多模態(tài)的信息融合以識別情緒。在早期研究階段，由于計算資源的限制，機器學習領域的發(fā)展還處于初步階段，情感分析主要是使用傳統(tǒng)方法對單一模態(tài)如文本進行分析。但明顯的，相較于只分析文字等單一的模態(tài)，多模態(tài)所蘊含的情感信息更豐富，計算機分析和識別將會更準確。多模態(tài)特征表示主要是通過學習更好的提取和表示模態(tài)信息，來達到有效利用多模態(tài)數(shù)據(jù)的互補性的目的。例如Zhao等人[8]提出了多模態(tài)預訓練模型MemoBERT，該網(wǎng)絡利用自監(jiān)督學習從未標記的多模態(tài)數(shù)據(jù)中學習聯(lián)合表示，通過對下游任務進行微調，將其作為遮蔽文本的預測去更接近預訓練任務，對多模態(tài)數(shù)據(jù)集注釋成本高和標簽模糊問題做出有效解決。Williams等人通過對三種模態(tài)輸入特征進行融合和雙向LSTM進行模態(tài)序列學習，提供了深度學習網(wǎng)絡輸出的詳細情緒分布，為以后多模態(tài)情感分析任務創(chuàng)建了一個穩(wěn)健的基線。在情感分析領域，雖然已經(jīng)成功地應用于文本數(shù)據(jù)的情感分析，但是對于視頻和多媒體內容來說，這是一個研究不足的問題，這方面的研究較大的挫折是缺乏適當?shù)臄?shù)據(jù)庫?，F(xiàn)有的基于多模態(tài)的情感分析數(shù)據(jù)庫包括IEMOCAP、CMU-MOSI和CMU-MOSEI等，這些數(shù)據(jù)庫涵蓋了多種語言、情感和媒體類型，為研究人員提供了豐富的研究資源。綜上所述，研究多模態(tài)情感分析具有重要的理論和實踐意義。理論上，它有助于深入探索不同模態(tài)之間的互補性和融合機制，豐富情感計算的理論體系。實踐上，多模態(tài)情感分析可以應用于更廣泛的場景，如視頻內容分析、人機交互設計、情感驅動的推薦系統(tǒng)等，為人們提供更智能、更個性化的服務。1.3主要研究目的和內容本研究的目的源于當前情感分析領域存在的一些挑戰(zhàn)和需求，包括單一模態(tài)情感分析的局限性、多模態(tài)數(shù)據(jù)融合的復雜性以及實際應用中對準確性和魯棒性的高要求。因此，本文旨在提出一種高效的基于文本、聲音、視頻的多模態(tài)情感分析框架，以此提高情感分析的準確性和適用性。具體而言，本文的主要目標包括：提出一種多模態(tài)情感分析框架，能夠有效地整合文本、聲音、視頻等不同模態(tài)的情感信息。開發(fā)相應的特征提取和數(shù)據(jù)融合技術，以提取各模態(tài)中的情感相關特征并實現(xiàn)有效的模態(tài)融合。構建和評估情感分類模型，探索不同模態(tài)融合策略對情感分析性能的影響。分析實驗結果，討論多模態(tài)情感分析的應用潛力和未來研究方向。2多模態(tài)情感分析框架介紹2.1多模態(tài)數(shù)據(jù)的收集和預處理本節(jié)主要介紹多模態(tài)情感分析框架，首先是收集和預處理包含文本、聲音和視頻信息的數(shù)據(jù)。數(shù)據(jù)收集可以通過社交媒體平臺、在線視頻網(wǎng)站或實驗室錄制等方式進行。其中，預處理包括：文本預處理：包括去除停用詞、標點符號和無關字符，進行詞干提取和詞性標注，以及將文本轉換為詞向量或句向量。聲音預處理：包括去除噪聲、進行聲音分段和標準化，以及提取聲音特征如梅爾頻率倒譜系數(shù)（MFCC）。視頻預處理：包括視頻幀提取、進行面部識別和追蹤，以及提取視覺特征如光流和面部表情特征。圖SEQ圖\*ARABIC1多模態(tài)數(shù)據(jù)的收集和預處理2.2多模態(tài)數(shù)據(jù)特征提取方法特征提取是多模態(tài)情感分析的是一個復雜且關鍵的過程，目的是為了從原始數(shù)據(jù)中提取有助于情感分類的特征。整體流程包括以下幾個步驟：首先，從原始數(shù)據(jù)中提取出各個單模態(tài)的特征。其次，使用卷積神經(jīng)網(wǎng)絡或循環(huán)神經(jīng)網(wǎng)絡等深度學習模型對這些單模態(tài)特征進行模態(tài)內的特征建模。接著，通過選用合適的特征融合策略來整合不同模態(tài)的特征。最后，將這些經(jīng)過特征融合后的數(shù)據(jù)送入分類層，以輸出情感分析的結果。這一過程有效地結合了不同模態(tài)的信息，提高了情感分析的準確性和深度，如圖2所示。圖2多模態(tài)情感分析整體流程圖如果直接使用原始數(shù)據(jù)進行分析，不僅在訓練模型方面難度較大，而且訓練時間和數(shù)量也需要耗費大量精力。因此，特征提取可以通過不同的工具從原始數(shù)據(jù)中提取出單模態(tài)特征，再將單模態(tài)特征利用模型進行訓練，以此來大大簡化多模態(tài)情感分析的過程。本節(jié)將分別對文本、音頻和視頻模態(tài)常用的特征提取方法展開介紹。2.2.1文本特征提取如何對文本數(shù)據(jù)進行有效的特征提取，是自然語言處理領域最基本也是最重要的問題，目的是從原始文本數(shù)據(jù)中提取出對于后續(xù)分析和處理具有重要意義的特征信息。其中主流的方法包括詞袋模型（BOW）、詞嵌入（如Word2Vec和GloVe）和基于Transformer的預訓練模型（如BERT和GPT）等。這些方法都能有效地提取出文本中的詞匯、語法和語義信息等對情感分析等任務有用的特征，其中詞嵌入往往是進行文本特征提取使用率最高的一種方法。詞嵌入是自然語言處理（NLP）領域中的一項技術，它通過將詞語轉換為實數(shù)向量，使得詞語能夠以計算機可理解的數(shù)值形式呈現(xiàn)。這樣的表示方式讓計算機能夠有效地處理和分析文本數(shù)據(jù)，是處理自然語言任務的基礎技術之一。詞嵌入通常是通過訓練神經(jīng)網(wǎng)絡模型從大量文本數(shù)據(jù)中學習得到的。Word2Vec是在2013年由Mikolov等人首次提出的詞嵌入模型，該模型對一個神經(jīng)網(wǎng)絡進行訓練，學習詞語的分布式表示，使得在向量空間中，語義上相近的詞彼此接近。Word2Vec的核心優(yōu)勢在于其能夠捕捉詞與詞之間的細微關系，從而提高自然語言處理任務的性能。Word2Vec有兩種訓練算法：連續(xù)詞袋模型（CBOW）和跳字模型（Skip-gram）。GloVe是一種由斯坦福大學的研究人員在2014年提出的詞嵌入技術。相較于基于局部上下文窗口的Word2Vec模型，GloVe的亮點在于綜合利用全局統(tǒng)計信息（詞與詞共現(xiàn)頻率）和局部上下文特征來生成詞向量，這種方法有助于捕捉詞語之間更加豐富的語義和語法關系。預訓練語言表示模型BERT是由GoogleAI團隊于2018年提出的，該模型在自然語言處理領域一直備受矚目。其獨有的特點便是它擁有雙向訓練架構，這使得模型能夠更好更全面地理解語言上下文，并且通過預訓練和隨后的任務特定微調，使其能夠被應用于多種NLP任務，包括文本分類、問答系統(tǒng)、命名實體識別等。2.2.1聲音特征提取音頻特征指的是通過分析音頻信號，提取出對音頻信號具有表征性的數(shù)字特征，表達情感通過聲音是一種自然界生物隨著進化而發(fā)展出的能力，而人類獨特的語言能力進一步增強了這種能力，使得情感的表達通過聲音變得更加豐富和細膩。提取語音情感特征[9]主要分為兩個過程，一是從原始的語音信號中提取聲學特征，如譜特征，并使用算法從聲學特征中提取情感特征。二是統(tǒng)計情感特征，如取平均值、求方差等，可以尋找用以表示高度表征情感的語音情感特征。語音中的信息包含聲學信息和語義信息[10]，常用的聲學特征包括基頻（Pitch）、能量、梅爾頻率倒譜系數(shù)（MFCC）和聲調特征。利用深度學習模型如CNN和RNN也可用于提取聲音特征。梅爾頻率倒譜系數(shù)（MFCC）是在聲音識別、聲音處理以及音樂信息檢索等領域被廣泛使用的一種特征提取技術。因此，利用MFCC基于人耳對聲音的感知特性，將聲音信號轉換為一組數(shù)值表示，用于捕捉聲音的主要特征。相比其他音頻特征，梅爾頻率倒譜系數(shù)相對穩(wěn)定且抗噪聲能力強，能有效地描述音頻信號的語音特征[11]，MFCC的計算過程大致可以分為以下幾個步驟：預加重：通過一個高通濾波器對信號進行預加重，以補償高頻部分的能量損失，增強高頻信號。分幀將連續(xù)的聲音信號分割成一系列短時幀，每個幀通常為20-40毫秒，幀與幀之間有一定的重疊，以保持連續(xù)性。加窗：將窗函數(shù)（如漢明窗）作用于對每個幀，以減少幀邊緣的不連續(xù)性。快速傅里葉變換：采用快速傅里葉變換處理加窗后的每個幀，以獲得頻譜表示。梅爾濾波器組：使用一組梅爾尺度的濾波器對經(jīng)過FFT處理得到的頻譜進行濾波，模擬出人耳對不同頻率聲音的感知特性。對數(shù)轉換：對濾波器組輸出的能量取對數(shù)，將乘法運算轉換為加法運算，并模擬人耳對聲音強度的對數(shù)感知。離散余弦變換：利用離散余弦變換把取對數(shù)后的結果進行分析處理，去除掉濾波器組輸出之間的相關性，并得到最終的MFCC特征，如下圖2所示。圖2MFCC特征提取流程2.2.3視頻特征提取視頻特征提取是從視頻數(shù)據(jù)中提取有用信息的過程，目的是將視頻內容轉化為更加易于處理和分析的形式。這些特征可以是視覺的（如顏色、紋理、形狀）、音頻的（如聲音強度、音調）、或是基于內容的（如物體識別、人臉識別）。視覺特征包括面部表情特征、肢體語言特征和場景特征。人臉表情作為人類最關鍵且最直觀的情感表達方式，在計算機視覺和人工智能領域，利用人臉識別和追蹤技術來進行情感分析一直是火熱的課題。人臉表情識別的關鍵技術是視覺特征提取，是指通過提取人臉圖像中最具有代表性的特征和特點，以用于分類和區(qū)別人臉表情。通過對圖像特征的處理，系統(tǒng)可以人臉表情進行辨別，并將其映射到對應的情感類別，如快樂、悲傷、驚訝等。利用深度學習模型如3DCNN可用于提取視頻特征。隨著近幾年深度學習技術的發(fā)展，又提出了MTCNN、FaceNet等網(wǎng)絡模型，此外，為簡化特征提取過程，多種用于視覺特征提取的工具包如OpenCV、Openface也被廣泛使用。2.3多模態(tài)數(shù)據(jù)融合技術多模態(tài)數(shù)據(jù)融合是指將文本、聲音和視頻等各種不同類型的特征進行有效地結合，以提高情感分析的準確性。在情感分析技術發(fā)展初期，研究人員主要依靠文本、聲音等單一模態(tài)來進行情感分析，但由于單模態(tài)情感分析存在著一定的限制，因此，同單一模態(tài)相比較，使用兩種或兩種以上的模態(tài)信息往往能將情感信息描述地更加準確、豐富。因此，深入挖掘和融合多種模態(tài)信息，能夠提高情感分析性能，基于多模態(tài)數(shù)據(jù)的情感分析技術應運而生，常用的融合技術包括：特征級融合、決策級融合、混合級融合和模型級融合。下面將對這幾種融合詳細介紹。2.3.1特征級融合特征級融合，通常被稱為早融合策略，涉及將來自不同模態(tài)的特征向量直接合并成一個較長的向量，并將其作為模型的輸入。這種融合在特征層次上實現(xiàn)，即在特征輸入過程中就已經(jīng)開始合并不同模態(tài)的特征。通過這種方式，可以通過簡單的拼接、相加、相乘或者更復雜的組合操作，有效地整合多種模態(tài)的信息，以增強模型對數(shù)據(jù)的理解和處理能力，如圖3所示。圖3特征級融合2.3.2決策級融合決策級融合，是指在決策層面上進行的特征融合策略，通常也被稱為晚期融合。其核心是先單獨訓練各個不同模態(tài)的數(shù)據(jù)，使其能夠充分捕捉各個模態(tài)中包含的情感信息。最后將各個模態(tài)得出的局部情感分類結果進行融合。通過這種策略，可以在決策階段綜合各模態(tài)的優(yōu)勢，從而提高整體的情感識別準確性。然后根據(jù)各自的分類結果進行投票或加權平均以得到最終的情感類別。如圖4所示。圖4決策級融合2.3.3混合級融合混合級融合結合了特征級融合和決策級策略的優(yōu)勢并相互彌補了兩者的缺點。首先，利用特征級融合的方法將不同模態(tài)的特征拼接在一起，然后將得到的拼接特征輸入到分類器中。同時，還將每種模態(tài)的特征分別送入對應的分類器中進行單獨處理。最后，將這些分類器輸出的結果采用決策級策略進行整合。這樣的操作不僅提高了特征利用效率，還增強了模型對不同情感特征的綜合識別能力。圖5混合級融合2.3.4模型級融合模型級融合是指通過設計混合網(wǎng)絡結構，如多模態(tài)融合網(wǎng)絡（MFN）和交叉模態(tài)注意力網(wǎng)絡，達到不同模態(tài)特征的互補和交互的目的。與特征級融合和決策級融合區(qū)別在于，模型級融合能夠直接在網(wǎng)絡結構中學習和利用不同模態(tài)之間的交互信息，這樣不僅增強了模型處理復雜數(shù)據(jù)的能力，還減少了對多模態(tài)時間同步的依賴。這種融合方法在進行獨立建模每個單模態(tài)的特征的同時，還綜合考慮不同模態(tài)間的相關性，從而實現(xiàn)更高效和深入的數(shù)據(jù)分析。該方法主要是獲得三種模態(tài)的聯(lián)合特征表示，以及實現(xiàn)它主要取決于所采用的融合模型。模型級融合是更深層次的融合方法，為分類和回歸任務產(chǎn)生更優(yōu)化的聯(lián)合判別特征表示。2.4情感分類模型的構建和訓練構建情感分類模型是多模態(tài)情感分析的核心步驟，旨在根據(jù)提取的特征進行情感類別的判斷。對于文本分析，傳統(tǒng)的機器學習流程通常涵蓋以下幾個關鍵步驟：首先需要構建訓練集，即收集數(shù)據(jù)并為數(shù)據(jù)打上情感標簽。接著是提取訓練數(shù)據(jù)中對理解文本情感傾向方面起著至關重要的作用的特征，例如情緒相關的詞匯、特定的語法結構等。最后，采用各種機器學習模型對這些特征進行分析，以預測文本的情感傾向，其中使用頻率比較高的模型包括支持向量機、樸素貝葉斯以及隨機森林等。這些方法通過不同的算法原理來處理和分析文本數(shù)據(jù)，從而得出情感分析結果。支持向量機模型的識別率檢驗了將機器學習技術應用于情感分類工作的有效性[12]。對于語音分析，基于語音信號的產(chǎn)生機制來實現(xiàn)分析任務，一般的流程為：提取語音中能夠反映情感傾向的特征參數(shù)，然后應用合適的識別方法確定語音中所包含的情感[13]。對于語音信號的識別，目前主流的研究方法有馬氏距離判別法、神經(jīng)網(wǎng)絡法、主成分分析法（PCA）、隱馬爾可夫模型（HMM）、混合高斯模型法（GMM）等。文獻[14]采用完整語句作為全局特征進行情感識別，并總結了語音信號的不同情感特征分布規(guī)律。文獻[15]在4種情緒語音信號的基礎上增加了特征維數(shù)，提出一種改進型馬氏距離判別式，將情感識別率提高到94%。對于視頻情感分析，早期使用的傳統(tǒng)方法大多數(shù)是手工提取的特征，例如Revina等人提出的whale-grasshopper優(yōu)化算法，利用離散LBP和SIFT描述子進行人臉的特征提取[16]，Liu等人提出了基于時空維度的模型STM-ExpLet，利用高斯混合模型將視頻中的局部時空特征進行對齊處理，再進行情感分析[17]。3基于模態(tài)貢獻識別和多任務學習的多模態(tài)情感分析模型本章提出基于模態(tài)貢獻識別和多任務學習的多模態(tài)情感分析模（IdentifyingModalContributionNetwork，IMCN），不但對模態(tài)特征的提取進行創(chuàng)新利用，更在模態(tài)融合前充分考慮了不同模態(tài)信息對融合信息的影響。基于不同模態(tài)對多模態(tài)信息的貢獻權重不同，以權重最大的文本模態(tài)為主，構建模態(tài)之間信息相關性網(wǎng)絡。本章率先運用自注意力捕獲模態(tài)內部特征相關性，接著使用跨模態(tài)注意力獲得模態(tài)之間的依賴，進一步通過增益網(wǎng)絡獲得不同模態(tài)的增益系數(shù)，最后將單模態(tài)任務與多模態(tài)任務進行聯(lián)合學習，充分降低噪聲信息的干擾。利用兩個主流CMU-MOSI，CMU-MOSEI數(shù)據(jù)集分別與主流對比模型的對比實驗，以此來判斷IMCN是否可以有效提升多模態(tài)情感極性判斷的性能。3.1模型總體結構為了準確判斷模態(tài)間貢獻的差距，避免模態(tài)無關信息對融合特征的干擾，本章提出IMCN模型有效的利用模態(tài)貢獻權重，通過模態(tài)增益網(wǎng)絡進行特征的判斷與融合，將單模態(tài)任務與多模態(tài)任務進行多任務學習提升模型的泛化性能。如圖6所示，IMCN模型的結構主要分為四個部分：圖6IMCN的模型框架圖模態(tài)特征提?。涸撨^程是提取各模態(tài)的原始特征，對于文本模態(tài)，采用BERT預訓練模型來初始化詞匯的特征向量；對于語音模態(tài)，采用COVAREP工具包來提取聲學特征；而視覺模態(tài)則利用OpenFace等工具來提取與面部相關的特征。信息增益交互：利用自注意力機制和跨模態(tài)注意力機制構建模態(tài)增益網(wǎng)絡（ModalityInteractionModule，MIM），檢測模態(tài)間的關系，得到模態(tài)增益系數(shù)。模態(tài)更新：利用模態(tài)增益系數(shù)進行模態(tài)間的融合，綜合利用多種模態(tài)語義信息，實現(xiàn)異質信息互補。多任務學習：構建單模態(tài)學習網(wǎng)絡，與多模態(tài)情感分析共用相同的模態(tài)底層特征，提升模型泛化性能和學習效果。3.2模態(tài)特征提取針對給定數(shù)據(jù)集進行優(yōu)秀的模態(tài)嵌入。在一個包含N個視頻片段的數(shù)據(jù)集中，分別含有文本模態(tài)L、語音模態(tài)A和視覺模態(tài)V三種模態(tài)數(shù)據(jù)。通過預訓練的BERT模型處理文本。BERT模型有12層，最后一層的第一個詞向量可以作為整句的語義表示，用于下游任務。X其中,語音模態(tài)A通過COVAREP工具包基于語音的語調和情緒進行語音淺層特征的提取，主要包括：梅爾倒譜系數(shù)、音高、有聲/無聲分割特征、聲門源參數(shù)等。然后，將提取的語音淺層特征經(jīng)單向LSTM網(wǎng)絡，進一步通過時序建模提取語音上下文表征。X其中，XA單向LSTM的隱藏狀態(tài)輸出表示，θA對于視頻數(shù)據(jù)，首先將視頻以30赫茲的頻率分割成圖片幀，通過MTCNN算法識別人臉，將人臉部分進行裁切并保存為相應尺寸圖片，通過OpenFace提取面部HoG特征、面部形狀和眼睛注視等淺層特征，然后，將獲得的視覺特征同樣利用單向LSTM網(wǎng)絡在時間維度上建模獲取上下文表征。X其中，XV表示視覺模態(tài)上下文表征，由視覺提取網(wǎng)絡隱藏狀態(tài)輸出獲得，θVLSTMXXXV其中，fL,f3.3信息增益交互在多模態(tài)中，文本模態(tài)擁有最多的信息量。IMCN利用多頭注意力機制進行模態(tài)間的交互，設計了兩個MIM模塊分別檢測文本與語音、文本與視覺的關系，判斷語音模態(tài)和視覺模態(tài)對特征融合的增益程度。MIM的具體結構如圖4-2所示。根據(jù)多頭注意力的兩個輸入是否相同，可以分為多頭自注意力和跨模態(tài)多頭注意力。給定兩個不同的輸入Hm=?MHA?eaAttentio其中，Wmc∈?d?d代表參數(shù)矩陣，headi表示第兩個MIM模塊工作原理一致，主要包含模態(tài)內部層和模態(tài)交互層，以文本特征和語音特征在模塊中的輸入為例。首先，利用一維時域卷積使模態(tài)特征向量保持一致，方便進行注意力計算。XLXAXV然后，在模態(tài)內部層將輸入的文本特征和語音特征分別進行多頭自注意力計算，捕捉模態(tài)內部特征的相關性。DLDA其中，??????????????代表多頭自注意力，其兩個輸入為相同的模態(tài)特征。最后，在模態(tài)交互層中，將經(jīng)過自注意力后的特征????和????作為輸入，挖掘文本與語音之間所有的潛在局部對齊，進一步推斷整體相關性。DD其中，????????????????代表跨模態(tài)多頭注意力，參照多頭注意力公式，公式（4-15）中，????代表輸入????，????代表輸入????。3.4模態(tài)更新將模態(tài)交互層的輸出DL、DA、DL→A和DA→L拼接，基于模態(tài)的特性和模態(tài)間的共性，通過前饋神經(jīng)網(wǎng)絡和Softmax激活函數(shù)，得到語音-文本、視覺-文本的模態(tài)增益概率p，如公式17所示：p=Softmax(其中，Wo代表權重矩陣，bo表示該層的偏置，將得到模態(tài)的增益概率pal和pvl與原模態(tài)特征進行點積運算，獲得對融合有幫助的模態(tài)上下文特征。XX基于新的模態(tài)特征，重新與文本模態(tài)進行跨模態(tài)多頭注意力計算，細化注意力層，擴展多位置專注的能力。由于模態(tài)增益網(wǎng)絡的降噪處理，會損失一些模態(tài)特性信息，通過加入殘差機制，提升模型泛化性能。FF將得到的Fal、Fvl、XL三種高層語義特征進行拼接融合，然后通過激活函數(shù)和全連接層進行情感分類，從而實現(xiàn)多模態(tài)情感分析的預測結果。FFy其中，F(xiàn)fusion為多模態(tài)融合特征，????1∈?3?????和????2∈????1代表學習權重，bf1和bf2需要學習的偏置，ReLU為激活函數(shù)，ym表示預測的多模態(tài)情感極性。3.5多任務學習基于Yu等人[18]構建的自監(jiān)督網(wǎng)絡，可以提取到數(shù)據(jù)集中不存在的單模態(tài)情感標簽，通過與相應多模態(tài)片段進行對齊，構建具有單模態(tài)情感標簽的數(shù)據(jù)集，該數(shù)據(jù)集結構如圖對文本、語音和視覺模態(tài)單獨進行情感分析，將預測結果同ymXyLosLosLoss=αLos其中，??∈{??,??,??}表示不同的單模態(tài)，????1∈??????和????2∈????1表示單模態(tài)學習所需的權重，????1和????2表示偏置，??????????和??????????分別表示單模態(tài)和多模態(tài)的損失函數(shù)，??、??、??和??為參與訓練過程的參數(shù)。4實驗設計與結果分析4.1數(shù)據(jù)集的介紹和劃分在多模態(tài)情感分析的實驗中，選擇合適的數(shù)據(jù)集是非常重要的。一個好的數(shù)據(jù)集應該包含豐富的文本、聲音和視頻信息，以及對應的情感標簽。目前主流的多模態(tài)情感分析數(shù)據(jù)集涵蓋了CMU-MOSI、CMU-MOSEI、CH-SIMS、IEMOCAP和SEWA等。其中普遍包含了來源于電影評論、對話或社交媒體的多模態(tài)數(shù)據(jù)，并由專家或眾包工人標注了相應的情感標簽。為了更全面地評估模型的性能，我們將詳細介紹其中三個備受矚目的多模態(tài)情感評測數(shù)據(jù)集：CMU-MOSI、CMU-MOSEI以及CH-SIMS。CMU-MOSI數(shù)據(jù)集涵蓋了許多來自YouTube的視頻片段，并且在這些片段中含有說話人對不同的話題進行評論，例如電影、書籍或產(chǎn)品。數(shù)據(jù)集中的視頻被標注了情感極性（正面、負面、中性）和情感強度。他的特點在于它結合了多種模態(tài)信息，包括文本（轉錄的語音）、音頻（說話人的聲音）和視覺（說話人的面部表情和肢體語言），這些不同的模態(tài)信息提供了更豐富的上下文，對提高情感分析的準確性有很大的提升。CMU-MOSEI數(shù)據(jù)集是CMU-MOSI數(shù)據(jù)集的增強版本，它涵蓋了更多來自YouTube的23,454個視頻片段，這些視頻片段中的說話人對各種主題進行評論，包括電影、書籍、產(chǎn)品、政治等。他的特點在于它提供了豐富的多模態(tài)信息，包括文本（轉錄的語音）、音頻（說話人的聲音）、視覺（說話人的面部表情和肢體語言）以及其他相關的元數(shù)據(jù)。在這個數(shù)據(jù)集中的視頻被標注了六種基本情感（快樂、悲傷、憤怒、恐懼、厭惡、驚訝）的強度以及情感極性（正面、負面、中性）。CMU-MOSEI數(shù)據(jù)集是目前最大、最全面的多模態(tài)情感分析數(shù)據(jù)集之一，廣泛用于自然語言處理、計算機視覺、音頻處理和機器學習等領域的研究。它為研究人員提供了一個平臺，用于探索和開發(fā)利用多種模態(tài)信息進行情感分析和識別的技術。通過在這個數(shù)據(jù)集上訓練和測試模型，研究人員可以更好地理解情感表達的復雜性，并提高情感識別和分析的準確性和魯棒性。CH-SIMS是針對中文多模態(tài)情感分析的數(shù)據(jù)集，相比MOSI與MOSEI等單標簽數(shù)據(jù)集，CH-SIMS額外提供了文本、音頻與視覺單模態(tài)標簽，CH-SIMS數(shù)據(jù)集的主要特點有數(shù)據(jù)集完全由中文構成，適合研究中文語境下的情緒識別與對話系統(tǒng)，含有多模態(tài)信息，除了文本，數(shù)據(jù)集還可能包括音頻或視頻數(shù)據(jù)，使研究者可以探索如何利用不同的信息源來更好地理解和生成對話。并且每段對話都伴隨著情緒標注，這些標注幫助研究人員訓練模型以識別和回應用戶的情緒。CH-SIMS數(shù)據(jù)集通常用于以下研究領域，例如情緒識別：通過分析對話內容和語調，自動識別對話中的情緒狀態(tài)。情感對話生成：生成反映適當情緒的對話回復。人機交互：改進機器理解人類情緒的能力，以提供更自然、更具同理心的交互體驗。數(shù)據(jù)劃分是實驗設計的另一個關鍵步驟，它直接影響模型的泛化能力和實驗結果的可靠性。數(shù)據(jù)集一般會被細分為訓練集、驗證集和測試集，這三者的比例可根據(jù)實驗需求靈活調整。訓練集被專門用于模型訓練，驗證集則用于選取和調整模型參數(shù)，測試集則被用來綜合評估模型的最終表現(xiàn)。表1數(shù)據(jù)集的劃分TrainValidTestCMU-MOSI1284229686CMU-MOSEI16326187146594.2實驗設置4.2.1模型選擇相較于以前的多模態(tài)情感分析，本章采用的是基于模態(tài)貢獻識別和多任務學習的多模態(tài)情感分析模型，不但對模態(tài)特征的提取進行創(chuàng)新利用，更在模態(tài)融合前充分考慮了不同模態(tài)信息對融合信息的影響。基于不同模態(tài)對多模態(tài)信息的貢獻權重不同，以權重最大的文本模態(tài)為主，構建模態(tài)之間信息相關性網(wǎng)絡。選取的數(shù)據(jù)集主要是CMU-MOSI數(shù)據(jù)集和CMU-MOSEI數(shù)據(jù)集，利用在CMU-MOSI，CMU-MOSEI數(shù)據(jù)集上分別與主流對比模型的對比實驗。對于CMU-MOSI數(shù)據(jù)集，批處理大小為16，初始學習率設置為1e-4，文本卷積核、語音卷積核和視覺卷積核大小均設置為5，文本dropout為0.4，語音dropout為0.1，視覺dropout為0.2。對于CMU-MOSEI數(shù)據(jù)集，批處理大小為32，初始學習率設置為1e-5，文本卷積核大小為5，語音卷積核大小設定為1，視覺卷積核大小設定為3，文本dropout為0.3，語音dropout為0，視覺dropout為0。具體實驗參數(shù)見下表2所示。表2實驗參數(shù)設置CMU-MOSICMU-MOSEI批處理1632初始學習率1e-41e-5文本卷積核55語音卷積核51視覺卷積核53續(xù)表2實驗參數(shù)設置文本dropout0.40.3語音dropout0.10視覺dropou評價指標為了評估驗證本章模型的性能，本文采用了多模態(tài)情感分析任務中最常見的兩種類型的評價指標，分別是回歸任務指標和分類指標，其中回歸任務指標包括MeanAbsoluteError（MAE）和Pearsoncorrelation（Corr）。分類指標包括（Accuracy）、精確率（Precision）和F1分數(shù)（F1Score）。對于上述評價指標的詳細介紹如下：準確率是在分類器處理目標數(shù)據(jù)集時，正確分類的樣本數(shù)占總樣本數(shù)的比例，表示模型預測正確的概率。準確率最大值為1，最小值為0。根據(jù)分類的數(shù)量不同，可分為二分類（Acc-2）與七分類(Acc-7)。Accuracy=其中，TP代表標簽真實值與模型預測值均為正例的數(shù)量，F(xiàn)P代表標簽真實值雖為負例但模型預測值為正例的數(shù)量，TN代表標簽真實值與模型預測值均為負例數(shù)量，F(xiàn)N表示標簽真實值雖為正例但模型預測值為負例的數(shù)量。F1-Score相當于查全率和查準率的調和平均值，其中最佳值為1.0，最差值為0.0，具體計算公式如下所示：F1Score=因此，F(xiàn)1可以同時考慮到模型精確率和召回率的評估，F(xiàn)1取值大小可以直觀反映出模型性能，F(xiàn)1取值越大，模型的分類性能越強。平均絕對誤差（MAE）是用來衡量預測模型或估計方法預測結果的精度。MAE是預測值和實際值之間差的絕對值的平均，提供了一個直觀的誤差度量，用來評估預測結果的準確性。MAE=皮爾遜相關系數(shù)，是衡量兩個變量之間線性關系強度和方向的統(tǒng)計指標。它是最常用的相關性度量之一，廣泛應用于統(tǒng)計學、科學研究以及社會科學等領域。Corr=其中，n代表樣本數(shù)量，E是數(shù)學期望，σyi代表4.3不同模態(tài)和融合方法的比較分析為了評估不同模態(tài)和融合方法對情感分析性能的影響，通過實驗與以下多模態(tài)情感分析基線模型進行了公平的比較，詳細信息如下：EarlyFusionLSTM：早期融合LSTM（EarlyFusionLSTM，EF-LSTM）將三種模態(tài)的輸入進行拼接得到融合特征，然后利用LSTM進行情感分析。LaterFusionDNN：與EF-LSTM相比，晚期融合DNN（LaterFusionDNN，LF-DNN）首先用DNN進行學習單模態(tài)特征，然后拼接輸入進行分類器得到情感極性。TFN[19]：張量融合網(wǎng)絡TFN通過計算模態(tài)基于外積的多維張量去捕捉單模態(tài)、雙模態(tài)和三模態(tài)之間的相互作用。MFN：由Zaheh等人提出，利用門控記憶網(wǎng)絡和Attention機制在時間維度上捕捉不同模態(tài)之間的交互信息[20]。MULT：利用跨模態(tài)Transformer，將輔助模態(tài)融入目標模態(tài)，得到6組跨模態(tài)融合特征后，再通過拼接與自注意力機制整合。表3對比實驗結果（CMU-MOSI）ModelAcc-2Acc-7F1MAECorrEF-LSTM78.4835.3978.5194.8866.9LF-DNN78.6334.5278.6395.4865.84續(xù)表3對比實驗結果（CMU-MOSI）TFN79.0834.4679.1194.7367.33Mult79.7136.9180.9587.9970.22MFN78.8735.8378.9092.6867.02IMCN84.140.3182.6487.569.94與基于特征級融合（EF-LSTM、TFN）模型相比，IMCN模型效果有大幅度提升，通過多頭注意力機制能有效模態(tài)內的語義信息，實現(xiàn)模態(tài)之間上下文信息的交互和更高效的特征表征，說明特征級融合模型難以兼顧模態(tài)內的特征表示和模態(tài)間的信息交互。與基于復雜融合的兩種模型（MFN、Mult）相比，IMCN模型在模態(tài)融合前設計的模態(tài)增益網(wǎng)絡，有效的保證了融合特征信息真實性，而MFN等模型雖然考慮了模態(tài)間的交互，但最終的融合特征里含有過多的噪聲信息，影響了多模態(tài)情感分析的性能。表4列舉了IMCN模型與基線模型在CMU-MOSEI數(shù)據(jù)集上的性能比較，相較于表3，大部分模型的性能有了不同幅度的提升，證明隨著數(shù)據(jù)集的擴大，模型可學習的多模態(tài)信息量顯著增加，有效的提升了下游任務的性能。表4對比實驗結果(CMU-MOSEI)ModelAcc-2Acc-7F1MAECorrEF-LSTM80.7950.0180.6760.0568.25LF-DNN82.7450.8382.5258.0270.87TFN81.8951.6081.7457.2671.41Mult84.6352.8484.5255.9373.31MFN82.8651.3482.8557.3371.82IMCN85.3651.4385.7458.9872.305結論本研究通過構建基于文本、聲音、視頻的多模態(tài)情感分析框架，采用了一種基于模態(tài)貢獻識別和多任務學習的多模態(tài)情感分析。該模型通過模態(tài)增益網(wǎng)絡確定不同模態(tài)對融合信息的增益關系，解決了當前不同模態(tài)特征含有的信息量不一，不同模態(tài)信息量不均衡及其對融合特征信息貢獻不同的問題。此外，本模型采用自注意力機制來捕捉模態(tài)內的上下文信息關聯(lián)性，并通過跨模態(tài)注意力機制探索不同模態(tài)間的相互依賴性。利用增益網(wǎng)絡得到不同模態(tài)的增益系數(shù)，最后利用多任務學習提升模型泛化能力。通過在兩個公共數(shù)據(jù)集上進行大量對比實驗，證明了模型的有效性和可靠性。參考文獻徐尚.基于文本、語音和圖像的多模態(tài)情感分析技術研究[D].南京郵電大學,2023.陳彩華.基于語音、表情與姿態(tài)的三模態(tài)普通話情感識別[J].控制工程,2020,27(11):2023-2029.郭續(xù),買日旦·吾守爾,古蘭拜爾·吐爾洪.基于多模態(tài)融合的情感分析算法研究綜述[J].計算機工程與應用,2024,60(02):1-18.陳飛宇.多模態(tài)情感分析算法研究[D].成都:電子科技大學,2022.SUNYY，JIAZT，ZHUHY.Surveyofmultimodaldeeplearning[J].ComputerEngineeringandApplications，2020，56（21）：1-10.孔繁鈺,陳綱.基于改進雙向LSTM的評教文本情感分析[J].計算機工程與設計,2022,43(12):3580-3587.趙之文.多模態(tài)情感分析技術的應用研究[J].現(xiàn)代信息科技,2022,(第10期).registrationerrors[C]//Proceedingsof