情感計(jì)算白皮書2022

3了充分的"用武之地",是該類技術(shù)應(yīng)用場景設(shè)計(jì)1.1.1情感對人類的意義時(shí)至今日，涉及情感的各種理論已具規(guī)模。圖1-1所示。4約公元17—18世紀(jì)心理學(xué)誕生的科學(xué)啟蒙階段(公元17-18世紀(jì)到19世紀(jì)末)(膽汁質(zhì)、多血質(zhì)、黏液質(zhì)、抑郁質(zhì))似乎有潛在第二階段的主要活動是以科學(xué)的視角對上述概念進(jìn)行驗(yàn)證，并明確概念之間的機(jī)能關(guān)系。該階段的兩大情感研究陣營分別是現(xiàn)代生理醫(yī)學(xué)和科學(xué)心理學(xué)。在現(xiàn)代生理醫(yī)學(xué)體系下，著名生物學(xué)家查爾斯·達(dá)爾文(CharlesDarwin)的著作《人ManandAnimals)被公認(rèn)為與他的《物種起源》(OntheOriginofSpecies)分量相當(dāng)?shù)摹扒楦小毖芯烤拮?。達(dá)爾文在書中提出了人類所擁有的一般表情，如痛苦、哭泣、快樂、憎恨、憤怒等。在此基礎(chǔ)上，他進(jìn)一步闡述了基于這些表情的情感、思維過程以及相應(yīng)的生理表現(xiàn)。這被認(rèn)為是現(xiàn)代科學(xué)有關(guān)情感及其行為研究的開始。在科學(xué)心理學(xué)體系下，美國心理學(xué)家斯坦利·沙赫特(StanleyEmotion),被認(rèn)為是實(shí)現(xiàn)人工智能情感功能的理論基礎(chǔ)。該理論認(rèn)為情感既來自生理反應(yīng)的認(rèn)知評價(jià)，也來自對導(dǎo)致這些反應(yīng)的情境的認(rèn)知評價(jià)。這一解釋為情感智能的實(shí)現(xiàn)提供了策略和思路。第三階段是心理學(xué)、生理學(xué)和信息技術(shù)的融合階段。在德國心理學(xué)家威廉·馮特(WilhelmWundt)創(chuàng)立科學(xué)心理學(xué)后的半個(gè)多世紀(jì)里，世界各地的心理學(xué)流派如雨后春筍般涌現(xiàn)。這些流派對情感都有著不同視角的認(rèn)知和理論。同時(shí)，隨著現(xiàn)代生理醫(yī)學(xué)的發(fā)展，在神經(jīng)科學(xué)視角下情感的腦機(jī)制研究得到長足進(jìn)步。美國心理學(xué)家保羅·?？寺?PaulEkman)提出了如今被視作普遍標(biāo)準(zhǔn)的人類七大基本表情理論：快樂、悲傷、憤怒、厭惡、驚訝、蔑視和恐懼。由?？寺I(lǐng)導(dǎo)開發(fā)的人類表情動作編碼系統(tǒng)(FACS)被認(rèn)為是機(jī)器視覺讀懂人類表情的關(guān)鍵技術(shù)。1997年，美國麻省理工學(xué)院媒體實(shí)驗(yàn)室(MITMediaLab)羅莎琳德·皮卡德(RosalindPicard)提出情感計(jì)算的明確定義，這正式開啟了實(shí)現(xiàn)情感智能的人工智能新時(shí)代。結(jié)合不同時(shí)期人們對情感性質(zhì)和作用的認(rèn)識，可以將情感對人類的意義歸納為以下五個(gè)方面。一是生存功能。人類為了適應(yīng)環(huán)境作出有利于生存和發(fā)展的生理反應(yīng)，如在危險(xiǎn)環(huán)境中的緊張和應(yīng)激、在受到侵?jǐn)_和威脅時(shí)的憤怒和亢奮、在獲得食物和生存必需品時(shí)的喜悅和興奮。情感不斷地強(qiáng)化人類適應(yīng)和利用環(huán)境的能力，并形成習(xí)得性的生理反應(yīng)，對個(gè)體的注意、記憶、感知等進(jìn)行調(diào)節(jié)，從而在進(jìn)化中持續(xù)保障人類生存權(quán)和發(fā)展權(quán)。56認(rèn)知-評價(jià)理論要反映的是人類的基本情感類型，區(qū)分較為清晰，模型(見圖1-3),也因其橫縱軸結(jié)構(gòu)(橫軸表示醒度，上下分別表示喚醒程度高和低)被稱為VA類型，所有情感分布在每個(gè)軸兩極間的不同位置，度(Attention)組成的情感三維模型。另一個(gè)著名感輪”模型(見圖1-4),也被稱為倒錐體情感三維/憋悶惶恐疲乏開心滿足安逸期待狂喜78自1956年人工智能的概念被提出后，關(guān)于情感計(jì)算的研究日益活躍(見圖1-5)。情感基礎(chǔ)理論情感基礎(chǔ)理論情感信號的采集O∠情感分析3多模態(tài)融合情感的生成與表達(dá)(見圖1-9)。Encoders,SAE)等在內(nèi)的方法得到普遍運(yùn)用。聲音風(fēng)格、綜合具有情感標(biāo)簽的文本內(nèi)容合成語(1)情感計(jì)算是實(shí)現(xiàn)自然化、擬人化、人格感智能從而有助于交互信息的深度感知和理解。17—18世紀(jì)，法國哲學(xué)家勒內(nèi)·笛卡爾(3)情感計(jì)算在多領(lǐng)域具有巨大應(yīng)用價(jià)值，按照圖2-1所示，對情感計(jì)算展開介紹。信號文本就是人與人之間的交流因時(shí)空等限制而由于機(jī)器無法直接理解語言文字這種非結(jié)構(gòu)化的數(shù)據(jù)，自然語言處理(NaturalLanguageNLU)通過語法分析、句法分析與語義分析對句由于數(shù)據(jù)的龐雜，人工分析成本高且耗時(shí)耗計(jì)算機(jī)無法識別文本，需要先將文本轉(zhuǎn)為向(2)數(shù)據(jù)集本分類領(lǐng)域的相關(guān)數(shù)據(jù)集有根據(jù)新浪新聞RSS訂閱頻道2005—2011年的歷史數(shù)據(jù)篩選過THUCNews數(shù)據(jù)集、根據(jù)新浪微博生成的weibo (3)主要方法當(dāng)人在閱讀一段文本時(shí)，都是基于自己已經(jīng)神經(jīng)網(wǎng)絡(luò)最先被應(yīng)用到NLP中，保證了信息的持接上捕捉局部特征的CNN,能夠進(jìn)一步提高精確(4)問題和挑戰(zhàn)2.1.2語音情感計(jì)算(1)研究背景和發(fā)展現(xiàn)狀(2)數(shù)據(jù)集(3)主要方法常用的代表性語音數(shù)據(jù)集常用的代表性語音數(shù)據(jù)集tionalSpeechCorpus)數(shù)據(jù)集和FAU-Aibo(FAU情感識別領(lǐng)域，主要包括深度玻爾茲曼機(jī)(DeepLSTM,以及引入注意力機(jī)制的LSTM。(4)問題和挑戰(zhàn)的問題包括缺少被廣泛認(rèn)可的數(shù)據(jù)集、標(biāo)注困難、(1)研究背景和發(fā)展現(xiàn)狀目前，視覺情感計(jì)算的研究熱點(diǎn)主要包括基(2)數(shù)據(jù)集視覺情感數(shù)據(jù)集可以分為圖片情感數(shù)據(jù)集(見圖2-3)和視頻情感數(shù)據(jù)集(見圖2-4)。解人的情緒，可以通過傳統(tǒng)機(jī)器學(xué)習(xí)方法與基于深度學(xué)習(xí)的方法對視覺情感計(jì)算進(jìn)行研究。傳統(tǒng)機(jī)器學(xué)習(xí)方法主要有方向梯度直方圖、支爆炸式增長的視覺內(nèi)容數(shù)據(jù)量時(shí)，傳統(tǒng)機(jī)器學(xué)習(xí)方性、泛化性問題。成績，尤其是在圖片分類、圖片識別、圖片檢索等計(jì)算機(jī)視覺領(lǐng)域。視覺情感計(jì)算的深度學(xué)習(xí)方法與傳統(tǒng)方法相比，具有更高的魯棒性與準(zhǔn)確性，因此被廣泛應(yīng)用于基于視覺的情感計(jì)算與分析領(lǐng)域。圖片情感計(jì)算方法以卷積神經(jīng)網(wǎng)絡(luò)方法為代表，主要通過深度學(xué)習(xí)從大量圖像數(shù)據(jù)中自動學(xué)習(xí)有助于情感分類的有效特征或強(qiáng)特征，以進(jìn)一步提升圖片情感計(jì)算或分類能力。視頻情感計(jì)算方法以循環(huán)神經(jīng)網(wǎng)絡(luò)為主，該深度學(xué)習(xí)方法擅長處理視頻等序列輸入，被廣泛應(yīng)用于計(jì)算機(jī)視覺任務(wù)。目前世界上最大的圖片識別數(shù)據(jù)集由佛羅里達(dá)大學(xué)的情緒和注意力國家心理健康中心開發(fā)，旨在為研究情緒和注意力提供一套標(biāo)準(zhǔn)化的圖片，主要被廣泛應(yīng)用于心理學(xué)研究圖片和中性圖片緒分類包含八種情緒標(biāo)記的3萬張照片包含約3萬張面部圖片，除了表情標(biāo)注以外，對每張人臉還有幾個(gè)特征點(diǎn)標(biāo)注，包括人臉邊界框、種族、年齡和性別等囊括三種類型的情緒標(biāo)簽1434080個(gè)，包括兩種情人臉檢測基準(zhǔn)數(shù)據(jù)集(4)問題和挑戰(zhàn)視覺情感計(jì)算在實(shí)際應(yīng)用中面臨不少難題。一是語義鴻溝。語義鴻溝是由于計(jì)算機(jī)獲取圖片的視覺信息與用戶對圖片理解語義信息的不一致而導(dǎo)致的偏差。二是情感表述的準(zhǔn)確性問題和標(biāo)(1)研究背景和發(fā)展現(xiàn)狀(2)常用生理信號腦電信號與其他生理信號相比，具有直接客域特征。最后，將多種特征帶入分類器進(jìn)行分類。據(jù)集主要包括DEAP、DECAF、HR-EEG4EMO、皮膚電信號是一種常用的情感計(jì)算指標(biāo)，依通過提取統(tǒng)計(jì)特征或算法優(yōu)化的方式進(jìn)行特征提取，最后將特征放入合適的分類器中進(jìn)行情心電特征主要包括PQRST(心電圖的5個(gè)波形)、心率、心率變異性(如SDNN、SDANN、rMSSD、pNN50等),公開的心電信號情感數(shù)據(jù)集較少，常呼吸是人體重要的一個(gè)生理過程，隨著情感(3)問題與挑戰(zhàn)雖然人臉表情、肢體動作、語音等均能獨(dú)立融合(前期融合)、決策級融合(后期融合)和混2.2.4問題與挑戰(zhàn)解決多模態(tài)情感計(jì)算問題需要更豐富的模態(tài)本章以科技文獻(xiàn)為基礎(chǔ)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，若文中無其他特殊說明，統(tǒng)計(jì)口徑如表3-1所示，檢索策略如表3-2所示。此外，白皮書還使用了以下數(shù)據(jù)庫。Incite數(shù)據(jù)庫。該ClarivateAnalytics)WebofScience核心合集七大索引數(shù)據(jù)庫的數(shù)據(jù)全部文獻(xiàn)類型的出版物數(shù)據(jù)進(jìn)行出版物計(jì)數(shù)和指標(biāo)計(jì)算，從而為科研人員提供績效分析。ESI)數(shù)據(jù)庫。該數(shù)據(jù)庫是一個(gè)基于WebofScience數(shù)據(jù)庫的深度分析型研究工具。ESI可以確定在某個(gè)研究領(lǐng)域有影響力的國家、機(jī)構(gòu)、出版物、論文以及研究前沿。JCR)數(shù)據(jù)庫。該數(shù)據(jù)庫是一個(gè)多學(xué)科期刊評價(jià)工具。期刊引證報(bào)告提供基于引文數(shù)據(jù)統(tǒng)計(jì)信息的期刊評價(jià)資源。通過對參考文獻(xiàn)的標(biāo)引和統(tǒng)計(jì)，期刊引證報(bào)告可以在期刊層面衡量某項(xiàng)研究的影響力，顯示引用和被引期刊之間的相互關(guān)系。數(shù)據(jù)收集時(shí)間數(shù)據(jù)收集時(shí)間2022年7月21日①WebofScience核心合集是世界領(lǐng)先的引文數(shù)據(jù)庫，包括ScienceCitationIndexExpanded、SocialSciencesCitationIndex、ArsDerwentInnovationsIndexDIDerwentWorldPate發(fā)文量篇發(fā)文量篇MultidisciplinaryORRobotics自1997年皮卡德正式提出情感計(jì)算概念至今，情感計(jì)算已歷經(jīng)26年的發(fā)展，該領(lǐng)域科研人員產(chǎn)心合集數(shù)據(jù)庫為數(shù)據(jù)基礎(chǔ)，對該領(lǐng)域的論文進(jìn)行檢索，結(jié)果顯示，至今全球發(fā)文量共計(jì)27434篇。其中，會議論文13836篇，會議論文和期刊論文各占總發(fā)文量的50%左右。如表3-3和圖3-1所示，1997—2009年，情感計(jì)算領(lǐng)域的全球發(fā)文量平穩(wěn)上升，雖然偶有波動，但是整體呈現(xiàn)增長趨勢。2010—2019年，深文量迅速上升，情感計(jì)算研究進(jìn)入爆發(fā)式增長階段。2019年，發(fā)文量達(dá)到3208篇。2019年以后，也隨之進(jìn)入平臺期，研究熱度和上升趨勢有所放出版年3.1.2主要研究陣地(國家/地區(qū)分析)地。如表3-4所示，在情感計(jì)算領(lǐng)域全球發(fā)文量文量最多的國家，占總發(fā)文量的24%和23%。中(單位：篇)1中國中國2美國印度3印度美國4英國英國5德國德國6日本意大利7意大利日本8韓國9西班牙西班牙韓國法國法國沙特阿拉伯馬來西亞巴西馬來西亞巴基斯坦巴基斯坦巴西伊朗除了2021—2022年以2年為步長外，以4年如圖3-2所示，在整個(gè)發(fā)文期內(nèi)，中美兩國的發(fā)文量遠(yuǎn)超中國，其中1997—2000年中國發(fā)文總量為美國的20%,2001—2004年中國發(fā)文總量上升為美國的31%。從2005年開始，中國發(fā)文量反超美國，2021—2022年中國發(fā)文量約為美國的3倍。由此可見，近年來中國在情感計(jì)算領(lǐng)域的研究積累較快，研究數(shù)量相比美國有一定的優(yōu)勢。此外，近兩年印度的發(fā)文量首超美(單位：篇，以4年為步長)國家1中國62美國3印度114英國65德國76日本7意大利17829西班牙193國，可見印度逐漸成為情感計(jì)算領(lǐng)域的主要研表3-6所示，13598篇期刊論文分布在1204本期刊上，其中發(fā)文最多的是IEEEACCESS,發(fā)文量為650篇。該刊在2021年期刊引證報(bào)告電1204本期刊中有834本在2021年期刊引證報(bào)告中具有影響因子。834本期刊的影響因子分布如表3-7所示，其中影響因子大于10的期刊共計(jì)26種，影響因子最高的5本期刊分別本部分通過對情感計(jì)算領(lǐng)域論文的Webof出版物名稱123456789JournalofIntelligent&FuzzySystems(單位：種)情感計(jì)算領(lǐng)域的所有文章共涉及158個(gè)Web學(xué)、醫(yī)學(xué)等學(xué)科，其中發(fā)文量最多的前20個(gè)類別如表3-8所示。占比最多的類別為計(jì)算機(jī)科學(xué)與人工智能，發(fā)文量為10470篇，占總發(fā)文量的36.31%,其次為電氣與電子工程，發(fā)文量為8514序號發(fā)文量/篇中文名英文名1ComputerScience,ArtificialIntelligence2電氣與電子工程EngineeringElectricalEl345計(jì)算機(jī)科學(xué)與跨學(xué)科應(yīng)用6電信學(xué)78(續(xù)表)中文名英文名9自動化控制系統(tǒng)交叉心理學(xué)PsychologyMultidisciplin交叉工程學(xué)EngineeringMultidiscip臨床神經(jīng)病學(xué)心理學(xué)聲學(xué)本部分結(jié)合了《中國計(jì)算機(jī)學(xué)會推薦國際學(xué)術(shù)會議和期刊目錄》《核心計(jì)算機(jī)科學(xué)會議排名》家意見形成情感計(jì)算領(lǐng)域高水平國際會議列表。需排名進(jìn)行整理和歸納，并不能作為學(xué)術(shù)評價(jià)的依的單一論文的影響力正相關(guān)。表3-9列出了情感計(jì)中文名英文名1A2A3國際計(jì)算語言學(xué)年會LinguisticsA4IEEE計(jì)算機(jī)視覺和模AA序號中文名英文名5IEEE計(jì)算機(jī)視覺國際A6情感計(jì)算和智能交互國際會議7IEEE自動人臉和手勢CB8IEEE國際聲學(xué)語音和BB3.2.1ACM多媒體國際會議3.2.2AAAl人工智能會議研討會(Workshop),如2018年的“情感內(nèi)容分析④《中國計(jì)算機(jī)學(xué)會推薦國際學(xué)術(shù)會議和期刊目錄》分為A、B、C類。中國計(jì)算機(jī)學(xué)會(CCF)在制定目錄時(shí)規(guī)定，會議論文是指"Fullpaper"或"Regularpaper",即正式發(fā)表的長文，會上以其他形式發(fā)表的論文，如Shortpaper、Demopaper、TechnicalBrief、Summary以及作為伴隨會議的研討會(Workshop)等，不計(jì)入目錄。主題1通過多媒體吸引用戶主題2主題3多媒體內(nèi)容理解主題4多媒體系統(tǒng)運(yùn)輸與交付3.2.3國際計(jì)算語言學(xué)年會國際計(jì)算語言學(xué)年會(AnnualMeetingofthe言處理領(lǐng)域最高級別的會議，由國際計(jì)算語言學(xué)協(xié)辦。國際計(jì)算語言學(xué)協(xié)會是主要的國際科學(xué)和專業(yè)協(xié)會，致力于研究涉及人的語言計(jì)算問題。該協(xié)會成立于1962年，最初名為機(jī)器翻譯和計(jì)算語ComputationalLinguist為國際計(jì)算語言學(xué)協(xié)會。國際計(jì)算語言學(xué)協(xié)會的活動除了每年夏天舉行國際計(jì)算語言學(xué)年會之外，還贊助美國麻省理工學(xué)院出版社出版《計(jì)算語言學(xué)》(ComputationalLinguistics)期刊，該刊是該領(lǐng)域的主要出版物。國際計(jì)算語言學(xué)年會為《中國計(jì)算機(jī)學(xué)會推薦國際學(xué)術(shù)會議和期刊目錄》人工智能領(lǐng)域的A類會議和《核心計(jì)算機(jī)科學(xué)會議排名》的A+會議。該會議的研究主題為各種語言的計(jì)算模型，為特定的語言學(xué)或心理語言學(xué)現(xiàn)象提供計(jì)算解釋。3.2.4IEEE計(jì)算機(jī)視覺和模式識別會議IEEECVPR)是首屈一指的計(jì)算機(jī)視覺領(lǐng)域年度會計(jì)算機(jī)視覺基金會(ComputerVisionFoundation)共同贊助。使用者可以通過計(jì)算機(jī)視覺基金會開放獲取會議論文。IEEECVPR是《中國計(jì)算機(jī)學(xué)會推薦國際學(xué)術(shù)會議和期刊目錄》人工智能領(lǐng)域的A類會議和《核心計(jì)算機(jī)科學(xué)會議排名》的A類(1)期刊影響因子期刊影響因子是美國科技信息研究所所長尤期刊影響因子是指某刊在某年被全部源刊物期刊影響因子=某刊前2年發(fā)表論文在該年的(2)期刊引證報(bào)告期刊引證報(bào)告包括SCI收錄的12000余種期告將期刊劃分為21個(gè)大類(Groups)、254個(gè)小類中國科學(xué)院期刊引證報(bào)告期刊分區(qū)是中國科3年平均IF=(當(dāng)年IF+去年IF+前年IF)/3(前10名),如表3-10所示。感；心理問題的數(shù)據(jù)收集方法(如情緒誘導(dǎo)和引發(fā))或技術(shù)方法(如動作捕捉);用于提供情感語類，在小類計(jì)算機(jī)(人工智能、計(jì)算機(jī))、控制期刊名稱WebofScience類別1ComputerScienceCyberneti2ComputerScience,ArtificialIntelligence/Engineering,Electrical&Electronic/OperationsResearch&ManagementScience34ComputerScienceInformation5ComputerScienceSoftwareEngScienceInformationSystemsTelec67ComputerScienceArtific8ComputerScienceInterdisciplinary9OperationsResearchManagScienceInformationSys論分區(qū)為Q2區(qū)，在JCR中小類計(jì)算機(jī)(人工智3.3.3《知識系統(tǒng)》智能)分區(qū)為Q2區(qū)，在JCR中屬于小類計(jì)算機(jī)(人工智能)分區(qū)為Q1區(qū)。2021年，該刊的影響因子為8.139,無自引期刊影響因子為7.194,為非開源期刊。該刊每年出版8期，2021年發(fā)文量為951篇。Management)是英國出版的英文期刊，專注于計(jì)分區(qū)表中屬于工程技術(shù)大類，在小類計(jì)算機(jī)(信息系統(tǒng))分區(qū)為Q2區(qū)，在JCR中屬于小類計(jì)算機(jī)(信息系統(tǒng)、信息科學(xué)與圖書館科學(xué))分區(qū)為Q1區(qū)。2021年期刊影響因子為7.466,無自引期刊影響因子為5.910,為非開源期刊。該刊為雙月刊，2021年發(fā)文量為340篇。核心合集中表現(xiàn)最好的研究。ESI對來自世界各地的11000多種期刊進(jìn)行分析，根據(jù)出版和引用表現(xiàn)對22個(gè)廣泛領(lǐng)域●的國家、機(jī)構(gòu)、期刊、論核心合集中的科學(xué)引文索引擴(kuò)展(SCIE)和社會的引文。ESI數(shù)據(jù)每2個(gè)月更新1次，1年更新6次。本部分采用的ESI數(shù)據(jù)發(fā)布日期為2022年7月14日，為2022年第2個(gè)雙月刊。論文覆蓋范圍為10年4個(gè)月，即2012年1月1日至2022年4月30日。是否納入ESI取決于是否滿足某些引用閾值。只有被引用次數(shù)最多的國家、機(jī)構(gòu)、論文、期刊、作者才會被納入ESI。表3-11顯示了高被引論文其他論文相比，被引用次數(shù)達(dá)到前1%的論文；熱點(diǎn)論文是指2年內(nèi)發(fā)表的與同一領(lǐng)域同年發(fā)表的所有其他論文相比，被引用次數(shù)達(dá)到前0.1%的論文，高被引論文1熱點(diǎn)論文2情感計(jì)算領(lǐng)域的ESI高被引論文和熱點(diǎn)論文如表3-12所示，本期ESI共有153篇高被引論文，其中5篇為熱點(diǎn)論文。出版年1Marchand,M;Lempitsky,V2Lee,JSYazdaniEbrahimiPunDEAP:ADatabaseforEmotionAnalysisUsingPhysiologicalSignals3CrowdsourcingAWordEmotionAs4theUnderstanding.Diagnosis,andTreatmentofSeriousConductProblemsinChildrenandAdolescents?AComprehensiveReview5Baltrusaitis,T;Ahuja,C;Morency,LP6AMultimodalDatabaseforAffecandImplicitTagging7InvestigatingCriticalFrequencyBandsandChannelsforEEG-BasedEmotionRecognitionwithDeepNeuralNetworks89Analysis:Tasks,ApproachesandApplicationsNewAvenuesinOpinionMiningandSentimentAnalysisThelwall,BuckleyPaltoglouGravina,R;Alinia,P;Ghasemzadeh,H;Fortino,GNetworksStateoftheartAnalysistoMultimodalFusionEyben,FSchererKRSchullerBWLY;Epps,J;Laukka,P;Narayanan,SS;TheGenevaMinimalisticAcousticParameterComputingAspectExtractionforOpinionMiningwithADeepConvolutionalNeuralNetwork(續(xù)表)RecognitionfromEEGTrainingSampleOrderBarrettLFAdolphsMarstoInferringEmotionfromHumanFacialRegistration,Representation,andRecognitionMoraesValiatiJFNetoWPGDocument-LevelSentimentClassification:AnEmpiricalComparisonBetweenSVMandANNClassificationUsingBilstm-CRFandCNNExpression,Valence,andArousalComputingintheWildEvidenceofPervasiveEmotionRecognitionDeepLearningforElectroencephalogram(EEG)ClassificationTasks:AReviewVideostotheEmotionalSymptomsofAutismMoreThanWords:SocialNetworks'TextMiningforConsumerBrandSentimentsMaking,SocialCognition,andPsychopathology(續(xù)表)KleinsmithBianchiBerthouzReviews:Readers'ObjectivesandReviewCuesZengNYZhangSongBYLiuWFacialExpressionRecognitionViaLearningDeepSparseAutoencodersSniffingAroundOxytocin:ReviewandMeta-AnalysesofTrialsinHealthyandClinicalCummins,N;SchererKrajewskiFeaturesofSalientFacialPatchesNassirtoussi,AK;Aghabozorgi,TehReviewMultimodalApproachesforFacialExpressionApplicationsShaalan,KMF;BuckHealeyHarveyPDStudy:ResultsoftheExpertSurveyandRANDPanelKupferberg,BicksHaslerARobustHumanActivityRecognitionSystemUsingSmartphoneSensorsandDeepLearningLatentDirichletAllocation(LDA)andTopicModeling:Models,Applications,ASurvey(續(xù)表)Vellante,MBaronCohenMelisPropertiesandAValidationStudyinItalyTheImpactofSocialandConventionalMediaonFirmEquityValue:ASentimentAnalysisApproach熱點(diǎn)論文1基于動態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)的熱點(diǎn)論文3基于生物信號的心理應(yīng)激檢向CNN-RNN深度情感分析模型(ABCDM:An評估。在5個(gè)評論和3個(gè)推特(Twitter)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。將ABCDM與最近提出的用于情感分析的6種DNN進(jìn)行比較，結(jié)果表ABCDM長評論和短推文極性分類方面都達(dá)到了最先進(jìn)的熱點(diǎn)論文5基于深度學(xué)習(xí)的文本分類：綜摘要：本文全面回顧了近年來開發(fā)的150多個(gè)術(shù)貢獻(xiàn)、相似性和優(yōu)勢。本文還總結(jié)了40多個(gè)廣量分析了不同深度學(xué)習(xí)模型在流行基準(zhǔn)上的性能，此外，被引頻次大于1000的非熱點(diǎn)論文如下：論文1DEAP:使用生理信號進(jìn)行情緒分析作者：英國倫敦瑪麗女王大學(xué)SanderKoelstra的多模態(tài)數(shù)據(jù)集。實(shí)驗(yàn)記錄了32名參與者的EEG和外周生理信號，每個(gè)參與者觀看40段一分鐘長的音樂視頻片段。參與者根據(jù)喚醒度、價(jià)值、喜歡/不喜歡、支配度和熟悉度對每個(gè)視頻進(jìn)行了評分。32名參與者中的22名，還被記錄了正面視頻。本文介紹了使用EEG、外周生理信號和多媒體內(nèi)容分析模式對喚醒、價(jià)值和喜歡/不喜歡等級進(jìn)行論文2情感識別方法綜述：聽覺、視覺和心理學(xué)、計(jì)算機(jī)科學(xué)、語言學(xué)、神經(jīng)科學(xué)和相關(guān)部表情、頭部運(yùn)動和身體姿勢的多用戶視覺融合。的角度討論人類的情感感知。其次，本文研究解決機(jī)器理解人類情感行為問題的可用方法。最后，討論重要問題，如訓(xùn)練和測試數(shù)據(jù)的收集和可用性等，最后概述了推進(jìn)人類情感感知技術(shù)的一些論文3基于詞典的情感分析方法(Lexicon-作者：加拿大西蒙弗雷澤大學(xué)MaiteTaboada取方法。語義方向計(jì)算器(SO-CAL)使用帶有語義方向(極性和強(qiáng)度)注釋的單詞字典，并包含論文4基于局部二值模式的人臉表情識別：的面部特征是成功進(jìn)行人臉表情識別的關(guān)鍵步驟。一步構(gòu)造了增強(qiáng)版LBP來提取最具鑒別性的LBP特征，并通過使用具有增強(qiáng)版LBP特征的支持向驗(yàn)中，作者觀察到LBP特征可以在人臉圖像的論文5人機(jī)交互中的情感識別(Emotion(1)ACM多媒體國際會議獲獎?wù)撐?BestDemo論文)(2)國際計(jì)算語言學(xué)年會獲獎?wù)撐?最佳論文獎)①摘要：在(子)句子級別上運(yùn)行的情感分析系2021年，《IEEE情感計(jì)算匯刊》編委會從2017年5月至2019年12月期間發(fā)表在該刊上的論文1基于動態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)的腦電情作者：麻省理工學(xué)院媒體實(shí)驗(yàn)室SaraTaylor論文4基于腦電信號的情感識別研究綜述摘要：本文介紹了從2009—2016年進(jìn)行的取的特征、分類器),同時(shí)比較每個(gè)方面的產(chǎn)出。摘要：近年來，面部動作編碼系統(tǒng)(FACS)作者：美國得克薩斯大學(xué)達(dá)拉斯分校Reza目前，給定的記錄協(xié)議(如口語對話為積極、討論或辯論為消極)決定了用于收集自發(fā)數(shù)據(jù)庫的作者：英國倫敦瑪麗女王大學(xué)JuanAbdon摘要：研究人員構(gòu)建了一個(gè)關(guān)于個(gè)體和群體情感、人格特質(zhì)和心境的多模態(tài)研究數(shù)據(jù)集社交情境下使用短視頻和長視頻誘發(fā)情感。這也是AMIGOS與其他數(shù)據(jù)集的不同之處。該數(shù)據(jù)集1廣東履安實(shí)業(yè)有限公司23基于神經(jīng)網(wǎng)絡(luò)的語音與情感的同重慶七騰科技有限公司4感識別方法中國科學(xué)院自北京中科歐科科技有限公司5一種面向人機(jī)交互的多類信息耦山東心法科技有限公司67多源輸入、信息智能優(yōu)化處理的河海大學(xué)常州校區(qū)江蘇明偉萬盛科技有限公司8用于使用源于社交媒體的數(shù)據(jù)和及系統(tǒng)全球資源公司金融及風(fēng)險(xiǎn)組織有限公司9杭州腦殼頂科技有限公司基于Gabor變換最優(yōu)通道模糊融北京妙微科技有限公司專利許可是指專利權(quán)人將其所擁有的專利技計(jì)算領(lǐng)域的重要許可專利信息如表3-14所示。的情感計(jì)算相關(guān)專利，如表3-15所示。1限公司2一種基于憶阻神經(jīng)網(wǎng)絡(luò)的聯(lián)想中國地質(zhì)大學(xué)(武漢)限公司、武漢啟奕信息技術(shù)服務(wù)有限公司3科技有限公司蘋果研發(fā)(北京)有限公司4有限公司5一種基于3D卷積神經(jīng)網(wǎng)絡(luò)的南京郵電大學(xué)究院有限公司1234一種基于復(fù)合表情加工的注意偏向訓(xùn)練評估系統(tǒng)5一種融合情感編碼的音頻驅(qū)動人臉動畫生成方法6789合肥綜合性國家科學(xué)中心人工智能研究院(安徽省人工智能實(shí)驗(yàn)室)《信息技術(shù)情感計(jì)算用戶界面(AUI)》其中第一部分模型(Part1:Model)于2022年年10月11日發(fā)布，2022年5月1日生效。該標(biāo)《智能化心理服務(wù)規(guī)范》標(biāo)準(zhǔn)號為T/ZAITS⑧https:wwwisoorgstandardscataloguebrowsebyicshtml⑨目前，被國標(biāo)組織確認(rèn)并公布的其他國際組織包括國際計(jì)量局(BIPM)、國際人造纖維標(biāo)準(zhǔn)化局(BISFA)、食品法典委員4.1.1全球?qū)W者地圖(1)全球?qū)W者分布本部分以情感計(jì)算領(lǐng)域文章第一作者所屬國多(3474個(gè)),美國次之(2083個(gè)),印度位居第三(2001個(gè))。國家國家1中國2美國法國3印度4英國5德國馬來西亞6意大利巴西7日本巴基斯坦8西班牙9韓國伊朗國家國家學(xué)者數(shù)結(jié)果如表4-2所示。其中h指數(shù)最高為53,大于931(3)中外合作區(qū)如表4-4、圖4-3所示。其中，北京以105序號序號地區(qū)學(xué)者數(shù)序號地區(qū)學(xué)者數(shù)1北京四川2廣東山東3江蘇天津4臺灣遼寧567陜西1中國-美國2中國-英國394中國-5中國-新加坡6中國-加拿大7中國-芬蘭8中國-德國9中國-印度中國-法國4.2.1情感計(jì)算促進(jìn)協(xié)會情感計(jì)算促進(jìn)協(xié)會(Associationforthe學(xué)者數(shù)1日本德島大學(xué)2美國麻省理工學(xué)院345鄭文明東南大學(xué)67芬蘭奧盧大學(xué)8呂寶糧9姓名呂寶糧哈爾濱工業(yè)大學(xué)西北工業(yè)大學(xué)姜育剛復(fù)旦大學(xué)同濟(jì)大學(xué)中國科學(xué)院陳敏4.2.2中國人工智能學(xué)會情感智能專業(yè)委中國人工智能學(xué)會情感智能專業(yè)委員會(以4.3.1重要研究機(jī)構(gòu)Impact)和學(xué)科規(guī)范化的引文影響力(Category如表4-7所示，中國有2家機(jī)構(gòu)進(jìn)入前10名，中國科學(xué)院以581篇位居榜首，清華大學(xué)排名第10名，以335篇位居第五。英國、法國、印度分別有2家機(jī)構(gòu)進(jìn)入前10名，新加坡有1家機(jī)構(gòu)。序號響力論文被引百分比影響力高被引中論文的國家中文名英文名1中國科學(xué)院4中國28英國32法國4究型大學(xué)聯(lián)盟UDICE-FrenchResearchUniversities1法國5學(xué)系統(tǒng)46印度理工學(xué)院系統(tǒng)TechnologySystem(IIT5印度7印度國立技術(shù)學(xué)院系統(tǒng)TechnologySystem(NIT3印度8工大學(xué)University新加坡9TsinghuaUniversity2中國學(xué)院3英國(1)美國麻省理工學(xué)院媒體實(shí)驗(yàn)室美國麻省理工學(xué)院媒體實(shí)驗(yàn)室的情感計(jì)算研究小組(AffectiveComputingGroup)“旨在創(chuàng)造并評估將情感人工智能和其他情感技術(shù)結(jié)合起來的新方法?！扒楦杏?jì)算”定義的提出者皮卡德是該小組的創(chuàng)始人和主任。(2)新加坡南洋理工大學(xué)計(jì)算智能實(shí)驗(yàn)室IntelligenceLab,CIL)是南洋理工大學(xué)工程學(xué)院的一部分，主要進(jìn)行知識密集型人工智能研究，情感計(jì)算是該實(shí)驗(yàn)室的重點(diǎn)研究方向之一。南洋理工大(3)清華大學(xué)人機(jī)交互與媒體集成研究所清華大學(xué)人機(jī)交互與媒體集成研究所在媒體信息智能處理、人機(jī)交互、普適計(jì)算等方面開展高水平研究，建有多個(gè)學(xué)術(shù)基地，如普適計(jì)算教育部重點(diǎn)實(shí)驗(yàn)室、清華大學(xué)-騰訊互聯(lián)網(wǎng)創(chuàng)新技術(shù)聯(lián)合實(shí)驗(yàn)室、網(wǎng)絡(luò)多媒體北京市重點(diǎn)實(shí)驗(yàn)室、清華大學(xué)計(jì)算機(jī)系-華為終端智能交互技術(shù)創(chuàng)新聯(lián)合實(shí)驗(yàn)室、清華大學(xué)(計(jì)算機(jī)系)-深蘭科技機(jī)器視覺聯(lián)合研究中心等。近年來，該研究所主持多項(xiàng)本學(xué)科領(lǐng)域重要項(xiàng)目，如“十三五”重點(diǎn)研發(fā)計(jì)劃、“973”計(jì)劃、國家自然科學(xué)基金委員會(NSFC) 重點(diǎn)項(xiàng)目等，在頂級期刊和會議上發(fā)表了大量的學(xué)術(shù)論文，多篇文章獲得最佳論文獎，獲得國家級科技獎勵10項(xiàng)，在科技成果轉(zhuǎn)化方面影響重大。該所有兩個(gè)主要研究方向：①和諧人機(jī)交互，如情感計(jì)算、語音交互、大幅面交互、腦機(jī)接口、交互效率與優(yōu)化、新型終端自然交互接口等；②普適計(jì)算環(huán)境，如普適計(jì)算模式、主動服務(wù)、嵌入式系統(tǒng)、情境感知、智能空間及物聯(lián)網(wǎng)等。(4)模式識別國家重點(diǎn)實(shí)驗(yàn)室供關(guān)鍵技術(shù)，為探求人類智力的本質(zhì)提供科學(xué)依場景分析、物體檢測與識別、視頻分析與語義理言信息處理方向主要研究聽覺模式的分析與理解，驗(yàn)室承擔(dān)400余項(xiàng)科研項(xiàng)目，包括國家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目，科技創(chuàng)新2030-“新一代人工智能”重大項(xiàng)目，國家自然科學(xué)基金重大、重點(diǎn)和面上項(xiàng)目，(5)東南大學(xué)情感信息處理實(shí)驗(yàn)室東南大學(xué)情感信息處理實(shí)驗(yàn)室(Affective學(xué)生物科學(xué)與醫(yī)學(xué)工程學(xué)院和兒童發(fā)展與學(xué)習(xí)科學(xué)教育部重點(diǎn)實(shí)驗(yàn)室(東南大學(xué)),主要致力于情感計(jì)算、模式識別、計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)及其在兒童智能發(fā)展、教育和醫(yī)療等方面的應(yīng)用研究。該實(shí)驗(yàn)室由鄭文明教授創(chuàng)建于2004年，深耕情感計(jì)算領(lǐng)域，主持了包括“973”計(jì)劃、國家自然科學(xué)基金重點(diǎn)項(xiàng)目等在內(nèi)的多項(xiàng)國家和省部級課題，合肥工業(yè)大學(xué)情感計(jì)算研究所于2011年成立，之江實(shí)驗(yàn)室成立于2017年9月6日，主攻智其中：英國帝國理工學(xué)院比約恩·舒勒Pinkham,AmyEMao,QirongSchuller,BjoermGuan,LingRen,FujiLu,BaoLiangRuan,Qiuqi本部分對情感計(jì)算領(lǐng)域27877篇文獻(xiàn)的作者進(jìn)行直接引用(Citation)分析，為突顯重點(diǎn)作者，在分析過程中遴選了發(fā)文量不小于30篇的40位作者進(jìn)行分析，分析結(jié)果如圖4-5所示。其中，顏色相同的簇內(nèi)的作者在研究內(nèi)容上具有較強(qiáng)的相關(guān)性詞頻是指在所分析的文檔中詞語出現(xiàn)的次數(shù)。在科學(xué)計(jì)量研究中，可以按照學(xué)科領(lǐng)域建立詞頻詞典，從而對科學(xué)家的創(chuàng)造活動作出定量分析。詞頻分析法就是在文獻(xiàn)信息中提取能夠表達(dá)文獻(xiàn)核心內(nèi)容的關(guān)鍵詞或主題詞，通過關(guān)鍵詞或主題詞的頻次高低分布來研究該領(lǐng)域發(fā)展動向和研究熱點(diǎn)的方法。關(guān)鍵詞共現(xiàn)分析(共詞分析)的基本原理是對一組詞兩兩統(tǒng)計(jì)它們在同一組文獻(xiàn)中出現(xiàn)的次數(shù)，通過這種共現(xiàn)次數(shù)來測度關(guān)鍵詞之間的親疏關(guān)系。(1)詞頻分析對作者關(guān)鍵詞字段進(jìn)行詞頻分析，如表4-8所示，其中技術(shù)主題詞與排名最前的技術(shù)主題詞是共現(xiàn)關(guān)系。(2)關(guān)鍵詞共現(xiàn)分析本部分基于關(guān)鍵詞共現(xiàn)的方法將所有文獻(xiàn)作為一個(gè)數(shù)據(jù)集，采用ThomsonDataAnalyzer軟件將論文的作者關(guān)鍵詞字段經(jīng)過機(jī)器與人工清洗，之后利用VOSviewer軟件對論文核心主題詞代表此主題中出現(xiàn)的高頻主題詞數(shù)據(jù)進(jìn)行聚類，根據(jù)論文數(shù)據(jù)集大小設(shè)置一定共現(xiàn)頻次和共現(xiàn)強(qiáng)度以對關(guān)鍵詞進(jìn)行聚類。結(jié)合專家判讀，分別對每個(gè)聚類進(jìn)行命名和解讀，對期刊發(fā)文主題進(jìn)行識別和分析。對27877篇文獻(xiàn)以作者關(guān)鍵詞字段進(jìn)行分析，經(jīng)過機(jī)器與人工清洗后，從36436個(gè)關(guān)鍵詞中選取出現(xiàn)頻次大于20次的613個(gè)關(guān)鍵詞作為分析對象，進(jìn)行聚類計(jì)算。通過對這些論文共現(xiàn)強(qiáng)度最大的核心主題詞進(jìn)行聚類，得到5個(gè)簇，如表4-9和圖4-6所示。排名最前的技術(shù)主題詞[共現(xiàn)次數(shù)1234NaturalLanguageProcessing[214];567NaturalLanguageProcessing[143];8DeepLearning[143]9FacialExpressionRecog(續(xù)表)排名最前的技術(shù)主題詞[共現(xiàn)次數(shù)]9SentimentAnalysis[77]1利用NLP技術(shù)進(jìn)行情感計(jì)算和意見挖掘2345分析人機(jī)交互過程中的情感人機(jī)交互過程中的情感facialspeechibenbenschizophreniesocialcognitionnaturalanguageprocessing