語音信號(hào)處理 第4版 課件 第13章：多模態(tài)語音信號(hào)處理

南京郵電大學(xué)

通信與信息工程學(xué)院

第13章多模態(tài)語音信號(hào)處理視覺信息輔助的語音增強(qiáng)視覺信息輔助的語音合成視覺信息輔助的語音識(shí)別多模態(tài)融合的語音情感信息處理13.1視覺信息輔助的語音增強(qiáng)—概述概述：視覺信息可以作為輔助語音編碼、傳輸、接收等過程，消除語音歧義，避免了只進(jìn)行單一語音信號(hào)處理而帶來的片面性。在充分挖掘視覺信息與語音之間的相關(guān)性，實(shí)現(xiàn)視覺信息輔助下的語音增強(qiáng)。主要步驟：（1）提取視覺特征和語音特征：使用CNN提取視覺特征,使用CNN或者RNN提取具有時(shí)序關(guān)聯(lián)的語音特征。也可以采用變分自編碼器進(jìn)行視覺和語音特征提取。（2）特征融合：基于傳統(tǒng)方法的融合分為前期融合和后期融合，前期融合發(fā)生在特征提取完成后，而后期融合通常發(fā)生在實(shí)施語音增強(qiáng)階段?；谏疃葘W(xué)習(xí)的融合中，可以方便將不同模態(tài)在各個(gè)層次的表征進(jìn)行融合。本章主要介紹兩種典型的視覺輔助下的語音增強(qiáng)方案。13.1視覺信息輔助的語音增強(qiáng)—基于CNN基于CNN的視覺輔助語音增強(qiáng)的模型結(jié)構(gòu)如圖所示。相關(guān)流程：（1）首先，分別使用CNN來提取視頻中的嘴唇區(qū)域特征和帶噪語音特征；（2）接著，通過融合網(wǎng)絡(luò)實(shí)現(xiàn)視頻中的嘴部特征和帶噪語音特征的深度融合；（3）最后，在輸出層生成增強(qiáng)后的語音，同時(shí)完成視頻幀的重建。13.1視覺信息輔助的語音增強(qiáng)—基于CNN具體訓(xùn)練步驟：（1）將帶噪語音的對(duì)數(shù)幅值X和與之對(duì)應(yīng)的說話人嘴部區(qū)域視覺信號(hào)Z分別輸入到基于

CNN的語音特征提取網(wǎng)絡(luò)和視覺特征提取網(wǎng)絡(luò)中，得到相應(yīng)的語音特征A和視覺特征V：（2）接著，將兩個(gè)模態(tài)所提取出的特征進(jìn)行扁平化處理、拼接，作為融合網(wǎng)絡(luò)的輸入

，經(jīng)過多個(gè)全連接層，最終分別輸出增強(qiáng)后的語音

以及重建的嘴部視頻幀

：訓(xùn)練過程的目標(biāo)函數(shù)：在測(cè)試階段，帶噪語音信號(hào)的對(duì)數(shù)幅值和相應(yīng)的視覺特征輸入訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)模型，輸出增強(qiáng)語音信號(hào)的對(duì)數(shù)幅值和重建的嘴唇區(qū)域視頻幀。13.1視覺信息輔助的語音增強(qiáng)—基于功率二進(jìn)制掩碼當(dāng)帶噪語音中噪聲占比很大時(shí)，可以充分利用視覺信息輔助完成語音增強(qiáng)，而當(dāng)帶噪語音中噪聲占比較小時(shí)，視覺信息可能對(duì)語音增強(qiáng)性能產(chǎn)生不利影響。基于功率二進(jìn)制掩模的語音增強(qiáng)方法的模型結(jié)構(gòu)如圖所示。其包括三個(gè)模塊，分別為語音特征提取模塊、視覺輔助信息生成模塊以及語音增強(qiáng)模塊。13.1視覺信息輔助的語音增強(qiáng)—基于功率二進(jìn)制掩碼具體步驟：（1）首先，語音特征提取模塊通過訓(xùn)練得到帶噪語音和基于聲學(xué)特征的增強(qiáng)比（IRM）之間的映射關(guān)系。IRM定義為純凈語音功率譜

與帶噪語音功率

之比，即（2）其次，在視覺輔助信息生成模塊用功率二進(jìn)制掩模（PBM）表征視覺信息對(duì)語音信號(hào)的影響。用CNN提取視覺特征，接著傳播到多層LSTM中，解決視覺信息與語音流之間的時(shí)移問題；通過學(xué)習(xí)語音信號(hào)的動(dòng)態(tài)特性來平滑所得到的PBM；13.1視覺信息輔助的語音增強(qiáng)—基于功率二進(jìn)制掩碼（3）最后，語音增強(qiáng)模塊利用視覺PBM表征和語音特征獲得增強(qiáng)后的語音。為了提升最終的增強(qiáng)性能，這里把和噪聲的對(duì)數(shù)功率譜通過一個(gè)全連接層，再與相乘，得到語音信號(hào)的粗略表示，接著根據(jù)權(quán)重系數(shù)融合

和

，輸出最終增強(qiáng)后的語音，特點(diǎn)：（1）采用功率二進(jìn)制掩模，從視覺信息中得到語音信號(hào)的粗略表示，有效支撐了語音增強(qiáng)；（2）基于門控網(wǎng)絡(luò)的后向增強(qiáng)體系結(jié)構(gòu)，提供了語音和視覺信息之間的松散耦合，系統(tǒng)性能仍由語音模態(tài)進(jìn)行主導(dǎo)，而視覺信息僅提供輔助貢獻(xiàn)。視覺信息輔助的語音增強(qiáng)視覺信息輔助的語音合成視覺信息輔助的語音識(shí)別多模態(tài)融合的語音情感信息處理13.2視覺信息輔助的語音合成—概述概述：從無聲視頻片段中合成語音的任務(wù)，其核心挑戰(zhàn)在于，需要跨越視覺與語音兩個(gè)模態(tài)之間的差異來準(zhǔn)確表征語音內(nèi)容以及說話人身份特征（如音調(diào)、音色等）。（1）唇讀技術(shù)傳統(tǒng)的唇讀技術(shù)主要依賴于隱馬爾可夫模型（HMM）或者支持向量機(jī)（SVM），從視頻中手動(dòng)提取視覺特征（如口腔幾何），實(shí)現(xiàn)視頻中目標(biāo)語音的合成。（2）基于端到端的視覺輔助語音合成從視頻中合成語音的方法是根據(jù)視覺特征估計(jì)頻譜包絡(luò)，然后將其與通過人工激勵(lì)所生成的語音信號(hào)相結(jié)合，采用的手段包括統(tǒng)計(jì)估計(jì)方法以及深度學(xué)習(xí)技術(shù)。13.2視覺信息輔助的語音合成—基于聲碼器基于聲碼器的無聲視頻語音合成方法的模型結(jié)構(gòu)如圖所示。結(jié)構(gòu)組成：一個(gè)視頻編碼器、一個(gè)遞歸模塊和5個(gè)解碼器組成，其中5個(gè)解碼器分別為頻譜包絡(luò)（SP）解碼器、非周期參數(shù)（AP）解碼器、有聲-無聲狀態(tài)（VUV）解碼器、基音頻率（F0）解碼器和視覺-語音識(shí)別（VSR）解碼器。具體流程：（1）首先進(jìn)行視頻幀特征提取；（2）接著通過VSR預(yù)測(cè)出視頻中人物說話的文本，同時(shí)將視頻幀特征映射到SP、AP、F0等語音特征；

（3）最后將語音特征以及識(shí)別出的文本輸入WORLD聲碼器，輸出為合成后的語音。13.2視覺信息輔助的語音合成—基于聲碼器各個(gè)模塊具體結(jié)構(gòu)：（1）視頻編碼器：視頻編碼器將當(dāng)前視頻幀與前后各三幀作為輸入，并應(yīng)用5個(gè)三維卷積層，其中前4個(gè)卷積層中的每一個(gè)都是由批歸一化層（BN）、Relu激活函數(shù)和Dropout層組成，而最后一個(gè)是含有Tanh激活函數(shù)的卷積層。（2）遞歸模塊：遞歸模塊是由單層門控循環(huán)單元（GRU）、批歸一化層、Relu激活函數(shù)和Dropout層組成。（3）解碼器：5個(gè)解碼器都以門控循環(huán)單元作為輸入，其中SP解碼器由４個(gè)二維轉(zhuǎn)置卷積層構(gòu)成；VUV解碼器由線性層和Relu激活函數(shù)組成；AP解碼器由3個(gè)二維轉(zhuǎn)置卷積層構(gòu)成；F0解碼器由一個(gè)線性層和一個(gè)Sigmoid激活函數(shù)組成；VSR解碼器由一個(gè)線性層和一個(gè)Softmax層組成。損失函數(shù)：實(shí)驗(yàn)結(jié)果：在說話者身份已知的情況下，該方法的PESQ指標(biāo)比主流方法高出7.8%，STOI指標(biāo)高出38.3%；對(duì)于說話者身份未知的情況，PESQ指標(biāo)與其他方法持平，STOI指標(biāo)高出14.6％。13.2視覺信息輔助的語音合成—基于端到端的方法基于端到端的無聲視頻語音合成方法的模型結(jié)構(gòu)如圖所示。利用生成對(duì)抗網(wǎng)絡(luò)（GAN）將視頻轉(zhuǎn)換為語音波形，主要由生成器和判別器組成。生成器負(fù)責(zé)將視覺特征進(jìn)行編碼，并且將其解碼為語音波形。判別器負(fù)責(zé)區(qū)分合成語音和真實(shí)語音。13.2視覺信息輔助的語音合成—基于端到端的方法具體流程：生成器：首先使用ResNet-18以及3D卷積層對(duì)視頻幀進(jìn)行編碼；接著，提取出的特征被送入一個(gè)兩層雙向門控循環(huán)單元，它在時(shí)間上對(duì)從每組幀產(chǎn)生的特征建立關(guān)聯(lián)關(guān)系；最后，由6個(gè)堆疊的轉(zhuǎn)置卷積層組成的解碼器將每個(gè)視頻幀特征上采樣至Ｎ個(gè)語音樣本的波形段。判別器：由波形判別器和功率判別器兩部分組合而成，其分別在時(shí)域和頻域?qū)φ鎸?shí)語音與合成語音的差異進(jìn)行評(píng)價(jià)。對(duì)于波形判別器，其由7個(gè)卷積層構(gòu)成，每個(gè)卷積層后都有Relu激活函數(shù)。對(duì)于功率判別器，首先使用短時(shí)傅里葉變換對(duì)真實(shí)語音和合成語音分別計(jì)算頻譜圖，然后計(jì)算幅度頻譜的自然對(duì)數(shù)，并進(jìn)行標(biāo)準(zhǔn)化處理；接著使用二維卷積層以及與生成器相同的

ResNet-18網(wǎng)絡(luò)；最后通過全連接層實(shí)現(xiàn)波形判別。13.2視覺信息輔助的語音合成—基于端到端的方法損失函數(shù)：由于本模型是基于GAN構(gòu)建的，因而定義對(duì)抗損失：除此以外，還考慮了其他三種損失函數(shù)：感知損失、功率損失和MFCC相關(guān)的損失函數(shù)。最終生成器的損失L表達(dá)式為：實(shí)驗(yàn)結(jié)果：該方法對(duì)比于其他方法，PESQ指標(biāo)平均高出19.1%，STOI指標(biāo)平均高出10.5％。視覺信息輔助的語音增強(qiáng)視覺信息輔助的語音合成視覺信息輔助的語音識(shí)別多模態(tài)融合的語音情感信息處理13.3視覺信息輔助的語音識(shí)別—概述概述：在噪聲環(huán)境下，待識(shí)別的語音信號(hào)易受干擾，而不受影響的視覺信息可以提供額外的信息從而保障語音識(shí)別率。因此，本節(jié)主要介紹利用視覺信息來輔助后續(xù)語音識(shí)別。主要的步驟：（1）首先，分別對(duì)語音和視覺信息進(jìn)行特征提??；（2）接著，對(duì)所提取出的語音和視覺特征進(jìn)行融合；（3）最后，利用得到的融合特征完成語音識(shí)別。本節(jié)主要以兩種方法為例進(jìn)行介紹，分別是基于注意力機(jī)制的視覺引導(dǎo)語音識(shí)別方法以及基于隱馬爾可夫模型的雙模態(tài)視覺信息輔助的語音識(shí)別。13.3視覺信息輔助的語音識(shí)別—基于注意力機(jī)制基于注意力機(jī)制的視覺引導(dǎo)語音識(shí)別結(jié)構(gòu)如圖所示。其采用注意力機(jī)制獲得與待識(shí)別語音最相關(guān)的視覺信息，主要為說話時(shí)唇部變化的圖像信息。該結(jié)構(gòu)由特征表示學(xué)習(xí)模塊和視覺引導(dǎo)注意力融合模塊組成。特征表示學(xué)習(xí)：對(duì)視覺信號(hào)以及語音信號(hào)進(jìn)行特征提?。?）對(duì)于帶噪語音信號(hào)的特征提取，先經(jīng)過預(yù)處理獲得頻譜；接著，輸入到1D卷積網(wǎng)絡(luò)和ResNet-18網(wǎng)絡(luò)提取深層語音特征。（2）對(duì)于視覺信息的特征其提取，采用3D卷積網(wǎng)絡(luò)和ResNet-18網(wǎng)絡(luò)提取視覺特征；接著，還通過多尺度時(shí)間卷積網(wǎng)絡(luò)（MS-TCN）獲得最終視覺特征。13.3視覺信息輔助的語音識(shí)別—基于注意力機(jī)制視覺引導(dǎo)注意力融合：融合提取的視覺特征和語音特征（1）視覺特征

與語音特征

通過視覺引導(dǎo)注意力模塊，生成全局注意力特征。其結(jié)構(gòu)如圖所示，可表示為：其中，

定義為注意力函數(shù)，表示經(jīng)過注意力模塊后的音頻向量。（2）接著，得到的經(jīng)時(shí)間卷積網(wǎng)絡(luò)（TCN）進(jìn)一步聚合信息，與經(jīng)由MS-TCN的視覺信息進(jìn)行雙模態(tài)融合，表示為：,表示最終的語音識(shí)別結(jié)果.實(shí)驗(yàn)結(jié)果：采用基于注意力的視覺引導(dǎo)語音識(shí)別方法在-5dB～10dB噪聲水平下，識(shí)別結(jié)果比單模態(tài)語音的識(shí)別結(jié)果至少提升2%。13.3視覺信息輔助的語音識(shí)別—基于隱馬爾科夫模型基于隱馬爾可夫模型的雙模態(tài)視覺信息輔助語音識(shí)別：由于側(cè)臉唇部包含一定的言語信息，可以利用深度數(shù)據(jù)來重構(gòu)左側(cè)唇與右側(cè)唇，從而進(jìn)一步實(shí)現(xiàn)深度信息與普通視覺信息雙模態(tài)輔助下的語音識(shí)別。本節(jié)著重介紹對(duì)于深度數(shù)據(jù)的處理過程。深度數(shù)據(jù)的處理過程步驟：（以右側(cè)唇深度數(shù)據(jù)獲取為例）（1）利用Kinect所采集的3D數(shù)據(jù)描繪右側(cè)唇部輪廓;（2）生成右側(cè)唇柵格圖；（3）填充柵格圖顏色，其原則是距離說話者越近則圖像顏色越深；（4）投影與旋轉(zhuǎn)，得到最終的右側(cè)唇深度數(shù)據(jù)。左側(cè)唇的深度數(shù)據(jù)的獲取與之相似。13.3視覺信息輔助的語音識(shí)別—基于隱馬爾科夫模型模態(tài)融合：在獲得三種模態(tài)信息（即語音信號(hào)、視覺信息、深度數(shù)據(jù)信息）各自的特征后，需要進(jìn)行模態(tài)融合。這里的融合方式可以分為特征融合和決策融合兩種特征融合：簡(jiǎn)單地對(duì)這三個(gè)模態(tài)的特征向量

進(jìn)行串聯(lián)，表示為：然后，將通過傳統(tǒng)的HMM進(jìn)行分類識(shí)別。決策融合：對(duì)不同模態(tài)信息流選取不同的權(quán)重，能夠自適應(yīng)不同的語音識(shí)別器。具體的，將HMM的狀態(tài)序列擴(kuò)展為多個(gè)并行的狀態(tài)流，每一個(gè)狀態(tài)流對(duì)應(yīng)一種模態(tài)信息，并同時(shí)進(jìn)行決策融合。表示為：其中，為各模態(tài)信息流的權(quán)重指數(shù)，表示各個(gè)模態(tài)特征向量經(jīng)過傳統(tǒng)HMM的輸出。13.3視覺信息輔助的語音識(shí)別—基于隱馬爾科夫模型實(shí)驗(yàn)結(jié)果：當(dāng)深度信息、視覺信息與語音有機(jī)融合后，其識(shí)別結(jié)果要優(yōu)于僅基于語音單一模態(tài)的識(shí)別結(jié)果。視覺信息輔助的語音增強(qiáng)視覺信息輔助的語音合成視覺信息輔助的語音識(shí)別多模態(tài)融合的語音情感信息處理13.4多模態(tài)融合的語音情感信息處理—概述概述：語音情感處理：在大腦中來自多個(gè)模態(tài)的感知信息會(huì)被自然地結(jié)合起來，最終形成對(duì)情感信息的辨別。多模態(tài)融合的語音情感處理：在語音、姿態(tài)、面部表情、發(fā)音器官運(yùn)動(dòng)和文字等內(nèi)容中都蘊(yùn)含著情感信息，可以從多個(gè)模態(tài)中提取并分析語音情感信息。有效融合來自不同模態(tài)的信息的該任務(wù)的關(guān)鍵。在本節(jié)中，介紹融合運(yùn)動(dòng)學(xué)特征和聲學(xué)特征的語音感情識(shí)別，融合視頻、文本線索的語音情感識(shí)別，以及腦電輔助的語音情感識(shí)別等三種代表性方法。13.4融合運(yùn)動(dòng)學(xué)和聲學(xué)特征的語音情感識(shí)別發(fā)音器官的運(yùn)動(dòng)也是表情和語音情感的反映，將發(fā)音器官的運(yùn)動(dòng)信息與聲學(xué)特征融合，可以有效識(shí)別語音情感。（1）運(yùn)動(dòng)學(xué)和聲學(xué)特征采集。關(guān)于發(fā)音器官的運(yùn)動(dòng)學(xué)特征的采集，可采用X光、超聲波、實(shí)時(shí)磁共振技術(shù)、電磁發(fā)音技術(shù)和電子硬腭技術(shù)等方式。對(duì)于聲學(xué)特征，其通常采用的是語音頻譜。（2）多模態(tài)特征融合。常見的特征融合方法包括特征級(jí)融合和決策級(jí)融合。特征級(jí)融合：首先，將聲學(xué)和運(yùn)動(dòng)學(xué)原始數(shù)據(jù)輸入特征提取網(wǎng)絡(luò)，分別提取出兩個(gè)模態(tài)的特征；然后，將提取出的兩個(gè)模態(tài)的特征按照設(shè)定的權(quán)重規(guī)則，加權(quán)串聯(lián)為融合特征；最后，將融合特征輸入分類器進(jìn)行情感識(shí)別。13.4融合運(yùn)動(dòng)學(xué)和聲學(xué)特征的語音情感識(shí)別決策級(jí)融合：首先，提取相應(yīng)的情感語音聲學(xué)特征和運(yùn)動(dòng)學(xué)特征，并分別送入各自的識(shí)別網(wǎng)絡(luò)；然后，根據(jù)預(yù)先設(shè)定的融合策略，將各網(wǎng)絡(luò)的決策結(jié)果進(jìn)行融合，得到最終結(jié)果。兩種融合方法的區(qū)別：與特征級(jí)融合方法相比，決策級(jí)融合中各模態(tài)分類器可以根據(jù)不同模態(tài)數(shù)據(jù)差異進(jìn)行調(diào)節(jié)以適應(yīng)不同模態(tài)特性，但存在的問題主要為未充分利用各模態(tài)間的相關(guān)性，可能會(huì)導(dǎo)致訓(xùn)練階段模型的收斂時(shí)間較長(zhǎng)。13.4融合運(yùn)動(dòng)學(xué)和聲學(xué)特征的語音情感識(shí)別（3）基于深度玻爾茲曼機(jī)（DBM）混合融合的語音情感識(shí)別:結(jié)構(gòu)如圖所示，其充分利用特征級(jí)融合和決策級(jí)融合的優(yōu)點(diǎn)。步驟如下：（1）首先，從多模態(tài)情感語音數(shù)據(jù)庫中同步提取聲學(xué)特征和運(yùn)動(dòng)學(xué)特征；（2）接著，選擇聲學(xué)特征和運(yùn)動(dòng)學(xué)特征進(jìn)行線性特征級(jí)融合，將融合后的特征輸入到基于隨機(jī)森林的情感分類器1，得到初步識(shí)別結(jié)果；（3）同時(shí)，將運(yùn)動(dòng)學(xué)-聲學(xué)轉(zhuǎn)換特征輸入基于隨機(jī)森林的情感分類器2;（4）最后，將兩個(gè)分類器識(shí)別結(jié)果果進(jìn)行決策級(jí)融合，得到最終的情感識(shí)別結(jié)果。13.4融合視頻、文本線索的語音情感識(shí)別視覺線索與文本信息和語音一樣也蘊(yùn)含著情感信息，挖掘視頻幀和文本信息中隱藏情感信息，可以有效輔助實(shí)施語音情感識(shí)別。本節(jié)介紹基于多模態(tài)注意力網(wǎng)絡(luò)（MMAN）的語音情感識(shí)別方法如圖所示。多模態(tài)注意力子網(wǎng)絡(luò)（cLSTM-MMA）和其他三個(gè)單模態(tài)子網(wǎng)絡(luò)

cLSTM-Speech、cLSTM-Visual、cLSTM-Text構(gòu)成。13.4融合視頻、文本線索的語音情感識(shí)別定向多模態(tài)注意力模塊：如圖所示，計(jì)算語音對(duì)視覺和文本的注意力，以及語音的自我注意力。使用query、key和value鍵來表示注意力：query鍵可以表示為：key和value鍵表示為：綜上，語音定向多模態(tài)注意模塊的輸出由下式給出：13.4腦電輔助的語音情感識(shí)別采用情感觸發(fā)的腦電信號(hào)來輔助語音情感識(shí)別所獲得的結(jié)果會(huì)更加客觀，本節(jié)將從信號(hào)處理的角度介紹一種腦電輔助的語音情感識(shí)別方法。該方法的結(jié)構(gòu)如圖所示，主要步驟：（1）首先，對(duì)情感語音信號(hào)和情感腦電信號(hào)進(jìn)行特征提?。唬?）然后，對(duì)這兩種模態(tài)的特征采用典型相關(guān)分析（CCA）方法進(jìn)行特征融合；（3）最后，