語音信號處理-第十一章-語音轉(zhuǎn)換課件

第11章11.1~11.5語音轉(zhuǎn)換

《語音信號處理》1第11章11.1~11.5語音轉(zhuǎn)換11.1語音轉(zhuǎn)換的原理和應用11.2常用語音轉(zhuǎn)換的方法11.3語音分析模型和語音庫的選擇11.4應用GMM的語音轉(zhuǎn)換11.5語音轉(zhuǎn)換的研究方向211.1語音轉(zhuǎn)換的原理和應用語音信號包含了很多信息，除了最為重要的語義信息外，還有說話人的個性特征（或者說身份信息）、情感特征、說話人的態(tài)度以及說話場景信息等語音轉(zhuǎn)換（VoiceConversion）：將A話者的語音轉(zhuǎn)換為具有B話者發(fā)音特征的語音，而保持語音內(nèi)容不變311.1語音轉(zhuǎn)換的原理和應用語音轉(zhuǎn)換的應用應用于文語合成系統(tǒng)多媒體娛樂：外語電影用于語言翻譯系統(tǒng)：同步翻譯語音識別通信領(lǐng)域中極低速率語音編碼方案醫(yī)學領(lǐng)域中語音增強系統(tǒng)說話人偽裝身份通信511.2常用語音轉(zhuǎn)換的方法11.2.1頻譜特征參數(shù)轉(zhuǎn)換11.2.2基音周期轉(zhuǎn)換11.2.3韻律信息轉(zhuǎn)換611.2.1頻譜特征參數(shù)轉(zhuǎn)換頻譜特征參數(shù)轉(zhuǎn)換矢量量化法線性多變量回歸法神經(jīng)網(wǎng)絡法多說話人插值法高斯混合模型法711.2.1頻譜特征參數(shù)轉(zhuǎn)換1.矢量量化法：主要分為訓練階段和轉(zhuǎn)換階段8轉(zhuǎn)換階段LPC分析矢量量化A的語音譯碼標量量化譯碼合成濾波器轉(zhuǎn)換語音A的碼本(頻譜參數(shù)）(A->B)匹配碼本(頻譜參數(shù)）(A->B)匹配碼本(基音頻率）A的碼本(基音頻率）1011.2.1頻譜特征參數(shù)轉(zhuǎn)換3.神經(jīng)網(wǎng)絡法4.多說話人插值法根據(jù)預先存儲的多個說話人頻譜包絡進行插值得到目標的頻譜包絡，頻譜包絡通過慢變化的插值率來進行平滑的轉(zhuǎn)換5.高斯混合模型法1211.2.3韻律信息轉(zhuǎn)換在表征說話人信息的特征參數(shù)中，除了表示聲道信息的特征參數(shù)外，還包括說話人的韻律信息，它同樣能豐富的反映說話人的個人信息，韻律信息包括：說話人的說話時長、能量、基音頻率等等目前的研究中，主要是對基音周期和時長進行統(tǒng)計匹配，按照它們的平均值求出響應的比例因子，然后在合成語音時按比例的增加或者減少幀間疊加的樣本點數(shù)目，或者通過復制或者刪除一定的殘差信號，實現(xiàn)基音周期平均值和音素時長平均值的轉(zhuǎn)換1411.3語音分析模型和語音庫的選擇11.3.1語音分析模型11.3.2語音庫的設(shè)計1511.3.1語音分析模型STRAIGHT（speechtransformationandrepresentationandinterpolationusingweightedspectrogram）即自適應加權(quán)譜內(nèi)插，是針對語音參數(shù)的修改和恢復而提出的一種非常優(yōu)秀的語音模型在時—頻域重建語音信號精準地提取f0參數(shù)：Gabor濾波器人為構(gòu)造最小相位系統(tǒng)恢復源信號16STRAIGHT的主要組成部分1.去除周期影響的譜估計去除時間軸上的周期性：采用基音同步并疊加補償窗的方法來計算頻譜，并在時域上平滑去除頻率軸上的周期性：通過對線譜卷積三角窗，并進行頻率軸上的平滑，得到最終的譜包絡17STRAIGHT的主要組成部分2.平滑可靠的基頻軌跡的提取18STRAIGHT分析的合成過程提取STRAIGHT譜與基頻韻律生成模塊聲源頻譜調(diào)整模塊基頻、時長生成聲源頻譜調(diào)整基音同步疊加合成轉(zhuǎn)換語音

原始語音LPC倒譜參數(shù)和LSP參數(shù)等？2011.3.2語音庫的設(shè)計4.時間對齊3.說話人數(shù)量2.音素覆蓋范圍1.語音庫大小語音庫設(shè)計語音庫是指以語音波形文件和相應的參數(shù)文件組成的數(shù)據(jù)庫說話人越多，越有利于評估語音轉(zhuǎn)換系統(tǒng)語音庫中每個說話人的語音數(shù)據(jù)即文本內(nèi)容，描述了語音庫覆蓋整個語音空間的程度往往需要對源語音特征參數(shù)序列和目標語音特征參數(shù)序列進行時間對齊2111.4應用GMM的語音轉(zhuǎn)換轉(zhuǎn)換階段運用訓練獲得的頻譜轉(zhuǎn)換函數(shù)進行頻譜特征參數(shù)的轉(zhuǎn)換，運用基音周期轉(zhuǎn)換函數(shù)對基音周期進進行轉(zhuǎn)換對轉(zhuǎn)換后的頻譜特征參數(shù)和基音周期運用語音分析合成模型進行合成2311.4應用GMM的語音轉(zhuǎn)換假設(shè)源特征矢量和目標特征矢量符合聯(lián)合高斯概率分布，利用高斯混合模型對混合頻譜參數(shù)進行建模，得到2411.5語音轉(zhuǎn)換的研究方向進一步研究激勵和聲道的關(guān)系加強基于非對稱