基于FPGA的TTS系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)的中期報(bào)告

基于FPGA的TTS系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)的中期報(bào)告前言本文旨在介紹基于FPGA的TTS系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)的中期報(bào)告，介紹系統(tǒng)的基本原理、系統(tǒng)框架和具體實(shí)現(xiàn)過(guò)程，同時(shí)也將介紹我們關(guān)于系統(tǒng)優(yōu)化的思路和具體方案。一、系統(tǒng)原理TTS即“Text-to-Speech”，即文字到語(yǔ)音轉(zhuǎn)換，它是NLP（自然語(yǔ)言處理）領(lǐng)域中非常重要的一個(gè)方向。TTS系統(tǒng)是指將輸入的文本通過(guò)模型生成語(yǔ)音信號(hào)輸出的系統(tǒng)。TTS系統(tǒng)通常分為兩個(gè)主要模塊：前端和后端。前端是文本識(shí)別模塊，將輸入文本進(jìn)行特征提取和處理，輸出文本特征。后端是語(yǔ)音合成模塊，將文本特征進(jìn)行處理，并利用合成模型生成語(yǔ)音信號(hào)。二、系統(tǒng)框架基于上述原理，我們?cè)O(shè)計(jì)的基于FPGA的TTS系統(tǒng)框架如下：圖1基于FPGA的TTS系統(tǒng)框架系統(tǒng)主要由以下幾個(gè)部分組成：1.語(yǔ)音庫(kù)：存儲(chǔ)語(yǔ)音片段，作為語(yǔ)音合成模型的基礎(chǔ)。2.前端：對(duì)輸入文本進(jìn)行特征提取和處理，輸出文本特征。3.后端：將文本特征進(jìn)行處理，并利用合成模型生成語(yǔ)音信號(hào)。4.FPGA硬件實(shí)現(xiàn)：將前后端模塊分別實(shí)現(xiàn)在FPGA中，使得系統(tǒng)可以在硬件上進(jìn)行高效的實(shí)現(xiàn)。三、具體實(shí)現(xiàn)1.語(yǔ)音庫(kù)為了提高語(yǔ)音合成模型的效果，我們需要一個(gè)足夠大的語(yǔ)音庫(kù)，其中包含各種語(yǔ)音片段，例如不同的音位、重音和語(yǔ)速等。該語(yǔ)音庫(kù)應(yīng)該包含基本的語(yǔ)音單元，例如元音、輔音和失音等。我們?cè)趯?shí)現(xiàn)過(guò)程中使用的語(yǔ)音庫(kù)是由大量的情感語(yǔ)音數(shù)據(jù)和普通語(yǔ)音數(shù)據(jù)組成的，其中情感語(yǔ)音數(shù)據(jù)主要用于語(yǔ)音情感變化的效果，普通語(yǔ)音數(shù)據(jù)主要用于模型主干的建立。2.前端前端的主要作用是從輸入文本中提取特征。輸入的文本可以是中文或英文，因此我們需要使用不同的特征提取方法。本文介紹的前端是基于HTK開發(fā)的，它使用Mel頻率倒譜系數(shù)(MFCC)作為中文文本的特征提取方法，使用圖形特征(GMM)作為英文文本的特征提取方法。3.后端后端是語(yǔ)音合成模塊的核心，它主要包含兩個(gè)部分：統(tǒng)計(jì)參數(shù)生成和信號(hào)合成。a.統(tǒng)計(jì)參數(shù)生成：該部分是將前端提取的文本特征進(jìn)一步轉(zhuǎn)換為一組統(tǒng)計(jì)參數(shù)的過(guò)程，其中包括基頻、頻率峰值和語(yǔ)音能量等。該部分使用隱馬爾可夫模型（HMM）和人造神經(jīng)網(wǎng)絡(luò)（ANN）進(jìn)行實(shí)現(xiàn)。b.信號(hào)合成：該部分是根據(jù)統(tǒng)計(jì)參數(shù)來(lái)作為輸入，將語(yǔ)音庫(kù)中的語(yǔ)音片段進(jìn)行合成的過(guò)程。該部分使用基于譜域顯著性的非周期脈沖鏈接模型（PSOLA）進(jìn)行實(shí)現(xiàn)?？傮w而言，基于FPGA的TTS系統(tǒng)的后端部分需要解決如下問(wèn)題：1.如何將前端提取的文本特征轉(zhuǎn)換為統(tǒng)計(jì)參數(shù)2.如何將統(tǒng)計(jì)參數(shù)轉(zhuǎn)換為語(yǔ)音數(shù)據(jù)3.如何對(duì)語(yǔ)音數(shù)據(jù)進(jìn)行優(yōu)化以提高語(yǔ)音質(zhì)量4.FPGA硬件實(shí)現(xiàn)本系統(tǒng)的FPGA實(shí)現(xiàn)主要涉及語(yǔ)音庫(kù)的存儲(chǔ)和數(shù)據(jù)交互方面，主要實(shí)現(xiàn)包括：1.語(yǔ)音庫(kù)存儲(chǔ)器的設(shè)計(jì)2.前端和后端模塊的IP核的開發(fā)3.數(shù)據(jù)交互模塊的設(shè)計(jì)四、優(yōu)化思路及方案目前，基于FPGA的TTS系統(tǒng)面臨著一些挑戰(zhàn)，最大的困難是FPGA的帶寬和存儲(chǔ)容量有限，這給系統(tǒng)的可擴(kuò)展性和語(yǔ)音效果帶來(lái)了限制。為了解決這些問(wèn)題，我們提出了以下兩個(gè)方案：1.使用壓縮技術(shù)：我們將使用壓縮技術(shù)來(lái)提高存儲(chǔ)容量，通過(guò)將語(yǔ)音庫(kù)進(jìn)行壓縮來(lái)實(shí)現(xiàn)，從而使得系統(tǒng)可以更好地適