一種基于x-vector說(shuō)話人特征的語(yǔ)音克隆方法

一種基于x-vector說(shuō)話人特征的語(yǔ)音克隆方法摘要語(yǔ)音克隆技術(shù)在信息科學(xué)領(lǐng)域應(yīng)用廣泛，可以應(yīng)用于語(yǔ)音合成、語(yǔ)音轉(zhuǎn)換和語(yǔ)音增強(qiáng)等領(lǐng)域。本文提出了一種基于x-vector說(shuō)話人特征的語(yǔ)音克隆方法，在語(yǔ)音克隆的輕量級(jí)任務(wù)中表現(xiàn)出優(yōu)越性能。通過(guò)構(gòu)建一種嵌入式語(yǔ)音克隆系統(tǒng)，在不同場(chǎng)景下使用該方法可實(shí)現(xiàn)不同說(shuō)話人的語(yǔ)音克隆。關(guān)鍵字：語(yǔ)音克隆，x-vector，說(shuō)話人特征，嵌入式系統(tǒng)1.引言語(yǔ)音克隆技術(shù)可以將不同說(shuō)話人的語(yǔ)音進(jìn)行轉(zhuǎn)換，實(shí)現(xiàn)說(shuō)話人的模擬和語(yǔ)音的合成。語(yǔ)音克隆技術(shù)應(yīng)用廣泛，可以用于人機(jī)交互、虛擬助手、機(jī)器教育等領(lǐng)域。傳統(tǒng)的語(yǔ)音克隆方法基于深度神經(jīng)網(wǎng)絡(luò)，并使用基頻、諧波等特征進(jìn)行建模，但這些方法需要大量的計(jì)算資源。近年來(lái)，隨著深度學(xué)習(xí)算法的發(fā)展，一些新的語(yǔ)音克隆方法被提出，如基于聲碼器的語(yǔ)音克隆、基于聲調(diào)的語(yǔ)音克隆等。本文提出了一種輕量級(jí)語(yǔ)音克隆系統(tǒng)，該系統(tǒng)基于x-vector說(shuō)話人特征，適用于不同說(shuō)話人的實(shí)時(shí)語(yǔ)音克隆。2.x-vector說(shuō)話人特征x-vector是一種用于說(shuō)話人識(shí)別的特征表示方法，與原始語(yǔ)音信號(hào)相比，x-vector可以提供更好的性能。x-vector說(shuō)話人特征包含兩個(gè)部分：第一部分是分段特征提取，使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)語(yǔ)音信號(hào)進(jìn)行處理，并從中提取出一個(gè)固定長(zhǎng)度的特征向量；第二部分是全局池化，也稱(chēng)為加權(quán)平均池化，將語(yǔ)音信號(hào)中的每個(gè)幀的特征向量進(jìn)行加權(quán)平均，得到一個(gè)整個(gè)語(yǔ)音的特征表示。x-vector說(shuō)話人特征比傳統(tǒng)的語(yǔ)音特征更加準(zhǔn)確，可以用于語(yǔ)音識(shí)別、說(shuō)話人識(shí)別等任務(wù)。3.基于x-vector的語(yǔ)音克隆方法本文提出的基于x-vector的語(yǔ)音克隆方法包括兩個(gè)步驟：說(shuō)話人識(shí)別和語(yǔ)音轉(zhuǎn)換。3.1說(shuō)話人識(shí)別在語(yǔ)音克隆系統(tǒng)中，通過(guò)說(shuō)話人識(shí)別，確定輸入語(yǔ)音信號(hào)的說(shuō)話人。我們使用x-vector說(shuō)話人特征提取模型進(jìn)行說(shuō)話人識(shí)別。在訓(xùn)練階段，我們使用包含各種不同語(yǔ)音的數(shù)據(jù)集，通過(guò)前向神經(jīng)網(wǎng)絡(luò)提取x-vector特征，并根據(jù)分類(lèi)標(biāo)簽進(jìn)行訓(xùn)練。在測(cè)試階段，我們使用語(yǔ)音克隆系統(tǒng)的輸入來(lái)提取x-vector特征，然后使用分類(lèi)器來(lái)預(yù)測(cè)輸入語(yǔ)音信號(hào)的說(shuō)話人。3.2語(yǔ)音轉(zhuǎn)換在語(yǔ)音克隆系統(tǒng)中，我們使用說(shuō)話人識(shí)別的結(jié)果來(lái)確定何時(shí)轉(zhuǎn)換語(yǔ)音。如果輸入語(yǔ)音信號(hào)的說(shuō)話人和目標(biāo)說(shuō)話人不同，則進(jìn)行語(yǔ)音轉(zhuǎn)換。語(yǔ)音轉(zhuǎn)換使用聲調(diào)轉(zhuǎn)換器來(lái)轉(zhuǎn)換頻率和諧波成分，以提高語(yǔ)音的相似性。我們使用基頻周期判斷算法來(lái)提取基頻和諧波成分，并將其轉(zhuǎn)換為目標(biāo)說(shuō)話人的特征。4.嵌入式語(yǔ)音克隆系統(tǒng)我們使用RaspberryPi作為嵌入式語(yǔ)音克隆系統(tǒng)的硬件平臺(tái)，以實(shí)現(xiàn)語(yǔ)音克隆的實(shí)時(shí)性。我們?cè)赗aspberryPi上運(yùn)行深度學(xué)習(xí)框架TensorFlow，使用x-vector模型進(jìn)行說(shuō)話人識(shí)別，語(yǔ)音轉(zhuǎn)換器進(jìn)行聲調(diào)轉(zhuǎn)換。我們使用音頻輸入設(shè)備和音頻輸出設(shè)備來(lái)進(jìn)行語(yǔ)音輸入和輸出。5.實(shí)驗(yàn)和分析為了評(píng)估所提出的方法的性能，我們使用VoxCeleb2數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。我們使用0.14秒的語(yǔ)音片段作為輸入語(yǔ)音信號(hào)，并使用8種不同說(shuō)話人的語(yǔ)音進(jìn)行測(cè)試。我們比較了我們的方法和傳統(tǒng)的語(yǔ)音克隆方法的性能，并進(jìn)行了訓(xùn)練和測(cè)試時(shí)間分析。在說(shuō)話人識(shí)別方面，我們的方法具有更高的準(zhǔn)確性，分類(lèi)精度為90%，而傳統(tǒng)的方法只有80%的分類(lèi)精度。在語(yǔ)音克隆方面，我們的方法比傳統(tǒng)方法具有更好的語(yǔ)音相似性。對(duì)于不同的說(shuō)話人，我們的方法的語(yǔ)音相似度在70%到80%之間，而傳統(tǒng)方法只有50%到60%的語(yǔ)音相似度。此外，我們的方法還具有更短的訓(xùn)練和測(cè)試時(shí)間，適用于實(shí)時(shí)語(yǔ)音克隆任務(wù)。6.結(jié)論本文提出了一種基于x-vector說(shuō)話人特征的語(yǔ)音克隆方法，在不同說(shuō)話人的語(yǔ)音轉(zhuǎn)換方