基于AI的虛擬主播設(shè)計(jì) 課件 第6章

基于AI的虛擬主播設(shè)計(jì)第6章語音合成口型動畫的實(shí)現(xiàn)TTS語音合成的實(shí)現(xiàn)目錄/說課流程TeachingProcess二一TTS語音合成的實(shí)現(xiàn)一引言本節(jié)進(jìn)行TTS語音合成選用的平臺是阿里云智能語音交互平臺。首先，介紹阿里云智能語音交互平臺的使用，包括項(xiàng)目創(chuàng)建以及個性化人聲定制；在完成聲音定制后，輸入新聞稿件文本信息，實(shí)現(xiàn)真人版語音輸出。引言

阿里云智能語音交互平臺的使用首先輸入網(wǎng)址“/pttssetting”，進(jìn)入阿里云智能語音交互平臺的個性化人聲定制界面。沒有登錄過阿里云智能語音交互平臺的同學(xué)需要進(jìn)行注冊，或者使用支付寶、淘寶等賬號掃碼進(jìn)行登錄。注冊完成后，在登錄界面進(jìn)行登錄。進(jìn)入個性化人聲定制界面。語音合成

個性化人聲定制項(xiàng)目創(chuàng)建在個性化人聲定制界面中單擊“定制聲音”按鈕，需在彈出框中選擇“定制聲音將應(yīng)用于哪個項(xiàng)目中”，沒有可用項(xiàng)目，單擊“去創(chuàng)建項(xiàng)目”。語音合成

個性化人聲定制項(xiàng)目創(chuàng)建進(jìn)入項(xiàng)目創(chuàng)建界面，單擊“創(chuàng)建項(xiàng)目”按鈕，進(jìn)行項(xiàng)目創(chuàng)建。在項(xiàng)目創(chuàng)建界面輸入項(xiàng)目名稱“AIReport”，可以對項(xiàng)目場景簡單描述，單擊“確定”完成項(xiàng)目創(chuàng)建。完成創(chuàng)建后，對項(xiàng)目進(jìn)行簡單配置即可。語音合成

個性化人聲定制項(xiàng)目創(chuàng)建單擊側(cè)邊欄“個性化人聲定制”，返回個性化人聲定制界面，選擇項(xiàng)目“AIReport”，單擊“確定”按鈕，顯示聲音與項(xiàng)目關(guān)聯(lián)成功，掃描二維碼或輸入網(wǎng)址進(jìn)入個性化人聲定制。語音合成語音合成01在電腦端通過網(wǎng)址打開聲音定制界面。也可以在手機(jī)端掃描二維碼進(jìn)行聲音定制。02選中“我已閱讀并同意《智能語音聲音模型定制服務(wù)協(xié)議》”，單擊“開始克隆”按鈕；進(jìn)入聲音命名界面，輸入聲音ID“AIReport123456”，選擇性別“女”，選擇使用場景“故事”，單擊“開始錄制”，進(jìn)入聲音錄制界面

實(shí)現(xiàn)真人版語音輸出使用自己的語音訓(xùn)練聲音模型后，可進(jìn)行各種文本的人聲朗讀，實(shí)現(xiàn)真人版的文本轉(zhuǎn)語音輸出。在個性化人聲定制界面，單擊“試聽”按鈕，進(jìn)入TTS（文本轉(zhuǎn)語音）界面。語音合成口型動畫的實(shí)現(xiàn)二語音合成口型動畫的實(shí)現(xiàn)010203動畫角色的造型更加逼真提升特效的表達(dá)效果更加細(xì)致的刻畫角色形象

Maya2018的安裝雙擊AutodeskMaya2018安裝包（或者單擊右鍵“以管理員身份運(yùn)行”），進(jìn)入解壓界面選擇目標(biāo)文件夾后，單擊“確認(rèn)”按鈕，進(jìn)行安裝包解壓。

Maya2018的安裝解壓完成后，進(jìn)入AutodeskMaya2018安裝界面安裝說明選擇中文（簡體），單擊安裝，進(jìn)入Maya2018的安裝過程。語音合成

Maya2018的安裝閱讀Autodesk的許可及服務(wù)協(xié)議，選擇“我接受”，單擊“下一步”按鈕。進(jìn)入安裝配置界面，選擇全部選擇安裝，需要有3.32G的磁盤空間，可以根據(jù)存儲空間選擇安裝路徑，建議安裝在C盤。單擊“安裝”按鈕，進(jìn)行Maya2018的安裝。

Maya2018的安裝進(jìn)入Maya2018安裝完成界面，單擊“立即啟動”按鈕，完成Maya2018的安裝。語音合成

Maya2018的安裝進(jìn)入Maya2018激活界面，輸入產(chǎn)品序列號和密鑰，完成AutodeskMaya2018的激活操作。

Maya2018的安裝安裝完成后，可在桌面看到Maya2018的圖標(biāo)。語音合成

Maya2018的安裝在桌面雙擊Maya2018應(yīng)用程序圖標(biāo)，加載Maya2018應(yīng)用窗口時，顯示Maya啟動界面。語音合成

Maya2018的使用（導(dǎo)入FBX模型）進(jìn)入Maya2018應(yīng)用窗口，安裝的Maya2018為中文版本，便于同學(xué)們的使用與操作。語音合成

Maya2018的使用（導(dǎo)入FBX模型）首先進(jìn)行插件配置，選擇菜單欄“窗口”|“設(shè)置/首選項(xiàng)”|“插件管理器。

Maya2018的使用（導(dǎo)入FBX模型）打開“插件管理器”進(jìn)行插件配置。語音合成

Maya2018的使用（導(dǎo)入FBX模型）在Maya中導(dǎo)入DAZStudio生成的FBX模型，需要在“插件管理器”中選擇“fbxmaya.mll”如果沒有選擇加載相應(yīng)插件，在導(dǎo)入FBX模型時會彈出“無法識別的文件類型”警告，并且無法導(dǎo)入FBX模型。語音合成

Maya2018的使用（導(dǎo)入FBX模型）選擇界面菜單欄“文件”|“導(dǎo)入”。

Maya2018的使用（導(dǎo)入FBX模型）打開導(dǎo)入界面，選擇使用DAZStudio導(dǎo)出的“Demopose.fbx”模型，單擊“導(dǎo)入”按鈕，將“Demopose.fbx”模型導(dǎo)入Maya展示面板。語音合成

Maya2018的使用（導(dǎo)入FBX模型）常用快捷鍵：“Alt+鼠標(biāo)左鍵”可對人物模型進(jìn)行旋轉(zhuǎn)操作；“Alt+按住鼠標(biāo)滾輪”可對人物模型位置進(jìn)行上下左右拖動操作；“鼠標(biāo)滾輪滑動”可對人物模型進(jìn)行放大、縮小操作。

Maya2018的使用（導(dǎo)入FBX模型）導(dǎo)入后的人物模型，單擊視圖控制面板中所標(biāo)識的圖標(biāo)，人物模型恢復(fù)常態(tài)，但真實(shí)度與真人有一定差距，下一步進(jìn)行人物模型材質(zhì)調(diào)節(jié)。語音合成語音合成01人物模型材質(zhì)轉(zhuǎn)換首先將人物模型轉(zhuǎn)換為Arnold材質(zhì)，菜單欄“Arnold”|“Utilities”|“ConvertShaderstoArnold”，在彈出框中單擊“All”按鈕，人物模型材質(zhì)全部轉(zhuǎn)化為Arnold材質(zhì)。轉(zhuǎn)換后，人物模型表面發(fā)黑，下一步解決人物模型表面發(fā)黑問題。

Maya2018的使用（解決人物模型表面發(fā)黑問題）人物模型表面發(fā)黑是人物表面反射的設(shè)置問題，人物表面材質(zhì)設(shè)置為不反射，因此光射入就被吸收，所以表面變黑。下面對人物表面反射設(shè)置進(jìn)行調(diào)節(jié)。單擊圖中所表注的圖標(biāo)，出現(xiàn)Hypershade界面，可以看見人物各部分展示為黑色，無法看見材質(zhì)。語音合成

以“Arms”為例進(jìn)行反射調(diào)節(jié)操作講解。首先在材質(zhì)展示框中選中“Arms”，展開右側(cè)特征編輯器中“Coat”，將其中的“Color”調(diào)節(jié)至“100%”，可清晰地看見視圖面板中的人物手部恢復(fù)正常顏色。

接下來按照此操作對人物模型進(jìn)行反射調(diào)節(jié)，全部調(diào)節(jié)完成后，人物模型基本恢復(fù)正常狀態(tài)。語音合成Maya2018的使用（解決人物模型表面發(fā)黑問題）Maya2018的使用（解決人物模型表面發(fā)黑問題）

以Cornea（眼角膜）為例，進(jìn)行眼部材質(zhì)調(diào)節(jié)講解。打開Hypershade界面，在材質(zhì)展示框中找到并單擊Cornea，右側(cè)特征編輯器中，單擊“預(yù)設(shè)”，選擇“Clear-Water”|“替換”，完成賦予Cornea水材質(zhì)替換。

按照此操作對EyeMoisture（眼睛外側(cè)水膜）進(jìn)行水材質(zhì)替換。完成操作后的人物模型展示。語音合成Maya2018的使用（人物模型眼部材質(zhì)調(diào)節(jié)）Maya2018的使用（人物模型眼部材質(zhì)調(diào)節(jié)）

Maya2018的使用（人物模型及場景保存）對人物模型進(jìn)行導(dǎo)出保存操作，以便下次打開Maya2018時，直接導(dǎo)入使用，不需要再對人物模型的材質(zhì)進(jìn)行調(diào)節(jié)。選擇菜單欄“文件”|“導(dǎo)出全部”，對人物模型進(jìn)行導(dǎo)出；選擇“文件”|“導(dǎo)入”，選擇需要導(dǎo)入的模型，單擊“導(dǎo)入”按鈕即可完成導(dǎo)入操作。當(dāng)有場景加入時，“文件”|“保存場景”（Ctrl+S）可對場景進(jìn)行保存操作；選擇“文件”|“打開場景”（Ctrl+O）即可實(shí)現(xiàn)場景導(dǎo)入。語音合成

Maya2018實(shí)現(xiàn)真人版口型動畫（實(shí)現(xiàn)語音轉(zhuǎn)口型數(shù)據(jù)）在TTS語音合成章節(jié)中，通過個性化人聲定制平臺訓(xùn)練的聲音模型根據(jù)文本信息所輸出的真人語音，將真人語音通過口型數(shù)據(jù)生成系統(tǒng)轉(zhuǎn)化為口型數(shù)據(jù)。語音合成

Maya2018實(shí)現(xiàn)真人版口型動畫（實(shí)現(xiàn)語音轉(zhuǎn)口型數(shù)據(jù)）雙擊打開口型數(shù)據(jù)生成系統(tǒng)中“LipSync.exe”，進(jìn)入口型數(shù)據(jù)生成錄制界面，界面中左側(cè)顯示的是聲音錄制的狀態(tài)，右側(cè)為3D人物的半身模型。按“2”鍵，開始錄制輸入聲音信息，按“3”鍵，停止錄制，按“Esc”鍵可退出口型數(shù)據(jù)生成系統(tǒng)。語音合成

Maya2018實(shí)現(xiàn)真人版口型動畫（實(shí)現(xiàn)語音轉(zhuǎn)口型數(shù)據(jù)）按“2”鍵，開始錄制聲音信息時，左側(cè)聲音錄制狀態(tài)會變?yōu)椤颁浿浦小保?D人物的口型會根據(jù)輸入聲音發(fā)生變化，擬合聲音信息的同時，將聲音信息轉(zhuǎn)化為口型數(shù)據(jù)進(jìn)行保存。按“3”鍵，左側(cè)聲音錄制狀態(tài)會變?yōu)椤巴Ｖ逛浿啤?，如果你輸入的聲音沒有停止，界面中的3D人物口型依然會根據(jù)輸入聲音進(jìn)行變化，但在未錄制狀態(tài)下，口型數(shù)據(jù)不會保存。語音合成

Maya2018實(shí)現(xiàn)真人版口型動畫（實(shí)現(xiàn)語音轉(zhuǎn)口型數(shù)據(jù)）全面小康白皮書新聞?wù)嫒苏Z音播報輸入轉(zhuǎn)化的口型數(shù)據(jù)展示。

本節(jié)口型數(shù)據(jù)生成系統(tǒng)中聲音信息輸入通過虛擬聲卡將電腦的輸出聲音直接轉(zhuǎn)為輸入聲音進(jìn)行實(shí)現(xiàn)。真人語音輸入還可以通過麥克風(fēng)輸入的方式進(jìn)行實(shí)現(xiàn)。語音合成Maya2018實(shí)現(xiàn)真人版口型動畫（實(shí)現(xiàn)語音轉(zhuǎn)口型數(shù)據(jù)）

Maya2018實(shí)現(xiàn)真人版口型動畫（實(shí)現(xiàn)真人3D模型口型動畫生成）加載ChuanshiTool插件；在Maya中，需要加載ChuanshiTool插件，用來實(shí)現(xiàn)口型數(shù)據(jù)的導(dǎo)入。將“ChuanshiTool”文件夾中的2個項(xiàng)目，復(fù)制到圖所示目錄下。語音合成語音合成01加載ChuanshiTool插件打開Maya2018，在界面菜單欄中選擇“窗口”|“設(shè)置/首選項(xiàng)”|“插件管理器”，進(jìn)入插件管理器界面，勾選“ChuanshiTool.py”所對應(yīng)的“已加載”和“自動加載”兩個選擇框。插件加載完成后，可在菜單欄看到“傳世工坊”，插件腳本導(dǎo)入成功。

增加人物面部表情控制器；在界面左側(cè)“大綱視圖”|“Genesis8Female”展開框中，選中“Genesis8FemaleFBXASC046Shape”，被選中后的3D人物身體覆蓋綠色網(wǎng)格。單擊菜單欄“傳世工坊”|“面部表情”|“加強(qiáng)版控制器”。

增加人物面部表情控制器；為3D人物增加面部控制器。語音合成Maya2018實(shí)現(xiàn)真人版口型動畫（實(shí)現(xiàn)真人3D模型口型動畫生成）Maya2018實(shí)現(xiàn)真人版口型動畫（實(shí)現(xiàn)真人3D模型口型動畫生成）

Maya2018實(shí)現(xiàn)真人版口型動畫（實(shí)現(xiàn)真人3D模型口型動畫生成）導(dǎo)入語音生成的口型數(shù)據(jù)；界面左側(cè)“大綱視圖”|“Genesis8FemaleFBXASC046Shape_GUI:FACS”，選中面部控制器，面部控制器被選中后整體呈粉色。單擊菜單欄“傳世工坊”|“面部表情”|“導(dǎo)入傳世語音生成唇形數(shù)據(jù)”。（這里需要注意，Maya的Python腳本不支持中文路徑或是中文命名）語音合成語音合成01單擊后，出現(xiàn)“縮放比例”對話框，單擊“執(zhí)行”按鈕。出現(xiàn)口型數(shù)據(jù)導(dǎo)入界面。選擇“Whitebook.txt”口型數(shù)據(jù)文件，單擊“打開”按鈕，出現(xiàn)“數(shù)據(jù)導(dǎo)入成功”提示框，單擊“確定”按鈕，口型數(shù)據(jù)導(dǎo)入完成。關(guān)閉縮放比例界面。

導(dǎo)入語音生成的口型數(shù)據(jù)；口型數(shù)據(jù)導(dǎo)入完成后，需要根據(jù)錄制時間設(shè)置播放總幀數(shù)。在口型數(shù)據(jù)文檔末尾處，“Whitebook.txt”口型數(shù)據(jù)的錄制時間為38秒。

導(dǎo)入語音生成的口型數(shù)據(jù)；總幀數(shù)調(diào)整輸入框位于界面下方。每秒30幀，因此將Maya中的幀數(shù)數(shù)值調(diào)整為1140。語音合成Maya2018實(shí)