《數(shù)字媒體基礎(chǔ)與實(shí)踐》數(shù)字聲音

數(shù)字聲音

學(xué)習(xí)目標(biāo)1.掌握聲音的錄制方法。2.了解從視頻中提取聲音的方法。3.掌握語(yǔ)音合成的常用方法。4.了解合成音樂(lè)的制作方法。5.了解常用的音頻壓縮編碼方法。6.熟悉聲音格式以及相互轉(zhuǎn)換的方法。7.掌握聲音的常用編輯方法。8.掌握添加音效的方法。9.了解語(yǔ)音識(shí)別的基本原理。10.能在日常生活和學(xué)習(xí)場(chǎng)景中自如運(yùn)用語(yǔ)音識(shí)別產(chǎn)品。2.1數(shù)字聲音的獲取2.1.1聲音的獲取1.通過(guò)麥克風(fēng)錄制聲音例2-1：用AdobeAudition錄制毛主席詩(shī)詞“沁園春-雪”，并保存錄制的語(yǔ)音文件。2.獲取視頻中的聲音3.虛擬變聲4.網(wǎng)上下載2.1數(shù)字聲音的獲取2.1.2聲音的合成1.TTS語(yǔ)音合成語(yǔ)音合成技術(shù)可將文本轉(zhuǎn)換為自然語(yǔ)音流，讓機(jī)器開(kāi)口說(shuō)話。語(yǔ)音合成可運(yùn)用于文字校對(duì)、新聞播報(bào)、語(yǔ)音導(dǎo)航、幫助有視覺(jué)障礙的人閱讀計(jì)算機(jī)上的文字信息等。2.在線語(yǔ)音合成隨著語(yǔ)音導(dǎo)航、新聞播報(bào)、智能音箱等強(qiáng)需求應(yīng)用場(chǎng)景的出現(xiàn)，人們對(duì)語(yǔ)音合成技術(shù)寄予更大的期待。讓機(jī)器擁有自然、有情感、高表現(xiàn)力的聲音，是語(yǔ)音合成技術(shù)的發(fā)展方向。2.1數(shù)字聲音的獲取2.1.2聲音的合成3.合成音樂(lè)音樂(lè)合成軟件是一種能夠?qū)⒏鞣N樂(lè)器音頻轉(zhuǎn)換合成的音樂(lè)合成工具，支持實(shí)時(shí)進(jìn)行編輯及試聽(tīng)。主要應(yīng)用于影視劇背景音樂(lè)、游戲音效、語(yǔ)音廣告等的制作。例2-2：制作背景音樂(lè)2.1.3習(xí)題與實(shí)踐1.簡(jiǎn)答題（1）錄制語(yǔ)音時(shí)先空錄若干秒的作用是什么？（2）簡(jiǎn)述從視頻中獲取聲音的常用方法，你認(rèn)為哪種方法最便捷？（3）簡(jiǎn)述在線教育中虛擬變聲軟件如何發(fā)揮作用？（4）語(yǔ)音合成技術(shù)可將文本轉(zhuǎn)換為自然語(yǔ)音流，試說(shuō)出三個(gè)以上語(yǔ)音合成技術(shù)的應(yīng)用場(chǎng)景。（5）簡(jiǎn)述百度AI開(kāi)放平臺(tái)在線語(yǔ)音合成服務(wù)的內(nèi)容和特點(diǎn)。2.1數(shù)字聲音的獲取2.1數(shù)字聲音的獲取2.實(shí)踐題（1）參照“配套資源\2\SY2-1-1.txt”毛澤東詩(shī)詞的原文，使用AdobeAudition錄制成語(yǔ)音文件“SYJG2-1-1.mp3”。（2）提取視頻“配套資源\2\SY2-2-1.mp4”中的聲音信息，保存為“SYJG2-2-1.mp3”。（3）通過(guò)語(yǔ)音合成軟件，或者在線語(yǔ)音合成，或者虛擬變聲軟件，將“配套資源\2\SY2-3-1.txt”的內(nèi)容以童聲朗讀。2.2數(shù)字化聲音的處理2.2.1聲音處理基礎(chǔ)1.聲音的物理特征聲音有三個(gè)重要的物理量，即振幅、周期和頻率。振幅是波的高低幅度，表示聲音的強(qiáng)弱。周期指兩個(gè)相鄰波之間的時(shí)間長(zhǎng)度。頻率（周期的倒數(shù)）指每秒振動(dòng)的次數(shù)，以Hz為單位。2.聲音的三要素聲音具有三個(gè)要素：音調(diào)、音強(qiáng)和音色。它們分別與聲音的頻率、振幅、波形等相關(guān)。2.2數(shù)字化聲音的處理聲音頻帶示意圖2.2數(shù)字化聲音的處理3.音頻壓縮編碼技術(shù)音頻數(shù)據(jù)壓縮編碼方法可分為無(wú)損壓縮和有損壓縮兩大類。2.2數(shù)字化聲音的處理4.音頻文件格式音頻（Audio）是指頻率在20Hz～20kHz范圍內(nèi)的可聽(tīng)聲音。計(jì)算機(jī)中的音頻主要有波形音頻、CD音頻和MIDI音樂(lè)等形式。常見(jiàn)的音頻文件格式除了WAV、MID、MP3和WMA以外，還有RM、OGG、AAC、AIFF、FLAC等。2.2數(shù)字化聲音的處理2.2.2音頻處理數(shù)字聲音的處理涉及內(nèi)容、格式、效果等方面。內(nèi)容處理主要是通過(guò)選擇、裁剪、粘貼等操作實(shí)現(xiàn)聲音內(nèi)容的拼接、剪輯等。格式處理主要是實(shí)現(xiàn)各種音頻格式之間的格式轉(zhuǎn)換。效果處理則是對(duì)聲音施加各種特效，如降噪、均衡、變調(diào)、混響等，最終達(dá)成聲音處理的目的。2.2數(shù)字化聲音的處理1.混音混音是將多音軌上的數(shù)字音頻混合在一起，并輸出混合后的聲音。例2-3：將給定的朗讀語(yǔ)音和背景音樂(lè)合成為配樂(lè)朗誦。2.聲音的編輯聲音編輯操作包括聲音的淡入淡出、聲音的復(fù)制和剪輯、音調(diào)調(diào)整、播放速度調(diào)整等。2.2數(shù)字化聲音的處理3.音效處理Audition自帶了幾十種效果器，還可以添加更多的VST音效插件（VirtualStudioTechnology）。常用的音效處理包括：振幅與壓限、延遲與回聲、濾波與均衡、調(diào)制、降噪、混響、立體聲聲像、時(shí)間與變調(diào)等。2.2數(shù)字化聲音的處理（1）振幅與壓限聲音的振幅隨著時(shí)間的推移逐漸衰減。（2）延遲與回聲延遲效果用于產(chǎn)生單個(gè)回聲；回聲效果則可向聲音添加一系列重復(fù)的衰減回聲。（3）波形與均衡均衡就是調(diào)整各頻段信號(hào)的增益值，對(duì)聲音進(jìn)行針對(duì)性優(yōu)化，增強(qiáng)人們的臨場(chǎng)感?！皥D形均衡器”使用預(yù)設(shè)頻段進(jìn)行快速簡(jiǎn)單的均衡，頻段越少，調(diào)整就越快；頻段越多，則精度越高。2.2數(shù)字化聲音的處理（4）調(diào)制和聲和聲可一次模擬多個(gè)語(yǔ)音或樂(lè)器，增強(qiáng)人聲音軌，或?yàn)閱温暤缆曇籼砑恿Ⅲw聲空間感。（5）降噪降噪效果可顯著降低背景和寬頻噪聲，并且盡可能不影響信號(hào)品質(zhì)。例2-4：對(duì)錄制的語(yǔ)音進(jìn)行降噪處理，消除環(huán)境噪聲。2.2數(shù)字化聲音的處理（6）混響混響效果可以用來(lái)模擬各種聲學(xué)空間環(huán)境。（7）人聲移除消除人聲的音量，創(chuàng)建卡拉OK伴奏音效果。例2-5：消除歌曲中的人聲，提取伴奏音。（8）變調(diào)伸縮與變調(diào)效果可以隨著時(shí)間改變節(jié)奏從而改變音調(diào)。2.2數(shù)字化聲音的處理4.聲音的壓縮Audition可以將聲音文件壓縮并另存為MP3、OGG、AIFF等格式，可按需設(shè)置聲音的音質(zhì)。5.視頻配音Audition不僅能編輯聲音文件，還能在多軌編輯視圖中導(dǎo)入視頻，與聲音文件同步播放，方便用戶為視頻配音。2.2數(shù)字化聲音的處理2.2.3習(xí)題與實(shí)踐1.簡(jiǎn)答題（1）簡(jiǎn)述聲音的三要素及其含義。（2）數(shù)字媒體技術(shù)主要處理的聲音頻率范圍是多少？該頻率范圍與人類語(yǔ)音的頻率范圍是什么關(guān)系？（3）簡(jiǎn)述聲音的有損壓縮主要采用哪些壓縮編碼技術(shù)。（4）數(shù)字音頻在相同位速率編碼情況下，MP3格式與OGG格式的音質(zhì)哪個(gè)更好一些？說(shuō)出理由。（5）在AdobeAudition多軌編輯視圖中，如何快速設(shè)置聲音的淡入淡出效果？（6）AdobeAudition有哪些常用的音效處理方法？“均衡”音效有什么作用？2.2數(shù)字化聲音的處理2.2.3習(xí)題與實(shí)踐2.實(shí)踐題（1）打開(kāi)“配套資源\2\SY2-4-1.txt”，內(nèi)容為唐朝大詩(shī)人王維的“山居秋暝”，用AdobeAudition錄制朗誦，再進(jìn)行降噪處理，消除環(huán)境噪音，保存為“SYJG2-4-1.mp3”。（2）打開(kāi)“配套資源\2\SY2-5-1.mp3”，嘗試消除其中的原唱，將伴奏音保存為“SYJG2-5-1.mp3”。（3）將錄制的古詩(shī)“山居秋暝”的語(yǔ)音與背景音樂(lè)“配套資源\2\SY2-6-1.wma”合成配樂(lè)詩(shī)朗誦，實(shí)現(xiàn)背景音樂(lè)淡入淡出效果，保存為“SYJG2-6-1.mp3”。2.3語(yǔ)音識(shí)別技術(shù)2.3.1語(yǔ)音識(shí)別的基本原理語(yǔ)音識(shí)別技術(shù)，也被稱為自動(dòng)語(yǔ)音識(shí)別AutomaticSpeechRecognition（ASR），其目標(biāo)是讓機(jī)器能夠“聽(tīng)懂”人類的語(yǔ)音，將人類的語(yǔ)音數(shù)據(jù)轉(zhuǎn)化為可讀的文字信息。語(yǔ)音識(shí)別技術(shù)所涉及的領(lǐng)域包括：信號(hào)處理、模式識(shí)別、概率論和信息論、發(fā)聲機(jī)理和聽(tīng)覺(jué)機(jī)理、人工智能等。語(yǔ)音識(shí)別系統(tǒng)主要包含特征提取、聲學(xué)模型，語(yǔ)言模型以及字典與解碼四大部分。2.3語(yǔ)音識(shí)別技術(shù)2.3.2語(yǔ)音識(shí)別技術(shù)的發(fā)展上世紀(jì)50年代，貝爾實(shí)驗(yàn)室就已經(jīng)開(kāi)始了對(duì)語(yǔ)音識(shí)別的研究，主要是簡(jiǎn)單的孤立詞語(yǔ)音識(shí)別。上世紀(jì)60年代，三個(gè)關(guān)鍵技術(shù)的出現(xiàn)奠定了語(yǔ)音識(shí)別技術(shù)發(fā)展的基礎(chǔ)。上世紀(jì)70年代，模式識(shí)別思想、動(dòng)態(tài)規(guī)劃算法和線性預(yù)測(cè)編碼等關(guān)鍵技術(shù)被引入到語(yǔ)音識(shí)別中。上世紀(jì)80年代，語(yǔ)音識(shí)別技術(shù)取得關(guān)鍵性突破?；陔[馬爾科夫模型(HiddenMarkovModel，HMM)的統(tǒng)計(jì)分析聲學(xué)建模和基于n．gram的語(yǔ)言模型被應(yīng)用于語(yǔ)音識(shí)別。這時(shí)期，語(yǔ)音識(shí)別開(kāi)始從孤立詞識(shí)別系統(tǒng)向大詞匯量連續(xù)語(yǔ)音識(shí)別系統(tǒng)發(fā)展。2.3語(yǔ)音識(shí)別技術(shù)2.3.2語(yǔ)音識(shí)別技術(shù)的發(fā)展上世紀(jì)90年代，語(yǔ)音識(shí)別聲學(xué)模型的區(qū)分性訓(xùn)練準(zhǔn)則和模型自適應(yīng)方法的提出使得語(yǔ)音識(shí)別系統(tǒng)的性能獲得極大的提升。進(jìn)入20世紀(jì)的頭10年，語(yǔ)音識(shí)別開(kāi)始從標(biāo)準(zhǔn)的朗讀對(duì)話轉(zhuǎn)向更加困難的日常交流英語(yǔ)。神經(jīng)網(wǎng)絡(luò)的重新興起，引起語(yǔ)音識(shí)別技術(shù)再次突破。2.3語(yǔ)音識(shí)別技術(shù)2.3.3語(yǔ)音識(shí)別技術(shù)的應(yīng)用語(yǔ)音識(shí)別技術(shù)的應(yīng)用包括語(yǔ)音撥號(hào)、室內(nèi)設(shè)備控制、語(yǔ)音文檔檢索、簡(jiǎn)單的聽(tīng)寫數(shù)據(jù)錄入等。語(yǔ)音識(shí)別技術(shù)與其他自然語(yǔ)言處理技術(shù)如機(jī)器翻譯及語(yǔ)音合成技術(shù)相結(jié)合，可以實(shí)現(xiàn)語(yǔ)音到語(yǔ)音的翻譯，典型應(yīng)用有GoogleTranslate、百度翻譯、有道翻譯官等。語(yǔ)音識(shí)別正逐步成為實(shí)現(xiàn)人機(jī)接口的關(guān)鍵技術(shù)。2.3語(yǔ)音識(shí)別技術(shù)2.3.4習(xí)題與實(shí)踐1.簡(jiǎn)答題（1）簡(jiǎn)述語(yǔ)音識(shí)別系統(tǒng)的基本構(gòu)成以及各部分的主要功能。（2）簡(jiǎn)述進(jìn)入20世紀(jì)后語(yǔ)音識(shí)別技術(shù)取得哪些突破？（3）要實(shí)現(xiàn)語(yǔ)音到語(yǔ)音的翻譯，需要哪些關(guān)鍵技術(shù)？2.3語(yǔ)音識(shí)別技術(shù)2.實(shí)踐題（1）在手機(jī)端下載百度翻譯、有道翻譯官等APP，感受語(yǔ)音翻譯的便捷。（2）進(jìn)入訊飛開(kāi)放平臺(tái)語(yǔ)音聽(tīng)寫體驗(yàn)區(qū)（），選