多媒體音頻的處理課件

第三章多媒體音頻的處理1多媒體技術(shù)及其醫(yī)學(xué)應(yīng)用本章內(nèi)容第一節(jié)數(shù)字音頻的概念第二節(jié)音頻的數(shù)字化第三節(jié)計(jì)算機(jī)合成聲音第四節(jié)人體音頻信號(hào)第五節(jié)常用音頻處理軟件介紹2多媒體技術(shù)及其醫(yī)學(xué)應(yīng)用第一節(jié)數(shù)字音頻的概念

什么是聲音?聲音來自機(jī)械振動(dòng)，并通過周圍的彈性介質(zhì)以波的形式向周圍傳播。聲音是一種波，具有一般的波的屬性和行為，例如：反射、折射和衍射。3多媒體技術(shù)及其醫(yī)學(xué)應(yīng)用聲波的折射聲波的反射聲波的衍射4多媒體技術(shù)及其醫(yī)學(xué)應(yīng)用什么是模擬音頻信號(hào)模擬信號(hào)是與離散的數(shù)字信號(hào)相對(duì)的連續(xù)的信號(hào)。模擬信號(hào)分布于自然界的各個(gè)角落，如每天溫度的變化，而數(shù)字信號(hào)是人為的抽象出來的在時(shí)間上不連續(xù)的信號(hào)。

5多媒體技術(shù)及其醫(yī)學(xué)應(yīng)用聲音的頻率頻率范圍被稱為“頻帶”或“帶寬”。不同種類的聲源產(chǎn)生的聲音頻帶也不相同。人的說話聲，即話音或語音，其頻率范圍為200~3400Hz。現(xiàn)實(shí)世界中的其他可感知聲音，如音樂聲、風(fēng)雨聲、汽車聲等，頻帶范圍為20Hz~20kHz。多媒體技術(shù)處理的聲音主要是人耳可聽到的20Hz~20kHz頻率范圍內(nèi)的音頻信號(hào)。頻率低于20Hz的聲音叫做“次聲”高于20kHz的聲音叫做“超聲”。6多媒體技術(shù)及其醫(yī)學(xué)應(yīng)用信噪比模擬音頻信號(hào)中，信號(hào)的能量和噪聲能量的比值稱為信噪比（SNR，Signal-to-NoiseRatio）。信噪比是信號(hào)質(zhì)量的衡量標(biāo)準(zhǔn)之一。信噪比常用單位是分貝（dB）。聲音是一種能量，音量太大，會(huì)對(duì)耳膜后脆弱的聽覺器官造成永久的傷害。7多媒體技術(shù)及其醫(yī)學(xué)應(yīng)用常見聲音的強(qiáng)度聲音種類強(qiáng)度（dB）非常柔和的密語30交談60繁華街道70火車穿過車站90令人不舒服的閾值120令人痛苦的閾值140傷及人耳的鼓膜1608多媒體技術(shù)及其醫(yī)學(xué)應(yīng)用數(shù)字音頻基礎(chǔ)模擬音頻與數(shù)字音頻比較：聲音壓縮聲音存儲(chǔ)聲音處理

數(shù)字音頻文件的格式：WAV、MP3、MIDI、RA和RM

9多媒體技術(shù)及其醫(yī)學(xué)應(yīng)用第二節(jié)音頻的數(shù)字化

將連續(xù)的模擬聲音信號(hào)轉(zhuǎn)換成計(jì)算機(jī)可以處理的二進(jìn)制數(shù)字編碼的過程成為聲音信號(hào)的數(shù)字化。10多媒體技術(shù)及其醫(yī)學(xué)應(yīng)用第二節(jié)音頻的數(shù)字化

聲音的數(shù)字化過程（1、采樣）采樣是按照固定的時(shí)間間隔截取音頻信號(hào)的振幅值采樣是把時(shí)間上連續(xù)的信號(hào)轉(zhuǎn)換成時(shí)間上離散的信號(hào)。11多媒體技術(shù)及其醫(yī)學(xué)應(yīng)用聲音的數(shù)字化過程（2、量化）量化是把每個(gè)樣本從模擬量轉(zhuǎn)換成為數(shù)字量。量化的是聲音的幅值，即聲音的大小。聲音信號(hào)的量化精度一般為8位、12位或16位二進(jìn)制位。量化精度越高，聲音的保真度越好。12多媒體技術(shù)及其醫(yī)學(xué)應(yīng)用聲音的數(shù)字化過程（3、編碼）編碼就是將量化后的整數(shù)值用二進(jìn)制數(shù)來表示。為減少數(shù)據(jù)量，編碼時(shí)往往要進(jìn)行數(shù)據(jù)壓縮，以便于計(jì)算機(jī)存儲(chǔ)和處理，以及在網(wǎng)絡(luò)上進(jìn)行傳輸?shù)取?3多媒體技術(shù)及其醫(yī)學(xué)應(yīng)用聲道單聲道每次只能生成一個(gè)聲波數(shù)據(jù)。立體聲（雙聲道）每次生成兩個(gè)聲波數(shù)據(jù)，并在錄制過程中分別分配到兩個(gè)獨(dú)立的聲道中輸出，從而達(dá)到很好的聲音定位效果。14多媒體技術(shù)及其醫(yī)學(xué)應(yīng)用5.1環(huán)繞立體聲LFE:這個(gè)聲道是專為電影中某些特殊的低頻聲音設(shè)計(jì)的，比如地震或爆炸聲。在影院系統(tǒng)中，LFE聲道會(huì)推動(dòng)一個(gè)或一個(gè)以上的低音炮來制造這些特殊的聲音效果。而其他5個(gè)聲道的揚(yáng)聲器都能夠再現(xiàn)一般的低音，比如人聲或背景音樂中的低音部分。15多媒體技術(shù)及其醫(yī)學(xué)應(yīng)用第三節(jié)計(jì)算機(jī)合成聲音數(shù)字聲音分為自然聲音和合成聲音兩大類型。自然聲音是對(duì)實(shí)際聲音數(shù)字化而獲得的。合成聲音使用參數(shù)描述聲音，通過合成方法生成聲音。合成聲音又分為:語音合成音樂合成16多媒體技術(shù)及其醫(yī)學(xué)應(yīng)用語音合成語音合成（speechsynthesis）是根據(jù)語言學(xué)和自然語言理解的知識(shí)，讓計(jì)算機(jī)模仿人的發(fā)聲自動(dòng)生成語音的過程。目前主要是按照文本（書面語言）進(jìn)行語音合成，這個(gè)過程稱為文語轉(zhuǎn)換（Text-To-Speech,簡稱TTS）。17多媒體技術(shù)及其醫(yī)學(xué)應(yīng)用合成語音的應(yīng)用有聲E-mail服務(wù)文稿校對(duì)語言學(xué)習(xí)語音秘書自動(dòng)報(bào)警殘疾人服務(wù)等18多媒體技術(shù)及其醫(yī)學(xué)應(yīng)用文稿校對(duì)、語言學(xué)習(xí)目前，世界上已研制出漢、英、日、法、德等語種的文語轉(zhuǎn)換系統(tǒng)，并在許多領(lǐng)域得到了廣泛應(yīng)用。DECTalk文語轉(zhuǎn)換系統(tǒng)：英語文語轉(zhuǎn)換AT＆TBell文語轉(zhuǎn)換系統(tǒng)：英語文語轉(zhuǎn)換Sonic文語轉(zhuǎn)換系統(tǒng)：漢語文語轉(zhuǎn)換19多媒體技術(shù)及其醫(yī)學(xué)應(yīng)用音樂合成（MIDI）

MIDI（MusicalInstrumentDigitalInterface）是計(jì)算機(jī)描述樂譜的語言，是數(shù)字樂器與計(jì)算機(jī)通信的國際標(biāo)準(zhǔn)。MIDI不僅規(guī)定了樂譜的數(shù)字表示方法（包括音符、定時(shí)、樂器等），也規(guī)定了演奏控制器、音源、計(jì)算機(jī)等相互連接時(shí)的通信規(guī)程。20多媒體技術(shù)及其醫(yī)學(xué)應(yīng)用MIDI音樂的制作MIDI演奏器（如MIDI鍵盤）供演奏者進(jìn)行實(shí)時(shí)演奏，它是一種專用的輸入設(shè)備，其類型有：鍵式演奏器、弦樂演奏器、氣息控制器等。普通的鍵盤可以用來輸入和修改樂譜，但很難實(shí)時(shí)演奏。音序器將MIDI演奏器演奏的音符、節(jié)奏以及各種表情信息（如速度、觸鍵力度、彎音和音色變化等）以MIDI消息的形式記錄下來。（cakewalk、encore）在音序器軟件的控制下，同一演奏者可在不同的時(shí)間內(nèi)用不同的樂器（音色）逐次演奏樂曲的不同聲部，實(shí)現(xiàn)“分軌錄音”。然后，音樂合成器可以將所有音軌中的演奏信息同時(shí)播放，這樣，就實(shí)現(xiàn)了一個(gè)人完成相當(dāng)于一個(gè)樂隊(duì)的多聲部演奏和錄音任務(wù)。21多媒體技術(shù)及其醫(yī)學(xué)應(yīng)用MIDI音樂的播放

媒體播放器軟件首先從磁盤上讀入.mid文件，把其中的一個(gè)個(gè)MIDI消息發(fā)送給聲卡上的音樂合成器;由音樂合成器解釋并執(zhí)行MIDI消息所規(guī)定的操作，合成出各種音色的音符，通過揚(yáng)聲器播放出樂曲來。22多媒體技術(shù)及其醫(yī)學(xué)應(yīng)用第四節(jié)人體音頻信號(hào)生物體也是一個(gè)發(fā)音系統(tǒng)，如:呼吸運(yùn)動(dòng)發(fā)出的呼吸音心臟運(yùn)動(dòng)發(fā)出的心音胎兒心臟跳動(dòng)的胎心音關(guān)節(jié)音等這些聲音都反映了運(yùn)動(dòng)部分的生理和病理狀態(tài)的信息。23多媒體技術(shù)及其醫(yī)學(xué)應(yīng)用心音信號(hào)正常人體的心音信號(hào)包括:第一心音:來自二尖瓣和三尖瓣的開放和關(guān)閉。第二心音:來自主動(dòng)脈瓣和肺動(dòng)脈瓣的開放和關(guān)閉。一些心臟疾病如瓣膜和心肌的疾病會(huì)使正常的心音信號(hào)發(fā)生一定的變化，原因主要有兩類:一類是由瓣膜疾病所引起的另一類則是由心房或心室的心肌疾病產(chǎn)生的通過分析心音信號(hào)，就可以在一定程度上診斷瓣膜或心肌的疾病。24多媒體技術(shù)及其醫(yī)學(xué)應(yīng)用肺音和呼吸音信號(hào)異常呼吸音分為:異常肺泡呼吸音異常支氣管呼吸音異常支氣管肺泡呼吸音啰音是呼吸音以外的附加音，分為干性啰音濕性啰音胸膜摩擦音25多媒體技術(shù)及其醫(yī)學(xué)應(yīng)用肺音和呼吸音信號(hào)的臨床意義肺音和呼吸音信號(hào)能反映出肺實(shí)變、肺不張、胸腔積液、氣胸和肺氣腫等許多病理和生理特征。臨床上可利用監(jiān)測(cè)肺音特征量的變化實(shí)現(xiàn)對(duì)通氣狀態(tài)的無人監(jiān)測(cè)，尤其對(duì)重癥病人的監(jiān)測(cè)具有特殊意義。26多媒體技術(shù)及其醫(yī)學(xué)應(yīng)用軟件概述Windows錄音機(jī)GoldWave第五節(jié)常用音頻處理軟件介紹

27多媒體技術(shù)及其醫(yī)學(xué)應(yīng)用MIDI：比高保真的波形聲音音質(zhì)差些，也無法合成出語音，但它的數(shù)據(jù)量很少，比CD-DA少3個(gè)數(shù)量級(jí)，比MP3少2個(gè)數(shù)量級(jí)，又易于編輯修改。WAV：是Windows系統(tǒng)存儲(chǔ)數(shù)字聲音的標(biāo)準(zhǔn)格式，WAV格式存放的是未經(jīng)壓縮的音頻數(shù)據(jù)，所以文件容量很大。MP3：采用MPEG-1層3編碼的高質(zhì)量數(shù)字音樂，它能以10倍左右的壓縮比降低高保真數(shù)字聲音的存儲(chǔ)量。音頻文件的常見格式28多媒體技術(shù)及其醫(yī)學(xué)應(yīng)用音頻文件的常見格式（續(xù)）RA和RM：是Real公司開發(fā)的流式聲音文件，可一邊下載一邊播放。WMA和ASF：是微軟公司開發(fā)的新一代網(wǎng)上流式數(shù)字音頻壓縮技術(shù)。特點(diǎn)是同時(shí)兼顧了保真度和網(wǎng)絡(luò)傳輸要求。29多媒體技術(shù)及其醫(yī)學(xué)應(yīng)用聲音文件的播放Windows的“媒體播放器”是一個(gè)常用的媒體播放軟件，它可以播放WAV、MP3、WMV、MID等格式的音頻文件，也可播放AVI、ASF、MPEG等格式的視頻文件。RealPlayer可播放RM、MP3、WAV、WMA等音頻格式。30多媒體技術(shù)及其醫(yī)學(xué)應(yīng)用聲音的錄制如果錄制小于1分鐘的聲音，可以使用Windows系統(tǒng)自帶的“錄音機(jī)”軟件錄制。如果希望錄制任意長度的聲音，則可使用GoldWave等軟件進(jìn)行錄制。選用性能優(yōu)異的錄音設(shè)備調(diào)整輸入信號(hào)的強(qiáng)度信號(hào)強(qiáng)度超過錄音設(shè)備的動(dòng)態(tài)范圍，則會(huì)產(chǎn)生削頂失真和音感阻塞，嚴(yán)重時(shí)無法辨別聲音的內(nèi)容。信號(hào)強(qiáng)度過低，則信號(hào)與噪聲的比值小，噪聲相對(duì)較明顯，從而影響音質(zhì)。選擇話筒動(dòng)圈話筒的音質(zhì)好，動(dòng)態(tài)范圍寬，適于錄制音樂。電容話筒的靈敏度高，頻率范圍窄，適于錄制話音。一般情況下，語音采用單聲道，音樂