《多媒體聲音》PPT課件.ppt

第三部分聲音,聲音是攜帶信息的極其重要的媒體，是多媒體技術(shù)研究中的一個重要內(nèi)容。聲音的種類繁多。本章將介紹聲音的相關(guān)知識。,3.1聲音與聽覺器官,聲音是通過空氣傳播的一種連續(xù)的波，叫聲波。聲音的強弱體現(xiàn)在聲波壓力的大小上，音調(diào)的高低體現(xiàn)在聲音的頻率上。聲音用電表示時，聲音信號在時間和幅度上都是連續(xù)的模擬信號，如圖所示。聲波具有普通波所具有的特性，如反射、折射和衍射等。,3.1聲音與聽覺器官,對聲音信號的分析表明，聲音信號由許多頻率不同的信號組成，這類信號稱為復(fù)合信號，而單一頻率的信號稱為分量信號。聲音信號的一個重要參數(shù)就是帶寬，它用來描述組成復(fù)合信號的頻率范圍。,高保聲音信號(high-fidelityaudio)的頻率范圍為20Hz20000Hz，它的帶寬約為20kHz，而視頻信號的帶寬是6MHz。,3.1聲音與聽覺器官,聲音信號的兩個基本參數(shù)是頻率和幅度。信號的頻率是指信號每秒鐘變化的次數(shù)，用Hz表示。,例如，大氣壓的變化周期很長，以小時或天數(shù)計算，一般人不容易感到這種氣壓信號的變化，更聽不到這種變化。對于頻率為幾Hz到20Hz的空氣壓力信號，人們也聽不到，如果它的強度足夠大，也許可以感覺到。,3.1聲音與聽覺器官,人們把頻率小于20Hz的信號稱為亞音信號，或稱為次音信號(subsonic)；頻率范圍為20Hz20kHz的信號稱為音頻(Audio)信號；雖然人的發(fā)音器官發(fā)出的聲音頻率大約是803400Hz，但人說話的信號頻率通常為3003000Hz，人們把在這種頻率范圍的信號稱為話音(speech)信號；高于20kHz的信號稱為超音頻信號，或稱超聲波信號。超音頻信號具有很強的方向性，而且可以形成波束，在工業(yè)上得到廣泛的應(yīng)用，如超聲波探測儀，超聲波焊接設(shè)備等就是利用這種信號。在多媒體技術(shù)中，處理的信號主要是音頻信號，它包括音樂、話音、風(fēng)聲、雨聲、鳥叫聲、機器聲等。,3.1聲音與聽覺器官,人們是否都能聽到音頻信號，這主要取決于各個人的年齡和耳朵的特性。一般來說，人的聽覺器官能感知的聲音頻率大約在2020000Hz之間，在這種頻率范圍里感知的聲音幅度大約在0120dB之間。人的聽覺器官對聲音的感知還有一些重要特性，這些特性將在MPEG聲音中介紹，它們在音頻數(shù)據(jù)壓縮中已經(jīng)得到廣泛的應(yīng)用。,3.2聲音信號的數(shù)字化,3.2.1從模擬過渡到數(shù)字?jǐn)?shù)字精度高，模擬精度低。3.2.2模擬信號與數(shù)字信號話音信號是典型的連續(xù)信號，不僅在時間上是連續(xù)的，而且在幅度上也是連續(xù)的。,3.2.3聲音信號的數(shù)字化,在某些特定的時刻對這種模擬信號進(jìn)行測量叫做采樣(sampling)，由這些特定時刻采樣得到的信號稱為離散時間信號。采樣得到的幅值是無窮多個實數(shù)值中的一個，因此幅度還是連續(xù)的。如果把信號幅度取值的數(shù)目加以限定，這種由有限個數(shù)值組成的信號就稱為離散幅度信號。,3.2.3聲音信號的數(shù)字化,我們把時間和幅度都用離散的數(shù)字表示的信號就稱為數(shù)字信號。聲音進(jìn)入計算機的第一步就是數(shù)字化，數(shù)字化實際上就是采樣和量化。連續(xù)時間的離散化通過采樣來實現(xiàn)，就是每隔相等的一小段時間采樣一次，這種采樣稱為均勻采樣；連續(xù)幅度的離散化通過量化來實現(xiàn)，就是把信號的強度劃分成一小段一小段，如果幅度的劃分是等間隔的，就稱為線性量化，否則就稱為非線性量化。,3.2.3聲音信號的數(shù)字化,聲音數(shù)字化需要回答兩個問題：每秒鐘需要采集多少個聲音樣本，也就是采樣頻率(fs)是多少，每個聲音樣本的位數(shù)(bitpersample，bps)應(yīng)該是多少，也就是量化精度。,3.2.4采樣頻率,采樣頻率的高低是根據(jù)奈奎斯特理論和聲音信號本身的最高頻率決定的。奈奎斯特理論指出，采樣頻率不應(yīng)低于聲音信號最高頻率的兩倍，這樣就能把以數(shù)字表達(dá)的聲音還原成原來的聲音。采樣定律用公式表示為fs2f或者TsT/2其中f為被采樣信號的最高頻率?？梢赃@樣來理解奈奎斯特理論：聲音信號可以看成由許許多多正弦波組成的，一個振幅為A、頻率為f的正弦波至少需要兩個采樣樣本表示，因此，如果一個信號中的最高頻率為fMAX,采樣頻率最低要選擇2fMAX。例如，電話話音的信號頻率約為3.4kHz，采樣頻率就選為8kHz。,3.2.5采樣精度,樣本大小是用每個聲音樣本的位數(shù)bit/s(即bps)表示的，它反映度量聲音波形幅度的精度。例如，每個聲音樣本用16位(2字節(jié))表示，測得的聲音樣本值是在065536的范圍里，它的精度就是輸入信號的1/65536。樣本位數(shù)的大小影響到聲音的質(zhì)量，位數(shù)越多，聲音的質(zhì)量越高，而需要的存儲空間也越多；位數(shù)越少，聲音的質(zhì)量越低，需要的存儲空間越少。,3.2.5采樣精度,采樣精度的另一種表示方法是信號噪聲比，簡稱為信噪比(SNR)，并用下式計算：SNR10log(Vsignal)2/(Vnoise)220log(Vsignal/Vnoise)其中，Vsignal表示信號電壓，Vnoise表示噪聲電壓；SNR的單位為分貝(dB)。例1：假設(shè)Vnoise1，采樣精度為1位表示Vsignal21，它的信噪比SNR6分貝。例2：假設(shè)Vnoise1，采樣精度為16位表示Vsignal216，它的信噪比SNR96分貝。,3.2.6聲音質(zhì)量與數(shù)據(jù)率,根據(jù)聲音的頻帶，通常把聲音的質(zhì)量分成5個等級，由低到高分別是電話、調(diào)幅(AM)廣播、調(diào)頻(FM)廣播、激光唱盤(CD-Audio)和數(shù)字錄音帶(DAT)的聲音。在這5個等級中，使用的采樣頻率、樣本精度、通道數(shù)和數(shù)據(jù)率列于下表,3.2.6聲音質(zhì)量與數(shù)據(jù)率,3.3聲音文件的存儲格式,如同存儲文本文件一樣，存儲聲音數(shù)據(jù)也需要有存儲格式。在因特網(wǎng)上和各種機器上運行的聲音文件格式很多，但目前比較流行的有以.wav(waveform)，.au(audio)，.aiff(AudioInterchangeableFileFormat)和.snd(sound)為擴展名的文件格式。.wav格式主要用在PC上，.au主要用在Unix工作站上，.aiff和snd主要用在蘋果機和美國視算科技有限公司(SGI)的工作站上。,3.3聲音文件的存儲格式,用.wav為擴展名的文件格式稱為波形文件格式，它在多媒體編程接口和數(shù)據(jù)規(guī)范文檔中有詳細(xì)的描述。該文檔是由IBM和微軟公司于1991年8月聯(lián)合開發(fā)的，它是一種為交換多媒體資源而開發(fā)的資源交換文件格式。WAV格式支持許多壓縮算法，支持多種音頻位數(shù)、采樣頻率和聲道，采用44.1kHz的采樣頻率，16位量化位數(shù)，跟CD一樣，對存儲空間需求太大不便于交流和傳播。,3.3聲音文件的存儲格式,波形文件有許多不同類型的文件構(gòu)造塊組成，其中最主要的兩個文件構(gòu)造塊是FormatChunk(格式塊)和SoundDataChunk(聲音數(shù)據(jù)塊)。格式塊包含有描述波形的重要參數(shù)，例如采樣頻率和樣本精度等，聲音數(shù)據(jù)塊則包含有實際的波形聲音數(shù)據(jù)。規(guī)范中的其他文件塊是可選擇的。,3.3聲音文件的存儲格式,3.4聲音工具,Windows本身自帶的工具-錄音機,3.4聲音工具,買聲音卡時帶的工具,3.4聲音工具,網(wǎng)絡(luò)上下載的工具,3.4聲音工具,網(wǎng)絡(luò)上下載的工具,3.4聲音工具,網(wǎng)絡(luò)上下載的工具,3.5聲音質(zhì)量的度量,聲音質(zhì)量的評價是一個很困難的問題，目前還在繼續(xù)研究的課題。前面介紹了用聲音信號的帶寬來衡量聲音的質(zhì)量，等級由高到低依次是DAT，CD，F(xiàn)M，AM和數(shù)字電話。聲音質(zhì)量的度量還有兩種基本的方法：一種是客觀質(zhì)量度量，另一種是主觀質(zhì)量度量。評價語音質(zhì)量時，有時同時采取兩種方法評估，有時以主觀質(zhì)量度量為主。,3.5聲音質(zhì)量的度量,聲音客觀質(zhì)量的度量主要用信噪比(SNR)與用SNR客觀質(zhì)量度量相比較，應(yīng)該可以說人的感覺(如聽覺、視覺等)更具有決定意義，感覺上的、主觀上的測試應(yīng)該成為評價聲音質(zhì)量和圖像質(zhì)量不可缺少的部分。而有的學(xué)者則認(rèn)為，在語音和圖像信號編碼中使用主觀質(zhì)量度量比使用客觀質(zhì)量度量更加恰當(dāng)，更有意義。可是一般來說，可靠的主觀度量值也是比較難獲得的，所獲得的值也是一個相對值。,3.5聲音質(zhì)量的度量,主觀度量聲音質(zhì)量的方法類似于電視節(jié)目中的歌手比賽，由評委對每個歌手的表現(xiàn)進(jìn)行評分，然后求出平均值。對聲音質(zhì)量的度量也可以使用類似的方法，召集若干實驗者，由他們對聲音質(zhì)量的好壞進(jìn)行評分，求出平均值作為對聲音質(zhì)量的評價。這種方法稱為主觀平均判分法，所得的分?jǐn)?shù)稱為主觀平均(MOS)分。,3.6樂器數(shù)字接口（MIDI）,3.6.1MIDI簡介樂器數(shù)字接口(MusicalInstrumentDigitalInterface，MIDI)是用于在音樂合成器(musicsynthesizers)、樂器(musicalinstruments)和計算機之間交換音樂信息的一種標(biāo)準(zhǔn)協(xié)議。從20世紀(jì)80年代初期開始，MIDI已經(jīng)逐步被音樂家和作曲家廣泛接受和使用。MIDI是樂器和計算機使用的標(biāo)準(zhǔn)語言，是一套指令(即命令的約定)，它指示樂器即MIDI設(shè)備要做什么，怎么做，如演奏音符、加大音量、生成音響效果等。MIDI不是聲音信號，在MIDI電纜上傳送的不是聲音，而是發(fā)給MIDI設(shè)備或其它裝置讓它產(chǎn)生聲音或執(zhí)行某個動作的指令。,3.6樂器數(shù)字接口（MIDI）,3.6.1MIDI簡介MIDI標(biāo)準(zhǔn)之所以受到歡迎，主要是它有下列幾個優(yōu)點：生成的文件比較小，因為MIDI文件存儲的是命令，而不是聲音波形；容易編輯，因為編輯命令比編輯聲音波形要容易得多；可以作背景音樂，因為MIDI音樂可以和其它的媒體，如數(shù)字電視、圖形、動畫、話音等一起播放，這樣可以加強演示效果。,3.6樂器數(shù)字接口（MIDI）,3.6.1MIDI簡介產(chǎn)生MIDI樂音的方法很多，現(xiàn)在用得較多的方法有兩種：一種是(frequencymodulation，F(xiàn)M)合成法，另一種是樂音樣本合成法，也稱為波形表(Wavetable)合成法。這兩種方法目前主要用來生成音樂。,3.6.2FM合成聲音,音樂合成器的先驅(qū)RobertMoog采用了模擬電子器件生成了復(fù)雜的樂音。20世紀(jì)80年代初，美國斯坦福大學(xué)(StanfordUniversity)的一名叫JohnChowning的研究生發(fā)明了一種產(chǎn)生樂音的新方法，這種方法稱為數(shù)字式頻率調(diào)制合成法，簡稱為FM合成器。他把幾種樂音的波形用數(shù)字來表達(dá)，并且用數(shù)字計算機而不是用模擬電子器件把它們組合起來，通過數(shù)模轉(zhuǎn)換器(DAC)來生成樂音。斯坦福大學(xué)得到了發(fā)明專利，并且把專利權(quán)授給Yamaha公司，該公司把這種技術(shù)做在集成電路芯片里，成了世界市場上的熱門產(chǎn)品。FM合成法的發(fā)明使合成音樂工業(yè)發(fā)生了一次革命。,3.6.2FM合成聲音,FM合成器生成樂音的基本原理如圖所示。它由5個基本模塊組成：數(shù)字載波器、調(diào)制器、聲音包絡(luò)發(fā)生器、數(shù)字運算器和模數(shù)轉(zhuǎn)換器。數(shù)字載波器用了3個參數(shù)：音調(diào)(pitch)、音量(volume)和各種波形(wave)；,3.6.2FM合成聲音,調(diào)制器用了6個參數(shù)：頻率(frequency)、調(diào)制深度(depth)、波形的類型(type)、反饋量(feedback)、顫音(vibrato)和音效(effect)；,3.6.2FM合成聲音,樂器聲音除了有它自己的波形參數(shù)外，還有它自己的比較典型的聲音包絡(luò)線，聲音包絡(luò)發(fā)生器用來調(diào)制聲音的電平，這個過程也稱為幅度調(diào)制(AM)，并且作為數(shù)字式音量控制旋鈕，它的4個參數(shù)寫成ADSR，這條包絡(luò)線也稱為音量升降維持靜音包絡(luò)線(ADSR)包絡(luò)線。,3.6.2FM合成聲音,在樂音合成器中，數(shù)字載波波形和調(diào)制波形有很多種，不同型號的FM合成器所選用的波形也不同。下圖是YamahaOPL-III數(shù)字式FM合成器采用的波形。,3.6.2FM合成聲音,各種不同樂音的產(chǎn)生是通過組合各種波形和各種波形參數(shù)并采用各種不同的方法實現(xiàn)的。用什么樣的波形作為數(shù)字載波波形、用什么樣的波形作為調(diào)制波形、用什么樣的波形參數(shù)去組合才能產(chǎn)生所希望的樂音，這就是FM合成器的算法。,3.6.2FM合成聲音,通過改變圖中所示的參數(shù)，可以生成不同的樂音，例如：改變數(shù)字載波頻率可以改變樂音的音調(diào)，改變它的幅度可以改變它的音量。改變波形的類型，如用正弦波、半正弦波或其它波形，會影響基本音調(diào)的完整性?？焖俑淖冋{(diào)制波形的頻率(即音調(diào)周期)可以改變顫音的特性。改變反饋量，就會改變正常的音調(diào)，產(chǎn)生刺耳的聲音。選擇的算法不同，載波器和調(diào)制器的相互作用也不同，生成的音色也不同。,3.6.2FM合成聲音,在多媒體計算機中，聲音參數(shù)和算法這些控制參數(shù)以字節(jié)的形式存儲在聲音卡的ROM中。播放某種樂音時，計算機就發(fā)送一個信號，這個信號被轉(zhuǎn)換成ROM的地址，從該地址中取出的數(shù)據(jù)就是用于產(chǎn)生樂音的數(shù)據(jù)。FM合成器利用這些數(shù)據(jù)產(chǎn)生的樂音是否真實，它的真實程度有多高，這就取決于可用的波形源的數(shù)目、算法和波形的類型。,3.6.3樂音樣本合成聲音,使用FM合成法來產(chǎn)生各種逼真的樂音是相當(dāng)困難的，有些樂音幾乎不能產(chǎn)生，因此很自然地就轉(zhuǎn)向樂音樣本合成法。這種方法就是把真實樂器發(fā)出的聲音以數(shù)字的形式記錄下來，播放時改變播放速度，從而改變音調(diào)周期，生成各種音階的音符。樂音樣本的采集相對比較直觀。音樂家在真實樂器上演奏不同的音符，選擇44.1kHz的采樣頻率、16位的樂音樣本，這相當(dāng)于CD-DA的質(zhì)量，把不同音符的真實聲音記錄下來，這就完成了樂音樣本的采集。,3.6.3樂音樣本合成聲音,樂音樣本通常放在ROM芯片上，ROM是超大規(guī)模集成電路(VLSI)芯片。使用樂音樣本合成器的原理框圖如圖所示。樂音樣本合成器所需要的輸入控制參數(shù)比較少，可控的數(shù)字音效也不多，大多數(shù)采用這種合成方法的聲音設(shè)備都可以控制聲音包絡(luò)的ADSR參數(shù)，產(chǎn)生的聲音質(zhì)量比FM合成方法產(chǎn)生的聲音質(zhì)量要高。,3.6.4MIDI系統(tǒng),MIDI協(xié)議提供了一種標(biāo)準(zhǔn)的和有效的方法，用來把演奏信息轉(zhuǎn)換成電子數(shù)據(jù)。MIDI信息是以“MIDImessages”傳輸?shù)?，它可以被認(rèn)為是告訴音樂合成器(musicsynthesizer)如何演奏一小段音樂的一種指令，而合成器把接收到的MIDI數(shù)據(jù)轉(zhuǎn)換成聲音。國際MIDI協(xié)會出版的MIDI1.0規(guī)范對MIDI協(xié)議作了完整的說明。,3.6.4MIDI系統(tǒng),MIDI數(shù)據(jù)流是單向異步的數(shù)據(jù)位流其速率為31.25kbps，每個字節(jié)為10位(1位開始位，8位數(shù)據(jù)位和1位停止位)。MIDI樂器上的MIDI接口通常包含3種不同的MIDI連接器，用IN(輸入),OUT(輸出)和THRU(穿越)。,3.6.4MIDI系統(tǒng),MIDI數(shù)據(jù)流通常由MIDI控制器產(chǎn)生，如樂器鍵盤，或者由MIDI音序器產(chǎn)生。MIDI控制器是當(dāng)作樂器使用的一種設(shè)備，在播放時把演奏轉(zhuǎn)換成實時的MIDI數(shù)據(jù)流，MIDI音序器是一種裝置，允許MIDI數(shù)據(jù)被捕獲、存儲、編輯、組合和重奏。,3.6.4MIDI系統(tǒng),通常，MIDI數(shù)據(jù)流的接收設(shè)備是MIDI聲音發(fā)生器或者M(jìn)IDI聲音模塊，它們在MIDIIN端口接收MIDI信息，然后播放聲音。下圖表示的是一個簡單的MIDI系統(tǒng)，它由一個MIDI鍵盤控制器和一個MIDI聲音模塊組成。許多MIDI鍵盤樂器在其內(nèi)部既包含鍵盤控制器，又包含MIDI聲音模塊功能。在這些單元中，鍵盤控制器和聲音模塊之間已經(jīng)有內(nèi)部鏈接，這個鏈接可以通過該設(shè)備中的控制功能(localcontrol)對鏈接打開(ON)或者關(guān)閉(OFF)。,3.6.4MIDI系統(tǒng),單個物理MIDI通道分成16個邏輯通道，每個邏輯通道可指定一種樂器，如圖所示。在MIDI消息中，用4個二進(jìn)制位來表示這16個邏輯通道。音樂鍵盤可設(shè)置在這16個通道之中的任何一個，而MIDI聲源或者聲音模塊可被設(shè)置在指定的MIDI通道上接收。,在一個MIDI設(shè)備上的MIDIIN連接器接收到的信息可通過MIDITHRU連接器輸出到另一個MIDI設(shè)備，并可以菊花鏈的方式連接多個MIDI設(shè)備，這樣就組成了一個復(fù)雜的MIDI系統(tǒng),3.6.4MIDI系統(tǒng),MIDI鍵盤控制器對MIDI音序器來說是一個輸入設(shè)備，而音序器的MIDIOUT端口連接了幾個聲音模塊。作曲家可使用這樣的系統(tǒng)來創(chuàng)作幾種不同樂音組成的曲子，每次在鍵盤上演奏單獨的曲子。這些單獨曲子由音序器記錄下來，然后音序器通過幾個聲音模塊一起播放。每一曲子在不同的MIDI通道上播放，而聲音模塊可分別設(shè)置成接收不同的曲子。,3.6.4MIDI系統(tǒng),例如，聲音模塊1可設(shè)置成播放鋼琴聲并在通道1接收信息，模塊2設(shè)置成播放低音并在通道5接收信息，而模塊2設(shè)置成播放鼓樂器并在通道10上接收消息等。在圖中使用了多個聲音模塊同時分別播放不同的聲音信息。這些模塊也可以做在一起構(gòu)成一個叫做多音色的聲音模塊，它同樣可以起到同時接收和播放多種聲音的作用。,3.6.4MIDI系統(tǒng),用PC機構(gòu)造的MIDI系統(tǒng)使用的聲音模塊就是這樣一種單獨的多音色聲音模塊。在這個系統(tǒng)中，PC機使用內(nèi)置的MIDI接口卡，用來把MIDI數(shù)據(jù)發(fā)送到外部的多音色MIDI合成器模塊。像多媒體演示程序、教育軟件或者游戲等應(yīng)用軟件，它們把信息通過PC總線發(fā)送到MIDI接口卡。MIDI接口卡把信息轉(zhuǎn)換成MIDI消息(MIDImessages)，然后送到多音色聲音模塊同時播放出許多不同的樂音，例如鋼琴聲、低音和鼓聲。使用安裝在PC機上的高級的MIDI音序器軟件，用戶可把MIDI鍵盤控制器連接到MIDI接口卡的MIDIIN端口，也可以有相同的音樂創(chuàng)作功能。,3.6.4MIDI系統(tǒng),使用PC機構(gòu)造MIDI系統(tǒng)可以有不同的方案。例如，可把MIDI接口和MIDI聲音模塊組合在PC添加卡上。多媒體個人計算機MPC(MultimediaPC)規(guī)范就要求PC添加卡上必須有這樣的聲音模塊，稱為合成器(synthesizer)。通過已有的電子波形來產(chǎn)生聲音的合成器稱為FM合成器(FMsynthesis)，而通過存儲的樂音樣本來產(chǎn)生聲音的合成器稱為波表合成器(wavetablesynthesis)。,3.6.4MIDI系統(tǒng),MPC規(guī)格需要聲音卡的合成器是多音色(muti-timbral)和多音調(diào)(polyphonic)的合成器。多音色是指合成器能夠同時播放幾種不同樂器的聲音，音色就是把一個人說話(或一種樂器)的聲音與另一個人說話(或另一種樂器)的聲音區(qū)分開來的音品；多音調(diào)是指合成器一次能夠播放的音符(note)數(shù)。MPC規(guī)格定義了兩種音樂合成器：基本合成器(Base-levelsynthesizer)和擴展合成器(Extendedsynthesizer)，基本合成器和擴展合成器之間的差別如下表所示,3.6.4MIDI系統(tǒng),3.6.5MIDI消息,MIDI設(shè)備使用的一系列MIDI音符，可被認(rèn)為是告訴音樂合成器如何播放一小段音樂的指令。因為MIDI數(shù)據(jù)是一套音樂符號的定義，而不是實際的音樂聲音，因此MIDI文件的內(nèi)容被稱為MIDI消息。,3.6.5MIDI消息,一個MIDI消息由1個8位的狀態(tài)字節(jié)并通常跟著2個數(shù)據(jù)字節(jié)組成。在狀態(tài)字節(jié)中，最高有效位設(shè)置成“1”，低4位用來表示這個MIDI消息是屬于哪個通道，4位可表示16個可能的通道，其余3位的設(shè)置表示這個MIDI消息是什么類型的消息。MIDI消息可分成通道消息和系統(tǒng)消息兩大類。,3.6.5MIDI消息,MIDI通道消息可分成通道聲源消息攜帶的演奏數(shù)據(jù)；通道方式消息