《多媒體聲音》PPT課件.ppt

第三部分聲音,聲音是攜帶信息的極其重要的媒體，是多媒體技術研究中的一個重要內容。聲音的種類繁多。本章將介紹聲音的相關知識。,3.1聲音與聽覺器官,聲音是通過空氣傳播的一種連續(xù)的波，叫聲波。聲音的強弱體現(xiàn)在聲波壓力的大小上，音調的高低體現(xiàn)在聲音的頻率上。聲音用電表示時，聲音信號在時間和幅度上都是連續(xù)的模擬信號，如圖所示。聲波具有普通波所具有的特性，如反射、折射和衍射等。,3.1聲音與聽覺器官,對聲音信號的分析表明，聲音信號由許多頻率不同的信號組成，這類信號稱為復合信號，而單一頻率的信號稱為分量信號。聲音信號的一個重要參數(shù)就是帶寬，它用來描述組成復合信號的頻率范圍。,高保聲音信號(high-fidelityaudio)的頻率范圍為20Hz20000Hz，它的帶寬約為20kHz，而視頻信號的帶寬是6MHz。,3.1聲音與聽覺器官,聲音信號的兩個基本參數(shù)是頻率和幅度。信號的頻率是指信號每秒鐘變化的次數(shù)，用Hz表示。,例如，大氣壓的變化周期很長，以小時或天數(shù)計算，一般人不容易感到這種氣壓信號的變化，更聽不到這種變化。對于頻率為幾Hz到20Hz的空氣壓力信號，人們也聽不到，如果它的強度足夠大，也許可以感覺到。,3.1聲音與聽覺器官,人們把頻率小于20Hz的信號稱為亞音信號，或稱為次音信號(subsonic)；頻率范圍為20Hz20kHz的信號稱為音頻(Audio)信號；雖然人的發(fā)音器官發(fā)出的聲音頻率大約是803400Hz，但人說話的信號頻率通常為3003000Hz，人們把在這種頻率范圍的信號稱為話音(speech)信號；高于20kHz的信號稱為超音頻信號，或稱超聲波信號。超音頻信號具有很強的方向性，而且可以形成波束，在工業(yè)上得到廣泛的應用，如超聲波探測儀，超聲波焊接設備等就是利用這種信號。在多媒體技術中，處理的信號主要是音頻信號，它包括音樂、話音、風聲、雨聲、鳥叫聲、機器聲等。,3.1聲音與聽覺器官,人們是否都能聽到音頻信號，這主要取決于各個人的年齡和耳朵的特性。一般來說，人的聽覺器官能感知的聲音頻率大約在2020000Hz之間，在這種頻率范圍里感知的聲音幅度大約在0120dB之間。人的聽覺器官對聲音的感知還有一些重要特性，這些特性將在MPEG聲音中介紹，它們在音頻數(shù)據壓縮中已經得到廣泛的應用。,3.2聲音信號的數(shù)字化,3.2.1從模擬過渡到數(shù)字數(shù)字精度高，模擬精度低。3.2.2模擬信號與數(shù)字信號話音信號是典型的連續(xù)信號，不僅在時間上是連續(xù)的，而且在幅度上也是連續(xù)的。,3.2.3聲音信號的數(shù)字化,在某些特定的時刻對這種模擬信號進行測量叫做采樣(sampling)，由這些特定時刻采樣得到的信號稱為離散時間信號。采樣得到的幅值是無窮多個實數(shù)值中的一個，因此幅度還是連續(xù)的。如果把信號幅度取值的數(shù)目加以限定，這種由有限個數(shù)值組成的信號就稱為離散幅度信號。,3.2.3聲音信號的數(shù)字化,我們把時間和幅度都用離散的數(shù)字表示的信號就稱為數(shù)字信號。聲音進入計算機的第一步就是數(shù)字化，數(shù)字化實際上就是采樣和量化。連續(xù)時間的離散化通過采樣來實現(xiàn)，就是每隔相等的一小段時間采樣一次，這種采樣稱為均勻采樣；連續(xù)幅度的離散化通過量化來實現(xiàn)，就是把信號的強度劃分成一小段一小段，如果幅度的劃分是等間隔的，就稱為線性量化，否則就稱為非線性量化。,3.2.3聲音信號的數(shù)字化,聲音數(shù)字化需要回答兩個問題：每秒鐘需要采集多少個聲音樣本，也就是采樣頻率(fs)是多少，每個聲音樣本的位數(shù)(bitpersample，bps)應該是多少，也就是量化精度。,3.2.4采樣頻率,采樣頻率的高低是根據奈奎斯特理論和聲音信號本身的最高頻率決定的。奈奎斯特理論指出，采樣頻率不應低于聲音信號最高頻率的兩倍，這樣就能把以數(shù)字表達的聲音還原成原來的聲音。采樣定律用公式表示為fs2f或者TsT/2其中f為被采樣信號的最高頻率。可以這樣來理解奈奎斯特理論：聲音信號可以看成由許許多多正弦波組成的，一個振幅為A、頻率為f的正弦波至少需要兩個采樣樣本表示，因此，如果一個信號中的最高頻率為fMAX,采樣頻率最低要選擇2fMAX。例如，電話話音的信號頻率約為3.4kHz，采樣頻率就選為8kHz。,3.2.5采樣精度,樣本大小是用每個聲音樣本的位數(shù)bit/s(即bps)表示的，它反映度量聲音波形幅度的精度。例如，每個聲音樣本用16位(2字節(jié))表示，測得的聲音樣本值是在065536的范圍里，它的精度就是輸入信號的1/65536。樣本位數(shù)的大小影響到聲音的質量，位數(shù)越多，聲音的質量越高，而需要的存儲空間也越多；位數(shù)越少，聲音的質量越低，需要的存儲空間越少。,3.2.5采樣精度,采樣精度的另一種表示方法是信號噪聲比，簡稱為信噪比(SNR)，并用下式計算：SNR10log(Vsignal)2/(Vnoise)220log(Vsignal/Vnoise)其中，Vsignal表示信號電壓，Vnoise表示噪聲電壓；SNR的單位為分貝(dB)。例1：假設Vnoise1，采樣精度為1位表示Vsignal21，它的信噪比SNR6分貝。例2：假設Vnoise1，采樣精度為16位表示Vsignal216，它的信噪比SNR96分貝。,3.2.6聲音質量與數(shù)據率,根據聲音的頻帶，通常把聲音的質量分成5個等級，由低到高分別是電話、調幅(AM)廣播、調頻(FM)廣播、激光唱盤(CD-Audio)和數(shù)字錄音帶(DAT)的聲音。在這5個等級中，使用的采樣頻率、樣本精度、通道數(shù)和數(shù)據率列于下表,3.2.6聲音質量與數(shù)據率,3.3聲音文件的存儲格式,如同存儲文本文件一樣，存儲聲音數(shù)據也需要有存儲格式。在因特網上和各種機器上運行的聲音文件格式很多，但目前比較流行的有以.wav(waveform)，.au(audio)，.aiff(AudioInterchangeableFileFormat)和.snd(sound)為擴展名的文件格式。.wav格式主要用在PC上，.au主要用在Unix工作站上，.aiff和snd主要用在蘋果機和美國視算科技有限公司(SGI)的工作站上。,3.3聲音文件的存儲格式,用.wav為擴展名的文件格式稱為波形文件格式，它在多媒體編程接口和數(shù)據規(guī)范文檔中有詳細的描述。該文檔是由IBM和微軟公司于1991年8月聯(lián)合開發(fā)的，它是一種為交換多媒體資源而開發(fā)的資源交換文件格式。WAV格式支持許多壓縮算法，支持多種音頻位數(shù)、采樣頻率和聲道，采用44.1kHz的采樣頻率，16位量化位數(shù)，跟CD一樣，對存儲空間需求太大不便于交流和傳播。,3.3聲音文件的存儲格式,波形文件有許多不同類型的文件構造塊組成，其中最主要的兩個文件構造塊是FormatChunk(格式塊)和SoundDataChunk(聲音數(shù)據塊)。格式塊包含有描述波形的重要參數(shù)，例如采樣頻率和樣本精度等，聲音數(shù)據塊則包含有實際的波形聲音數(shù)據。規(guī)范中的其他文件塊是可選擇的。,3.3聲音文件的存儲格式,3.4聲音工具,Windows本身自帶的工具-錄音機,3.4聲音工具,買聲音卡時帶的工具,3.4聲音工具,網絡上下載的工具,3.4聲音工具,網絡上下載的工具,3.4聲音工具,網絡上下載的工具,3.5聲音質量的度量,聲音質量的評價是一個很困難的問題，目前還在繼續(xù)研究的課題。前面介紹了用聲音信號的帶寬來衡量聲音的質量，等級由高到低依次是DAT，CD，F(xiàn)M，AM和數(shù)字電話。聲音質量的度量還有兩種基本的方法：一種是客觀質量度量，另一種是主觀質量度量。評價語音質量時，有時同時采取兩種方法評估，有時以主觀質量度量為主。,3.5聲音質量的度量,聲音客觀質量的度量主要用信噪比(SNR)與用SNR客觀質量度量相比較，應該可以說人的感覺(如聽覺、視覺等)更具有決定意義，感覺上的、主觀上的測試應該成為評價聲音質量和圖像質量不可缺少的部分。而有的學者則認為，在語音和圖像信號編碼中使用主觀質量度量比使用客觀質量度量更加恰當，更有意義?？墒且话銇碚f，可靠的主觀度量值也是比較難獲得的，所獲得的值也是一個相對值。,3.5聲音質量的度量,主觀度量聲音質量的方法類似于電視節(jié)目中的歌手比賽，由評委對每個歌手的表現(xiàn)進行評分，然后求出平均值。對聲音質量的度量也可以使用類似的方法，召集若干實驗者，由他們對聲音質量的好壞進行評分，求出平均值作為對聲音質量的評價。這種方法稱為主觀平均判分法，所得的分數(shù)稱為主觀平均(MOS)分。,3.6樂器數(shù)字接口（MIDI）,3.6.1MIDI簡介樂器數(shù)字接口(MusicalInstrumentDigitalInterface，MIDI)是用于在音樂合成器(musicsynthesizers)、樂器(musicalinstruments)和計算機之間交換音樂信息的一種標準協(xié)議。從20世紀80年代初期開始，MIDI已經逐步被音樂家和作曲家廣泛接受和使用。MIDI是樂器和計算機使用的標準語言，是一套指令(即命令的約定)，它指示樂器即MIDI設備要做什么，怎么做，如演奏音符、加大音量、生成音響效果等。MIDI不是聲音信號，在MIDI電纜上傳送的不是聲音，而是發(fā)給MIDI設備或其它裝置讓它產生聲音或執(zhí)行某個動作的指令。,3.6樂器數(shù)字接口（MIDI）,3.6.1MIDI簡介MIDI標準之所以受到歡迎，主要是它有下列幾個優(yōu)點：生成的文件比較小，因為MIDI文件存儲的是命令，而不是聲音波形；容易編輯，因為編輯命令比編輯聲音波形要容易得多；可以作背景音樂，因為MIDI音樂可以和其它的媒體，如數(shù)字電視、圖形、動畫、話音等一起播放，這樣可以加強演示效果。,3.6樂器數(shù)字接口（MIDI）,3.6.1MIDI簡介產生MIDI樂音的方法很多，現(xiàn)在用得較多的方法有兩種：一種是(frequencymodulation，F(xiàn)M)合成法，另一種是樂音樣本合成法，也稱為波形表(Wavetable)合成法。這兩種方法目前主要用來生成音樂。,3.6.2FM合成聲音,音樂合成器的先驅RobertMoog采用了模擬電子器件生成了復雜的樂音。20世紀80年代初，美國斯坦福大學(StanfordUniversity)的一名叫JohnChowning的研究生發(fā)明了一種產生樂音的新方法，這種方法稱為數(shù)字式頻率調制合成法，簡稱為FM合成器。他把幾種樂音的波形用數(shù)字來表達，并且用數(shù)字計算機而不是用模擬電子器件把它們組合起來，通過數(shù)模轉換器(DAC)來生成樂音。斯坦福大學得到了發(fā)明專利，并且把專利權授給Yamaha公司，該公司把這種技術做在集成電路芯片里，成了世界市場上的熱門產品。FM合成法的發(fā)明使合成音樂工業(yè)發(fā)生了一次革命。,3.6.2FM合成聲音,FM合成器生成樂音的基本原理如圖所示。它由5個基本模塊組成：數(shù)字載波器、調制器、聲音包絡發(fā)生器、數(shù)字運算器和模數(shù)轉換器。數(shù)字載波器用了3個參數(shù)：音調(pitch)、音量(volume)和各種波形(wave)；,3.6.2FM合成聲音,調制器用了6個參數(shù)：頻率(frequency)、調制深度(depth)、波形的類型(type)、反饋量(feedback)、顫音(vibrato)和音效(effect)；,3.6.2FM合成聲音,樂器聲音除了有它自己的波形參數(shù)外，還有它自己的比較典型的聲音包絡線，聲音包絡發(fā)生器用來調制聲音的電平，這個過程也稱為幅度調制(AM)，并且作為數(shù)字式音量控制旋鈕，它的4個參數(shù)寫成ADSR，這條包絡線也稱為音量升降維持靜音包絡線(ADSR)包絡線。,3.6.2FM合成聲音,在樂音合成器中，數(shù)字載波波形和調制波形有很多種，不同型號的FM合成器所選用的波形也不同。下圖是YamahaOPL-III數(shù)字式FM合成器采用的波形。,3.6.2FM合成聲音,各種不同樂音的產生是通過組合各種波形和各種波形參數(shù)并采用各種不同的方法實現(xiàn)的。用什么樣的波形作為數(shù)字載波波形、用什么樣的波形作為調制波形、用什么樣的波形參數(shù)去組合才能產生所希望的樂音，這就是FM合成器的算法。,3.6.2FM合成聲音,通過改變圖中所示的參數(shù)，可以生成不同的樂音，例如：改變數(shù)字載波頻率可以改變樂音的音調，改變它的幅度可以改變它的音量。改變波形的類型，如用正弦波、半正弦波或其它波形，會影響基本音調的完整性?？焖俑淖冋{制波形的頻率(即音調周期)可以改變顫音的特性。改變反饋量，就會改變正常的音調，產生刺耳的聲音。選擇的算法不同，載波器和調制器的相互作用也不同，生成的音色也不同。,3.6.2FM合成聲音,在多媒體計算機中，聲音參數(shù)和算法這些控制參數(shù)以字節(jié)的形式存儲在聲音卡的ROM中。播放某種樂音時，計算機就發(fā)送一個信號，這個信號被轉換成ROM的地址，從該地址中取出的數(shù)據就是用于產生樂音的數(shù)據。FM合成器利用這些數(shù)據產生的樂音是否真實，它的真實程度有多高，這就取決于可用的波形源的數(shù)目、算法和波形的類型。,3.6.3樂音樣本合成聲音,使用FM合成法來產生各種逼真的樂音是相當困難的，有些樂音幾乎不能產生，因此很自然地就轉向樂音樣本合成法。這種方法就是把真實樂器發(fā)出的聲音以數(shù)字的形式記錄下來，播放時改變播放速度，從而改變音調周期，生成各種音階的音符。樂音樣本的采集相對比較直觀。音樂家在真實樂器上演奏不同的音符，選擇44.1kHz的采樣頻率、16位的樂音樣本，這相當于CD-DA的質量，把不同音符的真實聲音記錄下來，這就完成了樂音樣本的采集。,3.6.3樂音樣本合成聲音,樂音樣本通常放在ROM芯片上，ROM是超大規(guī)模集成電路(VLSI)芯片。使用樂音樣本合成器的原理框圖如圖所示。樂音樣本合成器所需要的輸入控制參數(shù)比較少，可控的數(shù)字音效也不多，大多數(shù)采用這種合成方法的聲音設備都可以控制聲音包絡的ADSR參數(shù)，產生的聲音質量比FM合成方法產生的聲音質量要高。,3.6.4MIDI系統(tǒng),MIDI協(xié)議提供了一種標準的和有效的方法，用來把演奏信息轉換成電子數(shù)據。MIDI信息是以“MIDImessages”傳輸?shù)模梢员徽J為是告訴音樂合成器(musicsynthesizer)如何演奏一小段音樂的一種指令，而合成器把接收到的MIDI數(shù)據轉換成聲音。國際MIDI協(xié)會出版的MIDI1.0規(guī)范對MIDI協(xié)議作了完整的說明。,3.6.4MIDI系統(tǒng),MIDI數(shù)據流是單向異步的數(shù)據位流其速率為31.25kbps，每個字節(jié)為10位(1位開始位，8位數(shù)據位和1位停止位)。MIDI樂器上的MIDI接口通常包含3種不同的MIDI連接器，用IN(輸入),OUT(輸出)和THRU(穿越)。,3.6.4MIDI系統(tǒng),MIDI數(shù)據流通常由MIDI控制器產生，如樂器鍵盤，或者由MIDI音序器產生。MIDI控制器是當作樂器使用的一種設備，在播放時把演奏轉換成實時的MIDI數(shù)據流，MIDI音序器是一種裝置，允許MIDI數(shù)據被捕獲、存儲、編輯、組合和重奏。,3.6.4MIDI系統(tǒng),通常，MIDI數(shù)據流的接收設備是MIDI聲音發(fā)生器或者MIDI聲音模塊，它們在MIDIIN端口接收MIDI信息，然后播放聲音。下圖表示的是一個簡單的MIDI系統(tǒng)，它由一個MIDI鍵盤控制器和一個MIDI聲音模塊組成。許多MIDI鍵盤樂器在其內部既包含鍵盤控制器，又包含MIDI聲音模塊功能。在這些單元中，鍵盤控制器和聲音模塊之間已經有內部鏈接，這個鏈接可以通過該設備中的控制功能(localcontrol)對鏈接打開(ON)或者關閉(OFF)。,3.6.4MIDI系統(tǒng),單個物理MIDI通道分成16個邏輯通道，每個邏輯通道可指定一種樂器，如圖所示。在MIDI消息中，用4個二進制位來表示這16個邏輯通道。音樂鍵盤可設置在這16個通道之中的任何一個，而MIDI聲源或者聲音模塊可被設置在指定的MIDI通道上接收。,在一個MIDI設備上的MIDIIN連接器接收到的信息可通過MIDITHRU連接器輸出到另一個MIDI設備，并可以菊花鏈的方式連接多個MIDI設備，這樣就組成了一個復雜的MIDI系統(tǒng),3.6.4MIDI系統(tǒng),MIDI鍵盤控制器對MIDI音序器來說是一個輸入設備，而音序器的MIDIOUT端口連接了幾個聲音模塊。作曲家可使用這樣的系統(tǒng)來創(chuàng)作幾種不同樂音組成的曲子，每次在鍵盤上演奏單獨的曲子。這些單獨曲子由音序器記錄下來，然后音序器通過幾個聲音模塊一起播放。每一曲子在不同的MIDI通道上播放，而聲音模塊可分別設置成接收不同的曲子。,3.6.4MIDI系統(tǒng),例如，聲音模塊1可設置成播放鋼琴聲并在通道1接收信息，模塊2設置成播放低音并在通道5接收信息，而模塊2設置成播放鼓樂器并在通道10上接收消息等。在圖中使用了多個聲音模塊同時分別播放不同的聲音信息。這些模塊也可以做在一起構成一個叫做多音色的聲音模塊，它同樣可以起到同時接收和播放多種聲音的作用。,3.6.4MIDI系統(tǒng),用PC機構造的MIDI系統(tǒng)使用的聲音模塊就是這樣一種單獨的多音色聲音模塊。在這個系統(tǒng)中，PC機使用內置的MIDI接口卡，用來把MIDI數(shù)據發(fā)送到外部的多音色MIDI合成器模塊。像多媒體演示程序、教育軟件或者游戲等應用軟件，它們把信息通過PC總線發(fā)送到MIDI接口卡。MIDI接口卡把信息轉換成MIDI消息(MIDImessages)，然后送到多音色聲音模塊同時播放出許多不同的樂音，例如鋼琴聲、低音和鼓聲。使用安裝在PC機上的高級的MIDI音序器軟件，用戶可把MIDI鍵盤控制器連接到MIDI接口卡的MIDIIN端口，也可以有相同的音樂創(chuàng)作功能。,3.6.4MIDI系統(tǒng),使用PC機構造MIDI系統(tǒng)可以有不同的方案。例如，可把MIDI接口和MIDI聲音模塊組合在PC添加卡上。多媒體個人計算機MPC(MultimediaPC)規(guī)范就要求PC添加卡上必須有這樣的聲音模塊，稱為合成器(synthesizer)。通過已有的電子波形來產生聲音的合成器稱為FM合成器(FMsynthesis)，而通過存儲的樂音樣本來產生聲音的合成器稱為波表合成器(wavetablesynthesis)。,3.6.4MIDI系統(tǒng),MPC規(guī)格需要聲音卡的合成器是多音色(muti-timbral)和多音調(polyphonic)的合成器。多音色是指合成器能夠同時播放幾種不同樂器的聲音，音色就是把一個人說話(或一種樂器)的聲音與另一個人說話(或另一種樂器)的聲音區(qū)分開來的音品；多音調是指合成器一次能夠播放的音符(note)數(shù)。MPC規(guī)格定義了兩種音樂合成器：基本合成器(Base-levelsynthesizer)和擴展合成器(Extendedsynthesizer)，基本合成器和擴展合成器之間的差別如下表所示,3.6.4MIDI系統(tǒng),3.6.5MIDI消息,MIDI設備使用的一系列MIDI音符，可被認為是告訴音樂合成器如何播放一小段音樂的指令。因為MIDI數(shù)據是一套音樂符號的定義，而不是實際的音樂聲音，因此MIDI文件的內容被稱為MIDI消息。,3.6.5MIDI消息,一個MIDI消息由1個8位的狀態(tài)字節(jié)并通常跟著2個數(shù)據字節(jié)組成。在狀態(tài)字節(jié)中，最高有效位設置成“1”，低4位用來表示這個MIDI消息是屬于哪個通道，4位可表示16個可能的通道，其余3位的設置表示這個MIDI消息是什么類型的消息。MIDI消息可分成通道消息和系統(tǒng)消息兩大類。,3.6.5MIDI消息,MIDI通道消息可分成通道聲源消息攜帶的演奏數(shù)據；通道方式消息