多媒體技術(shù)和應(yīng)用第4章課件

1、多媒體技術(shù)與應(yīng)用公共選修課 全程課堂講授約2730學(xué)時考試: 開卷筆試 討論36學(xué)時, 穿插于理論講授中廣州中醫(yī)藥大學(xué)信息技術(shù)學(xué)院 授課老師：信息學(xué)院 陳浩 副教授第1頁，共38頁。1. 什么是聲音?聲音的種類 聲音的種類繁多。人聲馬嘶、獸鳴鳥叫、風(fēng)雨雷電、機(jī)器轟鳴、悠揚琴聲等 因此，聲音根據(jù)內(nèi)容可以分為：天籟之音，語音，樂音等；根據(jù)頻率可分為：高音、低音、重低音、超聲波與次聲波等；根據(jù)特性分為樂聲和噪聲。聲音的實質(zhì) 從信息處理的角度來看，聲音實質(zhì)上是一種信號，稱之為音頻信號。第四部分 聲音和音頻信號處理 創(chuàng)點教程網(wǎng)第2頁，共38頁。2.聲音信號的特點 聲波具有時間和幅度上的連續(xù)性；聲音的傳播

2、具有反射、折射、衍射等形式；（聲速和多普勒效應(yīng)）振幅A反映了信號的強度；就是聲音的大小。頻率F反映了音調(diào)的高低；也即尖細(xì)或是低粗。 第3頁，共38頁。3.聲波的應(yīng)用 聲納，B超。4.聲音的三要素音調(diào)：指聲音的基音頻率；（音階的劃分）音色：指聲音的泛音頻率；（音頻帶寬）音強：指聲音的聲音幅度；（音量的計量分貝dB)。第4頁，共38頁。5. 聲音質(zhì)量的度量聲品質(zhì)可定義為聽覺事件對個人各方面需求的滿足程度，影響聲品質(zhì)的因素包括物理(聲場)、心理聲學(xué)(聽覺感知)、心理(聽覺評價)等幾方面。人類的聽覺頻率范圍：2020KHz。語音質(zhì)量等級： 根據(jù)聲音頻帶，聲音質(zhì)量分5個等級，依次為：電話、調(diào)幅廣播(AM

3、)、調(diào)頻廣播(FM)、CD光盤、數(shù)字錄音帶( DAT，Digital Audio Tape)第5頁，共38頁。6.音強和響度，聽閾和痛閾 音強又稱為響度，是表示人的聽覺主觀判斷聲音的強弱程度。在心理學(xué)上，響度是人耳對音量大小、聲音強弱的主觀感受。響度大，聲音顯得豐滿；響度小，聲音便非常單薄脆弱。在物理上，響度用聲壓或聲強來描述聲音的強弱。 響度級為以1000Hz為基準(zhǔn)。定義1000Hz、40dB純音時，響度為1宋。 當(dāng)聲音弱到人耳剛剛能聽到的時候，此時的音強稱之為：聽閾。 當(dāng)音強達(dá)到人耳感覺疼痛的時候，此時的音強稱為痛閾。聽閾和痛閾是隨頻率變化的。 人耳的聽覺音強范圍為0-120dB。第6頁，

4、共38頁。人的聽覺聲強范圍第7頁，共38頁。7.人類的聽覺特性1) 人耳只能察覺出3dB以上音強變化2) 人耳對不同頻段的聲音敏感度不同人耳對13KHZ的聲音最為靈敏3) 人的聽覺具有掩蔽效應(yīng)第8頁，共38頁。聽覺的掩蔽效應(yīng)第9頁，共38頁。問題：音頻信號有什么特點？如何用計算機(jī)處理音頻信號？如何獲得高質(zhì)量的音頻信號？第10頁，共38頁。第11頁，共38頁。模擬信號的數(shù)字化處理模擬到數(shù)字的轉(zhuǎn)換A/D轉(zhuǎn)換（Analog to Digital Conversion）模擬信號數(shù)字化的步驟 ：1.采樣 在連續(xù)信號中每隔一定時間取一個值；2.量化 把其大小取整為n位二進(jìn)制數(shù)所能表示的數(shù)； 例如: n=4

5、， 即有24=16個級別可用于表示一個采樣， 量化后只能以0，1，215這16個數(shù)之一來表示3.編碼 按一定的規(guī)律產(chǎn)生二進(jìn)制位數(shù)據(jù)。第12頁，共38頁。模擬信號數(shù)字化的原理 將檢測到的電壓值轉(zhuǎn)換成數(shù)字信息 模擬信號的數(shù)字化4bit 第13頁，共38頁。采樣定理采樣頻率要高于被采樣信號最高頻率的兩倍，信號才可能完全復(fù)原。話音最高頻率為4000Hz，則需每秒采樣8000次；聲音的最高頻率為20kHz，所以在多媒體計算機(jī)中使用的多是44.1 kHz的采樣頻率。 量化精度取決于表示一個采樣值的二進(jìn)制位數(shù)。位數(shù)越多，精度也越高。用16個二進(jìn)制位（bit）表示聲音，可將聲音分為216=65536級，而若用

6、8位則僅能區(qū)分出28=256級。用16位表示的聲音比用8位的聲音質(zhì)量高得多。 第14頁，共38頁。第15頁，共38頁。音頻數(shù)據(jù)壓縮處理1. 音頻壓縮的理論基礎(chǔ)是人的聽覺特性。2. 音頻壓縮算法的分類： 1) 有損壓縮和無損壓縮 2) 時域壓縮，子帶壓縮和變換壓縮三種語音編碼器：波形編碼器音源編碼器(聲碼器) 混合編碼器3. 最基本的音頻壓縮處理方法PCM編碼第16頁，共38頁。第17頁，共38頁。脈沖編碼調(diào)制的概念是1937年，由法國工程師Alec Reeres 最早出來的。1946年美國Bell實驗室實現(xiàn)了第一臺PCM數(shù)字電話終端機(jī)。1962年，晶體管PCM終端機(jī)大量應(yīng)用于市話網(wǎng)中局間 中繼

7、線，使市話電纜傳輸電話路數(shù)擴(kuò)大2430倍。70年代后期，超大規(guī)模集成電路的PCM編、解碼器的出現(xiàn)，使光纖通信、數(shù)字微波通信、衛(wèi)星通信獲得了更廣泛的應(yīng)用。此外，CD唱機(jī)和DAT錄音機(jī)，均采用線性PCM編碼來存儲音樂信號，為非壓縮方式。脈沖編碼調(diào)制(Pulse Coding Modulation) 第18頁，共38頁。 PCM算法是最簡單、最完善、最常見也是壓縮效率最低的編碼方法。它用一組二進(jìn)制數(shù)碼來代替連續(xù)信號的抽樣值，具有極強的抗干擾能力。 步驟： 僅對輸入信號進(jìn)行采樣量化編碼。第19頁，共38頁。PCM系統(tǒng)原理框第20頁，共38頁。幾個關(guān)于量化的概念： 均勻量化與非均勻量化 第21頁，共38

8、頁。量化噪聲（誤差）第22頁，共38頁。量化信噪比：隨量化電平階數(shù)M的增加而提高，信號的逼真度越好。均勻量化的不足：量化信噪比隨信號電平的減小而下降。在民用電話中，一種簡單而又穩(wěn)定的非均勻量化器為對數(shù)量化器。該量化器在出現(xiàn)頻率高的低幅語音信號處，運用小的量化間隔，在出現(xiàn)概率低的高幅語音信號處，運用大的量化間隔。第23頁，共38頁。幅度大的信號被壓縮，幅度小的信號被擴(kuò)張。壓縮與擴(kuò)張的示意圖第24頁，共38頁。兩種常見PCM體制：1)律壓擴(kuò)算法 2) A律壓擴(kuò)算法 第25頁，共38頁。A律壓縮特性律壓縮特性第26頁，共38頁。第27頁，共38頁。第28頁，共38頁。MP3壓縮標(biāo)準(zhǔn)MP3是一種有損數(shù)

9、字音頻壓縮格式，其全稱是MPEG-1 Audio Layer3。 MPEG-1音頻壓縮標(biāo)準(zhǔn)是第一個高保真音頻數(shù)據(jù)壓縮標(biāo)準(zhǔn)。除AC-3之外，其他的音頻壓縮算法只適用于語言(如碼激勵線性預(yù)測CELP)或只有中等壓縮質(zhì)量(如自適應(yīng)差分脈沖編碼調(diào)制ADPCM)。MPEG1音頻壓縮標(biāo)準(zhǔn)雖然是MPEG-1標(biāo)準(zhǔn)的一部分，但它完全可獨立應(yīng)用。第29頁，共38頁。 在MPEG-1標(biāo)準(zhǔn)中，按復(fù)雜程度劃分了三種音頻壓縮模式即層，層，層。目前廣泛使用的VCD音頻壓縮方案為層，其典型碼率為每通道192Kbps，共2通道。層即稱掩蔽模式，采用通用子帶集成編碼與多路復(fù)用，典型碼率為每通道128 Kbps，廣泛應(yīng)用于數(shù)字音頻

10、廣播、數(shù)字演播室、CD-I等數(shù)字音頻專業(yè)的制作、交流、存儲和傳送。層是綜合層和自適應(yīng)譜感知熵編碼 (ASPEC)的優(yōu)點提出的混合壓縮技術(shù)，MP3的復(fù)雜度相對較高，不利于實時編碼，典型碼率為64 Kbps，在低碼率下有高品質(zhì)的音質(zhì)。用于ISDN語音通話。第30頁，共38頁。MPEG-1音頻壓縮模式的比較第31頁，共38頁。MP3產(chǎn)品簡介1. 組成結(jié)構(gòu)第32頁，共38頁。PHILIPS芯片方案PHILIPS解碼芯片屬于高端產(chǎn)品。其系列芯片SAA7750,SAA7751, PNX0101ET本身僅是解碼芯片，必須搭配控制芯片才能使用。代表產(chǎn)品： iRiver的IFP-100、300、500系列和MP

11、IO的FD100、FL100、FY200、FG100等。SIGMATEL芯片方案美國SIGMATEL的STMP 34和35系列芯片是目前市場占有率較大的芯片，采用獨立控制方式，成本較低。代表產(chǎn)品：愛國者月光寶盒系列、三星 YP-55H，JNC SSF-800等TELECHIPS芯片方案韓國TELECHIPS的TCC730、TCC731也是性能較好的MP3解碼芯片之一，同樣需要外圍元件的配合，成本比飛利浦較低。 代表產(chǎn)品：丹丁328系列、DEC街舞系列，朝華魔音系列 。對三款主流芯片來說，音質(zhì)排列順序為：Philips Sigmatel Telchips 第33頁，共38頁。第34頁，共38頁。

12、樂器數(shù)字接口MIDI樂器數(shù)字接口規(guī)范MIDI (Musical Instrument Digital Interface)于1983年提出。MIDI是一種利用合成器產(chǎn)生的音樂技術(shù)。MIDI由三個部分組成，分別是：通信協(xié)議Communication Protocol；連接器 Connector（硬件接口）；傳播規(guī)范，稱為標(biāo)準(zhǔn)MIDI文件Standard MIDI Files。第35頁，共38頁。通信協(xié)議 MIDI協(xié)議是樂譜的數(shù)字化描述語言。每一個描述樂器演播的動作的字都賦給一個特定的二進(jìn)制代碼。例如：音色編號為00；音符C3編號為00；8分音符編號為60。如果鋼琴8分音符的C3音，它的MIDI編

13、碼是“00 00 60連接器根據(jù)MIDI 1.0規(guī)范，MIDI連接器是一個5針DIN接頭。由于PC機(jī)未為MIDI預(yù)留接口，故采用串行口或游戲桿端口來連接MIDI樂器。標(biāo)準(zhǔn)MIDI文件一個MIDI文件不需要捕捉和存儲實際的聲音，僅是一個事件的列表，描述了一個聲音卡或其他播放設(shè)備要產(chǎn)生某種聲音的特定的步驟。因此，MIDI文件比數(shù)字音頻文件小得多，并且事件是可以編輯的，音樂可以重排，編輯，甚至交互式作曲。第36頁，共38頁。4.4 聲卡簡介聲卡的基本功能：將來自話筒、磁帶、光盤的原始聲音信號進(jìn)行轉(zhuǎn)換，輸出到耳機(jī)、揚聲器、擴(kuò)音機(jī)、錄音機(jī)等聲響設(shè)備，或通過音樂設(shè)備數(shù)字接口(MIDI)使樂器發(fā)出美妙的聲音

14、。4.1 聲卡的發(fā)展歷史1984年，英國ADLIB AUDIO公司推出第一款聲卡。 1995年，創(chuàng)新推出AWE32系列，具有硬件波表合成能力，而以往的聲卡僅具備FM合成能力，具有一個32復(fù)音的波表引擎，并集成了1MB容量的音色庫，MIDI的表現(xiàn)力獲得大大提升，硬件波表合成能力成為高檔聲卡的象征。1996年，創(chuàng)新推出AWE64系列，具有64復(fù)音的波表合成能力，成為當(dāng)時MIDI表現(xiàn)力最佳的聲卡，這個系列中的AWE64 Gold，是公認(rèn)最優(yōu)秀的聲卡之一 。第37頁，共38頁。聲卡主要由以下幾個部分組成： 聲音的合成與處理 是聲卡的核心部分。由數(shù)字聲音處理器、調(diào)頻(FM)音樂合成器及MIDI控制器組成。完成聲波信號的A/D和D/A轉(zhuǎn)換，利用調(diào)頻技術(shù)控制聲音的