第5講—第二章 數(shù)字音頻處理技術(shù)(2).ppt

1、,第五講,思考題,第二章 數(shù)字音頻處理技術(shù),（對應(yīng)書中第九章）,2,數(shù)字音頻處理技術(shù),基本概念 聲音概念 聲音頻率分布 音質(zhì)與數(shù)據(jù)量 數(shù)字音頻文件的種類 音頻數(shù)字化 聲音的采樣量化 采樣過程簡介 MIDI 音頻 MIDI文件與WAV文件 MIDI音頻數(shù)字化 MIDI 音頻處理,主要內(nèi)容, 計(jì)算機(jī)音樂 處理聲音 轉(zhuǎn)換采樣頻率 GoldWave軟件 設(shè)定編輯區(qū)域 簡單編輯 使用剪貼板 合成聲音 增加效果 調(diào)整固有音量,3,數(shù)字音頻處理技術(shù),教學(xué)要求,1. 了解聲音的基本特點(diǎn)； 2. 了解聲音采樣、量化與編碼的處理過程； 3掌握數(shù)字音頻中采樣頻率、量化精度和聲道的概念； 4. 掌握數(shù)字音頻文件的存儲

2、； 5. 掌握數(shù)字音頻文件數(shù)據(jù)量的計(jì)算方法； 6. 掌握Gold Wave的基本使用方法，能夠利用其采集、編輯和合成數(shù)字音頻； 7. 了解MIDI的有關(guān)概念以及計(jì)算機(jī)音樂合成基本思想； 8. 掌握WAVE文件與MIDI文件的區(qū)別。,4,MIDI 音頻,MIDI定義,將樂器演奏時(shí)的音高、音長和力度等指令信息通過MIDI控制器輸入計(jì)算機(jī)，以文件的形式存儲。回放時(shí)經(jīng)過合成器把指令信息轉(zhuǎn)換成聲音信號，再由混音器生成聲波。,5,MIDI文件與WAV文件比較,MIDI指令,MID數(shù)據(jù)是一套指令，它指示樂器即MIDI設(shè)備做了什么，怎么做的，如演奏音符、加大音量、生成音響效果等。,6,MIDI有關(guān)概念,演奏控

3、制器,演奏控制器是一種輸入和記錄實(shí)時(shí)樂曲演奏信息的設(shè)備，例如：鋼琴模擬鍵盤、電子琴、電子吉它、電子手風(fēng)琴等。,7,MIDI有關(guān)概念,通道,通道是一種音樂信息的傳輸路線。每個(gè)通道可以傳輸一種樂器的音符信息。,單個(gè)物理MIDI通道(MIDI channel)分成16個(gè)邏輯通道，每個(gè)邏輯通道可指定一種樂器，如圖所示。在MIDI信息(MIDI messages)中，用4個(gè)二進(jìn)制位來表示這16個(gè)邏輯通道。音樂鍵盤可設(shè)置在這16個(gè)通道之中的任何一個(gè)，而MIDI聲源或者聲音模塊可被設(shè)置在指定的MIDI通道上接收。,8,MIDI有關(guān)概念,MIDI數(shù)據(jù)流是單向異步的數(shù)據(jù)位流(bit stream)，其速率為31

4、.25 kbps，每個(gè)字節(jié)為10位(1位開始位，8位數(shù)據(jù)位和1位停止位)。,9,數(shù)字音樂合成技術(shù),10,用PC機(jī)構(gòu)造的MIDI系統(tǒng),在這個(gè)系統(tǒng)中，PC機(jī)使用內(nèi)置的MIDI接口卡，用來把MIDI數(shù)據(jù)發(fā)送到外部的多音色MIDI合成器模塊。像多媒體演示程序、教育軟件或者游戲等應(yīng)用軟件，它們把信息通過PC總線發(fā)送到MIDI接口卡。MIDI接口卡把信息轉(zhuǎn)換成MIDI消息(MIDI messages)，然后送到多音色聲音模塊同時(shí)播放出許多不同的樂音，例如鋼琴聲、低音和鼓聲。,11,MIDI音樂的合成處理過程,多媒體個(gè)人計(jì)算機(jī)MPC(Multimedia PC)規(guī)范就要求PC聲卡上必須有這樣的聲音模塊，稱為

5、合成器(synthesizer)。,音源,演奏控制器,合成器,混頻器,錄制,編輯,轉(zhuǎn)換,播放,12,計(jì)算機(jī)音樂,計(jì)算機(jī)音樂是由音序器創(chuàng)作、修改和編輯樂譜，經(jīng)過合成器把數(shù)字樂譜變換成模擬聲音波形，再經(jīng)過混頻器混合后送到音箱播放出音樂。 計(jì)算機(jī)音樂系統(tǒng)組成的三要素為： 演奏控制器、音源和MIDI接口,13,計(jì)算機(jī)音樂,計(jì)算機(jī)創(chuàng)作音樂,可以利用計(jì)算機(jī)，通過波形組合或聲音取樣來構(gòu)造各種發(fā)音樂器，它可以將各種聲音加以組合、混響來創(chuàng)造新的音樂。如用VB程序?qū)崿F(xiàn)的打鼓音序器程序。,14,計(jì)算機(jī)音樂,計(jì)算機(jī)作曲,可以利用計(jì)算機(jī)，通過波形組合或聲音取樣來構(gòu)造各種音符發(fā)音，通過軟件編輯曲譜，試聽各種音樂效果，來創(chuàng)

6、造新的樂曲。如用最簡單的作曲軟件Muse。,第五講,思考題,第三章 數(shù)據(jù)壓縮技術(shù),（對應(yīng)書中第六章）,16,數(shù)據(jù)壓縮技術(shù),基本概念 信息熵概念 數(shù)據(jù)壓縮必要性 數(shù)據(jù)壓縮條件 數(shù)據(jù)冗余 數(shù)據(jù)壓縮算法性能指標(biāo) 數(shù)據(jù)壓縮算法分類 統(tǒng)計(jì)編碼 行程長度壓縮 霍夫曼編碼 算術(shù)編碼 詞典編碼,主要內(nèi)容, 預(yù)測編碼 變換編碼 JPEG 編碼 JPEG三個(gè)標(biāo)準(zhǔn) JPEG編碼和解碼模型 離散余弦變換 量化 DC和AC系數(shù)的編碼 熵編碼 MPEG 編碼,17,數(shù)據(jù)壓縮技術(shù),教學(xué)要求,了解常見的多媒體數(shù)據(jù)壓縮編碼的原理 了解動態(tài)圖象壓縮編碼標(biāo)準(zhǔn)MPEG 理解行程長度編碼、預(yù)測編碼和變換編碼原理 掌握信息熵的概念 掌握

7、信息冗余的基本概念和分類 掌握多媒體數(shù)據(jù)壓縮碼的必要性、可能性及分類 掌握哈夫曼編碼的原理和算法 掌握J(rèn)PEG壓縮編碼的原理和算法,18,信息熵, 熵(Entropy)的概念 熵是信息量的度量方法，它表示某一事件出現(xiàn)的消息越多，事件發(fā)生的可能性就越小，數(shù)學(xué)上就是概率越小。某個(gè)事件的信息量用Ii=log2 Pi 表示 ，其中Pi為第i個(gè)事件的概率，0Pi1。, 信源X的熵的定義 按照香農(nóng)(Shannon)的理論，信源X的熵定義為,其含義：信源X發(fā)出任意一個(gè)隨機(jī)變量的平均信息量。,19,信息熵的計(jì)算示例,例： 有一幅40個(gè)象素組成的灰度圖像，灰度共有5級，分別用符號A、B、C、D和E表示，40個(gè)象

8、素中出現(xiàn)灰度A的象素?cái)?shù)有15個(gè)，出現(xiàn)灰度B的象素?cái)?shù)有7個(gè)，出現(xiàn)灰度C的象素?cái)?shù)有7個(gè)等等，如表所示。如果用3個(gè)位表示5個(gè)等級的灰度值，也就是每個(gè)象素用3位表示，編碼這幅圖像總共需要120位。, 信息熵 H(S) = (15/40) log2 (40/15) + (7/40) log2 (40/7) + (7/40) log2 (40/7) + (6/40) log2 (40/6) + (5/40) log2 (40/5) =2.196 這就是說每個(gè)符號用2.196位表示，40個(gè)象素需用87.84位。,20,多媒體信息的數(shù)據(jù)量,21,數(shù)據(jù)壓縮條件, 數(shù)據(jù)存在冗余 (重復(fù)數(shù)據(jù)、可忽略數(shù)據(jù)), 數(shù)據(jù)傳

9、輸與存儲空間的限制 (壓縮傳輸或存儲解壓縮),44.1kHz/Stereo 1.3MB,22.0kHz / Nomo 0.3MB,Stop,重復(fù)數(shù)據(jù) 可忽略數(shù)據(jù),22,數(shù)據(jù)冗余,冗余基本概念, 冗余信息所具有的各種性質(zhì)中多余的無用空間, 冗余度多余的無用空間的程度,音頻數(shù)據(jù)8kHz采樣8bit60秒 = 3840KBit (合480KB/分鐘),23,冗余分類,1 空間冗余規(guī)則物體的物理相關(guān)性,2 時(shí)間冗余視頻與動畫畫面間的相關(guān)性,3 統(tǒng)計(jì)冗余具有空間冗余和時(shí)間冗余,6 視覺冗余視覺、聽覺敏感度和非線性感覺,7 知識冗余憑借經(jīng)驗(yàn)識別,4 結(jié)構(gòu)冗余規(guī)則紋理、相互重疊的結(jié)構(gòu)表面,5 信息熵冗余編碼冗余，數(shù)據(jù)與攜帶的信息,8 其他冗余上述7種以外的冗余,聲音頻率 文字組句 色彩漸變 主觀意識 : :,多媒體信息中存在大量的冗余，數(shù)據(jù)壓縮就存在了可能性，并且同時(shí)也表明了壓縮的必要性。,24,數(shù)據(jù)壓縮算法性能指標(biāo), 壓縮比 壓縮比指前后的文件數(shù)據(jù)量之比值。如JPEG標(biāo)準(zhǔn)對圖象的壓縮比可以達(dá)到50：1。自然壓縮比越大越好