多媒體信息處理技術(shù)

1、多媒體信息處理技術(shù)1多媒體數(shù)據(jù)的分類媒體是承載信息的載體，是信息的表示形式。信息媒體元素是指多媒體應(yīng)用中可以顯示給用戶的媒 體組成元素，目前主要包括文本、圖形、圖像、聲音、動(dòng)畫和視頻等媒體。一、多媒體數(shù)據(jù)的特點(diǎn)多媒體數(shù)據(jù)具有數(shù)據(jù)量巨大、數(shù)據(jù)類型多、數(shù)據(jù)類型間差別大、數(shù)據(jù)輸入和輸出復(fù)雜等特點(diǎn)。多媒 體數(shù)據(jù)類型多，包括圖形、圖像、聲音、文本和動(dòng)畫等多種形式，即使同屬于圖像一類，也還有黑白、 彩色、高分辨率和低分辨率之分，由于不同類型的媒體內(nèi)容和格式不同，其存儲(chǔ)容量、信息組織方法等 方面都有很大的差異。二、多媒體數(shù)據(jù)的分類文字在計(jì)算機(jī)中，文字是人與計(jì)算機(jī)之間信息交換的主要媒體。文字用二進(jìn)制編碼表示，

2、也就是使用不 同的二進(jìn)制編碼來(lái)代表不同的文字。文本是各種文字的集合，是人和計(jì)算機(jī)交互作用的主要形式。文本數(shù)據(jù)可以在文本編輯軟件里制作，如Word編寫的文本文件大都可以直接應(yīng)用到多媒體應(yīng)用系 統(tǒng)中。但多媒體文本大多直接在制作圖形的軟件或多媒體編輯軟件時(shí)一起制作。音頻音頻泛指聲音，除語(yǔ)音、音樂(lè)外，還包括各種音響效果。將音頻信號(hào)集成到多媒體中，可提供其他 任何媒體不能取代的效果，從而烘托氣氛、增加活力。圖形、圖像凡是能被人類視覺系統(tǒng)所感知的信息形式或人們心目中的有形想象都稱為圖像。圖形文件基本上可以分為兩大類：位圖和向量圖。位圖圖像是一種最基本的形式。位圖是在空間和亮度上已經(jīng)離散化的圖像，可以把一幅

3、位圖圖像看 成一個(gè)矩陣，矩陣中的任一元素對(duì)應(yīng)于圖像的一個(gè)點(diǎn)，而相應(yīng)的值對(duì)應(yīng)于該點(diǎn)的灰度等級(jí)。圖形是指從點(diǎn)、線、面到三維空間的黑白或彩色幾何圖形，也稱向量圖。圖形是一種抽象化的圖像， 是對(duì)圖像依據(jù)某個(gè)標(biāo)準(zhǔn)進(jìn)行分析而產(chǎn)生的結(jié)果。向量圖形文件則用向量代表圖中的文件，以直線為例，在向量圖中，有一數(shù)據(jù)說(shuō)明該元件為直線， 另外有些數(shù)據(jù)注明該直線的起始坐標(biāo)及其方向、長(zhǎng)度或終止坐標(biāo)，圖形文件保存的不是像素點(diǎn)的值，而是一組描述點(diǎn)、線、面等幾何圖形的大小、形狀、位置、維數(shù) 等其他屬性的指令集合，通過(guò)讀取指令可以將其轉(zhuǎn)換為屏幕上顯示的圖像。由于大多數(shù)情況下不需要對(duì) 圖形上的每一個(gè)點(diǎn)進(jìn)行量化保存，所以，圖形文件比圖像

4、文件數(shù)據(jù)量小很多。圖形與圖像是兩個(gè)不同的 概念。動(dòng)畫圖像或圖形都是靜止的。由于人眼的視覺暫留作用，在亮度信號(hào)消失后亮度感覺仍可保持1 / 20s 1/10s。利用人眼視覺惰性，在時(shí)間軸上，每隔一段時(shí)間在屏幕上展現(xiàn)一幅有上下關(guān)聯(lián)的圖像、圖形， 就形成了動(dòng)態(tài)圖像。任何動(dòng)態(tài)圖像都是由多幅連續(xù)的圖像序列構(gòu)成的，序列中的每幅圖像稱為一幀，如 果每一幀圖像是由人工或計(jì)算機(jī)生成的圖形時(shí)，稱為動(dòng)畫；若每幀圖像為計(jì)算機(jī)產(chǎn)生的具有真實(shí)感的圖 像時(shí)，稱為三維真實(shí)感動(dòng)畫；當(dāng)圖像是實(shí)時(shí)獲取的自然景物圖像時(shí)就稱為動(dòng)態(tài)影像視頻，簡(jiǎn)稱視頻。用計(jì)算機(jī)制作動(dòng)畫的方法有兩種：一種稱為造型動(dòng)畫，另一種稱為幀動(dòng)畫。幀動(dòng)畫由一幅幅連續(xù)的

5、 畫面組成圖像或圖形序列，是產(chǎn)生各種動(dòng)畫的基本方法。造型動(dòng)畫則是對(duì)每一個(gè)活動(dòng)的對(duì)象分別進(jìn)行設(shè) 計(jì)，賦予每個(gè)對(duì)象一些特征（如形狀、大小、顏色等），然后用這些對(duì)象組成完整的畫面。視頻影像視頻是動(dòng)態(tài)圖像的一種。與動(dòng)畫一樣，由連續(xù)的畫面組成，只是畫面圖像是自然景物的圖像。計(jì)算機(jī)視頻圖像可來(lái)自錄像帶、攝像機(jī)等視頻信號(hào)源，這些視頻圖像使多媒體應(yīng)用系統(tǒng)功能更強(qiáng)、 更精彩。2多媒體信息的計(jì)算機(jī)表示一、文本文件格式常用的文本文件的格式有TXT、RTF以及WORD格式的DOC、DOT文件。二、聲音文件格式常用的聲音文件格式有WAV、MID和MP3等。WAV文件Windwos使用的標(biāo)準(zhǔn)數(shù)字音頻稱為波形文件，文件的擴(kuò)

6、展名為WAV，記錄了對(duì)實(shí)際聲音進(jìn)行采樣的 數(shù)據(jù)。在適當(dāng)?shù)挠布坝?jì)算機(jī)控制下，使用波形文件能夠重現(xiàn)各種聲音，無(wú)論是不規(guī)則的噪音還是CD 音質(zhì)的音樂(lè)，也無(wú)論是單聲道還是立體聲。通過(guò)Windows的對(duì)象連接與嵌入技術(shù)，波形文件可以嵌在其他Windows應(yīng)用系統(tǒng)中使用。由于波形 文件記錄的是數(shù)字化音頻信號(hào)，因此，可由計(jì)算機(jī)對(duì)其進(jìn)行處理和分析。如放慢或加快放音速度，將聲 音重新組合或抽取一些片段單獨(dú)處理等等。WAV文件還原成的聲音的音質(zhì)取決于聲音卡采樣樣本的尺寸。一般來(lái)說(shuō)，采樣的樣本尺寸越大，采 樣頻率越高，音質(zhì)就越好，但波形音頻文件也就越大，開銷就越大。因此，波形音頻一般適用于以下幾 個(gè)場(chǎng)合：播放的聲

7、音是講話語(yǔ)音，音樂(lè)效果對(duì)聲音的質(zhì)量要求不太高的場(chǎng)合。需要從CD-ROM光盤驅(qū)動(dòng)器同時(shí)加載聲音和其他數(shù)據(jù)，聲音數(shù)據(jù)的傳輸不能獨(dú)占處理時(shí)間的場(chǎng)合。需要在PC硬盤中存儲(chǔ)的聲音數(shù)據(jù)在1分鐘以下以及可用存儲(chǔ)空間足夠的場(chǎng)合。MIDI文件MIDI (Musical Instrument Digital Interface)是指樂(lè)器數(shù)字化接口，MIDI 文件的擴(kuò)展名是 MID。 MIDI標(biāo)準(zhǔn)是數(shù)字式音樂(lè)的國(guó)際標(biāo)準(zhǔn)。把一個(gè)MIDI設(shè)備連接到PC的主要目的是記錄MIDI樂(lè)器產(chǎn)生的聲 音。然后，對(duì)記錄的音樂(lè)進(jìn)行編輯和后期處理，把它們與其他樂(lè)器的錄音進(jìn)行組合，以產(chǎn)生出類似管弦 樂(lè)隊(duì)演奏效果的音樂(lè)。MP3文件MP3格式

8、的音樂(lè)越來(lái)越受到人們的歡迎。MP3文件是一種壓縮格式的聲音文件，其擴(kuò)展名為MP3。 MP3文件的特點(diǎn)是音質(zhì)好、數(shù)據(jù)量小。三、圖形、圖像文件格式常見的圖形文件的格式有如下幾種：BMP、PCX、GIF、TIF、JPG、TGA等。GIF(Graphic Interchange Format)文件BMP (bitmap)文件JPG文件TGA文件TIF文件PCX文件?6。文件四、影像文件格式影像文件通常泛指自掃描儀或視頻卡讀入的靜態(tài)畫面(影像)。在動(dòng)態(tài)圖像的文件格式中，常用的有AVI、MOV、MPG和DAT文件等。AVIMOV文件MPG文件格式DAT文件格式DIR文件格式五、動(dòng)畫文件格式多媒體應(yīng)用中使用

9、的動(dòng)畫文件主要有GIF、AVI、SWF等等。GIF文件SWF文件3多媒體數(shù)據(jù)壓縮和編碼技術(shù)一、多媒體的數(shù)據(jù)量、信息量和冗余多媒體計(jì)算機(jī)面臨的最大難題是大量數(shù)據(jù)的存儲(chǔ)與傳送問(wèn)題。在所有可能的數(shù)據(jù)庫(kù)中，圖像是數(shù)據(jù) 量最大的數(shù)據(jù)類型。數(shù)據(jù)是用來(lái)記錄和傳送信息的，或者說(shuō)數(shù)據(jù)是信息的載體。對(duì)于人類而言，真正有用的不是數(shù)據(jù)本 身，而是數(shù)據(jù)所攜帶的信息。信息量與數(shù)據(jù)量的關(guān)系是：信息量=數(shù)據(jù)量+數(shù)據(jù)冗余多媒體數(shù)據(jù)中存在的數(shù)據(jù)冗余類型有：空間冗余、時(shí)間冗余、編碼冗余、結(jié)構(gòu)冗余、知識(shí)冗余和視 覺冗余等。空間冗余空間冗余是圖像數(shù)據(jù)中經(jīng)常存在的一種冗余。在同一幅圖像中，規(guī)則物體和規(guī)則背景的表面物理特 性具有相關(guān)性，這

10、些相關(guān)性在數(shù)字化圖像中表現(xiàn)為數(shù)據(jù)冗余。時(shí)間冗余時(shí)間冗余是序列圖像如電視圖像、運(yùn)動(dòng)圖像和語(yǔ)音數(shù)據(jù)中經(jīng)常包含的冗余。圖像序列中的兩幅相鄰 的圖像，后一幅與前一幅之間有較大的相關(guān)，反映為時(shí)間冗余。在語(yǔ)音中，由于人在說(shuō)話時(shí)其發(fā)音的音 頻是一個(gè)連續(xù)漸變的過(guò)程，而不是一個(gè)時(shí)間上完全獨(dú)立的過(guò)程，因而存在時(shí)間冗余。編碼冗余編碼冗余也稱為信息熵冗余，信息熵是指對(duì)一團(tuán)數(shù)據(jù)所攜帶的信息量。結(jié)構(gòu)冗余有些圖像從大域上看存在著非常強(qiáng)的紋理結(jié)構(gòu)，表現(xiàn)為結(jié)構(gòu)冗余。知識(shí)冗余對(duì)有許多圖像的理解與某些背景知識(shí)使有相當(dāng)大的相關(guān)性。例如，人臉的圖形有固定的結(jié)構(gòu)等。這 類規(guī)律性的結(jié)構(gòu)可由先驗(yàn)知識(shí)和背景知識(shí)得到，表現(xiàn)為知識(shí)冗余。視覺冗余人

11、類的視覺系統(tǒng)對(duì)于圖像場(chǎng)的注意是非均勻的、非線性的，視覺系統(tǒng)并不能對(duì)于圖像場(chǎng)的任何變化 都有所感知。換句話說(shuō)，盡管在對(duì)圖像的編碼和解碼處理時(shí)，由于壓縮或者量化引入噪聲而使圖像發(fā)生 了一系列的變化，如果這些變化不能被視覺所察覺的話，我們?nèi)哉J(rèn)為圖像是完好的或足夠好的。事實(shí)上， 人類視覺系統(tǒng)的一般分辨能力約為26灰度級(jí)，而一般圖像的量化采用的是28灰度級(jí)，這樣的冗余稱為 視覺冗余。其他冗余例如由圖像的空間非定常特性所帶來(lái)的冗余等。正是由于多媒體數(shù)據(jù)中存在各種各樣的冗余，才使得多媒體數(shù)據(jù)可以被壓縮。針對(duì)冗余的類型不同， 人們已經(jīng)提出了各種各樣的方法實(shí)施對(duì)多媒體數(shù)據(jù)的壓縮。二、數(shù)據(jù)壓縮的基本方法數(shù)據(jù)壓縮處

12、理一般由兩個(gè)過(guò)程組成：一是編碼過(guò)程，將原始數(shù)據(jù)經(jīng)過(guò)編碼進(jìn)行壓縮，以便存儲(chǔ)與 傳輸；二是解碼過(guò)程，對(duì)編碼數(shù)據(jù)進(jìn)行解碼，還原為可以使用的數(shù)據(jù)。數(shù)據(jù)壓縮處理方法的分類：按照解碼后的數(shù)據(jù)與原始數(shù)據(jù)一致性分類根據(jù)解碼后的數(shù)據(jù)與原始數(shù)據(jù)是否完全一致來(lái)進(jìn)行劃分，數(shù)據(jù)壓縮方法有兩類：可逆編碼方法和不 可逆編碼方法。按方法的原理分類根據(jù)方法的原理進(jìn)行分類，可以劃分為預(yù)測(cè)編碼、變換編碼、量化與向量量化編碼、信息熵編碼、 分頻帶編碼、結(jié)構(gòu)編碼和基于知識(shí)的編碼等。三、音頻信號(hào)的壓縮編碼音頻信號(hào)分為電話質(zhì)量的語(yǔ)音、調(diào)幅廣播質(zhì)量的音頻信號(hào)和高保真立體聲信號(hào)。語(yǔ)音信號(hào)的頻率范 圍是300Hz到3400Hz。隨著帶寬的增加，

13、信號(hào)的自然度將逐步得到改善。高保真音頻信號(hào)的頻率范圍 是 20Hz 到 20000Hz。聲音信號(hào)的編碼方式可以分為三大類：波形編碼：要求重構(gòu)的聲音信號(hào)盡可能地接近于原始聲音。典型的波形編碼技術(shù)有脈沖編碼調(diào)制 （PCM）、自適應(yīng)差分脈沖編碼調(diào)制（ADPCM）、自適應(yīng)預(yù)測(cè)編碼（APC）、子帶編碼（SDC）、自適應(yīng)變換編 碼（ATC）等。分析合成編碼：以聲音信號(hào)產(chǎn)生模型為基礎(chǔ)，將聲音信號(hào)變換成模型參數(shù)后再進(jìn)行編碼，又稱為參 數(shù)編碼方法。典型的分析和合成技術(shù)有通道聲碼器、共振峰聲碼器、同態(tài)聲碼器、線性預(yù)測(cè)聲碼器等?；旌闲途幋a：是一種在保留分析合成編碼技術(shù)精華的基礎(chǔ)上，引用波形編碼準(zhǔn)則去優(yōu)化激勵(lì)源信號(hào)

14、的方案，可以在位/秒位/秒的編碼率上獲得較高質(zhì)量的合成聲音。最簡(jiǎn)單的數(shù)字編碼方法是對(duì)聲音信號(hào)作直接的模/數(shù)轉(zhuǎn)換。只要采樣頻率足夠高，量化位數(shù)足夠多， 就能保證解碼器恢復(fù)的聲音有很好的質(zhì)量。四、視頻信號(hào)的壓縮編碼視頻信號(hào)的壓縮編碼分類圖像壓縮方法可以分成兩種類型：有損壓縮和無(wú)損壓縮。視頻信號(hào)的壓縮編碼標(biāo)準(zhǔn)JPEG和MPEG就是得到國(guó)際標(biāo)準(zhǔn)化組織認(rèn)可并推薦的兩個(gè)國(guó)際標(biāo)準(zhǔn)。JPEG是聯(lián)合專家小組（Joint Photographic Experts Group）的英文縮寫。MPEG是運(yùn)動(dòng)圖像專家組（Moving Pictuer Experts Group）的英文縮寫。MPEG標(biāo)準(zhǔn)包括MPEG視頻、

15、MPEG音頻和MPEG系統(tǒng)三大部分。JPEG靜止圖像壓縮算法JPEG標(biāo)準(zhǔn)是面向連續(xù)色調(diào)、多級(jí)灰度、彩色或單色靜止圖像的壓縮標(biāo)準(zhǔn)，它定義了兩種基本的壓 縮算法：一種是無(wú)失真壓縮算法；另一種是有失真壓縮算法。MPEG運(yùn)動(dòng)圖像壓縮算法4音樂(lè)合成與MIDI一、音樂(lè)合成樂(lè)音必備的三要素是：音高、音色和音強(qiáng)。若把一個(gè)樂(lè)音放在運(yùn)動(dòng)的旋律中，它還應(yīng)具備時(shí)值，即 持續(xù)時(shí)間。這些要素的理想配合是產(chǎn)生優(yōu)美動(dòng)聽的旋律的必要條件。音高指聲波的基頻，基頻越低，給人的感覺越低沉。音色由聲音的頻譜決定，各個(gè)諧波的比例不同，隨時(shí)間衰減的程度不同，音色就不同。音強(qiáng)是對(duì)聲音強(qiáng)度的衡量，它是聽判樂(lè)音的基礎(chǔ)。時(shí)值具有明顯的相對(duì)性，時(shí)值

16、的變化導(dǎo)致旋律或平緩、均勻，或跳躍、顛簸以表達(dá)不同的情感。調(diào)頻（FM）是使高頻振蕩波的頻率按照調(diào)制信號(hào)規(guī)律變化的一種調(diào)制方式。二、MIDI規(guī)范MIDI 是樂(lè)器數(shù)字接口（musical instrument digital interface）的英文縮寫。MIDI文件記錄的不是聲音本身，因此比較節(jié)省空間。MIDI標(biāo)準(zhǔn)規(guī)定了不同廠家的電子樂(lè)器與計(jì)算機(jī)連接的電纜和硬件。它還指定從一個(gè)裝置傳送數(shù)據(jù) 到另一個(gè)裝置的通信協(xié)議。MIDI標(biāo)準(zhǔn)中規(guī)定了多媒體個(gè)人計(jì)算機(jī)（MPC）包括一個(gè)內(nèi)部合成器和標(biāo)準(zhǔn)MIDI端口。6視頻卡一、視頻卡的功能視頻卡是一種處理活動(dòng)影像數(shù)據(jù)的擴(kuò)展卡。視頻卡種類：視頻轉(zhuǎn)換卡用來(lái)將視頻信號(hào)

17、轉(zhuǎn)換成計(jì)算機(jī)存儲(chǔ)的數(shù)字視頻信號(hào)保存在計(jì)算機(jī)中或在VGA顯示器 上顯示，或?qū)GA信號(hào)轉(zhuǎn)換成電視信號(hào)，使計(jì)算機(jī)信號(hào)可以在電視或錄像機(jī)上播放。視頻捕捉卡用來(lái)從正在播放的動(dòng)態(tài)畫面中截取一些畫面。窗口動(dòng)態(tài)視頻卡用來(lái)利用重疊、淡入、淡出等功能，提供窗口顯示功能和數(shù)字化靜止畫面。動(dòng)態(tài)視頻捕捉播放卡用來(lái)同時(shí)抓取動(dòng)態(tài)視頻信號(hào)和聲音信號(hào)并加以壓縮、存儲(chǔ)和播放。視頻壓縮卡用來(lái)根據(jù)JPEG/MPEG的標(biāo)準(zhǔn)對(duì)數(shù)據(jù)進(jìn)行壓縮和還原。視頻還原卡用來(lái)實(shí)現(xiàn)將壓縮后保存在計(jì)算機(jī)中的視頻信號(hào)在計(jì)算機(jī)的顯示器上播放出來(lái)。也稱為 視頻回放卡、解壓縮卡或電影卡。電視卡用來(lái)將計(jì)算機(jī)變成一臺(tái)電視機(jī)，收看不同頻道的電視節(jié)目。二、視頻信息的處理視頻處理系統(tǒng)簡(jiǎn)介多媒體計(jì)算