第1章-多媒體技術(shù)基礎(chǔ)知識

第一章多媒體技術(shù)基礎(chǔ)知識1．多媒體技術(shù)的基本概念2．多媒體特征與關(guān)鍵技術(shù)3．多媒體計算機系統(tǒng)（軟件和硬件）4．常見多媒體文件格式5．多媒體技術(shù)的發(fā)展與應(yīng)用6．多媒體作品設(shè)計的一般流程內(nèi)容提要§1.1多媒體技術(shù)的基本概念一、媒體的定義“多媒體”一詞譯自英文“Multimedia”，媒體（medium）原有兩重含義：一是指存儲信息的實體，如磁盤、光盤、磁帶、半導體存儲器等，中文常譯作媒質(zhì)；二是指傳遞信息的載體，如數(shù)字、文字、聲音、圖形等，中文譯作媒介。從字面上看，多媒體就是由單個媒體復合而成的，因此上叫多媒體。媒體在計算機科學中有兩層含義：一種含義是指信息的物理載體，如磁盤、光盤、磁帶、卡片等；另一種含義指信息的存在和表現(xiàn)形式，如文字、聲音、圖像、動畫等，多媒體中的媒體是指后者。多媒體計算機不僅能處理文字數(shù)據(jù)之類的信息媒體，而且能處理聲音、圖形、圖像等各種形式的信息載體?！?.1多媒體技術(shù)的基本概念1.1.2媒體的分類國際電話電報咨詢委員會CCITT把媒體分成5類：1.感覺媒體（PerceptionMedium）——指直接作用于人的感覺器官，使人產(chǎn)生直接感覺的媒體。如引起聽覺反應(yīng)的聲音，引起視覺反應(yīng)的圖像等。2.表示媒體（representationMedium）——指傳輸感覺媒體的中介媒體，即用于數(shù)據(jù)交換的編碼。如圖像編碼（JPEG、MPEG等）、文本編碼（ASCII碼、GB2312等）、聲音編碼和視頻編碼等。3.表現(xiàn)媒體（PresentationMedium）——指進行信息輸入和輸出的媒體，如鍵盤、鼠標、掃描儀、話筒、攝像機等為輸入媒體；顯示器、打印機、喇叭等為輸出媒體。4.存儲媒體（StorageMedium）——又稱存儲介質(zhì)，指用于存儲表示媒體的物理介質(zhì)。如硬盤、軟盤、磁盤、光盤、ROM及RAM等。5.傳輸媒體（TransmissionMedium）——指傳輸媒體的物理介質(zhì)。如各種導線、電纜、光纜、電磁波等。多媒體技術(shù)中所說的媒體通常分成如下3類：1．視覺類媒體視覺類媒體（visionmedia）包括圖像、圖形、符號、視頻、動畫等。圖像（image）即位圖圖像（bitmap），將所觀察的景物按行列方式進行數(shù)字化，對圖像的每一點都用一個數(shù)值表示，所有這些值就組成了位圖圖像。圖形（graphics）是圖像的抽象，它反映圖像上的關(guān)鍵特征，如從點、線、面到三維空間的黑白或彩色幾何圖，也稱量圖（VectorGraphic）。符號（symbol）包括文字和文本，主要是人類的各種語言。視頻（video）又稱動態(tài)圖像，是一組圖像按時間順序的連續(xù)表現(xiàn)。動畫（animation）是動態(tài)圖像的一種，與視頻不同之處在于，動畫中的圖像采用的是計算機產(chǎn)生出來或人工繪制的圖像或圖形，而視頻中的圖像采用的是真實的圖像。動畫包括二維動畫、三維動畫等多種形式。1.1.2媒體的分類2．聽覺類媒體聽覺類媒體包括話音、音樂和音響。話音（speech）也叫語音，是人類為表達思想通過發(fā)音器官發(fā)出的聲音，是人類語言的物理形式。音樂是符號化了的聲音，比語音更規(guī)范。音響則指自然界除語音和音樂以外的聲音，包括天空的驚雷、山林的狂風、大海的濤聲等，也包括各種噪聲。3．觸覺類媒體觸覺類媒體通過直接或間接與人體接觸，使人能感覺到對象位置、大小、方向、方位、質(zhì)地等性質(zhì)。1.1.2媒體的分類1.1.3多媒體技術(shù)的定義多媒體技術(shù)就是計算機綜合處理聲、文字、圖信息的技術(shù)，具有集成性、實時性和交互性。它集文字、聲音、圖像、視頻、通信等多項技術(shù)于一體，采用計算機的數(shù)字記錄和傳輸傳送方式，對各種媒體進行處理，具有廣泛的用途。多媒體技術(shù)的研究涉及計算機硬件、計算機軟件、計算機網(wǎng)絡(luò)、人工智能、電子出版等，其產(chǎn)業(yè)涉及電子工業(yè)、計算機工業(yè)、廣播電視、出版業(yè)和通訊業(yè)等。本教材主要討論文字、圖像、音頻、視頻、動畫等處理技術(shù)。§1.2多媒體的特征與關(guān)鍵技術(shù)多媒體除了具有信息媒體多樣化的特征之外，還具有以下4個特性：1．數(shù)字化——多媒體技術(shù)是一種“全數(shù)字”技術(shù)。以數(shù)字技術(shù)為基礎(chǔ)進行生成、存儲、處理和傳送。2．交互性——指人機交互，使人能夠參與對信息的控制、使用活動。3．集成性——是將多種媒體信息有機地組合到一起，共同表現(xiàn)一個事物或過程，實現(xiàn)“圖、文、聲”一體化。4．實時性——多媒體技術(shù)處理的信息有些和時間密切相關(guān)，必須實時處埋，比如新聞報導等，需及時采集、處理和傳送。1.2.2多媒體的關(guān)鍵技術(shù)1．數(shù)據(jù)壓縮與編碼技術(shù)多媒體系統(tǒng)要處理文字、聲音、圖形、圖像、動畫、活動視頻等多種媒體信息，高質(zhì)量的多媒體系統(tǒng)要處理三維圖形、高保真立體聲音、真彩色全屏幕運動畫面等。為了得到理想視聽效果，還要實時處理大量的數(shù)字視頻、音頻信息。多媒體系統(tǒng)的數(shù)據(jù)量大的令人難以想象。因此，對多媒體信息進行壓縮是十分必要的（如果沒有這種技術(shù)，可以結(jié)論，多媒體技術(shù)便沒有今天的繁榮且方興未艾的大好景象）。1.2.2多媒體的關(guān)鍵技術(shù)（1）有損和無損壓縮：在視頻壓縮中有損（Lossy

）和無損（Lossless）的概念與靜態(tài)圖像中基本類似。無損壓縮也即壓縮前和解壓縮后的數(shù)據(jù)完全一致。多數(shù)的無損壓縮都采用RLE行程編碼算法。有損壓縮意味著解壓縮后的數(shù)據(jù)與壓縮前的數(shù)據(jù)不一致。在壓縮的過程中要丟失一些人眼和人耳所不敏感的圖像或音頻信息，而且丟失的信息不可恢復。1.2.2多媒體的關(guān)鍵技術(shù)（2）幀內(nèi)和幀間壓縮：幀內(nèi)（Intraframe）壓縮也稱為空間壓縮（Spatialcompression）。當壓縮一幀圖像時，僅考慮本幀的數(shù)據(jù)而不考慮相鄰幀之間的冗余信息，這實際上與靜態(tài)圖像壓縮類似。幀內(nèi)一般采用有損壓縮算法，由于幀內(nèi)壓縮時各個幀之間沒有相互關(guān)系，所以壓縮后的視頻數(shù)據(jù)仍可以以幀為單位進行編輯。幀內(nèi)壓縮一般達不到很高的壓縮。采用幀間（Interframe）壓縮是基于許多視頻或動畫的連續(xù)前后兩幀具有很大的相關(guān)性，或者說前后兩幀信息變化很小的特點。也即連續(xù)的視頻其相鄰幀之間具有冗余信息，根據(jù)這一特性，壓縮相鄰幀之間的冗余量就可以進一步提高壓縮量，減小壓縮比。1.2.2多媒體的關(guān)鍵技術(shù)（3）對稱和不對稱編碼：對稱性（symmetric）是壓縮編碼的一個關(guān)鍵特征。對稱意味著壓縮和解壓縮占用相同的計算處理能力和時間，對稱算法適合于實時壓縮和傳送視頻，如視頻會議應(yīng)用就以采用對稱的壓縮編碼算法為好。不對稱或非對稱意味著壓縮時需要花費大量的處理能力和時間，而解壓縮時則能較好地實時回放，也即以不同的速度進行壓縮和解壓縮。目前有多種視頻壓縮編碼方法，但其中最有代表性的是MPEG數(shù)字視頻格式和AVI數(shù)字視頻格式。對于靜態(tài)圖像壓縮的標準算法是JPEG。1.2.2多媒體的關(guān)鍵技術(shù)2．數(shù)字圖像技術(shù)隨著數(shù)字技術(shù)的不斷發(fā)展和應(yīng)用，現(xiàn)實生活中的許多信息都可以用數(shù)字形式的數(shù)據(jù)進行處理和存儲，數(shù)字圖像就是這種以數(shù)字形式進行存儲和處理的圖像。利用計算機可以對它進行常規(guī)圖像處理技術(shù)所不能實現(xiàn)的加工處理，還可以將它在網(wǎng)上傳輸，可以多次拷貝而不失真。1.2.2多媒體的關(guān)鍵技術(shù)2．數(shù)字圖像技術(shù)（1）獲得圖像的方法許多帶有圖像的文件都使用仿真圖像如35mm幻燈片、透射片或反射片。要獲得一個數(shù)字圖像必須將圖像中的像素轉(zhuǎn)換成數(shù)字信息，以便在計算器上進行處理和加工。將仿真圖像轉(zhuǎn)換成數(shù)字圖像的工作，通常可由掃描儀來完成。（2）設(shè)計規(guī)劃數(shù)字化的方法一個應(yīng)用范圍廣泛的軟件可以支持數(shù)字化的圖像處理，如產(chǎn)生數(shù)字圖形，修改數(shù)字圖片，進行一些諸如頁面設(shè)計之類的技術(shù)加工，并將一些圖素組合在一個圖像中。1.2.2多媒體的關(guān)鍵技術(shù)（3）數(shù)字圖像再現(xiàn)的方法利用不同的技術(shù)可以在一臺寬幅輸出設(shè)備上產(chǎn)生數(shù)字圖像，其中液體噴墨技術(shù)、靜電技術(shù)、固體噴墨技術(shù)、熱轉(zhuǎn)換技術(shù)和照相技術(shù)是當今采用的幾種主要的技術(shù)。（4）后處理使用特殊的介質(zhì)、油墨或滾壓成像的圖像，都能夠經(jīng)受得住日曬和日常氣候條件變化的影響。計算機圖像技術(shù)就是對圖像進行計算機處理，使其更適合人眼或儀器的分辨，拾取其中信息。

1.2.2多媒體的關(guān)鍵技術(shù)計算機圖像處理的過程包括輸入、數(shù)字化處理和輸出：輸入即圖像采集和數(shù)字化，就是要對模擬圖像抽樣、量化后得到數(shù)字圖像，并存儲到計算機中以待進一步處理。數(shù)字化處理是按一定要求對數(shù)字圖像進行。諸如濾波、銳化、復原、重現(xiàn)、矯正等處理，以提取圖像中的主要信息。輸出則是將處理后的數(shù)字圖像顯示、打印或以其他方式表現(xiàn)出來。

1.2.2多媒體的關(guān)鍵技術(shù)3．數(shù)字音頻技術(shù)

數(shù)字音頻是一個數(shù)據(jù)序列，在時間上是斷續(xù)的。數(shù)字音頻是通過采樣和量化，把模擬量表示的音頻信號轉(zhuǎn)換成由許多二進制數(shù)1和0組成的數(shù)字音頻信號。計算機內(nèi)的基本數(shù)制是二進制，為此我們也要把聲音數(shù)據(jù)寫成計算機的數(shù)據(jù)格式，這稱之為編碼音頻數(shù)字化。計算機內(nèi)的音頻必須是數(shù)字形式的，因此必須把模擬音頻信號轉(zhuǎn)換成有限個數(shù)字表示的離散序列，即實現(xiàn)音頻數(shù)字化。在這一處理技術(shù)中，涉及到音頻的抽樣、量化和編碼。1.2.2多媒體的關(guān)鍵技術(shù)多媒體技術(shù)中的數(shù)字音頻技術(shù)包括三個方面的內(nèi)容：（1）聲音采集及回放技術(shù)——把模擬音頻轉(zhuǎn)成數(shù)字音頻，并按數(shù)字音頻文件的格式保存，以及把數(shù)字音頻播放出來的技術(shù)。（2）音識別技術(shù)——將聲音轉(zhuǎn)換成為文本（文字）或代碼。（3）音合成技術(shù)——聲音合成技術(shù)主要用于語音合成和音樂合成（MIDI音樂）。1.2.2多媒體的關(guān)鍵技術(shù)4．數(shù)字視頻技術(shù)數(shù)字視頻就是先用攝像機之類的視頻捕捉設(shè)備,將外界影像的顏色和亮度信息轉(zhuǎn)變?yōu)殡娦盘?，再記錄到儲存介質(zhì)（如錄像帶、磁盤、光盤等）。播放時，視頻信號被轉(zhuǎn)變?yōu)閹畔?，并以每秒約30幀的速度投影到顯示器上，使人類的眼睛認為它是連續(xù)不間斷地運動著的，電影播放的幀率大約是每秒24幀。1.2.2多媒體的關(guān)鍵技術(shù)數(shù)字視頻技術(shù)的發(fā)展數(shù)字視頻的發(fā)展主要是指在個人計算機上的發(fā)展，可以大致分為初級、主流和高級幾個歷史階段：第—階段是初級階段，其主要特點就是在臺式計算機上增加簡單的視頻功能，但是由于設(shè)備還未能普及，都是面向制作視頻制作領(lǐng)域的專業(yè)人員。在普通PC用戶還無法奢望在自己的電腦上實現(xiàn)視頻功能。第二個階段為主流階段，在這個階段數(shù)字視頻在計算機中得到廣泛應(yīng)用，成為主流。第三階段是高級階段，在這一階段，普通個人計算機進入了成熟的多媒體計算機時代。1.2.2多媒體的關(guān)鍵技術(shù)數(shù)字視頻技術(shù)與數(shù)字音頻技術(shù)相似，數(shù)字視頻技術(shù)一般應(yīng)包括：（1）視頻采集回放——把模擬視頻轉(zhuǎn)成數(shù)字視頻,并按數(shù)字視頻文件的格式保存，以及把數(shù)字視頻播放出來的技術(shù)。（2）視頻編輯——是對磁盤上的視頻文件進行剪輯、逐幀修編、加入特技等處理。（3）三維動畫視頻制作——是運用相應(yīng)軟件，將靜止圖像轉(zhuǎn)換成為動畫視頻圖像。視頻編輯和三維動畫視頻制作可以在沒有圖像采集卡的環(huán)境下完成。1.2.2多媒體的關(guān)鍵技術(shù)5．多媒體網(wǎng)絡(luò)技術(shù)可運行多種媒體的計算機網(wǎng)絡(luò)稱為多媒體網(wǎng)絡(luò)，數(shù)字化的多媒體網(wǎng)絡(luò)將多媒體信息的獲取、處理、編輯、存儲融為一體，并在網(wǎng)絡(luò)上運行，這樣的多媒體系統(tǒng)不受時空的限制，多個用戶可以共享網(wǎng)上的多媒體信息。此外，多個用戶還可以同時對同一個文件進行編輯。在進行多媒體網(wǎng)絡(luò)通信時，有時需要實時同步傳送音頻和視頻信號；有時傳送非實時的多媒體信息。前者稱為同步通信，后者稱為異步通信。1.2.2多媒體的關(guān)鍵技術(shù)6．超媒體技術(shù)超媒體是收集、存儲、瀏覽離散信息并建立和表示信息之間關(guān)系的技術(shù)，它可以理解為將多媒體用鏈連接而組成的網(wǎng)，媒體之間的鏈接是錯綜復雜的。用戶可以對該網(wǎng)進行查詢、瀏覽等操作。這種非線性網(wǎng)絡(luò)結(jié)構(gòu)由節(jié)點和鏈組成，其中節(jié)點是存儲信息的單元，而鏈代表不同節(jié)點中所存信息之間的聯(lián)系。在任意兩個節(jié)點之間可以有許多不同的路徑，用戶可以根據(jù)需要選擇使用?！?.3多媒體計算機系統(tǒng)多媒體系統(tǒng)是指能夠提供交互式處理文本、聲音、圖像和視頻等多種媒體信息的計算機系統(tǒng)。故通常認為其由4個部分組成：多媒體硬件系統(tǒng)、多媒體操作系統(tǒng)、媒體處理系統(tǒng)工具和用戶應(yīng)用軟件。

1．多媒體硬件系統(tǒng)——包括計算機硬件、聲音／視頻處理器、多種媒體輸入／輸出設(shè)備及信號轉(zhuǎn)換裝置、通信傳輸設(shè)備及接口裝置等。其中，最重要的是根據(jù)多媒體技術(shù)標準而研制成的多媒體信息處理芯片和板卡、光盤驅(qū)動器等?！?.3多媒體計算機系統(tǒng)多媒體計算機硬件系統(tǒng)主要包括以下幾部分：（1）多媒體主機，如個人機、工作站、超級微機等。（2）多媒體輸入設(shè)備，如攝像機、電視機、麥克風、錄像機、視盤、掃描儀、CD-ROM等。（3）多媒體輸出設(shè)備，如打印機、繪圖儀、音響、電視機、喇叭、錄音機、錄像機、高分辨率屏幕等。（4）多媒體存儲設(shè)備，如硬盤、光盤、聲像磁帶等。（5）多媒體功能卡，如視頻卡、聲音卡、壓縮卡、家電控制卡、通信卡等。（6）操縱控制設(shè)備，如鼠標器、操縱桿、鍵盤、觸摸屏等?！?.3多媒體計算機系統(tǒng)多媒體計算機軟件系統(tǒng)包括多媒體操作系統(tǒng)、圖形用戶接口和支持多媒體數(shù)據(jù)開發(fā)的應(yīng)用工作軟件。多媒體計算機的軟件系統(tǒng)是以操作系統(tǒng)為基礎(chǔ)的。2．多媒體操作系統(tǒng)——或稱為多媒體核心系統(tǒng)（Multimediakernelsystem），是指“除具有一般操作系統(tǒng)的功能外，還具有多媒體底層擴充模塊，支持高層多媒體信息的采集、編輯、播放和傳輸?shù)忍幚砉δ艿南到y(tǒng)”。它具有實時任務(wù)調(diào)度、多媒體數(shù)據(jù)轉(zhuǎn)換和同步控制、對多媒體設(shè)備的驅(qū)動和控制以及圖形用戶界面管理等?！?.3多媒體計算機系統(tǒng)3．多媒體處理系統(tǒng)工具——或稱為多媒體系統(tǒng)開發(fā)工具軟件，是多媒體系統(tǒng)重要組成部分。4．用戶應(yīng)用軟件——根據(jù)多媒體系統(tǒng)終端用戶要求而研制的應(yīng)用軟件或面向某一領(lǐng)域的用戶應(yīng)用軟件系統(tǒng)，它是面向大規(guī)模用戶的軟件產(chǎn)品?！?.4常見多媒體文件格式每一類多媒體信息，都可以一種或多種文件格式保存在電腦存儲中。每一種文件格式通常會有一種或多種擴展名可以用來識別。1．4．1常見圖形圖像文件格式

BMP格式——BMP是一種與硬件設(shè)備無關(guān)的圖像文件格式，使用非常廣。它采用位映射存貯格式，除了圖像深度可選以外，不采用其它任何壓縮，因此，BMP文件所占用的空間很大。

PCX格式——PCX格式是PC畫筆的圖像文件格式。

TIFF格式——TIFF（TagImageFileFormat）文件是由Aldus和Microsoft公司為掃描儀和桌上出版系統(tǒng)研制開發(fā)的一種較為通用的圖像文件格式。1．4．1常見圖形圖像文件格式

GIF格式——GIF（GraphicsInterchangeFormat）是CompuServe公司在1987年開發(fā)的圖像文件格式。GIF的圖像深度從1bit到8bit，也即GIF最多支持256種顏色的圖像。GIF格式的另一個特點是其在一個GIF文件中可以存多幅彩色圖像，如果把存于一個文件中的多幅圖像數(shù)據(jù)逐幅讀出并顯示到屏幕上，就可構(gòu)成一種最簡單的動畫。

SWF格式——SWF（ShockWaveFlash）是Macromedia公司軟件Flash生成的一種動畫文件格式。但需要Flash軟件或插件才能播放。

JPEG格式——JPEG（JointPhotographicExpertsGroup）是由CCITT（國際電報電話咨詢委員會）和ISO（國際標準化組織）聯(lián)合組成的一個圖像專家組制訂的第一個壓縮靜態(tài)數(shù)字圖像的國際標準。JPEG采用對稱的壓縮算法，也即在同一系統(tǒng)環(huán)境下壓縮和解壓縮所用的時間相同。采用JPEG壓縮編碼算法壓縮的圖像，其壓縮比約為1:5至1:50，甚至更高。

PNG格式——PNG(PortableNetworkGraphicFormat，便攜式網(wǎng)絡(luò)圖象格式)是W3C組織在20世紀90年代中期開始開發(fā)的一種無損位圖文件存儲格式，1996年10月1日正式公布，是一種輕便、無法律障礙、壓縮性能好且規(guī)范好的一個標準，其目的是企圖替代GIF和TIFF，同時增加一些它們文件格式所不具備的特性。1．4．1常見圖形圖像文件格式1．4．2常見音頻文件格式1．MID音頻文件格式2．MP3音頻文件格式3．WMA音頻文件格式4.RealAudio音頻文件格式5．WAV音頻文件格式6.CD音頻文件格式1．4．3常見視頻文件格式1．AVI視頻文件格式2．WMV視頻文件格式3．MPEG視頻文件格式4．DV視頻文件格式5．RM/RMVB視頻文件格式6．MOV視頻文件格式7．M4V8．3GP——是一種3G流媒體的視頻編碼格式，主要是為了配合3G網(wǎng)絡(luò)的高傳輸速度而開發(fā)的，也是手機中的一種視頻格式。9．FLV——全稱為“Flashvideo”，是一種新興的網(wǎng)絡(luò)視頻格式，已成為當前視頻文件的主流格式。FLV格式來分享視頻。1．4．4不同文件格式的轉(zhuǎn)換格式轉(zhuǎn)換器是將一種文件格式轉(zhuǎn)換成為另一種文件格式的軟件。包括有視頻轉(zhuǎn)換器、音頻轉(zhuǎn)換器、圖片格式轉(zhuǎn)換器、文檔格式轉(zhuǎn)換器等等。視頻轉(zhuǎn)換器可以通過視頻轉(zhuǎn)換，將rmvb、mov視頻格式轉(zhuǎn)DVD支持的格式，實現(xiàn)視頻在影碟機的播放；或者將網(wǎng)上下載的視頻轉(zhuǎn)換成手機能播放的3GP格式，實現(xiàn)視頻在手機上播放。轉(zhuǎn)換器視頻轉(zhuǎn)換器