第7章 多媒體技術及其應用

第7章多媒體技術及其應用內(nèi)容提要 本章主要介紹多媒體技術、多媒體創(chuàng)作工具及其應用。包括多媒體、超媒體、超文本的概念，視頻、音頻等各種媒體技術及其制作工具。通過本章學習，要求初步掌握多媒體技術及其應用，了解超文本、超媒體的組成和創(chuàng)作方法以及虛擬現(xiàn)實等多媒體應用。媒體的定義

媒體是一種分發(fā)和表示信息的方法，例如，文本、圖形、圖像和聲音。感知媒體：通過視覺、聽覺和嗅覺來感知周圍的信息媒體的內(nèi)部表示：計算機內(nèi)部表示多媒體信息的方法。例如ASCII、JPEG以及MPEG等媒體的外部表示：輸入輸出多媒體信息的工具和設備存儲媒體：存儲多媒體信息的一個數(shù)據(jù)載體。例如光盤傳輸媒體：信息在有線媒體或無線媒體連接的網(wǎng)絡上傳輸

多媒體系統(tǒng)的特征

信息媒體的多樣性：文本、聲音、圖形、圖像、動畫和視頻等可表達的信息量大：可以通過多媒體的手段，有效、有序地組織龐大的信息，呈現(xiàn)給用戶一個清晰、有組織的信息集多種技術的集成性：新的軟件和硬件技術，并將不同性質(zhì)的設備和信息媒體集成為一體，以計算機為中心綜合處理各種信息處理過程的交互性：交互性使得人們更加具有主動性和可控制性通信系統(tǒng)：計算機網(wǎng)絡/通信實現(xiàn)多媒體信息的共享和分發(fā)

多媒體系統(tǒng)的組成

多媒體硬件系統(tǒng)：支持多媒體信息交互處理所需的硬件設備，如大容量內(nèi)存、聲卡、CD-ROM或DVD-ROM驅(qū)動器、顯卡、視頻卡以及顯示器、掃描儀、數(shù)碼相機、攝像機等。多媒體操作系統(tǒng)：提供程序執(zhí)行的工作環(huán)境，如Windows98/2000/XP等。多媒體創(chuàng)作工具：開發(fā)多媒體應用程序的軟件系統(tǒng)，如Flash、Authorware、Cakewalk等。多媒體應用系統(tǒng)：與特定多媒體應用有關的應用程序和設備，如CD播放器、錄音機、支持VCD的豪杰超級解霸、Realplayer等。

多媒體系統(tǒng)的技術研究與應用開發(fā)

多媒體數(shù)據(jù)的表示與存儲技術：包括文字、聲音、圖形與圖像、動畫、視頻等媒體在計算機中的表示方法。多媒體數(shù)據(jù)的存儲設備與技術：包括CD技術，DVD技術等。多媒體創(chuàng)作和編輯工具：使用這些工具會大大縮短提供信息的時間，并且容易創(chuàng)作出豐富多彩的多媒體產(chǎn)品。多媒體的應用開發(fā)：包括多媒體數(shù)據(jù)庫，環(huán)球超媒體信息系統(tǒng)，多目標廣播技術，影視點播，電視會議，遠程教育系統(tǒng)，多媒體信息檢索等。

多媒體文檔

文檔是由一組不同形式媒體組成的結構化信息體，其主要目標是表達人們的感知和便于計算機的處理。多媒體文檔是由至少一個連續(xù)媒體和一個離散媒體組成的文檔。連續(xù)媒體：視頻(動態(tài)圖像)、音頻（聲音、音樂等）等與時間相關的數(shù)據(jù)。離散媒體：靜態(tài)文字、圖片等與時間無關的數(shù)據(jù)。通過工具軟件，例如編輯器、桌面出版程序等，可以操縱多媒體文檔的數(shù)據(jù)。文檔結構

文檔包括文檔內(nèi)容、文檔結構和模型。標準化文檔結構有標準通用標記語言（SGML）和開放文檔體系（ODA）。文檔內(nèi)容：指文件中存放的表示各種信息的數(shù)據(jù)文檔結構：描述文檔中各模型之間的聯(lián)系，包括鏈接和同步模型：操縱模型、表達模型和演示模型。操縱模型：文檔允許的操作，如創(chuàng)建、修改以及刪除表達模型：定義不同計算機之間信息交換的協(xié)議和數(shù)據(jù)存儲的格式演示模型：定義信息的顯示和輸出方法

超文本與超媒體的概念

超文本與超媒體利用圖結構表示文檔，它提供的方法是建立各種媒體信息之間的網(wǎng)狀鏈接結構。非線性的信息鏈：超文本和超媒體以結點作為信息的基本單位，結點之間采用鏈或邊連接起來形成網(wǎng)狀結構鏈：為了在超文本與超媒體的信息鏈間進行瀏覽,必須在用戶界面上標記能進一步瀏覽其他信息單元的指示器，即通常所稱的鏈。鏈是構成用戶界面的主要要素，它采用“控制按鈕”的方式組織用戶界面超文本系統(tǒng)：通過指示器連接非線性的基本信息單元。不同信息單元的數(shù)據(jù)可以由一個或多個媒體表示多媒體系統(tǒng)：包含連續(xù)和離散編碼的信息。例如，在視頻會議應用中，同時傳輸文檔處理程序產(chǎn)生的文本(離散)和圖像(連續(xù))，就是一個多媒體應用系統(tǒng)超媒體系統(tǒng)：包括超文本系統(tǒng)的非線性信息鏈和多媒體系統(tǒng)中的連續(xù)和離散媒體超文本系統(tǒng)的體系結構

表現(xiàn)層超文本抽象機存儲層存儲層：又稱數(shù)據(jù)庫層，涉及所有存儲數(shù)據(jù)的問題超文本抽象機：該層以存儲層在分布式環(huán)境中存儲的多媒體數(shù)據(jù)的數(shù)據(jù)庫功能為基礎，決定超文本系統(tǒng)的結點和鏈的基本特征，記錄結點之間的鏈接關系以及相關鏈的屬性表現(xiàn)層：又稱用戶界面層，它根據(jù)給定的結構和用戶所期望的顯示，決定了超文本系統(tǒng)的人機交互界面、信息的表現(xiàn)方式、交互操作方式以及瀏覽導航方式結點與同步

結點：結點是超文本中的信息單元，是圍繞某一特殊主題組織起來的數(shù)據(jù)集合。如文本、圖形、圖像、動畫、視頻和音頻、計算機程序等。表現(xiàn)型：表現(xiàn)型結點用于記錄各種媒體信息。組織型：組織型結點用于組織并記錄各結點間的連接關系，是連接超文本網(wǎng)狀結構的紐帶。同步：多媒體系統(tǒng)中的同步指的是，多媒體系統(tǒng)中媒體對象之間的時間關系點為超文本中的信息單元，是圍繞某一特殊主題組織起來的數(shù)據(jù)集合。

指示器

指示器是一個超文本網(wǎng)狀結構的邊或鏈。簡單指示器：鏈接超文本網(wǎng)狀圖中的兩個結點，但不包含任何其他信息鏈接指示器：除了鏈接兩個結點外，還包含進一步的信息。例如作者和創(chuàng)作日期隱式指示器：結點之間的關系由超文本系統(tǒng)自動設立，創(chuàng)作者只需根據(jù)需要編制設立指示器的算法顯式指示器：指作者創(chuàng)建的固定的所有鏈接。

音頻技術

聲音方法學和音頻技術用于處理聲波，它涉及編碼、錄音機或數(shù)字音頻磁帶上的存儲以及音樂和語音的處理。模擬音頻和數(shù)字音頻：模擬音頻的特征是時間上連續(xù)。數(shù)字音頻是離散的數(shù)據(jù)序列。音頻的文件格式：WAV文件：又稱波形文件，Microsoft公司的音頻文件格式。VOC文件：是Creative公司波形音頻文件格式，聲霸卡常使用該格式。RMI文件：MIDI是數(shù)字化樂器接口，是一種將電子樂器與計算機相連接的標準，RMI文件是Microsoft公司的MIDI文件格式。

圖像

圖像是一個對象的立體表現(xiàn)，它可以是兩維或三維的景色。數(shù)字圖像的表示：數(shù)字圖像用矩陣表示，矩陣中每個元素值表示圖像的一個像素。黑白圖像：由0或1表示。 具有灰度或彩色的圖像，每個像素需要多位二進制表示。圖像的格式：BMP格式：一種與設備無關的圖像文件。GIF格式：Compu-Serve公司為制訂彩色圖像傳輸協(xié)議所開發(fā)。TIFF格式：Alaus和Microsoft公司為掃描儀和桌面出版系統(tǒng)研制所開發(fā)。PCX格式：Zsoft公司研制開發(fā)的，主要與商業(yè)性PC-Paintbrush圖像軟件一起使用。TGA格式：Truevision公司用于Targe和VISTA圖像獲取電路板中的TIPS軟件。MMP格式:是Anti-Video公司以及清華大學在其設計制造的Anti-Video和TH-Video視頻信號采集板中采用的圖像文件格式。

圖形

圖形的表示：用直觀的位圖形式顯示圖形的格式：圖形格式通過圖形的基本元素和屬性來表示基本元素：線、矩形、圓和橢圓屬性：表示諸如線的風格、寬度和色彩等影響圖形輸出效果的內(nèi)容PHIGS和GKS軟件包：用于接收圖形的基本元素和屬性表示，并將其轉(zhuǎn)換成位圖的形式進行顯示

視頻和動畫

計算機視頻：計算機的視頻格式與視頻媒體的輸入輸出設備有很大的關系，多媒體計算機中常用的有MPG、AVI以及AVS。MPG是ISO/1993年8月1日正式頒布的國際標準，即MPEG。AVI和AVS是Intel和IBM公司共同研制開發(fā)的數(shù)字視頻交互系統(tǒng)的動態(tài)圖像文件格式。計算機動畫：計算機使用圖形軟件工具所完成的具有視覺效果的動畫。它一般也是以視頻的方式進行存放，最常用的文件格式就是AVI。

多媒體圖像數(shù)據(jù)壓縮技術

壓縮方法：有損編碼和無損編碼數(shù)據(jù)壓縮基礎理論：信息論靜態(tài)圖像壓縮編碼的國際標準：連續(xù)色調(diào)、多級灰度、靜止圖像的JPEG數(shù)字壓縮編碼方法運動圖像壓縮編碼的國際標準：MPEG-Ⅰ：針對運動圖像的數(shù)據(jù)壓縮技術，其圖像質(zhì)量是家用錄像機的質(zhì)量MPEG-Ⅱ：運動圖像及其伴音的通用壓縮技術標準MPEG-Ⅳ：高清晰度電視MPEG-Ⅶ：低數(shù)據(jù)率的電視節(jié)目標準，主要用于交互式多媒體場合

多媒體音頻數(shù)據(jù)壓縮技術

音頻壓縮編碼的國際標準：高保真音頻數(shù)據(jù)壓縮的國際標準（MPEG）。該標準提供三個獨立的壓縮層次：第一層：用于數(shù)字錄像機，壓縮后的數(shù)據(jù)速率為384kbps

第二層：用于數(shù)字廣播的音頻編碼、CD-ROM的音頻信號以及VCD的音頻編碼，壓縮后的數(shù)據(jù)速率為192kbps第三層：MP3和Microsoft公司的WindowsMedia文件格式，壓縮后的數(shù)據(jù)速率為64kbps

多媒體通信系統(tǒng)體系結構

多媒體通信一般可以理解為通過已存在的網(wǎng)絡，傳輸壓縮的數(shù)字圖像和聲音信號。數(shù)字圖像的編碼標準都采用H.261和H.263聲音編碼的主要標準有G.711、G.722和G.728等。構成一個多媒體通信系統(tǒng)需要的硬件有網(wǎng)關、會務器和通信終端。通信終端指的是執(zhí)行H.320、H.323、H.324協(xié)議的計算機或者是執(zhí)行H.324的電話機網(wǎng)關是一臺功能強大的計算機，負責線路交換網(wǎng)絡和信息包交換網(wǎng)絡之間進行實時的雙向通信，同時提供異構網(wǎng)絡之間的連通性會務器是用于連接IP網(wǎng)絡上的H.323電視會議客戶，是電視會議的關鍵部件之一

H.323電視會議

H.323定義局域網(wǎng)上的電話會議以及局域網(wǎng)通過網(wǎng)關擴展到廣域網(wǎng)的電視會議和服務H.323終端是局域網(wǎng)上客戶使用的設備，提供實時的雙向通信H.323網(wǎng)關是一個可選部件，用于LAN電視會議與其他網(wǎng)絡終端的連接H.323會務器是管轄區(qū)域里所有呼叫的中心控制部件，它執(zhí)行兩個重要的呼叫功能:定義在RAS規(guī)范中的地址轉(zhuǎn)換在RAS規(guī)范中定義的網(wǎng)絡管理功能，H.323多點控制單元支持在3個或3個以上的終端之間召開電視會議

H.324可視電話與IP電話

可視電話指的是在調(diào)制解調(diào)器連接的設備之間共享電視圖像、聲音和數(shù)據(jù)。H.324就是由ITU制定的一個可視電話的標準，它包括電視圖像編碼標準、聲音編碼標準、低速率多媒體通信的多路復用協(xié)議、多媒體通信終端之間的控制協(xié)議H.324使用28.8Kb/s調(diào)制解調(diào)器來實現(xiàn)可視電話呼叫者之間的連接IP電話，又稱作因特網(wǎng)電話和VoIP，它指的是在IP網(wǎng)絡上進行電話的呼叫和通話。IP電話與PSTN電話的差異在于它們所使用的交換方式PSTN在線路交換網(wǎng)上使用靜態(tài)的交換技術IP電話采用因特網(wǎng)的動態(tài)路由技術IP電話的通話方式：IP終端之間通話、IP終端與普通電話之間通過IP網(wǎng)絡和PSTN網(wǎng)絡進行通話、普通電話之間通過IP網(wǎng)絡和PSTN網(wǎng)絡進行通話

多媒體創(chuàng)作工具音樂制作:MIDI是一個供不同設備進行信號傳輸?shù)慕涌诘拿Q，制作MIDI的軟件有很多，比較流行的是CakeWalkPro圖形與圖像制作桌面出版程序：例如AdobeFrameMaker、AdobePageMaker以及北大方正等圖像編輯程序：主要用于創(chuàng)建和修改位圖圖像文件。例如AdobePhotoshop、CorelPhoto繪圖程序：主要用于修改矢量圖形、圖像。例如dobeIllustrator、CorelDraw動畫制作軟件：計算機三維就是利用計算機在其二維的屏幕上通過視角的轉(zhuǎn)換顯示出三維的虛擬真實效果。例如3dsmax視頻影像處理軟件：AdobePremiere是眾多影視處理軟件中最具代表性的軟件，它能處理影視作品的視頻編輯和音頻編輯多媒體圖文制作軟件：Authorware是一套多媒體制作軟件

Web創(chuàng)作

Web站點設計：首先要確定站點的整體內(nèi)容，然后將內(nèi)容分解成一系列相關的信息單元Web創(chuàng)作軟件：AdobePageMill、CorelWebSiteBuilder以及MicrosoftFrontpage多媒體編輯語言HTML、DHTML超文本標記語言以及XML語言JavaScriptASP：ASP文件通過＜%…%＞標記對把VBScript或JavaScript腳本語言的程序嵌入ASP頁面文件中，當服務器遇到這對標志時，便將其視為程序來進行解釋執(zhí)行，然后將執(zhí)行的結果傳送到客戶機上供用戶瀏覽PHP：PHP是一種能在UNIX上快速地開發(fā)動態(tài)Web網(wǎng)頁的腳本語言二、虛擬現(xiàn)實虛擬現(xiàn)實是人類“進入”虛擬空間的一種上佳手段。它可以讓人有一種“真實空間”的感受。1、技術起源

30年前，美國有一位名叫艾萬·薩斯蘭的計算機專家創(chuàng)造了一個世界上并不存在的“幾何王國”。參觀這個王國的人只要戴上特制的頭盔，就會身不由己的穿行徜徉在一個由各種幾何圖形組成的世界里，這時在你眼前閃過、頭頂上飄浮和身邊掠過的都是一些大大小小、形狀和顏色各不相同的圓形、方形等圖案，你可以盡情瀏覽，隨意欣賞，品味這個虛幻世界帶來的樂趣。這個“幾何王國”就是世界上最早出現(xiàn)的虛擬現(xiàn)實系統(tǒng)。2、什么是虛擬現(xiàn)實？虛擬現(xiàn)實技術是在計算機技術基礎上發(fā)展起來的。它將計算機、傳感器、圖文聲像等多種設置結合在一起，創(chuàng)造出一個虛擬的“真實世界”。在這個世界里，人們看到、聽到和觸摸到的，都是一個并不存在的虛幻，是現(xiàn)代高超的模擬技術使我們產(chǎn)生了“身臨其境”的感覺。虛擬現(xiàn)實是一種三維的、由計算機制造的模擬環(huán)境。在這個環(huán)境里，用戶可以操縱機器，與機器相互影響，并完全沉浸于其中。因此，從這個定義上看，“虛擬”是從計算機的“虛擬記憶”這個概念派生出來的。虛擬現(xiàn)實向我們提供了一個與我們現(xiàn)實生活極為相似的虛幻世界。虛擬現(xiàn)實不僅僅是一種設計，而且還是一個表達和交流的媒體。借助頭盔顯示器、數(shù)字手套和其它傳感設備，一個人可以與另外一個“虛擬人”進行交流，虛擬現(xiàn)實中的虛擬人可以是機器，也可以是現(xiàn)實人的“虛影”。虛擬現(xiàn)實(VirtualReality，簡稱VR)是近年來出現(xiàn)的高新技術。VR是一項綜合集成技術，涉及計算機圖形學、人機交互技術、傳感技術、人工智能等領域，它用計算機生成逼真的三維視、聽、嗅覺等感覺，使人作為參與者通過適當裝置，自然地對虛擬世界進行體驗和交互作用。VR主要有三方面的含義：第一，虛擬現(xiàn)實是借助于計算機生成逼真的實體，“實體”是對于人的感覺(視、聽、觸、嗅)而言的；第二，用戶可以通過人的自然技能與這個環(huán)境交互，自然技能是指人的頭部轉(zhuǎn)動、眼動、手勢等其他人體的動作；第三，虛擬現(xiàn)實往往要借助于一些三維設備和傳感設備來完成交互操作。近年來，VR已逐漸從實驗室的研究項目走向?qū)嶋H，在軍事、航天、建筑設計、旅游、醫(yī)療和文化娛樂及教育方面得到不少應用。3、虛擬現(xiàn)實技術的應用虛擬現(xiàn)實是未來最重要的技術之一，它將帶動許多領域的進步。目前，虛擬現(xiàn)實在許多領域都得到了應用，比如娛樂、藝術、商業(yè)、通信、設計、教育、工程、醫(yī)學、航空等。①建筑領域虛擬現(xiàn)實已經(jīng)展示了它在雕塑和建筑工業(yè)方面的潛能。一座建筑在它還處于設計階段時，就可以被模擬出來，人們修改它，并可以身臨其境地體驗它的建筑風格。建筑師和業(yè)主可以在建筑開工之前就可看到建筑的外部造型，內(nèi)部結構及裝飾，通風和溫控效果，燈光、視屏及聲響感官舒適度，從而及時完善原有設計。②藝術目前，我們可以通過Internet虛擬地參觀真實的藝術畫廊和博物館。美國和一些歐洲國家博物館已經(jīng)具備了虛擬現(xiàn)實藝術品特殊展覽的能力。虛擬現(xiàn)實將改變我們關于藝術構成的概念。一件藝術品有可能成為一個可操作、可人機對話并令人沉浸其中的經(jīng)歷。你也許會在虛擬油畫中漫游，這里實際上成了你探索的迷你世界。你可以影響畫中的某些要素，甚至可以進行涂改。你可以走進一個雕塑畫廊，然后對其中的藝術品進行修改。在你這樣做的時候，你的思想實際上已經(jīng)融入到藝術品中。③教育和技能培訓紐約一家公司利用虛擬現(xiàn)實技術要求受訓者步行穿過虛擬工廠，設身處地的體驗與了解其公害狀況。今后，學生們可以通過虛擬世界學習到他們想學的知識?；瘜W專業(yè)的學生不必冒著爆炸的危險卻可以做試驗；天文學專業(yè)的學生可以在虛擬星系中邀游，以掌握它們的性質(zhì)；歷史專業(yè)的學生可以觀看不同的歷史事件，甚至可以參與歷史人物的行動，英語專業(yè)的學生可以在世界劇院看莎士比亞戲劇，如同這些劇目首次上演一樣。④工程設計許多工程師已經(jīng)在利用虛擬現(xiàn)實模擬器制造和檢驗樣品了。在航空工業(yè)，首次利用虛擬現(xiàn)實技術設計、試驗的飛機是新型的波音777飛機。實物樣品的生產(chǎn)需要許多時間和經(jīng)費。而改用電子樣品或模擬樣品則可以省時、省錢，縮短新產(chǎn)品的推出周期。因為提出意見與改進的過程都可以在計算機內(nèi)完成。

⑤航天虛擬現(xiàn)實技術近年來在航空業(yè)也得到了長足的發(fā)展。美國宇航局埃姆斯研究中心的科學家將探索火星的數(shù)據(jù)進行處理，得到了火星的虛擬現(xiàn)實圖像。研究人員可以看到全方位的火星表面景象；高山、平川、河流、以及縱橫的溝壑里被風化得斑斑駁駁的巨石，都顯得十分清晰逼真，而且不論你從哪個方向看這些圖，視野中的景象都會隨著你頭的轉(zhuǎn)動