第1章-多媒體技術(shù)概述(北科大 楊揚版)

1、多媒體通信多媒體通信北京科技大學(xué)楊 揚第第1章章 多媒體技術(shù)概述多媒體技術(shù)概述l多媒體技術(shù)的基本概念l多媒體的特征l多媒體計算機(jī)技術(shù)的發(fā)展歷史l多媒體技術(shù)的主要內(nèi)容l多媒體技術(shù)的應(yīng)用l多媒體技術(shù)的發(fā)展趨勢1、基本概念、基本概念l什么是媒體？ 媒體（Medium）在計算機(jī)領(lǐng)域中有兩種含義，一是指用以存儲信息的實體，如磁盤、磁帶、光盤和半導(dǎo)體存儲器；一是指信息的載體，如數(shù)字、文字、聲音、圖形圖像和視頻等。lCCITT曾給媒體做了如下的分類： 感覺媒體（感覺媒體（Perception MediumPerception Medium） 表示媒體（表示媒體（Representation MediumRe

2、presentation Medium） 顯示媒體（顯示媒體（Presentation MediumPresentation Medium） 存儲媒體（存儲媒體（Storage MediumStorage Medium） 傳輸媒體（傳輸媒體（Transmission MediumTransmission Medium）1、基本概念、基本概念CPUOutputDeviceStorageInputDevice表示媒體存儲媒體顯示媒體顯示媒體感覺媒體感覺媒體表示媒體傳輸媒體1、基本概念、基本概念l什么是多媒體？ “多媒體”譯自20世紀(jì)80年代初產(chǎn)生的英文詞“multimedia”，最早出現(xiàn)于美國麻省

3、理工學(xué)院(MIT)遞交給國防部的一個項目計劃報告中。 l多媒體是指信息表示媒體的多樣化，常見的多媒體有文字、圖形、圖像、聲音、音樂、視頻、動畫等多種形式。 l多媒體技術(shù)是利用計算機(jī)技術(shù)把文本、聲音、視頻、動畫、圖形和圖像等多種媒體進(jìn)行綜合處理，使多種信息之間建立邏輯連接，集成為一個完整的系統(tǒng)。l單一媒體：文本、聲音、 視頻、動畫、圖形、圖像l集成的多媒體系統(tǒng)l綜合處理各種媒 體，建立信息間 的邏輯鏈接2、多媒體的特征、多媒體的特征多媒體從本質(zhì)上來說具有三個最重要的特征:- 多維化 - 集成性 - 交互性 除了以上三個特征，實際上多媒體還具有很多其它的特征，例如實時性，它主要指類似聲音和視頻這樣

4、的媒體，它們具有很強的時間相關(guān)性。2.1多媒體的特征多媒體的特征多維化多維化l多維化是指信息媒體的多樣化。它使人們思想的表達(dá)不再限于順序的、單調(diào)的、狹小的范圍內(nèi)，而有充分自由的余地。l多媒體信息多維化不僅是指輸入，而且還指輸出，目前主要包括聽覺和視覺兩個方面。2.2多媒體的特征多媒體的特征集成性集成性l這不僅是指多媒體設(shè)備集成，而且也包含多媒體信息集成或表現(xiàn)集成。 l早期的各項技術(shù)都可以單一使用和應(yīng)用，但很難有大的作為，因為它們是單一的、零散的，如聲音、圖像和交互式技術(shù)等。 l信息空間的不完整（例如，僅有靜態(tài)圖像而無動態(tài)視頻、僅有聲音而無圖形等）都限制了信息空間中的信息組織，也就限制了信息的有

5、效使用。2.3多媒體的特征多媒體的特征交互性交互性l這是人們獲取和使信息變被動為主動的最為重要的特征。 l多媒體信息空間中的交互性向用戶提供更加有效地控制和使用信息的手段，同時也為應(yīng)用開辟了更廣闊的領(lǐng)域，交互可以增加對信息的注意和理解，延長保留的時間。3、多媒體技術(shù)的發(fā)展歷史、多媒體技術(shù)的發(fā)展歷史l多媒體及多媒體技術(shù)產(chǎn)生于20世紀(jì)80年代l1984年Apple公司引入“位圖”的概念進(jìn)行圖像處理，并使用窗口和圖標(biāo)作為用戶界面，這標(biāo)志著多媒體技術(shù)的產(chǎn)生和應(yīng)用l1986年P(guān)HILIPS和SONY公司聯(lián)合推出了交互式緊湊光盤系統(tǒng)，能夠?qū)⒙曇?、文字、圖形、圖像等數(shù)字化信息存儲到光盤上l1990年P(guān)HIL

6、IPS等十多家廠商成立多媒體市場協(xié)會，并制定了MPC(多媒體計算機(jī))市場標(biāo)準(zhǔn)MPC最低功能要求規(guī)格最低功能要求規(guī)格項目項目MPC1MPC1MPC2MPC2MPC3MPC3RAMRAM2MB4MB8MB運算處理器運算處理器16MHz 386SX25 MHz 486SX75 MHz Pentium同等級X86CD-ROMCD-ROM150kB/s最大尋址時間1s300kB/s最大尋址時間400msCD-ROM XA600kB/s最大尋址時間200msCD-ROM XA聲卡聲卡8bit數(shù)字聲音8個合成音MIDI16bit數(shù)字聲音8個合成音MIDI8bit數(shù)字聲音Wavetable(波表)MIDI顯示

7、顯示64048016色64048065536色64048065536色硬盤容量硬盤容量30MB160MB540MB彩色視頻播放彩色視頻播放-352240 30fps輸入輸出端口輸入輸出端口MIDI I/O,搖桿端口，串并聯(lián)端口MIDI I/O,搖桿端口，串并聯(lián)端口MIDI I/O,搖桿端口，串并聯(lián)端口4、多媒體技術(shù)的主要內(nèi)容、多媒體技術(shù)的主要內(nèi)容4.1多媒體的軟硬件平臺l軟件及硬件平臺是實現(xiàn)多媒體系統(tǒng)的物質(zhì)基礎(chǔ)，其中每一項重要的技術(shù)突破都直接影響到多媒體的發(fā)展與應(yīng)用的進(jìn)程。l除了硬件和操作系統(tǒng)，軟硬件平臺還包括多媒體制作、編輯和應(yīng)用系統(tǒng)。4.1多媒體的軟硬件平臺多媒體的軟硬件平臺多媒體應(yīng)用系統(tǒng)

8、多媒體創(chuàng)作編輯軟件多媒體制作平臺與工具多媒體核心系統(tǒng)軟件多媒體計算機(jī)硬件系統(tǒng)4.2專用芯片專用芯片l數(shù)字化后的音頻和視頻數(shù)據(jù)量非常大，因此必須進(jìn)行壓縮并需要大容量的存儲器；音頻和視頻的輸入和輸出是實時的，需要高速度。要實現(xiàn)以上基本的要求，在很多情況下需要專用硬件支持。l多媒體計算機(jī)專用芯片可歸納為兩種類型： 固定功能的芯片 可編程的處理器4.3數(shù)據(jù)壓縮及編碼技術(shù)數(shù)據(jù)壓縮及編碼技術(shù)l多媒體系統(tǒng)要求具有綜合處理聲、圖、文的能力，面臨的主要問題是巨大的數(shù)據(jù)量，尤其是對動態(tài)圖形和視頻圖像l一幅中等分辨率彩色圖像(分辨率為640480，256色，8bit/像素)大約需0.293M字節(jié)的存儲空間，如果用電

9、話線的標(biāo)準(zhǔn)速率(2400bps)傳輸約需17分鐘，一幅同樣分辨率的真彩色(24bit/像素)圖像的數(shù)據(jù)量約為7.37Mbit，一個1000MB（等于8000Mbit）的硬盤只能存約1000幀靜止畫面，一秒鐘全動態(tài)視頻畫面（25幀）約占23.03MB空間，650MB的CD-ROM只能存放約28秒圖像信息。數(shù)數(shù)字字音音頻頻格格式式頻頻帶帶(Hz)帶帶寬寬(KHz)取取樣樣率率(KHz)量量化化位位數(shù)數(shù)存存儲儲容容量量(MB)電電話話20034003.2880.48會會議議電電視視伴伴音音507000716141.68C CD D- -D DA A20200002044.1165.2922D DA

10、AT T20200002048165.762數(shù)數(shù)字字音音頻頻廣廣播播20200002048165.7661分鐘數(shù)字音頻信號需要的存儲空間1分鐘數(shù)字視頻信號需要的存儲空間4.4多媒體同步多媒體同步l在對多媒體數(shù)據(jù)進(jìn)行綜合處理時，不僅要考慮到各種媒體的相對獨立性，為了達(dá)到較好的信息表示效果，還要注意保持媒體之間在時間和空間上的相關(guān)性。l多媒體信息以三種方式相互集成：制約式協(xié)作式交互式4.5多媒體網(wǎng)絡(luò)與分布式處理技術(shù)多媒體網(wǎng)絡(luò)與分布式處理技術(shù)l多媒體單機(jī)系統(tǒng)的研究目前已相對成熟，但對多媒體計算機(jī)網(wǎng)絡(luò)的研究目前還不夠成熟 l數(shù)字化的網(wǎng)絡(luò)集多媒體信息的獲取、存儲、處理、編輯、綜合、傳輸于一體，并運行于網(wǎng)

11、絡(luò)上，網(wǎng)絡(luò)的任意節(jié)點都可以共享網(wǎng)上的多媒體信息l多媒體技術(shù)要充分發(fā)展其對多媒體信息的處理能力，必須與網(wǎng)絡(luò)技術(shù)相結(jié)合 l運行于網(wǎng)絡(luò)環(huán)境下多媒體系統(tǒng)，因為它能夠不受時空限制地使多個用戶透明地共享網(wǎng)上的數(shù)據(jù)，特別是多個用戶同時共同對一個數(shù)據(jù)文件進(jìn)行編輯，這使得多媒體技術(shù)有了更廣泛的應(yīng)用4.6信息的組織與管理信息的組織與管理l多媒體數(shù)據(jù)量巨大，種類繁多，每種媒體之間差異很明顯，但又存在某種關(guān)聯(lián)性。如何管理、組織這些數(shù)據(jù)？如何從各種數(shù)據(jù)中找出所要信息？如何表現(xiàn)這些多媒體信息？l新型的信息管理方法：超媒體（Hypermedia） 信息的組織不是線性的，而是按照某種方式以非線性的形式進(jìn)行存儲、管理和瀏覽。l

12、超文本和超媒體適合表達(dá)多媒體信息 4.7多媒體數(shù)據(jù)存儲多媒體數(shù)據(jù)存儲l隨著因數(shù)字化、網(wǎng)絡(luò)化而開展的各種應(yīng)用的不斷增加，對多媒體網(wǎng)絡(luò)存儲系統(tǒng)的要求也越來越高。l這些要求不僅體現(xiàn)在存儲容量上，還包括以下幾個方面。 可用性和可訪問性可靠性可擴(kuò)展性 靈活性 安全性 易管理性 良好的性價比4.8虛擬現(xiàn)實技術(shù)虛擬現(xiàn)實技術(shù)l所謂虛擬現(xiàn)實，就是采用計算機(jī)技術(shù)生成一個逼真的視覺、聽覺、觸覺及嗅覺的感覺世界，用戶可以用人的自然技能對這個生成的虛擬實體進(jìn)行交互考察。l這個概念包含三層含義： - 虛擬實體用計算機(jī)來生成的一個逼真的實體； - 用戶可以通過人的自然技能(人的頭部轉(zhuǎn)動、眼動、手勢或其它的身體動作)與這個環(huán)

13、境交互； - 要借助于一些三維傳感設(shè)備來完成交互動作，常用的如頭盔立體顯示器、數(shù)據(jù)手套、數(shù)據(jù)服裝、三維鼠標(biāo)等。4.9人機(jī)界面設(shè)計人機(jī)界面設(shè)計l人機(jī)界面設(shè)計的目的是通過對用戶需求的解釋達(dá)到一種人機(jī)之間較好的通信能力。l需要以下幾個方面的研究： 穩(wěn)健的語言處理模式，包括語音識別和自然語言理 解。 手勢分析和理解模型的設(shè)計。 上述兩個方面的通信模式的融合，因為二者之間在 對用戶需求的理解上是相互補充的。 多模式環(huán)境中的對話管理。這是保證一個連續(xù)的對 話過程所必需的。4.10高速多媒體通信技術(shù)高速多媒體通信技術(shù)l高速多媒體通信技術(shù)是指為滿足新一代信息系統(tǒng)中實時多媒體信息傳輸?shù)男枰W(wǎng)絡(luò)的帶寬可能要在1

14、000Gbps以上，而且能支持服務(wù)質(zhì)量控制，以適應(yīng)不同媒體傳輸質(zhì)量的要求。l解決三個方面的難度：相對于傳統(tǒng)的數(shù)據(jù)應(yīng)用而言，網(wǎng)絡(luò)多媒體應(yīng)用通常需要更高的網(wǎng)絡(luò)帶寬；大多數(shù)的多媒體應(yīng)用都要求實時傳輸；多媒體數(shù)據(jù)流通常都存在一定的突發(fā)性，僅僅增加帶寬還不能解決突發(fā)性所帶來的問題。5、多媒體技術(shù)的應(yīng)用、多媒體技術(shù)的應(yīng)用l音/視頻點播 l電子出版物 l醫(yī)療衛(wèi)生l游戲與娛樂 l計算機(jī)視頻會議 l多媒體展示和信息查詢系統(tǒng) lMIS(管理信息系統(tǒng))與OA(辦公自動化) l傳媒、廣告 l教學(xué)管理系統(tǒng) l移動衛(wèi)星6、多媒體技術(shù)的發(fā)展趨勢、多媒體技術(shù)的發(fā)展趨勢l計算機(jī)技術(shù)和網(wǎng)絡(luò)通信技術(shù)的結(jié)合為多媒體技術(shù)的進(jìn)一步應(yīng)用和

15、發(fā)展提供了巨大的可能性，目前這種可能性已經(jīng)逐漸變?yōu)楝F(xiàn)實。l多媒體技術(shù)的未來將朝著智能化和三維化兩個方向發(fā)展。6.1多媒體技術(shù)的發(fā)展趨勢多媒體技術(shù)的發(fā)展趨勢智能化智能化l多媒體技術(shù)中最主要的處理對象就是數(shù)字音頻和數(shù)字圖像，這里的數(shù)字圖像包括了靜態(tài)圖像和動態(tài)圖像（視頻、動畫）。對數(shù)字音頻的研究，主要涉及的是壓縮編碼和語音識別，而對數(shù)字圖像的研究包括了壓縮編碼、圖像分析識別和圖像理解。l無論是自然語言的理解還是圖像理解，都將涉及“智能化”，而智能化的目標(biāo)就是實現(xiàn)人與計算機(jī)的自然交互。l人類一般都是用概念來表達(dá)意志，但是計算機(jī)存儲的都是低層的數(shù)據(jù)，因此很難把這些概念表述出來。這樣就提出來一個如何智能化處理的問題。l人機(jī)交互、語義網(wǎng)6.2多媒體技術(shù)的發(fā)展趨勢多媒體技術(shù)的發(fā)展趨勢三維化三維化l多媒體技術(shù)的一個重要研究內(nèi)容就是將計算機(jī)視覺技術(shù)和圖形學(xué)技術(shù)的內(nèi)容結(jié)合起來，即實現(xiàn)所謂的增強現(xiàn)實技術(shù)。這樣做可以將諸如視頻會議系統(tǒng)的現(xiàn)場圖像和計算機(jī)生成的圖像疊加在一起，使多媒體的應(yīng)用效果產(chǎn)生極大的改觀，應(yīng)用范圍也隨之發(fā)生新的拓展。l計算機(jī)圖形學(xué)從二維圖形發(fā)展到復(fù)雜的、高質(zhì)量的三維的環(huán)境，其相關(guān)的技術(shù)已經(jīng)得到廣泛的應(yīng)用。在娛樂方面，電影和計算機(jī)游戲中廣泛地使用計算機(jī)