多媒體技術(shù)講義第一章概論

多媒體技術(shù)講義第一章概論第一頁，共三十頁，2022年，8月28日2003.9內(nèi)容簡介第一部分 媒體與多媒體數(shù)據(jù)流第二部分 多媒體計算機(jī)技術(shù)概述本部分介紹多媒體系統(tǒng)的基本概念和多媒體系統(tǒng)的組成要素，首先對多媒體這個術(shù)語的含義進(jìn)行界定，然后對不同的媒體特征進(jìn)行描述，并指出多媒體系統(tǒng)的重要特性，最后介紹多媒體系統(tǒng)中的數(shù)據(jù)流特征和邏輯數(shù)據(jù)單元(LDU,LogicalDataUnit)。概述多媒體計算機(jī)的定義、分類、現(xiàn)狀及發(fā)展趨勢。第二頁，共三十頁，2022年，8月28日Part1.

媒體與數(shù)據(jù)流

媒體的概念與分類

多媒體系統(tǒng)的主要特征

多媒體的概念

傳統(tǒng)的數(shù)據(jù)流特性

連續(xù)媒體的數(shù)據(jù)流特性

信息單元

本部分介紹多媒體系統(tǒng)的基本概念和多媒體系統(tǒng)的組成要素，首先對多媒體這個術(shù)語的含義進(jìn)行界定，然后對不同的媒體特征進(jìn)行描述，并指出多媒體系統(tǒng)的重要特性，最后介紹多媒體系統(tǒng)中的數(shù)據(jù)流特征和邏輯數(shù)據(jù)單元(LDU,LogicalDataUnit)。第三頁，共三十頁，2022年，8月28日200媒體的概念與分類媒體的概念媒體的類型感知媒體(ThePerceptionMedium)表示媒體(TheRepresentationMedium)表現(xiàn)媒體(ThePresentationMedium)存儲媒體(TheStorageMedium)傳輸媒體(TheTransmissionMedium)信息交換媒體(TheInformationExchangeMedium)

一般說來，媒體是一種信息發(fā)布和表現(xiàn)的方法，如文本、圖形、語音、音樂等，也可以將水和空氣加入媒體范疇。根據(jù)ISOIECJTC1/SC29標(biāo)準(zhǔn)，媒體可以劃分成6種類型。

幫助人來感知環(huán)境。要解決的主要問題是：人在計算機(jī)環(huán)境中如何感知信息?視、聽

……用信息的計算機(jī)內(nèi)部表示來刻畫。要解決的主要問題是：計算機(jī)信息如何編碼?PCM,MPEG,……指信息輸入/輸出的工具和設(shè)備。要解決的問題是：信息通過何種媒體輸入到計算機(jī)中或從計算機(jī)中輸出?喇叭、攝像機(jī)

……是指能支持信息存儲的數(shù)據(jù)載體，數(shù)據(jù)存儲并不局限于計算機(jī)的部件，例如，紙也是一種存儲媒體。要解決的問題是：信息存儲力：什么地力?縮微膠片、軟盤、CD-ROM……傳輸媒體用于傳輸數(shù)據(jù)信息，它們支持連續(xù)媒體的數(shù)據(jù)傳輸，存儲媒體不屬于傳輸媒體的范圍。要解決的問題是：在什么上而傳輸信息?網(wǎng)絡(luò)、光纖、無線通信……信息交換媒體包括所有用于傳輸和存儲的信息載體。要回答的主要問題是：在不同地點(diǎn)之間使用哪種信息載體來進(jìn)行信息交換?三個答案：通過中間存儲媒體、使用計算機(jī)網(wǎng)絡(luò)、組合使用存儲媒體和傳輸媒體(如電子郵件系統(tǒng))。第四頁，共三十頁，2022年，8月28日2003.9媒體的概念與分類(cont.)表示值與描述空間(TheRepresentationValues&Spaces)表示維數(shù)(RepresentationDimensions)

表示值決定：不同媒體的信息表示。它可以是離散型(Discrete)的，也可以是連續(xù)型

(Continuous)的。每種媒體定義了自己的表示值和表示空間某些表示值是自包含(self-contained)的，由接受者作適當(dāng)?shù)慕忉屇承┟襟w需要預(yù)定義符號集，用戶必須遵守媒體表示方法、手段的多樣性，表示能力的差異性

每個表示空間由一個或多個表示維組成。除空間維外，時間是一個重要的表示維。根據(jù)時間在表示空間中的作用，由可以將媒體劃分成獨(dú)立于時間的媒體與依賴于時間的媒體。時間依賴媒體、離散媒體和連續(xù)媒體這些術(shù)語與信息的計算機(jī)內(nèi)部表示無關(guān)，它們與觀察者或聆聽者的感覺有關(guān)。如電影，它由離散的數(shù)值組成，當(dāng)它以15幀/秒顯示時，人們就有連續(xù)感。第五頁，共三十頁，2022年，8月28日200多媒體系統(tǒng)的主要特征多媒體系統(tǒng)的定義多媒體系統(tǒng)的特點(diǎn)媒體的組合(CombinationofMedia)注意：不是所有的媒體任意組合均可稱之為“Multimedia”，我們所談?wù)摰摹岸嗝襟w”應(yīng)該包含連續(xù)型媒體和離散型媒體獨(dú)立性(Independence)媒體的一個重要的特性是它的獨(dú)立性。一般的應(yīng)用也需要各種媒體具有一定的獨(dú)立性，但是多媒體系統(tǒng)需要的是多個層次的獨(dú)立性。計算機(jī)支持的媒體集成(Computer-supportedIntegration)媒體的獨(dú)立性使多種媒體的組合成為可能，而計算機(jī)是實(shí)現(xiàn)這種組合的理想工具(既有多媒體處理能力，又有二次開發(fā)的功能支持)。通信系統(tǒng)(CommunicationSystems)多媒體系統(tǒng)必須具備通信能力(先今的計算機(jī)大部分是互聯(lián)的、很多有趣的多媒體應(yīng)用是專門為分布式計算環(huán)境而設(shè)計的)。

多媒體系統(tǒng)的特征是：用計算機(jī)對一些獨(dú)立的信息進(jìn)行一體化的制作、處理、表現(xiàn)、存儲和通信，這些信息必須至少通過一種連續(xù)(時間有關(guān))媒體和一種離散(時間無關(guān))媒體進(jìn)行編碼。MultimediaSystemischaracterizedbycomputer-controlled,integratedproduction,manipulation,presentation,storageandcommunicationofindependentinformation,whichisencodedatleastthroughacontinuous(time-dependent)andadiscrete(time-independent)medium.任何支持一種以上媒體的系統(tǒng)都可以稱為多媒體系統(tǒng)？??!第六頁，共三十頁，2022年，8月28日200多媒體的概念

狹義的“多媒體”廣義的“多媒體”

只要同時處理了多種媒體、就可以使用“多媒體”這個提法??！多媒體系統(tǒng)必須包括連續(xù)媒體，同時為處理離散媒體，引入重要的時間邊界條件(通過連續(xù)媒體)，但這些條件直到現(xiàn)在才在計算機(jī)中得到使用。Multimedia: Multi＋Medium

Multi-:[lat.:much]many;much;multiple

Medium:[lat.:middle]Aninterveningsubstancethroughwhichsomethingistransmittedorcarriedon;Ameansofmasscommunicationsuchasnewspaper,magazine,ortelevision.[fromAmericanHeritageElectronicDictionary,1991]

集成性交互性同步性！第七頁，共三十頁，2022年，8月28日200傳統(tǒng)的數(shù)據(jù)流特性在分布式多媒體通信系統(tǒng)中，信息的交換是伴隨著連續(xù)媒體和離散媒體數(shù)據(jù)的傳輸產(chǎn)生的傳輸媒體的信息類型的差異使得數(shù)據(jù)流間的特征差異很大在計算機(jī)通信相交互領(lǐng)域中有三種傳輸模式異步傳輸模式(ATM,AsynchronousTransmissionMode)

同步傳輸模式(STM,SynchronousTransmissionMode)

等時傳輸模式(ITM,IsochronousTransmissionMode)信息的傳送不受時間條件的約束，數(shù)據(jù)包總是盡可能快地被送達(dá)接收端；例子：互聯(lián)網(wǎng)上電了郵件的傳輸協(xié)議、以太網(wǎng)；特點(diǎn)：所有離散媒體信息都可以作為異步數(shù)據(jù)流來傳輸，而傳輸連續(xù)媒體，則必須使用其他技術(shù)來提供時間約束。

等時傳輸模式對于每個包的端到端延時在規(guī)定一個最大值之外還規(guī)定一個最小值。這就意味著單個包的延時跳動被限定在了一個更小的范圍內(nèi)。在這種模式下，上例子中的接收端所需緩存就大大減小了，當(dāng)然還要把數(shù)據(jù)路由經(jīng)過的從起點(diǎn)到終點(diǎn)間所有中間部件中的存儲都考慮在內(nèi)。

同步傳輸模式為數(shù)據(jù)流中的每個數(shù)據(jù)包規(guī)定了一個端到端的最大延時，包可以在早于這個最大延時的任意時刻到達(dá)接收端，但絕對不能超過這個最大延時，這樣多媒體應(yīng)用的一個重要要求--端到端(End-to-End)最大延時就得到了保證。另外在支持同步傳輸模式的局域網(wǎng)上還可以進(jìn)行音頻信號傳輸。使用檢索方式(RetrievalMode)傳送未壓縮的視頻數(shù)據(jù)的重要特征是具有較高的數(shù)據(jù)速率，相應(yīng)也有較大的端到端延時。典型的數(shù)據(jù)速率是140Mb/s、最大延時1秒，所以在極端情況下，包可以提前1秒被送達(dá)，這樣就需要一個緩沖存儲來保存這些數(shù)據(jù)．如果按上面的數(shù)據(jù)速率這個緩沖需要有17.5兆字節(jié)。第八頁，共三十頁，2022年，8月28日200連續(xù)媒體的數(shù)據(jù)流特性傳輸中相鄰數(shù)據(jù)包間的時間間隔如果相鄰包之間的時間間隔是一個常量，那么這個數(shù)據(jù)流就是強(qiáng)周期性的，也就是說時間間隔的變化值為0如果兩個相鄰包之間的時間間隔長度不是常數(shù)(否則就是強(qiáng)周期數(shù)據(jù)流)。但可以用一個有固定周期的函數(shù)來描述，那么就稱這種數(shù)據(jù)流為弱周期性的以其他時間間隔形式傳輸?shù)臄?shù)據(jù)稱為非周期數(shù)據(jù)流第九頁，共三十頁，2022年，8月28日2003.9連續(xù)媒體的數(shù)據(jù)流特性(cont.)傳輸中相鄰數(shù)據(jù)包數(shù)量的變化在數(shù)據(jù)流的生命周期中，數(shù)據(jù)包的大小沒有改變，則稱該數(shù)據(jù)流是強(qiáng)規(guī)則的。未壓縮數(shù)據(jù)的傳的具有這種典型特征，例如以未壓縮形式傳輸?shù)囊曨l數(shù)據(jù)流以及CD中的音頻數(shù)據(jù)流。如果包的數(shù)據(jù)量隨時間作周期性的變化，就稱這種數(shù)據(jù)流為弱規(guī)則的。按以下壓縮方法進(jìn)行壓縮的視頻數(shù)據(jù)的數(shù)據(jù)流是弱規(guī)則的：對視頻序列中的某些圖像單獨(dú)壓縮編碼，使之成為數(shù)據(jù)流中相對較大的包（不考慮網(wǎng)絡(luò)對包長度的限制），并使這些包以一定的時間間隔(如2秒)在數(shù)據(jù)流中周期性地出現(xiàn)，而在這些時間間隔內(nèi)傳送的是圖像的附加包，它包含兩幅相鄰壓縮的圖像間的差別。如果數(shù)據(jù)包的數(shù)據(jù)量既不恒定也不依某個周期函數(shù)變化，那么就稱這個數(shù)據(jù)流為不規(guī)則的，這種情況下的數(shù)據(jù)傳輸與處理就更為復(fù)雜。在對數(shù)據(jù)流進(jìn)行壓縮時，數(shù)據(jù)流有一個可變的位率，從單幅圖像得來的單個包的大小取決于前一幅變化圖像的內(nèi)容。這樣產(chǎn)生的信息單元的大小就與視頻序列的內(nèi)容有關(guān)，從而使得數(shù)據(jù)流變成不規(guī)則。第十頁，共三十頁，2022年，8月28日2003.9連續(xù)媒體的數(shù)據(jù)流特性(cont.)包的連續(xù)性連續(xù)傳輸：所有的包都緊跟在前一個包后面?zhèn)鬏?，中間沒有空隙，必要的附加倍息(如誤差控制代碼)也在其中，這樣就100%地利用了系統(tǒng)資源。以這種連接方式傳輸?shù)臄?shù)據(jù)流可以獲得最大的數(shù)據(jù)吞吐量并最大限度地利用系統(tǒng)資源。ISDN中傳送音頻信息的64kb/s的B通道采用的就是這種傳輸力式。首尾相接的數(shù)據(jù)包在傳輸時如果通道的容納能力大于數(shù)據(jù)的輸入速率，包與包之間就會出現(xiàn)空隙，如圖2.8所示。這種在信息單元間有空隙的數(shù)據(jù)流稱為非連續(xù)數(shù)據(jù)流，但空隙是否存在于所有的包之間以及空隙的長度是否變化并不重要。例如，經(jīng)JPEG編碼平均數(shù)據(jù)傳輸速率為1.2Mb/s的數(shù)據(jù)流，在FDDI網(wǎng)上傳輸時包之間會產(chǎn)生空隙。第十一頁，共三十頁，2022年，8月28日200信息單元連續(xù)媒體是由與時間有關(guān)的獨(dú)立信息單元的序列構(gòu)成的，我們稱這樣的信息單元為邏輯數(shù)據(jù)單元(LDU，LogicalDataUnit)例如：

（1） 舉JosephHoydn的交響樂“TheBear”為例，它分為4個樂句：vivaceassai，a11egretto和finatevivace。每一樂句都是整首交響樂中獨(dú)立的一個部分、由各種樂器的演奏音符組成。在數(shù)字系統(tǒng)中，音符是用一系列的采樣值來表示的(這里不考慮壓縮)。CD-DA質(zhì)量的聲音每秒有44l00次采樣，每個采樣值用16位編碼。在CD上，這些采樣值被組織成許多1/75秒的小單元，所以既可以把LDU看做整首交響曲，也可以把它看做獨(dú)立的樂句、1/75秒的采樣單元或者就是采樣值，這取決于不同的應(yīng)用需要。例如對于播放整首交響樂的應(yīng)用，LDU就是整首交響曲。有些應(yīng)用會把有意義的最小單元作為LDU(在這里是音符)，數(shù)字系統(tǒng)則把采樣點(diǎn)看成LDU。（2） 再舉視頻圖像為例。未經(jīng)壓縮的視頻序列由表示場景的視頻片斷組成．如圖2.9所示。一個場景是由一系列國像組成的，一幅圖像又可以被劃分為16×l6像素的小塊，而每個像素的信息又是由亮度值和色度值來表示的。因此，視頻序列的LDU并不局限于是單幅圖像，它可以是場景也可以是像素。使用DVI或MPEG編碼方法可以用幀間壓縮的方法消除視頻序列的冗余，在這個應(yīng)用中，能自我包含的有意義的最小單元是圖像序列本身。

粒度這個概念用來描述音頻和視頻數(shù)據(jù)流層次劃分的細(xì)密程度。在上述例子中，最常見的名字也是最顯而易見的信息單元是交響樂和影片，但也可根據(jù)時間長度做出其他類型的LDU劃分。預(yù)先確定時間長度的LDU稱為閉合LDU。計算機(jī)中的音頻采樣數(shù)據(jù)流就是閉合LDU數(shù)據(jù)流。不能預(yù)先確定時間長度的IDU稱為開放LDU，由攝像機(jī)或麥克風(fēng)傳向計算機(jī)的數(shù)據(jù)流就是開放LDU數(shù)據(jù)流。第十二頁，共三十頁，2022年，8月28日第二部分多媒體計算機(jī)技術(shù)概述概述多媒體計算機(jī)的定義、分類、現(xiàn)狀及發(fā)展趨勢。要點(diǎn)：

1.

多媒體計算機(jī)的定義、分類和關(guān)鍵技術(shù)

2.從多媒體計算機(jī)的分類看家電制造廠商研制的電視計算機(jī)，“靈巧”電視—SmartTV3.從多媒體計算機(jī)的分類看計算機(jī)制造廠商研制的計算機(jī)電視，TV-Killer第十三頁，共三十頁，2022年，8月28日2003.9主要講述內(nèi)容

多媒體計算機(jī)的定義和關(guān)鍵技術(shù)

多媒體技術(shù)促進(jìn)了通訊、娛樂和計算機(jī)的融合

多媒體計算機(jī)技術(shù)的發(fā)展和應(yīng)用第十四頁，共三十頁，2022年，8月28日1.2.1多媒體計算機(jī)的定義和關(guān)鍵技術(shù)多媒體計算機(jī)技術(shù)定義多媒體計算機(jī)的分類多媒體計算機(jī)的關(guān)鍵技術(shù)第十五頁，共三十頁，2022年，8月28日2003.9多媒體計算機(jī)技術(shù)定義多媒體計算機(jī)技術(shù)

(MultimediaComputing)定義：計算機(jī)綜合處理多種媒體信息(文本、圖形、圖像、音頻和視頻)，使多種信息建立邏輯連接，集成為一個系統(tǒng)并具有交互性。計算機(jī)綜合處理聲、文、圖信息具有集成性和交互性第十六頁，共三十頁，2022年，8月28日2003.9多媒體計算機(jī)的分類

從開發(fā)和生產(chǎn)廠商以及應(yīng)用的角度出發(fā)可以分成兩大類：電視計算機(jī)（Teleputer）家電制造廠商研制的電視計算機(jī)，是把CPU放到家電中，通過編程控制管理電視機(jī)、音響，有人稱它為“靈巧/智能”電視——SmartTV；計算機(jī)電視（Compuvision）計算機(jī)制造廠商研制的計算機(jī)電視，采用微處理器（80×86、68×××）作為CPU，其它設(shè)備還有VGA卡、CD-ROM、音響設(shè)備以及擴(kuò)展的多窗口系統(tǒng)，有人說它的發(fā)展方向是TV-Killer。第十七頁，共三十頁，2022年，8月28日2003.9

節(jié)目流通過網(wǎng)絡(luò)接口模塊（NIM）進(jìn)入核心處理芯片STB01X0；在STB01X0中，解復(fù)用、解壓縮、再NTSC/PAL編碼；得到的視頻送到電視，得到的音頻流經(jīng)過D/A轉(zhuǎn)換輸出；控制各存儲器SDRAM(用于視音頻緩存)，F(xiàn)lash/DRAM(用于系統(tǒng)處理)；接收遙控器信號等的處理由Peripherals外設(shè)部分接收，STB01X0協(xié)調(diào)處理。RedWoodIII機(jī)頂盒平臺第十八頁，共三十頁，2022年，8月28日2003.9

多媒體計算機(jī)的關(guān)鍵技術(shù)

要把一臺普通的計算機(jī)變成多媒體計算機(jī)要解決的關(guān)鍵技術(shù)是：

視頻音頻信號獲取技術(shù)；多媒體數(shù)據(jù)壓縮編碼和解碼技術(shù)；視頻音頻數(shù)據(jù)的實(shí)時處理技術(shù)；視頻音頻數(shù)據(jù)的輸出技術(shù)。第十九頁，共三十頁，2022年，8月28日1.2.2多媒體技術(shù)促進(jìn)了通訊、娛樂和

計算機(jī)的融合

現(xiàn)代化社會人的工作方式和特點(diǎn)是：群體性、交互性分布性、協(xié)作性第二十頁，共三十頁，2022年，8月28日2003.9TimeUserScaleControlSingleUserMultipleUser(Group)SynchronousAsynchronousDistributedCentralizedGroupDecisionMakingConferenceRoomMeetingFace-to-FaceMeetingGroupCSCWDesktopTeleconferencingTelephoneTele-MentoringElectronicMailBulletinBoardCollaborativeSoftwareDevelopmentCollaborativeDocumentEditingGroupScheduleManagement

多媒體協(xié)同計算的多維空間表示第二十一頁，共三十頁，2022年，8月28日2003.9多