工學(xué)多媒體總結(jié)

1、多媒體通信技術(shù)教師：趙冰手機(jī)：答疑：物理實(shí)驗(yàn)樓709在開(kāi)始正式上課之前，首先需要強(qiáng)調(diào)以下問(wèn)題：一 課程基礎(chǔ) 應(yīng)先修課程：線性代數(shù)、概率論與數(shù)理統(tǒng)計(jì)、數(shù)學(xué)分析、信息論、通信原理二 課程的主要內(nèi)容 1 多媒體通信概念 2 數(shù)字音頻技術(shù) 3 圖像技術(shù)基礎(chǔ) 4 電視技術(shù)基礎(chǔ) 5 視頻信息壓縮與處理 6 多媒體數(shù)據(jù)信息的獲取、存儲(chǔ)與顯示技術(shù) 7 多媒體數(shù)據(jù)同步技術(shù) 8 多媒體數(shù)據(jù)庫(kù)及其檢索技術(shù) 9 多媒體通信網(wǎng)絡(luò)技術(shù) 10 數(shù)據(jù)分布式處理 11 各種實(shí)用的多媒體應(yīng)用系統(tǒng) 三 課程要求 掌握上述基本概念及分析思路。 熟記分析結(jié)果和計(jì)算過(guò)程。四 考試形式 實(shí)驗(yàn)成績(jī)占本門課程總成績(jī)的20%。 理論課閉卷考試占

2、總成績(jī)的80%，卷面成績(jī)占理論課成績(jī)70%。平時(shí)成績(jī)占30%。（課上點(diǎn)名與作業(yè)成績(jī)）v 本課程公共郵箱： 密碼：duomeiti教材與參考書(shū)v 多媒體通信技術(shù)，孫學(xué)康、石方文、劉勇編著，北京郵電大學(xué)出版社v 多媒體通信技術(shù)，王汝言編著，西安電子科技大學(xué)出版社v 多媒體通信技術(shù)，何忠龍、陳萱華編著，中國(guó)林業(yè)出版社課程進(jìn)度安排v 講授（32學(xué)時(shí)）、實(shí)驗(yàn)（6學(xué)時(shí)） 第一章 多媒體通信技術(shù)概述 2學(xué)時(shí) 第二章 音頻技術(shù)基礎(chǔ) 6學(xué)時(shí) 第三章 圖像技術(shù)基礎(chǔ) 4學(xué)時(shí) 第四章 視頻處理技術(shù) 10學(xué)時(shí) 第五章 多媒體通信系統(tǒng)中的關(guān)鍵技術(shù) 4學(xué)時(shí) 第六章 多媒體通信網(wǎng)絡(luò)技術(shù) 4學(xué)時(shí) 第七章 多媒體數(shù)據(jù)的分布式處理

3、 4學(xué)時(shí) 第八章 多媒體通信應(yīng)用系統(tǒng) 4學(xué)時(shí)多媒體通信技術(shù)v 課程意義1. 三網(wǎng)融合 三網(wǎng)融合是指電信網(wǎng)、計(jì)算機(jī)網(wǎng)和有線電視網(wǎng)三大網(wǎng)絡(luò)通過(guò)技術(shù)改造，能夠提供包括語(yǔ)音、數(shù)據(jù)、圖像等綜合多媒體的通信業(yè)務(wù)。2. 三媒合一：三網(wǎng)融合體驗(yàn)的未來(lái)時(shí)三媒合一是指平面媒體、網(wǎng)絡(luò)媒體、移動(dòng)媒體三種不同媒介的匯聚與互動(dòng)互補(bǔ)，融書(shū)籍閱讀、視頻欣賞和網(wǎng)絡(luò)瀏覽三種功能為一體，通過(guò)視覺(jué)、聽(tīng)覺(jué)等多維體驗(yàn)傳遞信息的一種全新的媒體形式。 “三媒合一”理念由數(shù)字美術(shù)館首創(chuàng)并積極推動(dòng)，其核心思想，定位在與傳統(tǒng)媒體互為促進(jìn)的改良力量上。2011年5月3日，數(shù)字美術(shù)館實(shí)現(xiàn)了國(guó)內(nèi)首個(gè)三媒合一實(shí)例新版“常青指路”。第1章多媒體通信技術(shù)概述

4、1.1 多媒體通信的基本概念1.2 多媒體通信中的關(guān)鍵技術(shù)1.3 多媒體通信的應(yīng)用1.1 多媒體通信的基本概念1媒體(medium)是指信息傳遞和存儲(chǔ)的最基本的技術(shù)和手段，即信息的載體。根據(jù)原CCITT的定義，媒體可劃分為5大類：(1) 感覺(jué)媒體（perception medium）是指人類通過(guò)感覺(jué)器官直接產(chǎn)生感覺(jué)（感知信息內(nèi)容）的一類媒體。這類媒體包括：聲音、文字、圖像、氣味、冷熱等。(2) 表示媒體（representation medium）是指用于數(shù)據(jù)交換的編碼表示。這類媒體包括：圖像編碼、文本編碼、聲音編碼等。其目的是為了能有效地加工、處理、存儲(chǔ)和傳輸感覺(jué)媒體。(3) 顯示媒體（pr

5、esentation medium）是指進(jìn)行信息輸入和輸出的媒體。輸入媒體包括：鏈盤、鼠標(biāo)、攝像頭、話筒、掃描儀、觸摸屏等；輸出媒體包括：顯示屏、打印機(jī)、揚(yáng)聲器等。(4) 存儲(chǔ)媒體（storage medium）是指進(jìn)行信息存儲(chǔ)的媒體。這類媒體包括：硬盤、光盤、軟盤、磁帶、ROM、RAM等。(5) 傳輸媒體（transmission medium）是指承載信息，將信息進(jìn)行傳輸?shù)拿襟w。這類媒體包括：雙絞線、同軸電纜、光纜、無(wú)線電鏈路等。“多媒體”通常是指感覺(jué)媒體的組合，即聲音、文字、圖像、數(shù)據(jù)等各種媒體的組合。2多媒體（Multimedia）發(fā)展背景： 1987年，第二屆國(guó)際CD-ROM年會(huì)上展

6、出了世界上第一臺(tái)多媒體計(jì)算機(jī)，首次將彩色電視技術(shù)和計(jì)算機(jī)技術(shù)融合在一起，該技術(shù)后定名為DVI（Digital Video Interactive）。同年國(guó)際上成立了交互聲像工業(yè)協(xié)會(huì)（后稱交互多媒體協(xié)會(huì)IMA:Interactive Multimedia Association），主要目的是推動(dòng)多媒體產(chǎn)業(yè)發(fā)展并減少現(xiàn)存多媒體技術(shù)應(yīng)用的障礙。多媒體技術(shù)就是計(jì)算機(jī)交互式綜合處理多媒體信息（文本、圖形、圖像和聲音），使多種信息建立邏輯連接，集成為一個(gè)系統(tǒng)并具有交互性。多媒體技術(shù)的最簡(jiǎn)單表現(xiàn)形式多媒體計(jì)算機(jī)（對(duì)視頻的處理、存儲(chǔ)和顯示的能力。）3、多媒體通信在物理結(jié)構(gòu)上，多媒體通信系統(tǒng)是由若干個(gè)多媒體通信

7、終端、多媒體服務(wù)器經(jīng)過(guò)通信網(wǎng)絡(luò)連接構(gòu)成的系統(tǒng)。在計(jì)算機(jī)領(lǐng)域又稱為分布式多媒體系統(tǒng)DMS（Distribute Multimedia System）。特征：（1）集成性可處理、存儲(chǔ)和傳輸內(nèi)容上相互關(guān)聯(lián)的多媒體信息。（2）交互性用戶與系統(tǒng)通信過(guò)程中具有完全的交互控制能力。（3）同步性使得多媒體信息（文字、圖形、聲音、圖像等）在終端上以時(shí)空同步方式工作。1.2 多媒體通信中的關(guān)鍵技術(shù)1 多媒體數(shù)據(jù)壓縮技術(shù)（多媒體信息處理技術(shù)）在多媒體信息壓縮技術(shù)中最為關(guān)鍵的就是音/視頻壓縮編碼技術(shù)。視頻信號(hào)數(shù)據(jù)速率在140Mbit/s左右，高清電視可達(dá)到1000Mbit/s壓縮后，高清電視只需20Mbit/s,可視

8、電話可壓縮到20kbit/s語(yǔ)音信號(hào)如不壓縮，需要64kbit/s的速率經(jīng)壓縮可降到32kbit/s、 16kbit/s、 8kbit/s，甚至56kbit/s節(jié)約帶寬一路以分量編碼的數(shù)字電視信號(hào)，數(shù)據(jù)速率可達(dá)到216Mbit/s需要80GB的存儲(chǔ)空間存儲(chǔ)1小時(shí)的電視節(jié)目 要實(shí)現(xiàn)遠(yuǎn)距離傳輸需要占用108216MHz的信道帶寬節(jié)省存儲(chǔ)空間視頻壓縮：可以分為三個(gè)階段，即第一代、第二代、第三代圖像壓縮編碼方法。第一代圖像壓縮編碼方法以香農(nóng)信息論為基礎(chǔ)，考慮圖像信源的統(tǒng)計(jì)特性，采用預(yù)測(cè)編碼、變換編碼、矢量量化編碼、子帶編碼、小波變換編碼、神經(jīng)網(wǎng)絡(luò)編碼等方法。第二代圖像壓縮編碼方法充分考慮了人眼的視覺(jué)特

9、性，從人類的主觀特性出發(fā)，采用基于方向?yàn)V波的圖像編碼方法和基于圖像輪廓紋理的編碼方法。第三代圖像壓縮編碼方法考慮到了圖像傳遞的景物特征，采用分形編碼方法和基于模型的編碼方法。有關(guān)圖像壓縮編碼的國(guó)際標(biāo)準(zhǔn)主要有：JPEG、H.261、H.263、MPEG-1、MPEG-2/H.262、MPEG-4等。在多媒體技術(shù)中涉及的聲音壓縮編碼的國(guó)際標(biāo)準(zhǔn)主要有：G. 711、G. 721、G. 722、G. 728、G. 729、G. 723.1等。2 多媒體數(shù)據(jù)的獲取與顯示技術(shù)（多媒體通信的終端技術(shù)）主要體現(xiàn)在用戶和多媒體系統(tǒng)之間進(jìn)行交互的多媒體終端上。多媒體通信終端是能集成多種媒體信息，能對(duì)多媒體信息實(shí)現(xiàn)

10、同步，并具有交互功能的通信終端。多媒體終端多媒體計(jì)算機(jī)專用終端設(shè)備可視電話機(jī)頂盒輸入設(shè)備輸出手段鼠標(biāo)圖像電子筆觸摸屏跟蹤球攝像頭視/音頻采集卡聲音活動(dòng)視頻3 多媒體數(shù)據(jù)庫(kù)及其檢索技術(shù)傳統(tǒng)的數(shù)據(jù)庫(kù)管理系統(tǒng)的局限性：（1）多媒體數(shù)據(jù)所包含的信息量非常大；（2）多媒體數(shù)據(jù)隨時(shí)變化，因而難以統(tǒng)計(jì)及預(yù)測(cè)；（3）多媒體數(shù)據(jù)內(nèi)部有各種復(fù)雜的時(shí)域、空域以及基于內(nèi)容的約束關(guān)系?；趦?nèi)容的方法是從新的角度來(lái)管理多媒體信息，多媒體數(shù)據(jù)的內(nèi)容包括概念級(jí)內(nèi)容、感知特性、邏輯關(guān)系、信號(hào)特征、特定領(lǐng)域的特征等。目前基于內(nèi)容的圖像檢索系統(tǒng)有：v IBM Almaden 研究中心開(kāi)發(fā)的商用檢索系統(tǒng)QBIC；v 麻省理工學(xué)院媒體

11、實(shí)驗(yàn)室研發(fā)的Photobook 系統(tǒng)；v 卡內(nèi)基·梅隆大學(xué)的Informedia 數(shù)字視頻圖書(shū)館系統(tǒng)等。4 多媒體通信網(wǎng)絡(luò)技術(shù)網(wǎng)絡(luò)應(yīng)用的需求是推動(dòng)網(wǎng)絡(luò)技術(shù)發(fā)展的主要?jiǎng)恿?。在多媒體通信系統(tǒng)中，要求通信網(wǎng)絡(luò)對(duì)信息具有高速傳輸能力（高帶寬），對(duì)各種信息的高效綜合能力（高服務(wù)質(zhì)量），還要具有實(shí)現(xiàn)媒體同步的能力。5 多媒體信息存儲(chǔ)技術(shù)多媒體信息的信息量巨大，在多媒體信息傳輸時(shí)，對(duì)其實(shí)時(shí)性、交互性提出較高的要求，同時(shí)播放、使用還需保持同步關(guān)系。存儲(chǔ)設(shè)備包括：磁帶、光盤、硬盤等。為了滿足處理器的高速要求，人們提出了冗余磁盤陣列和存儲(chǔ)區(qū)域網(wǎng)絡(luò)。6 多媒體數(shù)據(jù)的分布式處理技術(shù)分布在不同地點(diǎn)的信息提供者、接收者和處理者能夠通過(guò)網(wǎng)絡(luò)來(lái)共同完成多媒體數(shù)據(jù)的處理過(guò)程。分布式多媒體系統(tǒng)涉及到計(jì)算機(jī)領(lǐng)域和通信領(lǐng)域的多種技術(shù)，仍有大量問(wèn)題亟待解決。1.3 多媒體通信的應(yīng)用可視電話系統(tǒng)遠(yuǎn)程教育系統(tǒng)視頻會(huì)議系統(tǒng)視頻點(diǎn)播系統(tǒng)VOD多媒體電子郵件虛擬現(xiàn)實(shí)1.4 多媒體通信的標(biāo)準(zhǔn)化提出建議和制定多媒體標(biāo)準(zhǔn)的組織主要為： ITU-T（國(guó)際電信聯(lián)盟電信標(biāo)準(zhǔn)部）、ISO（國(guó)際標(biāo)準(zhǔn)